непрерывное отображение группы G в топологич. группу гомеоморфизмов нек-рого топологич. пространства. Чаще всего под П. т. г. Gпонимается линейное представление, более того - такое линейное представление л топологич. группы G в топологич. векторном пространстве (т. в. п.) Е, что вектор-функция , определяет при любом непрерывное отображение группы Gв пространство Е. В частности, всякое непрерывное представление группы Gявляется П. т. <г. g.="" теория="" п.="" т.="" г.="" тесно="" связана="" с="" теорией="" представлений="" различных="" топологических=""> групповых алгебр. Среди них важнейшей является банахова симметричная алгебра мер М(G).группы G (алгебра всех регулярных борелевских мер на G с конечной полной вариацией, в к-рой умножение определяется как свертка). Часто используется также топологическая алгебра С'(G) всех регулярных борелевских мер на G с конечной полной вариацией и с компактным носителем. Умножение в С'(G).определяется как свертка, а инволюция , определяется формулой

Топология алгебры С'(G) согласуется с двойственностью между этой алгеброй и алгеброй С(G).(всех непрерывных функций на G), рассматриваемой в компактно открытой топологии. Важную роль играют также различные подалгебры алгебр М(G).и С'(G). В частности, если Е - квазиполное бочечное или полное локально выпуклое пространство (л. в. п.), а p - непрерывное П. т. г. G в Е, то формула

определяет слабо непрерывный линейный оператор p(m) в E и соответствие есть представление алгебры С'(G) в пространстве Е, однозначно определяющее представление я топологич. группы. При этом П. т. г.- (топологически) неприводимое представление, операторно неприводимое представление, вполне неприводимое представление, эквивалентно другому П. т. г. (и т. д.) тогда и только тогда, когда соответствующее представление алгебры С' (G) обладает соответствующим свойством.

Пусть я есть П. т. г. G в л. в. п. Е;пусть E'- сопряженное к Епространство. Функции на G вида gj (p (g)x), , наз. матричными элементами представления p. Если Е- гильбертово пространство и , то функции вида , наз. сферическими функциями, связанными с представлением p.

Пусть Е, Е* суть л. в. п. в двойственности, p есть П. т. г. G в л. в. п. Е. Формула p*(g).p(g^-1)*определяет П. т. г. p* в Е*, наз. сопряженным, или контрградиентным, к p. Пусть p₁,p₂ суть П. т. г. G в т. в. п. E₁, E₂ соответственно, Е=Е ₁+Е ₂- прямая сумма и ,- непрерывный линейный оператор в Е, определенный формулой

Отображение есть П. т. г. G в т. в. п. Е, наз. прямой суммой П. т. г. p₁ и p₂. В нек-рых случаях (в частности, для унитарных представлений) может быть определено тензорное произведение П. т. г. н прямая сумма бесконечного семейства П. т. г. С помощью ограничения или расширения поля скаляров вводятся операции овеществления и комплексификации для П. т. г.

Представление топологич. группы наз. вполне приводимым, если любое замкнутое инвариантное подпространство имеет дополнительное замкнутое инвариантное подпространство. Представление я топологич. группы G в т. в. п. E наз. разложимым, если существуют такие замкнутые инвариантные подпространства E₁, Е ₂ в Е, что я эквивалентно прямой сумме подпредставлений p_l, p₂ представления я, отвечающих подпространствам E₁, E₂ соответственно; в противном случае p наз. неразложимым. Неразложимое приводимое представление p определяется не только подпредставлением и факторпредставлением, соответствующими данному инвариантному подпространству, но и нек-рым классом одномерных когомологий группы G с коэффициентами в G-модуле ограниченных линейных операторов из пространства фактор-представления в пространство представления.

Важнейшими общими задачами теории П. т. г. являются описание всех неразложимых представлений данной топологич. группы и изучение возможности описания (разложения) произвольных П. т. г. с помощью неразложимых. В общем случае обе задачи далеки (1983) от полного решения, но полученные в этих направлениях результаты делают теорию П. т. г. основой гармонического анализа абстрактного, обобщающего теорию рядов и интегралов Фурье, спектральную теорию унитарных операторов, теорию жордановых нормальных форм и систем обыкновенных дифференциальных уравнений с постоянными коэффициентами, а также основой нек-рых разделов эргодической теории, квантовой механики, статистической физики и теории поля.

Наиболее важным разделом общей теории П. т. г. является теория унитарных представлений, имеющих многочисленные приложения и обладающих рядом свойств, упрощающих их изучение. В частности, ортогональное дополнение к инвариантному подпространству унитарного представления инвариантно, поэтому всякое унитарное П. т. г. вполне приводимо; для унитарных представлений условия полной неприводимости, (топологической) неприводимости и операторной неприводимости равносильны (но, вообще говоря, слабее условия алгебраич. неприводимости).

Другой класс П. т. г., имеющий многочисленные приложения, образуют конечномерные представления. Изучение представлений этого класса во многом облегчается относительным упрощением аналитич. сложности задачи по сравнению с общим случаем; в частности, неприводимое конечномерное П. т. г. вполне неприводимо. Однако теория конечномерных П. т. г. построена (1983) достаточно полно лишь для нек-рых классов топологич. групп (в частности, для полупростых групп Ли и для групп и ). Для несколько более широкого класса групп, содержащего класс групп Ли, существует полное описание неприводимых конечномерных П. т. г.

Теория П. т. г. более разработана для локально компактных групп. Важнейшим свойством класса локально компактных групп является его совпадение с классом полных топологич. групп, на к-рых существует ненулевая правоинвариантная регулярная борелевская мера т(см. Хаара мера). Этот факт позволяет включить в число групповых алгебр локально компактной группы G банахову симметричную алгебру L₁(G)=L₁(G, т).(относительно свертки), к-рая играет решающую роль в теории ограниченных (т. е. имеющих ограниченный образ) П. т. г. G в банаховых пространствах. Формула

устанавливает взаимно однозначное соответствие между ограниченными представлениями л локально компактной Труппы Gи (непрерывными) представлениями алгебры L₁(G), обладающими тем свойством, что плотно в пространстве представлений ; при этом унитарные П. т. г. соответствуют симметричным представлениям алгебры L₁(G), Другое свойство локально компактных групп состоит в том, что их представления в бочечных л. в. п. суть непрерывные представления.

Наиболее развитая часть теории П. т. г.- теория унитарных представлений локально компактных групп. В связи с существованием меры Хаара на локально компактных группах оказывается возможным изучение регулярного представления группы G в пространстве L₂(G), приводящее, в частности, к аналогу Планшереля формулы для таких групп, а также к выделению основной, дополнительной и дискретной серий унитарных П. т. г. рассматриваемого класса (см. Дополнительная серия, Дискретная серия). Важнейшими общими задачами теории унитарных П. т. г. являются задачи построения неприводимых представлений и факторпредставлений, разложения представлений в прямой интеграл, изучения дуальных объектов и связанные с ними вопросы теории сферич. функций, теории характеров и гармонич. анализа, в том числе - изучения различных групповых алгебр.

Исключительно богатым приложениями подклассом класса локально компактных групп является класс групп Ли. Теория бесконечномерных представлений групп Ли, включающая теорию представлений классич. групп, является одним из наиболее быстро развивающихся разделов общей теории П. т. г. Мощным методом изучения П. т. г. Ли является орбит метод.