Заметки о Deep Learning. Алгоритмы глубокого обучения в задачах обработки радиолокационных сигналов. Мини-обзор.
В последнее время только ленивый не отмечает взрывного интереса средств массовой информации к теме нейронных сетей, глубокого обучения и искусственного интеллекта. Причём этот интерес усиленно подогревается с обеих сторон «баррикад».
Во-первых, сами читатели активно «рыщут» за информацией, выискивая ответы на вопросы: что такое нейронные сети; как работают нейронные сети; когда искусственный интеллект «поработит человечество» и т.п. Есть и более продвинутые интересы: где найти практическое руководство по готовым (бесплатным) инструментам; как самостоятельно обучить нейросеть на основе той или иной библиотеки; где найти открытые (бесплатные) наборы данных для обучения; и т.п.
Во-вторых, со стороны (как ведущих, так и не очень ведущих) игроков рынка идёт информационный вал, который можно разделить на три основные категории: аппаратные средства для Deep Learning; библиотеки и фреймворки для глубокого обучения; приложения и платформы функционирующие на основе искусственного интеллекта, общефилософские вопросы взаимодействия человеческой цивилизации и новой интеллектуальной формации.
При этом в публичной («попсовой») области в основном муссируются темы: художественной обработки изображений и видеопотока; распознавание картинок и голоса, победа AlphaGo, робомобили Google. В среде технократов, а ровно как и гиков, достаточно часто попадается контекст применения алгоритмов Deep Learning при обработке медицинских данных, а также в финансовой сфере. Если почитать узкоспециальную научную литературу, то сфера применения (попыток применения с различной степенью успешности) алгоритмов глубокого обучения существенно расширяется: от металлургии и химической технологии, до социологии и вопросов культуры. Естественно, что во всём этом многообразии областей и задач есть и такие, которые так или иначе лежат в сфере интересов нашей научно-исследовательской группы. Одна из таких областей – это обработка радиолокационного сигнала.
Следует отметить, что начало активных научных исследований по применению нейронных сетей к обработке информации в радиолокационных системах восходит к середине 70-х годов XX века. Этот бум продолжался примерно до 2003 года, после чего интерес в определённой мере угас. На тот момент активно исследовались следующие архитектуры сетей: многослойный перцептрон; сеть Хэмминга; сеть Хопфилда; сеть радиально-базисных функций; сеть Кохонена; самоорганизующаяся карта Кохонена. При этом возможности нейронных сетей исследовалась буквально на всех этапах обработки радиолокационного сигнала: от формирования диаграммы направленности фазированной антенной решётки и первичной фильтрации помех, до обнаружения (классификации) целей и прогноза оперативно-тактической обстановки в воздухе.
В 2009 году в серии «Нейрокомпьютеры и их применение» вышла книга: А.Л. Татузов, Нейронные сети в задачах радиолокации, Изд-во «Радиотехника». Эта монография являлась неплохим русскоязычным обзором по состоянию дел в этой области. Она давала общее представление о ситуации (в том числе в контексте сравнения с классическими решениями), о конкретных методах и подходах, о полученных результатах, и возникших проблемах. К сожалению, на данный момент эта книга безнадёжно устарела, ибо самая поздняя содержательная библиографическая ссылка в ней датируется 2001 годом. Тем не менее, эта монография до сих пор представляет ретроспективный и учебно-методический интерес для начинающих исследователей и/или инженеров.
Анализ текущих работ (по данным из открытых источников научно-технической информации) показывает, что успехи глубоких нейросетевых архитектур, в областях перечисленных в начале данной заметки, не прошли мимо исследователей работающих в области обработки радиолокационной информации. В доказательство этого факта приведём весьма краткий, иллюстративный, обзор некоторых публикаций, размещённых в информационной системе IEEE Xplore в первой половине 2016 года.
Licheng Jiao, Fang Liu, Wishart, Deep Stacking Network for Fast POLSAR Image Classification, 2016. В статье показано применение стекинга глубоких нейронных сетей для классификации изображений в РЛС с синтезированной апертурой. При этом некоторые специфические преобразования сигнала (фактически выделение первичных признаков) выполняются непосредственно внутри нейронных сетей.
Maoguo Gong, Jiaojiao Zhao, Jia Liu, Qiguang Miao, Licheng Jiao, Change Detection in Synthetic Aperture Radar Images Based on Deep Neural Networks, 2016. В статье показано применение глубоких нейронных сетей для детектирования и выделения областей в которых происходит изменение изображения, формируемого РЛС с синтезированной апертурой. В работе применён интересный подход, комбинирующий методы обучения с учителем и методы unsupervised learning.
Jarmo Lunden, Visa Koivunen, Deep learning for HRRP-based target recognition in multistatic radar systems, 2016. В статье показано применение глубоких свёрточных сетей для распознавания целей в мультистатических радиолокационных системах. При этом извлечение (формирование) признаков из сигнала производится непосредственно нейронной сетью. Авторы утверждают, что по результатам моделирования предлагаемый подход демонстрирует очень надежную классификацию даже при низких отношениях сигнал-шум.
Branka Jokanovic, Moeness Amin, Fauzia Ahmad, Radar fall motion detection using deep learning, 2016. В статье показано применение радиолокационных систем для контроля за положением тела человека и диагностики его падения. При этом распознавание сигнала (события) производится посредством глубоких нейронных сетей. В работе также сравнивается автоматическое (hand free) извлечение первичных информативных признаков глубокими нейронными сетями с подходами на основе метода главных компонент и ручного анализа структуры сигнала.
Youngwook Kim, Taesup Moon, Human Detection and Activity Classification Based on Micro-Doppler Signatures Using Deep Convolutional Neural Networks, 2016. В статье показано применение доплеровских радиолокационных систем для контроля за перемещением человека и классификации видов его деятельности. Работа примечательна тем, что на вход глубокой свёрточной сети подаётся непосредственно сырая микро-доплеровская спектрограмма. По которой производится не только детектирование человека, но и классификация его деятельности. Авторы утверждают, что достигается точность 97.6% для обнаружения человека и 90.9% для классификации его деятельности.
С целью демонстрации прогресса в этой области отметим также более раннюю работу.
Sizhe Chen, Haipeng Wang, SAR target recognition based on deep learning, 2014. В статье показано применение глубоких свёрточных сетей для распознавания целей в РЛС с синтезированной апертурой. Авторы утверждают, что при тестировании сети на публично доступных наборах данных MSTAR, достигается точность (accuracy) классификации: 90.1% на трёх классах целей; 84.7% на десяти классах целей.
Согласно «моде» того времени, в статье для обучения сети применяется unsupervised sparse auto-encoder. Цитированная статья примечательна тем, что это одна из первых (опубликованных) попыток применения именно свёрточных сетей в данной области. Более ранние подходы, как правило, базировались на фаворите того времени: DBN (Deep belief network, глубокие сети доверия).
Итак, как видно из приведённых данных, радиолокация и Deep Neural Networks – вполне себе «дружат». Конечно, по ссылкам виден определённый перекос в сторону глубоких свёрточных сетей и задач распознавания. Среди цитированных статей отсутствуют рекурсивные, рекуррентные сети и задачи формирования диаграммы направленности фазированной антенной решётки и первичной фильтрации помех, прогноза оперативно-тактической обстановки и т.п. По данной ситуации возможно отметить следующее.
Во-первых, приведённый обзор охватывает только IEEE Xplore за первую половину 2016 года, цитирует выборочные работы, и тем более не содержит ссылок на закрытые публикации. Более того, обзор не претендует не только на полноту, но даже на сколь-нибудь подробную библиографию по данной тематике, ибо его цель другая – демонстрационно-ознакомительная.
Во-вторых, как показывает анализ тематики докладов на ведущих специализированных научных конференциях, основной поток исследований в данной области только формируется (на уровне тематик, направлений, модных подходов и т.п.), и исследователи, из всего многообразия методов Deep Learning, выхватывают те, которые наиболее отработаны и более всего «на слуху», а это как раз ConvNet и задачи классификации. Есть ещё одна причина для текущего перекоса в сторону CNN и задач классификации – это наличие достаточного (весьма не маленького) объёма специализированных высококачественных данных для обучения и тестирования глубоких сетей.
В заключение, в качестве информации для размышления и постановки задачи для перспективной НИР, отметим один интересный момент. Ранние исследования (см. выше) в области применения нейронных сетей для управления диаграммой направленности фазированной антенной решётки, в подавляющем большинстве случаев, оперировали линейными (1D) эквидистантными решётками и полносвязными нейронными сетями (слоями) для пространственной и спектральной селекции радиолокационных сигналов (в том числе для подавления боковых лепестков, нейтрализации помех и оптимизации формы главного лепестка). В свою очередь, реальные ФАР, как правило двумерны, и они, по идее, должны идеально сочетаться с 2D структурой свёрточных сетей. И здесь возникает интересная исследовательская задача: оптимальное введение в структуру нейронной свёрточной сети управляющего воздействия, задающего азимут и угол места главного лепестка и его форму. Причём по ряду причин это желательно делать на первых свёрточных слоях.
Надеемся, что данный мини-обзор послужит для отечественных исследователей и инженеров некоторой отправной точкой, мотивирующей на более пристальное изучение тематики Deep Learning в контексте применения в задачах обработки радиолокационных сигналов.
27 августа 2016 года.
Андрей Макаренко,
группа «Конструктивная Кибернетика».
Обсуждение: contact@rdcn.ru
Ключевые слова: Радиолокационные сигналы, глубокое обучение, свёрточные нейронные сети, фазированные антенные решётки, управления диаграммой направленности.
