От Network-Centric к Big Data – смена моды или закономерное развитие технологий?
Данная заметка продолжает цикл публикаций освещающих различные аспекты сетецентрических технологий. Ранее на нашем web-сайте уже были опубликованы три коротких сообщения по этой теме:
Введение в сетецентрические информационно-управляющие системы. Читать...
Парадигма сетецентрического управления – современный взгляд. Читать...
Сетецентрические технологии – границы области адекватности. Читать...
Мотивацией к продолжению освещения тематики сетецентризма, после достаточно долгого перерыва, послужили три обстоятельства. Во-первых, выше цитированные заметки оказались весьма востребованными у читателей. К удивлению автора на эти короткие сообщения даже появились ссылки из научных докладов и статей. Во-вторых, на наш web-сайт регулярно заходят по поисковым фразам содержащим в том или ином виде отсыл к сетецентрическим технологиям. А это значит что тематика жива. Но основная причина всё же иная, и она тесно перекликается с темой настоящего сообщения. Итак, подробности ниже.
Анализ открытых источников информации показал, что примерно на рубеже 2012 года интерес научной и инженерной общественности к всевозможным сетецентрическим системам стал резко угасать (здесь имеются в виду зарубежные R&D исследователи, инженеры, группы и центры, ибо с отечественными – ситуация прямо противоположная). И на первый план стали выходить технологии так или иначе связанные с Big Data (Большими Данными). Опять же, активный интерес к Big Data отечественные исследователи и инженеры начали проявлять с конца 2013 года.
Таким образом, возник закономерный вопрос, фактически вынесенный в заголовок настоящей заметки. Смена приоритетов между Network-Centric и Big Data – это просто совпадение, изменчивость моды или всё же закономерное развитие технологий? Многие специалисты посчитали, что это просто технологический тренд сменил траекторию, и одна «модная фишка» вытеснила другую. Тем не менее, не отвергая определённой доли подобного сценария, мы более склонны считать, что на самом деле переход инженерной и исследовательской активности от Network-Centric к Big Data – это закономерность. И вот почему.
Сетецентризм, как собирательную технологию, в виде концепции «сетецентрической войны» в оборот ввели вице-адмирал ВМС США Артур Себровски и профессор Джон Гарстка. Опубликованная ими в журнале «U.S. Naval Institute Proceedings Magazine» в январе 1998 года статья «Сетецентрическая война: её происхождение и будущее» стала своеобразным манифестом новой концепции. С этой статьи начался публичный этап нового модного направления: Network-Centric.
Модный тренд на технологию Big Data сформировался существенно позднее. В теории всё началось в 2008 году с интереса к феномену Big Data авторитетного научного журнала Nature. На практике – в 2010 году, когда компания Google передала Apache Software Foundation права на использование технологии MapReduce в составе Apache Hadoop.
Конечно, определённый фон по технологиям Network-Centric и Big Data существовал и до описанных событий, но они оказали, в определённом смысле, решающее влияние. Примечательно, что между отмеченными вехами прошло около 10-ти лет.
Примерно в 2011 году в мировой практике были реализованы достаточно крупные фрагменты полноценных глобальных информационно-управляющих систем, отвечающих парадигме сетецентризма. Специалисты думали, а обыватели были уверены, что ещё совсем чуть-чуть и глобальные системы можно будет тиражировать «пачками», а их функционал будет ограничиваться только фантазией Заказчика и его платежеспособностью.
Однако чуда в очередной раз не произошло, жизнь вновь внесла свои коррективы. При отработке задач по развёртыванию, эксплуатации и эффективному применению крупных фрагментов полноценных глобальных информационно-управляющих систем, специалисты столкнулись с рядом критических проблем. И широким фронтом встали вопросы, как раз увязанные на проблематику Больших Данных и Больших Вычислений.
Как наверное знает читатель, чтобы система была отнесена к классу Big Data, недостаточно только гигантского объёма данных и высокого темпа их поступления в систему. Важный критерий – это неструктурированность и гетерогенность поступающих в систему данных. Более того, математическая обработка этих данных предполагает существенно больше, нежели дескриптивная статистика, регрессионный анализ или метод главных компонент.
Методы и алгоритмы Больших Вычислений ориентируются на глубокую обработку данных, пытаясь выяснить не только статистически значимые закономерности, но и построить содержательные модели явления (объясняющую, предсказательную). При этом в качестве сырых данных алгоритмам обработки отдаются, в большинстве случаев, абсолютно неформализованные тексты написанные на естественном языке, звуковые и видеопоследовательности, графические данные. Таким образом, тренд по обработке Больших Данных лежит в области осмысления, понимания сути явления, выраженного в массиве неструктурированных и гетерогенных данных. И в качестве результата вычислений, потребитель, как правило, желает видеть не график и/или формулу описывающие происходящие процессы. Он желает оперировать результатами решения задачи на языке, близком к естественному языку, понятному не математику, а специалисту из конкретной предметной области, будь то медик, финансист, дизайнер, композитор или искусствовед. А это уже область слабого искусственного интеллекта. Конечно, весьма правильный вопрос: насколько подобная обработка Больших Данных может быть успешно реализована (и в каких случаях)? Но, к сожалению, освещение этого момента выходит за рамки настоящей заметки.
С другой стороны, как известно, в основе сетецентрических информационно-управляющих систем (ИУС) лежит так называемая «Глобальная информационная решётка» (ГИР, GIG – global information grid). Под этим понятием понимается не только вертикальная интеграция между источниками информации, узлами принятия решения и исполнительными органами, но и широкое развитие горизонтальных связей между разнородными поставщиками, обработчиками и потребителями циркулирующей в ИУС информации. А в ИУС как раз и циркулируют данные различных типов, по большей части неструктурированные, представленные от разнородных источников информации.
Как уже ранее нами отмечалось (в одной из прошлых заметок), разнородность информации циркулирующей в сетецентрических ИУС, событийно-командный (вербально-семантический) характер многих данных порождает насущную потребность в весьма широком наборе специфических алгоритмов обработки информации и принятия решения. Сетецентрические ИУС, одни из самых активных «потребителей» методов построения логико-вероятностных моделей сложных объектов и/или явлений в трудноформализуемых областях человеческой деятельности. Весьма востребованы методы количественного анализа разнотипной эмпирической и феноменологической информации, которая может быть представлена как многомерными таблицами, многомерными временными рядами и полями, так и набором вероятностных экспертных высказываний (суждений) об объекте исследования. Причём методы обработки данных и принятия решения должны порождать устойчивые и состоятельные оценки при слабых предположениях о классе распределений, малых объёмах выборки (в том числе с искажёнными и/или отсутствующими данными). И главное – они должны представлять результаты решения на языке, близком к естественному языку логических суждений.
Далее, сопоставить проблематику Network-Centric и Big Data, и сделать соответствующие выводы по заметке, внимательный читатель вполне может сам. Ну и в качестве дополнительной информации к размышлению. В 2012-13 годах правительство США обязалось выделить на National Science Foundation, National Institutes of Health, Department of Defense, Department of Energy и US Geological Survey свыше $200 млн. на R&D проекты, так или иначе связанные с Big Data, Big Computation, Big Visualization, Big Analytics (подробнее). И достаточно оперативно начало исполнять это решение, финансируя исследовательские проекты по машинному обучению в области Больших Вычислений (подробнее).
Данный документ распространяется на условиях лицензии: «Attribution-NonCommercial-NoDerivs» («Атрибуция – Некоммерческое использование – Без производных произведений») CC BY-NC-ND 3.0 Непортированная.
16 августа 2014 года.
Андрей Макаренко,
группа «Конструктивная Кибернетика».
Обсуждение: contact@rdcn.ru
Ключевые слова: Network-Centric, Big Data, Большие Вычисления, тренд, искусственный интеллект.
