Создать PDF Рекомендовать Распечатать

Система поддержки принятия решений для задач управления продуктом

  • Автор (авторы):
    Павлов Николай Вячеславович
  • Дата публикации:
    12.04.11
  • ВУЗ ИЛИ ОРГАНИЗАЦИЯ:
    Санкт-Петербургский государственный политехнический университет

Система поддержки принятия решений для задач управления продуктом

Аннотация: Данная статья посвящена формализованной постановке проблемы выбора метода для решения маркетинговых задач управления продуктом, а также описанию принципа ее решения с помощью нечеткой матричной экспертной системы. Разработанная система поддержки принятия решений (СППР), помогает выбрать метод решения маркетинговых задач исходя из неполных знаний о параметрах имеющейся ситуации.

 

Ключевые слова: система поддержки принятия решений, маркетинг, потребители, экспертные оценки

 

Abstract: Given article is devoted the formalized statement of a problem of a choice of a method for the decision of marketing problems of management by a product, and also to the description of a principle of its decision by means of indistinct matrix expert system. The developed system of support of decision-making, helps to choose a method of the decision of marketing problems proceeding from incomplete knowledge of parameters of an available situation.

 

Keywords: system of support of decision-making, marketing, consumers, expert estimations

 

Павлов Николай Вячеславович
кандидат технических наук, доцент
Санкт-Петербургский государственный политехнический университет

nick.pavlov@etelecom.spb.ru


 

Данная статья посвящена формализованной постановке проблемы выбора метода для решения маркетинговых задач управления продуктом, а также описанию принципа ее решения с помощью нечеткой матричной экспертной системы. Идея такой системы была выдвинута в [5]. Разработанная система поддержки принятия решений (СППР), помогает выбрать метод решения маркетинговых задач исходя из неполных знаний о параметрах имеющейся ситуации.

Современный маркетинг имеет в своем арсенале большое количество мощных, но сложных методов. К их числу относятся, например, деревья классификации, нейронные сети, когнитивные и нечеткие модели, многомерное шкалирование, структурные модели поведения потребителей и многие другие. Маркетологу-практику оказывается довольно сложно разобраться во всем множестве этих разнообразных методов, тем более, что существует на так уж много литературы, раскрывающей их принципы. Поддерживающие данные методы программные средства достаточно дороги, поэтому их выбор должен производиться очень тщательно

СППР призвана обобщить и систематизировать знания об использовании всего комплекса методов управления продуктом, представить имеющиеся методы в едином ключе, что позволяет более обоснованно и объективно, чем экспертными методами, осуществлять их выбор с учетом факторов реальной задачи и используемых допущений. При этом рекомендации по выбору должны касаться в первую очередь не тонкостей использования конкретного инструментария (чаще всего – программного средства), а особенностей самих методов. Тем самым будет решена задача практической помощи специалистам по маркетингу: маркетинговым аналитикам, занимающимся решением конкретных практических задач и исследователям, разрабатывающим новые методы управления продуктом и обобщающим опыт применения существующих.

 

Выбор метода решения маркетинговых задач по управлению продуктом можно рассматривать как отдельное важное метарешение, определяемое широким набором факторов. Если необходимо понять ситуацию, то часто применяются когнитивные модели. Применение креативных методов определяется задачей генерации идей нового товара. Выбор метода линейного программирования определяется допущением о линейности зависимостей в модели. Сложность ситуации и отсутствие модели может вызвать необходимость экспертных оценок, а наличие большого числа примеров решений аналогичных задач вкупе с отсутствием модели и недостаточностью знаний об объекте исследования для построения такой модели делает наиболее целесообразным применение нейронных сетей. Из приведенного краткого перечня примеров видно, что выбор метода определяется не только задачей управления продуктом и целью исследователя, но и особенностями ситуации, а также особенностями того или иного метода. Часть этих параметров может оказаться неизвестными на момент выбора метода решения. Поэтому надо учитывать все доступные важные параметры ситуации; неполноту исходных данных; использовать правила определения и уточнения параметров ситуации. Эти правила наиболее естественно формировать в виде Если-то правил.

 

Часть параметров ситуации определяется довольно легко (наличие экспертов, наличие примеров аналогичных решений) определение другой части вызывает определенные трудности (возможность применения модели линейного программирования), требуя углубленного анализа ситуации Поэтому СППР по выбору метода нельзя построить как одношаговое преобразование задача – метод или цель – метод. Выбор метода на основе параметров ситуации оказывается многоступенчатым.

 

Для решения конкретной задачи можно иногда почти с равным успехом, а иногда с разной степенью успеха применять целый ряд методов и инструментальных средств. В выборе метода силен субъективный фактор. Это в основном имеющийся у маркетологов опыт применения тех или иных методов. В результате вводится мера возможности (предпочтительности) использования каждого из методов, представляющая собой непрерывную величину от 0 (невозможно) до 1 (несомненно) [3, 4, 9]. Это облегчит лицу, принимающему решения, окончательный выбор метода, так как задаст порядок рассмотрения различных методов, начиная с тех, возможность применения которых выше.

 

Такие же оценки возможности удобно применять при неуверенности в описании имеющейся ситуации.

 

Таким образом, разрабатываемая система является нечеткой. Нечеткость системы – еще один аргумент в пользу многошагового преобразования, так как одношаговое преобразование, без учета уточняющих параметров ситуации, дает весьма размытые рекомендации.

 

Итак, наличие многошаговых преобразований в виде Если-то правил определяет использование для СППР экспертной системы [2, 5]. Нечеткость исходных данных, правил выбора и результата – использование нечеткой экспертной системы. Такая модификация экспертных систем известна по ряду работ, например, [1, 7, 9]. Кроме того, поскольку результатом работы разрабатываемой системы будет набор оценок, она относится к многомерным экспертным системам. Эти системы также известны как в нашей стране, так и за рубежом уже в течение ряда лет [7, 8]. Для них удобно применить матричный метод записи правил, поэтому система относится к классу матричных.

 

В итоге класс СППР определяется как нечеткая матричная экспертная система.

 

Имеющиеся у исследователя сведения вводятся в описание ситуации, которое представляет собой набор фактов экспертной системы. Даже если они имеют косвенное отношение к решаемой задаче, неполны и нет уверенности в их правильности, имеющаяся информация используется для помощи в выборе метода решения возникшей задачи. Основная часть параметров имеет общий, универсальный характер. Так, к числу целей решения задачи относятся: понимание ситуации, определение значений параметров, оценка альтернатив и т.д. Специфика предметной области собрана в перечне задач управления продуктом, сформированном в [5, 6]. Это облегчает исследователю сбор фактов.

 

Форма представления фактов – нечеткая, то есть сведения имеют вид возможности каждого значения параметра. Допускается также полное отсутствие сведений о некотором параметре ситуации.

 

Исходные данные обрабатываются по принципам экспертной системы с использованием нечетких матричных Если-то правил. Каждое такое правило имеет вид матрицы возможностей. На данном этапе целесообразно продемонстрировать идею работы экспертной системы, не используя строгий математический аппарат.

 

Для примера удобно рассмотреть один шаг работы экспертной системы: выбор метода в зависимости от этапа управления продуктом. При этом преобразовании на основании столбца возможностей этапов управления продутом, с помощью матрицы возможностей, число строк которой равно числу этапов управления продуктом, а число строк – числу методов, формируется строка возможностей применения каждого из известного набора методов.

 

Для каждого этапа управления продуктом с разной возможностью (предпочтительностью) можно использовать различные наборы методов. Например, для этапа генерации идей хорошо подходят методы теории решения изобретательских задач (ТРИЗ). Возможность применения методов ТРИЗ для этапа генерации идей (строка, соответствующая этапу генерации идей и столбец, соответствующий ТРИЗ) устанавливается равной единице (идеальное соответствие). Для генерации идей можно воспользоваться также мнениями экспертов. Для этого метода возможность его применения устанавливается равной 0,9 (в строке, соответствующей этапу генерации идей и столбце, соответствующем методу экспертных оценок). Хуже подходят для генерации идей методы фокус-групп, так как, как отмечают авторитеты в маркетинговых исследованиях, в фокус-группах очень редко выдвигаются действительно новые идеи. Возможность устанавливается равной 0,2. Наконец, использование нейронных сетей в этой задаче неоправданно. Возможность устанавливается равной нулю.

 

Аналогично заполняются и другие элементы матрицы возможностей применения методов в зависимости от этапа управления продуктом.

 

Таким образом, если лицо, принимающее решения, вводит информацию о том, что данный этап есть этап генерации идей, результатом применения правила будет возможность использования методов. Для ТРИЗ она равна 1, а для нейронных сетей – нулю.

 

Аналогичные преобразования происходят для каждого правила, формирующего как итоговый результат (возможности применения методов), так и промежуточные результаты, например, «необходимость рассматривать динамику процессов» à «используемая модель». Нечеткость определения параметров ситуации приведет к повышению нечеткости выбора метода.
Итоговый результат для возможностей каждого значения каждого параметра ситуации определяется как комбинация имеющихся a priori субъективных представлений, а также на основе всех матричных преобразований, определяющих возможность значений данного параметра. Например, выбираемый метод может определяться исходя из априорных предпочтений; рассмотренного выше преобразования «этап» à «метод»; преобразования «требуемая точность результата» à «метод» и других преобразований, подробно рассматриваемых ниже.

 

Работа возможна в автоматическом или пошаговом режиме. В первом случае результат рассчитывается сразу. Во втором пользователь имеет возможность вводить те сведения, которыми он располагает, на любом шаге решения.
В результате своей работы СППР выдает итоговые оценки возможности применения каждого метода. Оценка первого типа получается на основе параметров ситуации с помощью ряда описанных выше преобразований и определяет, в конечном счете, соответствие выбранного метода ситуации.

 

Кроме этого, предлагается ввести группу оценок, касающихся только самого метода, безотносительно к особенностям решаемой задачи. Они отражают как ценность метода самого по себе, так и его соответствие сложившейся практике принятия решений в организации. Предлагается использовать следующие оценки: адекватность допущений, достоверность получаемого результата, полезность решения, простота применения для решения разовых задач, простота внедрения в СППР. Более предпочтительны высокие значения каждой из оценок.

 

Оценки второго типа начинают играть большую роль, когда информация о ситуации ограничена. Тогда при выборе метода начинают играть роль общие соображения.

 

Все оценки находятся в диапазонах от 0 (невозможно) до 1 (идеально).

 

Оценивается и полезность решения в целом. Если результат представляет собой, например, строку возможностей использования четырех методов вида 1, 0,9, 0,2, 0, то из него видно, что методы 1 и 2 выделяются в группу предпочтительных, так как имеют высокие возможности. Остальные методы использовать менее целесообразно. Очевидно, такая рекомендация достаточно полезна, хотя и не идеальна. Идеальным можно было бы считать случай, когда есть полная уверенность в применении только одного метода, а все другие полностью отвергнуты. Поэтому для полученного решения вводится оценка его полезности. Она также находится в диапазоне от 0 (совершенно бесполезно) до 1 (идеально).

 

Перечень параметров, которые определяются непосредственно из ситуации, выглядит следующим образом.

  • Цель решения задачи. Предлагается использовать универсальные, понятные цели: оценить значение параметров, сделать прогноз спроса на новый товар, придумать альтернативы идей нового товара и т.д.
  • Задача управления продуктом. Этот параметр определяет специфику предметной области СППР. Подробно задачи управления продуктом рассмотрены в работах [5, 6]. Примеры: генерация идей; разработка концепций; выбор товара для элиминации и т.д.
  • Преобладающий тип параметров ситуации или тип наиболее важных параметров ситуации. Список составлен на основе анализа литературы по применению в маркетинге различных методов. Выбраны следующие типы: количественные непрерывные; количественные дискретные; нечеткие; балльные; сравнительные; качественные. Если параметры, например, нечеткие, то используются методы работы с нечеткими величинами или нечеткая логика.
  • Преобладающий тип зависимостей в имеющейся модели ситуации или модели, которую необходимо создать для принятия решения. Выбраны: математические общего вида; связывающие величину и скорость ее изменения; линейные; причинно-следственные; стохастические; табличные (численные); алгоритмические; непредсказуемые; неопределенные. Непредсказуемое поведение может быть исследовано методами анализа хаоса, для причинно-следственных можно использовать когнитивные карты и т.д. Это пример параметра, который довольно часто неизвестен исследователю. Но если он известен, это может в ряде случаев значительно сузить круг применяемых методов.

Для каждой из вышеописанных переменных вводится строка возможностей их значений. На основании субъективного мнения исследователя они заполняются значениями от 0 (невозможно) до 1 (бесспорно). Возможно также значение «?» - неизвестно. Например, если исследователь  уверен в том, какая цель преследуется решением стоящей перед ним задачи, то все значения строки оценок, кроме одного, будут равны нулю, а одно значение будет единичным. Если полной уверенности в цели решения определенной задачи нет, то среди оценок будет несколько ненулевых. Наконец, если вообще нет никакого представления о том, какой цели необходимо достичь на данном шаге, значения всех элементов строки возможностей целей будут иметь значение «?». Таким образом, данное представление гибко отражает реальную ситуацию, от полной неопределенности до полной определенности.

  • Набор логических признаков ситуации, которые могут принимать значения «0» (нет), «1» (да) «?» (неизвестно). Это: наличие альтернатив решений; наличие решений для типовых ситуаций; дискретность моментов измерения и управления; дискретность значений управляющих воздействий; наличие однородных заявок на обслуживание; необходимость рассматривать процесс; многошаговое решение; наличие нескольких критериев оптимальности; наличие неконтролируемых событий с несколькими исходами.
  • Набор нечетко-логических величин. Они могут принимать значения от 0 (невозможно) до 1 (бесспорно). Еще одно значение: «?» – неизвестно. Это: высокая сложность процесса обслуживания клиентов; наличие готовых решений для различных ситуаций; большое число экспертов; высокая повторяемость задачи; возможность управления значениями переменных; точность представления значений параметров.

Последняя переменная, в отличие от других, является скорее не входной, а промежуточной переменной. С одной стороны, она полезна для определения метода. С другой стороны, исследователь, как правило, затрудняется в определении ее значения. Эту переменную целесообразно определять на основе задачи управления продуктом. Например, если задачей является уточнение спроса на новый продукт, точность определения параметров должна быть достаточно высокой. Если же проводится поисковое исследование с целью обнаружения идей нового продукта, то точность определения параметров при таком исследовании может быть гораздо ниже.

 

Значения переменных этой группы задаются субъективно исходя из сведений о ситуации.

  • Набор методов решения задач управления продуктом. Этот набор сформирован на основе изучения литературы по маркетингу и управлению продуктом. Их можно рассматривать как начальный набор для построения СППР. Это и математические методы, от аналитических расчетов по нахождению экстремума и решения дифференциальных уравнений до специальных методов анализа эластичности, факторного и дискриминантного анализа, совместного анализа и многомерного шкалирования; алгоритмические методы, например, имитационное моделирование; пошаговые методы поиска экстремума и т.д.; эвристические методы; методы искусственного интеллекта, включая экспертные системы, нейросети, нечеткую логику; нематематические методы, включая экспертные оценки, когнитивные карты и методы работы со знаниями. В качестве начального набора были взято свыше 50 методов, но список может быть легко дополнен в процессе работы СППР.

Выше было показано, что при выборе метода удобно воспользоваться промежуточными, внутренними переменными, которые

  • помогут осуществить кросс-проверку вводимых оценок и процедуры получения результата;
  • облегчат получение экспертных оценок исходных данных для выбора метода;
  • упростят преобразования исходных параметров в результат.

Разбиение процесса работы СППР на логически обоснованные и понятные экспертам шаги расчета промежуточных переменных обеспечит получение состоятельных начальных экспертных оценок матриц возможностей.
Отличие внутренних переменных от параметров ситуации состоит в следующем:

  • первые труднее определить на основе знаний о ситуации. Например, чтобы определить вид модели (внутренняя переменная), требуются глубокие знания особенностей применяемых методов;
  • первые являются производными от вторых. Например, внутренняя переменная «тип решения» (генерация, выбор или классификация) определяется по наличию альтернатив решения и наличию примеров для построения классификатора.

Список дополнительных внутренних переменных также получен из тщательного анализа литературы с описанием различных методов и примеров их применения. Введены следующие вспомогательные (внутренние) переменные векторного типа:

  • Класс решения: решение-генерация; решение-выбор; решение-классификация.
  • Этап формирования решения маркетинговой проблемы; понимание ситуации; генерация альтернатив; их оценка и выбор и т.д.
  • Способ определения параметров: вторичные данные; измерение; по расчетной модели (например, экстраполяционной); по имитационной модели; нормативы; экспертные оценки.
  • Вид модели: аналитическая; численная; динамическая (дифференциальные или разностные уравнения); математического программирования (линейного, целочисленного, выпуклого); имитационная систем массового обслуживания; марковские цепи; взаимосвязи психологических атрибутов; неоптимизационные модели исследования операций (сетевые графики, расписания); дерево решений; представления знаний (семантическая сеть или объектно-ориентированная модель); высказывания; если_то правила; если-то правила управления для нечетких систем управления; когнитивная модель; качественная (в т.ч. словесное описание); игровая; динамического программирования; кибернетическая; морфологическая; клеточные автоматы; отсутствует. Этот список также можно рассматривать как начальный.

Решение поставленной задачи состоит в многошаговом преобразовании множества исходных данных в результат. Эти преобразования изображены на рисунке. Введены следующие обозначения: АР – наличие альтернатив решений; РТС – наличие решений для типовых ситуаций; ЭУП – этап управления продуктом; ДИУ – дискретность моментов измерения параметров и управления; ДЗП – дискретность значений параметров; ОЗ – наличие однородных заявок на обслуживание; СОЗ – сложность однородных заявок на обслуживание; П – необходимость рассматривать процессы во времени; ТЗ – тип зависимостей между переменными; МШР – многошаговое решение; ОРПС – наличие опыта решений для произвольных ситуаций; ЧЭ – число экспертов; ЧКО – число критериев оценки; ПЗ – повторяемость задачи; К – класс решения (генерация, классификация, выбор); Э – этап решения задачи принятия решения; ТОП – требуемая точность оценки параметров; СИП – способ измерения параметров; ТП – тип параметров; ЦР – цель решения задачи; ТМ – тип модели; МРЗ – метод решения задачи; АД – адекватность допущений; ДР – достоверность полученного результата; ЛВ – легкость внедрения автоматизированной системы для реализации метода принятия решения; ЛРР – легкость разового решения задачи; ПР – полезность получаемых результатов; α – общие оценки предпочтительности применения каждого из методов при введенном наборе параметров ситуации. Как обычно для экспертных систем, заполнение данными производится с помощью экспертов. Проверка и улучшение качества работы также проводится экспертами. Это делается в настоящее время. Качество выбора метода обеспечивается экспертным путем при проектировании за счет удовлетворения следующих требований:

 
  • использования максимума информации о ситуации;
  • возможности настройки параметров метода под конкретное применение.
10_image002


Рисунок - Схема преобразований для получения решения

  • Реализованная система содержит описание ситуации в виде 180 логических и нечетко-логических величин, включает 27 матриц преобразования. Контрольные примеры показали ее работоспособность.
  • Таким образом, в данной статье предложена работоспособная идея СППР для выбора метода решения маркетинговых задач.

Библиографический список:

  1. Аникин И. В., Шагиахметов М. Р. Разработка экспертной системы нечеткого принятия решений о выборе методов увеличения нефтедобычи на нефтяных месторождениях // Восьмая национальная конференция по искусственному интеллекту с международным участием (КИИ-2002) 7-12 октября 2002 г. Коломна, с. 45-47.
  2. Джарратано Дж., Райли Г. Экспертные системы: принципы разработки и программирование. М.: Вильямс, 2006, 1152 с.
  3. Займан С. Конец маркетинга, каким мы его знаем. М.: Попурри; 2003, 384 с.
  4. Нейман В. Г. Цисарь И. Ф. Компьютерное моделирование экономики. М.: Диалог-МИФИ, 2008, 384 с.
  5. Павлов Н. В. Выбор метода решения маркетинговых задач управления продуктом на основе экспертной системы // Научно-технические ведомости СПбГПУ 2009, № 4, с. 246-253.
  6. Павлов Н.В. Содержание и этапы маркетингового управления продуктом // Научно-технические ведомости СПбГПУ, 2009, № 3, с. 319-325.
  7. Ястребова Н. Н. Построение экспертных систем на базе иерархического нечеткого вывода // Программные продукты и системы, 2007,№4, http://www.swsys.ru/index.php?page=article&id=48 .
  8. Baldwin-Morgan, A. A., Stone, M. F. A Matrix Model of Expert Systems Impacts. // Expert Systems with Applications: An International Journal, 1995, 9(4), P599-608.
  9. Shi Z. Advanced Artificial Intelligence. Hackensack, NJ: World Scientific Publishing, 2010, 624 p.
 
 

  При осуществлении вышеописанных преобразований строка возможностей транспонируется в столбец.



Примечание: № гос. рег. статьи 0421100034/

  vakperechen

ОБНОВЛЕННЫЙ СПИСОК ВАК 2016 г.
ОТ 19.04.2016  >> ПРОСМОТРЕТЬ
tass
 
ПО ВОПРОСАМ ПУБЛИКАЦИИ СТАТЕЙ И СОТРУДНИЧЕСТВА ОБРАЩАЙТЕСЬ:
skype SKYPE: vak-uecs
e-mail
MAIL: info@uecs.ru
phone
+7 (928) 340 99 00
 

АРХИВ НОМЕРОВ

(01) УЭкС, 1/2005
(02) УЭкС, 2/2005
(03) УЭкС, 3/2005
(04) УЭкС, 4/2005
(05) УЭкС, 1/2006
(06) УЭкС, 2/2006
(07) УЭкС, 3/2006
(08) УЭкС, 4/2006
(09) УЭкС, 1/2007
(10) УЭкС, 2/2007
(11) УЭкС, 3/2007
(12) УЭкС, 4/2007
(13) УЭкС, 1/2008
(14) УЭкС, 2/2008
(15) УЭкС, 3/2008
(16) УЭкС, 4/2008
(17) УЭкС, 1/2009
(18) УЭкС, 2/2009
(19) УЭкС, 3/2009
(20) УЭкС, 4/2009
(21) УЭкС, 1/2010
(22) УЭкС, 2/2010
(23) УЭкС, 3/2010
(24) УЭкС, 4/2010
(25) УЭкС, 1/2011
(26) УЭкС, 2/2011
(27) УЭкС, 3/2011
(28) УЭкС, 4/2011
(29) УЭкС, 5/2011
(30) УЭкС, 6/2011
(31) УЭкС, 7/2011
(32) УЭкС, 8/2011
(33) УЭкС, 9/2011
(34) УЭкС, 10/2011
(35) УЭкС, 11/2011
(36) УЭкС, 12/2011
(37) УЭкС, 1/2012
(38) УЭкС, 2/2012
(39) УЭкС, 3/2012
(40) УЭкС, 4/2012
(41) УЭкС, 5/2012
(42) УЭкС, 6/2012
(43) УЭкС, 7/2012
(44) УЭкС, 8/2012
(45) УЭкС, 9/2012
(46) УЭкС, 10/2012
(47) УЭкС, 11/2012
(48) УЭкС, 12/2012
(49) УЭкС, 1/2013
(50) УЭкС, 2/2013
(51) УЭкС, 3/2013
(52) УЭкС, 4/2013
(53) УЭкС, 5/2013
(54) УЭкС, 6/2013
(55) УЭкС, 7/2013
(56) УЭкС, 8/2013
(57) УЭкС, 9/2013
(58) УЭкС, 10/2013
(59) УЭкС, 11/2013
(60) УЭкС, 12/2013
(61) УЭкС, 1/2014
(62) УЭкС, 2/2014
(63) УЭкС, 3/2014
(64) УЭкС, 4/2014
(65) УЭкС, 5/2014
(66) УЭкС, 6/2014
(67) УЭкС, 7/2014
(68) УЭкС, 8/2014
(69) УЭкС, 9/2014
(70) УЭкС, 10/2014
(71) УЭкС, 11/2014
(72) УЭкС, 12/2014
(73) УЭкС, 1/2015
(74) УЭкС, 2/2015
(75) УЭкС, 3/2015
(76) УЭкС, 4/2015
(77) УЭкС, 5/2015
(78) УЭкС, 6/2015
(79) УЭкС, 7/2015
(80) УЭкС, 8/2015
(81) УЭкС, 9/2015
(82) УЭкС, 10/2015
(83) УЭкС, 11/2015
(84) УЭкС, 11(2)/2015
(85) УЭкС,3/2016
(86) УЭкС, 4/2016
(87) УЭкС, 5/2016
(88) УЭкС, 6/2016
(89) УЭкС, 7/2016
(90) УЭкС, 8/2016
(91) УЭкС, 9/2016
(92) УЭкС, 10/2016
(93) УЭкС, 11/2016
(94) УЭкС, 12/2016
(95) УЭкС, 1/2017
(96) УЭкС, 2/2017
(97) УЭкС, 3/2017
(98) УЭкС, 4/2017
(99) УЭкС, 5/2017
(100) УЭкС, 6/2017
(101) УЭкС, 7/2017
(102) УЭкС, 8/2017
(103) УЭкС, 9/2017
(104) УЭкС, 10/2017
(105) УЭкС, 11/2017
(106) УЭкС, 12/2017
(107) УЭкС, 1/2018
(108) УЭкС, 2/2018
(109) УЭкС, 3/2018
(110) УЭкС, 4/2018
(111) УЭкС, 5/2018
(112) УЭкС, 6/2018
(113) УЭкС, 7/2018
(114) УЭкС, 8/2018
(115) УЭкС, 9/2018
(116) УЭкС, 10/2018
(117) УЭкС, 11/2018
(118) УЭкС, 12/2018
(119) УЭкС, 1/2019
(120) УЭкС, 2/2019
(121) УЭкС, 3/2019

 Федеральная служба по надзору в сфере связи и массовых коммуникаций

№ регистрации СМИ ЭЛ №ФС77-35217 от 06.02.2009 г.       ISSN: 1999-4516