Создать PDF Рекомендовать Распечатать

Моделирование и алгоритмизация в принятии решений о качестве управляющих сетевых систем по результатам диагностирования и прогнозирования

  • Автор (авторы):
    Глущенко Виталий Васильевич, Глущенко Павел Витальевич
  • Дата публикации:
    11.10.11
  • № гос.рег.статьи:
    0421100034/
  • ВУЗ ИЛИ ОРГАНИЗАЦИЯ:
    Адыгейский государственный университет
    Сочинский государственный университет

Моделирование и алгоритмизация в принятии решений о качестве управляющих сетевых систем по результатам диагностирования и прогнозирования

Глущенко Виталий Васильевич

Адыгейский государственный университет, профессор

      кафедрыэкономикииуправления,доктортехническихнаук,

профессор,академикРАЕН, e-mail:vitavas44@yandex.ru

Глущенко Павел Витальевич

Сочинский государственный университет,  доцент  кафедры

информационных технологий, кандидат технических наук,

доцент, член-корреспондент РАЕН, pglout@yandex.ru

 

В работе рассматриваются  аспекты моделирования и алгоритмизации операций процедуры принятия решений,  уточняются основные принципы принятия решений при однокритериальном и многокритериальном выборе в условиях определенности и риска и нечетких условий, а также и в условиях неопределенности (по числовой информации) с использованием для выбора оптимальной стратегии критериев Вальда, Гурвица, Лапласа и Сэвиджа.  Даны метод оценки полезности и построения самой функции желательности и  процедура принятия решения по нечисловой информации путем введения лингвистических переменных  и  показателей качества на основе функций принадлежности.

Ключевые слова: решение; моделирование; алгоритмизация; процедура;однокритериальность и многокритериальность; выбор; функции желательности, принадлежности; лингвистические переменные.

The paper deals with some aspects of modeling and algorithmic operations decision-making procedures, specify the basic principles of decision-making inone-criteria and multi-criteria choice in the conditions of certainty and risk and fuzzy conditions, and also in conditions of uncertainty (for numeric information) using to select the optimal strategy of the criteria Wald, Hurwitz, Laplace and Savage. Given the method of assessment of usefulness and build the function of desirability and the decision making procedure on non-quantitative information through the introduction of linguistic variables and indicators of quality on the basis of membership functions.

       Key words: decision; modeling; algorithmization; procedure; one criteria and multiple criteria; selection; the function of desirability, accessories; linguistic variables.

 I. Сущность задачи приятия решений по результатам диагностирования и прогнозирования. Эта задача предназначена для построения системы поддержки принятия решений (СППР), помогающей лицу принимающему решение (ЛПР) принимать решения по результатам диагностирования и прогнозирования(ДПП) и оценки качества этих систем. Совокупность рассматриваемых принципов образуют методологию перехода от проблемной ситуации (годен - негоден) к варианту решения, принятого ЛПР. Для реализации предлагаемых принципов принятия решений СППР должна обеспечить поддержку ЛПР при выполнении следующих операций(рис.1), общими среди которых являются: оценка, формирование множества, формирование правил выбора, упорядочение, выбор решения.

 

Рис. 1 Укрупненная модель принятия решения

            Состав и содержание принципов принятия решений зависит от операций процедуры принятия решений (ОППР) и задач принятия решений (ЗПР), что определяет необходимость рассмотреть концептуальную модель ОППР и ЗПР (рис. 2) и как следует из этого рисунка, для всех классов ЗПР используется операция ФОРМИРОВАНИЕ ПРАВИЛ ВЫБОРА,  что и определяет предмет дальнейшего рассмотрения.Правило выбора является основным принципом принятия решений по результатам ДПП и оценки качества сетевых систем (СС). Теория принятия решений, как известно,различает: однокритериальный и многокритериальный выбор в условиях определенности и риска и нечетких условиях.         Например, в [3, 6] рассмотрены основные принципы принятия решений в условиях определенности для случая числовой информации о результатах ДПП и оценки качества контролируемых СС. В этом случае предлагается использовать для выбора детерминированные таблицы решений, позволяющие выполнить однокритериальный выбор в условиях определенности. При многокритериальном выборе возникает неопределенность, связанная с наличием многих критериев. Эта неопределенность может быть устранена

Рис. 2 Концептуальная модель – Основные операции процедуры принятия решения

только назначением ЛПР принципа предпочтения.Если такой принцип установлен, то многокритериальный выбор превращается в однокритериальный (скалярный) в условиях определенности. Для перехода от многокритериального выбора к однокритериальному можно использовать метод главных компонент или экспертное оценивание важности отдельных критериев методом парных сравнений или методом ранговой корреляции [3].

         Кроме указанных случаев можно выделить (рис. 3) выбор решений в условиях неопределенности и риска, когда в распоряжении ЛПР имеется числовая информация о результатах ДПП и оценки состояния систем, а также выбор решений в нечетких условиях, когда ЛПР использует нечисловую информацию, например, лингвистические переменные [7].

 

Рис. 3  Классификация операций выбора

 

2.Принципы принятия решений в условиях неопределенности по числовой информации.Задачи выбора по числовой информации в условиях риска возникают в том случае, когда с каждой принимаемой стратегией принятия решений xi  связано некоторое множество возможных результатов  Q1, Q2, … Qm с известными условными вероятностями P(Qj/xi). Формально модель выбора решения в условиях риска можно записать в виде матрицыz = ||zij||,  i =;:

 

Стратегия

результаты

Q1

Q2

QJ

Qm

X1

Z11

Z12

Z1j

Z1m

X2

Z21

Z22

Z2j

Z2m

Xn

Zn1

Zn2

Znj

Znm

где  Zij = u (Qj, xi) – полезность результата Qj при использовании стратегии xi.

         Пусть известны условные вероятности  P(Qj / xi),i =;.

Введем понятие ожидаемой полезности для каждой стратегии xi

       

где М – оператор математического ожидания.

         Решающее правило для определения оптимальной стратегии имеет вид

                   Arg max M{U(xi)}

                   xi

         В задачах выбора решений в условиях риска предполагается, что вероятность достижения результатов Qj зависит только от стратегии xi, выбранной ЛПР. Если допустить, что эта вероятность зависит не только от стратегии xi, но и от внешней среды, то возникают задачи выбора решений в условиях неопределенности. В данном случае неопределенность связана с тем, что ЛПР неизвестно распределение вероятностей P(Sk), с которыми внешняя

 среда может находиться в одном из состояний {Sk}, k =.

         ЛПР высказывает только определенные гипотезы относительно состояния среды, задавая субъективные вероятности .Если бы вероятность P(Sk)была известна, то ЛПР имеет дело с задачей принятия решений в условиях риска.

В этом случае выбор стратегии X* определяется следующим образом

                   X*= max

         Однако, в действительности, ЛПР неизвестны как состояния среды, так и распределение вероятностей P(Sk). В этом случае для выбора оптимальной стратегии используется один из четырех критериев: Вальда, Гурвица, Лапласа или Сэвиджа.Кратко рассмотрим их. 

Критерий Вальда (критерий осторожного ЛПР – пессимиста) оптимизирует полезность результата в предположении, что среда находится в самом невыгодном для ЛПР состоянии.Решающее правило для выбора стратегии X* имеет вид

                                      U (xi, Sk),

гдеU (xi, Sk) =   P(Qj / xi, Sk)

         Стратегия X*, выбранная по критерию Вальда, дает гарантированный выигрыш при наихудшем варианте состояния среды.

         Критерий Гурвицаиспользует две гипотезы: H1 – среда находится в самом невыгодном состоянии с вероятностью 1-α, H2 – среда находится в самом выгодном состоянии с вероятностью α.

         Решающее правило имеет вид

.

         Если α = 0, то получаем критерий Вальда («пессимиста»).

         Если α = 1, то формируется решающее правило вида

                            U (xi, Sk),

которое соответствует стратегии «оптимиста», когда ЛПР верит в максимальную удачу.

         Критерий Лапласа. Если неизвестны состояния среды, то их считают равновероятными:

         p(S1) = p(S2) = …= p(Sk) = .

         Решающее правило имеет вид

                  

Критерий Сэвиджа(критерий минимизации “сожалений”).“Сожаление” – это величина, равная изменению полезности результата при данном состоянии среды относительно наилучшего возможного состояния. На рис. 4  приведена схема построения матрицы “сожаления” Uc.

 

Рис. 4 Схема построения матрицы «сожалений»

 

 

По критерию Сэвиджа оптимальная стратегия X* должна минимизировать

 “сожаление”, т.е. определяется условие

                  

Этот критерий минимизирует возможные потери при условии, что состояние

 внешней среды наилучшим образом отличается от предполагаемого.

Рассмотрим пример использования данных критериев в условиях неопределенности для практической задачи выбора решения о эксплуатации сетевой системы (СС). Пусть матрица полезности в данном случае имеет вид:

Таблица 1

 

Нет потребности в СС (S1) у пользователей

Есть потребность в СС(S2) у пользователей

СС не использовать (x1)

U11 = 10 тыс. р.

U12 = - 100 тыс. р.

СС использовать(x2)

U21 = - 10 тыс. р.

U22 = 100 тыс.р.

 

Вероятности P(S1) и P(S2)  неизвестны.

Критерий Вальда 

         maxminUik  = 100 тыс. р.

По критерию Вальда следует выбрать решение об использовании СС.

 

Критерий Гурвица:

&

Для разных α построим таблицу «доходов» по критерию Гурвица

                   H = || hiα ||,            гдеhiα =

 

Таблица 2

«Доходы» от принятия решений по критерию Гурвица

 

Как следует из таблицы 2, по критерию Гурвица независимо от значения α целесообразно эксплуатировать СС. Если величину α интерпретировать как вероятность возникновения у пользователей потребности в СС, то можно отметить, что с увеличением возрастает «доход» от использования СС.

         Критерий Лапласа:

                  

         По этому критерию также выбираем решение: использовать СС.

         Критерий Сэвиджа: строим матрицу «сожалений» по схеме (рис. 4).

         Получим

                   Uc=

         По матрице “сожалений” определяем искомую стратегию как

                                     

по этому критерию также следует использовать СС.

         В рассмотренном примере решения совпали для всех критериев, однако в общем случае может быть ситуация, когда эти четыре различных критерия приводят к четырем разным решениям.

Примером может служить матрица “доходов” U, имеющая вид (табл.3).

 

Таблица 3

Матрица доходов

Таким образом, различные критерии действительно приводят к выбору разных альтернатив и возникает новая проблема выбора уже не альтернатив, а критериев. Здесь возможны два подхода. Первый – разработка критериев или требований для выбора критерия. Второй – использование дополнительной информации о вероятных областях применения СС у различных пользователей, что позволит заменить принятие решений в условиях риска с единственным критерием выбора. Второй подход требует, как правило, значительных дополнительных затрат. В этом смысле, на первый взгляд, более предпочтителен первый подход. Однако, исследования Льюса и Райфы привели к отрицательному выводу о перспективности первого подхода, состоящего в рекурсивном задании не только критериев для выбора критериев, но и критериев для выбора критериев для выбора критериев и т.д.: «Не существует критерия выбора решения, не использующего вероятностных оценок для состояний {Sk} внешней среды (природы)  и вместе с тем удовлетворяющего определенным “разумным”  требованиям к “хорошему  критерию”.

         Следовательно, выбор критерия является творческим актом  и должен производиться ЛПР на самом высоком уровне. В частности, если не допустим даже минимальный риск (безопасность людей, ответственные системы и т.д.), то лучше использовать критерий Вальда. Критерий Сэвиджа удобен, если приемлем определенный риск, но целесообразно израсходовать столько средств для достижения цели, сколько необходимо для этого.         В задачах выбора решений в условиях неопределенности и риска нами постоянно использовалось понятие функции полезности  U (Qj, xi). Рассмотрим ее несколько подробнее.

3. Функция полезности.     Разработка методов оценки полезности и построения функций желательности основана на следующих аксиомах.

1.Предпочтительности. Результат ДПП системы xi предпочтительнееxj, , xi xj тогда и только тогда, когда U(xi)U(xj), где U(xi)и U(xj), - полезности результатов xiиxj соответственно.

2.Транзитивность. Если  xi xj , а xjxk, то

U(xi) U(xk).

3. Линейность. Если некоторый результат ДПП СС xпредставлен в  виде x = (1-k)x1 + k(x2), где 0 k 1, то U(x1, x2) = U(x1) + U(x2).

4. Аддитивность. Если U(x1, x2) – полезность от достижения одновременно результатов ДПП СС  x1иx2, то

U(x1, x2) = U(x1) + U(x2).

         Аналогично, для n результатов ДПП СС, достигаемых одновременно

U(x1, x2,…..,xn) = U(x1 + x2 + ….+ xn) = .

         Рассмотрим методику оценки полезности для количественных критериев. Пусть имеется nвозможных результатов ДПП СС, между которыми установлено отношение предпочтения x1x2xn. В этом случае для определения полезности используется следующая схема.

 

1.      Определяем величину α1 из условия

α1U(x1) = U(x2)

2.      Аналогично определяем

α2U(x2) = U(x3)

         …

αn-1U(xn-1) = U(xn)

 

3.                 Приняв полезность наименее предпочтительного результата ДПП СС равной 1, находим:

U(xn)= 1

U(xn-1)=

U(x1)=

         Если некоторые из критериев являются качественными, то для оценки полезности можно использовать алгоритм Р. Акофа и Р. Черчмена[8,9].

1.      Упорядочивают результаты ДПП СС по убыванию предпочтительности

x1x2xn-1 xn

 2. Составляют таблицу возможных комбинаций результатов ДПП СС, достигаемых одновременно, а затем устанавливают их предпочтение относительно отдельных результатов (табл.4).

Эту информацию о предпочтительности получают от экспертов.

3. Задают начальные оценки полезности отдельных результатов ДПП  Uо(x1),Uо(x2), …, Uо(xn) . Затем подставляют начальные оценки  в последнее соотношение (табл.4).

Если оно сохраняет смысл, то начальные оценки не изменяются. В противном случае корректируют полезности так, чтобы удовлетворялось данное соотношение.

4. Переходят к следующему соотношению. Процесс коррекции продолжается до тех пор, пока не образуется система оценок U*(xi), i = которая удовлетворяет всем соотношениям, указанным в табл.4.

Коррекцию следует производить таким образом, чтобы по возможности изменять оценки для минимального количества результатов ДПП СС.

Рассмотрим пример. Пусть ЛПР упорядочивает пять результатов ДПП ССx1, x2, x3, x4, x5, приписав им следующие оценкиUо(x1) = 7; Uо(x2) = 4; Uо(x3) = 2;Uо(x4) = 1,5; Uо(x5) = 1

 

Рассмотрев возможные варианты выбора, он записал в табл.4 суждения относительно предпочтения тех или иных комбинаций результатов.

В соответствии с рассмотренным алгоритмом подставляем начальные оценки в строку 7 табл. 4

                   U0(x3) = 2 U0(x4) + U0(x5) = 2,5

 

Следовательно, строка 7 не выполняется. Изменяем полезность результата

x3: U1(x3) = 3 и проверяем строку 6 табл. 4:

                   U0(x2) = 4 U1(x3) + U0(x4) = 4,5

Таблица 4

№№

Предпочтение

1

x1  x2 + x3 + x4 + x5

2

x1  x2 + x3 + x4

3

x1  x2 + x3 + x5

4

x1  x2 + x3

5

x2  x3 + x4 + x5

6

x2  x3 + x4

7

x3  x4 + x5

 

Эта строка также не выполняется. Примем U1(x2) = 5. При этом строка 5 выполняется.

Проверяем строку 4 табл. 4:

                   U0(x1) = 7 U1(x2) + U1(x3) = 8

Эта строка не выполняется. Примем U1(x1)= 8,5.  Теперь выполняются все строки табл. 4.

Выпишем окончательные оценки полезности результатов ДПП СС

U *(x1) = 8,5; U *(x2) = 5; U *(x3) = 3; U *(x4) = 1,5; U *(x5) =1.

Эти значения оценок полезности могут быть использованы при формировании матрицы «доходов» в задачах принятия решений в условиях неопределенности и риска.

Иногда оценка полезности должна быть получена в результате объединения nэкспертных оценок различных свойств одного и того же решения. Решение этой задачи является весьма сложным и составляет одну из основных проблем квалиметрии. В инженерных приложениях для получения объединенной (обобщенной) оценки полезности  часто используется специальная функция желательности, предложенная Харрингтоном:

где  U'j - кодированная оценка полезности  j' -го свойства анализируемого решения, соответствующая экспертной оценке по шкале от «очень плохо» до «очень хорошо».

         Рассмотренные методы оценки полезности и определения функции желательности, как правило, используют в качестве исходных данных экспертные оценки.

4.   Принятие решений по нечисловой информации.    Опыт, накопленный при рассмотрении задач выбора решений в условиях определенности, неопределенности и риска, позволяет отметить, что среди важнейших проблем, связанных с этими задачами, следует выделить представление знаний о характеристиках диагностируемых СС и среды пользователей.

Сложность описания этих характеристик на естественном языке требует применения новых формальных методов и концепций принятия решений, в частности, теории нечетких множеств. Введенное Л. Заде понятие размытого (нечеткого) множества является и сейчас перспективной концепцией и активно используется в расплывчатых процедурах и алгоритмах принятия решений по нечисловой информации  [3,7].

          К расплывчатым категориям при выборе решений относятся такие характеристики, которые представлены в нечисловой (качественной) форме, например, «тяжелые условия эксплуатации СС», «недостаточно высокое качество СС», «медленное решение задач» и т.д. Расплывчатые категории возникают там, где представления ЛПР выражаются с помощью недостаточно определенных качественных оценок.В основе расплывчатых категорий и нечетких множеств лежит по Л.Заде понятие лингвистической переменной (ЛП), т.е. такой переменной, которая выражается не числом, а словом на естественном языке.        Трудности манипулирования расплывчатыми категориями, содержащимися в текстах, представленных на естественном языке и связанными с необходимостью их формального представления при оценке диагностируемых СС, выборе и принятии решений, успешно преодолены Л.Заде с помощью введения понятий «нечеткого множества» и «функции принадлежности».

В отличие от классической теории множеств, элементы которых либо принадлежат к ним, либо не принадлежат, Л. Заде рассматривает такие множества («нечеткие»), элементы которых обладают разной степенью принадлежности этому множеству. О степени принадлежности конкретного элемента к некоторому нечеткому множеству судят по значению его функции принадлежности, изменяющейся в интервале [0, 1]. При этом крайние значения (0 1) характеризует соответственно полную непринадлежность или полную принадлежность данного элемента нечеткому множеству.

         Различным аспектам теории нечетких множеств сейчас в научной литературе, по некоторым данным, посвящено более 2000 публикаций, в частности, рассмотрены задачи  линейного программирования (ЛП) с нечеткими (размытыми) ограничениями, задачи ЛП с нечеткими коэффициентами, задачи нечеткого математического программирования с четкими целями, задачи определения размытого множества Парето и модели взвешенной свертки нечетких локальных критериев. В этих публикациях выделяют два основных направления. Одно из них состоит в «размывании» существующих математических понятий, т.е.  в замене «жесткого» отношения принадлежности элемента множеству на функцию принадлежности, по Л Заде; так возникают нечеткие аналоги известных математических теорий. Второе направление состоит в разработке методов количественного описания нечетких ситуаций и последующего использования известного аппарата теории принятия решений в условиях определенности или риска. Дальнейшее развитие работ первого направления связано с разработкой механизма оперирования с размытыми объектами. Исследования в этом направлении идут. В то же время в рамках второго направления получен ряд инженерных результатов, которые уже сейчас позволяют решать прикладные задачи выбора решений.

         Рассмотрим один из таких результатов на примере оценки показателей качества диагностируемого СС в нечеткой обстановке, когда отсутствует общепринятая шкала измерений свойств, определяющих качество СС. В нечеткой обстановке показатель качества (ПК) контролируемой СС может быть описан с помощью лингвистической оценки типа «СС имеет достаточно высокое значение ПК», «ПК контролируемой СС почти соответствует желаемому значению» и т.д.    Процедура оценки СС состоит в сопоставлении значений качества оцениваемой СС с базовым качеством «идеальной» СС. Это приводит к необходимости введения двух типов лингвистических переменных (ЛП):

1.  ЛП «Качество» - предназначена для лингвистической интерпретации базового значения рассматриваемого ПК в виде:

bj [k (xi)]

       где xi – название i -го  ПК;

k-лингвистическое значение, выраженное первичным термином «хорошее» для ЛП «Качество»;

bj - модификатор для лингвистического значения «хорошее» (см. табл. 5).

Пример: b4[K (показатель качества контролируемой СС)]: = контролируемое СС достаточно хорошее.

2. ЛП «Величина» – используется для сопоставления оцениваемого ПК с базовым. Имеет три значения:   a1 - «высокий», a2 - «средний», a3 - «низкий», i= 1, 2, 3.

         В качестве функций принадлежности нечетких множеств выберем следующие аналитические представления:

 

< высокий > (U) =

< низкий >(U) =

< средний > (U) =

На рис. 5 показано графическое представление функций принадлежности.Под значением ПК понимается степень соответствия показателя качества диагностируемой СС базовому  значению ПК для идеальной СС, которая задается в видеbj[k(xi)] : = biak,     i =  , k = 1, 2 ,3.

В частных случаях могут отсутствовать модификаторы в правой или левой частях этого выражения. Могут использоваться составные высказывания вида  bmbiak,  m=; i=;  m 1  и сложные  модификаторы (со связками “И” и “ИЛИ”).ЛПР оценивает формируемое в такой последовательности:

1. Формируется базовое значение ПК путем приписывания к рассматриваемому ПК подходящего по мнению эксперта ЛЗ для ЛП “Качество”.

Таблица 5

Модификаторы для лингвистических значений “Качество”

 

Наименование

Обозначение

Показатель степени a в комплексном ПК

Примечание

“Не”

b1

-

Арифметическая операция 1- iдля значений функций принадлежности i

“Болееилименее”

b2

0,5

 

“Почти”

b3

0,75

 

“Достаточно”

b4

1,25

 

“Очень”

b5

2,0

 

“Высоко”

b6

3,0

 

 

1. Для анализируемой СС оценивается соответствие ее результата

 базовому значению ПК с помощью подходящего лингвистического значения

 ЛП «Величина».

Пример. Запись видаb2 [k(xi)] = b3 a1 означает: <более или менее >

[ <хороший>    (< показатель  качества  диагностируемой СС >)]: =

<почти >< высокий >( качество).          Связки “И” и “ИЛИ” в составных высказываниях означают соответственно операции min и max  для значений функций принадлежности.        Комплексные ПК вычисляются по правилу композиции

        

где  Õ-min(операция пересечения размытых множеств).

дляi-гоПК(Ai[ k(xi)]): = biak

Для интерпретации результата вычисления комплексного ПК в виде числа из отрезка [0,1] необходимо найти лингвистическое среднее результирующей функции принадлежности

Cp(x)= .

         Пример. Вычислим лингвистическое среднее результирующей функции принадлежности ПК < почти >< высокий > (показатель качества диагностируемой СС). В предыдущем примере мы определили, что этому ЛЗ соответствует запись вида b2 [k(xi)]: = b3 a1Используем для расчета лингвистической средней график для функции принадлежности “высокий” (рис. 5). В табл. 5 приведены результаты расчета m<почти ><высокий> (U).

 

Таблица 6

 

В соответствии с данными табл.5 лингвистическое среднее функции принадлежности < почти >< высокий > равно       Ср (< почти >< высокий >) =

    Это значение можно подставить в матрицу “доходов” и далее перейти к выбору

 

 

 

Рис. 5 Графическое представление функций принадлежности нечетких множеств

решений в условиях неопределенности и риска.

Таким образом, использование ЛП позволяет достаточно простыми инженерными расчетами преобразовать задачу принятия решений по нечисловой информации для нечетных множеств в задачу принятия решений в условиях неопределенности и риска, инженерный аппарат исследования которой хорошо работает в нижеследующем примере.

Пусть в подсистему диагностирования поступает информация о состоянии СС и имеются эталонные данные (ЭД). Необходимо принять решение о возможном использовании СС  в целом или ее подсистем.

         Диагностирование СС проходит в несколько этапов. Предполагается, что на каждом этапе возможен один из 4-х исходов испытаний:

b1= {image133,СС},  b2 = {ЭД, image135}, b3 = {image133, image135}, b4 = {ЭД, СС}

В первом случае качество эталонных данных неудовлетворительны, сетевая система признана работоспособной, во втором случае – наоборот, третий и четвертый исходы очевидны. ДПП необходимы для принятия следующих решений:

1.      О целесообразности эксплуатации исследуемой СС при сравнительно небольшом количестве этапов процедуры диагностирования.

2.      О выделении подмножества пользователей, у которых использование исследуемой СС экономически целесообразно, при сокращении тем самым затрат на эксплуатацию.

Имеется полученное вместе с поступившей СС, либо после очередного этапа ДПП, априорное распределение вероятностей возможных исходов дианостирования СС. Кроме того, имеется информация о случайных значениях реальных исходов контрольных применений отдельной подсистемы или целой СС.

         Задано не более 20 групп пользователей, отличающихся одна от другой относительными затратами на использование исследуемой СС. При формировании групп пользователей применяется метод, алгоритм и программный модуль сцепления корреляционных плеяд.       Заданы также относительные затраты каждой из групп пользователей для каждого из возможных исходов ДПП, усредненные затраты на использование данного класса СС, приоритет исследуемой СС.

Модуль должен:

1.      Помещать в банк данных обработанную информацию очередного этапа ДПП.

2.       Выводить сообщение о целесообразности использования СС, либо о нецелесообразности этого, либо о необходимости продолжить процедуру диагностирования.

3.       В случае целесообразности использования СС модуль должен напечатать список групп пользователей, у которых рекомендуется применение данной СС.

Как следует из постановки задачи, затраты на эксплуатацию СС значительно зависят от исходов диагностирования, а исходы ДПП имеют вероятностный характер. Это усложняет процесс принятия решения об использовании СС и выделении групп его реальных пользователей.В таких ситуациях целесообразно использовать байесовский метод принятия решений о ненаблюдаемых переменных, основанный на знании априорного распределения вероятностей и на условном распределении искомых переменных при заданном значении ненаблюдаемых переменных.

В соответствие в байесовским подходом к принятию решений нам известно априорное  распределение вероятностей  Р(bj) возможных исходов контроля bj image137B(j = image096) и информация о случайных значениях xj image137X реальных исходов ДПП контролируемого СС. Также задано множество  A = {ai} потенциальных пользователей или групп пользователей исследуемой СС (i = image098)  и матрица C = || Cij || затрат на эксплуатацию СС у i–го пользователя ( i-й группы пользователей) данной СС с j–м исходом ДПП.

Тогда априорные и апостериорные средние ожидаемые затраты на эксплуатацию СС у  i-го пользователя (группы пользователей) соответственно равны:

image100

где  P(bj /x)- апостериорные вероятности j–го исхода ДПП.

Введем обозначения:

image102

И, соответственно:

image104

Известно, что затраты на эксплуатацию СС прямо пропорциональны сложности сети. Поэтому критерием, используемым при предварительном решении об использовании СС, может служить неравенство:

Z min (B/X) image106Zср(N) + ls{Z(N) },

где  Zср(N) – усредненные затраты на использование данного класса СС, имеющего объем N-  блоков (терминалов);

s{Z(N) }- среднее квадратическое отклонение величины затрат на использование данного класса СС, имеющей объем Nблоков (терминалов);

l = 0,1,2,3 - в зависимости от приоритета контролируемой СС.

Для последовательного принятия решения об использовании и выделении подмножества реальных пользователей, у которых использование данной СС целесообразно, предлагается процедура, использующая метод построения размытой классификации.

         Шаг 1. Вычисляются значения априорных функций принадлежности

m+ (i) и непринадлежности  m -(i)i-го пользователя (группы пользователей) к множеству  Ар реальных пользователей исследуемой СС:

         image108;

;

где  di(B) = image112image114    - мера сходства

 априорных оценок средних затрат на применение СС у i–го пользователя (группы пользователей), соответственно, с мин. и макс. затратами.

Шаг 2. Пользователи  ai(группы пользователей) упорядочиваются по

убыванию значений Zi(B)и определяется такой номер i = k, для которого справедливы неравенства

         image116134k=image120.

Тогда в множестве Ap(B) включаются пользователи (группы пользователей), упорядоченные по убыванию значений Zi(B), номера которых не меньше номерак, т.е. Ap ( B ) = { ai ( B )},   i = image122

Шаг 3. Аналогичным образом определяется множество Ap(B/X).

С этой целью используются соотношения:

image124image126,

di(B/X) = image128

image130

И неравенства   image116134.

В этом случае Ap ( B / X ) = { ai ( B / X )},   i = image122

Шаг 4. Анализируются множества Ap ( B ) и Ap ( B / X ).

Результаты анализа используются для определения возможности прекращения ДПП СС. Если A н = Ap ( B / X )\ Ap ( B ) =135, то принимается решение о прекращении диагностирования контролируемой СС и поставке его пользователям ai ( B / X ) Ap ( B / X ). В противном случае проводится очередной этап ДПП и снова выполняются перечисленные шаги 1….4. При этом, если на

r–м этапе диагностирования испытаний  Aн(r) больше, чем  на r–м этапе, т.е.

136

то диагностируемую СС не рекомендуется использовать.Опишем теперь алгоритм решения всей проблемы в целом (рис. 6)

1. Начало.

2. Ввод исходных данных: априорная информация о вероятностном распределении исходов диагностико-прогнозирующих процедур, количество групп пользователей, приоритет исследуемой сетевой системы, усредненные относительные затраты на использование СС данного класса, распределение частности исходов очередного этапа ДПП.

3. Вычисление ожидаемых затрат на использование СС у каждого из групп пользователей. Вычисление максимальных и минимальных ожидаемых затрат.

4. Предварительное решение вопроса о применении СС по величине затрат на эксплуатацию.

5. Выделение групп реальных пользователей. Производится вычисление функций принадлежности и непринадлежности каждой из групп потенциальных пользователей к множеству реальных пользователей. Оперируя функциями принадлежности, выделяются группы реальных пользователей.

6.  

7. Производится сравнение множества реальных пользователей, вычисленных по априорным средним ожидаемым затратам и множества реальных пользователей, вычисленных по апостериорным средним ожидаемым затратам. Если множества равны, то принимается решение о применении СС и постановке его выделенным  реальным пользователем.

 8. Определяется статистическая устойчивость результатов ДПП.

9. Вывод сообщения на экран дисплея и на печать о нецелесообразности применения СС.

 10.    Вывод сообщения на экран дисплея и на печать о целесообразности применения СС и вывода на печать списка групп реальных пользователей.

11.    Вывод сообщения на экран дисплея о необходимости продолжать ДПП и  в банк данных распределения апостериорной вероятности исходов процедур.

 Конец.

Рис. 6 Алгоритм программы приятия решений

 

5.  Представление нечисловой информации в задачах принятия решений. Введем некоторые определения и формулы, следуя поЛ.Заде[3,7,8,9].Лингвистической называется переменная, значениями которой являются слова и предложения естественного или искусственного языка. Терм-множество переменной – это совокупность всех значений лингвистической переменной. Это множество может быть бесконечным.

         Нечеткое подмножество А универсального множества Uхарактеризуется функцией принадлежности , которая ставит в соответствие каждому элементу ичисло  из интервала [0,1], характеризующее степень принадлежности «и» подмножеству А. Определена лингвистическая средняя функции принадлежности:

Ср =

         После введения этих основных понятий перейдем к аналитическому обзору, целью которого является поиск методов комплексирования лингвистических оценок, лингвистических и экспертных оценок; агрегирование числовой и нечисловой информации. При этом предполагается, что читатель знаком с основными утверждениями и проблематикой теории нечетких множеств.

         В известной литературе наметились два основных подхода [3,7,8,9,10,11] к комплексированию нечисловой информации: -подход, использующий поЛ.Заде операции max и min и позволяющий перейти от функций принадлежности унарных лингвистических переменных к результирующей одномерной функции принадлежности;

-подход [10,11], основанный на использовании классификации альтернатив для случая нечетких классов, когда важность критериев, относящихся к анализируемой альтернативе, задается нечетким множеством на множестве классов. В этом случае определяется принадлежность анализируемой альтернативы к каждому из классов, а выбор решений производится для классов альтернатив.

         Первый подход позволяет агрегировать информацию по отдельным альтернативам, т.е. обеспечивает дифференцированную оценку альтернатив. Поскольку при определении состояния СС оценка обычно производится не для класса, а дляконкретной СС, нам представляется более предпочтительным использовать первый из отмеченных подходов при решении формулированных задач (рис. 7).

10

 

Рис. 7Первая процедура использования схем комплексирования

 

Рассмотрим кратко характерные особенности агрегирования информации на основе первого подхода.В этом случае описание альтернатив с использованием нечисловой информации задается в виде набора лингвистических значений составной лингвистической переменной так, что каждый элемент набора является элементом терм-множества соответствующей унарной лингвистической переменной.Возможность такого построения подтверждается следующим. Во-первых, в конкретных задачах принятия решений имеется сравнительно небольшое число параметров с нечетко определенными ограничениями, рассматриваемых человеком в процессе выбора решения.         Во-вторых, число элементов терм-множества качественной шкалы не больше 5…9, а множество параметров, как правило, разбивается на аддитивные группы параметров, т.е. оценка значений параметров не зависит от оценок параметров других групп.

         Рассмотрим формальную задачу принятия решения, в которой описания исходных данных формализуются посредством составной лингвистической переменной, а процедура принятия решения – посредством расплывчатой поверхности принадлежности. Пусть ЛПР в момент времени tполучает некоторый набор показателей – оценок, который будем называть ситуацией (альтернативой) в момент времени t и обозначать как S(t) или S. Следовательно, ситуация (альтернатива) характеризуется параметрами xi,i =, каждый из которых принимает значения из соответствующего множества значений xi , так что в момент времени t имеется набор значений ситуационных переменныхS(t) = (z1, z2, …,zn), где.  Из дальнейшего изложения будет следовать, что Ziдопустимо представлять как числовым значением так и значением из некоторого нечеткого множества.

Для построения процедуры принятия решения априорно формируются приближенные словесные описания, формализуемые посредством составной части n-арной лингвистической переменной S. Известно, что n-арная лингвистическая переменная – есть упорядоченный набор S = (x1,…xn), где xii-ая лингвистическая переменная (УЛП) с терм-множеством Т названий лингвистических значений переменной  {Zj} = Ti , причем каждое  Zjявляется нечеткой переменной Xi , которая пробегает все значения из множества Xi. Обобщенное описание ситуации представимо в видеS = (X1 = Z1,…,Xn = Zn).

         Описания анализируемых альтернативных объектов и управляемых объектов представим в виде подмножеств из элементов терм-множеств:

S = {X1 = Z1,…,Xm = Zm},…,{(Xm(r-1)Zm(r-1)+1,…,

                   Xmr= Zmr),    xrm+1 = zrm+1,  xn = zn},

Где наборы изm элементов характеризуют альтернативные объекты

                            Oi  ,i = 1,…r.

         При выборе наилучших альтернативных объектов приходится руководствоваться критерием, который строго формализуем. Например, если рассматривать критерий «качество СС»:

Q =     удовлетворяется, если оценка надежности, точности,

     длительности  работы СС и т.д.  являются наилучшими;

  не удовлетворяется в противном случае,

то из-за нечетких оценок по параметрам имеет место нечеткая оценка удовлетворимости критерия, которая определяется в результатеанализа мнения эксперта для различных лингвистических параметров.

         Таким образом, существует отображение H: (Т1Т2….Тm)Tw , которое приводит значения по всем параметрам к единой расплывчатой шкале на интервале [0,1], где Tw -терм-множество значений степени удовлетворения критерию.        Необходимо среди множества альтернативных объектов, описанных вS(t), выделить те, которые в наилучшей степени удовлетворяют выбранному критерию.     Опишем подробнее процедуру выбора и ее формализацию для расплывчатых условий. Продолжим отображение Н на базовые множества (Н рассматриваем как нечеткое отношение следующим образом: так как соответствие значений УЛП   xiи значений из Tw задается,  то отображение Н строится в виде нечеткого графика в базовом пространствеxi[ 0,1], как объединение нечетких точек. Здесь и далее предполагается, что имеющихся в наличии нечетких точек достаточно, чтобы их объединение давало непрерывный график. В противном случае необходимы специальные процедуры, формирующие нечеткий график по нескольким нечетким точкам 0,111].

         При оценке альтернативных объектов по критерию одно и то же значение параметра может как удовлетворять, так и не удовлетворять критерию в зависимости от комбинаций значений некоторых других параметров. В таком случае используется правило вида

где  t1 = Zi1…<ZiNp;           

-         декартовы произведения, 

Np - количество параметров в рассматриваемом подмножестве параметров.

Когда Npне велико (Np = 2 – 3), то степень удовлетворениякритерию несложно получить непосредственно в результате экспертного опроса  в виде расплывчатой поверхности принадлежности [11,12].      Аналогичную  процедуру построения расплывчатой поверхности можно реализовать в случае нескольких критериев, сводимых к одному.

         В случае строгих оценок  S1, S2 по критерию O1, O2 имеет место доминирование объекта  O1над элементом  O2 ( O1>O2) если  S1S2, где S1 [0,1]; S2 [0,1] . Рассмотрим случай нечетких оценок по критериям. Пусть S - нечеткое множество оценки объекта 0. Пусть  S12 = S1\(S1S2) -множество, указывающее доминирование множества S1 над множеством  S2, где знакобозначает симметрическую разность множеств: S1S2 = (S1 \ S2) (S2 \ S1). Через , , , обозначим носители множеств  S1, S2, S12, S21, соответственно. Носитель нечеткого множества – множество (не нечетное) элементов базового множества, для которых функция принадлежности имеет ненулевые значения. Возможны следующие варианты. Кривые, описывающие S1,2 и S2,1 , являются унимодальными. Если S1,2 Æ, то либоO1>O2, когда для любого  x1,2 1,2 и любого x2,1 справедливоx1,2 x2,1, либо О21, когда для любогоx1,2  и любого x2,1 , справедливоx1,2 £x2,1. Если S1,2 Æ, то либо O2>O1, когда для  x1,2 такого, что   и для  такого, что x1 такого, что , имеет место неравенство  x1,2  x1, либоO1>O2, когда для тех жеx1,2   и x2x1,2 x1  .

Если кривые, описывающие  S1,2или S2,1, являются амодальны, то предпочтение устанавливается по усмотрению ЛПР.

Комплексирование лингвистических оценок.Перейдем к изложению некоторых конкретных постановок задач, алгоритмов вышеуказанных задач применительно к нечисловой информации по результатам контроля и оценки технического состояния СС.Среди показателей качества сетевых систем можно выделить количественные, имеющие числовое измерение (например, понятность функционирования СС, модифицируемость работы СС и т.д.). Для оценки количественных показателей качества СС можно применить известные методы статистического анализа, планирование экспериментов, имитационного моделирования и т.д. Качественные показатели качества СС предлагается измерять с помощью теории нечетких множеств Л.Заде.

Из теории нечетких множеств известно, что нечеткое подмножество А области рассуждений  U   характеризуется    функцией    принадлежности : U [0® 1]  ,которая каждому элементу  uUмножества ставит в соответствие число(U) [0, 1] , описывающее степень принадлежности элемента к подмножеству А. Носитель А – это такое подмножество элементовu, для которых

mA(U) 0

Если А – одноточечное нечеткое множество, носителем которого является точка  u, то пишут

A = m | U (1)

где   m- степень принадлежности  uмножеству А.

Определенное (четкое) одноточечное множество обозначают через 1|U

Нечеткое множество А рассматривают как объединение* составляющих его одноточечных множеств. Тогда для носителя А, состоящего из конечного

 числа nэлементов, имеем

(2)

Или

(3)

Где число  )- нечеткая функция принадлежности элемента иiмножеству А. Еще раз напомним, что знак плюс в (3) обозначает объединение, а не арифметическое суммирование.Степень принадлежности к нечеткому множеству может сама представлять нечеткое множество. Так, например, если для подсистем СС (ПС)

U = ПС 1 + ПС 2 + ПС 3

и А – нечеткое множество < понятность >, то можно написать < понятность > =  < средне > | ПСИ 1+  < мало >| ПС 2 + < сильно> | ПСЗ

 Нечеткие степени принадлежности < мало> ,< средне > и  < сильно >   являются при этом нечеткими подмножествами полного множества V, определяемого следующим образом

V = 0 + 0,1 + 0,2 + …+ 0,9 + 1,0.                     (4)

Сами эти множества можно определить, например, так:

< мало > = 0,5| 0,2 + 0,7 | 0,3 + 1  | 0,4 + 0,7 | 0,5 + 0,5 |  0,6;

< средне > = 0,5 | 0,4 + 0,7 | 0,5 + 1 | 0,6 + 0,7 | 0,7 + 0,5| 0,8

< сильно > = 0,5 | 0,7 + 0,7 | 0,8 + 0,9 | 0,9 + 1 | 1.

Рассмотрим теперь постановку задачи получения комплексной оценки для  нечисловых показателей качества СС. Пусть некоторое СС имеет N нечисловых показателей качества СС, задаваемых с помощью нечетких функций принадлежности   mij | иi (i = 0;  0,1; 0,2;….; 0,9; 1,0; j=). Необходимо вычислить комплексную оценку для показателей качества СС.С этой целью возьмем два каких-нибудь произвольных показателя качества СС (j  и k) и введем три схемы комплексирования нечисловых показателей качества СС, которые определим следующим образом:

Схема И (&)          (5)

Схема ИЛИ (V) (6)

Схема mi(jk) =           (7)

Для комплексированной функции принадлежности можно вычислить следующую оценку

      ( 8)

Эта средняя оценка     может использоваться как числовой комплексный показатель  для  j-го и k–го нечисловых показателей качества СС.

Систематически используя схемы комплексирования  (1.5) – (1.7), мы через Nэтапов получим числовой комплексный показатель для всех N нечисловых показателей качества СС в целом.Принципиально можно применить две процедуры использования схем комплексирования (рис.7 и рис. 8).

Выбор процедуры зависит от четного или нечетного числа Nи должен выполняться ЛПР в диалоговом режиме. Можно показать, что для упрощения вычислений рационально при комплексировании по схеме И использовать попарное комплексирование противоположных лингвистических значений (например,  < плохой > &< хороший >); по схеме ИЛИ – близких лингвистических значений (например, <средний ><средний>); по схеме  - достаточно   близких  лингвистических  значений  (например, <плохой ><средний>).

11

 

 

Рис.8Вторая процедура использования схем комплексирования

 

Выбор схемы комплексирования производится ЛПР в диалоговом режиме. В дальнейшем необходимо проведение специальных исследований для определения границ рационального применения схем комплексирования.

Содержательное описание технологической процедуры вычисления показателей качества СС выглядит следующим образом.

1.  ЛПР в диалоговом режиме заносит в память ЭВМ функции принадлежности для нечисловых показателей качества СС:

< плохой > = x,x/ Ø, Ø _ x,x / 0,1…x,x/0,9_ x,x/ 1,Ø

<средний> = x,x / Ø, Ø_ x,x /Ø,1…x,x / Ø,9 _ x,x / 1,Ø

<хороший> = x,x / Ø,Ø _ x,x /Ø,1 … x,x /Ø,9_ x,x /1,Ø

2.   Выбираются два нечисловых показателя качества СС, например, N-й  и  (N-1)-й.

1.Для этих показателей качества ЛПР в диалоговом режиме задает лингвистические значения, используя терм-множество: < очень плохой >,<плохой>,<средний >,<хороший >, < очень хороший >.

2.Вычисляются средние лингвистические оценки для показателей качества по формуле

;                         j = N;   j = N –1.

В качестве µij (Ui) используются значения функций принадлежности лингвистических значений <хороший > , заданные в п. 1. Для лингвистических значений <очень плохой> и <очень хороший>µij (Ui) определяется по формулам

<очень плохой> = <плохой>2

<очень хороший> = <хороший>2

3. В диалоговом режиме ЛПР назначает схему комплексирования.

4. Для заданной схемы комплексирования вычисляются значения 

µi(N, N-1) (Ui) иСр(N, N-1).

5. Выбирается следующий нечисловой показатель качества СС, например, N-2.

6. Для  N-2 –го показателя качества СС задается лингвистическое значение и вычисляется Ср(N-2).

7. В диалоговом режиме ЛПР назначает схему комплексирования.

8. Для заданной схемы комплексирования вычисляются значения

µi(N, N-1, N-2) (Ui) иСр(N, N-1, N-2).

  11. Пп. 7 – 10 повторяются до тех пор, пока не будет получена результирующая средняя оценка Ср(N, N-1, N-2, …,2,1) для всех комплексируемых нечисловых показателей качества СС. В результате расчетов на печать выдаются   все   промежуточные значения  µij (Ui),  (j = ) и 

Ср(N, N-1), Ср(N, N-1, N-2),  …, Ср(N, N-1, N-2,…, 3,2),а также окончательный

 результат Ср(N, N-1, N-2, …2,1).При алгоритмизации диагностирования СС следует учесть, что N20; i =

Таким образом, предложена методология принятия решений при осуществлении диагностико-прогнозирующих процедур, как технических средств, так и информационных процессов сетевых систем. И это важно, поскольку существует разнообразный класс задач по оценке состояния контролируемых объектов и процессов, когда необходимо делать заключение по неколичественной информации.

Отметим, что в итоге рассмотренных вопросов:  уточнены основные операции процедуры принятия решений, как основа человеко-машинной сетевой системы поддержки принятия решений при однокритериальном и многокритериальном выборе в условиях определенности и риска и нечетких условий;   предложены основные принципы принятия решений в условиях неопределенности (по числовой информации) с использованием для выбора оптимальной стратегии критериев Вальда, Гурвица, Лапласа и Сэвиджа.При этом приводится схема построения матрицы «сожалений» и оценивания матриц доходов для всех критериев; дан метод оценки полезности и построения функции желательности при осуществлении диагностико-прогнозирующих процедур с изложением его алгоритма;уточнена процедура принятия решения о состоянии СС по нечисловой информации путем введения лингвистических переменных  и  показателей качества на основе функций принадлежности.Все это может быть, в определенной степени, полезным при имитационном моделировании с использованием современных языков таких как GPSS/H и нейронных сетей.

ЛИТЕРАТУРА

1. Варжапетян А. Г., Глущенко В. В., Глущенко П. В. Системность процессов

cоздания и диагностики технических структур. –  СПБ.: Политехника, 2004.

2. ГлущенкоП.В. Техническая диагностика. Моделирование в       диагностировании и прогнозировании состояния технических объектов. –  М.: Вузовская книга, 2004

3.Глущенко В. В. Диагностико-прогнозирующие системы управления   

 информационными процессами в сетевых объектах.- СПб.: СПГУВК,       1999

4.Классификация и кластер. (Под ред. Дж. Вэн Дж. Райзина. - М. : Мир, 1980

5.  Варжапетян А.Г. Имитационное моделирование наGPSS/H. –М.: Вузовская книга, 2007.

6. Прангишвили И.В. Микропроцессоры и локальные сети микро-ЭВМ в рас­пределенных системах управления. — М.: Энергоатомиздат, 1985.

7.  Л. Заде. Понятие лингвистической переменной и его применение к принятию приближенных решений. – М.: МИР, 1976. – 94 с.

8. Поппель Г., Голдстайн Б. Информационная технология - миллионные при­были. Пер. с англ. (науч. ред. и авт. предисл. В.В. Симаков. - М.: Экономика, 1990.

9. Martin I. Application Development Without Programmer. -NewYork: SAVANT Institute, 1981.

10. Глушков В.М. Основы безбумажной информатики. - 2-е изд. испр. и доп. -   М.: Наука, 1987. - 552 с.

11.   Васильев Ю.П. Сети ЭВМ в управлении производством. Под ред. Игнатьева И.Б . - М,: Экономика, 1981 - 240 с.

12. Скурихин В.И. О формулировании концепций. Концепция четырех «И». УСиМ. -1989. - № 2. - С. 7-12.

13.  Мартин Дж. Технологическое прогнозирование. - М: Прогресс. 1977.

14. Павловский Ю. Н.  Имитационное моделирование и системы. – М.:  ВЦ РАН,2000.

15.  Глущенко В.В.Прогностика: теоретические аспекты прогнозирования с использованием экономико-математических методов в принятии решений о качестве систем. Монография. –  М.: Вузовская книга, 2009.


 


* Объединение нечетких множеств соответствует схеме ИЛИ. Если u и v – символы нечетких множеств, то u или v u + v

  vakperechen

ОБНОВЛЕННЫЙ СПИСОК ВАК 2016 г.
ОТ 19.04.2016  >> ПРОСМОТРЕТЬ
tass
 
ПО ВОПРОСАМ ПУБЛИКАЦИИ СТАТЕЙ И СОТРУДНИЧЕСТВА ОБРАЩАЙТЕСЬ:
skype SKYPE: vak-uecs
e-mail
MAIL: info@uecs.ru
phone
+7 (928) 340 99 00
 

АРХИВ НОМЕРОВ

(01) УЭкС, 1/2005
(02) УЭкС, 2/2005
(03) УЭкС, 3/2005
(04) УЭкС, 4/2005
(05) УЭкС, 1/2006
(06) УЭкС, 2/2006
(07) УЭкС, 3/2006
(08) УЭкС, 4/2006
(09) УЭкС, 1/2007
(10) УЭкС, 2/2007
(11) УЭкС, 3/2007
(12) УЭкС, 4/2007
(13) УЭкС, 1/2008
(14) УЭкС, 2/2008
(15) УЭкС, 3/2008
(16) УЭкС, 4/2008
(17) УЭкС, 1/2009
(18) УЭкС, 2/2009
(19) УЭкС, 3/2009
(20) УЭкС, 4/2009
(21) УЭкС, 1/2010
(22) УЭкС, 2/2010
(23) УЭкС, 3/2010
(24) УЭкС, 4/2010
(25) УЭкС, 1/2011
(26) УЭкС, 2/2011
(27) УЭкС, 3/2011
(28) УЭкС, 4/2011
(29) УЭкС, 5/2011
(30) УЭкС, 6/2011
(31) УЭкС, 7/2011
(32) УЭкС, 8/2011
(33) УЭкС, 9/2011
(34) УЭкС, 10/2011
(35) УЭкС, 11/2011
(36) УЭкС, 12/2011
(37) УЭкС, 1/2012
(38) УЭкС, 2/2012
(39) УЭкС, 3/2012
(40) УЭкС, 4/2012
(41) УЭкС, 5/2012
(42) УЭкС, 6/2012
(43) УЭкС, 7/2012
(44) УЭкС, 8/2012
(45) УЭкС, 9/2012
(46) УЭкС, 10/2012
(47) УЭкС, 11/2012
(48) УЭкС, 12/2012
(49) УЭкС, 1/2013
(50) УЭкС, 2/2013
(51) УЭкС, 3/2013
(52) УЭкС, 4/2013
(53) УЭкС, 5/2013
(54) УЭкС, 6/2013
(55) УЭкС, 7/2013
(56) УЭкС, 8/2013
(57) УЭкС, 9/2013
(58) УЭкС, 10/2013
(59) УЭкС, 11/2013
(60) УЭкС, 12/2013
(61) УЭкС, 1/2014
(62) УЭкС, 2/2014
(63) УЭкС, 3/2014
(64) УЭкС, 4/2014
(65) УЭкС, 5/2014
(66) УЭкС, 6/2014
(67) УЭкС, 7/2014
(68) УЭкС, 8/2014
(69) УЭкС, 9/2014
(70) УЭкС, 10/2014
(71) УЭкС, 11/2014
(72) УЭкС, 12/2014
(73) УЭкС, 1/2015
(74) УЭкС, 2/2015
(75) УЭкС, 3/2015
(76) УЭкС, 4/2015
(77) УЭкС, 5/2015
(78) УЭкС, 6/2015
(79) УЭкС, 7/2015
(80) УЭкС, 8/2015
(81) УЭкС, 9/2015
(82) УЭкС, 10/2015
(83) УЭкС, 11/2015
(84) УЭкС, 11(2)/2015
(85) УЭкС,3/2016
(86) УЭкС, 4/2016
(87) УЭкС, 5/2016
(88) УЭкС, 6/2016
(89) УЭкС, 7/2016
(90) УЭкС, 8/2016
(91) УЭкС, 9/2016
(92) УЭкС, 10/2016
(93) УЭкС, 11/2016
(94) УЭкС, 12/2016

№ регистрации СМИ: ЭЛ №ФС77-35217 от 06.02.2009 г.   ISSN: 1999-4516