Спецкурсы и спецсеминары в весеннем семестре 2018/2019 уч.г.

25.03.2019 г. :14:35 – 16:10 с/к магистры «Анализ графов, сетей, функций сходства», Майсуразе А.И., 507 занятие не состоится 25 марта (понедельник), лектор болен ;
16:20 – 17:55 с/к бакалавры «Аналитический SQL», Майсурадзе А.И., 582 занятие не состоится 25 марта (понедельник), лектор болен.
27.02.2019 г. : Учебно-исследовательский семинар «Интеллектуальный анализ данных: новые задачи и методы» , руководители С.И.Гуров , А.И.Майсурадзе Спецсеминар проходит по средам в ауд. 704, начало в 18-05 . 04 марта (понедельник) на спецсеминаре состоится доклад И. С. Балашова (ВВО, 3 курс) "Исследование микробиома во время беременности методами теории графов" . Известно, что микроорганизмы, обитающие в различных локусах организма, взаимодействуют друг с другом и образуют сообщества, называемые микробиомом, а совокупность этих микроорганизмов называется микробиотой. Для ряда заболеваний показано, что микробиота является фактором риска развития определенных заболеваний. Данные о составе микробиоты можно представить в виде графа, а затем исследовать особенности этого графа в норме и при патологии. В работе будут представлены особенности предметной области и их влияние на выбор методов описания и анализа данных, представлены базовые модели, описывающие микробиом.

• 27.02.2019 г. : Логический анализ данных в распознавании , (Logical data analysis in recognition) лектор Е.В. Дюкова , проходит по понедельникам в ауд. 645, начало в 16-20. Первое занятие 25 февраля. В спецкурсе будут изложены общие принципы, лежащие в основе дискретных методов анализа информации в задачах распознавания, классификации и прогнозирования. Будут рассмотрены подходы к конструированию процедур распознавания на основе использования аппарата логических функций и методов построения покрытий булевых и целочисленных матриц. Будут изучены основные модели и рассмотрены вопросы, связанные с исследованием сложности их реализации и качества решения прикладных задач. Спецкурс для бакалавров 2-4 курсов. По спецкурсу издано учебное пособие.

• 27.02.2019 г. : Вероятностное тематическое моделирование (Probabilistic topic modelling), лектор профессор РАН, д.ф.-м.н. К.В. Воронцов , проходит по четвергам в ауд. 510, начало в 18-05. Первое занятие 14 февраля. Тематическое моделирование – это современная область исследований на стыке машинного обучения и компьютерной лингвистики. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые сервисы нового типа для систематизации знаний. В спецкурсе рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных и биомедицинских сигналов. Из математики нам понадобится теория вероятностей, методы оптимизации, матричные разложения. Для любителей программирования имеется возможность поучаствовать в проекте с открытым кодом BigARTM.org. Для особо увлечённых – дополнительные семинары по вечерам в офисе Яндекса. Заданиями по курсу будет решение задач из реальной жизни, у которых нет правильного ответа в конце учебника. Спецкурс для магистрантов, но студентам второго курса тоже всё будет понятно:) 18+ (для студентов, познавших теорвер).

• 27.02.2019 г. : Задачи и алгоритмы вычислительной геометрии (Computational Geometry: Problems and Algorithms), Л.М. Местецкий , проходит по пятницам в ауд. 607, начало в 18-05. Первое занятие 15 февраля. Эффективные алгоритмы работы с геометрической информацией являются непременным атрибутом всех современных систем машинного зрения, анализа и распознавания изображений, компьютерной графики и геоинформатики. Геометрические алгоритмы предоставляют хорошее поле для развития алгоритмического мышления, необходимого в прикладной математике. В первой части спецкурса будут рассмотрены классические темы вычислительной геометрии: геометрический поиск, выпуклые оболочки, пересечение и близость объектов, диаграммы Вороного, триангуляции Делоне. Вторая часть курса посвящена скелетам, обобщениям диаграмм Вороного для многоугольников и задачам медиального анализа формы изображений. Приглашаются бакалавры.

• 27.02.2019 г. : Методы машинного обучения и поиск закономерностей в данных (Machine learning and search of regularities in data) , лектор О.В. Сенько , проходит по четвергам в ауд. 507, начало в 18-05. Первое занятие 14 февраля. В курсе обсуждаются основные проблемы, возникающие при использовании методов обучения по прецедентам (машинного обучения). Даётся краткий обзор существующих методов распознавания и регрессионного анализа. Рассказывается о способах оценки точности на генеральной совокупности (обобщающей способности). Обсуждаются различные способы повышения обобщающей способности методов машинного обучения. Приглашаются бакалавры.

• 27.02.2019 г. : Анализ графов, сетей, функций сходства (Graphs, Network, Distance Function Analysis), А.И. Майсурадзе, проходит по понедельникам в ауд. 582, начало в 16-20. Первое занятие 18 февраля. Рассматриваются задачи и методы анализа систем, описание которых базируется на попарном или множественном взаимодействии объектов. Эти объекты могут быть однотипными или разнотипными. Когда важно само наличие или отсутствие взаимодействия, формализация проводится на языке теории графов. Расширении графового описания количественными характеристиками приводит к сетям. Если же считается, что каждый набор объектов может быть численно охарактеризован, говорят о расстояниях или сходствах. Представлена теоретическая основа для формализации задач и построения, реализации и анализа широкого спектра моделей и методов ИАД. Исследуются эвристические модели данных, описывающие исходную информацию об объектах распознавания на основе различных реализаций понятия сходства. Рассматриваются задачи, требующие решения при реализации указанных моделей. Изучаются специальные структуры данных и алгоритмы, позволяющие эффективно настраивать и использовать изучаемые модели. Идея сходства свойственна человеческому мышлению, это породило целый комплекс подходов для всех фундаментальных задач ИАД - так называемые метрические методы. Рассмотрены методы построения и вычисления функций сходства, согласование сходства на различных множествах объектов, синтез новых способов сравнения объектов на базе уже имеющихся. Рассмотрен комплекс приёмов, предназначенный для эффективного представления и обработки метрической информации вычислительными системами. Рассматриваются характеристики графов, активно используемые при их анализе. Изучаются алгоритмы на графах - как теоретически, так и с точки зрения эффективной реализации. Различные модели роста графов. Построение репрезентативных выборок на графах. Генерация графов с заданными характеристиками. Существенное внимание в курсе уделено многочисленным формализациям кластерного анализа. Показано, какие задачи решают распространённые методы. Проведена типологизация широкого спектра задач кластеризации для гомогенных и гетерогенных систем (бикластеризация, кокластеризация). Спецкурс для магистрантов.

• 27.02.2019 г. : Аналитический SQL (Analytical SQL), А.И. Майсурадзе, проходит по понедельникам в ауд. 507, начало в 14-35. Первое занятие 18 февраля. В наши дни автоматизация и оптимизация многих видов деятельности невозможна без сбора и последующего анализа больших объёмов информации. При этом со временем стало ясно, что некоторые модели данных особенно удобны для людей - такие модели стали универсальным языком общения с самыми разными технологиями. В этом смысле одним из самых широкоупотребительных языков оказался SQL, и сегодня самые разные технологии (совсем не только реляционные) позволяют его использовать. В курсе на практических примерах будут даваться знания и отрабатываться навыки, которые понадобятся практически любому аналитику при работе с источниками данных. Акцент делается именно на аналитической деятельности: аналитик пользуется системами сбора и хранения данных, но не собирается администрировать их. Занятия предполагают интерактивное выполнение заданий на реальных БД. Спецкурс для бакалавров.

Статистические наблюдения в социально-экономических исследованиях обычно проводятся регулярно через равные отрезки времени и представляются в виде временных рядов x t , где t = 1, 2, ..., п. В качестве инструмента статистического прогнозирования временных рядов служат трендовые регрессионные модели, параметры которых оцениваются по имеющейся статистической базе, а затем основные тенденции (тренды) экстраполируются на заданный интервал времени.

Методология статистического прогнозирования предполагает построение и испытание многих моделей для каждого временного ряда,ихсравнение на основе статистических критериев и отбор наилучшихизних для прогнозирования.

При моделировании сезонных явлений в статистических исследованиях различают два типа колебаний: мультипликативные и аддитивные. В мультипликативном случае размах сезонных колебаний изменяется во времени пропорционально уровню тренда и отражается в статистической модели множителем. При аддитивной сезонности предполагается, что амплитуда сезонных отклонений постоянна и не зависит от уровня тренда, а сами колебания представлены в модели слагаемым.

Основой большинства методов прогнозирования является экстраполяция, связанная с распространением закономерностей, связей и соотношений, действующих в изучаемом периоде, за его пределы, или - в более широком смысле слова - это получение представлений о будущем на основе информации, относящейся к прошлому и настоящему.

Наиболее известны и широко применяются трендовые и адаптивные методы прогнозирования. Среди последних можно выделить такие, как методы авторегрессии, скользящего среднего (Бокса - Дженкинса и адаптивной фильтрации), методы экспоненциального сглаживания (Хольта, Брауна и экспоненциальной средней) и др.

Для оценки качества исследуемой модели прогноза используют несколько статистических критериев.

Наиболее распространенными критериями являются следующие.

Относительная ошибка аппроксимации:

где e t = х t - - ошибка прогноза;

х t - фактическое значение показателя;

- прогнозируемое значение.

Данный показатель используется в случае сравнения точности прогнозов по нескольким моделям. При этом считают, что точность модели является высокой, когда < 10%, хорошей - при = 10-20% и удовлетворительной - при = 20-50%.

Средняя квадратическая ошибка:

(54.2)

где k - число оцениваемых коэффициентов уравнения.

Наряду с точечным в практике прогнозирования широко используют интервальный прогноз. При этом доверительный интервал чаще всего задается неравенствами

(54.3)

где t α - табличное значение, определяемое по t -распределению Стьюдента при уровне значимости α и числе степеней свободы п - k.

В литературе представлено большое число математико-статистических моделей для адекватного описания разнообразных тенденций временных рядов.

Наиболее распространенными видами трендовых моделей, характеризующих монотонное возрастание или убывание исследуемого явления, являются:

(54.4)

Правильно выбранная модель должна соответствовать характеру изменений тенденции исследуемого явления; При этом величина е t должна носить случайный характер с нулевой средней.

Кроме того, ошибки аппроксимации e t должны быть независимыми между собой и подчиняться нормальному закону распределения e t Î N (0, σ ). Независимость ошибок e t , т.е. отсутствие автокорреляции остатков, обычно проверяется по критерию Дарбина-Уотсона, основанного на статистике:

(54.5)

где e t = x t - .

Если отклонения не коррелированы, то величина DW приблизительно равна двум. При наличии положительной автокорреляции 0 ≤ DW ≤ 2, а отрицательной - 2 ≤ D W ≤ 4.

О коррелированности остатков можно также судить по коррелограмме для отклонений от тренда, которая представляет собой график функции относительно τ коэффициента автокорреляции, который вычисляется по формуле

(54.6)

где τ = 0, 1, 2 ... .

После выбора наиболее подходящей аналитической функции для тренда его используют для прогнозирования на основе экстраполяции на заданное число временных интервалов.

Рассмотрим задачу сглаживания сезонных колебаний, исходя из ряда V t = х t - , где x t - значение исходного временного ряда в момент t, а - оценка соответствующего значения тренда (t = 1, 2, ..., п ).

Так как сезонные колебания представляют собой циклический, повторяющийся во времени процесс, то в качестве сглаживающих функций используется гармонический ряд (ряд Фурье) следующего вида:

Оценки параметров α i и β i модели определяют из выражений

(54.7)

где k = п / 2 - максимально допустимое число гармоник;

ω i = 2πi / п - угловая частота i -й гармоники (i = 1, 2, ..., т).

Пусть т - число гармоник, используемых для сглаживания сезонных колебаний (т < k). Тогда оценка гармонического ряда имеетвид

(54.8)

а расчетные значения временного ряда исходного показателя определяются по формуле

54.2. Адаптивные методы прогнозирования

При использовании трендовых моделей в прогнозировании обычно предполагается, что основные факторы и тенденции прошлого периода сохранятся на период прогноза или что можно обосновать и учесть направление их изменений в перспективе. Однако в настоящее время, когда происходит структурная перестройка экономики, социально-экономические процессы даже на макроуровне становятся очень динамичными. В этой связи исследователь часто имеет дело с новыми явлениями и с короткими временными рядами. При этом устаревшие данные при моделировании часто оказываются бесполезными и даже вредными. Таким образом, возникает необходимость строить модели, опираясь в основном на малое количество самых свежих данных, наделяя модели адаптивными свойствами.

Важную роль в деле совершенствования прогнозирования должны сыграть адаптивные методы, цель которых заключается в построении самонастраивающихся моделей, которые способны учитывать информационную ценность различных членов временного ряда и давать достаточно точные оценки будущих членов данного ряда. Адаптивные модели достаточно гибки, однако на их универсальность, пригодность для любого временного ряда рассчитывать не приходится.

При построении конкретных моделей необходимо учитывать наиболее вероятные закономерности развития реального процесса. Исследователь должен закладывать в модель те адаптивные свойства, которых достаточно для слежения за реальным процессом с заданной точностью.

У истоков адаптивного направления лежит простейшая модель экспоненциального сглаживания, обобщение которой привело в появлению целого семейства адаптивных моделей. Простейшая адаптивная модель основывается на вычислении экспоненциально взвешенной скользящей средней.

Экспоненциальное сглаживание исходного временного ряда x t осуществляется по рекуррентной формуле

(54.9)

где S t - значение экспоненциальной средней в момент t, a. S t-1 - в момент t -1;

α - параметр сглаживания, адаптации, α = const, 0 < α < 1;

Выражение (54.9) можно представить в виде

В (54.10) экспоненциальная средняя в момент t выражена как экспоненциальная средняя предшествующего момента S t-1 плюс доля α отклонения текущего наблюдения х t от экспоненциальной средней S t-1 момента t - 1.

Последовательно используя рекуррентное соотношение (54.9), можно выразить экспоненциальную среднюю S t через значения временного ряда:

где S 0 - величина, характеризующая начальные условия для первого применения формулы (54.9), при t = 1.

Так как β = (1 - α) < 1, то при t → 0 β t → 0, и, согласно (54.11),

(54.12)

т.е. величина S t оказывается взвешенной суммой всех членов ряда. При этом веса падают экспоненциально в зависимости от давности наблюдения, откуда и название S t - экспоненциальная средняя.

Из (54.12) следует, что увеличение веса более свежих наблюдений может быть достигнуто повышением α. В то же время для сглаживания случайных колебаний временного ряда x t величину α нужно уменьшить. Два названных требования находятся в противоречии, и на практике при выборе α исходят из компромиссного решения.

Экспоненциальное сглаживание является простейшим видом самообучающейся модели с параметром адаптации α. Разработано несколько вариантов адаптивных моделей, которые используют процедуру экспоненциального сглаживания и позволяют учесть наличие у временного ряда x t тенденции и сезонных колебаний. Рассмотрим некоторыеизтаких моделей.

Адаптивная полиномиальная модель первого порядка

Рассмотрим алгоритм экспоненциального сглаживания, предполагающий наличие у временного ряда x t линейного тренда. В основе модели лежит гипотеза о том, что прогноз может быть получен по уравнению

где - прогнозируемое значение временного ряда на момент (t + τ);

, - оценки адаптивных коэффициентов полинома первого порядка в момент t;

τ - величина упреждения.

Экспоненциальные средние 1-го и 2-го порядков для модели имеют вид

(54.13)

где β = 1 - α, а оценка модельного значения ряда с периодом упреждения τ равна

(54.14)

Для определения начальных условий первоначально по данным временного ряда x t находим методом наименьших квадратов оценки линейного тренда:

и принимаем и . Тогда начальные условия определяются как:

(54.15)

Контрольные вопросы

1. Какие модели прогнозирования вы знаете и каковы их особенности?

2. В чем состоит статистический подход к прогнозированию, моделированию тенденций и сезонных явлений в стратегических исследованиях?

3. Какие трендовые модели вам известны и как оценивается их качество?

4. В чем особенность адаптивных методов прогнозирования?

5. Какимобразом осуществляется экспоненциальное сглаживание временного ряда?

Классификация методов и моделей прогнозирования

• Математика

• Tutorial

Я занимаюсь прогнозированием временных рядов уже более 5 лет. В прошлом году мною была защищена диссертация по теме «Модель прогнозирования временных рядов по выборке максимального подобия », однако вопросов после защиты осталось порядочно. Вот один из них — общая классификация методов и моделей прогнозирования .

Обычно в работах как отечественных, так и англоязычных авторы не задаются вопросом классификации методов и моделей прогнозирования, а просто их перечисляют. Но мне кажется, что на сегодняшний день данная область так разрослась и расширилась, что пусть самая общая, но классификация необходима. Ниже представлен мой собственный вариант общей классификации.

В чем разница между методом и моделью прогнозирования?

Метод прогнозирования представляет собой последовательность действий, которые нужно совершить для получения модели прогнозирования. По аналогии с кулинарией метод есть последовательность действий, согласно которой готовится блюдо — то есть сделается прогноз.

Модель прогнозирования есть функциональное представление, адекватно описывающее исследуемый процесс и являющееся основой для получения его будущих значений. В той же кулинарной аналогии модель есть список ингредиентов и их соотношение, необходимый для нашего блюда — прогноза.

Совокупность метода и модели образуют полный рецепт!

В настоящее время принято использовать английские аббревиатуры названий как моделей, так и методов. Например, существует знаменитая модель прогнозирования авторегрессия проинтегрированного скользящего среднего с учетом внешнего фактора (auto regression integrated moving average extended, ARIMAX). Эту модель и соответствующий ей метод обычно называют ARIMAX, а иногда моделью (методом) Бокса-Дженкинса по имени авторов.

Сначала классифицируем методы

Если посмотреть внимательно, то быстро выясняется, что понятие «метод прогнозирования » гораздо шире понятия «модель прогнозирования ». В связи с этим на первом этапе классификации обычно делят методы на две группы: интуитивные и формализованные .

Если мы вспомним нашу кулинарную аналогию, то и там можно разделить все рецепты на формализованные, то есть записанные по количеству ингредиентов и способу приготовления, и интуитивные, то есть нигде не записанные и получаемые из опыта кулинара. Когда мы не пользуемся рецептом? Когда блюдо очень просто: пожарить картошку или сварить пельмени — тут рецепт не нужен. Когда еще мы не пользуемся рецептом? Когда желаем изобрести что-то новенькое!

Интуитивные методы прогнозирования имеют дело с суждениями и оценками экспертов. На сегодняшний день они часто применяются в маркетинге, экономике, политике, так как система, поведение которой необходимо спрогнозировать, или очень сложна и не поддается математическому описанию, или очень проста и в таком описании не нуждается. Подробности о такого рода методах можно глянуть в .

Формализованные методы — описанные в литературе методы прогнозирования, в результате которых строят модели прогнозирования, то есть определяют такую математическую зависимость, которая позволяет вычислить будущее значение процесса, то есть сделать прогноз.

На этом общая классификация методов прогнозирования на мой взгляд может быть закончена.

Далее сделаем общую классификация моделей

Здесь необходимо переходить к классификации моделей прогнозирования. На первом этапе модели следует разделить на две группы: модели предметной области и модели временных рядов.

Модели предметной области — такие математические модели прогнозирования, для построения которых используют законы предметной области. Например, модель, на которой делают прогноз погоды, содержит уравнения динамики жидкостей и термодинамики. Прогноз развития популяции делается на модели, построенной на дифференциальном уравнении. Прогноз уровня сахара крови человека, больного диабетом, делается на основании системы дифференциальных уравнений. Словом, в таких моделях используются зависимости, свойственные конкретной предметной области. Такого рода моделям свойственен индивидуальный подход в разработке.

Модели временных рядов — математические модели прогнозирования, которые стремятся найти зависимость будущего значения от прошлого внутри самого процесса и на этой зависимости вычислить прогноз. Эти модели универсальны для различных предметных областей, то есть их общий вид не меняется в зависимости от природы временного ряда. Мы можем использовать нейронные сети для прогнозирования температуры воздуха, а после аналогичную модель на нейронных сетях применить для прогноза биржевых индексов. Это обобщенные модели, как кипяток, в которые если бросить продукт, то он сварится вне зависимости от его природы.

Классифицируем модели временных рядов

Мне кажется, что составить общую классификацию моделей предметной области не представляется возможным: сколько областей, столько и моделей! Однако модели временных рядов легко поддаются простому делению . Модели временных рядов можно разделить на две группы: статистические и структурные.

В статистических моделях зависимость будущего значения от прошлого задается в виде некоторого уравнения. К ним относятся:

1. регрессионные модели (линейная регрессия, нелинейная регрессия);
2. авторегрессионные модели (ARIMAX, GARCH, ARDLM);
3. модель экспоненциального сглаживания;
4. модель по выборке максимального подобия;
5. и т.д.

В структурных моделях зависимость будущего значения от прошлого задается в виде некоторой структуры и правил перехода по ней. К ним относятся:

1. нейросетевые модели;
2. модели на базе цепей Маркова;
3. модели на базе классификационно-регрессионных деревьев;
4. и т.д.

Для обоих групп я указала основные, то есть наиболее распространенные и подробно описанные модели прогнозирования. Однако на сегодняшний день моделей прогнозирования временных рядов имеется уже громадное количество и для построения прогнозов, например, стали использовать SVM (support vector machine) модели, GA (genetic algorithm) модели и многие другие.

Общая классификация

Таким образом мы получили следующую классификацию моделей и методов прогнозирования .

1. Тихонов Э.Е. Прогнозирование в условиях рынка. Невинномысск, 2006. 221 с.
2. Armstrong J.S. Forecasting for Marketing // Quantitative Methods in Marketing. London: International Thompson Business Press, 1999. P. 92 – 119.
3. Jingfei Yang M. Sc. Power System Short-term Load Forecasting: Thesis for Ph.d degree. Germany, Darmstadt, Elektrotechnik und Informationstechnik der Technischen Universitat, 2006. 139 p.

UPD. 15.11.2016.
Господа, дошло до маразма! Недавно мне прислали на рецензию статью для ВАКовского издания со ссылкой на эту запись. Обращаю внимание, что ни в дипломах, ни в статьях, ни тем более в диссертациях ссылаться на блог нельзя ! Если хотите ссылку, то используйте эту: Чучуева И.А. МОДЕЛЬ ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ РЯДОВ ПО ВЫБОРКЕ МАКСИМАЛЬНОГО ПОДОБИЯ, диссертация… канд. тех. наук / Московский государственный технический университет им. Н.Э. Баумана. Москва, 2012.

Метод экстраполяции тренда

Трендовая модель - это математическая модель, описывающая изменение прогнозируемого или анализируемого показателя только в зависимости от времени и имеющая вид: у = f(t).

Она описывает тенденцию развития (изменения) достаточно стабильной социально-экономической системы во времени, в особенности таких агрегированных показателей развития, как ВНП (ВВП), ЧНП, НД, уровень инфляции, безработицы

Метод, использующий трендовые модели в прогнозировании, называется методом экстраполяции тренда. Это один из пассивных методов прогнозирования и называется «наивным» прогнозом, так как предполагает строгую инерционность развития, которая представляется в виде проектирования прошлых тенденций в будущее, а главное - независимость показателей развития от тех или иных факторов. Ясно, что нельзя переносить тенденции, которые сформировались в прошлом, на будущее. Причины этого следующие:

а) при краткосрочном прогнозировании экстраполяция прошлых усредненных показателей приводит к тому, что пренебрегаются (или остаются незамеченными) необычные отклонения в обе стороны от тенденций. В то же время для текущего (краткосрочного) прогноза или плана основной задачей является предвидение этих отклонений;

б) при долгосрочном прогнозировании используется такой высокий уровень агрегирования, при котором не учитываются изменения структуры производимой продукции, самой продукции, изменение технологии производства, особенностей рынков, т.е. все то, что составляет главные задачи стратегического планирования.

Социально-экономическая система в отличие от замкнутой физической системы - открытая и реагирующая система, изменяющаяся в зависимости от внешних условий и ввода новых переменных. Поэтому если анализ ситуаций на основе ретроспективного взгляда может быть более или менее успешным, то прогнозирование будущего, как правило, оказывается неудачным. Важно то, что детальный и внимательный анализ хода развития в прошлом почти всегда выявляет спады деловой активности, которые прекращаются и ликвидируются не пассивным ожиданием «естественных сил», восстанавливающих равновесие, а энергичными управленческими усилиями государственных органов, направленными на преодоление неблагоприятных обстоятельств.

Статистический анализ, проводимый с целью экстраполяции, зачастую нацелен на выявление характера противодействия со стороны управленческого аппарата, предотвращающего ожидаемые спады. Необходимо, чтобы при анализе ставилась и решалась задача выявления характера государственного регулирования, государственной экономической политики, эффективности различных мероприятий в различных условиях.

Не надо пренебрегать скачкообразными колебаниями при ретроспективном анализе. Необходимо проводить анализ не только по агрегированной номенклатуре товаров, иначе можно «упустить» начало структурных сдвигов.

Резюмируя вышеназванное, можно отметить, что необходимо очень осторожно переносить тенденции, которые сформировались в прошлом, на будущее по следующим причинам:

а) в будущем может измениться эффективность многих факторов, в том числе темпы использования достижений НТП;

б) прошлое определялось не только «естественным» развитием экономических процессов, а в достаточно большой мере государственной политикой в управлении экономикой, методами государственного регулирования;

в) экстраполяция из-за высокой агрегированное™ макроэкономических показателей не выявляет изменений структуры производства, структурных сдвигов в развитии отраслей, регионов.

Многие авторы предостерегают от излишнего увлечения экстраполяцией тренда социально-экономических показателей, так как даже на микроуровне тренд считается лишь отправной базой для прогнозирования, инструментом получения «прогностического сырья». Экстраполяция тренда используется в основном в оперативном прогнозировании, а в стабильных СЭС - ив краткосрочном.

Метод эконометрического моделирования

Одним из важнейших инструментов анализа и прогноза социально-экономических систем является метод эконометрического моделирования, который наиболее эффективен в случае систем с устойчивыми, стабильными тенденциями развития. Рассмотрим различные модификации эконометрической модели (ЭКМ).

ЭКМ может состоять из одного уравнения регрессии (стохастического уравнения) с одним фактором. Например:

у = а0 + а1 x1 - линейное уравнение,

где а0 - свободный член, а1 - коэффициент регрессии.

Классический пример - кейнсианская модель:

Сn = f (D0), или Сn = а0 +axD0 ,

где Сn - потребительский спрос, D0 - личный располагаемый доход прогнозируемого года.

ЭКМ может состоять из одного регрессионного уравнения с несколькими факторами, т. е. многофакторного уравнения. Например:

у = а0 + a1xl+a2x2+...+anxn , где п - число факторов.

ЭКМ может состоять из нескольких регрессионных уравнений. Эти уравнения называются одновременными, так как решаются как бы в одно и то же время последовательно друг за другом. При этом они могут быть взаимоувязаны, т.е. результирующие переменные первого

уравнения используются как факторы для нахождения результирующей переменной второго уравнения. Уравнения регрессии могут быть и независимы друг от друга. При этом каждое уравнение решается самостоятельно, независимо от других уравнений.

Система линейных взаимоувязанных уравнений выглядит так:

x4 = y0 + y1x1 + y2x2.

В этой эконометрической модели х1, x2 и х4 - эндогенные переменные, моделируемые в рамках данной ЭКМ, а x2 - экзогенный показатель, прогнозируемый вне данной ЭКМ (в рамках другой модели или экспертным путем). Классическим примером ЭКМ, состоящей из независимых уравнений, является модель равновесия совокупного спроса и совокупного предложения.

В ЭКМ могут использоваться и трендовые модели, например, один или несколько экзогенных показателей, изменения которых во времени носит «плавный» характер, могут быть спрогнозированы по трендовой модели y = f(t). Хотя можно считать, что это - внемодельное прогнозирование, так как прогнозируется экзогенный фактор. В рамках расчетов по ЭКМ для прогнозирования экзогенных переменных используются также методы экспертных оценок.

Наряду с регрессионными уравнениями, описывающими вероятностные (стохастические) процессы, в ЭКМ включаются и так называемые дефинщионные уравнения, или тождества. Например, в модели прогнозируются государственные (Jg) и частные (Jp) инвестиции двумя независимыми регрессионными уравнениями, а третье уравнение позволяет рассчитать прогнозное значение общих инвестиций:

J = Jg+Jp - это тождество.

В ЭКМ используются и так называемые «уравнения равновесия», по форме похожие на тождества. Например, уравнение, выражающее условие равновесия на товарном рынке: AD = AS - совокупный спрос равен совокупному предложению.

В общем случае ЭКМ называют системой регрессионных уравнений и тождеств. Некоторые авторы называют регрессионные уравнения «объясняющими» уравнениями, так как изменение значений совокупности факторов-аргументов объясняют изменение результирующей переменной, вернее, часть общего реального изменения. Чем больше объясняемая часть, тем лучше (адекватнее) регрессионное уравнение объясняет реальность.

Тогда напрашивается вопрос, какая разница между методом экстраполяции тренда и эконометрическим методом? Дело в том, что если выявленные зависимости между функцией (У) и факторами-аргументами (X) используются без изменения, т. е. экстраполируются, разница только в том, что эконометрический метод позволяет провести содержательный анализ зависимости исследуемого (прогнозируемого) показателя от того или иного показателя, а экстраполяция тренда отражает только изменение изучаемого показателя во времени. Но основное отличие заключается в том, что эконометрические модели позволяют разрабатывать варианты развития социально-экономического объекта путем изменений условий его функционирования (активное прогнозирование), приводящих к различным значениям эндогенных факторов, изменению трендов их соотношений путем варьирования значений экзогенных факторов, также отличных от тенденций их изменения во времени.

Как правило, варианты развития отличаются различными значениями экзогенных факторов, так как они не моделируются в рамках ЭКМ, они неуправляемы, и интервал их возможных значений в будущем определяется методом экспертных оценок.

Варианты могут отличаться и различными значениями инструментов государственного регулирования, количеством и уровнем налогов, учетной ставкой, нормой обязательных резервов.

Рассмотрев сущность и содержание ЭКМ, перейдем к конкретному описанию порядка (алгоритма) разработки ЭКМ, используя опыт моделирования Японии13.

1. Прежде чем приступить к процессу разработки ЭКМ, ставится цель (цели), ради достижения которой разрабатывается ЭКМ. Например, при разработке долгосрочной модели Японии на 20-летний период прогнозирования ставилась такая общая для всех моделей этого типа цель, как выявление перспектив роста производства СЭС в физическом выражении (в неизменных ценах) на основе данных, содержащихся в счетах национального дохода. В то же время ставилась и конкретная цель - исследовать тенденцию таких компонентов основных фондов, как государственные и частные инвестиции в жилищное строительство и установить их связь с общим ростом экономики. Акцент на эти компоненты основных фондов продиктован тем, что для Японии они являются наиболее существенными факторами, определяющими долговременное развитие СЭС, и тем обстоятельством, что вторая цель может быть достигнута только в долгосрочном периоде из-за длительности формирования и сроков службы этих компонентов. Цели модели Японии на 10-летний период прогнозирования в основном совпадают с целями модели 20-летнего периода, но первая преследует и другие специфические цели, а именно: -

исследовать тенденции по двум секторам экономики, изменения их роли в экономике и рассмотреть их влияние на общий рост СЭС в целом; -

объяснить структуру чистого экспорта в долгосрочном плане; -

обеспечить долгосрочный прогноз с большей степенью детализации, чем это делается в модели на 20-летний период.

Если долгосрочные модели позволяют представить пути развития СЭС на уровне высокоагрегированных макропоказателей, то среднесрочные модели (4-7 лет) обычно преследуют цель отразить результаты влияния социально-экономической политики государства на наиболее важные показатели развития СЭС. Это поможет правительству количественно оценить разные направления в социально-экономической политике и определить лучший вариант с точки зрения общественного благосостояния.

Могут быть представлены и более конкретные цели. Например, в среднесрочной модели Японии ставятся такие цели:

Объяснение движения цен; -

объяснение движения уровней заработной платы; -

обеспечение необходимого контроля любых расхождений между целями, предусмотренными планом, и фактической ситуацией, которая может сложиться в ходе выполнения плана.

2. После определения целей прогнозирования разрабатывается схема причинно-следственных связей в моделях. Это позволяет определить необходимый набор регрессионных уравнений и тождеств, комплекс экзогенных и эндогенных факторов, в том числе управляющих и управляемых, определить алгоритм прогнозных расчетов, взаимосвязи между показателями развития СЭС страны. Эту схему можно назвать и логико-информационной, потому что она отражает логику прогнозирования и информационные взаимосвязи между блоками модели и отдельными ее уравнениями. При этом структурные (функциональные) уравнения и тождества должны сопрягаться со структурой системы национальных счетов. Например, в модели Японии 20-летнего периода упреждения для прогнозирования ВНП применяется производственная функция, а для прогнозирования общего объема капитала используется функция сбережений. Предложение рабочей силы определяется, вернее, задается экзогенно. Вводится параметр, характеризующий уровень технического прогресса в широком смысле как функция времени (/).

Другая специфика модели заключается в том, что весь капитал распределяется также экспертным методом (экзогенно) между частными и государственными секторами, при этом в производственной функции используется только частный основной капитал, а также в том, что чистый экспорт определяется также экзогенно. Каждая модель имеет свою специфику, которая определяется особенностями страны, подходом той или иной группы прогнозистов к решению задач прогнозирования, их опытом и искусством (см. подробнее гл. 6).

3. Далее, получив систему функциональных уравнений и тождеств, отражающих взаимосвязи между показателями развития СЭС, с помощью аппарата корреляционно-регрессионного анализа определяются коэффициенты регрессии (а1) при факторах-аргументах уравнений, т.е. данная ЭКМ решается путем использования метода наименьших квадратов или других более сложных и точных методов.

С этой целью вначале определяется прогнозное значение экзогенной переменной (в случае однофакторного уравнения) или экзогенных переменных (в случае многофакторного уравнения), которые являются факторами для определения первого эндогенного (вычисляемого посредством моделирования) переменного. Далее значение этого эндогенного переменного используется как фактор для второго уравнения регрессии. Если кроме этого фактора во втором уравнении имеются и экзогенные факторы, то опять прогнозируются их значения и используются для расчета второго уравнения. Таким образом решается вся система уравнений ЭКМ.

Первый фактор (фактор первого уравнения) обычно выбирается из тех существенных факторов развития, которые изменяются достаточно «плавно» и его можно определить методом экстраполяции тренда. Другим подходом к выбору первого фактора является его значимость для развития СЭС, когда его значение в прогнозируемом периоде является определяющим, и поэтому оно может быть интерпретировано как цель развития. Другими словами, значение первого экзогенного показателя как цели (норматива) прогнозист устанавливает на основании гипотезы развития СЭС. Например, решение ЭКМ может начинаться с гипотезы, что ВНП страны будет расти в течение прогнозного периода на 3% в год. В долгосрочной модели Японии на 20-летний период в качестве такого фактора был определен ВНП страны.

Но в качестве первой переменной может быть использована и так называемая предопределенная переменная (показатель развития предыдущего года по отношению к прогнозному году). Например, в долгосрочной модели Японии на 10-летний период упреждения ВНП определяется эндогенно, а экзогенными показателями послужили площадь обрабатываемой земли, а также такие показатели, как частный капитал в сельском хозяйстве и частный капитал в перерабатывающих отраслях за предыдущий год по отношению к прогнозируемому.

4. На следующей стадии определяется так называемый доверительный интервал использования полученных результатов.

5. Далее проверяется степень адекватности модели изучаемому процессу (объекту) по годам предпрогнозного периода. Проверка проводится в два этапа. Вначале в уравнения модели вставляются значения факторов (эндогенных и экзогенных) определенного года предпрогнозного периода, данные стат. отчетности по которому были использованы в ретроспективной матрице (расчетного периода), затем решается система уравнений модели.

Обычно проверку проводят по данным нескольких лет (желательно относительно спокойных, когда СЭС не испытывала особых потрясений).

Допустим, в формировании ретроспективной матрицы в 2000 г. для прогнозирования периода 2001-2005 гг. были использованы данные до 1998 г. включительно. Ввиду того, что разработанная ЭКМ отражает тенденции развития СЭС именно в этом ретроспективном периоде, адекватность модели реальности проверяется по годам базового периода и обязательно по конечному, 1998 году. Это - проверка «ex-post базовая». Далее проводится проверка «ex-post внебазовая». С этой целью в модели используются данные статотчетности, полученные в январе-феврале 2000 г. за 1999 г., т.е. не участвующие в разработке ЭКМ.

Возможна и проверка «ex-post внебазовая» по данным 2000 г., года предпрогнозного периода, когда формируются окончательные варианты прогноза. Для этого используются данные отчетности за I квартал 2000 г. и проводится оперативный прогноз на 9 месяцев 2000 г. Данные прогноза 2000 г. вводятся в прогнозную модель. По результатам проверок с участием экспертов проводится корректировка как самой модели, так и ее элементов, в особенности экзогенных факторов.

В дальнейшем по истечении каждого года прогнозного периода с целью верификации используются отчетные данные этих лет. Такая проверка моделей называется «ex-ante».

Схематически это представлено на рис. 3.3.

1990 ex-post базовая 1999-2000 ex-ante 2005

ретроспективный переход ex-post

внебазовая

прогнозный период

допрогнозный период

Рис. 3.3. Различные периоды верификации прогнозов

Важно помнить, что статистические модели хоть и позволяют получить качественную интерпретацию теоретических положений, но в силу вероятностного (стохастического) характера эти интерпретации не могут восприниматься как строгие доказательства или опровержения теоретических положений. Если имеется расхождение между теорией и результатами математических расчетов, то это скорее свидетельствует о некорректности математических расчетов. Обычно регрессионные уравнения, которые вступают в явное противоречие с экономической теорией, исключаются из ЭКМ.

Кроме того, объектом пересмотра должны явиться и переменные экономической политики (инструментальные переменные). Такая процедура наиболее целесообразна в тех случаях, когда предполагается периодически пересматривать первоначальный план, т.е.

Сделать среднесрочный государственный план «скользящим», как можно ближе к действительности.

Необходимость системы проверок основана на постулате: если модель не может удовлетворительно воспроизвести прошлое развитие (движение) системы, нет никаких оснований полагать, что она сможет воспроизвести будущее и ее можно использовать для прогнозирования. Но не надо забывать, что ЭКМ отражает тенденцию развития СЭС, т.е. она как бы «усредняет», «сглаживает» кривую развития СЭС в многомерном пространстве.

Если расчетный (ретроспективный) период равен 10-15 годам и в последние годы тенденции развития существенно изменились, то ЭКМ этого не покажет. Проверка ЭКМ по последним годам предпрогнозного периода позволит выявить эти изменения. Если они носят стабильный, долговременный характер, связанный, например, с началом кризисной ситуации в стране, на мировом рынке или, наоборот, подъемом экономики (переходом СЭС из одной фазы развития в другую), то с использованием метода экспертных оценок необходимо изменение уравнений регрессии модели, вплоть до введения новых факторов развития со своими коэффициентами регрессии. Но в этом случае уже теряется грань между эконометрическими и имитационными моделями, которые будут рассмотрены ниже.

Таким образом, при разработке эконометрических прогнозов, несмотря на то что в их основе лежит математическая модель, большую роль играет эффективное использование других методов прогнозирования, умение исследователя поставить достижения экономической теории на службу прогноза. Эконометрические прогнозы представляют собой синтез различных методов прогнозирования.

Ввиду того что основу ЭКМ составляет система регрессионных уравнений, рассмотрим основные требования к ним.

1. Адекватность формы связи уравнения изучаемому объекту. Форма связи обычно задается самим прогнозистом в соответствии с его представлением об объекте прогнозирования, но также она может быть выбрана с использованием различных оценочных коэффициентов уравнения. Однако не всегда возможно использование линейной (аддитивной) формы связи, поэтому в ЭКМ различных стран часто используется и степенная (мультипликативная) форма связи. Например, широко известна производственная функция Кобба-Дугласа и его модификации.

Желательно свести модель к линейной форме, так как весь аппарат корреляционно-регрессионного анализа ориентирован на линейность связей:

Y = a0 + a1X1 + a2X2 + … + anXn

Но если выбирается степенная связь типа:

Y = a0X1a1+ X2a2 + … + Xnan

то можно свести ее к линейной форме, логарифмируя:

InY = In a0 + a1 In X1 + a2 In X2 + … + an In Xn

2. Существенность факторов-аргументов. Установление комплекса наиболее существенных факторов, влияющих на значение результирующего показателя (функции), в основном зависит от знаний прогнозиста или целой их группы и привлекаемых экспертов. Экономическая теория в силу своих возможностей дает представление о факторах, влияющих на значение различных макроэкономических показателей. Аппарат корреляционно-регрессионного анализа позволяет количественно оценить существенность каждого фактора как в абсолютном, так и относительном выражении (в процентах от общего влияния факторов). 3.

Прогнозируемость факторов, т.е. достаточный уровень надежности внемодельного предсказания или возможность получения прогнозных значений факторов посредством их моделирования. 4.

Отсутствие большой тесноты связи между факторами - мультиколлинеарности.

Сначала для установления отсутствия мультиколлинеарности рассчитываются парные коэффициенты корреляции между всеми факторами попарно. Если линейная связь между двумя факторами достаточно тесная, то прогнозист по своему усмотрению оставляет один из факторов для дальнейшего исследования.

Ввиду того что определение «порогового» значения тесноты связи для установления мультиколлинеарности довольно субъективно, в качестве ее критерия может быть принято следующее соображение. 5.

Значимость коэффициентов регрессии (aj), т.е. их существенное отличие от нуля. Для того чтобы ЭКМ имела смысл, необходимо, чтобы все коэффициенты регрессии, кроме свободного члена (ао), обязательно были значимыми. Значимость определяется согласно критериям корреляционно-регрессионного анализа. Если это необходимо и обосновано, проводится корректировка коэффициентов регрессии.

6. Соответствие уравнения регрессии стандартным требованиям. В этом случае оценка также проводится по соответствующим критериям корреляционно-регрессионного аппарата. Если уравнение не соответствует стандартным требованиям, оно должно быть скорректировано или исключено из ЭКМ.

Рассмотрение особенностей эконометрических моделей позволяет сформулировать преимущества моделирования по сравнению с другими методами разработки прогнозов.

В числе основных преимуществ выделим: 1)

учет взаимовлияния различных факторов; 2)

возможность учета воздействия внешних (экзогенных) факторов по отношению к модели экономических и неэкономических факторов; 3)

получение взаимосбалансированных многовариантных прогнозов по большому количеству показателей; 4)

совместное использование различных методов на базе моделей; 5)

другие преимущества эконометрических моделей целиком определяются развитием вычислительной техники.

Благодаря использованию ЭВМ можно, во-первых, увеличивать размерность моделей, рассматривая одновременно все более тонкие экономические взаимосвязи. Важно отметить при этом, что модельные расчеты позволяют получать прогнозы не просто по большому количеству показателей (последнее возможно и на основе моделей временных рядов), а сбалансированные, взаимоувязанные в непротиворечивую систему. Это является одним из самых ярких преимуществ моделей. Если эксперты способны разработать непротиворечивые прогнозы, как правило, для нескольких показателей (опросы и обследования охватывают десятки переменных), то эконометрические модели в настоящее время позволяют без особого напряжения регулярно прогнозировать развитие огромного числа показателей (1-3 тыс. в рамках одной модели). Во-вторых, автоматизация расчетов открывает возможность разработки не только базового, наиболее вероятного прогноза, но также и альтернативных вариантов развития экономики с учетом изменений каких-либо внешних или внутренних условий. Многовариантность прогнозов повышает научный уровень социально-экономического прогнозирования в целом, так как позволяет оценивать не одну, а несколько наиболее вероятных траекторий развития.

Такой подход не может быть реализован на основе использования временных рядов и экономических обследований, где для получения вариантов прогнозов необходимо вводить существенные изменения и корректировки. Многовариантные экспертные прогнозы встречаются чаще, но они не могут конкурировать с ЭКМ ни по количеству уравнений, ни по номенклатуре используемых переменных.

Рассмотрим подробнее такое важное преимущество ЭКМ, как учет влияния внешнеэкономических факторов. Реальное развитие СЭС подвержено сильнейшему взаимодействию большого числа факторов, которые часто не могут быть описаны в рамках изучаемой модели. Так, например, при разработке макромоделей любой конкретной страны необходимо учитывать внешнеэкономические условия, которые, естественно, не определяются переменными, входящими в номенклатуру этой модели. В силу этого ряд переменных не может быть адекватно определен внутри моделей и, следовательно* должен вводиться в нее извне. От внешнеэкономической ситуации зависят прежде всего такие показатели, как экспорт товаров и капитала, миграция рабочей силы. Поэтому эти показатели обычно вводятся в модель экзогенно. Важной группой внешних переменных являются и те, которые зависят от неэкономических (политических, социальных и др.) факторов. В частности, динамика государственных расходов определяется не только требованиями эффективного развития, но в большей степени политическими устремлениями администрации. Учет этих устремлений в модели может быть осуществлен лишь посредством экзогенного использования факторов через внутреннее взаимовлияние модельных переменных.

Необходимо отметить, что, обладая определенными преимуществами по сравнению с другими методами прогнозирования, эконометрические модели отнюдь не лишены недостатков.

Являясь более удобным инструментом прогнозирования, они не разрешают и не могут разрешить его принципиальные проблемы. Прежде всего, модели не способствуют повышению точности прогнозирования поворотных точек развития. Они более пригодны для экстраполяции сложившихся тенденций развития, чем для распознавания изменений в них. По этой причине прогнозирование экономического роста на базе моделей возможно лишь посредством введения внешних переменных и различных корректировок параметров. Кроме того, сложность и неодназначность интерпритации результатов, требование соблюдения необходимой точности прогнозов усложняют их применение в реальных расчетах.

Другим важным недостатком прогнозирования на базе эконометрических моделей является высокая стоимость таких исследований, требующих использования банков данных, ЭВМ, квалифицированных специалистов по разработке и эксплуатации этих моделей.

Имитационная модель

В социально-экономических исследованиях довольно широко распространен метод прогнозирования слабо структурированных проблем, причинно-следственные связи которых недостаточно изучены для построения удовлетворительной теории. В таком случае используется метод имитационного моделировании

Социально-экономическая система любой страны из-за большого количества факторов, участвующих в описании ее функционирования, тем более в условиях постиндустриальной фазы, усложняющей связи между факторами, вызывающими нестабильность и неопределенность ее развития, является объектом со слабо структурируемыми связями.

Поэтому для исследования и прогнозирования таких объектов строится система математических зависимостей, необязательно вытекающих из строгих теоретических предпосылок. С помощью определенных формальных приемов эта система математических зависимостей идентифицируется с реальным объектом. Убедившись в том, что построенная система воспроизводит хотя бы часть свойств реального объекта, на вход системы подают воздействия, характеризующие внешние условия (например, экзогенные факторы и управляющие, в том числе инструментальные переменные), и получают (снимают) последствия этих воздействий на выходе системы. Таким образом получают варианты поведения модели объекта.

Если объектом изучения является некоторая переменная Y, то строится модель, в основе построения которой лежит предположение, что на Y воздействует X вектор, составленный из определенного количества переменных k в соответствии с функциональным соотношением:

Частным случаем функционального соотношения между Y и X является простая линейная модель:

где Qi - некоторые параметры.

Модель можно сделать еще более реалистичной (и тем самым более сложной), если включить в нее нелинейные зависимости между Y и X, а также случайные величины, каждую со своим весом и своей функцией распределения в зависимости от времени.

Дальнейшее усложнение модели связано с введением логических переменных, разного рода ограничений, запаздываний, описывающих механизм обратной связи.

Ясно, что такую модель нельзя исследовать аналитическими методами.

Поскольку имитационные модели могут учитывать и неформализованные связи и характеристики прогнозируемой системы, они способны наиболее адекватно отобразить ее развитие. Однако именно описание таких неформализованных характеристик и представляет основную трудность при построении имитационных моделей.

Особенно важно, что динамические имитационные модели позволяют делать выводы об основных чертах развития системы, которые не зависят существенно от начальных условий. Эти выводы затем детализируются с помощью других методов прогнозирования.

Имитационные модели предназначены для получения информации о моделируемой системе и выработки в последующем соответствующих оценок, пригодных для формирования решений. В качестве примера рассмотрим имитационную модель согласования производства и потребления в многоотраслевой экономике, представленную на рис. 3.4.

Система имеет два формализованных блока: блок имитации материального производства и блок имитации сферы потребления. В системе предусмотрен экспериментатор, который может распоряжаться несколькими параметрами управления: распределением между отраслями капитальных вложений, темпами накопления, оплатой труда - зарплатоемкостью единицы продукции, оптовыми и розничными ценами.

Рис. 3.4. Структура имитационной модели

Экспериментатор осуществляет активный диалог с ЭВМ. Используется информация о корректировочных показателях расчетного спроса на вид продукции и его конечного производства отраслью. Если показатель превышает единицу, значит, спрос на продукт выше предложения, если меньше единицы - то, наоборот. Корректировочные показатели и темпы роста валовой продукции по отраслям анализируются экспериментатором с позиции их допустимости. Если они нуждаются в изменении, экспериментатор может менять тот или иной параметр управления.

Например, меняется распределение капиталовложений или совокупный доход населения (через отраслевые коэффициенты зарплатоемкости), или масштаб цен. Блоками определяются новые корректировочные показатели. Как только экспериментатор приходит к выводу о достижении удовлетворительного соотношения производства и потребления, он переводит систему к расчетам на следующий год.

Таким образом, работа человеко-машинной имитационной системы позволяет находить варианты прогноза, обеспечивающие наилучшее соответствие между денежными доходами населения и объемами предлагаемых товаров и услуг. Варьирование управляющих параметров, оценка промежуточных и выбор окончательного решения возлагаются на экспериментатора, множество возможных вариантов решения рассчитывается на ЭВМ.

Имитационная деловая игра представляет собой дальнейшее развитие имитационной системы и включает наряду с основными ее элементами (имитационной моделью и средствами анализа и обработки результатов имитации) специальные инструктивные и другие средства, которые регламентируют воздействия экспертов-экспериментаторов, являющихся в игре лицами, принимающими решения и заинтересованными в достижении наилучших результатов функционирования моделируемой системы в будущем.

Игрокам должна предоставляться возможность осуществлять в произвольные моменты времени запрос информации из широкого класса данных. При создании игровой имитационной модели следует прежде всего разработать систему мотивации игроков и сценарий игры: описание ролей при этом содержится в должностных инструкциях. Часть моделей такого рода рассчитана на использование компьютеров, часть - на безмашинную имитацию.

Игровые имитационные модели могут строиться для объектов любого уровня: от участка цеха до СЭС. Создание хорошей модели требует больших затрат времени (до нескольких лет) и обходится недешево, прогнозирование с ее помощью, т.е. проведение игры, также требует серьезных усилий, так как число участников игры может доходить до нескольких сотен. Однако эти затраты оправданы, ибо такие модели дают возможность получить прогноз там, где никакой другой метод не работает.

Имитационное моделирование имеет ряд преимуществ:

возможность применять к реально функционирующим объектам более адекватные модели и почти неограниченно экспериментировать с моделью при различных допущениях;

сравнительно легкое привнесение в модель факторов неопределенности, многих случайных переменных;

сравнительно легкое отражение динамики процессов, временных параметров, сроков, запаздываний.

Процесс прогнозирования на основе имитационного моделирования состоит из нескольких основных этапов:

1. Постановка задачи исследования, изучение прогнозируемой системы, сбор эмпирической информации, выделение основных проблем моделирования. 2.

Формирование имитационной модели, выбор структуры и принципов описания модели и ее подмоделей, допустимых упрощений, из меряемых параметров и критериев качества моделей. 3.

Оценка адекватности имитационной модели, проверка достоверности и пригодности моделирующего алгоритма по степени согласованности и допустимости результатов контрольных экспериментов с входными данными. 4.

Планирование многовариантных экспериментов, выбор функциональных характеристик прогнозируемой системы для исследования, определение методов обработки результатов экспериментов. 5.

Работа с моделью, проведение расчетов и имитационных экспериментов. 6.

Анализ результатов, формирование выводов по данным моделирования, окончательная разработка прогноза.

В имитационном эксперименте основной задачей каждого участника является конструирование из возможных вариантов некоторой стратегии, обеспечивающей достижение наилучших результатов.

Вопросы для самоконтроля

Какие методы относятся к логическим? Дайте их краткую характеристику. 2.

Для каких целей применяется метод исторических аналогий? 3.

В каких случаях разрабатывается сценарий развития СЭС? 4.

Назовите случаи использования метода экстраполяции тренда. 5.

Что такое форма связи? Приведите примеры различных форм связей. 6.

Постройте структурную схему имитационной модели. 7.

В каких случаях используется эконометрическое моделирование? Приведите несколько примеров эконометрических моделей.

Математик Константин Воронцов о применении задач машинного обучения в бизнесе, композициях адаптивных моделей и усовершенствовании качества данных

Десять лет назад одна крупная розничная сеть объявила тендер на решение задачи прогнозирования объемов продаж в своей сети. Задачи прогнозирования решают почти все крупные ретейлы, потому что это им необходимо для планирования закупок. Конкурсные условия ставились следующим образом: нам давались данные за два года - это ежедневные продажи примерно 12 000 товаров в одном из магазинов сети, тендер был закрытым, кроме нас на него позвали еще шесть компаний. Среди них были очень крупные вендоры аналитических решений для ретейла. Мы, конечно, оценивали наши шансы выиграть в этом тендере как небольшие.

Условием ставилось составить прогноз продаж на две недели, которые следовали непосредственно за теми двумя годами, по которым были данные. Организаторы конкурса предложили свой функционал качества, по которому мерилось качество прогнозов. Этот функционал был немного нестандартным. Организаторы решили учесть, что в этом функционале складывается большое количество товаров и нехорошо, когда вы складываете штуки с килограммами, поэтому это была сумма по всем товарам, а в знаменатель им пришлось поставить саму прогнозируемую величину. Это был не очень понятный ход, так обычно не делают. Мы предупредили организаторов конкурса, что функционал немного странный, другие участники конкурса их тоже об этом предупреждали, но тем не менее в этом решении тоже была своя логика, и конкурс состоялся при таких условиях.

Обычно прогноз потребительского спроса - точнее, объемов продаж - делается методами прогнозирования, которые очень давно известны в статистике. В целом они основаны на методе наименьших квадратов, где в функционале есть суммы по товарам, суммы по моментам времени и квадрат разности прогноза алгоритма и реального объема продаж для этого товара в этот день. Так обычно устроен функционал, и во всех стандартных решениях минимизация такого функционала позволяет настраивать алгоритм прогнозирования.

Есть много простых, быстро работающих, тоже давно известных, еще с 1960-х годов, методов, которыми мы начали пользоваться, для того чтобы решить задачу прогнозирования. Это методы экспоненциально скользящего среднего, модели Брауна, Тейла - Вейджа, Хольта - Винтерса и так далее. Некоторые из них учитывают сезонность. Сезонность не надо понимать как зима - лето, а скорее как будни - выходные, то есть недельная сезонность. Многие товары действительно продаются по будням и выходным по-разному. Мы сразу поняли, что наши крупные конкуренты в этом тендере будут использовать стандартные подходы: они будут использовать метод наименьших квадратов, потому что у них есть готовые решения, и довольно трудоемкие вычислительные методы вроде нейронных сетей или же авторегрессии. И мы решили пойти другим путем и использовать простые методы с пониманием того, что у каждого товара много своих особенностей. Есть много моделей, но неизвестно, какая модель для каждого товара будет наилучшей. Более того, мы даже предположили, что товар время от времени переключает свою модель и его сначала, может быть, лучше прогнозировать одной моделью, а потом в какой-то момент другая модель начнет работать лучше. Поэтому мы сделали адаптивную композицию простых адаптивных моделей. В каждый момент времени мы выбираем ту модель, которая в последнее время работала лучше, давала более точные прогнозы, переключаемся на нее, и именно она дает прогнозы. Первое решение, которое было сделано, - пользоваться композицией простых моделей, вместо того чтобы строить что-то более сложное.

Второе решение заключалось в том, что мы осознали, что функционал нестандартен, и, как учили на первом курсе физтеха, мы взяли этот функционал, продифференцировали по параметрам модели, приравняли нулю производные и получили некую систему уравнений, из которой вывели новый метод. В принципе это работа для математика на один вечер, но мы догадывались, что наши конкуренты так поступать не будут, потому что у них есть готовые решения, они в них сильно верят. Как оказалось, мы действительно не прогадали.

Еще одна особенность этой задачи - то, что были большие интервалы неслучайного отсутствия спроса. Представьте себе: товар продается стабильно ежедневно, и вдруг вы видите, что две недели этого товара нет вообще. Это, конечно, связано не с тем, что спрос отсутствует, а с тем, что товар просто не привезли, его не было на полках, не было на складе. Такие интервалы отсутствия спроса мы просто вырезали из обучающих данных, чтобы они не повлияли на результат.

Настал день, когда мы показывали наше решение организаторам конкурса. Мы знали, что перед нами выступал один из наших крупных конкурентов, и, когда организаторы спросили: «А сколько часов вычисляет ваша модель?», мы удивились и сказали: «Вы разве не поняли, что мы только что на моем ноутбуке за одну минуту и восемь секунд не только подсчитали все прогнозы, но и обучили нашу модель на двухлетнем интервале?» Это было, конечно, шоком. В итоге наша модель оказалась не только самой точной, но еще и самой быстрой. Мы показали, что все прогнозы по всей сети можно считать буквально за два часа, ночью, на старом сервере и что даже никакого нового оборудования закупать не надо.

Это не только история успеха, но еще и очень поучительная история: во-первых, не надо бояться применять нестандартные методы, и если задача поставлена нестандартно, то только математик может быстро найти решение - хорошо, когда удается быстро, иногда это не удается, конечно; во-вторых, этот случай придал нам сил выйти на рынок с собственными решениями - не надо бояться того, что на рынке есть сильные конкуренты. Был еще один момент поучительности. Когда я сам занимался отбором моделей для этой задачи, то сначала мы ввели целых тридцать разных моделей, и из них так адаптивно, как я рассказал, каждый день для каждого товара выбиралась оптимальная модель.

В принципе это чревато таким явлением, как переобучение, то есть мы могли хорошо, точно подогнаться под обучающие данные и плохо прогнозировать на новых тестовых данных. Я знал об этом явлении, что явление связано с тем, что модель может быть избыточно сложной, тогда и возникает эффект переобучения. Мне казалось, что выбор из тридцати моделей - это не настолько сложно, здесь не должно быть переобучения. Мое удивление было очень сильным, когда я провел эксперимент, сравнил обучение с контрольным и понял, что переобучение просто огромно и мы теряем десятки процентов точности на этом эффекте. Я только собирался еще и еще вводить новые модели, но этот эксперимент показал, что решение надо, наоборот, упрощать и тридцать моделей - это много. Следующим шоком для меня было, когда оказалось, что оптимальное число моделей - шесть, то есть нельзя было строить более сложное решение, чем из шести моделей.

Тогда чисто теоретически эта задача поставила меня в тупик, а решение удалось найти только тогда, когда я работал над докторской диссертацией и уже серьезно исследовал явление переобучения в рамках комбинаторной теории переобучения. Оказалось, что если вы выбираете из моделей и у вас есть одна модель хорошая, а все остальные - плохие, то вы эту хорошую модель, как правило, и будете выбирать. Вы не будете переобучаться, вы будете иметь это одно хорошее решение. Если у вас есть много моделей, но они похожи друг на друга, вы тоже не будете переобучаться, потому что эффективная сложность совокупности таких похожих друг на друга моделей невелика, переобучение тоже низкое. А если получится так, что ваши модели существенно различны и примерно все при этом одинаково плохие, то переобучение может быть очень велико, и эффект переобучения чудовищно растет по мере роста числа моделей. Это была ровно та ситуация, с которой мы столкнулись в этом тендере. А вот объяснить ее теоретически удалось лишь несколько лет спустя.

Была еще одна поучительная история. Тогда же, на этом тендере, презентуя свое решение организаторам конкурса, мы объяснили: «Мы считаем, что ваш функционал неправильно устроен, так делать нельзя. То, что прогнозируемая величина в знаменателе, - это, конечно, нехорошо. То, что ваш функционал выражает квадрат разности ошибок…» Что такое квадрат рублей, например? Это не имеет экономического смысла. Мы предложили оптимизировать функционалы, выражающие потери компании от неточности прогнозов, и показали, как такой функционал должен быть устроен, и показали, что мы готовы оптимизировать такие нестандартные функционалы, тем самым повышать прибыль компании - ровно то, что было нужно для бизнеса. Когда мы начали уже реально работать над проектом, то оказалось, что у компании те самые данные, которые нужны для построения такого функционала, очень грязные. Для части товаров такие данные вообще отсутствовали, для части товаров эти данные были неточны, потому что менеджеры до сих пор не были заинтересованы в том, чтобы такие данные проверялись, контролировались. Это же не бухгалтерия, это какая-то вспомогательная информация. Может быть, она кому-то когда-то понадобится, может быть, нет.

В результате оказалось, что данные грязные, и нужно было усовершенствовать бизнес-процессы и работать над улучшением качества данных. Это то, что бизнес не понимал в тот момент. Когда мы пришли со своим решением и осознали, что борьба за качество и чистоту данных - важная часть бизнеса, мы еще помогли нашим партнерам это осознать и кое-что улучшить внутри бизнес-процессов. Такая поучительная история о связи бизнеса и науки, о том, что наука может дать бизнесу нестандартные решения. Иногда это совсем несложно, но и, наоборот, в процессе поиска этих решений на основе реальных кейсов мы можем получить обратную связь для науки, мы можем столкнуться с какими-то неразрешенными теоретическими вопросами и двинуть теорию вперед.

доктор физико-математических наук, профессор факультета компьютерных наук НИУ ВШЭ