11.6. Зависимость В Интернете никто не знает, что ты собака. Питер СтайнерДавай проведем простой тест: чем ты будешь заниматься, если тебя на месяц забросит в страну, где с интернетом все плохо? Например, в Северную Корею? У тебя есть план, чем можно занять все это время, кроме

Стохастическая эмпирическая зависимость

Зависимость между случайными величинами называется стохастической зависимостью. Она проявляется в изменении закона распределения одной из них (зависимой переменной) при изменении других (аргументов).

Графически стохастическая эмпирическая зависимость, в системе координат зависимая переменная - аргументы , представляет собой множество случайно расположенных точек, которое отражает общую тенденцию поведения зависимой переменной при изменении аргументов.

Стохастическая эмпирическая зависимость от одного аргумента называется парной зависимостью, если аргументов более одного - многомерной зависимостью. Пример парной линейной зависимости приведён на рис. 1.()

Рис. 1.

В отличие от обычной функциональной зависимости, в которой изменениям значения аргумента (или нескольких аргументов) отвечает изменение детерминированной зависимой переменной, в стохастической зависимости при этом происходит изменение статистического распределения случайной зависимой переменной, в частности, математического ожидания.

Задача математического моделирования (аппроксимации)

Построение стохастической зависимости иначе называется математическим моделированием (аппроксимацией) или приближением и состоит в нахождении её математического выражения (формулы).

Эмпирически установленная формула (функция), которая отражает не всегда известную, но объективно существующую истинную зависимость и отвечает основному, устойчивому, повторяющемуся отношению между предметами, явлениями или их свойствами, рассматривается как математическая модель.

Устойчивое отношение вещей и их истинная зависимость. моделируется она или нет, существует объективно, имеет математическое выражение, и рассматривается как закон или его следствие.

Если подходящие закон или следствие из него известны, то их естественно рассматривать в качестве искомой аналитической зависимости. Например, эмпирическая зависимость силы тока I в цепи от напряжения U и сопротивления нагрузки R следует из закона Ома:

К сожалению, истинная зависимость переменных в подавляющем большинстве случаев априорно неизвестна, поэтому возникает необходимость её обнаружения, исходя из общих соображений и теоретических представлений, то есть построения математической модели рассматриваемой закономерности. При этом учитывается, что заданные переменные и их приращения на фоне случайных колебаний отражают математические свойства искомой истинной зависимости(поведение касательных, экстремумы, корни, асимптоты и т.п.)

Подбираемая, так или иначе, аппроксимирующая функция сглаживает (усредняет) случайные колебания исходных эмпирических значений зависимой переменной и, подавляя тем самым случайную составляющую, является приближением к регулярной составляющей и, стало быть, к искомой истинной зависимости.

Математическая модель эмпирической зависимости имеет теоретическое и практическое значение:

· позволяет установить адекватность экспериментальных данных тому или иному известному закону и выявить новые закономерности;

· решает для зависимой переменной задачи интерполяции внутри заданного интервала значений аргумента и прогнозирования (экстраполяции) за пределами интервала.

Однако, несмотря на большой теоретический интерес нахождения математической формулы для зависимости величин, на практике часто достаточно лишь определить, есть ли между ними связь и какова её сила.

Задача корреляционного анализа

Методом изучения взаимосвязи между изменяющимися величинами является корреляционный анализ.

Ключевым понятием корреляционного анализа, описывающим связь между переменными является корреляция (от английского correlation - согласование, связь, взаимосвязь, соотношение, взаимозависимость ).

Корреляционный анализ используется для обнаружения стохастической зависимости и оценки её силы (значимости) по величине коэффициентов корреляции и корреляционного отношения.

Если связь между переменными обнаружена, то говорят, что корреляция присутствует или что переменные коррелированны.

Показатели тесноты связи (коэффициент корреляции, корреляционное отношение) по модулю изменяются от 0(при отсутствии связи) до 1(при вырождении стохастической зависимости в функциональную).

Стохастическая связь полагается значимой (реальной), если абсолютная оценка коэффициента корреляции (корреляционного отношения) значима, то есть в 2-3 превышает стандартное отклонение оценки коэффициента.

Отметим, что в некоторых случаях связь может быть обнаружена между явлениями, не находящимися в очевидных причинно-следственных отношениях.

Например, для некоторых сельских районов выявлена прямая стохастическая связь между числом гнездящихся аистов и рождающихся детей. Весенний подсчёт аистов позволяет предсказывать, сколько в этом году родится детей, но зависимость, конечно, не доказывает известное поверье, и объясняется параллельными процессами:

· рождению детей обычно предшествует образование и обустройство новых семей с обзаведением сельскими домами и подворьями;

· расширение возможностей гнездования привлекает птиц и увеличивает их количество.

Подобная корреляция между признаками называется ложной(мнимой) корреляцией, хотя она может иметь прикладное значение.

Рассматривая зависимость между признаками, выделим прежде всего зависимость между изменением факторного и результативного признаков, когда вполне определенному значению факторного признака соответствует множество возможных значений результативного признака. Иначе говоря, каждому значению одной переменной соответствует определенное (условное) распределение другой переменной. Такая зависимость называется стохастической. Возникновение понятия стохастической зависимости обусловливается тем, что зависимая переменная подвержена влиянию ряда неконтролируемых или неучтенных факторов, а также тем, что изменение значений переменных неизбежно сопровождается некоторыми случайными ошибками. Примером стохастической связи является зависимость урожайности сельскохозяйственных культур Y от массы внесенных удобрений X. Точно предсказать урожайность мы не можем, так как на нее влияет множество факторов (осадки, состав почвы и т.д.). Однако очевидно, что с изменением массы удобрений будет меняться и урожайность.

В статистике изучаются наблюдаемые значения признаков, поэтому стохастическую зависимость называют обычно статистической зависимостью.

В силу неоднозначности статистической зависимости между значениями результативного признака У и значениями факторного признака X представляет интерес усредненная по X схема зависимости, т.е. закономерность, выражаемая условным математическим ожиданием M(Y/X = х) (вычисленного при фиксированном значении факторного признака X = х ). Зависимости такого рода называются регрессионными , а функция ср(х) = M(Y/X = х) - функцией регрессии Y на X или прогнозом Y по X (обозначение у х = ф(л)). При этом результативный признак Y называют также функцией отклика или объясняемой, выходной, результирующей, эндогенной переменной, а факторный признак X - регрессором или объясняющей, входной, предсказывающей, предикторной, экзогенной переменной.

В параграфе 4.7 доказывалось, что условное математическое ожидание M(Y/X) = ср(х) дает наилучший прогноз У по X в среднеквадратическом смысле, т.е. M(Y- ф(х)) 2 M(Y-g(x)) 2 , где g(x) - любой другой прогноз УпоХ.

Итак, регрессия - это односторонняя статистическая зависимость, устанавливающая соответствия между признаками. В зависимости от числа факторных признаков, описывающих явление, различают парную и множественную регрессии. Например, парная регрессия - это регрессия между затратами на производство (факторный признак X) и объемом продукции, производимой предприятием (результативный признак У). Множественная регрессия - это регрессия между производительностью труда (результативный признак У) и уровнем механизации производственных процессов, фондом рабочего времени, материалоемкостью, квалификацией рабочих (факторные признаки X t , Х 2 , Х 3 , Х 4).

По форме различают линейную и нелинейную регрессии, т.е. регрессии, выражаемые линейной и нелинейной функциями.

Например, ф(Х) = аХ + Ъ - парная линейная регрессия; ф(Х) = аХ 2 + + ЬХ + с - квадратическая регрессия; ф(Х 1? Х 2 ,..., Х п ) = р 0 4- fi { X { + р 2 Х 2 + ... + p„X w - множественная линейная регрессия.

Проблема выявления статистической зависимости имеет две стороны: установление тесноты (силы) связи и определение формы связи.

Установлению тесноты (силы) связи посвящен корреляционный анализ , назначение которого - получить на основе имеющихся статистических данных ответы на следующие основные вопросы:

• как выбрать подходящий измеритель статистической связи (коэффициент корреляции, корреляционное отношение, ранговый коэффициент корреляции и т.п.);
• как проверить гипотезу о том, что полученное числовое значение измерителя связи действительно свидетельствует о наличии статистической связи.

Определением формы связи занимается регрессионный анализ. При этом назначение регрессионного анализа - решение на основе имеющихся статистических данных следующих задач:

• выбор вида функции регрессии (выбор модели);
• нахождение неизвестных параметров выбранной функции регрессии;
• анализ качества функции регрессии и проверка адекватности уравнения эмпирическим данным;
• прогноз неизвестных значений результативного признака по заданным значениям факторных признаков.

На первый взгляд может показаться, что понятие регрессии сходно с понятием корреляции, так как в обоих случаях речь идет о статистической зависимости между исследуемыми признаками. Однако на самом деле между ними есть существенные различия. Регрессия подразумевает причинную взаимосвязь, когда изменение условного среднего значения результативного признака происходит вследствие изменения факторных признаков. Корреляция же ничего не говорит о причинной зависимости между признаками, т.е. если установлено наличие корреляции между X и У, то этот факт не подразумевает того, что изменения значений X обусловливают изменение условного среднего значения У. Корреляция всего лишь констатирует факт того, что изменения одной величины в среднем соотносятся с изменениями другой.

Зачастую теорию вероятностей воспринимают как раздел математики, который занимается «исчислением вероятностей».

И всё это исчисление фактически сводится к простой формуле:

«Вероятность любого события равна сумме вероятностей входящих в него элементарных событий ». Практически эта формула повторяет, привычное нам с детства, «заклинание»:

«Масса предмета равна сумме масс составляющих его частей ».

Здесь мы будем обсуждать не столь тривиальные факты из теории вероятностей. Речь пойдёт, в первую очередь, о зависимых и независимых событиях.

Важно понять, что одинаковые термины в различных разделах математики могут иметь совершенно различный смысл.

Например, когда говорят, что площадь круга S зависит от его радиуса R , то, конечно, имеется в виду функциональная зависимость

Совсем другой смысл у понятий зависимость и независимость в теории вероятностей.

Знакомство с этими понятиями начнём с простого примера.

Представьте, что вы проводите эксперимент с бросанием игральной кости в этой комнате, а ваш коллега в соседней комнате тоже подбрасывает монету. Пусть вас интересует событие А – выпадение «двойки» у вас и событие В – выпадение «решки» у вашего коллеги. Здравый смысл подсказывает: эти события независимы!

Хотя мы ещё не ввели понятия зависимости/независимости, но интуитивно ясно, что любое разумное определение независимости должно быть устроено так, чтобы эти события определялись как независимые.

Теперь обратимся к другому эксперименту. Бросается игральная кость, событие А – выпадение «двойки», событие В – выпадение нечётного числа очков. Считая, что кость симметрична, можно сразу сказать, что Р(А) = 1/6. А теперь представьте, что вам сообщают: «В результате проведенного эксперимента произошло событие В, выпало нечётное число очков». Что теперь можно сказать о вероятности события А? Понятно, что теперь эта вероятность стала равна нулю.

Для нас самое важное, что она изменилась .

Возвращаясь к первому примеру, можно сказать, информация о том, что в соседней комнате произошло событие В никак не скажется на ваших представлениях о вероятности события А. Эта вероятность не изменится от того, что вы что-то узнали о событии В.

Мы приходим к естественному и чрезвычайно важному выводу –

если информация о том, что событие В произошло меняет вероятность события А, то события А и В следует считать зависимыми, а если не меняет – то независимыми.

Этим соображениям следует придать математическую форму, определить зависимость и независимость событий с помощью формул.

Будем исходить из следующего тезиса: «Если А и В – зависимые события, то в событии А содержится информация о событии В, а в событии В содержится информация о событии А». А как узнать – содержится или нет? Ответ на этот вопрос даёт теория информации .

Из теории информации нам нужна только одна формула, которая позволяет вычислить количество взаимной информации I(A, B) для событий А и В

Не будем вычислять количество информации для различных событий или подробно обсуждать эту формулу.

Для нас важно, что если

то количество взаимной информации между событиями А и В равно нулю − события А и В независимы . Если же

то количество взаимной информации − события А и В зависимы .

Обращение к понятию информации носит здесь вспомогательный характер и, как нам кажется, позволяет сделать более осязаемыми понятии зависимости и независимости событий.

В теории вероятностей зависимость и независимость событий описывается более формально.

В первую очередь нам понадобится понятие условной вероятности .

Условная вероятность события А при условии, что событие В произошло (Р(В) ≠0), называется величина Р(А|В), вычисляемая по формуле

.

Следуя духу нашего похода к пониманию зависимости и независимости событий можно ожидать, что условная вероятность будет обладать следующим свойством: если события А и В независимы , то

Это означает, что информация о том, что событие В произошло никак не влияет на вероятность события А.

Так оно и есть!

Если события А и В независимы, то

Имеем для независимых событий А и В

и