Разберемся с измерением случайных величин (ч. 2/4)

Основная терминология

Поскольку теория вероятности нашла применение во многих областях, появилось немало обозначений для одного и того же. Ниже я выпишу русские и английский термины с их синонимами. Синонимы в рамках одного языка пишутся через запятую. Знание английского варианта может быть очень полезно при работе с различными математическими системами (типа Matlab, Mathematica) и библиотеками.

Итак, у нас есть случайная величина. Она может принимать те или иные значения с определенными вероятностями. Для того, чтобы охарактеризовать вероятности (частоты) принятия различных значений случайной величины вводят функцию распределения вероятностей случайной величины.

Distribution function, Сumulative distribution function, c.d.f.  Функция распределения, Функция распределения вероятностей, Интегральная функция распределения вероятностей – функция, характеризующая распределение случайной величины. Записывается как F(x) и обозначает вероятность того, что после выполнения эксперимента случайная величина X получит значение, не превышающее число x. Математически это записывается как
F(x) = P(X \leq x), -\infty < x < +\infty

Наша случайная величина может быть дискретной или непрерывной.

Дискретная (от лат. disctretus – прерывистый) случная величина может принимать только определенный набор значений.

Например, результат бросания монеты может быть только орел или решка.

Непрерывная случайная величина может принимать любое значения в заданном диапазоне.

Возвращаясь к примеру из первой части, время открытия веб-страницы – это непрерывная случайная величина.

Помимо функции распределения вероятности для описания случайной величины вводятся функция вероятности и плотность вероятности. То есть и плотность распределения, и функция вероятности, и функция распределения, всё это есть одна из форм закона распределения, а закон распределения – это просто общий термин для описания случайной величины.

Probability massProbability mass functionp.m.f. – Функция вероятности – функция, описывающая распределение дискретной случайной величины. Записывается как множество значений, которые может принять случайная величина, и соответствующие им вероятности. Например, для монеты p_1=0.5, p_2=0.5, где p_1 – вероятности выпадения орла и p_2 – решки.

С функцией вероятности у меня остается один непонятный момент. Почему функцию распределения плотности вероятности для дискретной случайной величины назвали именно «функция вероятности»? Это же очень похоже на изначальное понятие «функция распределения вероятностей»? Надеюсь, кто-нибудь из читателей меня просветит.

Впрочем, дальше будет речь идти только о непрерывных величинах, поэтому этот вопрос некритичный.

Probability densityProbability density functionp.d.f  – Плотность вероятности, Функция плотности вероятности – функция, описывающая распределение непрерывной случайной величины. Кстати, да, «density» дословно переводится как «плотность». Плотность вероятности записывается как f(x) . Математически плотность вероятности является производной от функции распределения вероятностей:

f(x)=F'(x), -\infty < x < +\infty.

Соответственно, функцию распределения вероятностей можно выразить через плотность:

F(x)=P(X\in[\infty,x])=\int\limits_{-\infty}^{x} f(x)dx

Если словами, то функция распределения вероятности для значения x равна вероятности принятия случайной величины значения от минус бесконечности до x.

Само обозначение «плотность» взято из механики. В этой интерпретации функция f(x) буквально характеризует плотность распределения масс по оси абсцисс (ось x):

Стоит отметить, что в литературе часто пишут не «функция распределения непрерывной случайной величины», а «функция непрерывного распределения случайной величины». Тут может быть путаница, хотя все имеют в виду одно и тоже. Просто кто-то говорит о самой случайной величине, а кто-то – о её распределении. Соответственно, у непрерывной случайной величины – непрерывное распределение.

Виды распределений

Разработано немало различных законов распределения, которые хорошо подходят для моделирования того или иного реального явления. Сложность в разработки таких законов заключается в том, что на функцию распределения вероятности накладывается ряд очевидных ограничений:

  1. F(x)\in[0;1], потому что не может быть отрицательной вероятности и вероятности больше единицы;
  2. F(x_1)\le F(x_2),x_1<x_2, т.е. функция неубывающая, потому что чем больше совокупность случайных событий, тем более вероятно их наступление;
  3. \lim_{x\to -\infty}=0, \lim_{x\to +\infty}=1 по той же причине, что и п.2.
В википедии можно найти по меньшей мере 30 различных законов распределения случайных величин. Разберем одно из самых популярных распределений – нормальное, или распределение Гаусса.

Нормальное распределение

О нем говорилось в прошлой части, но теперь, когда вам знакомы понятия функции и плотности распределения, мы можем рассмотреть его в новом свете!
Плотность распределения записывается следующим образом:
В принципе, саму формулу запоминать нет особого смысла, главное запомнить, что в ней присутствуют два параметра, которые влияют на форму распределения (см. график ниже): \mu (мю) – среднее значение (математическое ожидание), указывает «центр» «купола», и \sigma^2 (сигма) – дисперсия (рассеивание), влияет на «толщину» купола. Сигму не в квадрате называют среднеквадратическим отклонением.
Выглядит плотность вероятности f(x) так:
Рассматривая на графике красную линию, можно сказать, что наиболее вероятное значение – это ноль, вероятность которого примерно равна 0.9.
Используя интерактивную консоль ipython с поддержкой построения графиков мы можем легко построить такие же графики сами (надеюсь, вы установили дистрибутив The Enthought Python Distribution из предыдущей части)!
Для начала запустите ipython в консоли командой «ipython —pylab». Затем введите следующий код:
from scipy.stats import norm
import numpy as np

x = np.linspace(-5,5,100)
plot(x, norm.pdf(x))
Вы получите следующий график:

Краткий итог

Да, эта часть получилась теоретическая… Зато она вносит ясность в самые базовые элементы статистики и теории вероятности, которые обязательно понадобятся нам в будущем! А для практикующих, надеюсь, была полезна часть с разбором синонимов в терминологии.

Смотрите в следующей серии

Подбор подходящего распределения на основе экспериментальных данных. Имея на руках только сырые данные, мы сможем найти подходящий закон распределения, который поможет нам определить тот самый доверительный интервал, а интервал подскажет нам, сколько раз необходимо провести опыт, чтобы быть  уверенным в полученных результатах на 99%!)