Теория вероятности и мат статистика
Категория реферата: Рефераты по математике
Теги реферата: реферат вода, шпаргалка рф
Добавил(а) на сайт: Vit.
Предыдущая страница реферата | 4 5 6 7 8 9 10 11 12 13 14 | Следующая страница реферата
Для вероятностного пространства:
[pic]
Энтропия задается выражением: [pic]. Если P1=0, то Pi(logPi=0.
Самим показать, что:
Если вероятностное пространство не имеет определенности, т.е. какое-то из
Pi=1, а остальные равны 0, то энтропия равна нулю.
Если элементарный исход равновероятен, т.е. [pic], то энтропия принимает
максимальное значение.
0(Pi(1, [pic]
1) [pic]
[pic], [pic] т.о. вероятности p1, p2, ..., ps обращаются в ноль, например pi, которая равна 1. Но log1=0. Остальные числа также обращаются в 0, т.к. [pic].
2) Докажем, что энтропия системы с конечным числом состояний достигае максимума, когда все состояния равновероятны. Для этого рассмотрим энтропию системы как функцию вероятностей p1, p2, ..., ps и найдем условный экстремум этой функции, при условии, что [pic].
Пользуясь методом неопределенных множителей Лагранжа, будем искать экстремум функции: [pic].
Дифференцируя по p1, p2, ..., ps и приравнивая производные нулю получим систему:
[pic] i=1, ..., s
Откуда видно, что экстремум достигается при равных между собой p1.
Т.к. [pic], то p1= p2=, ..., = ps= 1/s.
Еденицей измерения энтропии является энтропия вероятностного пространства вида: [pic]
[pic], которая называется 1 бит.
Неопределенность исхода испытания до испытания автоматически определяет информативность исхода испытания после испытания. Поэтому в битах также измеряется информативность исхода.
Рассмотрим два вероятностных пространства:
[pic] [pic]
Проводим композицию двух испытаний. Композиционное пространство имеет вид:
[pic] i=1, ..., s1 j=1, ..., s2
С точки зрения качественного анализа максимальная энтропия композиционного вероятностного пространства достигается тогда, когда испытания независимы. Найдем энтропию композиционного пространства для случая независимых испытаний.
[pic]
[pic]
Биномиальное распределение. n испытаний называются системой испытаний Бернулли, если испытания независимы, в каждом из них происходит событие [pic], либо [pic] с вероятностью наступления P(A) = p; [pic]
Найдем вероятность того, что в результате проведенных n испытаний событие А произошло m раз:
Рекомендуем скачать другие рефераты по теме: доклад по истории на тему, сочинение базаров.
Предыдущая страница реферата | 4 5 6 7 8 9 10 11 12 13 14 | Следующая страница реферата