Как вычислить информационный объём одного символа в алфавите?

Вопрос:

 Как вычислить информационный объём одного символа в алфавите?

Подробный ответ:

Информационный объем одного символа в алфавите можно вычислить, используя формулу Шеннона:

I = -log2(P)

где:

I - информационный объем символа в битах,
P - вероятность появления данного символа в алфавите.
Чем меньше вероятность P, тем больше информационный объем символа. Например, если символ появляется всегда (вероятность 1), информационный объем равен 0 битам, так как он не несет информации (логарифм от 1 равен 0). Если символ равновероятно встречается среди других символов, его информационный объем будет максимальным, равным log2(N), где N - количество символов в алфавите.