Игра в бильярд начинается с того, что шары аккуратной пирамидкой выстраиваются на столе. Затем наносится первый удар кием, который разбивает пирамиду. Шары перекатываются по столу по причудливым траекториям, многократно сталкиваются со стенками стола и друг с другом и, наконец, застывают в некотором новом расположении. Отчего-то новое расположение всегда менее упорядоченно. Почему? Можно пробовать бесконечно. Положения шаров на столе каждый раз будут меняться, но никогда мы не придем к такой же упорядоченной пирамиде, которая была на столе перед первым ударом. Система самопроизвольно переходит в менее упорядоченные состояния. Никогда не в более упорядоченные. Для того чтобы система перешла в упорядоченное состояние, необходимо вмешательство извне. Кто-нибудь из играющих берет треугольную рамку и формирует новую пирамиду. Процесс требует вложения энергии. Не существует способа заставить шары самопроизвольно выстроиться в пирамиду в результате соударений друг с другом и со стенками.
Процесс нарастания беспорядка на бильярдном столе не управляется (хотя и требует энергии для своего прохождения), потому что хороший бильярдный стол специально делается таким, чтобы энергия шара в любой его точке была одинаковой. То, что происходит на бильярдном столе, демонстрирует другой великий принцип, по которому организована наша Вселенная: принцип максимума энтропии. Разумеется, одним лишь бильярдным столом великий принцип мироздания не ограничивается. Так что будем разбираться.
Энтропия - это мера неупорядоченности системы. Чем меньше порядка в системе, тем выше ее энтропия. Наверное, имеет смысл поговорить о том, что считать порядком и что беспорядком.
Под порядком можно понимать регулярное расположение частиц, когда расстояния и направления повторяются, а по расположению нескольких частиц можно предсказать расположение следующей. Если частицы равномерно перемешаны безо всякого видимого закона расположения - это беспорядок. Если частицы аккуратно собраны в одной области пространства - это порядок. Если разбросаны повсюду - беспорядок. Если разные компоненты смеси находятся в разных местах - это порядок. Если все вперемежку - беспорядок. В общем, спросите маму или жену - она объяснит.
Энтропия газа (между прочим, слово "газ" - это искаженное греческое "хаос") выше, чем жидкости. Энтропия жидкости выше, чем твердого тела. Вообще говоря, повышение температуры увеличивает беспорядок. Из всех состояний вещества наименьшую энтропию будет иметь твердый кристалл при температуре абсолютного нуля. Эту энтропию принимают за нулевую.
В различных процессах энтропия изменяется. Если в некотором процессе не происходит изменения энергии, то процесс протекает самопроизвольно только в том случае, если это ведет к повышению энтропии системы. (Что происходит, когда меняется и энтропия, и энергия, мы обсудим немного позже.) Именно поэтому после удара кием шары на бильярдном столе переходят в менее упорядоченное положение. Изменения энтропии в различных системах можно суммировать в виде принципа максимума энтропии :
Любая система самопроизвольно стремится занять наиболее неупорядоченное доступное ей состояние.
Очень часто это же самое формулируется в виде принципа неуменьшения энтропии :
Энтропия изолированной системы не может уменьшиться.
Эта формулировка породила и порождает продолжать массу споров на тему тепловой смерти Вселенной: Вселенная по определению является изолированной системой (поскольку у нее отсутствует окружающая среда, с которой был бы возможен обмен массой или энергией), следовательно, ее энтропия постепенно возрастает. Следовательно, Вселенная придет в конце концов в состояние полной однородной неупорядоченности, в котором не может существовать ни один объект, как-то отличающийся от окружения. Тема в высшей степени увлекательная, но давайте об этом как-нибудь в другой раз.
Для источника с зависимыми сообщениями энтропия тоже вычисляется как математическое ожидание количества информации на один элемент этих сообщений. Количество информации и энтропия являются логарифмическими мерами и измеряются в одних и тех же единицах.
6. Энтропия объединенных статистически независимых источников информации равна сумме их энтропий. 7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля, полностью игнорируя содержательную сторону ансамбля. ЭНТРОПИЯ ЭКОСИСТЕМЫ - мера неупорядоченности экосистемы, или количества энергии, недоступной для использования. Чем больше показатель энтропии, тем менее устойчива экосистема во времени и пространстве.
4.1.2. Энтропия и производительность дискретного источника сообщений
Любое из этих сообщений описывает состояние какой-то физической системы. Мы видим, что степень неопределенности физической системы определяется не только числом ее возможных состояний, но и вероятностями состояний. В качестве меры априорной неопределенности системы (или прерывной случайной величины) в теории информации применяется специальная характеристика, называемая энтропией.
Энтропия, как мы увидим в дальнейшем, обладает рядом свойств, оправдывающих ее выбор в качестве характеристики степени неопределенности. Наконец, и это самое главное, она обладает свойством аддитивности, т. е. когда несколько независимых систем объединяются в одну, их энтропии складываются. Если за основание выбрано число 10, то говорят о «десятичных единицах» энтропии, если 2 — о «двоичных единицах».
Докажем, что энтропия системы с конечным множеством состояний достигает максимума, когда все состояния равновероятны. Пример 3. Определить максимально возможную энтропию системы, состоящей из трех элементов, каждый из которых может быть в четырех возможных состояниях.
Следует заметить, что полученное в этом случае значение энтропии будет меньше, чем для источника независимых сообщений. Это следует из того, что при наличии зависимости сообщений неопределенность выбора уменьшается и, соответственно, уменьшается энтропия. Определим энтропию двоичного источника. График зависимости (4.4) представлен на рис. 4.1. Как следует из графика, энтропия двоичного источника изменяется в пределах от нуля до единицы.
Основные свойства энтропии
Обычно отмечают, что энтропия характеризует заданное распределение вероятностей с точки зрения степени неопределенности исхода испытания, т. е. неопределенности выбора того или иного сообщения. Действительно, легко убедиться, что энтропия равна нулю тогда и только тогда, когда одна из вероятностей равна единице, а все остальные равны нулю; это означает полную определенность выбора.
Возможна и другая наглядная интерпретация понятия энтропии как меры «разнообразия» сообщений, создаваемых источником. Легко убедиться, что приведенные выше свойства энтропии вполне согласуются с интуитивным представлением о мере разнообразия. Также естественно считать, что количество информации, содержащееся в элементе сообщения, тем больше, чем более разнообразны возможности выбора этого элемента.
Выражение представляющее математическое ожидание количества информации в выбираемом элементе, для источника, находящегося в -м состоянии, можно назвать энтропией этого состояния. Определенная выше энтропия источника на элемент сообщения зависит от того, каким образом сообщения расчленяются на элементы, т. е. от выбора алфавита. Однако энтропия обладает важным свойством аддитивности.
Отметим некоторые свойства энтропии. Энтропия. Пожалуй, это одно из самых сложных для понимания понятий, с которым вы можете встретиться в курсе физики, по крайней мере если говорить о физике классической.
Например, если вы спросите меня, где я живу, и я отвечу: в России, то моя энтропия для вас будет высока, всё-таки Россия большая страна. Если же я назову вам свой почтовый индекс: 603081, то моя энтропия для вас понизится, поскольку вы получите больше информации.
Энтропия вашего знания обо мне понизилась приблизительно на 6 символов. А что если бы я вам сказал, что сумма равна 59? Для этого макросостояния существует всего 10 возможных микросостояний, так что его энтропия равна всего лишь одному символу. Как видите, разные макросостояния имеют разные энтропии. Мы измеряем энтропию как количество символов, необходимых для записи числа микросостояний.
Другими словами, энтропия - это то, как мы описываем систему. Например, если мы немного нагреем газ, то скорость его частиц возрастёт, следовательно, возрастёт и степень нашего незнания об этой скорости, то есть энтропия вырастет. Или, если мы увеличим объём газа, отведя поршень, увеличится степень нашего незнания положения частиц, и энтропия также вырастет.
С одной стороны, это расширяет возможности использования энтропии при анализе самых различных явлений, но, с другой стороны, требует определенной дополнительной оценки возникающих ситуаций. Это во-первых.Во-вторых, Вселенная — это не обычный конечный объект с границами, это сама бесконечность во времени и пространстве.
МАКСИМАЛЬНАЯ РАБОТА - в термодинамике 1) работа, совершаемая теплоизолиров. Любое сообщение, с которым мы имеем дело в теории информации, представляет собой совокупность сведений о некоторой физической системе. Очевидно, если бы состояние физической системы было известно заранее, не было бы смысла передавать сообщение.
Очевидно, сведения, полученные о системе, будут, вообще говоря, тем ценнее и содержательнее, чем больше была неопределенность системы до получения этих сведений («априори»). Чтобы ответить на этот вопрос, сравним между собой две системы, каждой из которых присуща некоторая неопределенность.
Однако в общем случае это не так. Рассмотрим, например, техническое устройство, которое может быть в двух состояниях: 1) исправно и 2) отказало. Подчеркнем, что для описания степени неопределенности системы совершенно неважно, какие именно значения записаны в верхней строке таблицы; важны только количество этих значений и их вероятности. Понятие об энтропии является в теории информации основным.
Количество этой информации и называется энтропией. Предположим, что в некоторое сообщение вошло элементов алфавита, элементов и т.д. Величину называют энтропией источника сообщений. 3. Энтропия максимальна, если все состояния элементов сообщений равновероятны. В теории информации доказывается, что всегда, т. е. наличие вероятностных связей уменьшает энтропию источника сообщений.
Любое сообщение, с которым мы имеем дело в теории информации, представляет собой совокупность сведений о некоторой физической системе. Например, на вход автоматизированной системы управления производственным цехом может быть передано сообщение о нормальном или повышенном проценте брака, о химическом составе сырья или температуре в печи. На вход системы управления средствами противовоздушной обороны может быть передано сообщение о том, что в воздухе находятся две цели, летящие на определенной высоте, с определенной скоростью. На тот же вход может быть передано сообщение о том, что на определенном аэродроме в данный момент находится такое-то количество истребителей в боевой готовности, или что аэродром выведен из строя огневым воздействием противника, или что первая цель сбита, а вторая продолжает полет с измененным курсом. Любое из этих сообщений описывает состояние какой-то физической системы.
Очевидно, если бы состояние физической системы было известно заранее, не было бы смысла передавать сообщение. Сообщение приобретает смысл только тогда, когда состояние системы заранее неизвестно, случайно.
Поэтому в качестве объекта, о котором передается информация, мы будем рассматривать некоторую физическую систему , которая случайным образом может оказаться в том или ином состоянии, т. е. систему, которой заведомо присуща какая-то степень неопределенности. Очевидно, сведения, полученные о системе, будут, вообще говоря, тем ценнее и содержательнее, чем больше была неопределенность системы до получения этих сведений («априори»). Возникает естественный вопрос: что значит «большая» или «меньшая» степень неопределенности и чем можно ее измерить?
Чтобы ответить на этот вопрос, сравним между собой две системы, каждой из которых присуща некоторая неопределенность.
В качестве первой системы возьмем монету, которая в результате бросания может оказаться в одном из двух состояний: 1) выпал герб и 2) выпала цифра. В качестве второй - игральную кость, у которой шесть возможных состояний: 1, 2, 3, 4, 5 и 6. Спрашивается, неопределенность какой системы больше? Очевидно, второй, так как у нее больше возможных состояний, в каждом из которых она может оказаться с одинаковой вероятностью.
Может показаться, что степень неопределенности определяется числом возможных состояний системы. Однако в общем случае это не так. Рассмотрим, например, техническое устройство, которое может быть в двух состояниях: 1) исправно и 2) отказало. Предположим, что до получения сведений (априори) вероятность исправной работы устройства 0,99, а вероятность отказа 0,01. Такая система обладает только очень малой степенью неопределенности: почти наверное можно предугадать, что устройство будет работать исправно. При бросании монеты тоже имеется два возможных состояния, но степень неопределенности гораздо больше. Мы видим, что степень неопределенности физической системы определяется не только числом ее возможных состояний, но и вероятностями состояний.
Перейдем к общему случаю. Рассмотрим некоторую систему , которая может принимать конечное множество состояний: с вероятностями , где
(18.2.1)
Вероятность того, что система примет состояние (символом обозначается событие: система находится в состоянии ). Очевидно, .
Запишем эти данные в виде таблицы, где в верхней строке перечислены возможные состояния системы, а в нижней - соответствующие вероятности:
Эта табличка по написанию сходна с рядом распределения прерывной случайной величины с возможными значениями , имеющими вероятности . И действительно, между физической системой с конечным множеством состояний и прерывной случайной величиной много общего; для того чтобы свести первую ко второй, достаточно приписать каждому состоянию какое-то числовое значение (скажем, номер состояния). Подчеркнем, что для описания степени неопределенности системы совершенно неважно, какие именно значения записаны в верхней строке таблицы; важны только количество этих значений и их вероятности.
В качестве меры априорной неопределенности системы (или прерывной случайной величины ) в теории информации применяется специальная характеристика, называемая энтропией. Понятие об энтропии является в теории информации основным.
Энтропией системы называется сумма произведений вероятностей различных состояний системы на логарифмы этих вероятностей, взятая с обратным знаком:
. (18.2.2)
Энтропия , как мы увидим в дальнейшем, обладает рядом свойств, оправдывающих ее выбор в качестве характеристики степени неопределенности. Во-первых, она обращается в нуль, когда одно из состояний системы достоверно, а другие - невозможны. Во-вторых, при заданном числе состояний она обращается в максимум, когда эти состояния равновероятны, а при увеличении числа состояний - увеличивается. Наконец, и это самое главное, она обладает свойством аддитивности, т. е. когда несколько независимых систем объединяются в одну, их энтропии складываются.
Логарифм в формуле (18.2.2) может быть взят при любом основании . Перемена основания равносильна простому умножению энтропии на постоянное число, а выбор основания равносилен выбору определенной единицы измерения энтропии. Если за основание выбрано число 10, то говорят о «десятичных единицах» энтропии, если 2 - о «двоичных единицах». На практике удобнее всего пользоваться логарифмами при основании 2 и измерять энтропию в двоичных единицах; это хорошо согласуется с применяемой в электронных цифровых вычислительных машинах двоичной системой счисления.
В дальнейшем мы будем везде, если не оговорено противное, под символом понимать двоичный логарифм.
В приложении (табл. 6) даны двоичные логарифмы целых чисел от 1 до 100.
Легко убедиться, что при выборе 2 в качестве основания логарифмов за единицу измерения энтропии принимается энтропия простейшей системы , которая имеет два равновозможных состояния:
Действительно, по формуле (18.2.2) имеем:
.
Определенная таким образом единица энтропии называется «двоичной единицей» и иногда обозначается bit (от английского «binary digit» - двоичный знак). Это энтропия одного разряда двоичного числа, если он с одинаковой вероятностью может быть нулем или единицей.
Измерим в двоичных единицах энтропию системы , которая имеет равновероятных состояний:
т. е. энтропия системы с равновозможными состояниями равна логарифму числа состояний.
Например, для системы с восемью
состояниями 
.
Докажем, что в случае, когда состояние системы в точности известно заранее, ее энтропия равна нулю. Действительно, в этом случае все вероятности в формуле (18.2.2) обращаются в нуль, кроме одной - например , которая равна единице. Член обращается в нуль, так как . Остальные члены тоже обращаются в нуль, так как
.
Докажем, что энтропия системы с конечным множеством состояний достигает максимума, когда все состояния равновероятны. Для этого рассмотрим энтропию системы (18.2.2) как функцию вероятностей и найдем условный экстремум этой функции при условии:
Пользуясь методом неопределенных множителей Лагранжа, будем искать экстремум функции:
. (18.2.5)
Дифференцируя (18.2.5) по и приравнивая производные нулю, получим систему уравнений:
, (18.2.6)
откуда видно, что экстремум (в данном случае максимум) достигается при равных между собой значениях . Из условия (18.2.4) видно, что при этом
, (18.2.7)
а максимальная энтропия системы равна:
, (18.2.8)
т. е. максимальное значение энтропии системы с конечным числом состояний равно логарифму числа состояний и достигается, когда все состояния равновероятны.
Вычисление энтропии по формуле (18.2.2) можно несколько упростить, если ввести в рассмотрение специальную функцию:
, (18.2.9)
где логарифм берется по основанию 2.
Формула (18.2.2) принимает вид:
. (18.2.10)
Функция затабулирована; в приложении (табл. 7) приведены ее значения для от 0 до 1 через 0,01.
Пример 1. Определить энтропию физической системы, состоящей из двух самолетов (истребителя и бомбардировщика), участвующих в воздушном бою. В результате боя система может оказаться в одном из четырех возможных состояний:
1) оба самолета не сбиты;
2) истребитель сбит, бомбардировщик не сбит;
3) истребитель не сбит, бомбардировщик сбит;
4) оба самолета сбиты.
Вероятности этих состояний равны соответственно 0,2; 0,3; 0,4 и 0,1.
Решение. Записываем условия в виде таблицы:
Находя максимальное значение энтропии, мы получаем совершенно аналогично классическому случаю закон распределения молекул по энергетическим уровням.
И обозначает максимальное значение энтропии.
При наличии максимального значения энтропии Н (х, у) система не имеет никакой организации и значения величин х и у не связаны между собой.
Доказать необходимость максимального значения энтропии для равновесного состояния системы на основе обобщенного уравнения термодинамики невозможно. Однако равновесие невозможно при немаксимальном значении энтропии.
Формула (1.1) выражает максимальное значение энтропии (1.8); когда все возможные состояния системы равновероятны, она наиболее неупо-рядоченна, а следовательно, ее энтропия должна иметь наибольшее значение.
Другими словами, максимальное значение энтропии коррозионной пары с конечным числом состояний равно логарифму этого числа и достигает Smax тогда, когда все состояния равновероятны. В случае, если состояния коррозионной пары известны заранее, то ее энтропия равна нулю.
Состояние системы с максимальным значением энтропии и есть состояние устойчивого равновесия. Действительно, в этом состоянии в системе необратимые процессы протекать не могут, так как в противном случае энтропия системы должна была бы возрастать, чего быть не может.
Так как состояние равновесия отвечает максимальному значению энтропии, а потоки в этом состоянии исчезают, то все параметры в равновесном состоянии обращаются в нуль.
Метастабильное состояние равновесия характеризуется также максимальным значением энтропии (и минимумами энергии и термодинамических потенциалов), но для системы возможны и другие состояния равновесия, в которых при тех же значениях энергии, объема и количеств веществ энтропия имеет еще большие значения.
Если термодинамическое равновесие, которое соответствует максимальному значению энтропии, имеет лишь статистическую природу, то следует ожидать отклонений от наиболее вероятных значений при наблюдениях в очень малых областях. С этими флуктуациями плотности связано рассеяние света в атмосфере, в частности цвет неба; теория этого явления позволяет вычислить число Авогадро из спектрального распределения интенсивности рассеянного света. Если в жидкости имеются малые, но все же заметные под микроскопом частицы (коллоидные частицы), то видно их нерегулярное дрожание, обусловленное тем, что удары молекул жидкости с разных сторон не в точности уравновешиваются в каждое мгновение: то с одной, то с другой стороны частицу ударяет большее число молекул, и она смещается в соответствующем направлении. Сущность этого явления, названного броуновским движением (в честь английского ботаника Броуна), долго оставалась неясной. Но под микроскопом наблюдается скорость, на много порядков меньшая, если определять ее обычным образом как отношение пути ко времени. В действительности же скорость частицы столь часто меняет свое направление, что наблюдаемое движение такой частицы представляет собой лишь грубое приближение истинного зигзагообразного движения.
Если система находится в состоянии равновесия, характеризующемся максимальным значением энтропии, то наиболее вероятными будут процессы, при которых энтропия системы не изменяется. Из сопоставления этих выводов со вторым началом термодинамики видна их эквивалентность.
В данном примере (при двух возможных исходах) максимальное значение энтропии равно одной двоичной единице.
При этом следует учесть, что распределение Флори дает максимальное значение энтропии.
Изменение энтропии изолированной системы конечных размеров.
Система в основном находится в равновесном состоянии, отвечающем максимальному значению энтропии системы; отклонившись от этого состояния, система затем возвращается к нему. При наблюдении системы продолжительное время можно отметить, что случаи увеличения и уменьшения энтропии встречаются одинаково часто, причем время повторяемости какого-либо отклонения системы от равновесного состояния тем больше, чем меньше вероятность данного неравновесного состояния. С увеличением размеров системы время повторяемости быстро возрастает. Поэтому процессы, являющиеся необратимыми с точки зрения обычной термодинамики, представляются практически необратимыми и со статистической точки зрения. Указанное обстоятельство сближает обе формулировки второго начала термодинамики и практически снимает отмеченное выше и различие.
Докажем для простейшего случая (для однофазной системы), что максимальное значение энтропии или минимальное значение свободной энергии системы соответствуют равнораспределению изотопов. Пусть далее в соединении АХ содержится а р п атомов элемента X, участвующего в обмене.
Можно показать, что при заданной дисперсии состояний о распределение по нормальному закону дает максимальное значение энтропии.
Самопроизвольные процессы в изолированных системах могут протекать лишь в сторону возрастания энтропии, а равновесию соответствует максимальное значение энтропии.
Вводя скорости и рассматривая неравновесные состояния, представляющие собой организмы, мы лишаемся такого надежного критерия, как максимальное значение энтропии, и должны попытаться найти другие основания для отбора состояний, являющихся устойчивыми.
Температуры стеклования и плавления ряда полимеров, области их применения. При деформации такой системы суммарная величина статистической неупорядоченности уменьшается, поэтому система стремится возвратиться к состоянию, которому отвечает максимальное значение энтропии.
Глубина самопроизвольных процессов определяется величиной энтропии каждого из тел, между которыми осуществляется какой-либо процесс, прекращающийся при достижении максимального значения энтропии, после чего система вступает в тепловое равновесное состояние, выйти из которого самопроизвольно не может.
Молекулярно-массовое распределение полигексаметиленадипамида по. При выводе этого уравнения принимается основное допущение о независимости реакционной способности молекул от величины молекулярной массы, а также допущения о максимальном значении энтропии для данного равновесного фракционного состава, об изменении фракционного состава при данной средней молекулярной массе только за счет изменения энтропии.
Равновесию гетерогенных систем отвечает равенство химических потенциалов каждого компонента во всех фазах, а также минимальное значение изохорного или изобарного потенциалов или максимальное значение энтропии всей системы при определенных условиях. Если в систему входит хотя бы одна фаза, состав которой изменяется в процессе приближения к равновесию, то равновесное состояние фазы и всей системы характеризуется константой равновесия, например в системах, состоящих из индивидуальных веществ в конденсированном состоянии и газов. В системах, состоящих из индивидуальных веществ в конденсированном состоянии, в которых состав фаз в ходе процесса не изменяется, а процесс идет до полного исчезновения одного из исходных веществ (например, полиморфные превращения веществ), понятие константы равновесия неприменимо.
Равновесию гетерогенных систем отвечает равенство химических потенциалов каждого компонента во всех фазах, а также минимальное значение одного из термодинамических потенциалов или максимальное значение энтропии всей системы при соответствующих условиях. Наиболее обычными условиями на практике являются постоянная температура и постоянное давление, поэтому мы будем оценивать равновесие гетерогенных систем по их изобарному потенциалу.
Принимая во внимание молекулярную природу рабочего вещества и флуктуации в нем внутренних параметров, можно отметить, что без установления равновесия в системе максимальное значение энтропии невозможно достигнуть. Флуктуации приводят систему к равновесию. Именно флуктуации в системах приводят к необходимости максимума энтропии при равновесии всякий раз, когда это условие не выполняется, то есть система выведена из равновесия.
Таким образом, основная причина упругости при деформации в высокоэластическом состоянии и возникновения напряжений в образце заключается в изменении конформации и переходе из равновесной формы статистического клубка с максимальным значением энтропии в неравновесную с уменьшением энтропии и обратный переход после прекращения деформации. Вклад энергетической составляющей в этот процесс невелик, а для идеальных сеток равен нулю.
ТЕПЛОВАЯ СМЕРТЬ ВСЕЛЕННОЙ - конечное состояние мира, к-рое якобы возникает в результате необратимого превращения всех форм движения в тепловую, рассеяния теплоты в пространстве и перехода мира в состояние равновесия с максимальным значением энтропии. Этот вывод делается на основе абсолютизации второго закона термодинамики и распространения его на всю вселенную.
ТЕПЛОВАЯ СМЕРТЬ ВСЕЛЕННОЙ - конечное состояние мира, к-рое якобы возникает в результате необратимого превращения всех форм движения в тепловую, рассеяния теплоты в пространстве и перехода мира в состояние равновесия с максимальным значением энтропии. Этот вывод делается на основе абсолютизации второго закона термодинамики и распространения его на всю вселенную. Образование звезд и галактик является одним из проявлений этого процесса. Необратимое изменение материи во вселенной не предполагает к.
Второе начало термодинамики устанавливает, что необратимые процессы (а такими являются практически все тепловые процессы и во всяком случае все естественно протекающие процессы) идут так, что энтропия системы тел, участвующих в процессе, растет, стремясь к максимальному значению. Максимальное значение энтропии достигается тогда, когда система приходит в состояние равновесия.
Свойство энтропии возрастать в необратимых процессах, да и сама необратимость находятся в противоречии с обратимостью всех механических движений и поэтому физический смысл энтропии не столь очевиден, как, например, физический смысл внутренней энергии. Максимальное значение энтропии замкнутой системы достигается тогда, когда система приходит в состояние термодинамического равновесия. Такая количественная формулировка второго закона термодинамики дана Клаузиусом, а ее молекулярно-кинетическое истолкование Больцманом, который ввел в теорию теплоты статистические представления, основанные на том, что необратимость тепловых процессов имеет вероятностный характер.
Соотношение (IX.2) выражает тот факт, что для состояния равновесия изолированной системы имеется условный максимум энтропии. Максимальное значение энтропии изолированной системы определяется заданными значениями энергии и объема системы, а также масс, а следовательно, и числа молей компонентов.
Рост энтропии в любом процессе продолжается не беспредельно, а лишь до определенного максимального значения, характерного для данной системы. Это максимальное значение энтропии соответствует состоянию равновесия, и после того, как оно достигнуто, какие бы то ни было изменения состояния без внешнего воздействия прекращаются.
Рост энтропии в любом процессе продолжается не беспредельно, а лишь до определенного максимального значения, характерного для данной системы. Это максимальное значение энтропии соответствует состоянию равновесия, и после того, как оно достигнуто, ка-кие бы то ни было изменения состояния без внешнего воздействия прекращаются.
Таким образом, в случае равновероятности входных событий энтропия соответствует количеству информации для равновероятных исходов. Хартли соответствует максимальному значению энтропии. Физически это определяет случай, когда неопределенность настолько велика, что прогнозировать оказывается трудно.
Ншкс максимальная 2птропия, возможная для всех составов с данным числом компонентов. Очевидно, максимальным значением энтропии обладают составы, в которых все компоненты находятся в равных концентрациях.
Как видим, наибольшая термодинамическая вероятность получится тогда, когда молекулы равномерно распределятся по участкам. Этому равномерному распределению отвечает максимальное значение энтропии.
Более строгое развитие этого вопроса дается в статистической термодинамике. Отметим только, что максимальное значение энтропии, отвечающее состоянию равновесия, рассматривается лишь как наиболее вероятное. При достаточно большом промежутке времени возможны отклонения от него. В макросистемах для этого требуются времена астрономического порядка. В микроскопических объемах, внутри окружающих нас тел такие изменения происходят постоянно.
Отсюда ясно, что эти процессы будут продолжаться до тех пор, пока энтропия системы не достигнет максимума. Состояние изолированной системы с максимальным значением энтропии и есть состояние устойчи - - вого равновесия.
Отсюда ясно, что эти процессы будут продолжаться до тех пор, пока энтропия системы не достигнет максимума. Состояние изолированной системы с максимальным значением энтропии и есть состояние устойчи - вого равновесия.
Статистический характер закона возрастания энтропии вытекает из самого определения энтропии (III.70), связывающего эту функцию с вероятностью данного макроскопического состояния системы. Однако равновесное состояние, которому отвечает максимальное значение энтропии изолированной системы, наиболее вероятно, причем для макроскопических систем максимум является чрезвычайно резким. Равновесному состоянию макроскопической изолированной системы отвечает почти весь объем энергетического слоя, и изображающая точка системы с вероятностью, близкой к единице, находится Именно в этой области. Если система не находится в состоянии, которому отвечает равновесное значение макроскопического параметра X (с точностью до интервала ДХ), она почти наверняка придет к этому состоянию; если же система уже находится в этом состоянии, она очень редко будет выходить из него.
Статистический характер закона возрастания энтропии вытекает из самого определения энтропии (II 1.63), связывающего эту функцию с вероятностью данного макроскопического состояния системы. Однако равновесное состояние, которому отвечает максимальное значение энтропии изолированной системы, наиболее вероятно, причем для макроскопических систем максимум является чрезвычайно резким. Равновесному состоянию макроскопической изолированной системы отвечает почти весь объем энергетического слоя, и изображающая точка системы с ностью, близкой к единице, находится именно в этой области, система не находится в состоянии, которому отвечает равновесное значение макроскопического параметра X (с точностью до интервала АХ), она почти наверняка придет к этому состоянию; если же система уже находится в этом состоянии, она очень редко будет выходить из него.
Наиболее общие условия равновесия вытекают из утверждения второго закона термодинамики о росте энтропии адиабатически изолированной системы при протекании в ней необратимых процессов. Если некоторое состояние такой системы характеризуется максимальным значением энтропии, то это состояние не может быть неравновесным, так как иначе при релаксации энтропия системы согласно второму закону возрастала бы, что не согласуется с предположением о ее максимальности. Следовательно, условие максимальности энтропии изолированной системы является достаточным условием ее равновесности.
Теория информации
У истоков теории информации стоит Клод Шеннон, который в 1947-48 годах работал над вопросом эффективности систем связи. В результате этого была сформулирована цель данной теории – повышение пропускной способности канала связи. Эффективна та система, которая при прочих равных условиях и затратах передает большее количество информации. Обычно при анализе рассматривается объекта: источник информации и канал передачи информации.
Итак, имеются какие-то события. Информация о них в знаковой форме, в виде сигнала передается по каналу связи. Можно утверждать, что канал хороший, если он отвечает двум условиям. Во-первых, по нему передается информация с высокой скоростью и во-вторых помехи, воздействующие на передачу, снижают качество информации незначительно. Для того чтобы найти условия для такой передачи необходимо ввести какие-то информационные характеристики.
Наиболее наглядно основные положения теории информации проявляются при дискретном источнике и таком же канале. Поэтому знакомство с темой начнем при данном допущении.
1.1 Количественная мера информации.
Прежде разберемся, что имеет смысл передавать по каналу.
Если получателю известно, какая информация будет передана, то, очевидно, нет необходимости ее передачи. Есть смысл передавать только то, что является неожиданным. Чем больше эта неожиданность, тем большее количество информации должно содержаться в этом событии. Например, Вы работаете за компьютером. Сообщение о том, что сегодня работу надо закончит через 45 мин. согласно расписанию вряд ли является для Вас новым. Это абсолютно ясно было и до заявления о конце работы. Следовательно, в таком сообщении содержится нулевая информация; передавать его бессмысленно. А теперь другой пример. Сообщение следующее: через час начальник подарит Вам авиабилет до Москвы и обратно, да еще выделит сумму денег на развлечения. Такого рода информация для Вас неожиданна и, следовательно, содержит большое количество единиц меры. Вот такие сообщения имеет смысл передавать по каналу. Вывод очень простой: чем больше неожиданности в сообщении, тем большее количество информации в нем содержится.
Неожиданность характеризуется вероятностью, которая и закладывается в информационную меру.
Еще несколько примеров. Имеем два ящика, один с белыми, а другой с черными шарами. Какое количество информации содержится в сообщении, где белые шары? Вероятность того, что в любом указанном ящике белые шары равна 0,5. Назовем эту вероятность до опытной или априорной .
Теперь вытаскиваем один шар. В независимости от того, какой шар мы вынули, после такого опыта будет абсолютно точно известно в каком ящике белые шары. Следовательно, вероятность сведений будет равна 1. Эта вероятность называется после опытной или апостериорной .
Посмотрим на данную пример с позиции количества информации.итак, имеем источник информации ящики с шарами. Первоначально неопределенность о шарах характеризовалась вероятностью 0,5. Далее источник "заговорил" и выдал информацию; мы вытащили шар. Далее все стало определено с вероятностью 1. Степень уменьшения неопределенности о событии в результате опыта логично принять за количественную меру информации. В нашем примере это будет 1/0,5.
Теперь пример более сложный. Известно, что размер детали может быть 120,121,122, . . .,180 мм., то есть, имеет одно из 61-ого значений. Априорная вероятность того, что размер детали i мм равна 1/61.
У нас имеется весьма несовершенный измерительный инструмент позволяющий измерить деталь с точностью +5,-5 мм. В результате измерения получили размер 130 мм. Но фактически он может быть 125,126, . . .,135 мм.; всего 11 значений. В результате опыта остается неопределенность, которая характеризуется апостериорной вероятностью 1/11. Степень уменьшения неопределенности будет (1/11):(1/61). Как и выше это отношение и есть количество информации.
Наиболее
удобна логарифмическая функция для
отражения количества информации.
Основание логарифма принимается равное
двум. Обозначим
количество
информации,
-
априорная вероятность,
- апостериорная вероятность. Тогда,
.
(1)
В
первом примере
1
бит информации; во втором
2,46
бит информации.
Бит – одна двоичная единица информации
.
Теперь
обратимся к реальному источнику
информации, который представляет собой
множество независимых событий (сообщений)
с различными априорными вероятностями
.
Это множество представляет данные о
параметрах объекта и есть информация
о нем. Обычно, после выдачи сообщения
источником, становится достоверно
известно, какой параметр выдан.
Апостериорная вероятность равна 1.
Количество информации, содержащееся в
каждом событии, будет равно
.
(2)
Эта величина всегда больше нуля. Сколько событий, столько количеств информации. Для характеристики источника это не совсем удобно. Поэтому вводится понятие энтропии. Энтропия это среднее количество информации, приходящееся на одно событие (сообщение) источника . Находится она по правилам определения математического ожидания:
.
(3)
Или учитывая свойства логарифмической функции
.
(4)
Размерность
энтропии бит/сообщение. Остановимся на
свойствах энтропии. Начнем с примера.
Допустим, имеется двоичный источник
информации с априорными вероятностями
событий
и
составляющих
полную группу. Из этого следует связь
между ними:
.
Найдем энтропию источника:
Не трудно видеть, что если одна из вероятностей равно нулю, то вторая равна 1, а выражение энтропии при этом даст нуль.
Построим
график зависимости энтропии от
(рис.1).
Обратим внимание на то, что энтропия максимальна при вероятности равной 0,5 и всегда положительна.
Первое свойство энтропии . Энтропия максимальна при равновероятных событиях в источнике. В нашем примере двоичного источника эта величина равна 1. Если источник не двоичный и содержит N слов, то максимальная энтропия.
Второе свойство энтропии. Если вероятность одного сообщения источника равна 1, и остальные равны нулю, как образующие полную группу событий, то энтропия равна нулю . Такой источник не генерирует информацию.
Третье
свойство энтропии это теорема сложения
энтропий
.
Разберем этот вопрос более подробно.
Допустим, имеется два источника информации
представленные множествами сообщений
и
.
У
каждого из источников имеются энтропии
и
.
Далее эти источники объединяются, и
требуется найти энтропию объединенного
ансамбля
.
Каждой паре сообщений
и
соответствует вероятность
.
Количество информации в такой паре
будет
Действуя известным образом, найдем среднее количество информации, приходящееся на пару сообщений ансамбля. Это и будет энтропия. Правда, здесь может быть два случая. Объединяемые ансамбли могут быть статистически независимы и зависимы.
Рассмотрим
первый случай независимых ансамблей,
появление сообщения
ни
в коей мере не определяется
.
Запишем выражение для энтропии:
,
(7)
здесь
- число сообщений в ансамблях.
Так как при независимости двумерная вероятность , а, из общей предыдущей формулы получим
где
и
определяются по известным формулам.
Далее
рассмотрим более сложный случай.
Предположим, что ансамбли сообщений
находятся в статистической связи, то
есть
с
какай-то вероятностью предполагает
появление
.
Этот факт характеризуется условной
вероятностью
;
косая черта в обозначении характеризует
условие. При введении условных вероятностей
двумерная вероятность может быть
определена через произведение одномерных:
Учитывая это, найдем выражение для энтропии. Преобразование идет следующим образом:
Учитывая равенство 1 суммы всех вероятностей событий, первая двойная сумма в последнем выражении дает энтропию источника X, H(x).
Вторая
двойная сумма получила название условной
энтропии и обозначается как
. Таким образом,
Аналогичным образом можно доказать, что .
В
последних выражениях мы встретились с
условной энтропией, которая определяется
связью между объединяемыми ансамблями
сообщений. Если ансамбли статистически
независимы
,
и условная энтропия
.
В итоге мы получаем известную формулу.
Если
сообщения зависимы абсолютно, то есть
находятся в функциональной связи,
принимает одно из двух значений: либо
1, когда
,
либо 0, когда
.
Условная энтропия будет равна 0, так как
второй ансамбль сообщений не обладает
неожиданностью, и, следовательно, не
несет информацию.
После введения энтропии и ее свойств, вернемся к единственному источнику информации. Следует знать, что любой источник информации работает в текущем времени. Его символы (знаки) занимают определенное место в последовательности. Источник информации называется стационарным, если вероятность символа не зависит от его места в последовательности. И еще одно определение. Символы источника могут иметь статистическую (вероятностную) связь друг с другом.Эргодический источник информации это такой источник, в котором статистическая связь между знаками распространяется на конечное число предыдущих символов. Если эта связь охватывает лишь соседние два знака, то такой источник называется односвязная цепь Маркова. Именно такой источник мы сейчас рассмотрим. Схема генерации источником символов показана на рис. 2.
Появление
символа
зависит от того, какой символ
выдал источник в предыдущий момент. Эта
зависимость определяется вероятностью
.
Найдем энтропию такого источника. Будем
исходить из понимания вообще энтропии,
как математического ожидания количества
информации. Допустим, выдается два
символа как показано на рис. 2. Количество
информации в такой ситуации источником
выдается
Усреднив
это количество по всем возможным
последующим символам, получим частную
энтропию при условии, что предыдущем
всегда выдается символ
:
.
(13)
Еще раз, усреднив эту частную энтропию по всем предыдущим символам, получим окончательный результат:
Индекс 2 в обозначении энтропии свидетельствует о том, что статистическая связь распространяется только на два соседних символа.
Остановимся на свойствах энтропии эргодического источник.
При
независимости символов в источнике
,
формула (14) упрощается и приводится к
обычному виду (4).
Наличие
статистических (вероятностных) связей
между символами источника всегда
приводит к уменьшению энтропии,
.
Итак, источник информации имеет максимальную энтропию если выполняется два условия: все символы источника равновероятны (свойство энтропии) и между символами источника нет статистических связей.
Для
того чтобы показать насколько хорошо
используются символы источника, вводится
параметр избыточности
:
.
(15)
Величина
находится в диапазоне от 0 до 1.
Отношение к этому параметру двоякое. С одной стороны, чем меньше избыточность, тем более рационально работает источник. С другой стороны, чем больше избыточность, тем меньше помехи, шумы влияют на доставку информации такого источника потребителю. Например, наличие статистических связей между символами увеличивает избыточность, но в то же время увеличивает верность передачи. Отдельные пропавшие символы могут быть предсказаны и восстановлены.
Рассмотрим
пример. Источник – буквы русского
алфавита, всего их 32. Определим максимальную
энтропию:
бит/сообщение.
Так
как между буквами есть статистическая
связь и вероятности их появления в
тексте далеко не одинаковы, реальная
энтропия равна 3 бит/сообщение. Отсюда
избыточность
.
Следующая
характеристика источника производительность;
она характеризует скорость генерации
информации источником. Предположим,
что каждая буква источника выдается за
определенный промежуток времени
.
Усредняя эти времена, найдем среднее
время выдачи одного сообщения
.
Среднее количество информации выдаваемое
источником в единицу времени –
производительность источника
:
.
(16)
Итак, подведем итог. Характеристиками эргодического источника информации являются следующие:
количество информации в каждом знаке,
энтропия,
избыточность,
производительность.
Необходимо заметить, что сильной стороной введенной меры количества информации и, разумеется, всех характеристик является универсальность. Все введенные выше понятия применимы к любому виду информации: социологической, технической и т. д.. Слабая же сторона меры в том, что в ней не отражена значимость информации, ее ценность. Информация о выигрыше в лотерею авторучки и автомобиля одинакова по значимости.
1.2. Информационные характеристики канала
Вспомним о том, что информация передается по каналу связи. Мы ранее ввели информационные характеристики источника информации, а теперь введем информационные характеристики канала. Представим ситуацию так, как показано на рис. 1.
Рис.
1
На
входе канала присутствует входной
алфавит, состоящий из множества знаков
,
а на выходе -
.
П
редставим
канал связи математической моделью.
Наиболее известное представление
дискретного канала в виде графа. Узлы
графа, получаемые (
)
и передаваемые (
)
буквы алфавита; ребра отражают возможные
связи между этими буквами (рис. 2).
Связи
между буквами алфавита принято оценивать
условными вероятностями, например,
вероятность приема
при условии что передана
.
Это вероятность правильного приема.
Точно также можно ввести условные
вероятности ошибочных приемов, например,
.
Причины появления этих ненулевых
вероятностей - помехи, от которых не
свободен ни один из реальных каналов.
Обратим внимание на то, чтоn
и m
, количество знаков (букв) в передаваемом
и принимаемом массиве не обязательно
равны между собой. На основании этой
модели вводятся дальнейшие определения.
Симметричный канал – это канал в котором все вероятности правильного приема для всех символов равны, а также равны вероятности ошибочных приемов. Для такого канала условная вероятность может быть записана так:
Здесь
– вероятность ошибочного приема. Если
эта вероятность не зависит от того,
какие знаки передавались до данного
символа, такой канал называется "канал
без памяти
".
В качестве примера ниже на рис.3 показан
граф симметричного двоичного канала
без памяти.
Р
ис.
3
Далее допустим, что алфавит на выходе канала содержит дополнительный символ, который появляется тогда, когда декодер приемника не может опознать переданный символ. В этом случае он вырабатывает отказ от решения. Это положение называется стиранием. Такой канал называется каналом без памяти со стиранием и его граф показан на рис. 4. Положение "стирание" здесь обозначено знаком вопроса.
Р
ис.
4.
Простейшим каналом с памятью является марковский канал . В нем вероятности ошибок зависят от того правильно или ошибочно был принят предыдущий символ.
Наряду
с графом для канала связи существует и
другое описание – канальная
матрица
.
Это набор условных вероятностей
или
.
Вмести с априорными вероятностями,
и
это дает полную картину статистики
канала с помехами. Для примера приведем
канальную матрицу
.
