Что такое энтропия? В статистической физике или теории информации.

На бытовом уровне, энтропия - это мера беспорядка или мера неопределенности.

В физике энтропия стоит в ряду таких фундаментальных понятий, как энергия или температура. Энтропия может быть определена как одна из основных термодинамических функций (впервые это сделал Клаузиус).

Одно из основных фундаментальных свойств мира, в котором мы живем, называется вторым началом термодинамики. Существуют три внешне не похожие, но логически эквивалентные формулировки второго начала термодинамики. В формулировке Томсона-Планка он гласит: невозможно построить периодически действующую машину, единственным результатом которой было бы поднятие груза за счет охлаждения теплового резервуара. Существует формулировка Клаузиуса: теплота не может самопроизвольно переходить от тела менее нагретого к телу более нагретому. В третьей формулировке этого фундаментального закона "главным действующим лицом" является энтропия: в адиабатически изолированной системе энтропия не может убывать; либо возрастает, либо остается постоянной.

Именно из этой формулировки наиболее ясна принципиальная необратимость физических процессов, а также неизбежная деградация любой замкнутой системы (все различные формы энергии переходят в конечном итоге в тепловую, после чего становятся невозможны никакие процессы). Обобщив этот принцип на всю вселенную, Клаузиус сформулировал гипотезу тепловой смерти Вселенной.

Эта необратимость процессов, являющаяся следствием второго начала, находилась в видимом противоречии с обратимым характером механического движения. Размышляя над этим парадоксом Больцман получил совершенно удивительную формулу для энтропии, раскрывающую совершенно новое содержание. Применив статистические методы, Больцман показал, что энтропия прямо пропорциональна логарифму термодинамической вероятности. Эта формула высечена на надгробии ученого на Центральном кладбище Вены. Это открытие Больцмана тем значительнее, что понятие вероятности впервые проникло в самые основания физики (за несколько десятилетий до построения новой картины мира на основе квантовой механики).

Таким образом, по Больцману второе начало термодинамики могло бы звучать так: природа стремится к переходу от менее вероятных состояний к более вероятным.

От связи энтропии и вероятности по Больцману можно перейти к определению энтропии в теории информации, что было сделано Шенноном. Энтропия в теории информации выступает как мера неопределенности. Понятие информации является, в известном смысле, противоположным понятию энтропии. Точнее, информация определяется как разность между безусловной и условной энтропиями, но пояснять это без формул не представляется возможным.

Что такое энтропия? Этим словом можно охарактеризовать и объяснить почти все процессы в жизни человека (физические и химические процессы, а также социальные явления). Но не все люди понимают значение этого термина и уж тем более не все могут объяснить, что это слово значит. Теория сложна для восприятия, но если добавить в неё простые и понятные примеры из жизни, то разобраться с определением этого многогранного термина будет легче. Но обо всём по порядку.

Вконтакте

Энтропия: определение и история появления термина

История появления термина

Энтропия как определение состояния системы была введена в 1865 году немецким физиком Рудольфом Клаузиусом, чтобы описать способность теплоты превращаться в другие формы энергии, главным образом в механическую. С помощью этого понятия в термодинамике описывают состояние термодинамических систем. Приращение этой величины связано с поступлением тепла в систему и с температурой, при которой это поступление происходит.

Определение термина из Википедии

Этот термин долгое время использовался только в механической теории тепла (термодинамике), для которой оно вводилось. Но со временем это определение перешло в другие области и теории. Существует несколько определений термина «энтропия».

Википедия даёт краткое определение для нескольких областей, в которых этот термин используется:«Энтропия (от др.-греч. ἐντροπία «поворот»,«превращение») - часто употребляемый в естественных и точных науках термин. В статистической физике характеризует вероятность осуществления какого-либо макроскопического состояния. Помимо физики, этот термин широко используется в математике: теории информации и математической статистике».

Виды энтропий

Этот термин используется в термодинамике , экономике, теории информации и даже в социологии. Что же он определяет в этих областях?

В физической химии (термодинамике)

Основной постулат термодинамики о равновесии: любая изолированная термодинамическая система приходит в равновесное состояние с течением времени и не может из него выйти самопроизвольно. То есть каждая система стремится в равновесное для неё состояние. И если говорить совсем простыми словами , то такое состояние характеризуется беспорядком.

Энтропия - это мера беспорядка. Как определить беспорядок? Один из способов - приписать каждому состоянию число вариантов, которыми это состояние можно реализовать. И чем больше таких способов реализации, тем больше значение энтропии. Чем больше организованно вещество (его структура), тем ниже его неопределённость (хаотичность).

Абсолютное значение энтропии (S абс.) равно изменению имеющейся у вещества или системы энергии во время теплопередачи при данной температуре. Его математическая величина определяется из значения теплопередачи (Q), разделённого на абсолютную температуру (T), при которой происходит процесс: S абс. = Q / T. Это означает, что при передаче большого количества теплоты показатель S абс. увеличится. Тот же эффект будет наблюдаться при теплопередаче в условиях низких температур.

В экономике

В экономике используется такое понятие , как коэффициент энтропии. С помощью этого коэффициента исследуют изменение концентрации рынка и её уровень. Чем выше значение коэффициента, тем выше экономическая неопределённость и, следовательно, вероятность появления монополии снижается. Коэффициент помогает косвенно оценить выгоды, приобретённые фирмой в результате возможной монопольной деятельности или при изменении концентрации рынка.

В статистической физике или теории информации

Информационная энтропия (неопределённость)- это мера непредсказуемости или неопределённости некоторой системы. Эта величина помогает определить степень беспорядочности проводимого эксперимента или события. Чем больше количество состояний, в которых может находиться система, тем больше значение неопределённости. Все процессы упорядочивания системы приводят к появлению информации и снижению информационной неопределённости.

С помощью информационной непредсказуемости можно выявить такую пропускную способность канала, которая обеспечит надёжную передачу информации (в системе закодированных символов). А также можно частично предсказывать ход опыта или события, деля их на составные части и высчитывая значение неопределённости для каждой из них. Такой метод статистической физики помогает выявить вероятность события. С его помощью можно расшифровать закодированный текст , анализируя вероятность появления символов и их показатель энтропии.

Существует такое понятие, как абсолютная энтропия языка. Эта величина выражает максимальное количество информации, которое можно передать в единице этого языка. За единицу в этом случае принимают символ алфавита языка (бит).

В социологии

Здесь энтропия (информационная неопределённость) является характеристикой отклонения социума (системы) или его звеньев от принятого (эталонного) состояния, а проявляется это в снижении эффективности развития и функционирования системы, ухудшении самоорганизации. Простой пример: сотрудники фирмы так сильно загружены работой (выполнением большого количества отчётов), что не успевают заниматься своей основной деятельностью (выполнением проверок). В этом примере мерой нецелесообразного использования руководством рабочих ресурсов будет являться информационная неопределённость.

Энтропия: тезисно и на примерах

• Чем больше способов реализации, тем больше информационная неопределённость.

Пример 1 . Программа Т9. Если в слове будет небольшое количество опечаток, то программа легко распознает слово и предложит его замену. Чем больше опечаток, тем меньше информации о вводимом слове будет у программы. Следовательно, увеличение беспорядка приведёт к увеличению информационной неопределённости и наоборот, чем больше информации, тем меньше неопределённость.

Пример 2. Игральные кости. Выкинуть комбинацию 12 или 2 можно только одним способом: 1 плюс 1 или 6 плюс 6. А максимальным числом способов реализуется число 7 (имеет 6 возможных комбинаций). Непредсказуемость реализации числа семь самая большая в этом случае.

• В общем смысле энтропию (S) можно понимать как меру распределения энергии. При низком значении S энергия сконцентрирована, а при высоком - распределена хаотично.

Пример. Н2О (всем известная вода) в своём жидком агрегатном состоянии будет обладать большей энтропией, чем в твёрдом (лёд). Потому что в кристаллическом твёрдом теле каждый атом занимает определённое положение в кристаллической решётке (порядок), а в жидком состоянии у атомов определённых закреплённых положений нет (беспорядок). То есть тело с более жёсткой упорядоченностью атомов имеет более низкое значение энтропии (S). Белый алмаз без примесей обладает самым низким значением S по сравнению с другими кристаллами.

• Связь между информацией и неопределённостью.

Пример 1. Молекула находится в сосуде , который имеет левую и правую часть. Если неизвестно, в какой части сосуда находится молекула, то энтропия (S) будет определяться по формуле S = S max = k * lgW, где k -число способов реализации, W- количество частей сосуда. Информация в этом случае будет равна нулю I = I min =0. Если же точно известно, в какой части сосуда находится молекула, то S = S min =k*ln1=0, а I = I max= log 2 W. Следовательно, чем больше информации, тем ниже значение информационной неопределённости.

Пример 2. Чем выше порядок на рабочем столе, тем больше информации можно узнать о вещах, которые на нём находятся. В этом случае упорядоченность предметов снижает энтропию системы «рабочий стол».

Пример 3. Информация о классе больше на уроке, чем на перемене. Энтропия на уроке ниже, так как ученики сидят упорядочено (больше информации о местоположении каждого ученика). А на перемене расположение учеников меняется хаотично, что повышает их энтропию.

• Химические реакции и изменение энтропии.

Пример. При реакции щелочного металла с водой выделяется водород. Водород-это газ. Так как молекулы газа движутся хаотично и имеют высокую энтропию, то рассматриваемая реакция происходит с увеличением её значения. То есть энтропия химической системы станет выше .

В заключение

Если объединить всё вышесказанное , то получится, что энтропия является мерой беспорядка или неопределённости системы и её частей. Интересен тот факт, что всё в природе стремится к максимуму энтропии, а человек - к максимуму информации. И все рассмотренные выше теории направлены на установление баланса между стремлением человека и естественными природными процессами.

Энтропия - термин, который используется не только в точных науках, но и в гуманитарных. В общем случае - это мера хаотичности, неупорядоченности некоторой системы.

Как известно, человечество всегда стремилось к тому, чтобы переложить как можно больше работы на плечи машинам и механизмам, используя для этого как можно меньше ресурсов. Упоминания о вечном двигателе впервые обнаружены в арабских рукописях XVI в. С тех пор было предложено немало конструкций для потенциально вечного двигателя. Вскоре, после множества неудачных экспериментов, ученые поняли некоторые особенности природы, которые впоследствии определили основы термодинамики.

Рисунок вечного двигателя

Первое начало термодинамики говорит следующее: для выполнения работы термодинамической системой потребуется либо внутренняя энергия системы, либо внешняя энергия из дополнительных источников. Это утверждение является термодинамическим законом сохранения энергии и запрещает существование вечного двигателя первого рода - системы, совершающей работу без затрачивания энергии. Механизм одного из таких двигателей основывался на внутренней энергии тела, которая может перейти в работу. К примеру, это может происходить за счет расширения. Но человечеству неизвестны тела либо системы, которые могут бесконечно расширяться, а значит рано или поздно их внутренняя энергия закончится и двигатель остановится.

Несколько позже появился так называемый вечный двигатель второго рода, который не перечил закону сохранения энергии, и основывался на механизме передачи тепла, требуемого для работы, окружающими телами. В пример брали океан, охлаждая который, предположительно, можно было бы получить внушительный запас тепла. Однако, в 1865-м году немецкий ученый, математик и физик Р. Клаузиус определил второе начало термодинамики: «повторяющийся процесс не может существовать, если в результате произойдет лишь передача тепла от менее нагретого тела к более нагретому, и только». Позднее он ввел понятие энтропии — некоторой функции, изменение которой равно отношению количества переданного тепла к температуре.

После чего альтернативой второму началу термодинамики стал закон неубывания энтропии: «в замкнутой системе энтропия не уменьшается».

Простыми словами

Так как энтропия имеет место быть в самых различных областях деятельности человека, ее определение является несколько расплывчатым. Однако на простейших примерах можно понять суть этой величины. Энтропия - это степень беспорядка, другими словами - неопределенности, неупорядоченности. Тогда система из разбросанных клочьев бумаги на улице, которые еще периодически подбрасывает ветер, имеет высокую энтропию. А система из сложенных в стопку бумаг на рабочем столе имеет минимальную энтропию. Чтобы понизить энтропию в системе с клочьями бумаги, Вам придется затратить немало времени и энергии на склеивание клочков бумаги в полноценные листы, и складывание их в стопку.

В случае с закрытой системой так же все просто. К примеру, Ваши вещи в закрытом шкафу. Если Вы не будете действовать на них извне, то вещи долгое время будут, вроде бы, сохранять свое значение энтропии. Но рано или поздно они разложатся. Например, шерстяной носок будет разлагаться до пяти лет, а вот кожаной обуви потребуется около сорока лет. В описанном случае шкаф - изолированная система, а разложение вещей - переход от упорядоченных структур к хаосу.

Подводя итоги, следует отметить, что минимальная энтропия наблюдается у разнообразных макроскопических объектов (тех, которые можно наблюдать невооруженным глазом), имеющих определенную структуру, а максимальная — у вакуума.

Энтропия Вселенной

В результате возникновения такого понятия как энтропия появилось множество других утверждений и физических определений, которые позволили подробнее описать законы природы. Одним из них есть такое понятие как «обратимые/необратимые процессы». К первым относят процессы, энтропия системы которых не возрастает и остается постоянной. Необратимые - такие процессы, в замкнутой системе которых энтропия растет. Вернуть замкнутую систему в состояние до процесса невозможно, т.к. в таком случае энтропия должна была бы понижаться.

По мнению Клаузиуса, необратимым процессом является существование Вселенной, в конце которого ее ждет так называемая «Тепловая смерть», иначе - термодинамическое равновесие, существующее для закрытых систем. То есть энтропия достигнет максимального показателя, а все процессы просто затухнут. Но, как вскоре оказалось, Рудольф Клаузиус не учитывал силы гравитации, которые присутствуют повсеместно во Вселенной. К примеру, благодаря ним распределение частиц при максимальной энтропии не обязано быть однородным.

Также к другим недостаткам теории о «тепловой смерти Вселенной» можно отнести тот факт, что нам неизвестно действительно ли она конечна, и можно ли к ней применить понятие «замкнутая система». Стоит учитывать и то, что состояние максимальной энтропии, как собственно и абсолютный вакуум - такие же теоретические понятия, как и идеальный газ. Это означает, что в реальности энтропия не будет достигать максимального значения, из-за различных случайных отклонений.

Примечательно то, что видимая в своем объеме сохраняет значение энтропии. Причиной тому служит уже известный для многих феномен - Вселенной. Это интересное совпадение в очередной раз доказывает человечеству то, что в природе ничего не происходит просто так. Согласно подсчетам ученых, по порядку величины значение энтропии равняется количеству существующих фотонов.

• Словом «хаос» называют изначальное состояние Вселенной. В этот момент она представляла собой лишь не имеющую форму совокупность пространства и материи.
• Согласно исследованиям одних ученых, наибольшим источником энтропии являются сверхмассивные . Но другие считают, что благодаря мощным гравитационным силам, притягивающим все к массивному телу, мера хаоса передается в окружающее пространство в незначительном количестве.
• Интересно то, что жизнь и эволюция человека направлены в противоположную сторону от хаоса. Ученые утверждают, что это возможно из-за того, что на протяжении своей жизни человек, как и другие живые организмы, принимает на себя меньшее значение энтропии, нежели отдает в окружающую среду.

• Энтропи́я (от др.-греч. ἐντροπία «поворот», «превращение») - широко используемый в естественных и точных науках термин. Впервые введён в рамках термодинамики как функция состояния термодинамической системы, определяющая меру необратимого рассеивания энергии. В статистической физике энтропия характеризует вероятность осуществления какого-либо макроскопического состояния. Кроме физики, термин широко употребляется в математике: теории информации и математической статистике.

  Энтропия может интерпретироваться как мера неопределённости (неупорядоченности) некоторой системы, например, какого-либо опыта (испытания), который может иметь разные исходы, а значит, и количество информации. Таким образом, другой интерпретацией энтропии является информационная ёмкость системы. С данной интерпретацией связан тот факт, что создатель понятия энтропии в теории информации (Клод Шеннон) сначала хотел назвать эту величину информацией.

  Понятие информационной энтропии применяется как в теории информации и математической статистике, так и в статистической физике (энтропия Гиббса и её упрощённый вариант - энтропия Больцмана). Математический смысл информационной энтропии - это логарифм числа доступных состояний системы (основание логарифма может быть различным, оно определяет единицу измерения энтропии). Такая функция от числа состояний обеспечивает свойство аддитивности энтропии для независимых систем. Причём, если состояния различаются по степени доступности (т. е. не равновероятны), под числом состояний системы нужно понимать их эффективное количество, которое определяется следующим образом. Пусть состояния системы равновероятны и имеют вероятность

  {\displaystyle p}

  Тогда число состояний

  {\displaystyle N=1/p}

  {\displaystyle \log N=\log(1/p)}

  В случае разных вероятностей состояний

  {\displaystyle p_{i}}

  Рассмотрим средневзвешенную величину

  {\displaystyle \log {\overline {N}}=\sum _{i=1}^{N}p_{i}\log(1/p_{i})}

  {\displaystyle {\overline {N}}}

  Эффективное количество состояний. Из данной интерпретации непосредственно вытекает выражение для информационной энтропии Шеннона

  {\displaystyle H=\log {\overline {N}}=-\sum _{i=1}^{N}p_{i}\log p_{i}}

  Подобная интерпретация справедлива и для энтропии Реньи, которая является одним из обобщений понятия информационная энтропия, но в этом случае иначе определяется эффективное количество состояний системы (можно показать, что энтропии Реньи соответствует эффективное количество состояний, определяемое как среднее степенное взвешенное с параметром

  {\displaystyle q\leq 1}

  Энтропия. Пожалуй, это одно из самых сложных для понимания понятий, с которым вы можете встретиться в курсе физики, по крайней мере если говорить о физике классической. Мало кто из выпускников физических факультетов может объяснить, что это такое. Большинство проблем с пониманием энтропии, однако, можно снять, если понять одну вещь. Энтропия качественно отличается от других термодинамических величин: таких как давление, объём или внутренняя энергия, потому что является свойством не системы, а того, как мы эту систему рассматриваем. К сожалению в курсе термодинамики её обычно рассматривают наравне с другими термодинамическими функциями, что усугубляет непонимание.

  Так что же такое энтропия?

  Если в двух словах, то

  Энтропия - это то, как много информации вам не известно о системе

  Например, если вы спросите меня, где я живу, и я отвечу: в России, то моя энтропия для вас будет высока, всё-таки Россия большая страна. Если же я назову вам свой почтовый индекс: 603081, то моя энтропия для вас понизится, поскольку вы получите больше информации.

  
  

  Почтовый индекс содержит шесть цифр, то есть я дал вам шесть символов информации. Энтропия вашего знания обо мне понизилась приблизительно на 6 символов. (На самом деле, не совсем, потому что некоторые индексы отвечают большему количеству адресов, а некоторые - меньшему, но мы этим пренебрежём).

  Или рассмотрим другой пример. Пусть у меня есть десять игральных костей (шестигранных), и выбросив их, я вам сообщаю, что их сумма равна 30. Зная только это, вы не можете сказать, какие конкретно цифры на каждой из костей - вам не хватает информации. Эти конкретные цифры на костях в статистической физике называют микросостояниями, а общую сумму (30 в нашем случае) - макросостоянием. Существует 2 930 455 микросостояний, которые отвечают сумме равной 30. Так что энтропия этого макросостояния равна приблизительно 6,5 символам (половинка появляется из-за того, что при нумерации микросостояний по порядку в седьмом разряде вам доступны не все цифры, а только 0, 1 и 2).

  
  

  А что если бы я вам сказал, что сумма равна 59? Для этого макросостояния существует всего 10 возможных микросостояний, так что его энтропия равна всего лишь одному символу. Как видите, разные макросостояния имеют разные энтропии.

  Пусть теперь я вам скажу, что сумма первых пяти костей 13, а сумма остальных пяти - 17, так что общая сумма снова 30. У вас, однако, в этом случае имеется больше информации, поэтому энтропия системы для вас должна упасть. И, действительно, 13 на пяти костях можно получить 420-ю разными способами, а 17 - 780-ю, то есть полное число микросостояний составит всего лишь 420х780 = 327 600. Энтропия такой системы приблизительно на один символ меньше, чем в первом примере.

  Мы измеряем энтропию как количество символов, необходимых для записи числа микросостояний. Математически это количество определяется как логарифм, поэтому обозначив энтропию символом S, а число микросостояний символом Ω, мы можем записать:

  Это есть ничто иное как формула Больцмана (с точностью до множителя k, который зависит от выбранных единиц измерения) для энтропии. Если макросостоянию отвечают одно микросостояние, его энтропия по этой формуле равна нулю. Если у вас есть две системы, то полная энтропия равна сумме энтропий каждой из этих систем, потому что log(AB) = log A + log B.

  

  Из приведённого выше описания становится понятно, почему не следует думать об энтропии как о собственном свойстве системы. У системы есть определённые внутренняя энергия, импульс, заряд, но у неё нет определённой энтропии: энтропия десяти костей зависит от того, известна вам только их полная сумма, или также и частные суммы пятёрок костей.

  Другими словами, энтропия - это то, как мы описываем систему. И это делает её сильно отличной от других величин, с которыми принято работать в физике.

  Физический пример: газ под поршнем

  Классической системой, которую рассматривают в физике, является газ, находящийся в сосуде под поршнем. Микросостояние газа - это положение и импульс (скорость) каждой его молекулы. Это эквивалентно тому, что вы знаете значение, выпавшее на каждой кости в рассмотренном раньше примере. Макросостояние газа описывается такими величинами как давление, плотность, объём, химический состав. Это как сумма значений, выпавших на костях.

  
  

  Величины, описывающие макросостояние, могут быть связаны друг с другом через так называемое «уравнение состояния». Именно наличие этой связи позволяет, не зная микросостояний, предсказывать, что будет с нашей системой, если начать её нагревать или перемещать поршень. Для идеального газа уравнение состояния имеет простой вид:

  хотя вы, скорее всего, лучше знакомы с уравнением Клапейрона - Менделеева pV = νRT - это то же самое уравнение, только с добавлением пары констант, чтобы вас запутать. Чем больше микросостояний отвечают данному макросостоянию, то есть чем больше частиц входят в состав нашей системы, тем лучше уравнение состояния её описывает. Для газа характерные значения числа частиц равны числу Авогадро, то есть составляют порядка 1023.

  Величины типа давления, температуры и плотности называются усреднёнными, поскольку являются усреднённым проявлением постоянно сменяющих друг друга микросостояний, отвечающих данному макросостоянию (или, вернее, близким к нему макросостояниям). Чтобы узнать в каком микросостоянии находится система, нам надо очень много информации - мы должны знать положение и скорость каждой частицы. Количество этой информации и называется энтропией.

  Как меняется энтропия с изменением макросостояния? Это легко понять. Например, если мы немного нагреем газ, то скорость его частиц возрастёт, следовательно, возрастёт и степень нашего незнания об этой скорости, то есть энтропия вырастет. Или, если мы увеличим объём газа, быстро отведя поршень, увеличится степень нашего незнания положения частиц, и энтропия также вырастет.

  Твёрдые тела и потенциальная энергия

  Если мы рассмотрим вместо газа какое-нибудь твёрдое тело, особенно с упорядоченной структурой, как в кристаллах, например, кусок металла, то его энтропия будет невелика. Почему? Потому что зная положение одного атома в такой структуре, вы знаете и положение всех остальных (они же выстроены в правильную кристаллическую структуру), скорости же атомов невелики, потому что они не могут улететь далеко от своего положения и лишь немного колеблются вокруг положения равновесия.

  
  

  Если кусок металла находится в поле тяготения (например, поднят над поверхностью Земли), то потенциальная энергия каждого атома в металле приблизительно равна потенциальной энергии других атомов, и связанная с этой энергией энтропия низка. Это отличает потенциальную энергию от кинетической, которая для теплового движения может сильно меняться от атома к атому.

  Если кусок металла, поднятый на некоторую высоту, отпустить, то его потенциальная энергия будет переходить в кинетическую энергию, но энтропия возрастать практически не будет, потому что все атомы будут двигаться приблизительно одинаково. Но когда кусок упадёт на землю, во время удара атомы металла получат случайное направление движения, и энтропия резко увеличится. Кинетическая энергия направленного движения перейдёт в кинетическую энергию теплового движения. Перед ударом мы приблизительно знали, как движется каждый атом, теперь мы эту информацию потеряли.

  Понимаем второй закон термодинамики

  Второй закон термодинамики утверждает, что энтропия (закрытой системы) всегда увеличивается. Мы теперь можем понять, почему: потому что невозможно внезапно получить больше информации о микросостояниях. Как только вы потеряли некую информацию о микросостоянии (как во время удара куска металла об землю), вы не можете вернуть её назад.

  
  

  Давайте вернёмся обратно к игральным костям. Вспомним, что макросостояние с суммой 59 имеет очень низкую энтропию, но и получить его не так-то просто. Если бросать кости раз за разом, то будут выпадать те суммы (макросостояния), которым отвечает большее количество микросостояний, то есть будут реализовываться макросостояния с большой энтропией. Самой большой энтропией обладает сумма 35, и именно она и будет выпадать чаще других. Именно об этом и говорит второй закон термодинамики. Любое случайное (неконтролируемое) взаимодействие приводит к росту энтропии, по крайней мере до тех пор, пока она не достигнет своего максимума.

  Перемешивание газов

  И ещё один пример, чтобы закрепить сказанное. Пусть у нас имеется контейнер, в котором находятся два газа, разделённых расположенной посередине контейнера перегородкой. Назовём молекулы одного газа синими, а другого - красными.

  Если открыть перегородку, газы начнут перемешиваться, потому что число микросостояний, в которых газы перемешаны, намного больше, чем микросостояний, в которых они разделены, и все микросостояния, естественно, равновероятны. Когда мы открыли перегородку, для каждой молекулы мы потеряли информацию о том, с какой стороны перегородки она теперь находится. Если молекул было N, то утеряно N бит информации (биты и символы, в данном контексте, это, фактически, одно и тоже, и отличаются только неким постоянным множителем).

  Разбираемся с демоном Максвелла

  Ну и напоследок рассмотрим решение в рамках нашей парадигмы знаменитого парадокса демона Максвелла. Напомню, что он заключается в следующем. Пусть у нас есть перемешанные газы из синих и красных молекул. Поставим обратно перегородку, проделав в ней небольшое отверстие, в которое посадим воображаемого демона. Его задача - пропускать слева направо только красных, и справа налево только синих. Очевидно, что через некоторое время газы снова будут разделены: все синие молекулы окажутся слева от перегородки, а все красные - справа.

  Получается, что наш демон понизил энтропию системы. С демоном ничего не случилось, то есть его энтропия не изменилась, а система у нас была закрытой. Получается, что мы нашли пример, когда второй закон термодинамики не выполняется! Как такое оказалось возможно?

  Решается этот парадокс, однако, очень просто. Ведь энтропия - это свойство не системы, а нашего знания об этой системе. Мы с вами знаем о системе мало, поэтому нам и кажется, что её энтропия уменьшается. Но наш демон знает о системе очень много - чтобы разделять молекулы, он должен знать положение и скорость каждой из них (по крайней мере на подлёте к нему). Если он знает о молекулах всё, то с его точки зрения энтропия системы, фактически, равна нулю - у него просто нет недостающей информации о ней. В этом случае энтропия системы как была равна нулю, так и осталась равной нулю, и второй закон термодинамики нигде не нарушился.

  Но даже если демон не знает всей информации о микросостоянии системы, ему, как минимум, надо знать цвет подлетающей к нему молекулы, чтобы понять, пропускать её или нет. И если общее число молекул равно N, то демон должен обладать N бит информации о системе - но именно столько информации мы и потеряли, когда открыли перегородку. То есть количество потерянной информации в точности равно количеству информации, которую необходимо получить о системе, чтобы вернуть её в исходное состояние - и это звучит вполне логично, и опять же не противоречит второму закону термодинамики.

  Этот пост является вольным переводом ответа, который Mark Eichenlaub дал на вопрос What"s an intuitive way to understand entropy? , заданный на сайте Quora.