Що таке ентропія? У статистичній фізиці чи теорії інформації.

На побутовому рівні, ентропія - це міра безладдя чи міра невизначеності.

У фізиці ентропія стоїть серед таких фундаментальних понять, як енергія чи температура. Ентропія може бути визначена як одна з основних термодинамічних функцій (вперше це зробив Клаузіус).

Одна з основних фундаментальних властивостей світу, в якому ми живемо, називається другим початком термодинаміки. Існують три зовні не схожі, але логічно еквівалентні формулювання другого початку термодинаміки. У формулюванні Томсона-Планка він говорить: неможливо побудувати машину, що періодично діє, єдиним результатом якої було б підняття вантажу за рахунок охолодження теплового резервуара. Існує формулювання Клаузіуса: теплота не може спонтанно переходити від тіла менш нагрітого до тіла більш нагрітого. У третьому формулюванні цього фундаментального закону "головною дійовою особою" є ентропія: в адіабатично ізольованій системі ентропія не може зменшуватися; або зростає, або залишається незмінною.

Саме з цього формулювання найбільш зрозуміла принципова незворотність фізичних процесів, а також неминуча деградація будь-якої замкнутої системи (всі різні форми енергії переходять в кінцевому підсумку в теплову, після чого неможливі ніякі процеси). Узагальнивши цей принцип на весь всесвіт, Клаузіус сформулював гіпотезу теплової смерті Всесвіту.

Ця незворотність процесів, що є наслідком другого початку, перебувала у видимому протиріччі з оборотним характером механічного руху. Розмірковуючи над цим феноменом Больцман отримав зовсім дивовижну формулу для ентропії, що розкриває зовсім новий зміст. Застосувавши статистичні методи, Больцман показав, що ентропія прямо пропорційна логарифму термодинамічної ймовірності. Ця формула висічена на надгробку вченого на Центральному цвинтарі Відня. Це відкриття Больцмана тим значніше, що поняття ймовірності вперше проникло в самі основи фізики (за кілька десятиліть до побудови нової картини світу на основі квантової механіки).

Таким чином, за Больцманом другий початок термодинаміки міг би звучати так: природа прагне переходу від менш ймовірних станів до ймовірнішим.

Від зв'язку ентропії та ймовірності за Больцманом можна перейти до визначення ентропії в теорії інформації, що було зроблено Шенноном. Ентропія в теорії інформації постає як міра невизначеності. Поняття інформації є, у сенсі, протилежним поняттю ентропії. Точніше, інформація визначається як різницю між безумовною та умовною ентропіями, але пояснювати це без формул неможливо.

Що таке ентропія? Цим словом можна охарактеризувати та пояснити майже всі процеси в житті людини (фізичні та хімічні процеси, а також соціальні явища). Але не всі люди розуміють значення цього терміна і тим більше не всі можуть пояснити, що це слово означає. Теорія складна сприйняття, але якщо додати до неї прості і зрозумілі приклади з життя, то розібратися з визначенням цього багатогранного терміна буде легше. Але про все по порядку.

Вконтакте

Ентропія: визначення та історія появи терміна

Історія появи терміна

Ентропія як визначення стану системибула введена в 1865 році німецьким фізиком Рудольфом Клаузіусом, щоб описати здатність теплоти перетворюватися на інші форми енергії, головним чином на механічну. За допомогою цього поняття у термодинаміці описують стан термодинамічних систем. Збільшення цієї величини пов'язане з надходженням тепла в систему і з температурою, за якої це надходження відбувається.

Визначення терміна з Вікіпедії

Цей термін тривалий час використовувався лише в механічній теорії тепла (термодинаміки), на яку воно вводилося. Але згодом це визначення перейшлов інші галузі та теорії. Існує кілька визначень терміна ентропія.

Вікіпедія дає коротке визначення для кількох областей, у яких цей термін використовується: Ентропія(від др.-грец. ἐντροπία «поворот», «перетворення») - термін, що часто вживається в природних і точних науках. У статистичній фізиці характеризує можливість здійснення будь-якого макроскопічного стану. Крім фізики, цей термін широко використовується в математиці: теорії інформації та математичної статистики».

Види ентропій

Цей термін використовується в термодинаміці, економіці, теорії інформації і навіть у соціології Що ж він визначає у цих галузях?

У фізичній хімії (термодинаміці)

Основний постулат термодинаміки про рівновагу: будь-яка ізольована термодинамічна система входить у рівноважний стан із часом і неспроможна з нього вийти мимоволі. Тобто кожна система прагне рівноважний для неї стан. І якщо говорити зовсім простими словами, такий стан характеризується безладдям.

Ентропія - це міра безладдя. Як визначити безлад? Один із способів – приписати кожному стану число варіантів, якими цей стан можна реалізувати. І що більше таких способів реалізації, то більше значення ентропії. Чим більше організована речовина (його структура), тим нижче її невизначеність (хаотичність).

Абсолютне значення ентропії (S абс.) дорівнює зміні наявної речовини або системи енергії під час теплопередачі при даній температурі. Його математична величина визначається значення теплопередачі (Q), розділеного на абсолютну температуру (T), при якій відбувається процес: S абс. = Q/T. Це означає, що при передачі великої кількості теплоти показник S абс. збільшиться. Той самий ефект спостерігатиметься при теплопередачі в умовах низьких температур.

В економіці

В економіці використовується таке поняттяяк коефіцієнт ентропії. За допомогою цього коефіцієнта досліджують зміну концентрації ринку та її рівень. Що значення коефіцієнта, то вище економічна невизначеність і, отже, ймовірність появи монополії знижується. Коефіцієнт допомагає побічно оцінити вигоди, придбані фірмою внаслідок можливої ​​монопольної діяльності чи зміні концентрації ринку.

У статистичній фізиці чи теорії інформації

Інформаційна ентропія(Невизначеність) - це міра непередбачуваності чи невизначеності деякої системи. Ця величина допомагає визначити ступінь безладності експерименту або події, що проводиться. Чим більша кількість станів, у яких може бути система, тим більше значення невизначеності. Усі процеси упорядкування системи призводять до появи інформації та зниження інформаційної невизначеності.

За допомогою інформаційної непередбачуваності можна виявити таку пропускну спроможність каналу, яка забезпечить надійну передачу інформації (у системі закодованих символів). А також можна частково передбачати хід досвіду чи події, поділяючи їх на складові та вираховуючи значення невизначеності для кожної з них. Такий метод статистичної фізики допомагає виявити ймовірність події. З його допомогою можна розшифрувати закодований текст, аналізуючи ймовірність появи символів та його показник ентропії.

Існує таке поняття, як абсолютна ентропія мови. Ця величина виражає максимальну кількість інформації, яку можна передати в одиниці цієї мови. За одиницю у разі приймають символ алфавіту мови (біт).

У соціології

Тут ентропія(Інформаційна невизначеність) є характеристикою відхилення соціуму (системи) або його ланок від прийнятого (еталонного) стану, а проявляється це у зниженні ефективності розвитку та функціонування системи, погіршенні самоорганізації. Простий приклад: співробітники фірми так сильно завантажені роботою (виконанням великої кількості звітів), що не встигають займатися своєю основною діяльністю (виконанням перевірок). У цьому прикладі мірою недоцільного використання керівництвом робочих ресурсів буде інформаційна невизначеність.

Ентропія: тезово та на прикладах

• Чим більше способів реалізації, тим більша інформаційна невизначеність.

Приклад 1. Програма Т9. Якщо в слові буде невелика кількість друкарських помилок, то програма легко розпізнає слово і запропонує його заміну. Чим більше помилок, тим менше інформації про слово, що вводиться, буде у програми. Отже, збільшення безладдя призведе до збільшення інформаційної невизначеності і навпаки, чим більше інформації, тим менша невизначеність.

Приклад 2. Гральні кістки. Викинути комбінацію 12 або 2 можна лише одним способом: 1 плюс 1 або 6 плюс 6. А максимальним числом способів реалізується число 7 (має 6 можливих комбінацій). Непередбачуваність реалізації числасім найбільша у цьому випадку.

• Загалом ентропію (S) можна розуміти як міру розподілу енергії. За низького значення S енергія сконцентрована, а при високому - розподілена хаотично.

приклад. Н2О (усім відома вода) у своєму рідкому агрегатному стані матиме більшу ентропію, ніж у твердому (лід). Тому що в твердому кристалічному тілі кожен атом займає певне положення в кристалічній решітці (порядок), а в рідкому стані у атомів певних закріплених положень немає (безлад). Тобто тіло з жорсткішою впорядкованістю атомів має нижче значення ентропії (S). Білий алмаз без домішок має найнижче значення S в порівнянні з іншими кристалами.

• Зв'язок між інформацією та невизначеністю.

приклад 1. Молекула знаходиться у посудині, який має ліву та праву частину. Якщо невідомо, в якій частині судини знаходиться молекула, то ентропія (S) визначатиметься за формулою S = S max = k * lgW, де k-кількість способів реалізації, W-кількість частин судини. Інформація в цьому випадку дорівнюватиме нулю I = I min =0. Якщо ж точно відомо, в якій частині судини знаходиться молекула, то S = S min = k * ln1 = 0, а I = I max = log 2 W. Отже, що більше інформації, то нижче значення інформаційної невизначеності.

Приклад 2. Чим вищий порядок на робочому столі, тим більше інформації можна дізнатися про речі, що на ньому знаходяться. І тут упорядкованість предметів знижує ентропію системи «робочий стіл».

Приклад 3. Інформація про клас більше на уроці, ніж зміну. Ентропія на уроці нижче, тому що учні сидять упорядковано (більше інформації про місцезнаходження кожного учня). А на зміні розташування учнів змінюється хаотично, що підвищує їхню ентропію.

• Хімічні реакції та зміна ентропії.

приклад. При реакції лужного металу із водою виділяється водень. Водень це газ. Оскільки молекули газу рухаються хаотично і мають високу ентропію, то реакція, що розглядається, відбувається зі збільшенням її значення . Тобто ентропія хімічної системи стане вищою.

На закінчення

Якщо об'єднати все сказане вище, то вийде, що ентропія є мірою безладдя чи невизначеності системи та її елементів. Цікавий той факт, що все в природі прагне максимуму ентропії, а людина - максимум інформації. І всі розглянуті вище теорії спрямовані встановлення балансу між прагненням людини і природними природними процесами.

Ентропія - термін, що використовується у точних науках, а й у гуманітарних. У випадку - це міра хаотичності, невпорядкованості деякої системи.

Як відомо, людство завжди прагнуло перекласти якомога більше роботи на плечі машинам і механізмам, використовуючи для цього якнайменше ресурсів. Згадки про вічний двигун вперше виявлено в арабських рукописах XVI ст. З того часу було запропоновано чимало конструкцій для потенційно вічного двигуна. Незабаром, після багатьох невдалих експериментів, вчені зрозуміли деякі особливості природи, які згодом визначили основи термодинаміки.

Малюнок вічного двигуна

Перший початок термодинаміки говорить наступне: до виконання роботи термодинамічної системою знадобиться або внутрішня енергія системи, або зовнішня енергія з додаткових джерел. Це твердження є термодинамічний закон збереження енергії і забороняє існування вічного двигуна першого роду - системи, що здійснює роботу без витрачання енергії. Механізм одного з таких двигунів ґрунтувався на внутрішній енергії тіла, яка може перейти у роботу. Наприклад, може відбуватися з допомогою розширення. Але людству невідомі тіла чи системи, які можуть нескінченно розширюватися, отже рано чи пізно їхня внутрішня енергія закінчиться і двигун зупиниться.

Дещо пізніше з'явився так званий вічний двигун другого роду, який не суперечив закону збереження енергії, і ґрунтувався на механізмі передачі тепла, необхідного для роботи, оточуючими тілами. Наприклад брали океан, охолоджуючи який, імовірно, можна було б отримати значний запас тепла. Проте, в 1865-му році німецький вчений, математик і фізик Р. Клаузіус визначив другий початок термодинаміки: «процес, що повторюється, не може існувати, якщо в результаті відбудеться лише передача тепла від менш нагрітого тіла до більш нагрітого, і тільки». Пізніше він ввів поняття ентропії - деякої функції, зміна якої дорівнює відношенню кількості переданого тепла до температури.

Після цього альтернативою другому початку термодинаміки став закон невтрати ентропії: «в замкнутій системі ентропія не зменшується».

Простими словами

Так як ентропія має місце бути в різних областях діяльності людини, її визначення є дещо розпливчастим. Однак на найпростіших прикладах можна зрозуміти суть цієї величини. Ентропія - це ступінь безладдя, тобто - невизначеності, невпорядкованості. Тоді система із розкиданих шматків паперу на вулиці, які ще періодично підкидає вітер, має високу ентропію. А система зі складених у стопку паперів на робочому столі має мінімальну ентропію. Щоб знизити ентропію в системі з клаптями паперу, Вам доведеться витратити чимало часу та енергії на склеювання клаптиків паперу у повноцінні аркуші, та складання їх у стопку.

У випадку із закритою системою так само все просто. Наприклад, Ваші речі у закритій шафі. Якщо Ви не діятимете на них ззовні, то речі довгий час зберігатимуть своє значення ентропії. Але рано чи пізно вони розкладуться. Наприклад, вовняна шкарпетка розкладатиметься до п'яти років, а ось шкіряному взуттю буде потрібно близько сорока років. У цьому випадку шафа - ізольована система, а розкладання речей - перехід від упорядкованих структур до хаосу.

Підсумовуючи, слід зазначити, що мінімальна ентропія спостерігається у різноманітних макроскопічних об'єктів (тих, які можна спостерігати неозброєним оком), що мають певну структуру, а максимальна у вакууму.

Ентропія Всесвіту

Внаслідок виникнення такого поняття як ентропія з'явилося безліч інших тверджень та фізичних визначень, які дозволили докладніше описати закони природи. Одним із них є таке поняття як «оборотні/незворотні процеси». До перших відносять процеси, ентропія системи яких не зростає та залишається постійною. Необоротні – такі процеси, у замкнутій системі яких ентропія зростає. Повернути замкнуту систему у стан процесу неможливо, т.к. у такому разі ентропія мала б знижуватися.

На думку Клаузіуса, незворотним процесом є існування Всесвіту, наприкінці якого на нього чекає так звана «Теплова смерть», інакше - термодинамічна рівновага, яка існує для закритих систем. Тобто ентропія досягне максимального показника, проте процеси просто загаснуть. Але, як невдовзі виявилося, Рудольф Клаузіус не враховував сили гравітації, які є повсюдно у Всесвіті. Наприклад, завдяки їм розподіл часток за максимальної ентропії має бути однорідним.

Також до інших недоліків теорії про «теплову смерть Всесвіту» можна віднести той факт, що нам невідомо чи справді він кінцевий, і чи можна до нього застосувати поняття «замкнута система». Варто враховувати і те, що стан максимальної ентропії, як і абсолютний вакуум - такі ж теоретичні поняття, як і ідеальний газ. Це означає, що в реальності ентропія не досягатиме максимального значення через різні випадкові відхилення.

Примітно, що видима у своєму обсязі зберігає значення ентропії. Причиною тому є вже відомий багатьом феномен - Всесвіту. Цей цікавий збіг вкотре доводить людству те, що в природі нічого не відбувається просто так. Згідно з підрахунками вчених, за порядком величини значення ентропії дорівнює кількості існуючих фотонів.

• Словом "хаос" називають початковий стан Всесвіту. У цей момент вона була лише не має форми сукупності простору і матерії.
• Згідно з дослідженнями одних вчених, найбільшим джерелом ентропії є надмасивні. Але інші вважають, що завдяки потужним гравітаційним силам, які притягають все до масивного тіла, міра хаосу передається в навколишній простір у незначній кількості.
• Цікаво те, що життя та еволюція людини спрямовані у протилежний бік від хаосу. Вчені стверджують, що це можливо через те, що протягом свого життя людина, як і інші живі організми, набирає на себе менше значення ентропії, ніж віддає у навколишнє середовище.

• Ентропія (від грец. ἐντροπία «поворот», «перетворення») - широко використовується в природних і точних науках термін. Вперше введений у рамках термодинаміки як функція стану термодинамічної системи, що визначає міру незворотного розсіювання енергії. У статистичній фізиці ентропія характеризує можливість здійснення будь-якого макроскопічного стану. Крім фізики, термін широко вживається в математиці: теорії інформації та математичної статистики.

  Ентропія може інтерпретуватися як міра невизначеності (невпорядкованості) деякої системи, наприклад, будь-якого досвіду (випробування), який може мати різні результати, а отже, і кількість інформації. Таким чином, іншою інтерпретацією ентропії є інформаційна ємність системи. З цією інтерпретацією пов'язаний той факт, що автор поняття ентропії в теорії інформації (Клод Шеннон) спочатку хотів назвати цю величину інформацією.

  Поняття інформаційної ентропії застосовується як і теорії інформації та математичної статистики, і у статистичної фізиці (ентропія Гіббса та її спрощений варіант - ентропія Больцмана). Математичний зміст інформаційної ентропії - це логарифм числа доступних станів системи (підстава логарифма може бути різним, воно визначає одиницю виміру ентропії). Така функція від стану забезпечує властивість адитивності ентропії для незалежних систем. Причому, якщо стани розрізняються за рівнем доступності (тобто не рівноймовірні), під числом станів системи потрібно розуміти їхню ефективну кількість, яка визначається наступним чином. Нехай стану системи рівноймовірні та мають ймовірність

  (\displaystyle p)

  Тоді кількість станів

  (Displaystyle N=1/p)

  (\displaystyle \log N=\log(1/p))

  У разі різних ймовірностей станів

  (\displaystyle p_(i))

  Розглянемо середньозважену величину

  (\displaystyle \log (\overline (N))=\sum _(i=1)^(N)p_(i)\log(1/p_(i)))

  (\displaystyle (\overline (N)))

  Ефективна кількість станів. З цієї інтерпретації безпосередньо випливає вираз для інформаційної ентропії Шеннона

  (\displaystyle H=\log (\overline (N))=-\sum _(i=1)^(N)p_(i)\log p_(i))

  Подібна інтерпретація справедлива і для ентропії Реньї, яка є одним із узагальнень поняття інформаційна ентропія, але в цьому випадку інакше визначається ефективна кількість станів системи (можна показати, що ентропії Реньї відповідає ефективна кількість станів, що визначається як середнє важливе зважене з параметром

  (\displaystyle q\leq 1)

  Ентропія. Мабуть, це одне з найскладніших для розуміння понять, з яким ви можете зустрітися в курсі фізики, принаймні якщо говорити про класичну фізику. Мало хто із випускників фізичних факультетів може пояснити, що це таке. Більшість проблем із розумінням ентропії, однак, можна зняти, якщо зрозуміти одну річ. Ентропія якісно відрізняється від інших термодинамічних величин: таких як тиск, об'єм або внутрішня енергія, тому що є властивістю не системи, а того, як ми розглядаємо цю систему. На жаль, у курсі термодинаміки її зазвичай розглядають нарівні з іншими термодинамічними функціями, що посилює нерозуміння.

  То що таке ентропія?

  Якщо двома словами, то

  Ентропія - це те, як багато інформації вам не відомо про систему

  Наприклад, якщо ви спитаєте мене, де я живу, і я відповім: у Росії, то моя ентропія для вас буде висока, все-таки Росія велика країна. Якщо ж я назву вам свій поштовий індекс: 603081, то моя ентропія для вас знизиться, оскільки ви отримаєте більше інформації.

  
  

  Поштовий індекс містить шість цифр, тобто я дав шість символів інформації. Ентропія вашого знання про мене знизилася приблизно на 6 символів. (Насправді, не зовсім, тому що деякі індекси відповідають більшій кількості адрес, а деякі – меншій, але ми цим знехтуємо).

  Або розглянемо інший приклад. Нехай у мене є десять гральних кісток (шестигранних), і викинувши їх, я вам повідомляю, що їхня сума дорівнює 30. Знаючи тільки це, ви не можете сказати, які конкретно цифри на кожній з кісток вам не вистачає інформації. Ці конкретні цифри на кістках у статистичній фізиці називають мікростанами, а загальну суму (30 у нашому випадку) – макростаном. Існує 2930455 мікростанів, які відповідають сумі рівної 30. Так що ентропія цього макростану дорівнює приблизно 6,5 символам (половинка з'являється через те, що при нумерації мікростанів по порядку в сьомому розряді вам доступні не всі цифри, а тільки 0, 1 та 2).

  
  

  А що якби я вам сказав, що сума дорівнює 59? Для цього макростану існує всього 10 можливих мікростанів, так що його ентропія дорівнює лише одному символу. Як бачите, різні макростани мають різні ентропії.

  Нехай тепер я вам скажу, що сума перших п'яти кісток 13, а сума решти п'яти - 17, так що загальна сума знову 30. У вас, однак, у цьому випадку є більше інформації, тому ентропія системи вам повинна впасти. І, дійсно, 13 на п'яти кістках можна отримати 420 різними способами, а 17 - 780-ю, тобто повне число мікростанів складе всього лише 420х780 = 327 600. Ентропія такої системи приблизно на один символ менше, ніж у першому прикладі.

  Ми вимірюємо ентропію як кількість символів, необхідні запису числа микросостояний. Математично ця кількість визначається як логарифм, тому позначивши ентропію символом S, а число мікростанів символом Ω, ми можемо записати:

  Це ніщо інше як формула Больцмана (з точністю до множника k, який залежить від обраних одиниць виміру) для ентропії. Якщо макростану відповідають один мікростан, його ентропія за цією формулою дорівнює нулю. Якщо ви маєте дві системи, то повна ентропія дорівнює сумі ентропій кожної з цих систем, тому що log(AB) = log A + log B.

  

  З наведеного вище описи стає зрозуміло, чому не слід думати про ентропію як про власну властивість системи. У системи є певні внутрішня енергія, імпульс, заряд, але в неї немає певної ентропії: ентропія десяти кісток залежить від того, відома вам тільки їхня повна сума, або також і приватні суми п'ятірок кісток.

  Інакше кажучи, ентропія - те, як ми описуємо систему. І це робить її дуже відмінною від інших величин, з якими прийнято працювати у фізиці.

  Фізичний приклад: газ під поршнем

  Класичною системою, яку розглядають у фізиці, є газ, що знаходиться в посудині під поршнем. Мікростан газу - це положення та імпульс (швидкість) кожної його молекули. Це еквівалентно тому, що ви знаєте значення, що випало на кожній кістці в розглянутому прикладі. Макростан газу описується такими величинами як тиск, щільність, об'єм, хімічний склад. Це як сума значень, що випали на кістках.

  
  

  Величини, що описують макростан, можуть бути пов'язані один з одним через так зване рівняння стану. Саме наявність зв'язку дозволяє, не знаючи мікростанів, передбачати, що буде з нашою системою, якщо почати її нагрівати або переміщати поршень. Для ідеального газу рівняння стану має простий вигляд:

  хоча ви, швидше за все, краще знайомі з рівнянням Клапейрона - Менделєєва pV = νRT - це те саме рівняння, тільки з додаванням пари констант, щоб вас заплутати. Чим більше мікростанів відповідають даному макростану, тобто чим більше частинок входять до складу нашої системи, тим краще рівняння її описує. Для газу характерні значення числа частинок дорівнюють числу Авогадро, тобто становлять порядку 1023.

  Величини типу тиску, температури і щільності називаються усередненими, оскільки є усередненим проявом мікростанів, що постійно змінюють один одного, відповідають даному макростану (або, вірніше, близьким до нього макростанам). Щоб дізнатися, в якому мікростані знаходиться система, нам треба дуже багато інформації - ми повинні знати положення та швидкість кожної частки. Кількість цієї інформації називається ентропією.

  Як змінюється ентропія зі зміною макростану? Це легко зрозуміти. Наприклад, якщо ми трохи нагріємо газ, то швидкість його частинок зросте, отже, зросте і рівень нашого незнання про цю швидкість, тобто ентропія зросте. Або, якщо ми збільшимо обсяг газу, швидко відвівши поршень, збільшиться рівень нашого незнання положення частинок, і ентропія також зросте.

  Тверді тіла та потенційна енергія

  Якщо ми розглянемо замість газу якесь тверде тіло, особливо з упорядкованою структурою, як у кристалах, наприклад, шматок металу, його ентропія буде невелика. Чому? Тому що знаючи становище одного атома в такій структурі, ви знаєте і становище всіх інших (вони ж збудовані в правильну кристалічну структуру), швидкості ж атомів невеликі, тому що вони не можуть відлетіти далеко від свого становища і лише трохи вагаються навколо положення рівноваги.

  
  

  Якщо шматок металу знаходиться в полі тяжіння (наприклад, піднятий над поверхнею Землі), то потенційна енергія кожного атома в металі приблизно дорівнює потенційній енергії інших атомів і пов'язана з цією енергією низька ентропія. Це відрізняє потенційну енергію від кінетичної, яка теплового руху може сильно змінюватися від атома до атома.

  Якщо шматок металу, піднятий на деяку висоту, відпустити, його потенційна енергія буде переходити в кінетичну енергію, але ентропія зростати практично нічого очікувати, оскільки всі атоми рухатимуться приблизно однаково. Але коли шматок впаде на землю, під час удару атоми металу отримають випадковий напрямок руху, і ентропія різко збільшиться. Кінетична енергія спрямованого руху перейде у кінетичну енергію теплового руху. Перед ударом ми знали, як рухається кожен атом, тепер ми цю інформацію втратили.

  Розуміємо другий закон термодинаміки

  Другий закон термодинаміки стверджує, що ентропія (закрита система) завжди збільшується. Ми тепер можемо зрозуміти чому: тому що неможливо раптово отримати більше інформації про мікростани. Як тільки ви втратили інформацію про мікростан (як під час удару шматка металу об землю), ви не можете повернути її назад.

  
  

  Повернемося назад до гральних кісток. Згадаймо, що макростан із сумою 59 має дуже низьку ентропію, але й отримати його не так просто. Якщо кидати кістки раз-по-раз, то випадатимуть ті суми (макростану), яким відповідає більша кількість мікростанів, тобто реалізовуватимуться макростани з великою ентропією. Найбільшою ентропією має сума 35, і саме вона і випадатиме частіше за інших. Саме про це й каже другий закон термодинаміки. Будь-яка випадкова (неконтрольована) взаємодія призводить до зростання ентропії, принаймні доти, доки вона не досягне свого максимуму.

  Перемішування газів

  І ще один приклад, щоб закріпити сказане. Нехай у нас є контейнер, в якому знаходяться два гази, розділені розташованою посередині контейнера перегородкою. Назвемо молекули одного газу синіми, а іншого – червоними.

  Якщо відкрити перегородку, гази почнуть перемішуватися, тому що кількість мікростанів, в яких гази перемішані, набагато більша, ніж мікростанів, в яких вони розділені, і всі мікростани, природно, є рівноймовірними. Коли ми відкрили перегородку, для кожної молекули ми втратили інформацію про те, з якого боку перегородки вона знаходиться. Якщо молекул було N, то втрачено N біт інформації (біти і символи, у цьому контексті, це, власне, одне й теж, і відрізняються лише якимось постійним множником).

  Розбираємось із демоном Максвелла

  Ну і насамкінець розглянемо рішення в рамках нашої парадигми знаменитого парадоксу демона Максвелла. Нагадаю, що він ось у чому. Нехай у нас є перемішані гази із синіх та червоних молекул. Поставимо назад перегородку, зробивши в ній невеликий отвір, в який посадимо уявного демона. Його завдання - пропускати ліворуч праворуч тільки червоних, і праворуч ліворуч тільки синіх. Очевидно, що через деякий час гази знову будуть розділені: всі сині молекули виявляться ліворуч від перегородки, а всі червоні – праворуч.

  Виходить, що наш демон зменшив ентропію системи. Із демоном нічого не трапилося, тобто його ентропія не змінилася, а система у нас була закритою. Виходить, ми знайшли приклад, коли другий закон термодинаміки не виконується! Як таке виявилося можливим?

  Вирішується цей феномен, втім, дуже просто. Адже ентропія – це властивість не системи, а нашого знання про цю систему. Ми з вами знаємо про систему мало, тому і здається, що її ентропія зменшується. Але наш демон знає про систему дуже багато - щоб розділяти молекули, він повинен знати положення та швидкість кожної з них (принаймні на підльоті до нього). Якщо він знає про молекули все, то з його точки зору ентропія системи, фактично, дорівнює нулю - у нього просто немає інформації про неї. У цьому випадку ентропія системи як дорівнювала нулю, так і залишилася рівною нулю, і другий закон термодинаміки ніде не порушився.

  Але навіть якщо демон не знає всієї інформації про мікростан системи, йому, як мінімум, треба знати колір молекули, що підлітає до нього, щоб зрозуміти, пропускати її чи ні. І якщо загальна кількість молекул дорівнює N, то демон повинен мати N біт інформації про систему - але саме стільки інформації ми й втратили, коли відкрили перегородку. Тобто кількість втраченої інформації точно дорівнює кількості інформації, яку необхідно отримати про систему, щоб повернути її у вихідний стан - і це звучить цілком логічно, і знову ж таки не суперечить другому закону термодинаміки.

  Цей пост є вільним перекладом відповіді, яку Mark Eichenlaub дав на запитання What's an intuitive way to understand entropy? , заданий на сайті Quora.