Обсуждение:Энтропия

Не читал, но обожаю

Самый трагический закон физики. Больцман всё понял и повесился. Опиши соответствующе, автор. Innominatus

Теория большого отскока

Некоторые философы от физики, а также пару раз слышавшие про законы физики философы, утверждают, что через пару сотен триллионов лет лет настанут времена, когда расширение Вселенной прекратится. Противостоящие расширению Вселенной силы притяжения заборют всех стремящихся к расширению противников и пойдёт обраточка - после достижения мертвой точки пару сотен триллионов лет Вселенная будет сжиматься, и снова ужмётся до минимума, породившего Большой взрыв (и новое расширение с сопутствующим хаосом). При этом, при сжатии объёма Вселенной, её общая энтропия будет уменьшаться. По принципу действия данная концепция растяжения-сжатия похожа на боян, но философски гарантирует существование материального мира в пределах бесконечного количества времени. Разумеется в ходе этого процесса мы все умрём, и даже когда-то составлявшие нашу тушку молекулы, атомы, протоны, кварки и прочая матчасть, будут переработаны в рамках очередного вселенского Reset'а.

Второе?

Мне вот всегда было интересно: если есть второе начало термодинамики, значит где-то должен быть второй конец термодинамики. И чёрт бы с ним, но куда делся первый конец термодинамики?

Формулировки второго начала

Есть ещё равнозначное определение Томсона (Кельвина): производство работы за счёт охлаждения теплового резервуара невозможно.

- как-то совсем коряво. Что еще за «прозводство работы»? Работа на производстве? Да же если на это «производство» не обращать внимания, то надо бы добавить «постоянное» или в «циклическом процессе» — а то ведь получается, что изотермическое расширение идеального газа невозможно. В оригинале это было так [1]:

It is impossible, by means of inanimate material agency, to derive mechanical effect from any portion of matter by cooling it below the temperature of the coldest of the surrounding objects

Адекватный перевод:

Невозможно при помощи неодушевлённого материального двигателя непрерывно получать работу, только охлаждая какую-либо массу вещества ниже температуры самой холодной части окружающей среды

PS: Может быть стоит добавить что наиболее грамотная формулировка второго начала сводится к простому утверждению о том что, помимо внутренней энергии, у любой термодинамической ситемы есть еще и функция состояния, называемая энтропией, которая является мерой неупорядоченности этой самой системы?

> Адекватный перевод: ... Это не есть адекватный перевод. Суть английской фразы в том, что нельзя получать работу, охлаждая тело до температуры ниже, чем та, которая есть у самого холодного тела рядом. Вставляя всякие «только», «непрерывно» ты пытаешься вложить в фразу своё собственное понимание происходящего, уточнить так, чтобы не допускать альтернативных трактовок. Но адекватный перевод — это тот, который говорит ровно столько, сколько и оригинал, а не тот, в котором переводчик говорит отсебятину, которую он думает сам. И то, насколько эта отсебятина близка к Вселенской Истине, уже совершенно не влияет на качество перевода. Влияет лишь то, насколько перевод близок к оригиналу по смыслу. — Срикет

> Суть английской фразы в том, что нельзя получать работу, охлаждая тело до температуры ниже, чем та, которая есть у самого холодного тела рядом: ...Согласен. Тем не менее, эту фразу нельзя пероводить вне контекста статьи Томсона. Одна из основных идей — эквивалентность его аксиомы постулату Клазиуса (It is impossible for self-acting machine, unaided by any external agency, to convey heat from one body to another at lower temperature.) Очевидно, что Клазиус и Томсон подразумевают под "машиной" тепловой двигатель работающий циклически, т.е. непрерывно. Так что перевод более чем адекватен.

Если у тебя все еще есть сомнения в значимости цикличности процесса для правильной формулировки второго начала, открой например Сивухина (Термодинамика и молекулярная физика, глава III, параграф 28.3) — Вильям Томсон в 1851 г. дал такую формулировку постулата ... " невозможен круговой процесс, единственным результатом которого было бы производство работы за счет охлаждения теплового резервуара".

Там же и более менее адекватный перевод формулировкиа Планка - "Невозможно построить периодически действующую машину, единственным результатом которой было бы поднятие груза за счет охлаждения теплового резервуара"

Энтропия или Второе начало?

Может всё же лучше именно про ВНТ написать, потому что мемы (энтропия, тепловая смерть, демон Максвелла) происходят именно от него? — B

На ВУ обсудили. Будет «энтропия»

Данные

Корованер, ты понимаешь, чем данные от информации отличаются? Если понимаешь, то должен также понимать, что твой реф нахер не нужен, данные тут не причем.

Потому и в рефе, что для основной линии повествования ни при чём. Но сама по себе некоторая недосказанность присутствует: написали, что быдлокодер неправ в вопросах терминологии — и у него при прочтении по-любому возникнет вопрос «а как тогда правильно?». Но ответ на него даётся лишь наполовину, а где вторую половину искать — непонятно.

«Вторая половина», как ты сам отметил, для повествования не причем. Кроме того, реф был корявый до некорректности: четыре пустых тома содержат ноль информации и ноль данных, впрочем как и четыре тома, исписанных буквой «а». Впрочем, противоречия между общепринятым пониманием информации, которое близко к понятию данных (например: «знания о предметах, фактах, идеях и т. д., которыми могут обмениваться люди в рамках конкретного контекста (ISO/IEC 10746-2:1996)»), и «шенноновской» информацией будут рассматриваться в разделе про бессмертие души. Хехе.

бербер, ты что творишь?

Верни структуру статьи взад.

UPD: Бербер. 1-е, раздел «сопутствующие мемы» — сам по себе говно. Мем «демон максвелла» не более и не менее «сопутствующий» термодинамической энтропии и ВНТ, чем мем «передел Ландауэра» сопутствующий информационной энтропии. 2-е. Ежели тебе кажется, что местами каша и не связано, то складывай связывай текстом и вводыми словами и предложениями, а не переколбашивай структуру. Она уже не просто так.

Ну ОК. Просто ощущение, что с пятого на десятое перескоки идут. — B

Борись с энтропией хаосом этим ощущением, четкими формулировками, кагбы выкованными из благородного металла.

Количество информации

> есть магабайтный файл, содержащий исключительно символы «а», сколько он содержит информации?Всё будет зависеть от того, кто будет этот файл читать.

Количество информации определяется моделью данных, в которой считаются вероятности входных символов. Если мне идут на вход рандомные числа — то каждое из них несёт дохуя информации. Но если я знаю, что числа псевдорандомны, и я даже знаю генератор, который их создал и внутреннее состояние генератора, то каждое число несёт мне ноль информации. (ну или если хочется придраться, то не ноль: время прихода числа, да и сам факт его появления, может мне давать информацию. Если я не могу предсказать время прихода.).

Зависимость количества информации от модели сильно видна на задачах компрессии данных. Вы гляньте: разные компрессоры сжимают информацию по разному. Причём нельзя сказать, что какие-то сжимают всегда лучше, а какие-то хуже. Алгоритм охуенно сжимающий видео (последовательность картинок-кадров), покажет говнистые результаты на тексте или на pcm-звуке. А алгоритм охуенно сжимающий тексты, вряд ли сможет показать значимый результат при сжатии видео. Каждый алгоритм базируется на некоей стохастической модели данных — эта модель позволяет «предсказывать» следующий символ. Предсказание, понятно, выглядит как некое распределение вероятностей по всем возможным символам. Чем лучше предсказывает модель, тем лучше может сжать алгоритм, но тем проще придумать данные, на которых модель будет ужасно фейлится, и этот алгоритм в результате не сможет сжать данные. Объём сжатого потока — это тот объём информации, который алгоритм увидел во входном, несжатом потоке. С людьми, я замечу, творится то же самое. Чем больше человек знает в какой-то области, тем меньше он может извлечь информации из рандомного источника по теме. Там просто нет для него никакой информации, он предсказывает заранее, что автор скажет следующим предложением.

Вся эта шенноновская энтропия исходит из того, что предсказательная модель следующего символа — это равномерное распределение вероятностей по всем возможным символам. То есть, что мы вообще ничего не можем сказать об информации. Это упрощение, и потом были попытки его убрать, Колмогоров, например, занимался этим. Но надо понимать, что не существует «объективного» количества информации. Для того, чтобы некий физический процесс был бы носителем информации, необходима некая модель этой информации, то есть необходим приёмник, который имеет какие-то свои соображения о том, какую информацию он ждёт. И априорные ожидания приёмника делают любое восприятие информации субъективным. Отсутствие же таких ожиданий делает информацию бессмысленным белым шумом.

Ну и финально. Замените в формуле Шеннона частотную вероятность байесианской. Замените и попробуйте переосмыслить эту формулу с такой точки зрения. И вы придёте к тем же самым соображениям, которые я изложил выше.

Ах да. Чуть не забыл. К файлику состоящему из мегабайта букв «а». Представьте себе, что у меня есть канал, по которому мне передают хорошо сжатую информацию, и таким образом по этому каналу передаются символы с равномерным распределением. То есть я реально не могу предсказать следующий символ, даже зная все предыдущие. Лучшее предсказание, которое я могу дать: равновероятно любой возможный символ. И вдруг мне приходит мегабайт букв 'а'. Пока он идёт, я успеваю заметить отклонение от привычного уровня энтропии, я успею изменить модель, и буду ожидать, что следующим символом будет «а», и с каждым символом «а» вероятность получить следующий символ тоже «а» будет возрастать. И вдруг через мегабайт таких «а» ситуация вернулась в норму. Таким образом я получил крайне маловероятное сообщение, а чем менее вероятное сообщение, тем больше информации оно несёт, количество информации, которое я получаю — это log_2(p).

Ай да Срикет, айда сукин сын.

> Всё будет зависеть от того, кто будет этот файл читать. Хуяк. Всё будет зависеть, от того, кто этот файл будет генерить, а не читать.

Нет. Мудрее смотреть на тот эффект, который производит информация, нежели на тот эффект, который надеется произвести генератор информации. Генерящий шизофазию может быть вкладывает в неё гениальные мысли, но дефекты его мозга приводят к генерации бессмысленной шизофазии.

> Зависимость количества информации от модели сильно видна на задачах компрессии данных. отражено в нота бене

Да, отражено. Но если бы это отражение меня бы устраивало, я бы не стал писать этой стены текста. Там бледненькое отражение, которое пытается впихнуть идею информации в рамки шенноновского определения. Но оно туда невпихуемо.

> Вся эта шенноновская энтропия исходит из того, что предсказательная модель следующего символа — это равномерное распределение вероятностей по всем возможным символам Авотхуй. «Вся эта шенноновская энтропия исходит из того», что у появления следующего символа есть вероятность. И «всей этой шенноновской энтропия» глубоко похуй, равномерное распределение или исчо какое.

Да, я не очень хорошо выразился. Даже не так, я плохо выразился. Шенноновская энтропия не исходит из равновероятной модели, ты прав. Я пытался сказать другую мысль, свалив все косяки на Шеннона, но поскольку ту мысль довольно долго излагать я её упростил до полной потери смысла. Сорри.

Есть неявное использование равновероятного распредения. IT весь целиком меряет информацию как? Вот есть кабель гигабитного эзернета, почему кабель называется гигабитным? Есть планка оперативной памяти на 4Gb, почему считается что в неё влезет 4Gb? Потому что везде в основе лежит неявное предположение, что любой бит может быть равновероятно нулём или единицей. Ты можешь проверить это расписав объём планки памяти по формуле Шеннона, и рассмотрев это как уравнение относительно вероятности появления 0 и 1 в каждом конкретном бите. Само по себе это неплохое предположение, если речь идёт о том, чтобы как-то обозначить объём планки оперативной памяти, но это приводит к тому, что тупые инженеры уже не видят разницы между информацией, и конкретным способом кодирования информации. Это предположение неизбежно, потому что планка памяти создаётся для того, чтобы хранить произвольную информацию, разработчик не может угадать как планка памяти будет использоваться и поэтому он при всём желании не сможет исходить из других предположений. Но в результате инженеры не отличают конкретный способ кодирования информации от информации.

>  Отсутствие же таких ожиданий делает информацию бессмысленным белым шумом. Гыгы, я тебя сделаю идеалистом, а потом обратно матеарстом. А пока: белый шум несет МАКСИМУМ информации.

Что такое «МАКСИМУМ информации»? Вот как можно показать, что некое сообщение несёт максимум информации? Для этого, как минимум, нам придётся закодировать этот белый шум и посмотреть, сколько места он займёт на диске, так ведь? Но для того, чтобы закодировать белый шум, нам придётся создать некую модель этого белого шума, нам придётся иметь какие-то ожидания о том, что будет происходить дальше. Вот представь себе, у тебя из стены торчит жила кабеля, на ней какой-то аналоговый сигнал, выглядящий белым шумом, как ты будешь этот сигнал записывать? Сможешь ли ты записать его, не опираясь на ряд предположений о том, что в этом сигнале важно, а что нет? Нет, не сможешь. А опираясь на эти предположения ты создашь стохастическую модель входящего потока данных. То есть, у тебя есть выбор: либо не иметь модели и не иметь информации, либо иметь модель и иметь информацию. Создавая модель и записывая информацию согласно этой модели ты будешь терять какие-то части входного сигнала, и если твои предположения о сигнале не верны, то ты можешь потерять существенную часть информации. Вплоть до того, что запись окажется бесполезной. Вот потом, ты поймёшь что за процесс порождал этот аналоговый сигнал, поймёшь как он порождал, выяснишь что из этого аналогового сигнала можно было бы извлечь информацию о доступе к счетам на 100 млрд баксов, но — увы и ах, — чтобы это было бы возможным, надо было по времени дискретизировать сигнал на пару порядков чаще, и по уровню порядка на три чаще. Таким образом ты получил ноль информации. Реально, ни в один момент времени ты не имел информации с этого кабеля: когда информация писалась на диск, она писалась на диск — это твоё железо имело информацию, согласно той модели которую ты в него заложил. Но твоё железо и ты — это разные устройства обработки информации, вы разные наблюдатели, информация же относительна, и вы имеете разные оценки количества информации.

> Таким образом я получил крайне маловероятное сообщение, а чем менее вероятное сообщение, тем больше информации оно несёт, количество информации, которое я получаю — это log_2(p) Всё верно. Кроме одного. В модели «с мегабайтным файлом» не было НИЧЕГО до начала файла, и не было НИЧЕГО после его окончания. Ты изменил ситуацию, добавив стохастический поток ДО начала файла, и ПОСЛЕ его окончания. В такой, ситуации, мильон символов «a» несет дохуя информации. Но ты просто изменил условия, что привело к совершенно другой задаче.

То есть мегабайтный файл начал передаваться в момент создания Вселенной? Не бывает пустого места. Я ещё раз говорю: любую информацию принимает приёмник, который уже имеет опыт приёма информации, который определяет его ожидания от информации. Ты считаешь что файл из многих букв «а» предсказуем, но почему ты так считаешь? Ты не думал об этом? Потому что твои мозги так устроены, они заточены выделять различия и сходства. И такая модель входной информации как «все символы одинаковы» придёт тебе в голову одной из первой. А вот алгоритм сжатия pcm-звука до этого не сразу догадается, потому что он будет ждать наличия некоего фонового шума, то есть постоянных изменений.

Ты думаешь об информации подразумевая под ней шенноновское определение информации. Это неправильно. Есть некий класс явлений в реальности, о котором удобно говорить используя шенноновское определение информации. Надо всегда помнить, что говорим мы о реальности, а определения, слова, терминологии, науки и прочая лабуда — это просто способы говорить о реальности. Это условные способы, они упрощены — намеренно упрощены, потому что мы не можем иметь дело с реальностью во всей её красе, не упрощая её так, чтобы наши убогие мозги могли бы с ней справится. Говоря об информации, мы говорим о тех задачах, которые мы решаем, используя понятие информации. Шенноновское определение — неплохая штука. Но оно абстрагируется от очень существенных свойств информации, которые мы наблюдаем всегда, и одно из них — это субъективность или относительность информации: для разных наблюдателей одна и та же информация будет разной. Разные наблюдатели могут получить идентичные сигналы, но поймут они их по-разному. При этом отметь, нет никакого смысла говорить об информации, которая не имеет приёмника. Если информацию никто и никогда не увидит, то нам нет никакого смысла говорить о ней, как об информации. Не существует информации без приёмника.

Шеннон шёл от того, что наблюдатель подстраивается под поток информации, и поэтому наблюдатель как бы не важен. И это верно в простейших случаях, когда мы говорим о наблюдениях за неодушевлённой природой. Действительно если нам приходят сигналы от какого-то физического процесса, то эти сигналы целиком и полностью определяются этим процессом, и состояние нашего ума никак не влияет на эти сигналы. Но если мы говорим о коммуникациях между людьми (или между устройствами, созданными людьми), то ситуация меняется катастрофически: не приёмник подстраивается под сигнал, а передатчик подстраивает сигнал под способности приёмника. То есть, способности приёмника начинают влиять на сигнал. Заходить с этой стороны к информации несколько сложнее, потому что информация становится релятивистской, но подобный подход делает понятие информации более сильным и справляющимся без костылей с более широким классом задач. И всего-то что требуется: заменить частотные вероятности байесовскими. Заменить «вероятность как свойство реальности» на «вероятность, как свойство наблюдателя, отражающее степень его незнания». Хотя, вдруг мне подумалось, если зайти к этому строго, то может вообще не удастся определить вероятность в отрыве от информации, так же как и информацию в отрыве от вероятности.

Срикет, я не очень понял к чему столько много букафф. Ты прав на 96%, и мне не очень понятно, что ты хочешь доказать.

Про шенноновскую информацию. Гениальность Шеннона как раз в том, что он отказался рассматривать смыслы, содержащиеся в информации. Чем сделал это понятие не субъективным, а объективным. Количество информации, или его оценка, перестало зависеть от наблюдателя и его сознания. И хотя информация по Шеннону — это некоторая абстракция, но она имеет отношение к реальности гораздо больше, чем понимании информации, как неких смыслов. Результаты Шеннона абстрактны в том смысле, что могут быть применены к любому реальному каналу связи.

Про размер флешки и файла. Да ты прав, размер флешки в 1Гб можно трактовать так: «наибольшее количество информации, которое можно туда записать», действительно если каждый бит имеет вероятность бы единицей 0,5 и вероятность быть нулем 0,5, то запишется ровно 1Гб. Разрыв шаблона начинается после того, как записали файл 1 Гб, содержащий повторение одного симовла. Инфорации существенно меньше 1 Гб, а место кончилось.

Про «информацию со смыслом». Об этом будет сказано в разделе про бессмертие души, писал же выше корованеру.

Про информацию в белом шуме. В том-то и фишка подхода Шеннона, что можем информацию оценивать количественно. Просто математически. А математически сигнал с равномерным распределением спектральной мощности несет максимальное количество информации, среди любых других сигналов (в той же полосе частот).

Я хочу показать, что люди воспринимают информацию через призму шенноновского определения, и поэтому они понимают её неправильно. Абстракция — это хорошо, но до поры до времени. Информация без смысла — это сферический конь в вакууме. — Срикет

Н-да тут тебя занесло немного. Люди как раз-то воспринимают информацию, как набор смыслов. Важно понимать, что «шенноновская информация» и информация, как набор смыслов — это не два разных подхода к одному и тому же, а две совершенно разные штуки. Если их смешивать — есть риск разрыва шаблона. Насчет значимости, «шенноновская информация» как раз-то обеспечила очередную НТР и бурный рост этих ваших ай-ти. А вот со смыслами до сих пор разобраться не могут.

Если шенноновское определение информации оказалось к чему-то пригодным, это не значит, что это лучшее определение информации. Если птомлеевские эпициклы позволяли очень точно считать положения планет, это не значит, что коперниковская гелиоцентрическая система нахуй не нужна. Пускай попы занимаются догматизмом и флюродросят дохлым героям, оставь это им. Пришло время послать Шеннона нахуй. Я говорил тебе уже и говорю ещё раз, что шенноновское определение легко расширяется так, что оно продолжает работать во всех тех случаях, где и работало, но кроме того оно может ещё и субъективность информации отражать. Люди ничем не отличаются от кристалла кремния — это тоже устройства для обработки информации. Но если ты попытаешься применить шенноновское понятие «количества информации» к человеку, то вскоре выяснится, что оно элементарно не работает. Можно экспериментально показать, как человек запоминает больший объём информации с меньшими усилиями. Эту хуйню, можно объяснить шенноновской информацией, но переебёшься объяснять. А вот информацией построенной поверх байесовской вероятности — всё это объясняется легко. То есть даже не просто объясняется, а позволяет нацелить дальнейшие исследования памяти человека, чтобы лучше понять как она работает. Шенноновское определение информации отжило своё. Пользуясь им информатика научилась ползать. Теперь пора брать в руки более серьёзное определение и учиться ходить. Сегодня, когда статистическое обучение алгоритма стало чем-то обыденным, продолжать мыслить в понятиях шеннона — не самая удачная идея. — Срикет

> Если шенноновское определение информации оказалось к чему-то пригодным, это не значит, что это лучшее определение информации Срикет, обрати внимание, пойми и прости. Я не противопоставляю «шенноновское определение информации» и что-то другое, например, информацию, как смыслы. Я их разделяю. Чувствуешь разницу? Птолемеевские эпициклы и коперниковские эллипсы противопоставляются друг другу. Ибо стоит вопрос «как оно на самом деле там крутится?». Но не стоит вопроса, «что на самом деле есть информация? Энтропия или смыслы?». Энтропия отдельно, смыслы отдельно.

> Пришло время послать Шеннона нахуй Вот оно как, Михалыч. Когда пришло время послать нахуй натуральные числа? Послать нахуй Шеннона не придет никогда, точно так же, как никогда не будут посланы нахуй натуральные числа.

> шенноновское определение легко расширяется так, что оно продолжает работать во всех тех случаях, где и работало, но кроме того оно может ещё и субъективность информации отражать Авотхуй. см. ниже

> Люди ничем не отличаются от кристалла кремния — это тоже устройства для обработки информации. Но если ты попытаешься применить шенноновское понятие «количества информации» к человеку, то вскоре выяснится, что оно элементарно не работает Люди отличаются от компутера способами обработки информации. Шенноновское понятие количества информации работает везде. Выяснится другое: моски человеков более удачно обрабатывают информацию, укладывающуюся в некоторые паттерны, в некотором контексте. Пример: компутер получает на вход файл, понимает по некоторой метке, что это видео в таком-то кодеке, и быстро, на лету его декодирует.

> Можно экспериментально показать, как человек запоминает больший объём информации с меньшими усилиями в чем измеряем «усилия»? Я знаю только одну линейку — энергия. Давай пруф, что человек запоминает какой-то объем информации с нарушением принципа Ландауэра. Или не было.

>  А вот информацией построенной поверх байесовской вероятности — всё это объясняется легко а вот тут именно ты заебешься. Ибо что такое байесовская информация (мы же не путаем это с формулой Байеса) до сих пор как-то слабо определено.

> То есть даже не просто объясняется, а позволяет нацелить дальнейшие исследования памяти человека, чтобы лучше понять как она работает Тут скорее направление для исследований понятия «смысла». Уже давно понятие «контекста» используются в кодировании. Уже давно задаются вопросом «какая информация значима, а какая — нет». MP3 и битрейты тому пример.

> Сегодня, когда статистическое обучение алгоритма стало чем-то обыденным, продолжать мыслить в понятиях шеннона — не самая удачная идея Расширение понятия «числа» на рациональные, действительные, трансцендентные, комплексные и всякие кватернионы — не повод для выкидывания на помойку понятия натуральных чисел. Более того, без понимания, что есть натуральное число, все эти изыски остаются недоступными. Компреме?

UPD2. Да хер с ним, со статистическим обучением, как таковым, этому уже 100 лет в обед. А вот то, что появляются алгоритмы, которые после статистического обучения, могут выдать цифру, отражающую уровень негатива автора поста к плану Путина — это сильно, и это уже есть.

> моски человеков более удачно обрабатывают информацию, укладывающуюся в некоторые паттерны, в некотором контекстеС тем же успехом можно сказать эту фразу заменив мозги человека на кристалл кремния, который тоже с некоторыми паттернами справляется на ура, а вот некоторые вызывают у него массу проблем. Потому что, как бы это не звучало тривиально и тавтологично: что есть информация, а что не есть — определяется устройством для обработки этой самой информации. Ты не думал о том, что сегодня в любом сообщении содержится бесконечное количество информации? Пространство вроде как не квантуется в физике, время тоже, то есть любой физический сигнал несёт бесконечное количество информации: скажем время появления сообщения на детекторе — это вещественное число, с бесконечным количеством двоичных разрядов мантиссы. Что ставит крест на каких-либо вычислениях количества информации. Если только мы не ограничим информационную ёмкость сигнала тем, что мы можем из него извлечь. Собственно именно это Шеннон и делает, но это своё деяние он прячет под ковёр, и делает вид, что его не было.

Тут у тебя большая ошибка, которая вопиёт о том, что ты слабо знаком с теоремой Шеннона-Котельникова. Время появления сигнала на детекторе определено с точностью, которое определяется пропускной способностью канала, его шириной. А она всегда конечна. Теория информации в виде теоремы Шеннона-Котельникова как раз и обиясняет, сколько информации за единицу времени можно передать в таком, ограниченном канале. Шеннон (и Котельников) ничего не прячет под ковер, а, наоборот, гордо достаёт.

> Уже давно понятие «контекста» используются в кодировании. Уже давно задаются вопросом «какая информация значима, а какая — нет». MP3 и битрейты тому пример.Используется! В том-то и дело, что используется! Я ведь о том как раз и вещаю. От него никуда не денешься, в разговоре об информации. Но все стыдливо делают вид, что количество информации объективно.

Исчо раз, по буквам. Бонч-Бруевич, Бруевич-Бонч, человек один, а фамилии две. Тут обратная ситуация, слово одно, понятия разные. Шеннону удалось формализовать понятие информации, чем он застолбил этот мем (но не полностью, ибо даже в стандарты пролазят субъективные определения). Смыслы, контексты — это про другое. Попытаюсь пояснить на аналогиях. Есть земля, гумус, навоз. Его можно измерять, кислотность там всякая, содержание гуминовых кислот, и прочего. А есть помидорки на нём выросшие. Шенннон изучает навоз, более политкорректно — субстрат. И его свойства. Что на нем вырастет, какие смыслы в виде помидорок — это другое.

> Расширение понятия «числа» на рациональные, действительные, трансцендентные, комплексные и всякие кватернионы — не повод для выкидывания на помойку понятия натуральных чисел. Более того, без понимания, что есть натуральное число, все эти изыски остаются недоступными. Компреме?И чё? Прослушав курс ТФКП, я все вещественные числа воспринимаю как частный случай комплексных. Хотя не, вру. Всё же с тех пор прошло много времени, и частный случай вещественных вновь стал для меня основным. Но натуральные — это совершенно определённо частный случай более широкого явления. В каком бы там порядке мне не рассказывали про числа в моём школьном детстве, всё равно натуральные числа для меня частный случай вещественных. Мне рассказывали про числа начиная с натуральных из каких-то педагогических соображений, а не потому, что так математика устроена. Так и шенноновская информация — это частный случай общего явления. Ну а как это называть — «выкинуть на помойку» или «сделать частным случаем» — это уже дело вкуса. Мне похуй как это будет называться.

Ты переворачиваешь с ног на голову. Есть законы Ньютона. Их Лагранж с Гамильтоном исчо обобщили, разработав, соответственно, Лагранжев и Гамильтонов формализм аналитической механики. Он вполне применим к движению небесных тел (на раз-два выводятся законы Кеплера, например), он вполне применим к движению волчка (всякие прецессии и нутации), он вполне применим к движению в периодическом потенциале. Информация Шеннона это не «частный случай» — это база, фундамент.

Я не переворачиваю с ног на голову. Дело в том, что тут нет ни ног, ни головы. Нет даже верха и низа. Верх и низ — это свойства твоего эгоцентризма. Это свойства твоего разума, которые ты проецируешь на реальность. Поэтому тебе кажется, что ситуация переворачивается с ног на голову.

Ну или то же самое, но менее образно. Если мы возьмём утверждение: «есть теория X, и есть её обобщение Y», то оно эквивалентно утверждению «X — частный случай Y». Дедукция и индукция — это операции обратные друг-другу. Какая же из них первична, а какая вторична — не важно на самом деле. В данном случае, не важно.

> Шенннон изучает навоз...Да. Я понял твою точку зрения. Ты этих слов от меня ждёшь? Давай я ещё раз их скажу: я понимаю, что ты хочешь сказать. Давай я ещё своими словами перескажу твою точку зрения вкратце, чтобы убедить тебя в том, что я понимаю тебя. Тебе очень нравится определение информации данное Шенноном. Ты умеешь этим определением пользоваться в достаточной мере, для того чтобы справляться с теми задачами, с которыми тебе приходится сталкиваться. Более того, ты знаешь, что любую задачу обработки информации можно решить на базе определения информации данной Шенноном. Даже если в условии задачи присутствуют слова типа «смысл». Тебя эта ситуация устраивает, и ты даже боишься помыслить о том, чтобы изменить её — ведь переучиваться придётся. Пять лет ВУЗа коту под хвост. Кошмар! Как тебе моё изложение? Его достаточно, чтобы ты понял, что нет никакой необходимости повторять мне раз за разом твоё мнение? Количество повторов твоего мнения во входном потоке информации никак не увеличивает количество получаемой мною информации. Информации о твоём мнении я не получаю больше, а вот гипотеза о ригидности твоего мышления всё более и более набирает вес.

Нифга ты меня не понял, почему и приходится повторять одно и тоже по 100500 раз в разных формулировках. Таки еще раз:

«Информация» — это не что-то одно, которое можно по разному определять. Это существенно разные вещи, и говоря это слово всегда нужно уточнять, что же имеется в виду.

Ты совершенно не верно меня понимаешь, считая что я ограничиваюсь пониманием «информации» исключительно по Шеннону. Более того, всякие технологии по поиску в информации смыслов — это тренд в текущем историческом моменте. Другое дело, что опередить понятия «смысл» и «контекст» всё еще довольно сложно: либо получается очень ограниченное определение, но с которым можно работать (например, понятие «контекст» в кодировании), либо определение расплывается и становится философским.

По частностям. Ну и твой подход, мол заменим частотную вероятность байсовской и всё у нас получится, вызывает возражения. Байесовская вероятность определяется субъективно, обязательно должен быть субъект, который её оценивает, что (при автоматической обработке) невозможно почти никогда.

Много вопросов возникает однако

...энтропия — это логарифм вероятности нахождения системы в данном состоянии, то есть логарифм количества всевозможных скоростей и положений мелких частиц...

А что такое «количество скоростей»? А в каких именно «положениях» может оказаться «мелкая частица»? А что происходит с «крупными» частицами? Они типа сидят на «положенном» месте и «количество скоростей» у них равно нулю?

А ты попробуй объяснить на пальцах: «энтропия пропорциональна логарифму объема фазового пространства».

Можно на пальцах обьяснить что такое статистический вес системы, не изобретая НЕХ типа «количества скоростей». Например:

Представь себе Анон следующую «физическую систему»: шкаф с тремя полками, на которые твой папа-алкоголик ставит стаканы после очередной попойки. Давай предположим, для простоты, что стаканов всего три и они абсолютно одинаковы (ты и твой папа — нищеброды). Когда бухой папа засовывает в шкаф стаканы, он нифига не соображает, то есть, стаканы по полкам он расставляет совершенно случайно. И так, возможны несколько вариантов. Давай рассмотрим два из них. Первый — все три стакана оказываются на нижней полке. Второй — на каждой полке по стакану. В первом случае, твой никчемный папаша совершает три раза одно и то же чоткое действие: вытаскивает стакан из посудомойки и ставит его на нижнюю полку. То есть, использует единственно возможный, в данном случае, способ перемещения стаканов в шкаф. Во втором случае, папашка может поставить первый стакан на нижнюю полку, второй — на верхнюю, третий — на среднюю. На следующий день, папик может начать с засовывания первого стакана на среднюю полку, второго — на нижнюю, а третьего на верхнюю и т. д. Короче, состояние системы шкаф-стаканы, в котором стаканы распределены по полкам равномерно, может быть реализованно твоим бухим предком 9000-ми 9-ю способами. A вот состояние, в котором все три стакана аккуратно стоят на нижней полке может быть осуществлено всего одним способом. А теперь подумай, какой расклад стаканов по полкам будет более вероятен — три стакана аккуратно так на нижней полке или по стакану на каждой? Ты не поверишь, в статистической физике все как у людей. Вот только вместо полок — дискретные значения энергии, а вместо стаканов — молекулы-атомы, ну и вместо бухого папика — тепловой резервуар. Распределение трёх стаканов по трём полкам в шкафу может быть описано в виде ряда из трёх чисел: (3,0,0) для трех стаканов на нижней полке или (1,1,1) для трёх стаканов на трёх разных полках. В статистической физике, такой ряд чисел называется конфигурацией системы, а число способов, которыми такая конфигурация может быть создана, называется статистическим весом конфигурации или количеством микросостояний системы. Так вот, энтропия, согласно гипотезе Больцмана-Планка, есть ни что иное как логарифм статистического веса наиболее вероятной конфигурации системы. Такие дела.

«Количество возможных скоростей (и положений)» — может быть не очень удачное объяснение объема фазового пространства. Но на твоё объяснение получим резюм «многабукафф, нихуя не понял». Кроме того, оно довольно правильно для систем с дискретными уровнями, но пока говорим же о классических…

ПС: по крайней мере, сентенцию «энтропия — это логарифм вероятности нахождения системы в данном состоянии» надо наверное периписать как «энтропия — это логарифм термодинамической вероятности (ака стистического веса) нахождения системы в данном состоянии», на сколько я понимаю.

И придется объяснить, что такое термодинамическая вероятность (ака статистический вес)… Вообщем, ты это, пиши, предлагай ещё. Может чего и скомпонуем.

Но ведь что такое «количество возможных скоростей», ты то же не обьясняешь. Вряд ли человек не в теме поймет что ты имеешь в виду. Термин «термодинамическая вероятнось» хотя бы погуглить можно.

«количество возможных скоростей и положений» хотя бы представить можно, в тексте ниже дается пример с чашкой. А вот отсылка на викпедию ничего не даст. Там более менее объясняется для квантового (дискретного случая), а для классики рассматривается «квазиклассическое приближение», которое замыкается опять же на определение фазового объема, статьи про который нет. То есть дать ссылку на w:Статистический вес — это послать нахуй, но по длинному маршруту.

Энтропия, если уж писать вероятностное (информационное) определение, это «вероятность логарифма» — матожидание от логарифма фактического распределения (30% — «холодные», 70% — «горячие»), а не логарифм вероятности. Но, да, просто про энтропию не написать. Вот такая она, зараза! Пытаясь её описать поточнее неизбежно увеличиваешь энтропию статьи :). Так что не надо ничего дописывать — пусть будет как есть: коряво, но более-менее понятно.

> Энтропия, если уж писать вероятностное (информационное) определение, это "вероятность логарифма" - матожидание от логарифма фактического распределения (30% - "холодные", 70% - "горячие"), а не логарифм вероятности, так и написано про информационную энтропию. Же.

И да, небольшое уточнение: энтропия — это всё же не мера хаотичности, а мера сложности системы. Например, код винды явно имеет большую энтропию, чем код сапёра. Однако ж сказать, что код (не сама программа!) винды хаточнее кода сапёра как-то, наверное, неправильно.

Тут важно то, что понимаем под «хаосом». С точки зрения термодинамики: что «сложность», что «хаотичность» — одно и то же. С точки зрения Шеннона уже не совсем так: есть информация, и есть шум. Чем более высокий уровень абстракции, тем дальше расходятся «сложность» и «хаотичность».

Если серьезно, статья о втором начале об энтропии, на данном этапе, превратилась в статью по теории информации. Это очень интересно. Но, может быть, стоит запилить отдельную статью про Шенновскую энтропию? А то, как-то странно все выглядит — не раскрывая, как следует, тему энтропии, с точки зрения термодинамики-статистической физики, авторы ударились в сверхдетальное описание Шенновской энтропии. Кстати, вопрос об эквивалентности понятий, это та тащемто тема, на сколько я понимаю.

Есть подозрение, даже уверенность, что отдельных статей про термодинамику и теорию информации Шеннона не появится в обозримом будущем. А вот статья немножко про термодинамику и немножко про теорию информации, связанная понятием энтропия — вот она, скоро будет готова.

Кстати, вопрос об эквивалентности понятий будет рассмотрен в разделе, от которого пока только заголовок.

Культурота и картиночки

неравнодушным помошникам предлагается:

• Притащить веселых картинок на тему «энтропии» и «информации».
• Развернуть раздел про культуроту. В текущем виде (какое одно аниме и какая-то никому неизвестная группа) он никуда не годится. Если не разовьется — будет снесен КЕМ.

Конец не за горами

Текст практически готов. Позже добавлю только расчет изменения массы жесткого диска при записи информации, для лулзов. Принимаются пожелания, замечания в части стилистики и понятности текста для целевой аудитории.

информационная энтропия

Про информационную энтропию как бы всё понятно. Как программист, который с ней работал, я могу сказать что всё верно. Сам писал программу которую вычисляет энтропию. Используется не только архиваторами, но и антивирусами в качестве дополнительных факторов детекта вирусов (для говна типа Sophos или Avira фактор наверно основной). Так вот в этом частном случае используются такое понятие как энтропия первого порядка: алфавит от 0 до 255, единица изменения — один байт. Также есть ещё энтропия второго порядка (алфавит от 0 до 65535, единица два байта). Так вот договорились что энтропия первого порядка измеряется от 0 до 8. 0 — это нет энтропии, 8 — это максимум. Так вот согласно это формуле если 256 раз написать байт со значением, допустим, 56, то у этого блока энтропия 0, если написать по порядку байты от 0 до 255, то энтропия 8. Логично и правильно, ибо энтропия максимальная (если тыкнуть на случайный байт, вероятность что там окажется окажется какой-то всегда одинаковая — 1/2⁸), всё правильно. Не придерёшься. Но возникает логический парадокс > Четыре тома, исписанных фразой «мама мыла раму», содержат больше информации, чем тома с буквой «а», но меньше, чем «Война и мир», это тоже понятно даже с точки зрения банальной эрудиции. При этом каждый новый символ, записанный в книжку, должен добавлять, увеличивать информацию допустим что «мама мыла раму» это последовательность из 256 байтов которые идут по порядку от 0 до 255. Итак, мы берём наше предложение и повторяем 100500 раз, где беспорядок? всё в порядке! Но по формуле шеннона мы имеем энтропию — 8, масимальная энтропия, пиздец. Мы имеем «мама мыла раму» повторённую 100500, при этом энтропия максимальная и невозможно придраться (ибо если тыкнуть на случайный байт, вероятность что там окажется окажется какой-то всегда одинаковая 1/2⁸), но информации никакой. Поэтому совместно с энтропией первого порядка надо использовать что-то ещё (энтропия второго порядка не всегда подходит из-за своей относительной вычислительной сложности, и де-факто бесполезности). — 00:57, 19 мая 2016 (MSK)

Я знал, я знал, хехе.

Небольшой коммент. Коноiчно энтропия изменяется от 0 до 1 в единицах измерения, соответствующих размеру алфавита. Чтобы сравнивать для разных алфавитов, надо привести «к общему знаменателю», что похоже ты и сделал.

Пусть имеется файл из символов «U» (0x55). Считаем энтропию в алфавите из байтов. Получаем ноль (минимум из возможных), так как появляется только один символ, и его вероятность — 1. Считаем энтропию в бинарном алфавите, получаем 1 (максимум из возможных), так как ноль и единица встречаются с одинаковой частотой. Парадокс. Парадокс разрешается тем, что частотная вероятность — это только приближенная оценка вероятности появления символа. Для корректного расчета энтропии (и информации) надо брать условную вероятность, причем не такую, как в википедии, а в виде «какая вероятность появления символа, при условии его появления на данном месте» Тогда все сходится: во втором случае вероятность появления нуля на нечетном месте — единица, вероятность появления единицы на четном месте — тоже единица, энтропия ноль. Другое дело, что посчитать условную вероятность в таком виде практически невозможно. Поэтому на практике используют всякие приближения, например считают вероятность в модели марковских процессов («энтропия n-го порядка», где n — длина марковских цепочек в модели).

Если есть желание, предыдущий абзац можно въебенить в статью в нотабене.

Еще коммент. В случае «мама мыла раму» основная информация содержится в самой фразе, и еще немного в количестве её повторений. Поэтому, если уж совсем точно, во последовательности байт от 0 до 255, повторенной дохуя раз, информации все таки не ноль. Но гораздо меньше, чем могло бы, это да.

Примеры в культуре

Добавьте в статью упоминание винрарнейшего рассказа Айзека Азимова "Последний вопрос": http://lib.ru/FOUNDATION/question.txt и клип/песню группы Complex Numbers - Неизбежность

Пример информационной энтропии

ИМХО, пример информационной энтропии — современное искусство. Полотна в два цвета без названия, продающиеся за бешеные деньги по всему миру — яркое проявление т. н. «умственного похмелья» нашей эпохи. Упрощение образов происходит вплоть до «дематериализации» объектов.

Это только потому, что ты не въезжаешь в то, что такое искусство. Информация субъективна, чтобы там не вещал Шеннон. И если ты не понимаешь искусства, то оно для тебя естественно будет тупым хаосом. Даже понятие приятно и неприятно звучащего аккорда — это навязанное культурой понимание: учёные нашли племена не знакомые с европейской музыкальной традицией, и хоть они и могли отличить аккорд А, от аккорда Б, но они не считали, что аккорд А звучит лучше или хуже чем Б. Даже если один из них был явно диссонантен.

Информация субъективна. Люди не слушающие классику выпадают в осадок от Баха, потому что Бах для них звучит как напрягающий диссонантный шум. Не все слушающие классику могут воспринимать Шнитке — для этого элементарно нужен бекграунд, наработанный прослушиванием музыки и вниканием в неё. А ты не можешь воспринимать современное изобразительное искусство, потому что у тебя нет этого самого бэкграунда. Современное искусство далеко от народа. Но для народа есть шоу-бизнес, в котором ноль искусства, зато понятно любому дебилу. — Срикет (обсуждение)

Срикет, ты опять меня разочаровываешь в тебе. Писал вроде ранее, но повторюсь. Гениальность Шеннона (и Котельникова, не будем забывать) в том, что он отбросил связь информации со смыслами, контекстами и бэкграундами. И осталось дофига чего, чего-то такого, с чем можно работать математическими методами. Информация по Шеннону и «субъективная информация» — это две совершенно разные штуки, и не надо их смешивать. Впрочем, в статье об этом написано. ЗЫ, ОП — хуй и говно, это даже обсуждать скучно.

Да я слышал. Мне похуй. Наука не стоит на месте. Сегодня, через ~100 лет после появления ОТО и КМ, наконец не только физики начали понимать, что объективность субъективна, субъективность объективна, а Шеннон нихуя не учёный, а тупой технарь. И я не собираюсь обсуждать это ещё раз. — Срикет (обсуждение)

Бывает, что одним и тем же словом называют разные вещи. Но считать их одним и тем же, под преддогом, что «наука не стоит на месте» — это признак, эээ, того что, надрачивая интеллект ты занимаешься суходрочкой. «не только физики начали понимать, объективность субъективна»: пруф, или ты опять чего-то недопонял.

У тебя по сути возражения есть, или только переводы стрелок на якобы «неверное» понимание энтропии? Я привёл выше эмпирические данные подтверждающие субъективность восприятия музыки. Ты с ними не согласен? Или ты не согласен с тем, что современная художественная мазня и цветное пятно в форме говна на холсте — это всё же искусство, несущее вполне определённый смысл? Или, всё же, как и все ватники, тебе совершенно нечего сказать по сути, и поэтому ты переводишь стрелки уводя разговор в ту степь, где тебе есть что сказать? Если последнее, то, скажу я тебе: иди нахуй. Если что-то из предыдущего, то будь добр, засунь себе в жопу разговор о правильности определения энтропии, и конкретизируй претензии по сути. — Срикет (обсуждение)

Ты там совсем упоролся? Надрочил интеллект так, что уздечку порвал? Ты, блджад, именно ты, начал свой первый пост в этом треде словами «информация субъективна», и джва раза повторил их. Так о каком неверном понимании энтропии ты тут лепишь? Что касается сути, то повторю, раз не доходит до тебя: под словом «информация» могут пониматься совершенно разные вещи. И их нельзя ни противопоставлять, ни объединять, только потому что они называются одним словом. Их можно и нужно только различать.

> Надрочил интеллект так, что уздечку порвал?Очевидно, да. Ты явно не догоняешь. Иди тренируйся на кошках. — Срикет (обсуждение)

Можешь и дальше надувать щеки, делая вид, что тебя не понимают, потому что очень умные вещи говоришь. Но на поверку, ты просто напыщенный дурак, путающий слова и смыслы.

Эммм, ребят, спасибо а можете объяснить в чем я конкретно по-Вашему не прав? Ладно, я «хуй и говно» и слушаю Децла с Киркорычем. Вкуса и образования у меня нет и вообще раздался голос со стороны параши. Но если вы тут все такие умные, то можете сказать хотя бы в чем смысл этой дрисни из трех квадратов и двух треугольников? Или опять как ссыкливые пидарасы, у которых нет мужества отстаивать свою позицию сойдете на: «а хуле с тобой разговаривать, быдло»? Даже про принцип работы архиватора написано, что для максимального сокращения объема информацими при сохранении файла, необходимо привести информацию к состоянию хаоса. Если что, сижу с планшета, поэтому прошу прощения за смысловые и орфографические ошибки. — ОП

Если ты пошаришься по интернету, то ты сможешь найти кучу примеров сообществ, чьё творчество непонятно непосвящённым. Когда для того, чтобы въехать, почему все ржут, надо ознакомиться с локальными мемами, с историей сообщества и научиться определённым образом думать и воспринимать. Вероятно, я совершенно напрасно рассказываю, потому что ты уже сталкивался с таким и знаешь примеры без моих подсказок. Ну так вот, то, что называют современным искусством — это такое же сообщество, со своими мемами и со своей историей, только сложнее чем интернет-сообщества, потому что история этого современного искусства тянется с Древней Греции, и первые мемы родом именно оттуда. Кроме того, эта история тесно переплетена с развитием европейского мировоззрения, она неотделима от неё (собственно почему культуру и изучают философы), и для того, чтобы реально въезжать в то, что происходит сейчас, надо взять какой-нибудь труд по истории искусства, или по эстетике, или… я хз, если честно, какой именно труда надо брать, потому что сам знаком с темой понаслышке. Но если интересно, то найди философа с дипломом, и он тебе расскажет что надо делать/читать, чтобы въехать.

Возвращаясь же к современной дрисне, называемой искусством, то мой первый коммент здесь как раз и демонстрирует то, что оно из себя являет и какой в нём смысл. Что такое искусство? Вот если взять и попробовать сформировать критерии для определения того, что есть искусство, а что не есть, то что это будут за критерии? Искусство искало эти критерии начиная с древней Греции, наплодив на пути кучу лулзов и мемов. Но на сегодняшний день самый лулзовый лулз и самым меметичный мем — это то, что искусством является то, что мы считаем искусством. Если мы будем восхищаться формами и цветом кучи говна, то эта куча говна будет искусством. И современное искусство заключается в создании креативов, раскрывающих эту тему со всех сторон. Креативов демонстрирующих эту тему. Креативов опровергающих эту тему. Стёба над подтверждениями. Стёба над опровержениями. Стёба над стёбом. Опровержениями стёба над стёбом над подтверждениями. И так далее. Короче, это процесс, который можно наблюдать в любом интернет-сообществе, но со своими нюансами. — Срикет (обсуждение)

Срикет, как обычно, развел воды и изнасиловал сервер килобайтами умозрительных утверждений. Можно всё сказать гораздо короче.

Что такое искусство? Определений до хрена, выберем какое-нибудь для определенности, хоть из википедии: «В наиболее общем смысле искусством называют мастерство, продукт которого доставляет эстетическое удовольствие. Энциклопедия Британника дает следующее определение: „Использование мастерства или воображения для создания эстетических объектов, обстановки или действия, которые могут быть разделены с окружающими“. Таким образом, критерием искусства является способность вызывать отклик у других людей».

Итак, важнейшим критерием является способность доставлять «эстетическое удовольствие», через создание «объектов, обстановки ил действия». Не маловажным является возможность разделение этого с окружающими.

Это всё предполагает контекст. Некоторый смысловой слой, а может и множество смысловых слоев.

Таким образом, искусство (и объекты, произведения искусства) не могут служить иллюстрацией «информации по Шеннону», а наоборот — это иллюстрация «информации со смыслом», информации в каком-то контексте.

Ежели ОП не видит смысла в каких-то произведениях искусства, тут варианта джва: либо аффтор-мудак, креатив говно; либо ОП — быдло и не способен воспринимать эти произведения, не владеет необходимым контекстом. Судя по задаваемым вопросам, второе — более вероятно.

Авторам +

статья ок, но она просто обязана заканчиваться последними строками о безысходности в разделе НИиБД, поэтому вынес эту вышу невостребованную культуроту в преамбулу, применив щадящее обрезание. Есть возражения или предложения по улучшению?

Ну ты сказанул. «Перестройка», я аж напрягся. А оказалось малозначимая правка. Впрочем, Кустракита надо спросить, ему постоянно нужен итоговый раздел, кагбэ отвечающий на вопрос «И чо?». — Мимо проходил соавтор

Есть тут и такие ревнители, что из-за замены слова более подходящим синонимом начинают выплёскивать говно. Тот раздел вообще никак не может отвечать требованиям итогового, так что здесь я не причастен.

Я и сам из-за замены слова более подходящим, по мнению заменителя, синонимом могу шум-гам устроить. Но это не тот случай. Кустаркит, БТВ, тоже сказал, что ему похуй. Так что проехали.

Имеется в виду не субъективное мнение, а по факту, те синоним может выражать больше или быть благозвучнее и вписываться в текст, а не торчать из него, вызывая запинки при чтении. А что изменилось за полгода-год? Теперь по каждой правке даже пропитые участники ходят на благословение к модераторам? Ну нахуй такое движение.

Ничего не изменилось. Кроме того, что ты чего-то попутал. Это ты спросил мнение про правку. Я просто вспомнил, что по подобным правкам может быть не равнодушен Кустракит, об чём его и спросил при случае. А то, что мнение авторов, было важнее мнение мимИкрокодилов, но менее важно, чем мнение модеров — так так всегда было.

К каким правкам? Я сюда зашел отписаться только потому, что у кого-то могло заполыхать от того, что я потер про их любимую песню какой-то группы или что-то вроде. Тощий и унылый раздел с культурой не мог и не был итоговым, так что не знаю зачем было интересоваться у кого-то по поводу правильности или нужности правки. Мнение модераторов — это такое же мнение, а иногда даже менее компетентное. То, что только они решают какие статьи будут жить, а какие — нет, это уже совсем другой расклад. Да и то решения оспариваются и пересматриваются постоянно. Так что не знаю нахуя, хотя бы конкретно в этом случае. Ну да ладно, проехали, да. — мимИкрокодил

Алсо

В Обле было заклинание «Стрела энтропии», благодаря которому я был одним из немногих в группе, кто знал значение этого слова ещё до того, как об энтропии сказали нам в универе.

Общее впечатление от статьи и от обсуждения оченно скомканно. Кучно подкладено, но не в смысле меткости. Вангую, шо сие происходит от непонимания сути понятия «система». Применительно к физике (как там в теории информации, сам чорд сломит берцовые кости) «системой» можно назвать только множество таких, по велению левой пятки наблюдателя сгруппированных элементов, между которыми происходит «взаимодействие». Где нет последнего, там нахер нет никакой системы. И как следствие, в системе с хотя бы одним невзаимодействующим элементом нет и не может быть энтропии.

чёй-то куда-то тебя унесло, в ебеня какие-то. Системой можно назвать множество элементов, сгруппированных по велению левой пятки наблюдателя-группировщика, это так. По сути группировка в «систему» — это вопрос удобства: если можем вот так удобно сгруппировать, чтобы это были внутренние связи\взаимодействия, а вот это — внешние, то и заебись.

теперь проводим границы системы так, что в неё включается элемент никак и никогда не взаимодействующий с элементами уже включенными в систему. Тут есть джва варианта.

1. Этот элемент взаимодействует (как-нибудь или когда-нибудь) с внешней средой. Связи системы с внешней средой стали сложнее, а нахуя? Просто выстрелили себе в ногу такой группировкой.

2. Этот элемент не взаимодействует с внешней средой (никак и никогда). Ну, и хуй с ним. Можем включить, можем не включить. Вопрос только в том, этот элемент вообще ни с чем и никогда не взаимодействует. И что он вообще такое?

Занятен (в разрезе понятия «изолированной системы») вопрос о допустимости непосредственного/опосредованного взаимодействия. И если опосредованное (независимо от числа «опосредованностей» перехода одного взаимодействия в другое) взаимодействие считается, то Вселенная таки изолирована. Если же в цепочке «влияющий элемент системы» — «разновидность взаимодействия» — «влияемый элемент системы» под «разновидностью взаимодействия» подразумевать только непосредственное (прим., молекула 1 хуярит на всей скорости с разбегу молекулу 2 — непосредственное взаимодействие, молекула 1 жахает молекулу 3, которая, в свою очередь бьет молекулу 2 — опосредованное), то не бывает системы более, чем из двух элементов.— Мимо проходил

> то не бывает системы более, чем из двух элементов Это какая-то философская замутка. Вероятность, что выбранная молекула в воздухе за фиксированное время столкнется с другой выбранной молекулой сильно падает с увеличением начального расстояния между ними. Но баллон идеального газа остается баллоном с идеальным газом, вне зависимости от его размера и времени наблюдения.

Мысли

Нету никакой энтропии, хаос это тоже порядок, просто непонятный нам. "Разбилась чашка, мы не увидим обратный процесс" потому что нету никакого "обратного процесса", всё движется только вперёд во времени. К тому же кому-то разбитая чашка будет интереснее или нужнее, всё относительно.

"Тепловая смерть" тоже фигня, ведь тепло изниоткуда не берётся, и всё стремится к равновесию.

Похоже учёные любили троллить глупый народ.

— Мимо проходил