Поэтому пересечение теории информации и физики происходит только в области термодинамики. А в общем случае они не пересекаются. И это, видимо, не случайно.
Дело в том, что физика - это наука о природе. Её законы извлечены из природы.
Информатика - это наука о знаковых системах, которые в природе не существуют. Они от начала и до конца придуманы людьми с целью их использования (кроме прочего) для моделирования реальности. Законы информатики созданы человеческим разумом.
На самом деле не совсем точно, что знаковые системы придуманы людьми. Окружающий нас мир мы воспринимаем как систему знаков (не тождественных реальности), то есть мы отроду прошиты какой-то знаковой системой. Но всё же если говорить о природе, то в ней нет знаковых систем как сущностей - в ней есть процессы, которые аналогичны знаковым системам. Ведь когда мы говорим, что воспринимаем окружающий мир как систему знаков, мы просто обнаруживаем точную аналогию процессов восприятия придуманным всё-таки нами законам знаковых систем.
Отсюда вот какой интересный вывод. Законы информации выполняются в наблюдаемой нами природе не потому, что они присущи природе, а потому, что мы, воспринимая природу, отображаем её на систему знаков. Поэтому в любом мыслимом восприятии любой части природы законы информатики будут верны, и поэтому же конкретные количественные проявления информации будут зависеть от выбора знаковой системы, используемой для восприятия.
Из этого общего правила есть одно важное исключение - термодинамика. Законы информации выполняются в термодинамике "от природы" потому, что выводятся тем же путём, что и в знаковых системах - через логарифмирование числа сочетаний. При этом в термодинамике исчезает зависимость информации от выбора знаковой системы, потому что система по природе не знаковая. В любом отображении термодинамики на любую мыслимую знаковую систему, если это отображение адекватно (то есть множество теорем является подмножеством множества истинных высказываний), количество информации будет одним и тем же, зато появятся сильные (чисто физические) ограничения на хранение, обработку и передачу информации, которых нет в теории знаковых систем. Эти ограничения позволяют установить некую эквивалентность между энергией и термодинамической информацией в границах, задаваемых самой термодинамикой.
Здесь, кстати, возникает метафизический вопрос о том, что такое сочетание в физической реальности. Понятие сочетания так или иначе предполагает если не метрику, то, по крайней мере, порядок, а современная физика склоняется к позиции, что любая метрика и любой порядок в природе должны быть выводными понятиями, вытекающими из соответствующим образом сформулированных законов симметрии.
А теперь самое вкусное, ради чего всё вышесказанное и написано. Тот факт, что теория информации - это теория не о природе, а о некой идеальной сущности, может иметь следующие импликации.
1) Вселенная не подчиняется теории информации; однако всё то, что есть во вселенной, но не может быть описано на языке теории информации, непознаваемо и непредставимо. Я придерживаюсь этой гипотезы. В частности, подозреваю, что квантовая механика имеет в своей фундаментальной основе принципы, не представимые ни одной системой знаков.
2) Теория информации более фундаментальна, чем законы природы, и относится к числу принципов, из которых законы природы могут быть выведены. Этот вариант не очень согласуется с историей возникновения теории информации, но зато очень платоновский. Можно считать его следующим шагом, который предстоит каждому принявшему онтологическое объяснение "непостижимой эффективности математики".
3) Теория знаковых систем, а значит, и теория информации неким неизвестным нам образом выводима из пока ещё не изученных фундаментальных законов природы - законов сохранения, законов симметрии (инвариантности). Это было бы странно, но в природе нет ничего такого, что запрещало бы такой оборот событий.
Кстати о симметриях: начитавшись Вайнберга, я готов предложить новую симметрию, которую физики, кажется, ещё не придумали: симметрию относительно существования. Суть её в том, что законы природы должны оставаться одними и теми же не только при перемещениях, поворотах и ускорениях систем отсчёта, не только при замене левозакрученных электронов на левозакрученные нейтрино или на их суперпозицию и т.д., но и при замене любой частицы на отсутствие какой-либо частицы или на суперпозицию наличия-отсутствия
Существует ли (возможна ли) в теории групп какая-то группа, обладающая таким свойством? Если существует - было бы интересно примерить её к физике 
Надо будет почитать что-нибудь не слишком профессиональное на эту тему.
