Переосмысление энтропии. Сжатие и искусственный интеллект. Часть 1

Какова фундаментальная сжимаемость языка? О том, что «сжатие — это интеллект» Пример разминки Как выглядит идеальное сжатие Определение информации Информация о языке Определение энтропии Способ визуализации энтропии, представленный здесь, я впервые увидел в этом замечательном посте Криса Олаха: https://colah.github.io/posts/2015-09-Visual-Information/ «Математическая теория связи» Шеннона: https://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf «Предсказание и энтропия печатного английского языка» Шеннона: https://www.princeton.edu/~wbialek/rome/refs/shannon_51.pdf Статья в Scientific American, в которой упоминается история о том, как фон Нейман предложил название «энтропия»: https://www.esalq.usp.br/lepse/imgs/conteudo_thumb/Energy-and-Information.pdf