Сложность текста можно оценить формально — через теорию информации, не привлекая лингвистику, экспертов и не погружаясь в смысл. Такой подход даёт гарантированную верхнюю оценку информационного объёма текста на уровне букв и знаков, говорится в разборе меры Хартли.
Мера Хартли предполагает, что все символы алфавита равновероятны и независимы: информационный объём равен числу символов, умноженному на логарифм мощности алфавита. Для реального текста это заведомо завышенная оценка, но именно она задаёт «потолок» объёма. Сам Ральф Хартли в статье 1928 года использовал десятичный логарифм, а привычная запись с битами — более поздняя конвенция, восходящая к работам Шеннона.
В разборе три условных типа текста: простой с русскими буквами без регистра, цифрами и базовой пунктуацией; сложный технический с русским, английским и греческим с регистром, цифрами и операторами; очень сложный научный с добавлением математических глифов TeX. Пробел и пунктуацию автор включает в алфавиты, поскольку это различимые символы, реально встречающиеся в тексте.
По этим оценкам сложный технический текст «тяжелее» простого в несколько раз, а очень сложный научный — примерно в 2,4 раза тяжелее простого. Это не оценка смысла, понимания или времени чтения, а оценка потенциального разнообразия алфавита — сколько бит в среднем мог бы нести каждый символ, если бы все символы встречались одинаково часто.
Польза меры в том, что она превращает интуитивное ощущение «этот текст сложнее» в конкретные числа, обоснованные математической теорией, а не субъективным мнением экспертов. Подход применим не только к текстам, но и к нотным записям, кулинарным рецептам — к любой системе различимых символов. При этом по такой мере нельзя судить о понимании, времени чтения или качестве текста: осмысленное предложение и бессмысленная абракадабра из тех же символов дадут одинаковый результат.
Для оценки сложности в привычном смысле нужны другие инструменты, например колмогоровская сложность, которая принципиально невычислима: не существует алгоритма, гарантированно выдающего истинную сложность произвольной строки. Мера же Хартли даёт вполне вычислимую оценку.
Реальная энтропия связного русского текста, по разным оценкам, составляет порядка 1,5–2 бит на символ против 6 бит у верхней границы Хартли; уточнить расчёт можно по формуле Шеннона, учитывающей частоты символов. Если принять страницу текста за 2000 знаков с пробелами, простая страница несёт около 1500 байт, примерно 1,5 КиБ, а страница с богатым алфавитом — до 3,5 КиБ потенциальной информации.