Наступило время переводить все наслоения цивилизации в цифровой формат.

Проблема в том, что чем дальше мы погружаемся вглубь ушедших времен, тем сложнее продвинутым компьютерным системам справиться с оцифровкой книжного наследия.

Сколько вешать в цифрах

На первый взгляд разнообразных цифровых библиотек в мире уже существует великое множество. Но если к ним приглядеться внимательнее, становится понятно, что у большинства из них есть одна особенность: книги выкладываются во Всемирную сеть в формате «картинки». Чтобы ее получить, используются специальные книжные (так называемые, планетарные) сканеры, которые позволяют проводить съемку страниц бесконтактным способом — с помощью качественной цифровой камеры через стекло, отделяющее фолиант от аппаратуры съемки. Стоит такой сканер порядка 10—15 тысяч долларов, а более совершенные роботизированные сканеры, в которых страницы переворачиваются не вручную, а с помощью бережного поддува воздуха, — 200—250 тысяч долларов. Снимок тогда получается весьма качественным, читабельным, но вот работать с текстом — анализировать, выделять фрагменты и т. д. — нельзя. Для этого необходимо перевести «картинки» страниц в текстовый формат. И здесь начинаются главные проблемы: старые книги изобилуют декоративными элементами, щедро украшены вязью и стилизованными буквицами. Устаревшие шрифты, которые использовались печатниками пару столетий назад, давно не применяются в массовой полиграфии, а некоторые символы вообще исчезли из современных алфавитов. Потому стандартные «распознавалки» с такими текстами просто не смогут работать, даже если бы книга превосходно сохранилась. Но время не щадит хрупкие листы: бумага темнеет, а текст выцветает так, что местами становится почти неразличим, а некоторые фрагменты текста вообще утрачиваются.

Вот почему в течение последних лет в мире реализуются крупные проекты оцифровки старинных книг. Один из самых масштабных — METAe — был задуман и осуществлен странами ЕС. Причем его главная идея была просто замечательной: речь шла вовсе не о распределении финансирования между разными библиотеками для покупки сканирующей техники и работы с книжными фондами, как мы, скорее всего, могли бы подумать. Вовсе нет. Деньги были выделены на разработку системы компьютерных программ для распознавания любых европейских текстов, напечатанных в период XVI—XIX веков. Главным инструментом стало ПО оптического распознавания, разработанное российской компанией ABBYY. На этом, кстати, участие России в данном масштабном проекте завершилось, потому что ориентирован проект был на тексты, напечатанные с помощью популярных в тот период шрифтов Fraktur, Schwabacher, а также другой ломаной «готики». Fraktur, например, использовался при печатании книг на территории многих современных стран Европы, включая Германию, Австрию, Швейцарию, Голландию, Норвегию, Швецию, Финляндию, а также Грецию, Эстонию и Литву. Он имел хождение даже в XX веке, а в Германии, например, вплоть до 1941 года до 80 процентов документов печаталось шрифтом Fraktur.

Так что получить средства автоматизированного распознавания группы популярных старороманских шрифтов означало для ЕС дать мощный толчок оцифровке практически всей печатной продукции, созданной со времен чуть ли не самого Гутенберга. Овчинка стоила выделки, и на выделенное финансирование команда ABBYY создала с нуля систему распознавания для готических фактур шрифтов. Фактически автоматизированную систему «обучали» распознаванию каждого символа старого алфавита — понадобилось более чем 2500 специально подобранных примеров для каждого готического символа. Затем технологию распознавания протестировали на 31 тысяче страниц оригинальных текстов из различных источников. Но это еще не все. «Чтобы качественно распознавать любые тексты, не только старые, компьютеру мало уметь узнавать символы алфавита. Нужно обладать знаниями о морфологии языка, структуре слов, — рассказывает генеральный директор ABBYY Россия Григорий Липич. — Это позволяет создать дополнительный контекст для анализа гипотез, то есть предположений о том, какое именно слово употребляется в тексте». Это необходимо и для коррекции опечаток, встречающихся в текстах, и для уточнения архаичных выражений, и для выявления неточно распознанных элементов текста. Но вот загвоздка: лингвисты все знают о морфологии современных языков, а для старых языков нужны специальные исследования, которые раньше никто не проводил.

Так у разработчиков из ABBYY появились новые партнеры, опять же наши, российские — лингвисты из новосибирской компании ATAPY Software, которые создали специальные языковые модели для распознавания старых европейских языков. Они проанализировали 10 словарей и более 100 книг, изданных в период с 1750 по 1930 год, и загрузили в систему распознавания 159 новых грамматических моделей, не использующихся в современных европейских языках. Работа была сделана на отлично: на странице текста из 1856 символов средневековой печатной «готики» оказались не распознаны всего четыре. Это означает, что качество распознавания достигает 99,7—99,8 процента. При этом ПО поддерживает сразу пять старых европейских языков: английский, немецкий, испанский, итальянский и французский.

Понятно, что лицензия на ПО распознавания таких текстов не может стоить дешево — за качество и специальные лингвистические исследования заказчикам приходится платить. По оценкам Григория Липича, стоимость лицензии на обработку 2500 страниц текста на одном из старых европейских языков составляет примерно 16 000 рублей, а обработка 25 000 страниц будет стоить около 75 000 рублей. По мировым меркам вполне приемлемо. Кстати, параллельно с собственно распознаванием в этом проекте удалось решить другую задачу — создать специфический словарь периода XVI—XIX веков, который помогает работать с текстами этого времени. «В существующих автоматических системах распознавания никогда не было исторических словарей определенных эпох, — отмечает Евгений Валах, научный сотрудник исследовательского центра IBM в Хайфе, который участвует в очередном европейском проекте оцифровки старых книг IMPACT. — Теперь они появились — английский, голландский и немецкий». А есть ли в этом списке русский язык?

В нашей Отчизне сапожник оказался без сапог: стране, породившей лучшие в мире технологии распознавания языков, такие инструменты особо не нужны. «В России у нас был только один проект по оцифровке библиотечных фондов. Там требовалось распознавание русского языка XIX века, — замечает Григорий Липич. — Этот алфавит отличается от современного лишь несколькими символами, а вот поддержка более старых видов письма и алфавитов кириллицы пока даже не планируется». И это при том, что отечественные лингвисты продолжают защищать диссертации по старорусским текстам, которые явно пригодились бы в работе с архаичной кириллицей.

Почему же прагматичная Европа находит средства для создания цифровой версии национального культурного наследия? Видимо, потому, что культурные процессы там идут рука об руку с политическими. Это для нас, жителей России, понятия «культурная интеграция» и «национальная идентичность» входят в список оторванных от жизни теоретических концепций. Для европейцев же это самая что ни на есть настоящая сегодняшняя жизнь, потому и заказчик там вполне реальный, хотя имя ему — государство. А технологии оцифровки, между тем, там переходят на следующий уровень развития — они пытаются обходиться без участия человека.

Безлюдно и нераспознаваемо

Пока, правда, не создано такой компьютерной программы, которая смогла бы абсолютно самостоятельно распознать старинный текст без какого-либо вмешательства человека. Серьезно подводит, в частности, качество исходных книг. И здесь на помощь библиотекарям иногда приходят эксперты-криминалисты.

Опыт восстановления испорченных документов у них огромный. «Часто граждане обращаются для восстановления рукописных текстов, содержания оттисков печатей и штампов в трудовых книжках для начисления пенсий, когда текст в трудовой книжке почти невидим, а предприятие, на котором много лет назад работал человек уже не существует, — рассказывает Галина Колесникова, эксперт отдела криминалистических экспертиз и учетов УВД по Хабаровскому краю. — Иногда на исследование поступают документы военных лет, обожженные или залитые кровью, личные письма родственников, и экспертам удается восстановить их содержание». Она рассказывает, как однажды к ним обратился погорелец: его дом и имущество полностью сгорели, уцелела только стеклянная банка, в которой он хранил свои сбережения, а в ней — комочек обугленных долларов. Экспертам удалось восстановить достоинство купюр, год выпуска и серийные номера.

Они даже могут восстановить текст, который, кажется, был безвозвратно утрачен. Например, удалось прочитать письмо, которое более 60 лет пролежало в кармане куртки военного летчика — его истребитель был сбит в 1942 году и обнаружен поисковым отрядом лишь два года назад. «Бумага письма сохранилась относительно хорошо, не была порвана, измята, не подверглась воздействию агрессивных сред. Но чернила, которыми был написан текст, стали почти полностью невидимыми, расплылись; даже при микроскопическом исследовании распознать текст письма было невозможно — буквы представляли собой синие пятна, — рассказывает Галина Колесникова. — Нашей задачей было отконтрастировать текст для его дальнейшего распознавания, не применяя при этом разрушающих методов». Задача потребовала многих усилий: было проведено микроскопическое исследование, фотосъемка с различными светофильтрами, исследование при помощи видеоспектральных компараторов в различных режимах освещения, а затем кропотливое исследование с помощью программ графической обработки. Зато весь текст — пронзительное послание девушки о любви, нежности и надежде — удалось восстановить полностью!

И еще одну операцию пока не удается доверить компьютерной программе — вычитку распознанного текста. Ведь даже современный рекорд качества распознавания, о котором говорилось выше, предполагает, что четыре символа на странице были, возможно, определены неточно. С ними приходится работать корректорам — специалистам по древним языкам, а их труд дорог. Интересный подход решила применить корпорация IBM в международном проекте IMPACT: она задумала размещать тексты для распознавания в сети Интернет и затем применять веб-ориентированную технологию crowd computing. Слово crowd («толпа») говорит о том, что речь идет о привлечении через Сеть множества добровольных помощников — корректоров, работающих бесплатно. Рассказывает Евгений Валах: «Наша система отслеживает возможность ошибок каждого конкретного человека. Ему периодически посылаются тестовые слова, буквы для распознавания, и мы получаем статистику ошибок для каждого волонтера. Следовательно, можем подбирать корректоров для каждого конкретного текста. Например, если человек делает один процент ошибок, мы отправляем текст еще двум другим корректорам, если процент ошибок больше, то трем корректорам, и так далее». С помощью такой процедуры можно достичь того уровня ошибок, который задан заказчиком, например 0,5 или 0,1 процента.

Эту систему коллективной корректуры специалисты IBM дополнили алгоритмами обучения компьютерной системы: они постоянно работают с веб-системой, разъясняя ошибки в распознавании текстов. Кроме того, система использует метод адаптивного расширения словаря: новые слова добавляются в основной словарь на базе кросс-идентификации и правки другими пользователями. И вот что важно, подчеркивает Евгений Валах, оцифрованные тексты просто выкладываются в Интернете, и это хорошо, потому что уже нельзя сказать: раз этого нет в Интернете, оно не существует.

Незаметно для нас Интернет обретает глубину, в нем формируются цифровые культурные слои цивилизации: исторические эпохи, словари и печатная продукция — документальные свидетельства тех эпох. Конечно, связать документы в единую ткань оцифрованной исторической эпохи еще только предстоит, но важный шаг уже сделан — технологии оцифровки есть и работают. Французы, немцы, англичане и разные прочие шведы заинтересованы в том, чтобы продемонстрировать свою роль в глобальных цивилизационных процессах. А как же мы со своими лучшими в мире технологиями?

Посмотрите, как представлена наша страна в Мировой цифровой библиотеке (World Digital Library), открытой весной 2009 года под эгидой ЮНЕСКО: «Журнал путешествия Лоренца Ланжа в Китай» (записки шведа, одного из первых европейцев, поступивших на службу к Петру Великому, который в 1715 году отправился в Китай в статусе особого представителя торговых интересов России), фотографии знаменитого Ферапонтова монастыря, что в Вологодской области, атлас Новосибирской области «По Ленину живем и строим», выпущенный к 100-летию со дня рождения вождя пролетариата. Все это случайно оцифрованные осколки нашего российского культурного слоя, которые мы в отличие от европейцев даже не собираемся вшить в единую ткань исторических эпох. Может, пора вспомнить Александра Пушкина, сказавшего однажды: «Уважение к минувшему — вот черта, отличающая образованность от дикости».