Электронные издания
Шрифт:
i = log2(n/m). (8.1)
С учетом инверсной частоты вес или значимость термина в каждом документе определится выражением
z = f × i/S, (8.2)
где z – вес или значимость термина в издании; f – частота повторения термина в этом издании; i – инверсная частота этого термина в группе издании; S – количество значащих слов в определенном издании. Кстати, вес или значимость одного и того же термина в различных изданиях обычно существенно отличается друг от друга. Роль инверсной частоты в приведенной формуле состоит в том, чтобы уменьшить вес слов и устойчивых словосочетаний, которые выполняют вспомогательные функции в документе, обеспечивая стиль и определенный характер повествования. Для случайных слов и сочетаний мала частота повторения терминов f, а для стоп-слов и вспомогательных понятий стремится к нулю инверсная частота i. Таким образом, вес или значимость термина z позволяет выделить именно ключевые слова и сочетания. Этот же параметр позволяет также ранжировать значащие слова, т. е. построить их последовательность в порядке значимости.
Законы Зипфа используются при пополнении ссылочной базы данных на поисковых серверах, причем весовые коэффициенты основаны не только на весе каждого термина, но могут учитывать и то, какой частью речи является термин, а также его местоположение внутри документа, морфологические
8.3. Автоматизированный анализ текстовой информации с помощью программ-экстракторов
Мы уже несколько раз отмечали, что для любого осмысленного поиска в глобальной сети необходимо предварительно определить перечень ключевых слов, на основании которого затем формулируется запрос. Откуда взять такой текст-источник? Обычно имеется некая информация, на основе которой возник интерес к определенной проблеме. Это может быть научная статья, информационное сообщение, заметка или Web-страница. Если ничего из перечисленного не существует, то следует самому попытаться сформулировать задачу в виде небольшого текстового реферата.
Далее необходимо проанализировать текст-источник на предмет обнаружения в нем основных смысловых терминов или ключевых слов. Как было показано в предшествующем разделе, процесс определения веса или значимости термина в издании легко алгоритмизируется на основе законов Зипфа. Чтобы упростить себе задачу можно воспользоваться одной из простых программ, определяющих частоту, с которой каждое слово встречается в тексте. В частности, можно воспользоваться программой MTAS (файл mtasprog.exe), URL которой www.sas.upenn.edu/~bkat/dwnld.htm . Получив с помощью программы таблицу частот отдельных слов, выберем от 10 до 20 из них, частоты которых лежат посредине частотного диапазона. Если в список попадут отдельные слова, которые не могут трактоваться как термины, то в этом нет ничего плохого – в процессе поиска они могут оказаться полезными. По существу, вы вручную выполнили работу простой программы-экстрактора, т. е. осуществили синтаксический анализ текста и извлечение из него значащих слов и выражений. Также вручную, используя формулы (8.1) и (8.2), можно ранжировать извлеченные из текста ключевые слова и выражения, т. е. присвоить каждому из них определенный вес.
Естественно, что обработка небольших текстов, размеры которых не превышают половины страницы, может быть выполнена вручную по описанной выше методике. Однако для анализа больших работ желательно автоматизировать не только извлечение ключевых слов и выражений и их ранжирование, но и морфологический и синтаксический анализ текста. Именно для этой цели используются программы-экстракторы, рассмотрению которых посвящены три последующих раздела.
8.3.1. Извлечение значащих слов в редакторах MS Word
Для реализации указанной функции в редакторе Word используется команда Реферат в меню Сервис . Соответствующее команде диалоговое окно Автореферат показано на рис. 8.4.
Как следует из данных рис. 8.4, реферат можно поместить в начало реферируемого документа или оформить в виде отдельного файла. Можно также регулировать размер реферата, задавая в процентах от основного текста количество предложений в нем. В примере выбрано значение 10%, вследствие чего в реферате содержатся 2 предложения, в то время как в исходном документе их было 21. Наряду с составлением реферата из текста документа извлекается 5 наиболее значимых слов. Для их просмотра следует воспользоваться командой Свойства меню Файл. Соответствующее диалоговое окно показано на рис. 8.5. Окно включает в себя 5 вкладок, из которых для нашей цели важна лишь одна – вкладка Документ, которая открыта на рис. 8.5.
Для того чтобы значимые или ключевые слова были занесены в нужное поле вкладки Документ диалогового окна Свойства , в нижней части предыдущего диалогового окна Автореферат (см. рис. 8.4), должен быть установлен флажок Обновить сведения о документе . В нашем примере в поле Ключевые слова представлено 5 слов, а именно: "в", "издательств", "области", "предусмотрен", "должен". Нетрудно заметить, что из пяти отобранных слов только одно соответствует тематике статьи "Современные издательства", причем одно из отобранных слов это предлог, который вообще не может иметь смысла, когда он берется отдельно от основного слова. Таким образом, качество отбора ключевых слов редактором Word 97 весьма низкое. Кстати, реферирование осуществляется только для работ с названием на английском (а не на русском) языке. Надо сказать, что редакторы Word 2000 и Word 2002 ничем существенным не отличаются от своего предшественника, т. е. опция Автореферат и автоматическое выделение ключевых слов с помощью этой опции работает для русскоязычного текста неудовлетворительно.
8.3.2. Выделение значащих слов в программе NRC Extractor
Выделение значащих или ключевых слов из изданий лучше выполнить с помощью специальных программ-экстракторов. Одна из первых таких программ и носит название Extractor . Она создана в Институте Информационных Технологий Национального исследовательского Совета (NRC) Канады. В настоящее время доступна версия 7.0 этой программы [40].
Extractor в качестве исходных данных использует текстовый документ, генерируя на выходе совокупность ключевых слов. Он обрабатывает тексты на английском, французском, японском, немецком, испанском и корейском языках. К сожалению, к русскому языку он пока не адаптирован. Алгоритм работы программы использует метод обучения
На рис. 8.6 представлен набор ключевых слов и выражений (Keyphrases) и основные фрагменты текста (Highlights). Ключевые слова в основных фрагментах текста (предложениях) автоматически выделяются жирным шрифтом, а наименее важные слова автоматически отображаются в серых (а не черных) тонах.
8.3.3. Семантический анализ текстов с помощью программы TextAnalyst
Разработанная фирмой Научно-производственный инновационный центр "МикроСистемы" отечественная программа-экстрактор TextAnalyst 1.5 позволяет на первых же этапах работы с текстами выделить основные термины и определить их вес и связи. Интерфейс и заставка программы представлены на рис. 8.7. Интересно отметить, что на американском рынке технологию TextAnalyst продвигает фирма Megaputer Intelligence Inc.
Демонстрационная версия этой программы доступна бесплатно на сайте фирмы. Применение программы резко сокращает время, необходимое эксперту для погружения в тематику, и дает множество подсказок и наводящих соображений для тонкого и углубленного анализа как всей информации в совокупности, так и отдельных ее фрагментов. Интересно отметить, что на одном из семинаров, где автор в числе прочего докладывал и об использовании данной программы в поисковых стратегиях, одним из слушателей был указан интересный аспект использования таких программ – для анализа текстов с целью определения их авторства.
В настоящее время распространяется более современная версия TextAnalyst 2.01. Эта программа позволяет на первых же этапах работы с множеством текстов ответить на естественные вопросы, возникающие по ходу анализа: какие термины содержатся в тексте и какова частота их повторения. Она резко сокращает время, необходимое для погружения в тематику, и дает множество подсказок и наводящих соображений для тонкого и углубленного анализа как всей информации в совокупности, так и отдельных ее фрагментов. Первые успехи эксперта при работе с анализаторами текстов, как правило, служат основой для постановки более сложных задач анализа и структурирования.TextAnalyst разработан в качестве инструмента для анализа содержания текстов, смыслового поиска информации, формирования электронных архивов, и предоставляет пользователю следующие основные возможности:
1. Анализа содержания текста с автоматическим формированием семантической сети с гиперссылками – получения смыслового портрета текста в терминах основных понятий и их смысловых связей.
2. Анализа содержания текста с автоматическим формированием тематического древа с гиперссылками – выявления семантической структуры текста в виде иерархии тем и подтем.
3. Смыслового поиска с учетом скрытых смысловых связей слов запроса со словами текста.
4. Автоматического реферирования текста – формирования его смыслового портрета в терминах наиболее информативных фраз.
5. Кластеризации информации, т. е. анализа распределения материала текстов по тематическим классам.
6. Автоматической индексации текста с преобразованием в гипертекст.
7. Ранжирования всех видов информации о семантике текста по "степени значимости" с возможностью варьирования детальности ее исследования.
8. Автоматического/автоматизированного формирования полнотекстовой базы знаний с гипертекстовой структурой и возможностями ассоциативного доступа к информации [12].
Результаты работы программы TextAnalyst 2.01. представлены на рис. 8.8. Анализу была подвергнута статья "Общая концепция издательской базы данных". Как следует из рис. 8.8 интерфейс TextAnalyst построен в виде трех взаимосвязанных окон:
✓ окно 1 – окно значимых элементов текста, располагается в левом верхнем углу экрана;
✓ окно 2 – окно для ссылок к предложениям текста, располагается в правом верхнем углу экрана;
✓ окно 3 – окно анализируемых текстов, располагается в нижней части экрана.
Перейдем к закладке "Семантическая сеть" в окне 1 (третья кнопка слева внизу окна). Теперь в окне 1 представлена (в виде обычного дерева) сеть основных понятий проанализированных текстов.
Прежде всего, изучив предложенный материал, TextAnalyst формирует именно сеть основных (наиболее значимых) понятий, содержащихся в представленном ему тексте. Такая сеть служит смысловым представлением текста и основой для всех видов дальнейшего анализа. Сеть понятий – это множество терминов из текста, т. е. слов и словосочетаний, связанных между собой по смыслу. В сеть включены не все термины текста, а лишь наиболее значимые, несущие основную смысловую нагрузку. Аналогичным образом представлены и смысловые связи между понятиями текстов – отражаются лишь наиболее явно выраженные из них. Поэтому, с одной стороны сеть достаточно полно описывает смысл анализируемого текста, а с другой – позволяет отбросить несущественную информацию и представить содержание в сжатом виде, так называемым смысловым портретом. При этом каждое понятие, повторявшееся в различных местах документа, оказывается представленным в единственном узле сети. В этом узле также собирается разбросанная информация, касающаяся этого понятия – формируется список предложений, в которых оно употреблялось.Различные формы слов, конечно же, приводятся к общей грамматической форме для отображения в один элемент сети. Аналогичным образом собирается информация по смысловым связям каждого понятия – в виде списка всех связанных с ним в тексте понятий, дополненного предложениями, в которых отражаются данные связи. Таким образом, можно сразу увидеть всю информацию по каждому понятию – тематике текста, буквально бросив единственный взгляд на набор его связей в сети. В результате, передвигаясь по смысловым связям от понятия к понятию, можно будет находить и предметно исследовать лишь наиболее важные и интересующие исследователя места документа, не затрудняясь просмотром всей промежуточной информации. Сказанное иллюстрируется данными, представленными на рис. 8.9. Каждый элемент сети, т. е. определенное понятие, характеризуется некоторой численной оценкой – так называемым смысловым весом. Связи между парами понятий, в свою очередь, также характеризуются весами. Эти оценки позволят сравнить относительный вклад различных понятий и их связей в семантику текста, выявить наиболее подробно проработанную в тексте тематику и вторичные темы, задать способ сортировки информации, и наконец, позволят взглянуть на весь текстовый материал по пластам – смысловым срезам различной глубины – от поверхностного знакомства с содержанием до глубокого проникновения в его мельчайшие детали и подробности.