Прикладное программное обеспечение: системы автоматической обработки текстов
Шрифт:
Синонимы– слова (словосочетания), разные по написанию, но одинаковые (в рассматриваемой предметной области) по значению: ведьма = злая волшебница. Антонимы– слова с противоположным значением: добрый– злой. Гипоним– термин, являющийся частным случаем другого, более общего понятия. Гипероним– термин, наоборот, являющийся общим для ряда других, частных понятий.
Солдат =
гипероним (вкусно готовит)= гипероним (содержит дом в чистоте)=
гипероним (умеет шить)= хорошая хозяйка.
В Государственном стандарте на "Тезаурус информационно-поисковый одноязычный" определены следующие типы связей:
– род-вид: средства передвижения– телега, ковер-самолет, сапоги-скороходы, печка
– часть-целое: стена, дверь, курья ножка– части избушки;
– причина-следствие: опустил меч– голова с плеч;
– сырье-продукт: сталь– меч;
– административная иерархия: султан– визирь– стражник;
– процесс-субъект: казнить– палач;
– процесс-объект: казнить– жертва;
– функциональное сходство: печка Емели– джип Cherokee;
– свойство - носитель свойства: огнедышащий– дракон;
– антонимия;
– синонимия.
Ассоциативное отношение является объединением других отношений, не входящих в иерархические отношения или в отношения синонимии (то есть любые виды связей между словами, возможно весьма специфичные, существующие только в определенной предметной области).
Словарная статья (на неформальном уровне) могла бы выглядеть так:
ПРЕМУДРАЯ = умная
АНТОНИМ - глупая
ГИПОНИМЫ: знающая, образованная, догадливая, начитанная
ВИД - показатель интеллекта (высокий)
Тезаурус и грамматика составляют информационно-поисковый язык. Грамматика содержит правила образования производных единиц языка (семантических кодов, синтагм, предложений) и регламентирует использование средств обозначения синтаксических отношений (например, указателей связи).
В рассмотренной выше сказочной информационной службе знакомств тезаурус должен описывать всевозможные качества и характеристики, встречающиеся в письмах клиентов, правила их классификации. Грамматика и тезаурус должны быть составлены таким образом, чтобы система могла понимать, что задает, скажем, число, указанное в запросе: рост, возраст или количество зубов (это может определяться по ключевому слову - единице измерения), уметь отличить сведения, сообщаемые клиентом о себе, от его требований к партнеру (здесь помогут словосочетания хотел бы познакомиться, должен
На основании тезауруса и правил грамматики формируются поисковые образы документа и запроса (поисковое предписание). Поисковое предписание– текст на информационно-поисковом языке, содержащий признаки документов, затребованных пользователем в запросе.
Поисковый образ документа– текст на информационно-поисковом языке, поставленный в однозначное соответствие документу и отражающий его признаки, необходимые для поиска его по запросу. Кроме поисковых признаков, раскрывающих содержание документа или, как минимум, определяющих его тему, поисковый образ документа обычно содержит также идентифицирующие и некоторые дополнительные сведения (выходные данные, тип документа, его язык и т.д.). Поисковые предписания формируются при поступлении запросов, а поисковые образы документов могут создаваться как при пополнении системы новыми документами, так и при поиске ответа на запрос. В системах, где потоки информации велики и часто обновляемы, нет необходимости тратить ресурсы на индексирование, и за поисковый образ документа часто принимается сам документ или же его название.
4.3. Релевантность
Целью ИПС является выдача документов, релевантных (семантически соответствующих) запросу (по-английски relevant - относящийся к делу). Различают релевантность содержательную и формальную. Релевантность содержательная трактуется как соответствие документа информационному запросу, определяемое неформальным путем (Василиса Премудрая сама прочитает письма всех добрых молодцев и выберет кандидатов в женихи, отвечающих ее требованиям), а релевантность формальная - как соответствие, определяемое алгоритмически путем сравнения поискового предписания и поискового образа документа на основании применяемого в информационно-поисковой системе критерия выдачи.
Критерий выдачи– формальное правило, совокупность признаков, по которым определяется степень формальной релевантности поискового образа документа и поискового предписания и принимается решение о выдаче/невыдаче некоторого документа в ответ на информационный запрос.
Информационная
потребность
?
Формулировка
информационного
запроса
?
Поисковое
предписание
? Релевантность Релевантность ?
содержательная формальная
: Документы
?
Индексирование
?
Поисковый
массив
В автоматизированных системах поиск основан на формальной релевантности, содержательная релевантность в них определяется, например, путем экспертных оценок и используется для получения данных об эффективности информационного поиска в системе (качестве ее работы). В качестве критерия выдачи может быть выбрано полное совпадение поисковых образов документа и запроса, включение множества ключевых слов запроса во множество ключевых слов документа, пересечение этих множеств и др.