Журнал "Компьютерра" №758
Шрифт:
• Фильтр удаления рекламы из почтовых сообщений (естественно, само физическое сообщение остается таким же, просто перед индексированием текст рекламы удаляется, поэтому в индекс он не попадает). Реклама вроде "Do You Yahoo?!", которая вставляется некоторыми почтовыми серверами в конец письма.
• Средство "Извлечение данных". Позволяет из уже проиндексированных текстов извлекать e-mail, веб-адреса, смайлики (включая азиатские, у них они, оказывается, другие, вот, например: *_*, слева и справа глаза, а черточка - это нос, то есть у них они не на боку лежат, а прямо стоят. Вот где проявляется отличие
10. Средство "Контексты употребления слов". Допустим, мы хотим узнать, в каких фразах у нас используется слово "язык". Для этого вводим запрос:
* язык
и программа показывает фразы из проиндексированных текстов: русский язык, английский язык и т. п. То есть если при обычном поиске мы заранее знаем, какие слова ищем, то при поиске контекстов мы узнаем, какие слова у нас встречаются возле заданного слова или фразы. Можно вводить и более сложные запросы:
*ый *ать *
Например, для LibRu программа по этому запросу выдала такие варианты:
который двадцать лет способный превращать в готовый сделать все
• В настройках индекса есть секция "Разбиение файлов". Это пригодится прежде всего тем пользователям, у которых много Фидо-сообщений, сохраненных в одном объемном файле. Задаем строку разбиения, и Архивариус 3000 сначала разделяет большой текст на части, а затем уже индексирует как отдельные сообщения. В результате работа с такими базами сообщений значительно упрощается.
• Средство "Поиск похожих документов". Позволяет находить как точные копии (совпадение байт в байт либо совпадение с убранными пробелами), так и похожие документы, в текст которых были внесены незначительные изменения (добавили новые слова, убрали или заменили букву в слове).
• Наконец, еще одна возможность - "Поиск литературы". Пока распознаёт только 4400 произведений. Распознаёт именно по содержанию. То есть, если мы внесем небольшие изменения в текст, например уберем название или, наоборот, добавим рекламу (пусть даже в середину текста - между абзацами), программа все равно определит, что это Артур Конан Дойль "Пляшущие человечки". Книг, конечно, в мире больше, чем 4400, но потихоньку можно будет и добавить. :)
Думаю, всем понятно, что Архивариус 3000 из поисковой индексной системы эволюционировал в мощнейший аналитический инструмент data mining. Признаюсь, о таком феерическом перевоплощении даже не смел и мечтать! Браво, Евгений!
Мне остается лишь произнести заключительную фразу, которая обретает особый смысл в устах матерого бакунианца: 395 рублей, заплаченных за Архивариус 3000, без малейшего сомнения, станут самой эффективной IT-инвестицией вашей жизни! Не говоря уж о том, что столь смехотворная цена за ТАКОЙ колоссальный инструмент - it’s a steal [Чистое воровство (англ.)]!
анализы: Два пути в никуда
Авторы: Алексей Тутубалин, Илья Борг
За последние десять-пятнадцать лет цифровая фотография вытеснила фотопленку практически из всех традиционных областей применения. Потребителям проданы сотни миллионов цифровых камер, даже без учета тех, что встроены в мобильные телефоны. Столь массовая индустрия
Однако формат JPEG далеко не всегда устраивает профессионалов - фотографов, дизайнеров, сотрудников prepress-бюро, фотобанков и фотоархивов. Зачастую не удовлетворяет он и продвинутых фотолюбителей. Именно поэтому многие модели камер, позиционируемые производителем как профессиональные и полупрофессиональные, поддерживают, кроме JPEG, и запись изображения в формате RAW. У стороннего наблюдателя может сложиться мнение, что RAW - это тоже стандартный формат, обеспечивающий лучшее качество - "качество для профи". Однако это не так: на самом деле жизнь гораздо сложнее, а положение профессионалов на сегодняшнем цифровом фоторынке просто ужасно и к тому же быстро ухудшается (тогда как у менее притязательных любителей все прекрасно).
При сохранении фотографии в формате JPEG все стадии обработки изображения (установка баланса белого, контраста, насыщенности и т. п.) выполняются самой камерой перед записью файла. Напротив, RAW-снимок - это практически неизмененные, сырые данные, полученные при считывании со светочувствительной матрицы фотокамеры и сохраненные в файле.
Рассуждая в классических фотографических терминах, JPEG - это почти готовый снимок (аналог Поляроида), а RAW - полуфабрикат, аналог латентного, скрытого изображения на непроявленной пленке, требующий обязательной обработки [Обработка исторически называется "конверсией RAW", а программы для нее - RAW-конверторами] (проявки) - с той существенной разницей, что пленку проявить можно лишь однажды, а RAW - столько раз, сколько захочется, и притом - воспользовавшись разными "проявителями" (конверторами), экспериментируя столько, сколько понадобится, пока не будет достигнут нужный результат.
Разумеется, чтобы получить на выходе камеры JPEG, также выполняется конвертация RAW. Соответствующий конвертор - часть интеллекта камеры. Если конвертация, выполненная самой камерой, неудовлетворительна (плохой контраст, неестественный цвет, слишком плотные тени, слишком яркие света), исправить существенные ошибки этой стадии при дальнейшей обработке изображения на компьютере уже невозможно. При сохранении в формате JPEG значительная часть данных изображения, зафиксированного камерой, теряется безвозвратно. Кроме того, используемое в JPEG сжатие с потерями сильно ограничивает и возможности последующей коррекции снимка.
При записи изображения в формате RAW (в отличие от записи в JPEG) камера никакой цифровой обработки изображения не выполняет - вся обработка делается после съемки, на мощном компьютере с хорошим монитором. Это позволяет использовать более сложные алгоритмы и визуально контролировать и процесс, и его результаты. Как правило, качество результирующего изображения существенно выше, а кроме того, можно подбирать параметры обработки в широких пределах, со значительно меньшим риском возникновения постеризации [Постеризация (от слова poster, плакат) - уменьшение количества оттенков изображения при обработке], роста шумов и появления всяческих артефактов.