Задачи поисковых технологий в сети интернет. История развития поисковых систем, их компоненты, особенности классификации. Проведение сравнительного анализа различных поисковиков по ряду критериев. Релевантность понятий в науке информационного поиска.
Аннотация к работе
Большинство пользователей Интернет сообщества начинают свой рабочий день с поисковых систем, где пытаются найти столь необходимую им информацию и решить свои проблемы. К сожалению, поисковые системы часто не способны точно и справедливо интерпретировать ресурсы. При этом ресурсы, представляющие реальную пользу, оказываются "за бортом" поиска. Причина такого положения проста и кроется в технологии получения и представления результатов поисковыми системами. Чем больше неопределенности в алгоритмах формирования поисковых индексов (некий черный ящик), тем меньше поисковые системы отражают процесс формирования реальной информации.В Интернете сосредоточено такое количество информации, что ее поиск уже превращается в отдельную задачу и отнимает очень много времени. Это, конечно же, не было поисковой системой в полном смысле, так как область поиска была ограничена только ресурсами, присутствующими в каталоге, а не всеми ресурсами сети Интернет.Каталоги ссылок широко использовались ранее, но практически утратили свою популярность в настоящее время. Например, поиск AOL (search.aol.com) и Mail.ru используют базу Google, а ALTAVISTA, Lycos и ALLTHEWEB - базу Yahoo.В России основной поисковой системой является Яндекс, за ним идут Rambler, Google.ru, Aport, Mail.ru и KM.ru. Поисковая система состоит из следующих основных компонентов: Spider (паук) - браузероподобная программа, которая скачивает веб-страницы.Crawler (краулер, «путешествующий» паук) - программа, которая автоматически проходит по всем ссылкам, найденным на странице. Детальная реализация поисковых механизмов может отличаться друг от друга (например, связка Spider Crawler Indexer может быть выполнена в виде единой программы, которая скачивает известные веб-страницы, анализирует их и ищет по ссылкам новые ресурсы), однако всем поисковым системам присущи описанные общие черты.Поисковиком в мире пользуются более 50 млн чел.[ По состоянию на 12 апреля 2012 года, согласно рейтингу Alexa.com, по популярности сайт yandex.ru занимает 23-е место в мире и 1-е место в России. В мае 2011 года Яндекс провел первичное размещение акций, заработав на этом больше, чем какая-либо из Интернет-компаний со времен IPO поисковика Google в 2004 году. A ~~ B найдет документы (страницы), в которых присутствует А, но не присутствует В, а запрос А ~ Б - документы, где слово Б не присутствует со словом А в одном предложении. По умолчанию Яндекс выводит по 10 ссылок на каждой странице выдачи результатов, в настройках результатов поиска можно увеличить размер страницы до 20, 30 или 50 найденных документов. Использующие обманные техники (например, вредоносный код, скрипты, настройки серверов), перенаправляющие пользователей на сторонние ресурсы или меняющие окно результатов поиска на страницы других ресурсов при переходе из поисковых систем.Основная задача поисковой системы - минимизировать время, затрачиваемое пользователем на поиск релевантной запросу информации. Наиболее часто говорят о релевантности с точки зрения пользователя, и тогда ``релевантная запросу информация"" и ``нужная пользователю информация"" - одно и то же. Вопрос заключается в том, какую информацию пользователь посчитает нужной? В некоторых обстоятельствах релевантную информацию можно определить как всю информацию из базы, имеющую отношение к запросу. Если в последнем случае в результатах поиска будет много избыточных данных, т.е. данных, которые имеют отношение к запросу, но не нужны для выполнения данной задачи, то выборка нужной/релевантной информации займет у пользователя дополнительное время.