Организация поисковой системы во всемирной глобальной сети - Дипломная работа

1. Анализ систем организации поиска во Всемирной Глобальной сети 1.1 Информационно-поисковые системы 1.2 Гипертекстовые документы 1.3 Классификация современных информационно-поисковых систем 1.4 Описание механизма поиска информационно-поисковых систем 1.5 Поисковые роботы. 1.6 Обзор и рейтинги основных мировых поисковых систем 1.7 Перспективы дальнейшего развития поисковых систем 2. Разработка структуры поисковой системы «Бета-поиск» 2.1 Обоснование выбора инструментария реализации информационной системы 2.2 Проектирование информационно-поисковой системы 2.3 Описание интерфейса информационно-поисковой системы Заключение Список использованной литературы Введение Всемирная сеть очень полезна и важна практически для любого. Еще 15 лет назад бытовало такое мнение: «В Интернете есть все, но найти там ничего невозможно». Однако с появлением и быстрым развитием поисковых каталогов, поисковых машин, и всевозможных поисковых программ ситуация изменилась, и теперь в Сети срочно понадобившуюся информацию иногда можно найти быстрее, чем в книге, лежащей на столе. Работа содержит 7 таблиц, 13 рисунков и 2 диаграммы, систематизирующих основные ее положения. 1. Программной частью поисковой системы является поисковая машина - комплекс программ , обеспечивающий функциональность поисковой системы и обычно являющийся коммерческой тайной компании-разработчика поисковой системы [1]. Первым таким проектом стал сайт Yahoo, открывшийся в апреле 1994 года. Каталоги ссылок широко использовались ранее, но практически утратили свою популярность в настоящее время. В то время, как Google насчитывает 8 миллиардов. Последняя долгие годы Alta Vista была лидером в области поиска информации в Интернет. 23 сентября 1997 года была официально анонсирована поисковая система Yandex, самая популярная в русскоязычной части Интернет. В России основной поисковой системой является Яндекс, за ним идут Rambler, Google.ru, Aport, Mail.ru и КМ.ru, а в Казахстане популярными являются Kaz.kz и Poisk.kz. 1.2 Гипертекстовые документы Под гипертекстовым документом понимают документ, содержащий так называемые ссылки на другой документ. Реализовано все это через протокол передачи гипертекста HTTP (HyperText Transfer Protocol). Информация в документах Web может быть найдена по ключевым словам. Это означает, что каждый обозреватель Web содержит определенные ссылки, через которые образуются так называемые гиперсвязи, позволяющие миллионам пользователей Internet вести поиск информации по всему миру. Гипертекстовые документы создаются на базе языка HTML (HyperText Markup Language). Этот язык весьма прост, управляющие коды его, которые, собственно, и компилируются обозревателем для отображения на экране, состоят из текста ASCII. Можно воспользоваться одним из WYSIWYG HTML-редакторов (например, Netscape Composer, основы работы с котором рассмотрены в разделе «Обработка текста на ЭВМ», Microsoft FrontPage, HotDog, или др.), для работы с которыми не требуется специальных знаний о внутренней структуре создаваемого документа. Одна ее часть - собственно текст, т.е. данные, составляющие содержимое документа. Для файлов, содержащие HTML-документы, приняты расширения.htm или.html. Использование этого символа - один из способов увеличить расстояние между некоторыми словами в тексте. К классам поисковых систем относятся поисковые каталоги, полнотекстовые поисковые системы и метапоисковые системы. Кроме того, часто модераторами также оценивается и полезность ресурса, в результате чего каждый ресурс получает экспертную оценку, которая помогает пользователям находить наиболее авторитетные сайты по интересующим их темам. Задача усложняется тем, что лишь определенное количество страниц из всего множества содержит нужную информацию, остальные же совершенно бесполезны. Полнотекстовые поисковые системы Задачу поиска страниц, содержащих нужную информацию, решают полнотекстовые поисковые системы, которые имеют специальные программы, называемыми пауками или роботами. В отличие от реляционных СУБД, у систем полнотекстового поиска не существует стандартизированного языка запросов. Очень часто языки запросов поисковых систем приближены к SQL, однако каждой из них присущ ряд индивидуальных особенностей, связанных с такими моментами, как: - интерпретация операций, зависящих от порядка расположения слов в тексте (операций контекстной близости слов и др.); - реализация вычисления близости найденных документов запросам (релевантности) для представления результатов поиска; - применение нестандартных функций, требующих, например, использования методов искусственного интеллекта ( нахождение документов по принципу подобия, построение дайджестов из фрагментов документов, сниппетов и др.) В различных полнотекстовых ИПС различаются архитектуры, структуры данных, алгоритмы их обработки, методы организации поиска. Некоторые из этих закономерностей были подмечены Джорджем Зипфом (George К. Zipf); он опубликовал свои законы в 1949 году. Джон Клайнберг из Корнеллского университета первым предложил способ филь