ПОИСКОВЫЕ СИСТЕМЫ И КАТАЛОГИ

ПОИСКОВЫЕ СИСТЕМЫ И КАТАЛОГИ

Любой пользователь сталкивается с необходимостью поиска нужной информации в Сети. Причём даже самые развитые поисковые системы (иногда их называют поисковыми машинами) охватывают не более пятой части всего Интернета. В общем-то здесь ничего страшного нет: можно предположить, что наиболее ценная информация рано или поздно в поле зрения этих систем попадёт. Но даже в этом самом «поле зрения» надо еще ухитриться найти именно то, что требуется.

Поисковые системы просматривают веб-страницы в автоматическом режиме и заносят их в свои базы данных — индексируют. Чтобы найти информацию о сотнях миллионов существующих веб-страниц, используется специальная программа-робот, часто именуемая пауком. Главная задача паука — построение списка слов, найденных на странице.

ПОИСКОВЫЕ СИСТЕМЫ И КАТАЛОГИ

Стартовой точкой для поискового робота обычно являются наиболее крупные серверы и популярные веб-страницы. Вначале паук индексирует все найденные слова на таких ресурсах, а затем, используя ссылки на другие сайты, продолжает свой путь. Постепенно роботизированный паук охватывает всё большее сетевое пространство. Первые поисковые машины ежедневно обрабатывали несколько сотен тысяч страниц для одной-двух тысяч запросов, а современные индексируют в непрерывном режиме сотни миллионов страниц, обрабатывая десятки миллионов запросов в день.

Как только паук закончит поиск новых веб-страниц, поисковые машины должны структурировать всю найденную информацию таким образом, чтобы ею было удобно пользоваться. Алгоритмы создания такой структуры — самое главное в поисковых системах и составляют содержание промышленных секретов (как говорят, ноу-хау) компаний-владельцев. В этих алгоритмах применяются сложнейшие математические методы, выросшие нередко из академических научных разработок

 

Понравилась статья? Поделиться с друзьями:
prime-pc.ru
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: