Роботы поисковых систем

Перейти на стартовую или букву А Б В Г Д Е Ж З И К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Э Ю Я

Роботы поисковых систем - это специальные программы, которые входят в состав программного комплекса поискового сервера, осуществляющие поставленные им задачи согласно поисковому механизму. При этом программа, которая посещает веб-страницы, считывает (индексирует) полностью или частично их содержимое и далее следует по ссылкам, найденным на данной странице. Робот возвращается через определенные периоды времени и индексирует страницу снова. Вся информация заносится роботом в индексы поисковой системы. Управлять роботами поисковых машин Yandex, Google и Rambler можно с помощью файла robots.txt