Поисковые роботы

Перейти на стартовую или букву А Б В Г Д Е Ж З И К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Э Ю Я

Поисковые роботы или пауки - программы, входящие в состав программного обеспечения поисковой машины. Поисковые роботы занимаются индексацией страниц - скачивают страницы и заносят в индекс. Регулировать их работу с сайтом можно через файл robots.txt, в этом случае поисковая системе может не индексировать указанные ей части сайта.