Бывшие сотруднки хотят уделать GOOGLE

Бывшими сотрудниками google создан новый поисковый инструмент, который по заявлениям создателей может существенно потеснить google.

Подробнее »

Google раскрывает свои секреты

Google открывает секреты будущего поиска. Google добавил новую функцию, которая призвана обосновать результаты поиска.

Подробнее »

Управление индексацией

Перейти на стартовую или букву А Б В Г Д Е Ж З И К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Э Ю Я

Управление индексацией сайта всеми поисковыми системами возможно с помощью файла robots.txt, находящегося в корневом каталоге сервера. Этот файл сообщает поисковым роботам (ботам), какие файлы они могут индексировать, а какие нет.

Файл robots.txt состоит из записей. Каждая запись состоит как минимум из двух строк: строки с названием клиентского приложения - User-agent, и одной или нескольких строк, начинающихся с директивы Disallow. Пустые строки в файле robots.txt являются значимыми, они разделяют записи, имеющие разные строки User-agent.