Robots.txt
Файл robots читается: робots-точка-ти-экс-ти
Кратко
Текстовый файл в корне сайта, где написано, какие разделы поисковикам смотреть не нужно.
Откуда взялось это слово
Соглашение появилось ещё в 1994 году, на заре интернета, и держится на честном слове: это не запрет, а просьба, которую приличные поисковики выполняют. Практическая ловушка, на которой обжигаются регулярно: закрыть страницу здесь не значит убрать её из выдачи — она может попасть туда по ссылкам, просто без описания. И противоположная беда: одной неверной строкой можно случайно закрыть весь сайт, а заметить это через месяц по обвалившемуся трафику.
Рядом в разделе «seo»
Core Web Vitals
Набор показателей скорости и удобства страницы: как быстро появляется основное содержимое, как…
Тип запроса
Что человек на самом деле хочет: узнать, сравнить или купить. От этого…
Nofollow
Пометка у ссылки, говорящая поисковику не передавать по ней вес.
Возраст домена
Сколько лет адресу сайта. Косвенно влияет на доверие поисковых систем.
Карта сайта
Служебный файл со списком всех страниц сайта, который помогает поисковику узнать о…
Кластеризация запросов
Группировка поисковых запросов по смыслу так, чтобы под каждую группу делать отдельную…