Этот инструмент был запущен больше 10 лет назад, в 2009 году. В то время на многих сайтах использовались GET-параметры, которые не меняли контент веб-страниц. Инструмент от Google позволял владельцам веб-площадок отслеживать сканирование страниц краулерами.

Сейчас, по данным Google, для сканирования полезен лишь ~1% конфигураций из указанных в инструменте. Поэтому ценности ни для поисковика, ни для владельцев сайта инструмент не представляет.

Чтобы точнее управлять сканированием сайта, используйте директивы файла robots.txt.

Читайте по теме: Как правильно заполнить файл robots.txt: критически важные моменты

Комментарий эксперта:

«Раньше с помощью этого инструмента владельцы сайтов могли вести контроль над тем, как Google сканирует их сайты. Но в настоящее время поисковые боты могут сами определять важность страниц, поэтому отпала нужда в этой функции».