Роботы.txt Распределение использования в Остров Херд и острова Макдональда

Топ в Роботы.txt Распределение использования в Остров Херд и острова Макдональда

Технологии	Веб-сайты	%
Googlebot Disallow	44	18,18
Alexa Bot Disallow	30	12,4
Sogou Bot Disallow	29	11,98
Microsoft BingBot Disallow	28	11,57
Yahoo Slurp Disallow	28	11,57
Yandex Bot Disallow	27	11,16
Soso Bot Disallow	27	11,16
Robots Disallow	21	8,68
Common Crawl Bot Disallow	1	0,41
AppleBot Disallow	1	0,41
Anthropic Claude Bot Disallow	1	0,41
Google Bard Disallow	1	0,41
Facebook Bot Disallow	1	0,41
Apple AI Bot Disallow	1	0,41
Microsoft MSNBot Disallow	1	0,41
Webz Omgili Disallow	1	0,41

242 Обнаружения

из Роботы.txt в Остров Херд и острова Макдональда. Последнее обновление 18th дек 2024.

Googlebot Disallow на данный момент является самой популярной технологией в этой категории.