Роботы.txt Распределение использования в Остров Херд и острова Макдональда

Топ в Роботы.txt Распределение использования в Остров Херд и острова Макдональда

Технологии	Веб-сайты	%
Googlebot Disallow	45	16,79
Baidu Bot Disallow	43	16,04
Alexa Bot Disallow	32	11,94
Microsoft BingBot Disallow	30	11,19
Yahoo Slurp Disallow	30	11,19
Yandex Bot Disallow	29	10,82
Soso Bot Disallow	29	10,82
Robots Disallow	21	7,84
Common Crawl Bot Disallow	1	0,37
AppleBot Disallow	1	0,37
Anthropic Claude Bot Disallow	1	0,37
Google Bard Disallow	1	0,37
Facebook Bot Disallow	1	0,37
Apple AI Bot Disallow	1	0,37
Microsoft MSNBot Disallow	1	0,37
Webz Omgili Disallow	1	0,37
Google Image Bot Disallow	1	0,37

268 Обнаружения

из Роботы.txt в Остров Херд и острова Макдональда. Последнее обновление 04th янв 2025.

Googlebot Disallow на данный момент является самой популярной технологией в этой категории.