Роботы.txt Распределение использования в Французская Гвиана

Топ в Роботы.txt Распределение использования в Французская Гвиана

Технологии	Веб-сайты	%
Googlebot Disallow	167	37,28
Robots Disallow	32	7,14
Baidu Bot Disallow	30	6,7
Ahrefs Bot Disallow	28	6,25
Some Robots Disallow	23	5,13
Google Media Partners Disallow	15 *	3,35
Sogou Bot Disallow	13	2,9
Yandex Bot Disallow	13	2,9
Alexa Bot Disallow	12	2,68
Yahoo Slurp Disallow	12	2,68
Microsoft BingBot Disallow	11	2,46
Soso Bot Disallow	11	2,46
GPTBot Disallow	8	1,79
Common Crawl Bot Disallow	8	1,79
Majestic Bot Disallow	8	1,79
Google Bard Disallow	6	1,34
AppleBot Disallow	5	1,12
Anthropic Claude Bot Disallow	5	1,12
Facebook Bot Disallow	5	1,12
Apple AI Bot Disallow	5	1,12
Perplexity	5	1,12
Semrush Bot Disallow	5	1,12
Cohere AI Disallow	4	0,89
Google AdsBot Mobile Apps Disallow	4	0,89
Exalead Bot Disallow	4	0,89
Google Image Bot Disallow	4	0,89
ByteDance Bytespider Disallow	1	0,22
Microsoft MSNBot Disallow	1	0,22
Webz Omgili Disallow	1	0,22
Google Video Bot Disallow	1	0,22
YOU Disallow	1	0,22

448 Обнаружения

из Роботы.txt в Французская Гвиана. Последнее обновление 18th дек 2024.

Googlebot Disallow на данный момент является самой популярной технологией в этой категории.