Роботы.txt Распределение использования во Французской Гвиане

Вверху Роботы.txt Распределение использования во Французской Гвиане

Технологии	Веб-сайты	%
Googlebot Disallow	164	26,75
Google AdsBot Disallow	158	25,77
Robots Disallow	35	5,71
Ahrefs Bot Disallow	30	4,89
Baidu Bot Disallow	28	4,57
Some Robots Disallow	22	3,59
Sogou Bot Disallow	21	3,43
Yandex Bot Disallow	15	2,45
Google Media Partners Disallow	15 *	2,45
Microsoft BingBot Disallow	14	2,28
Alexa Bot Disallow	14	2,28
Yahoo Slurp Disallow	14	2,28
Soso Bot Disallow	14	2,28
GPTBot Disallow	8	1,31
Common Crawl Bot Disallow	6	0,98
Google Bard Disallow	6	0,98
AppleBot Disallow	5	0,82
Anthropic Claude Bot Disallow	5	0,82
Facebook Bot Disallow	5	0,82
Apple AI Bot Disallow	5	0,82
Perplexity	5	0,82
Majestic Bot Disallow	5	0,82
Semrush Bot Disallow	4	0,65
Cohere AI Disallow	3	0,49
Google AdsBot Mobile Apps Disallow	3	0,49
ByteDance Bytespider Disallow	2	0,33
Exalead Bot Disallow	2	0,33
Webz Omgili Disallow	2	0,33
Microsoft MSNBot Disallow	1	0,16
Google Image Bot Disallow	1	0,16
Google Video Bot Disallow	1	0,16

613 Обнаружения

из Роботы.txt во Французской Гвиане. Последнее обновление 07th мар 2025.

Googlebot Disallow в настоящее время является самой популярной технологией в этой категории.