Роботы.txt Распределение использования в Южная Георгия и Южные Сандвичевы острова

Топ в Роботы.txt Распределение использования в Южная Георгия и Южные Сандвичевы острова

Технологии	Веб-сайты	%
Robots Disallow	121	14,34
Googlebot Disallow	93	11,02
Baidu Bot Disallow	83	9,83
Some Robots Disallow	71	8,41
Sogou Bot Disallow	46	5,45
Alexa Bot Disallow	41	4,86
Microsoft BingBot Disallow	38	4,5
Yahoo Slurp Disallow	37	4,38
Yandex Bot Disallow	35	4,15
Soso Bot Disallow	35	4,15
Google Media Partners Disallow	30 *	3,55
Anthropic Claude Bot Disallow	20	2,37
GPTBot Disallow	15	1,78
Ahrefs Bot Disallow	14	1,66
AppleBot Disallow	14	1,66
Common Crawl Bot Disallow	13	1,54
Facebook Bot Disallow	13	1,54
Apple AI Bot Disallow	13	1,54
Majestic Bot Disallow	13	1,54
Semrush Bot Disallow	13	1,54
Google Bard Disallow	11	1,3
ByteDance Bytespider Disallow	10	1,18
Webz Omgili Disallow	10	1,18
Microsoft MSNBot Disallow	8	0,95
Cohere AI Disallow	7	0,83
Perplexity	6	0,71
Google AdsBot Mobile Apps Disallow	6	0,71
Google Image Bot Disallow	5	0,59
Diffbot Disallow	4	0,47
Google News Bot Disallow	3	0,36
Google Video Bot Disallow	3	0,36
Google Favicon Disallow	3	0,36
Exalead Bot Disallow	2	0,24
DuckDuckGo Bot Disallow	2	0,24
Youdao Bot Disallow	2	0,24
Google API Bot Disallow	2	0,24
Google DuplexWeb Disallow	2	0,24

844 Обнаружения

из Роботы.txt в Южная Георгия и Южные Сандвичевы острова. Последнее обновление 18th дек 2024.

Robots Disallow на данный момент является самой популярной технологией в этой категории.