Роботы.txt Распределение использования в 1 миллионе лучших сайтов

Топ в Роботы.txt Распределение использования в 1 миллионе лучших сайтов

Технологии	Веб-сайты	%
Robots Disallow	148 596	14,86
Ahrefs Bot Disallow	68 103	6,81
Googlebot Disallow	58 850	5,88
Yandex Bot Disallow	49 257	4,93
Google AdsBot Disallow	47 285	4,73
Some Robots Disallow	43 201	4,32
GPTBot Disallow	35 526	3,55
Baidu Bot Disallow	35 016	3,5
Majestic Bot Disallow	32 684	3,27
Semrush Bot Disallow	32 617	3,26
Microsoft BingBot Disallow	25 679	2,57
Common Crawl Bot Disallow	23 750	2,38
Anthropic Claude Bot Disallow	23 224	2,32
Google Media Partners Disallow	21 993	2,2
Yahoo Slurp Disallow	19 950	2
Alexa Bot Disallow	19 576	1,96
Sogou Bot Disallow	19 224	1,92
AppleBot Disallow	18 922	1,89
ByteDance Bytespider Disallow	15 561	1,56
Google Bard Disallow	14 684	1,47
Microsoft MSNBot Disallow	13 684	1,37
Facebook Bot Disallow	13 220	1,32
Google AdsBot Mobile Disallow	12 388	1,24
Soso Bot Disallow	11 809	1,18
Google Image Bot Disallow	11 258	1,13
Perplexity	10 347	1,03
Exalead Bot Disallow	9 718	0,97
Cohere AI Disallow	9 710	0,97
Webz Omgili Disallow	9 055	0,91
Apple AI Bot Disallow	8 856	0,89
Google AdsBot Mobile Apps Disallow	8 142	0,81
Google News Bot Disallow	7 206	0,72
DuckDuckGo Bot Disallow	6 420	0,64
360 Bot Disallow	5 863	0,59
Google Video Bot Disallow	5 748	0,57
Diffbot Disallow	5 346	0,53
Google Favicon Disallow	5 141	0,51
Google API Bot Disallow	5 047	0,5
Google DuplexWeb Disallow	4 932	0,49
YOU Disallow	3 777	0,38
BuiltWithBot Disallow	2 669	0,27
Pipl Disallow	2 269	0,23
Youdao Bot Disallow	986	0,1
Google FeedFetcher Disallow	161	0,02
Google Read Aloud Disallow	55	0,01
Google Web Light Disallow	17	0
Google BIG Bench Disallow	6	0

927 528 Обнаружения

из Роботы.txt в 1 миллионе лучших сайтов. Последнее обновление 04th янв 2025.

Google Media Partners Disallow на данный момент является самой популярной технологией в этой категории.