Роботы.txt Распределение использования в Испания

Топ в Роботы.txt Распределение использования в Испания

Технологии	Веб-сайты	%
Google AdsBot Disallow	75 010	7,91
Googlebot Disallow	73 147	7,71
Google AdsBot Mobile Disallow	57 830	6,1
Baidu Bot Disallow	47 349	4,99
GPTBot Disallow	39 847	4,2
Anthropic Claude Bot Disallow	38 400	4,05
Common Crawl Bot Disallow	37 952	4
AppleBot Disallow	37 092	3,91
Google Bard Disallow	35 608	3,75
Facebook Bot Disallow	35 300	3,72
Apple AI Bot Disallow	34 785	3,67
Some Robots Disallow	34 771	3,67
Perplexity	34 507	3,64
Cohere AI Disallow	34 404	3,63
Yandex Bot Disallow	32 415	3,42
Google AdsBot Mobile Apps Disallow	32 330	3,41
Yahoo Slurp Disallow	31 669	3,34
Sogou Bot Disallow	28 812	3,04
Ahrefs Bot Disallow	28 782	3,03
Alexa Bot Disallow	27 380	2,89
Robots Disallow	25 547	2,69
Microsoft BingBot Disallow	24 236	2,56
Soso Bot Disallow	23 313	2,46
Majestic Bot Disallow	18 818	1,98
Semrush Bot Disallow	12 528	1,32
Microsoft MSNBot Disallow	11 466	1,21
ByteDance Bytespider Disallow	5 162	0,54
Exalead Bot Disallow	5 039	0,53
Google Media Partners Disallow	4 108 *	0,43
Webz Omgili Disallow	4 022	0,42
YOU Disallow	3 081	0,32
Google Image Bot Disallow	2 874	0,3
Diffbot Disallow	2 674	0,28
360 Bot Disallow	2 361	0,25
Youdao Bot Disallow	1 320	0,14
BuiltWithBot Disallow	1 119	0,12
Google News Bot Disallow	696	0,07
Google Video Bot Disallow	609	0,06
DuckDuckGo Bot Disallow	577	0,06
Google Favicon Disallow	452	0,05
Google API Bot Disallow	405	0,04
Google DuplexWeb Disallow	403	0,04
Pipl Disallow	335	0,04
Google FeedFetcher Disallow	7	0
Google Read Aloud Disallow	7	0

948 549 Обнаружения

из Роботы.txt в Испания. Последнее обновление 18th дек 2024.

Google AdsBot Disallow на данный момент является самой популярной технологией в этой категории.