Robots.txt Distribución de uso en Guam

Distribución para sitios web que utilizan Robots.txt tecnologías

Tecnología	Sitios web	%
GPTBot Disallow	39	8,53
Anthropic Claude Bot Disallow	39	8,53
Common Crawl Bot Disallow	38	8,32
Google Bard Disallow	38	8,32
AppleBot Disallow	36	7,88
Facebook Bot Disallow	36	7,88
Apple AI Bot Disallow	36	7,88
Cohere AI Disallow	36	7,88
Perplexity	36	7,88
Google AdsBot Mobile Apps Disallow	35	7,66
Ahrefs Bot Disallow	32	7
Yandex Bot Disallow	16	3,5
Robots Disallow	8	1,75
Semrush Bot Disallow	6	1,31
Yahoo Slurp Disallow	4	0,88
ByteDance Bytespider Disallow	4	0,88
Alexa Bot Disallow	3	0,66
Majestic Bot Disallow	3	0,66
Webz Omgili Disallow	3	0,66
Microsoft BingBot Disallow	2	0,44
DuckDuckGo Bot Disallow	2	0,44
Soso Bot Disallow	1	0,22
Microsoft MSNBot Disallow	1	0,22
Diffbot Disallow	1	0,22
YOU Disallow	1	0,22
Pipl Disallow	1	0,22