ロボット.txt 使用分布 モナコ

トップイン ロボット.txt 使用分布 モナコ

テクノロジー	ウェブサイト	%
Google AdsBot Disallow	456	16.11
Google AdsBot Mobile Disallow	380	13.42
Googlebot Disallow	345	12.19
Robots Disallow	165	5.83
Ahrefs Bot Disallow	114	4.03
Google AdsBot Mobile Apps Disallow	95	3.36
GPTBot Disallow	88	3.11
Common Crawl Bot Disallow	86	3.04
Anthropic Claude Bot Disallow	78	2.76
AppleBot Disallow	77	2.72
Google Bard Disallow	77	2.72
Cohere AI Disallow	77	2.72
Perplexity	77	2.72
Facebook Bot Disallow	76	2.68
Apple AI Bot Disallow	76	2.68
Baidu Bot Disallow	61	2.15
Yandex Bot Disallow	51	1.8
Google Media Partners Disallow	44 *	1.55
Microsoft BingBot Disallow	43	1.52
Yahoo Slurp Disallow	43	1.52
Some Robots Disallow	38	1.34
Alexa Bot Disallow	34	1.2
Soso Bot Disallow	30	1.06
Majestic Bot Disallow	23	0.81
Google Image Bot Disallow	22	0.78
Microsoft MSNBot Disallow	20	0.71
Google News Bot Disallow	19	0.67
Google Video Bot Disallow	19	0.67
Google Favicon Disallow	19	0.67
DuckDuckGo Bot Disallow	18	0.64
Google API Bot Disallow	18	0.64
Google DuplexWeb Disallow	18	0.64
Semrush Bot Disallow	17	0.6
Exalead Bot Disallow	11	0.39
360 Bot Disallow	4	0.14
ByteDance Bytespider Disallow	3	0.11
BuiltWithBot Disallow	3	0.11
Youdao Bot Disallow	3	0.11
Webz Omgili Disallow	1	0.04
Diffbot Disallow	1	0.04
YOU Disallow	1	0.04

2,831 検出

の ロボット.txt モナコ. 最終更新日 13th 2 2025.

Google AdsBot Disallow 現在、このカテゴリーで最も人気のあるテクノロジーです。