ملف الروبوتات.txt توزيع الاستخدام في جزيرة آيل أوف مان

ليثبت ملف الروبوتات.txt توزيع الاستخدام في جزيرة آيل أوف مان

تكنولوجيا	المواقع الإلكترونية	%
Googlebot Disallow	2,394	10.79
Yandex Bot Disallow	2,326	10.48
Baidu Bot Disallow	2,300	10.36
Sogou Bot Disallow	1,896	8.54
Microsoft BingBot Disallow	1,392	6.27
Some Robots Disallow	1,377	6.2
Soso Bot Disallow	1,341	6.04
Alexa Bot Disallow	1,340	6.04
Yahoo Slurp Disallow	1,332	6
Anthropic Claude Bot Disallow	1,084	4.88
Google AdsBot Disallow	852	3.84
Ahrefs Bot Disallow	817	3.68
Semrush Bot Disallow	718	3.23
Majestic Bot Disallow	713	3.21
Robots Disallow	697	3.14
Google AdsBot Mobile Disallow	157	0.71
GPTBot Disallow	157	0.71
Google Media Partners Disallow	152 *	0.68
Common Crawl Bot Disallow	135	0.61
Google Bard Disallow	129	0.58
Facebook Bot Disallow	123	0.55
AppleBot Disallow	120	0.54
Apple AI Bot Disallow	113	0.51
Cohere AI Disallow	82	0.37
Perplexity	79	0.36
Google AdsBot Mobile Apps Disallow	72	0.32
Webz Omgili Disallow	59	0.27
ByteDance Bytespider Disallow	33	0.15
Microsoft MSNBot Disallow	32	0.14
Exalead Bot Disallow	28	0.13
360 Bot Disallow	21	0.09
Google Image Bot Disallow	20	0.09
Diffbot Disallow	16	0.07
YOU Disallow	11	0.05
DuckDuckGo Bot Disallow	11	0.05
Google News Bot Disallow	10	0.05
Google Video Bot Disallow	10	0.05
Google Favicon Disallow	10	0.05
Google API Bot Disallow	10	0.05
Google DuplexWeb Disallow	10	0.05
Pipl Disallow	8	0.04
BuiltWithBot Disallow	7	0.03
Google FeedFetcher Disallow	2	0.01
Youdao Bot Disallow	1	0

22,197 الاكتشافات

ل ملف الروبوتات.txt في جزيرة آيل أوف مان. آخر تحديث 04th رجب 2025.

Googlebot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.