ملف الروبوتات.txt توزيع الاستخدام في لوكسمبورغ

ليثبت ملف الروبوتات.txt توزيع الاستخدام في لوكسمبورغ

تكنولوجيا	المواقع الإلكترونية	%
Googlebot Disallow	8,751	13.5
Baidu Bot Disallow	4,844	7.47
Yandex Bot Disallow	4,694	7.24
Microsoft BingBot Disallow	4,538	7
Yahoo Slurp Disallow	4,516	6.97
Alexa Bot Disallow	4,504	6.95
Google AdsBot Disallow	4,459	6.88
Sogou Bot Disallow	4,432	6.84
Soso Bot Disallow	4,416	6.81
Google AdsBot Mobile Disallow	3,962	6.11
Robots Disallow	2,440	3.76
Majestic Bot Disallow	1,500	2.31
Ahrefs Bot Disallow	1,218	1.88
Anthropic Claude Bot Disallow	1,053	1.62
GPTBot Disallow	980	1.51
Semrush Bot Disallow	766	1.18
Common Crawl Bot Disallow	735	1.13
Google Bard Disallow	698	1.08
Google AdsBot Mobile Apps Disallow	682	1.05
AppleBot Disallow	667	1.03
Facebook Bot Disallow	659	1.02
Cohere AI Disallow	635	0.98
Perplexity	634	0.98
Apple AI Bot Disallow	629	0.97
Some Robots Disallow	595	0.92
Google Media Partners Disallow	406 *	0.63
Microsoft MSNBot Disallow	181	0.28
Google Image Bot Disallow	181	0.28
Google News Bot Disallow	107	0.17
DuckDuckGo Bot Disallow	105	0.16
Google Video Bot Disallow	104	0.16
ByteDance Bytespider Disallow	102	0.16
Google Favicon Disallow	99	0.15
Webz Omgili Disallow	95	0.15
Google API Bot Disallow	94	0.15
Google DuplexWeb Disallow	94	0.15
Exalead Bot Disallow	90	0.14
360 Bot Disallow	47	0.07
Diffbot Disallow	46	0.07
BuiltWithBot Disallow	23	0.04
YOU Disallow	22	0.03
Pipl Disallow	11	0.02
Youdao Bot Disallow	9	0.01
Google Read Aloud Disallow	2	0
Google Web Light Disallow	1	0

64,826 الاكتشافات

ل ملف الروبوتات.txt في لوكسمبورغ. آخر تحديث 04th رجب 2025.

Googlebot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.