ملف الروبوتات.txt توزيع الاستخدام في جزيرة عيد الميلاد

ليثبت ملف الروبوتات.txt توزيع الاستخدام في جزيرة عيد الميلاد

تكنولوجيا	المواقع الإلكترونية	%
Googlebot Disallow	815	15.21
Baidu Bot Disallow	781	14.57
Some Robots Disallow	655	12.22
Sogou Bot Disallow	610	11.38
Robots Disallow	565	10.54
Google Media Partners Disallow	237 *	4.42
Yandex Bot Disallow	209	3.9
Microsoft BingBot Disallow	202	3.77
Yahoo Slurp Disallow	192	3.58
Alexa Bot Disallow	188	3.51
Soso Bot Disallow	175	3.27
Google AdsBot Disallow	64	1.19
Ahrefs Bot Disallow	64	1.19
GPTBot Disallow	62	1.16
Majestic Bot Disallow	52	0.97
Semrush Bot Disallow	51	0.95
Anthropic Claude Bot Disallow	38	0.71
Common Crawl Bot Disallow	37	0.69
Google Bard Disallow	35	0.65
Facebook Bot Disallow	32	0.6
AppleBot Disallow	29	0.54
Apple AI Bot Disallow	25	0.47
Cohere AI Disallow	24	0.45
Perplexity	24	0.45
ByteDance Bytespider Disallow	24	0.45
Webz Omgili Disallow	22	0.41
Microsoft MSNBot Disallow	20	0.37
Google AdsBot Mobile Apps Disallow	18	0.34
Exalead Bot Disallow	15	0.28
Diffbot Disallow	14	0.26
Google Image Bot Disallow	12	0.22
DuckDuckGo Bot Disallow	9	0.17
Google News Bot Disallow	8	0.15
Google Video Bot Disallow	8	0.15
Google Favicon Disallow	8	0.15
360 Bot Disallow	7	0.13
YOU Disallow	7	0.13
Google API Bot Disallow	7	0.13
Google DuplexWeb Disallow	7	0.13
Pipl Disallow	3	0.06
BuiltWithBot Disallow	2	0.04
Youdao Bot Disallow	2	0.04

5,359 الاكتشافات

ل ملف الروبوتات.txt في جزيرة عيد الميلاد. آخر تحديث 04th رجب 2025.

Googlebot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.