ملف الروبوتات.txt توزيع الاستخدام في القديسة لوسيا

ليثبت ملف الروبوتات.txt توزيع الاستخدام في القديسة لوسيا

تكنولوجيا	المواقع الإلكترونية	%
Yandex Bot Disallow	151	9.06
Alexa Bot Disallow	150	9
Yahoo Slurp Disallow	148	8.88
Soso Bot Disallow	147	8.82
Microsoft BingBot Disallow	146	8.76
Googlebot Disallow	137	8.22
Baidu Bot Disallow	127	7.62
Sogou Bot Disallow	110	6.6
Ahrefs Bot Disallow	99	5.94
Robots Disallow	90	5.4
Google Media Partners Disallow	51 *	3.06
Some Robots Disallow	43	2.58
GPTBot Disallow	27	1.62
Common Crawl Bot Disallow	23	1.38
AppleBot Disallow	23	1.38
Anthropic Claude Bot Disallow	23	1.38
Google Bard Disallow	23	1.38
Facebook Bot Disallow	23	1.38
Apple AI Bot Disallow	23	1.38
Cohere AI Disallow	23	1.38
Perplexity	22	1.32
Google AdsBot Mobile Apps Disallow	22	1.32
360 Bot Disallow	6	0.36
Semrush Bot Disallow	4	0.24
Microsoft MSNBot Disallow	4	0.24
Majestic Bot Disallow	3	0.18
ByteDance Bytespider Disallow	3	0.18
Google Image Bot Disallow	3	0.18
Diffbot Disallow	2	0.12
Webz Omgili Disallow	1	0.06
Google News Bot Disallow	1	0.06
Google Video Bot Disallow	1	0.06
YOU Disallow	1	0.06
DuckDuckGo Bot Disallow	1	0.06
Google Favicon Disallow	1	0.06
Youdao Bot Disallow	1	0.06
Google API Bot Disallow	1	0.06
Google DuplexWeb Disallow	1	0.06
Pipl Disallow	1	0.06

1,666 الاكتشافات

ل ملف الروبوتات.txt في القديسة لوسيا. آخر تحديث 04th رجب 2025.

Yandex Bot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.