ملف الروبوتات.txt توزيع الاستخدام في واليس وفوتونا

ليثبت ملف الروبوتات.txt توزيع الاستخدام في واليس وفوتونا

تكنولوجيا	المواقع الإلكترونية	%
Robots Disallow	83	14.21
Baidu Bot Disallow	60	10.27
Googlebot Disallow	59	10.1
Alexa Bot Disallow	46	7.88
Sogou Bot Disallow	45	7.71
Yandex Bot Disallow	44	7.53
Microsoft BingBot Disallow	44	7.53
Yahoo Slurp Disallow	43	7.36
Soso Bot Disallow	43	7.36
Google Media Partners Disallow	30 *	5.14
Ahrefs Bot Disallow	10	1.71
Microsoft MSNBot Disallow	6	1.03
Google AdsBot Disallow	5	0.86
Semrush Bot Disallow	5	0.86
Google AdsBot Mobile Disallow	4	0.68
Common Crawl Bot Disallow	4	0.68
Majestic Bot Disallow	4	0.68
Google Image Bot Disallow	4	0.68
GPTBot Disallow	3	0.51
Anthropic Claude Bot Disallow	3	0.51
ByteDance Bytespider Disallow	3	0.51
Exalead Bot Disallow	3	0.51
Webz Omgili Disallow	3	0.51
AppleBot Disallow	2	0.34
Google Bard Disallow	2	0.34
Facebook Bot Disallow	2	0.34
Apple AI Bot Disallow	2	0.34
Perplexity	2	0.34
Google AdsBot Mobile Apps Disallow	2	0.34
Diffbot Disallow	2	0.34
Google News Bot Disallow	2	0.34
Google Video Bot Disallow	2	0.34
DuckDuckGo Bot Disallow	2	0.34
Google Favicon Disallow	2	0.34
Google API Bot Disallow	2	0.34
Google DuplexWeb Disallow	2	0.34
Cohere AI Disallow	1	0.17
360 Bot Disallow	1	0.17
BuiltWithBot Disallow	1	0.17
Youdao Bot Disallow	1	0.17

584 الاكتشافات

ل ملف الروبوتات.txt في واليس وفوتونا. آخر تحديث 17th جمادى الثانية 2024.

Robots Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.