ملف الروبوتات.txt توزيع الاستخدام في توجو

ليثبت ملف الروبوتات.txt توزيع الاستخدام في توجو

تكنولوجيا	المواقع الإلكترونية	%
Robots Disallow	106	16.93
Googlebot Disallow	91	14.54
Baidu Bot Disallow	51	8.15
Some Robots Disallow	34	5.43
Yandex Bot Disallow	34	5.43
Alexa Bot Disallow	32	5.11
Sogou Bot Disallow	31	4.95
Yahoo Slurp Disallow	31	4.95
Soso Bot Disallow	31	4.95
Microsoft BingBot Disallow	30	4.79
Google Media Partners Disallow	30 *	4.79
Ahrefs Bot Disallow	20	3.19
GPTBot Disallow	11	1.76
Common Crawl Bot Disallow	10	1.6
AppleBot Disallow	8	1.28
Anthropic Claude Bot Disallow	8	1.28
Google Bard Disallow	8	1.28
Facebook Bot Disallow	8	1.28
Apple AI Bot Disallow	8	1.28
Perplexity	8	1.28
Cohere AI Disallow	7	1.12
Google AdsBot Mobile Apps Disallow	7	1.12
Majestic Bot Disallow	7	1.12
Semrush Bot Disallow	7	1.12
ByteDance Bytespider Disallow	2	0.32
Exalead Bot Disallow	1	0.16
Microsoft MSNBot Disallow	1	0.16
Webz Omgili Disallow	1	0.16
Google Image Bot Disallow	1	0.16
360 Bot Disallow	1	0.16
BuiltWithBot Disallow	1	0.16

626 الاكتشافات

ل ملف الروبوتات.txt في توجو. آخر تحديث 17th جمادى الثانية 2024.

Robots Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.