ملف الروبوتات.txt توزيع الاستخدام في سانت بيير وميكلون

ليثبت ملف الروبوتات.txt توزيع الاستخدام في سانت بيير وميكلون

تكنولوجيا	المواقع الإلكترونية	%
Robots Disallow	284	14.58
Googlebot Disallow	263	13.5
Baidu Bot Disallow	177	9.09
Sogou Bot Disallow	131	6.72
Microsoft BingBot Disallow	129	6.62
Yandex Bot Disallow	125	6.42
Alexa Bot Disallow	125	6.42
Yahoo Slurp Disallow	123	6.31
Soso Bot Disallow	116	5.95
Some Robots Disallow	115	5.9
Google Media Partners Disallow	74 *	3.8
GPTBot Disallow	23	1.18
ByteDance Bytespider Disallow	23	1.18
Ahrefs Bot Disallow	17	0.87
Google Bard Disallow	17	0.87
Common Crawl Bot Disallow	16	0.82
AppleBot Disallow	16	0.82
Anthropic Claude Bot Disallow	16	0.82
Facebook Bot Disallow	16	0.82
Apple AI Bot Disallow	14	0.72
Semrush Bot Disallow	14	0.72
Google AdsBot Mobile Apps Disallow	12	0.62
Majestic Bot Disallow	11	0.56
Webz Omgili Disallow	10	0.51
Cohere AI Disallow	9	0.46
Perplexity	9	0.46
Google Image Bot Disallow	9	0.46
Microsoft MSNBot Disallow	7	0.36
Google News Bot Disallow	6	0.31
Google Video Bot Disallow	6	0.31
DuckDuckGo Bot Disallow	6	0.31
Google Favicon Disallow	6	0.31
Google API Bot Disallow	6	0.31
Google DuplexWeb Disallow	6	0.31
Exalead Bot Disallow	3	0.15
Diffbot Disallow	3	0.15
YOU Disallow	2	0.1
360 Bot Disallow	1	0.05
BuiltWithBot Disallow	1	0.05
Youdao Bot Disallow	1	0.05

1,948 الاكتشافات

ل ملف الروبوتات.txt في سانت بيير وميكلون. آخر تحديث 17th جمادى الثانية 2024.

Robots Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.