로봇.txt 사용량 분포 ~에 리히텐슈타인

핀을 꼽는 로봇.txt 사용량 분포 ~에 리히텐슈타인

기술	웹사이트	%
Googlebot Disallow	1,851	13.12
Baidu Bot Disallow	1,405	9.96
Robots Disallow	1,136	8.05
Microsoft BingBot Disallow	762	5.4
Yandex Bot Disallow	753	5.34
Some Robots Disallow	746	5.29
Google AdsBot Disallow	729	5.17
Sogou Bot Disallow	673	4.77
Yahoo Slurp Disallow	647	4.58
Google AdsBot Mobile Disallow	638	4.52
Alexa Bot Disallow	607	4.3
Soso Bot Disallow	590	4.18
Google Media Partners Disallow	268 *	1.9
GPTBot Disallow	263	1.86
Anthropic Claude Bot Disallow	261	1.85
Ahrefs Bot Disallow	231	1.64
Google Bard Disallow	190	1.35
AppleBot Disallow	189	1.34
Majestic Bot Disallow	187	1.33
Common Crawl Bot Disallow	184	1.3
Semrush Bot Disallow	184	1.3
Facebook Bot Disallow	170	1.2
Google AdsBot Mobile Apps Disallow	165	1.17
Apple AI Bot Disallow	154	1.09
Cohere AI Disallow	142	1.01
Perplexity	136	0.96
Microsoft MSNBot Disallow	87	0.62
Google Image Bot Disallow	81	0.57
Webz Omgili Disallow	77	0.55
DuckDuckGo Bot Disallow	75	0.53
Google News Bot Disallow	68	0.48
Google Video Bot Disallow	68	0.48
Google API Bot Disallow	65	0.46
Google Favicon Disallow	64	0.45
Google DuplexWeb Disallow	64	0.45
ByteDance Bytespider Disallow	60	0.43
Diffbot Disallow	39	0.28
YOU Disallow	35	0.25
Exalead Bot Disallow	31	0.22
360 Bot Disallow	21	0.15
BuiltWithBot Disallow	12	0.09
Pipl Disallow	4	0.03
Google BIG Bench Disallow	1	0.01

14,113 탐지

~의 로봇.txt ~에 리히텐슈타인. 마지막 업데이트 18th 12 2024.

Googlebot Disallow 현재 이 카테고리에서 가장 인기 있는 기술입니다.