de Robots.txt dans le Top 1 Million de Sites. Dernière mise à jour 18th déc. 2024.
Google Media Partners Disallow est actuellement la technologie la plus populaire dans cette catégorie.