robots.txt Suche
robots.txt Suche
  1. Mehr Menschen als gedacht wissen, dass es die robots.txt gibt,
  2. 2,761,257 davon wollen nicht auf archive.org gelistet werden, sie haben den User-Agent "ia_archiver" ausgesperrt.
  3. 1,550,582 steuern den Googlebot.
  4. 478,337 interessiert es, was der Spider von Yahoo "slurp" treibt.
  5. 297,417 wollen keine Zugriffe von Perls "libwww".
  6. 26,805 immerhin mögen "thesubot" nicht leiden.

Ihr könnt die robots.txt Suche hier ausprobieren.