FindoBot

FindoBot ist der Crawler der Suchmaschine findo.li. Er identifiziert sich mit dem User-Agent FindoBot/1.0 (+https://findo.li/bot).

Regeln, an die sich FindoBot hält

• robots.txt (User-agent FindoBot oder *), inklusive Crawl-delay
• <meta name="robots" content="noindex">, X-Robots-Tag, rel="canonical" und nofollow
• Höchstens eine Anfrage pro Sekunde und Host

FindoBot sperren

User-agent: FindoBot
Disallow: /

Eigene Website eintragen

Über die Search Console kannst du deine Domain verifizieren und eine Sitemap einreichen.

Kontakt

Probleme mit dem Crawler: thomas@paul89.dev