Der Vento9Bot

Vento9 betreibt einen eigenen Crawler („Vento9Bot“), der Webseiten besucht, um sie in den Suchindex aufzunehmen.

Kennung (User-Agent)

Vento9/1.0 (+https://vento9.com)

So steuerst du den Bot

• Der Vento9Bot beachtet die robots.txt. Was dort für * oder Vento9 gesperrt ist, wird nicht besucht.
• Beispiel – komplett sperren:
  User-agent: Vento9
Disallow: /
• Auch <meta name="robots" content="noindex"> und der X-Robots-Tag-Header werden respektiert.
• Crawl-delay wird eingehalten; der Bot crawlt langsam und ressourcenschonend.

Was gespeichert wird

Titel, Beschreibung, sichtbarer Textinhalt, ein Vorschau-Screenshot der Seite sowie öffentlich auf der Seite genannte Kontakt-/Impressumsangaben. Möchtest du nicht erfasst werden, sperre den Bot per robots.txt oder schreib uns: [email protected].