Effecitve Way Blocking Spambot, Scraper, SEO Tools & Bad Bots

Besitzt man eine gut sichtbare Webseite, so dauert es nicht lange, bis die ersten Internetnutzer versuchen Webinhalte Ihrer Seite zu analysieren oder gar herunterzuladen. Auch SEOler nutzen neben OnPage and OnSite Tools Linkdatenbanken wie Majestic SEO, ahrefs, OpenSiteExplorer, Sistrix oder Searchmetrics um Backlink Profile gutrankender Webseite ausgespäht und zu analysiert.

blocking bot via htaccess

Mit dem folgenden htaccess Eintrag kann man effektiv Spambots, Scraper, SEO Tools und Bad Bots blockieren. Diese erhalten soweit Sie mit der standard User Agent Kennung arbeiten keinen Zugriff auf den Webserver.

Auch Tools wie Xenu oder SEO Screaming Frog, aber SEOKlicksxovi und andere können bei Standardeinstellung die Seite mit diesem htaccess-Eintrag nicht mehr crawlen.

Downloader wie HTTrack, Download Demon oder Scraping Scripte wie Python-Scripte können nicht mehr auf die Seite zugreifen und nicht korrekt arbeiten.

Weiterlesen «Effecitve Way Blocking Spambot, Scraper, SEO Tools & Bad Bots»