Disallow.de – Die Idee

Published 2005-10-21, 02:28

Heute bin ich wieder über eine Projektidee von mir und bull, meinem Moderatoren-Kollegen bei Abakus, gestolpert: Disallow.de

Bei Abakus gibt es seit jeher ein Forum nur für Themen über Suchmaschinenbots, Spider und andere Robots. Ein großer Anteil der Beiträge sind Beschwerden über penetrante oder übereifrige Bots, Bots die sich für etwas anderes ausgeben als was sie sind und so weiter. Oft bleibt den Nutzern gar nichts anderes übrig als bestimmte Useragents oder IP-Bereiche komplett auszusperren.

Bisher kümmern die meisten Webmaster sich nur darum, wenn es wirklich brennt und ein Bot auffällt, andere führen für sich selbst ihre Blacklisten – einen zentralen Punkt zum Sammeln gibt es bisher jedoch nicht. Die Idee war nun also eben eine solche Sammelstelle einzurichten. Die Domain Disallow.de gehört mir schon einige Zeit und würde hier perfekt passen.

Ziel des Projektes soll es also sein alle unangenehmen oder „bösen“ Bots mit IP, Useragent und Beschreibung in einer Datenbank abzuspeichern und zu klassifizieren. Über Schnittstellen und Tools werden diese Daten dann dem Webmaster zur Nutzung bereitgestellt.

Ich such mal alles zusammen was ich zu Disallow schon so zusammengeschreibselt habe, vielleicht lässt sich das ganze ja reaktivieren… Lust dazu hätte ich.

Diskussion zum Artikel

» Selbst kommentieren

  1. ( 1 )

    Gute Sache! 🙂

    Comment von Mo am 21. Oktober 2005

  2. ( 2 )

    Schön wäre ein mod für den Chcounter!

    Der Chcounter zeigt das Favicon von richtigen Suchmaschinen wie Yahoo! Google oder Msn an (wenn sie Online sind), kommt jedoch ein „Bot“ den der Chcounter nicht kennt (sind immer böse Bots) zeigt er nur eine „Lupe“ an. Wenn die „Lupe“ angezeigt wird kann man sich sicher sein das grad ein „böser Bot“ am Werk ist. Da der Counter eh in jede Seite „includet“ ist, bietet es sich doch an diese als „Lupe“ gekennzeichneten Bots gleich auszusperren, mittels Php!

    Da meine Php Kenntisse gerade mal zum Outsourcen eines phpbb Forums ausreichen (hehe), müsste sich mal jemand fähiges daran machen.

    Tschuss Business

    Comment von business am 21. Oktober 2005

  3. ( 3 )

    Damit mein Post auch was mit Disallow.de zutun hat könnte man die Modifikation dort zum download anbieten 😛

    Comment von business am 21. Oktober 2005

  4. ( 4 )

    Nicht jeder Bot der nicht zu Google, Yahoo und Co gehört, muss böse sein – es gibt auch eine Menge kleiner Suchmaschinen die ich gerne auf meine Seiten lassen.

    Meinst du diesen – http://www.christoph-bachner.net/chcounter – Chcounter? Ich werde mir das auf jeden Fall mal ein wenig genauer anschauen was der Counter da genau macht. Denn interessant sein kann das allemal…

    Ein solcher Counter könnte dann auf unsere Datenbank zugreifen und wirklich böse Bots so zuverlässig erkennen und diese dann gegebenenfalls aussperren. Eigentlich könnte Disallow.de ja auch eine Whitelist für definitiv gute Bots beinhalten…

    Comment von Jan am 21. Oktober 2005

  5. ( 5 )

    Gute Idee, das noch einmal aufzuwärmen, bevor ich mich ins Ausland absetze 😉

    Comment von bull am 21. Oktober 2005

  6. ( 6 )

    So ein „Dienst“ würde es sicher sogar bis zu Heise schaffen denke ich. Ja er meint den Counter von Christoph.

    Comment von Mario am 21. Oktober 2005

  7. ( 7 )

    Klar Jan nicht jeder als „Lupe“ gekennzeichneter Bot muss auch ein böser Bot sein aber ich erwarte von keiner kleinen Suchmaschine nennenswerten Traffic. Von daher könnten die bei mir ruhig gesperrt werden 🙂

    Hier mal ein Bild:
    http://img453.imageshack.us/my.php?image=chcounter9ek.gif

    @bull, wohin gehts denn?

    Ciao Business

    Comment von business am 21. Oktober 2005

  8. ( 8 )

    Genau so ne Auswahl möchten wir den Nutzern mit Disallow ja bieten, alle Robots und IPs sind klassifiziert und der Webmaster bastelt sich daraus dann seinen ganz eigenen Mix an Black- und/oder Whitelisten.

    bull hat mir per Mail nochmal alles zukommen lassen was es zu der Idee schon gibt, nachher mal durchschaun und auch mein „Konzept“ mal hier veröffentlichen. Würde mich freuen wenn ein paar meiner Leser beim denken helfen könnten…

    Comment von Jan am 21. Oktober 2005

  9. ( 9 )

    Ich waere dabei! (in Sachen Content fuer die Datenbank) … Es verfaengt sich viel Zeugs in den Logs…

    Comment von Chris am 21. Oktober 2005

  10. ( 10 )

    @business
    Die Sache ist bisweilen nicht trivial; chcounter findet sehr wahrscheinlich nicht solche Sachen:
    209.97.203.x – – [21/Oct/2005:20:22:22 +0200] „GET / HTTP/1.1“ 403 – „-“ „Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)“ „-„

    Comment von bull am 21. Oktober 2005

  11. ( 11 )

    Sodele, ich hab mal die Ideen zusammengefasst:
    http://betamode.de/2005/10/21/disallow-de-ein-erstes-konzept/

    Comment von Jan am 21. Oktober 2005

  12. ( 12 )

    @bull
    Es war nur ein Vorschlag meinerseits. Die als „Lupe“ gekennzeichneten Bots sind das einzige ungeziefer was sich auf meinen Seiten aufhält, von daher würde die Modifikation des Counters für mich vollkommen ausreichend.

    Die Modifikation in Verbindung mit automatischen Ip-Updates seitens Disallow.de wäre grandios 😉

    Comment von business am 21. Oktober 2005

  13. ( 13 )

    […] Bisher hatte das Projekt “Disallow.de” bei dem ich mitarbeite (bzw. leite) hier im Weblog eine eigene Kategorie. Da gab es aber “nur” die beiden Postings über die Idee und erste Konzeptansätze. […]

    Pingback von Betamode » Darf ich vorstellen: Das Disallow-Blog und -Wiki am 1. November 2005

  14. ( 14 )

    […] 1. Die Idee hinter Disallow: http://betamode.de/2005/10/21/disallow-de-die-idee/ Ziel des Projektes soll es also sein alle unangenehmen oder “bösen” Bots mit IP, Useragent und Beschreibung in einer Datenbank abzuspeichern und zu klassifizieren. Über Schnittstellen und Tools werden diese Daten dann dem Webmaster zur Nutzung bereitgestellt. […]

    Pingback von Disallowblog » Blog Archive » Hallo bei Disallow! am 1. November 2005

  15. ( 15 )

    Disallow.de – Ein erstes Konzept…

    Perfekt, bull hat mir heute nachmittag gleich noch die pre-pre-alpha von seiner Botdatenbank zukommen lassen, die er sich mal gebastelt hatte. Und ich habe meine alten PMs wiedergefunden, die ich ihm geschrieben hatte. Daraus habe ich mal einen Konzept…

    Trackback von Betamode am 11. März 2006

  16. ( 16 )

    Disallow ist tot….

    Das war’s, hiermit beende ich das Projekt Disallow.
    Disallow war eine gute Idee. Natürlich ist es ein gutes Anliegen die eigenen Webseiten vor Contentgrabbern und Pseudosuchmaschinen zu schützen. Nur lohnt sich die investierte Zeit hi…

    Trackback von Disallowblog am 5. Juli 2006

Selbst kommentieren

Trackback-URI, Kommentarfeed. XML-Feed





16 queries. 0,123 seconds.