Disallow.de – Ein erstes Konzept
Published 2005-10-21, 21:12
Perfekt, bull hat mir heute nachmittag gleich noch die pre-pre-alpha von seiner Botdatenbank zukommen lassen, die er sich mal gebastelt hatte. Und ich habe meine alten PMs wiedergefunden, die ich ihm geschrieben hatte. Daraus habe ich mal einen Konzeptentwurf gebastelt.
Schaut man sich an was wir bisher schon haben, und was wir erreichen wollen, komme ich auf 3 Projektbereiche:
1. Botdatenbank
1.1. IPs
1.2. IP-Ranges
1.3. Useragent2. Tools
2.1. Allgemeiner Export als Datenbank, csv, txt, etc
2.2. .htaccess-Generator
2.3. .htaccess-Autoupdater
2.4. API zum überprüfen von IPs/UAs3. „Forum“ + Blog
Die Botdatenbank [1.] ist das Herzstück und klassifiziert die ganzen IPs und UAs in der Datenbank in bestimmte, noch festzulegende, Kategorien. Diese müsse nicht unbedingt negativ für eine Blacklist sein, es könnten z.B. alle IPs des GoogleBot für eine Whitelist gesammelt werden oder ähnliches.
Die Datenbank könnte wie eine Art Wiki funktionieren. Jeder kann IPs oder UAs zur Aufnahme in die Datenbank vorschlagen, die anderen aktiven Nutzer haben dann die Möglichkeit die Belege oder Beweise zu diskutieren (was dann schon zu Punkt 3 passt] und schließlich pro oder kontra einer Aufnahme in die Datenbank zu voten, einige Moderatoren oder Supervisor passen auf dass niemand das System manipuliert.
An Tools [2.] habe ich erstmal das offensichtlichste aufgeführt. Hier lassen sich dann auf die solide Datenbank natürlich noch viele weitere Sachen basteln – so denn Ideen vorhanden sind. Der Autoupdater und die API sind hier sicherlich die interessantesten Sachen. Sie ermöglichen dem normalen Webmaster ein sorgenfreies Leben. Die API ist hier eher für die Whitelist der Bots gedacht, also Bots die definitiv gut sind (GoogleBot…).
Bei solchen Tools gibt es dann natürlich auch immer Nutzer die nicht ganz damit klarkommen und Probleme haben, deshalb der Bereich „Forum“ [3.]. Natürlich lohnt es sich nicht hier eine großen Forenstruktur zu basteln wie zum Beispiel bei Abakus, aber die Diskussion über die Bots, Fragen zur Nutzung und Problemlösungen sollten auf jeden Fall ihren Platz haben.
Ein Blog braucht jedes moderne Projekt natürlich auch, kaum etwas ist besser um Änderungen, Probleme und ähnlichen Kram bekanntzugeben.
Was haltet ihr davon?
( 1 )
Sehr befriedigend!
Comment von bull am 21. Oktober 2005
( 2 )
Also ich fände das Klasse. gerade als Newbie ist sowas sehr nützlich. Grüße Marcell
Comment von Marcell am 21. Oktober 2005
( 3 )
Noch erforderlich für den Autoupdater:
Client muß ein Testunterverzeichnis anlegen, in dem bei Aktualisierung eine Test-.htaccess geschrieben wird. Dann wird auf das Testverzeichnis zugegriffen und sicherheitshalber geprüft, ob ein 500 Internal Server Error kommt, also der aktualisierte Code funktionstüchtig ist. Erst dann wird der Code in die Root-htaccess geschrieben. Usw.
Comment von bull am 21. Oktober 2005
( 4 )
Guter Einwand, sonst macht das Teil dann bei nem Fehler die ganzen Domains kaputt die es einsetzen – wäre nicht so gut 😉
Comment von Jan am 21. Oktober 2005
( 5 )
Warte sehr gespannt und sogar ungeduldig auf die Umsetzung 😉
Uebrigens wuerde ich die Fuehrung einer WhiteList von GUTEN User Agents sehr begruessen. Beim Loggen hab ich festgestellt dass man da doch mit ner relativ kleinen Liste auskaeme.
Comment von Airport1 am 31. Oktober 2005
( 6 )
[…] Bisher hatte das Projekt “Disallow.de” bei dem ich mitarbeite (bzw. das ich leite, schon wieder so ne ungeplante Sache…) hier im Weblog eine eigene Kategorie. Diese beinhaltete bisher “nur” die beiden Postings über die Idee und erste Konzeptansätze. […]
Pingback von Betamode » Darf ich vorstellen: Das Disallow-Blog und -Wiki am 1. November 2005
( 7 )
[…] 2. Ein erster Konzeptentwurf: http://betamode.de/2005/10/21/disallow-de-ein-erstes-konzept/ […]
Pingback von Disallowblog » Blog Archive » Hallo bei Disallow! am 1. November 2005
( 8 )
[…] Hier findet man ein erstes Konzept zu Disallow, hier den offiziellen Blog zu Disallow auf den man den Projektverlauf verfolgen kann. Und letztendlich noch ein Wiki zum Sammeln von gemeinsamen Inhalten und Daten. […]
Pingback von Böse Bots ausperren Disallow.de » Suchmaschinen News am 1. November 2005
( 9 )
Disallow ist tot: http://disallow.de/blog/2006/07/05/disallow-ist-tot/
Comment von Jan am 5. Juli 2006
( 10 )
hallo, …
ein leidiges problem – leider
zumal sich firefox 2.0 auch nicht mehr an die robots.txt hält und man eigentlich jeden firefoxuser aussperren müsste 🙁
nie war content klau so einfach
spider trap ist ne gute lösung (wenn man php arbeitet)
habe mittlerweile über 150 IP bereiche (class c) und etliche UA gesperrt
Comment von Dietmar am 18. Januar 2007
( 11 )
Welcher Browser hält sich bitte an die robots.txt? Das macht doch keinen Sinn…
Comment von Jan am 18. Januar 2007