Google-Refererspam auch bei Adwords-Kunden
Published 2008-02-17, 21:24
Sistrix alias Johannes Beus hat schon vor einigen Tagen in seinem Blog einige Beobachtungen aufgeschrieben:
[…] sowohl Microsoft als auch Google überprüfen mittlerweile Seiten auf Cloaking auf Referrerbasis. Dazu rufen sie die Seiten mit einem Referrer, der so aussieht, als komme der Nutzer über ihre Suchmaschine auf.
Quelle: Referrer-Spam von Google und Microsoft
Ich habe ähnliche Referer entdeckt, allerdings bei Seiten, die nur über Google Adwords beworben werden und eigentlich keinerlei Seiten im Google-Index haben. Eine klassische Cloakinganalyse macht hier also wenig Sinn.
Erstmals tauchten diese Referer am 14.1 auf:
- http://www.google.com/search?hl=en&q=motor+large+ode+be
- http://www.google.com/search?hl=en&q=bedding+map+expenses+custom
- http://www.google.com/search?hl=en&q=car+medal+roads+stromberg
- http://www.google.com/search?hl=en&q=pregnant+wa+registery+website
- http://www.google.com/search?hl=en&q=sound+wolf
- http://www.google.com/search?hl=en&q=seto+Have
- http://www.google.com/search?hl=en&q=shower+leopard+lube
- …
Urpsrung waren die üblichen 72.14.- und 66.249.-IP-Blöcke von Google, als Useragent wurde das harmlose Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1) übermittelt. Eigentlich eine Frechheit, denn das Verzeichnis auf das die Adwords-Besucher geleitet werden ist in der robots.txt explizit für Robots verboten. Dass Googles Adbot sich nicht daran hält ist verständlich, aber bei diesem Cloaking-Überprüfungsbot wundere ich mich doch ein wenig.
Ab 1. Februar kam noch eine weitere Variante dazu, über die ich bislang online noch gar nichts gelesen habe. Der Referer besteht nicht mehr aus zufällig zusammengewürfelten englischen Begriffen, sondern setzt sich aus einem wirklich in Adwords gebuchten Keyword und der Domain mit site-Operator zusammen:
- http://www.google.com/search?hl=en&q=site%3Aexample.org+keyword
Die IPs und der Useragent sind die selben.
Mich als Adwords-Kunden ärgert dieses Vorgehen von Google eher weniger, auch die bisherigen Adsbot-Aufrufe haben die Logfiles übermäßig zugemüllt. Für das wirkliche Erfolgstracking mussten diese schon immer herausgefiltert und explizit behandelt werden. Nun habe ich eben einige weitere Regeln hinzugefügt, die auch diesen Anti-Cloaking-Bot erfassen.
Die Hintergründe wären jedoch trotzdem interessant.
( 1 )
interessante Beobachtungen! Wie kann der Google-Bot die robots.txt umgehen? Wozu hat man dann so etwas???
Comment von HSD am 25. März 2008
( 2 )
Netter Artikel. Da werde ich in Zukunft einmal genauer darauf achten.
Comment von Tiger am 27. April 2008