Az utóbbi időben egyre többen kérdezik, hogy hogyan lehet a google robotot hitelesíteni. Ugyanis, bármelyik behatoló – spammer – képes készíteni egy „Googlebot”-ra keresztelt robotot, mint a Google hasonmását, a kérdés az, hogyan tudjuk eldönteni, hogy melyikben bízhatunk?
Általában az a kérésük a rendszergazdáknak, hogy tegyünk közzé egy IP cím tartományt, amelyről a mi robotjaink érkeznek. Ezzel az a probléma merül fel, hogy ha változik ez a tartomány, arról nem tudjuk értesíteni a rendszerek üzemeltetőit. Egy pár évvel ezelőtt például meg lett változtatva ez a tartomány, és nem kis munka volt értesíteni azokat a rendszergazdákat, akik beállították szűrésként a tartományainkat. Úgyhogy a robotok fejlesztésével foglalkozó csapatunk más módját találta ki robotunk azonosítására.
Itt található a tőlük származó válasz:
A rendszergazdák legmegbízhatóbb módon a DNS név feloldással tudják felismerni a robotunkat. Ezen technikák közül is a DNS ellenőrzés, hogy a domain név a googlebot.com és DNS->IP címfordítás a googlebot.com címről érkezett-e :
- host 66.249.66.1 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
- host crawl-66-249-66-1.googlebot.com crawl-66-249-66-1.googlebot.com ezzel a címmel rendelkezik 66.249.66.1
De ez módszer sem tekinthető 100%-ban megbízhatónak, mert egy álrobot érkezhet a következő DNS címről: crawl-a-b-c-d.googlebot.com.
