A közelmúltban Danny Sullivan tett fel nagyon jó kérdéseket a kereső motorok meta tag feldolgozásáról. Itt található néhány válasz, hogy a Google hogyan használja ezeket.

Többszörös érték megadás
Azt javasoljuk, hogy a minden tartalomra vonatkozó értéket inkább egyetlen meta tag-ben sorakoztassunk fel. Ez által könnyebben értelmezhetővé tesszük a robot számára és elkerülhetjük az összeférhetetlenséget.
Például:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Ha az oldalon többszöri meta tag szerepel ugyanahhoz az típushoz, mi összevonjuk az értékeit.
Például a következő képpen dolgozzuk fel:
<META NAME="ROBOTS" CONTENT="NOINDEX">
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
Ez ugyanaz, mint:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Ha a összeférhetetlenséget fedezünk fel, akkor a legszigorúbbat alkalmazzuk.
A következő esetben például:
<META NAME="ROBOTS" CONTENT="NOINDEX">
<META NAME="ROBOTS" CONTENT="INDEX">
Mi a NOINDEX érték szerint járunk el.
Felesleges tartalmi jellemzők
Alapesetben a Google robot az oldalakat indexeli a lekövetett linkjei alapján. Tehát nincs szükség megadni a következő tartalomra vonatkozó elemeket: INDEX vagy FOLLOW.
A kereső robotok közvetlen megszólítása meta tagekkel
Ha minden kereső robot számára akarunk utasítást adni, akkor használjuk a ROBOTS meta nevet. De ha csak a Google robotját akarjuk irányítani, akkor használhatjuk névnek a GOOGLEBOT –ot. Ha külön utasításokat akarunk adni a kereső robotoknak (pl. ha csak egy kifejezett robotnak akarjuk engedélyezni az oldalunk feldolgozását), akkor használjuk ezeket a speciális meta tag neveket. A kereső robotok listája megtalálható robotstxt.org oldalon.
A szóközök és a nagy- illetve kisbetűs tartalom
A Google robot értelmezni tudja a kis- és nagybetűvel írt oldalakat is. Tehát a következő példák ugyanúgy feldolgozásra kerülnek:
<meta name="ROBOTS" content="NOODP">
<meta name="robots" content="noodp">
<meta name="Robots" content="NoOdp">
Ha több értéket adunk meg azonos típushoz, akkor vesszővel kell azokat elválasztani, de értelmezni tudja a szóközzel elválasztott értékeket is.
Pld:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
Ha robots.txt fájlt is használunk és robot meta tageket is
Ha azonos típusok összeütközésbe kerülnek, akkor a Googlebot a legszigorúbbat fogja figyelembe venni.
Ez azt jelenti, hogy:
- Ha blokkolsz egy oldalt a robots.txt-vel, akkor a Google robot egyáltalán nem fogja olvasni az oldalukat, nem veszi figyelembe egyik meta tag-jét sem.
- Ha a robots.txt-ben engedélyezzük az oldalunk feldolgozását, és közben meta tag-gel tiltjuk az indexelését, akkor a Google robot eléri ugyan az oldalunkat, beolvassa a meta tagjeit, de mégsem fogja indexelni.
Engedélyezett meta robot értékek
A Google robotja a következő értékeket fogja figyelembe venni:
- NOINDEX – megakadályozhatjuk vele oldalunk indexelését
- NOFOLLOW – megakadályozhatjuk, hogy oldalunkon található hivatkozások feldolgozásra kerüljenek. (Ez különbözik a link-színtű NOFOLLOW értéktől, mert az egyedi linkek lekövetését akadályozza)
- NOARCHIVE – letilthatjuk vele, hogy az oldalunkról archív másolat készüljön keresési listáknak
- NOSNIPPET – segítségével megtiltjuk azt, hogy archív másolat készüljön az oldalunkról és azt is, hogy kereső eredmények listájában leírás is megjelenjen az oldal linkje alatt.
- NOODP – megakadályozhatjuk, hogy az Open Directory Project leírásai közé is bekerüljön a kereső listában szereplő leírása az oldalnak
- NONE – ugyanaz, mint : NOINDEX NOFOLLOW
Néhány szó a NONE értékről
Amint a robotstxt.org leírásában szerepel, ennek az értéknek a jelentése: NOINDEX, NOFOLLOW
Azonban némely rendszergazda felcseréli jelentését, úgy értelmezve, hogy nem jelent semmilyen tiltást a robotoknak, közben az ellenkezőjét érik el vele, tiltják a robotoktól oldalunk feldolgozását.