Google añade un user agent para las News
Google acaba de anunciar la creación de un nuevo user agent para las news, así que ahora dentro del robots.txt tendremos la posibilidad de cortarle el paso a este nuevo user agent.
Así que si a partir de ahora eres como Murdoch y quieres librar la batalla a Google y sus News, solo hay que insertar dentro del robots.txt un par de nuevas lineas para evitar que nuestras noticias sean indexadas por las news.
User-agent: Googlebot-News
Disallow: /
Digan lo que digan, como que es para dar más control a los webmasters de decidir que contenidos quieren que sean indexados por Google, suena más a si Murdoch nos quita sus páginas de las news, al menos que no nos las quite del buscador
Más info | Google Webmasters
You might also like
|
|
|
|
|

