Google acaba de anunciar la creación de un nuevo user agent para las news, así que ahora dentro del robots.txt tendremos la posibilidad de cortarle el paso a este nuevo user agent.

Así que si a partir de ahora eres como Murdoch y quieres librar la batalla a Google y sus News, solo hay que insertar dentro del robots.txt un par de nuevas lineas para evitar que nuestras noticias sean indexadas por las news.

User-agent: Googlebot-News
Disallow: /

Digan lo que digan, como que es para dar más control a los webmasters de decidir que contenidos quieren que sean indexados por Google, suena más a si Murdoch nos quita sus páginas de las news, al menos que no nos las quite del buscador