Lunes, 21 de septiembre del 2020
El año pasado lanzamos al mundo del código abierto el analizador y comparador de robots.txt que usamos en nuestros sistemas de producción. Desde entonces, los usuarios han creado nuevas herramientas, han contribuido a la biblioteca de código abierto (mejorando nuestros sistemas de producción, ¡gracias!) y han publicado nuevas versiones en lenguajes de programación como golang y rust, que ayudan a los desarrolladores a crear herramientas nuevas.
Con el fin de la temporada de prácticas en Google, queremos destacar dos nuevos lanzamientos relacionados con robots.txt que han sido posibles gracias a dos becarios del equipo de código abierto de la Búsqueda, Andreea Dutulescu e Ian Dolzhanskii.
Prueba de especificación de robots.txt
En primer lugar, vamos a lanzar un marco de pruebas para desarrolladores de analizadores de robots.txt, creado por Andreea. El proyecto proporciona una herramienta de prueba que puede comprobar si el analizador de robots.txt sigue el protocolo de exclusión para robots o en qué medida. Por el momento, no existe un método oficial ni exhaustivo para evaluar la precisión de un analizador, por lo que Andreea ha creado una herramienta que se puede usar para crear analizadores de robots.txt que cumplan el protocolo.
Analizador y comparador de robots.txt de Java
En segundo lugar, vamos a lanzar un puerto Java del analizador de robots.txt de C++ creado por Ian. Java es el tercer lenguaje de programación más popular en GitHub y su uso también está muy extendido en Google, por lo que no es de extrañar que haya sido el puerto de lenguaje más solicitado. El analizador es prácticamente idéntico al analizador de C++ en términos de funciones y comportamiento, y se ha probado minuciosamente para comprobar si existe paridad contra la cantidad de reglas de robots.txt. Los equipos ya están pensando en usar el analizador de robots.txt de Java en los sistemas de producción de Google, y esperamos que te resulte útil a ti también.
Como siempre, agradecemos tus contribuciones a estos proyectos. Si has creado algo con el analizador de robots.txt de C++ o con estos nuevos lanzamientos, ponte en contacto con nosotros para que podamos ayudarte a difundirlo. Si has encontrado un error, puedes ayudarnos a solucionarlo abriendo una incidencia en GitHub o enviando directamente una solicitud de extracción. Si tienes alguna pregunta o comentario sobre estos proyectos, ponte en contacto con nosotros en Twitter.
Ha sido un placer poder trabajar con Andreea e Ian, y estamos tristes de que su periodo de prácticas vaya a terminar pronto. Sus contribuciones ayudan a que Internet sea un lugar mejor, y esperamos que en el futuro podamos darles de nuevo la bienvenida a Google.