Lunes, 21 de septiembre de 2020
El año pasado, lanzamos el analizador y el comparador de robots.txt que usamos en nuestros sistemas de producción para el mundo de código abierto. Desde entonces, varias personas han desarrollado herramientas nuevas con estos, han contribuido a la biblioteca de código abierto (lo que agradecemos, ya que mejora de manera efectiva nuestros sistemas de producción) y han lanzado versiones nuevas de lenguajes como golang y rust, que les permiten a los desarrolladores crear herramientas nuevas con mayor facilidad.
Como ya está finalizando la temporada de pasantías en Google, queríamos destacar dos nuevos lanzamientos relacionados con robots.txt que pudieron realizarse gracias a dos pasantes que trabajan en el equipo de Search Open Sourcing: Andreea Dutulescu y Ian Dolzhanskii.
Prueba de especificación de robots.txt
Primero, lanzaremos un framework de prueba que creó Andreea para desarrolladores de analizadores de robots.txt. El proyecto brinda una herramienta de prueba que puede validar si un analizador de robots.txt cumple con el protocolo de exclusión de robots o en qué medida lo hace. En la actualidad, no existe una manera oficial ni exhaustiva de evaluar la precisión de un analizador, por lo que Andreea compiló una herramienta que se puede usar para crear analizadores de robots.txt que cumplan con el protocolo.
Analizador y comparador de robots.txt de Java
En segundo lugar, lanzaremos una versión portable oficial para Java del analizador de robots.txt de C++, que creó Ian. Java es el tercer lenguaje de programación más popular en GitHub y también se usa ampliamente en Google, por lo que no es de extrañar que haya su versión portable haya sido la más solicitada. El analizador es una traducción directa del analizador de C++ en términos de funciones y comportamiento, y se probó minuciosamente para determinar su paridad con una gran recopilación de las reglas de robots.txt. Los equipos ya planean usar el analizador de robots de Java en los sistemas de producción de Google, y esperamos que también te resulte útil.
Como siempre, apreciamos tus contribuciones a estos proyectos. Si realizaste compilaciones con el analizador de robots.txt de C++ o con estas versiones nuevas, avísanos para que podamos ayudarte a correr la voz. Si encontraste un error, ayúdanos a corregirlo. Para ello, abre un problema en GitHub o contribuye directamente con una solicitud de extracción. Si tienes preguntas o comentarios sobre estos proyectos, búscanos en Twitter.
Fue un verdadero placer recibir a Andreea y Ian, y lamentamos que su pasantía esté por terminar. Sus contribuciones ayudan a hacer de Internet un lugar mejor, y esperamos volver a verlos en Google próximamente.