الاثنين 21 أيلول (سبتمبر) 2020
لقد أطلقنا في العام الماضي أداة محلّل ومُطابق ملف robots.txt التي نستخدمها في أنظمة الإنتاج في عالم المشاريع المفتوحة المصدر. ومنذ ذلك الحين، لاحظنا أنّ بعض صنّاع المحتوى يستخدمونها لتصميم أدوات جديدة ويساهمون في مكتبة البرامج المفتوحة المصدر (ما يساعد بفعالية في تحسين أنظمة الإنتاج لدينا)، وأطلقنا إصدارات لغات جديدة مثل golang وrust، التي تسهّل على المطوّرين تصميم أدوات جديدة.
مع انتهاء فترة التدريب الداخلي في Google، أردنا تسليط الضوء على إصدارَين جديدَين مرتبطَين بملف robots.txt، وقد طوّرهما متدرّبان يعملان في فريق "البرامج المفتوحة المصدر في بحث Google"، هما أندريا دوتليسكو وإيان دولزانسكي.
اختبار مواصفات ملف Robots.txt
أولاً، سنطلق إطار عمل الاختبار لمطوّري محلّل Robots.txt الذي طورته "أندريا". يقدّم المشروع أداة اختبار يمكنها التحقّق مما إذا كان محلّل robots.txt يتّبع "بروتوكول استبعاد برامج الروبوت"، ومدى اتّباعه له. ليس هناك طريقة رسمية وشاملة في الوقت الحالي لتقييم صحة المحلّل، لذلك صممت "أندريا" أداة يمكن استخدامها لإنشاء برامج تحليل robots.txt تتبع البروتوكول.
محلّل ومُطابق ملف robots.txt بلغة Java
ثانيًا، سنطلق منفذ Java رسميًا في محلّل robots.txt بلغة C++، وهو من تطوير "إيان". لغة Java هي ثالث لغة برمجة بين الأكثر رواجًا على GitHub ويتم استخدامها على نطاق واسع في Google أيضًا، لذلك من الطبيعي أن يكون منفذ هذه اللغة الأكثر طلبًا. المحلّل اللغوي هو ترجمة فردية للمحلّل بلغة C++ من حيث الوظائف والسلوك، وتم اختباره جيدًا للتأكُّد من أنه متكافئ مع مجموعات كبيرة من قواعد robots.txt. سبق أن بدأت الفِرق بالتخطيط لاستخدام محلّل ملف robots.txt بلغة Java في أنظمة الإنتاج في Google ونأمل أن تجدها أنت أيضًا مفيدة.
ونرحّب كالعادة بمساهماتك في هذه المشاريع. إذا صمّمت أداة باستخدام محلّل ملف robots.txt بلغة C++ أو باستخدام هذه الإصدارات الجديدة، يُرجى إعلامنا حتى نتمكّن من مساعدتك في نشر الخبر. إذا وجدت خطأً، ساعِدنا في حلّه عن طريق الإبلاغ عن المشكلة في GitHub أو المساهمة بشكل مباشر من خلال تقديم طلب سحب. إذا كانت لديك أسئلة أو تعليقات حول هذه المشاريع، يمكنك التواصل معنا على Twitter.
سُررنا باستضافة "أندريا" و"إيان"، لكن فترة تدريبهما قد انتهت. تساعد مساهماتهما في جعل الإنترنت مكانًا أفضل ونأمل أن نتمكّن من الترحيب بهما في Google مجددًا في المستقبل.