Tahun lalu, Google merilis pengurai dan pencocokan robots.txt ke dunia sumber terbuka. Sejak itu, orang-orang telah menggunakannya untuk membuat alat baru, berkontribusi pada pustaka sumber terbuka, dan merilis versi bahasa baru (seperti golang dan karat).
Saat musim magang Google berakhir, mereka ingin menyoroti dua rilis baru yang terkait dengan robots.txt oleh dua pekerja magang yang bekerja di tim sumber terbuka pencarian: [Andreea Dutulescu](https://www.linkedin.com/at/andreea -nicoleta-dutulescu){rel="nofollow"} dan Ian Dolzhanskii.
Pertama, mereka merilis kerangka pengujian untuk developer parser robots.txt yang dibuat oleh Andreea. Proyek ini menyediakan alat pengujian untuk memverifikasi bahwa parser robots.txt mengikuti protokol pengecualian robot, atau sejauh mana. Saat ini tidak ada cara resmi dan menyeluruh untuk mengevaluasi kebenaran parser, jadi Andreea membuat alat yang dapat digunakan untuk membuat parser yang sesuai protokol.
Google telah merilis port Java dari pengurai robots.txt C++ yang populer. Pengurai adalah terjemahan satu-ke-satu dari pengurai C++ dalam hal fungsionalitas dan perilaku, dan telah diuji secara menyeluruh terhadap sejumlah besar aturan robots.txt. Tim memiliki rencana untuk menggunakan pengurai robots.txt Java dalam sistem produksi Google, dan perusahaan menyambut baik kontribusi Anda untuk proyek ini.
Kami sangat senang menjadi tuan rumah Andreea dan Ian, dan kami menyesal bahwa magang mereka akan segera berakhir. Kontribusi mereka membantu menjadikan Internet tempat yang lebih baik, dan kami berharap dapat menyambut mereka kembali di Google di masa mendatang.