Telset.id – Google, Anthropic, OpenAI, dan Microsoft resmi berkomitmen menghormati direktif baru pada file robots.txt yang memungkinkan penerbit menentukan preferensi mereka soal pengambilan konten untuk pelatihan AI generatif. Kesepakatan ini menjadi sinyal pertama bahwa perusahaan AI besar bersedia tunduk pada satu aturan standar yang sama, alih-alih memaksa penerbit menambahkan aturan terpisah untuk setiap penyedia.
Direktif baru ini mengadopsi proposal yang tengah dibahas di IETF, organisasi standar terbuka untuk internet, yang ditulis oleh Anthropic technical lead for standards, Kevin Kelley. Seperti dijelaskan OpenAI dan Google dalam pengumuman mereka, pemilik situs saat ini harus mengidentifikasi setiap crawler secara individual dan menambahkan aturan terpisah untuk masing-masing penyedia. Proposal Kelley mengubah itu dengan membuat sejumlah perusahaan AI mengakui dan menghormati satu sinyal umum.
Dengan kesepakatan ini, penerbit hanya perlu menyiapkan satu user agent baru pada file robots.txt yang khusus ditujukan untuk pelatihan AI. Formatnya akan tampak seperti berikut:
- User-Agent: __usage_ai-training
- Disallow: /
- Allow: /press-kit/
Blok tersebut akan memblokir crawler yang secara spesifik bertugas mengumpulkan data untuk pelatihan AI. Bagian “Allow” memberi operator situs opsi untuk mengizinkan pengambilan konten demi pelatihan AI pada bagian tertentu dari halaman, misalnya jika di sana terdapat press kit.
Meski demikian, bagian user agent baru ini tidak mencegah pengambilan konten secara keseluruhan, juga tidak menghalangi konten muncul di Google Search. Sebagai contoh, Google akan secara spesifik menafsirkannya sebagai tanda berhenti khusus untuk user agent “Google-Extended” yang melakukan crawling situs web untuk materi yang digunakan melatih model Gemini. Langkah ini melengkapi sejumlah pembaruan pada ekosistem Gemini yang sebelumnya juga sempat menjadi sorotan, termasuk kemampuan Fitur Gemini dalam membuat avatar AI dan menandai teman langsung di dalam prompt.
Satu hal lain yang perlu dicatat, direktif ini tidak dapat membatalkan pengambilan konten yang sudah dilakukan perusahaan-perusahaan tersebut di masa lalu. Jika mereka pernah melakukan crawling pada sebuah halaman sebelumnya, kontennya sudah mereka miliki. Aturan ini hanya akan mencegah mereka mengambil konten situs atau halaman tertentu di masa depan.
Baca Juga:
Jadwal Implementasi Berbeda di Tiap Perusahaan
Anthropic tercatat telah mulai mendukung direktif baru ini. Sementara Microsoft menyatakan akan mulai mendukungnya pada 1 Februari 2027. Google menyebut akan mendukung aturan tersebut pada awal 2027, sedangkan OpenAI berjanji mengimplementasikan sinyal baru ini dalam beberapa bulan ke depan. Perbedaan jadwal ini menunjukkan bahwa penerapan standar bersama tetap bergantung pada kesiapan masing-masing perusahaan, meski komitmennya sudah dinyatakan secara terbuka.
Bagi penerbit, kehadiran satu sinyal umum ini berpotensi menyederhanakan pekerjaan teknis di sisi pengelolaan situs. Alih-alih menyusun daftar crawler dan aturan terpisah untuk tiap penyedia AI, cukup satu blok user agent yang sama yang dikenali banyak perusahaan. Namun, karena direktif ini tidak menghentikan crawling secara total dan tidak memengaruhi tampilan konten di mesin pencari, penerbit tetap perlu memahami batas cakupannya sebelum mengubah konfigurasi robots.txt mereka.
Kesepakatan Google, Anthropic, OpenAI, dan Microsoft ini juga menjadi penanda bahwa tekanan terhadap praktik pengambilan konten untuk pelatihan AI semakin mengarah pada solusi berbasis standar teknis. Dukungan yang sudah berjalan dari Anthropic dan tenggat yang mulai disebutkan Microsoft, Google, serta OpenAI memberi gambaran bahwa adopsi sinyal bersama ini akan berlangsung bertahap sepanjang 2026 hingga awal 2027. Sebagai bagian dari ekosistem yang lebih luas, langkah ini turut melengkapi rangkaian inisiatif Google yang belakangan juga menyentuh ranah antariksa lewat Uji TPU di orbit, serta menghadapi sorotan terkait Data Center perusahaannya di Finlandia.
Komentar
Belum ada komentar.