Telset.id – Cloudflare resmi memberikan tenggat waktu baru bagi industri kecerdasan buatan (AI) untuk memisahkan web crawler yang digunakan untuk keperluan pencarian tradisional, seperti Google Search, dari crawler yang digunakan untuk AI agent dan pelatihan model. Mulai 15 September 2026, pengaturan default Cloudflare akan memblokir crawler “penggunaan campuran” dari halaman yang menampilkan iklan.
Kebijakan ini diumumkan langsung oleh Cloudflare pada Rabu lalu. Perubahan pengaturan default ini akan berlaku untuk pelanggan baru Cloudflare, situs baru yang dibuat oleh pelanggan existing, dan seluruh pelanggan gratis yang sudah ada. Langkah ini berpotensi besar mengubah cara penyedia model AI mengakses konten web untuk keperluan pelatihan dan layanan agentic mereka.
Cloudflare menyoroti bahwa mayoritas pemilik situs web menginginkan konten mereka tetap dapat ditemukan melalui mesin pencari dan layanan AI. Namun, mereka juga ingin perlindungan agar kekayaan intelektual mereka tidak diberikan secara gratis. Cloudflare secara spesifik menyebut “mesin pencari terbesar di dunia” yang jelas merujuk pada Google, karena memiliki akses sekitar “2x lebih banyak informasi” dibandingkan perusahaan AI lain.
Menurut Cloudflare, Google membuat pelanggan kesulitan untuk tetap dapat ditemukan tanpa digunakan untuk keperluan AI. Google sendiri sebelumnya telah membantah generalisasi ini dengan menyediakan bot bernama Google Extended yang memungkinkan pemilik situs memilih untuk tidak menggunakan konten mereka untuk pelatihan dan produk AI seperti Gemini Apps dan Vertex API. Penggunaan Google Extended tidak mempengaruhi inklusi situs di Google Search. Namun, Googlebot utama tetap merayapi untuk Search, termasuk fitur AI seperti AI Overviews dan AI Mode.
“Sekarang mayoritas traffic di Internet adalah non-manusia, kami harus melangkah lebih jauh dan bertindak lebih cepat agar ekosistem yang berkelanjutan dapat muncul,” ujar salah satu pendiri dan CEO Cloudflare, Matthew Prince, dalam pengumumannya. Ia merujuk pada pencapaian terbaru di mana bot melampaui traffic manusia secara online untuk pertama kalinya. Perubahan ini sebelumnya tidak diperkirakan akan terjadi hingga tahun depan.
Prince menambahkan bahwa alat dan kemitraan baru Cloudflare memberikan pemilik situs web peningkatan visibilitas dan peluang komersial. Hal ini juga menguntungkan perusahaan AI yang memiliki bot dengan niat yang jelas dan transparan. “Kami berharap perubahan default yang kami usulkan ini mendorong crawler penggunaan campuran untuk memisahkan pencarian dari penggunaan agent dan pelatihan,” kata Prince.
Baca Juga:
Dampak pada Publisher dan Perusahaan AI
Cloudflare tidak hanya berhenti pada pemblokiran. Perusahaan ini juga menghadirkan serangkaian alat untuk memberikan kendali lebih besar kepada publisher di era AI. Dalam beberapa tahun terakhir, Cloudflare telah meluncurkan alat untuk melawan bot AI, termasuk marketplace yang memungkinkan situs web mengenakan biaya pada bot AI untuk scraping. Layanan yang disebut Pay Per Crawl ini kini berevolusi menjadi “Pay Per Use.”
Dengan model Pay Per Use, publisher dapat mengenakan biaya kepada perusahaan AI ketika konten mereka menciptakan nilai, bukan hanya ketika konten diambil. Perubahan ini juga dapat membantu menghemat bandwidth dan sumber daya komputasi publisher untuk penyedia model AI. Data Cloudflare menunjukkan bahwa lebih dari 50% traffic crawl dari AI crawlers dihabiskan untuk mengambil ulang halaman yang tidak berubah.
Untuk mewujudkan hal ini, Cloudflare bekerja sama dengan dua mitra awal, yaitu Ceramic.ai dan You.com. Ketika publisher memilih untuk bergabung, mereka akan dibayar ketika konten mereka muncul di hasil pencarian AI Ceramic atau ketika You.com mengakses konten premium mereka. Cloudflare menyatakan bahwa perusahaan AI lain dapat menyesuaikan model ini dengan cara kerja mereka masing-masing.
Kebijakan baru ini merupakan respons terhadap perubahan lanskap internet di mana traffic non-manusia kini mendominasi. Langkah Cloudflare diharapkan dapat menciptakan ekosistem yang lebih berkelanjutan bagi semua pihak, mulai dari pemilik situs kecil hingga perusahaan AI besar. Dengan adanya pemisahan crawler yang jelas, diharapkan akan ada transparansi yang lebih baik dalam penggunaan konten web.
Bagi perusahaan AI yang selama ini mengandalkan crawler campuran, kebijakan ini menjadi tantangan serius. Mereka harus segera menyesuaikan infrastruktur mereka agar crawler untuk pencarian dan pelatihan AI benar-benar terpisah. Jika tidak, akses mereka ke konten web yang menghasilkan pendapatan iklan akan terblokir secara default.
Di sisi lain, bagi publisher dan pemilik situs, kebijakan ini memberikan angin segar. Mereka kini memiliki alat yang lebih kuat untuk melindungi konten mereka dari penggunaan yang tidak diinginkan. Opsi untuk mendapatkan kompensasi melalui model Pay Per Use juga membuka peluang pendapatan baru di tengah dominasi AI dalam pencarian informasi.
Keputusan Cloudflare ini juga menyoroti ketegangan yang semakin meningkat antara perusahaan mesin pencari tradisional dan perusahaan AI. Google, sebagai pemain dominan di kedua bidang, berada dalam posisi yang unik. Di satu sisi, Googlebot adalah tulang punggung mesin pencari terbesar di dunia. Di sisi lain, data yang dikumpulkan juga digunakan untuk melatih model AI canggih seperti Gemini.
Cloudflare menilai bahwa akses ganda ini memberikan keuntungan yang tidak adil bagi Google dibandingkan kompetitor AI lainnya. Dengan pengaturan default baru ini, Cloudflare berharap dapat menciptakan lapangan bermain yang lebih setara bagi semua pemain di industri AI.
Perubahan ini juga menjadi pengingat bahwa era di mana bot melampaui traffic manusia telah tiba lebih cepat dari perkiraan. CEO Cloudflare, Matthew Prince, menekankan pentingnya tindakan cepat untuk menjaga keseimbangan ekosistem digital. Inisiatif seperti ini diharapkan dapat menjadi standar baru dalam pengelolaan akses konten web untuk keperluan AI.
Ke depannya, Cloudflare berencana untuk terus mengembangkan alat dan kebijakan yang memberdayakan pemilik situs. Kemitraan dengan Ceramic.ai dan You.com hanyalah langkah awal. Perusahaan membuka pintu bagi perusahaan AI lain untuk bergabung dan menyesuaikan model kompensasi yang paling sesuai.
Dengan tenggat waktu September 2026, industri AI memiliki waktu sekitar satu tahun untuk mempersiapkan diri. Perubahan ini tidak hanya bersifat teknis, tetapi juga fundamental dalam cara nilai konten web dihargai dan dikompensasi di era kecerdasan buatan. Dampak AI terhadap pasar tenaga kerja dan model bisnis semakin nyata, dan kebijakan Cloudflare ini adalah salah satu respons paling konkret dari sisi infrastruktur internet.
Komentar
Belum ada komentar.