JAKARTA – Cloudflare, perusahaan terdepan dalam konektivitas cloud, mengambil langkah revolusioner dengan menjadi penyedia infrastruktur internet pertama yang secara bawaan (default) memblokir perayap (crawler) AI yang mengakses konten tanpa izin atau kompensasi yang sesuai.
Mulai Kamis, 3 Juli, pemilik situs web memiliki kendali penuh untuk menentukan apakah perayap AI boleh mengakses konten mereka dan bagaimana perusahaan AI dapat memanfaatkannya. Perusahaan AI pun kini diwajibkan menyatakan secara jelas tujuan perayapan mereka, apakah untuk pelatihan, inferensi, atau pencarian, sehingga pemilik situs web dapat membuat keputusan yang lebih terinformasi mengenai perayap mana yang ingin mereka izinkan. Pengaturan bawaan baru dari Cloudflare ini menjadi fondasi bagi masa depan yang lebih berkelanjutan bagi para kreator konten dan para inovator AI.
Selama ini, internet beroperasi dengan mekanisme yang adil: mesin pencari mengindeks konten dan mengarahkan pengguna ke situs web asli, menghasilkan lalu lintas dan pendapatan iklan bagi situs web dari berbagai skala. Namun, model ini mulai tergerus akibat perayap AI yang mengumpulkan konten untuk menghasilkan jawaban tanpa memberikan kredit atau mengarahkan pengunjung ke sumber aslinya, sehingga merugikan pendapatan dan pengakuan bagi kreator konten.
"Jika kita ingin internet bertahan di era AI, kita harus memberikan kontrol yang layak kepada penerbit dan membangun model ekonomi baru yang menguntungkan semua pihak," ujar Matthew Prince, pendiri & CEO Cloudflare. "Konten orisinal adalah jantung dari internet, dan penting bagi kreator untuk terus berkarya. Perayap AI telah merajalela tanpa batas. Tujuan kami adalah mengembalikan kendali ke tangan para kreator, sambil tetap mendukung inovasi perusahaan AI. Ini tentang menjaga masa depan internet yang bebas dan dinamis dengan model yang bermanfaat bagi semua orang."
Roger Lynch, CEO Condé Nast, menyambut baik langkah ini sebagai terobosan bagi penerbit dan standar baru untuk menghormati konten secara online. Neil Vogel, CEO Dotdash Meredith, menambahkan bahwa ini adalah langkah penting menuju pertukaran nilai yang adil di internet yang melindungi kreator, mendukung jurnalisme berkualitas, dan meminta pertanggungjawaban perusahaan AI.
Renn Turiano, Chief Consumer and Product Officer, Gannett Media, menekankan pentingnya memblokir pengambilan konten yang tidak sah dan penggunaan konten orisinal tanpa kompensasi yang adil, terutama bagi penerbit besar seperti USA Today. Bill Ready, CEO Pinterest, menegaskan komitmen untuk membangun infrastruktur internet yang sehat di mana konten digunakan sesuai tujuannya, sehingga kreator dan penerbit dapat berkembang.
Steve Huffman, pendiri dan CEO Reddit, menambahkan bahwa seluruh ekosistem, termasuk kreator, platform, pengguna web, dan perayap, akan menjadi lebih baik ketika perayapan lebih transparan dan terkendali. Vivek Shah, CEO Ziff Davis, memuji Cloudflare karena mengadvokasi ekosistem digital berkelanjutan yang menguntungkan semua pemangku kepentingan.
Menegakkan Model Berbasis Izin untuk Internet
Cloudflare, yang mengelola dan melindungi lalu lintas untuk 20% web, memperkenalkan opsi untuk memblokir perayap AI dalam satu klik pada September 2024. Lebih dari satu juta pelanggan telah memanfaatkan opsi ini.
Kini, Cloudflare mengambil langkah lebih jauh dengan memberlakukan model berbasis izin. Perusahaan AI wajib memperoleh izin tertulis dari situs web sebelum melakukan perayapan. Setiap domain baru yang mendaftar dengan Cloudflare akan ditanya apakah ingin mengizinkan perayap AI, memberikan pilihan eksplisit di awal untuk mengizinkan atau menolak akses. Perubahan ini memastikan kontrol bawaan bagi setiap domain baru, menghilangkan kebutuhan pemilik halaman web untuk mengonfigurasi pengaturan secara manual. Pelanggan dapat dengan mudah memeriksa pengaturan mereka dan mengaktifkan perayapan kapan saja jika mereka menginginkan konten mereka diakses secara bebas.
Memverifikasi Perayap dengan Lebih Andal
Cloudflare juga memfasilitasi ekosistem konten yang lebih transparan bagi perusahaan dan kreator AI dengan mengusulkan cara baru bagi bot AI untuk mengautentikasi diri dan bagi situs web untuk mengidentifikasi bot tersebut, memberikan mekanisme identifikasi dan kontrol yang lebih baik. Cloudflare berpartisipasi dalam pengembangan protokol baru untuk memberikan cara publik dan standar bagi pemilik bot dan pengembang agen AI untuk mengidentifikasi diri mereka.
