Cloudflare, penyedia infrastruktur cloud yang melayani 20% dari keseluruhan web, mengumumkan peluncuran marketplace baru yang berupaya merevolusi hubungan antara pemilik situs web dan perusahaan AI. Dengan harapan, ini akan memberikan penerbit lebih banyak kontrol atas konten mereka. Selama setahun terakhir, Cloudflare telah meluncurkan berbagai alat untuk membantu penerbit menghadapi meningkatnya jumlah crawler AI, termasuk solusi satu klik untuk memblokir semua bot AI, serta dasbor untuk memantau bagaimana crawler AI mengunjungi situs mereka. Dalam wawancara tahun 2024, CEO Cloudflare, Matthew Prince, mengatakan kepada TechCrunch bahwa produk-produk ini adalah landasan untuk sebuah marketplace baru di mana penerbit dapat mendistribusikan konten mereka kepada perusahaan AI dan mendapatkan kompensasi atasnya. Kini, Cloudflare telah menghadirkan marketplace tersebut secara nyata. Marketplace ini dinamakan Pay per Crawl, dan Cloudflare meluncurkan "eksperimen" ini dalam versi beta tertutup pada hari Selasa. Pemilik situs web yang berpartisipasi dalam eksperimen ini dapat memilih untuk membiarkan crawler AI mengakses situs mereka dengan tarif yang telah ditentukan – sebuah pembayaran mikro untuk setiap "crawl" yang dilakukan. Sebagai alternatif, pemilik situs dapat memilih untuk membiarkan crawler AI mengakses situs mereka secara gratis atau memblokirnya sama sekali. Cloudflare mengklaim bahwa alat yang mereka tawarkan akan memungkinkan pemilik situs untuk melihat apakah crawlers sedang mengumpulkan data untuk pelatihan AI, untuk ditampilkan dalam jawaban pencarian AI, atau untuk tujuan lainnya. Marketplace Cloudflare memiliki potensi besar untuk menawarkan model bisnis baru bagi penerbit di era AI, sekaligus menempatkan Cloudflare di pusat inovasi ini. Peluncuran marketplace ini datang pada saat penerbit berita menghadapi pertanyaan eksistensial mengenai cara menjangkau pembaca, seiring dengan menurunnya lalu lintas dari Google Search dan meningkatnya popularitas chatbot AI. Tidak ada jawaban yang jelas tentang bagaimana penerbit berita akan bertahan di era AI. Beberapa, seperti New York Times, telah mengajukan gugatan terhadap perusahaan teknologi yang menggunakan artikel berita mereka untuk melatih model AI tanpa izin. Sementara itu, penerbit lainnya telah menjalin kesepakatan jangka panjang untuk melisensikan konten mereka untuk pelatihan model AI dan agar konten mereka dapat muncul dalam jawaban dari chatbot AI. Namun, sejauh ini, hanya penerbit besar yang berhasil menjalin kesepakatan lisensi AI, dan masih belum jelas apakah kesepakatan tersebut memberikan sumber pendapatan yang berarti. Cloudflare berupaya menciptakan sistem yang lebih tahan lama di mana penerbit dapat menentukan harga atas ketentuan mereka sendiri. Perusahaan juga mengumumkan bahwa situs web baru yang diatur dengan Cloudflare akan secara default memblokir semua crawler AI. Pemilik situs harus memberi izin kepada crawler AI tertentu untuk mengakses situs mereka – sebuah perubahan yang dikatakan Cloudflare akan memberikan "kontrol default" kepada setiap domain baru. Beberapa penerbit besar, termasuk Conde Nast, TIME, Associated Press, The Atlantic, ADWEEK, dan Fortune, telah bergabung dengan Cloudflare untuk memblokir crawler AI secara default, mendukung tujuan perusahaan untuk pendekatan "berbasis izin" dalam crawling. Model bisnis yang banyak digunakan oleh penerbit selama beberapa dekade kini mulai menjadi tidak dapat diandalkan. Secara historis, penerbit online telah mengizinkan Google untuk meng-crawl situs mereka sebagai imbalan atas rujukan dalam Google Search, yang diterjemahkan menjadi lalu lintas ke situs mereka, dan pada akhirnya, pendapatan iklan. Namun, data baru dari Cloudflare menunjukkan bahwa penerbit mungkin mendapatkan kesepakatan yang lebih buruk di era AI dibandingkan di era Google Search. Sementara beberapa situs mengklaim bahwa ChatGPT adalah sumber lalu lintas utama, hal ini tidak berlaku secara luas. Pada bulan Juni lalu, Cloudflare menemukan bahwa crawler Google meng-crawl situs webnya 14 kali untuk setiap rujukan yang diberikan. Sementara itu, crawler OpenAI meng-crawl situs web 17.000 kali untuk setiap satu rujukan, sedangkan crawler Anthropic meng-crawl situs 73.000 kali untuk setiap rujukan. Sementara itu, OpenAI dan Google sedang mengembangkan agen AI yang dirancang untuk mengunjungi situs web atas nama pengguna, mengumpulkan informasi, dan menyampaikannya langsung kepada pengguna. Sebuah masa depan di mana alat-alat ini menjadi mainstream memiliki implikasi besar bagi penerbit yang bergantung pada pengunjung untuk mengakses situs mereka. Cloudflare mencatat bahwa "potensi sejati" dari Pay per Crawl mungkin muncul di masa depan "agenik". "Bayangkan jika paywall agenik dapat beroperasi di tepi jaringan, sepenuhnya secara programatis? Bayangkan meminta program riset mendalam favoritmu untuk membantu mensintesis penelitian kanker terbaru atau ringkasan hukum, atau sekadar membantu menemukan restoran terbaik di Soho – dan kemudian memberikan anggaran kepada agen tersebut untuk membeli konten yang terbaik dan paling relevan," kata Cloudflare dalam sebuah posting blog. Untuk berpartisipasi dalam marketplace eksperimental Cloudflare, perusahaan AI dan penerbit harus memiliki akun Cloudflare. Dalam akun mereka, kedua pihak dapat menetapkan tarif untuk membeli dan menjual sebuah "crawl" dari konten penerbit. Cloudflare bertindak sebagai perantara dalam transaksi ini, menarik biaya dari perusahaan AI dan mendistribusikan pendapatan kepada penerbit. Perwakilan Cloudflare, Ripley Park, mengatakan kepada TechCrunch bahwa tidak ada stablecoin atau cryptocurrency yang terlibat dalam Pay per Crawl saat ini, meskipun banyak yang berpendapat bahwa mata uang digital akan sangat cocok untuk sesuatu seperti ini. Marketplace Cloudflare terasa seperti visi berani untuk masa depan yang memerlukan banyak penerbit dan perusahaan AI untuk ikut serta. Namun, tidak ada jaminan bahwa penerbit akan mendapatkan kesepakatan yang baik, dan meyakinkan perusahaan AI untuk berpartisipasi bisa jadi sulit, mengingat mereka saat ini meng-crawl konten secara gratis. Meskipun demikian, Cloudflare tampaknya menjadi salah satu dari sedikit perusahaan yang berada dalam posisi untuk mewujudkan marketplace semacam ini.