Cloudflare의 AI 봇 및 콘텐츠 수익화에 대한 제어

### 콘텐츠 스크래핑 제어: 웹사이트 소유자를 위한 Cloudflare의 새로운 조치
* 🌐 웹사이트 트래픽의 약 **50%가 자동화된 봇**으로 구성되며, 그 중 **AI 봇이 약 25%**를 차지해 콘텐츠 스크래핑이 널리 퍼져 있음을 알 수 있습니다.
* 🔍 Cloudflare는 **사람 방문자와 봇 트래픽을 구분하는 고급 기술**을 개발하여 웹사이트 소유자가 콘텐츠 액세스 방식을 모니터링할 수 있도록 합니다.
* 🛠 새로운 기능을 통해 사용자는 사이트에 액세스할 수 있는 봇을 제어할 수 있으며, **전체 또는 특정 봇이 콘텐츠를 스크랩하지 못하도록 차단**할 수 있는 옵션을 제공합니다.
* 💰 이번에 발표된 중요한 이니셔티브에는 **콘텐츠 제작자가 대규모 언어 모델 학습에 도움이 되는 작업에 대한 보상을 받을 수 있는 콘텐츠 마켓플레이스**를 만드는 것이 포함됩니다.
* 📊 Cloudflare는 현재 **웹의 20% 이상**을 서비스하고 있으며, 모든 고객에게 이러한 도구를 무료로 제공하고 있으며, 특히 봇 활동으로 인해 어려움을 겪고 있는 **대형 미디어 회사**에게 큰 도움이 되고 있습니다.
* 🇧🇷 최근 브라질에서 발생한 사건에 대해 Cloudflare는 **이전에는 트위터로 알려진 플랫폼에 액세스할 수 있도록 브라질 당국과 직접 협력하지 않았다고 해명**하며, 이 상황을 **IP 주소 변경과 관련된 단순한 우연의 일치**로 돌렸습니다.
* 📅 클라우드플레어와 브라질 당국 모두 전환을 둘러싼 사건의 시기는 예상치 못한 것이었으며, 때로는 **결과가 우연에 불과**하다는 점을 강조했습니다.
* 🔄 궁극적으로 브라질 당국의 콘텐츠 차단 기능은 그대로 유지되어 **인터넷 거버넌스 및 액세스의 복잡성**을 강화합니다.

Cloudflare는 콘텐츠 제작자가 봇 액세스를 제어하고 AI 모델이 사용하는 콘텐츠를 수익화할 수 있도록 지원합니다.

Just set the scene for us for a moment. The Bloomberg website, any website. How often are we finding its content is being touched on, used mind by large language models on a daily basis? Yeah. So for the average website, about half of the traffic that it receives is from some sort of automated bot, and the large language models, the AI bots, are growing like crazy. They're about 25% of the total bot traffic. So if you're putting content online, it's getting scraped, it's being included in these LLMs. And up until Cloudflare launched what we did today, you didn't have any control over that. And now how technically do you have control over it? What are you doing behind the scenes to make sure that it's either stopped or at least monitored? Yeah. So Cloudflare has been from its earliest days the best in the world at identifying what's a human visitor to a site and what's an automated bot or

a bot visitor to a site. So what we've done is taken that same technology and then classified all of the bots that are being used by these AI companies. And then the first step is giving anyone with a website, anyone with content visibility into how their content is being accessed by these bots. The second thing we do is we let you pick and choose either I don't want any of these bots to access my site or maybe I don't want certain of these bots access the site. Once those two things are in place, the last step, which we've announced today but are going to be rolling out over the months ahead, essentially a content marketplace where we can return the quid pro quo, where content creators can get actually paid for the content they're there creating that's helping train these large language models. Matthew, in the first instance who's signed up for this list to the early customers are. Well. So this is available for free for every

single Cloudflare customer. And Cloudflare sits in front of more than 20% of the Web. So, a huge percentage of the Web is using this. What we've heard, though, is from our largest customers, large media companies that are creating large amounts of content that they can't keep up with these bots. And so, Cloudflare is in a unique position to be able to say, Listen, if you're scraping this content, if you're getting value from this content as an AI company, you should be compensating the content creators. And yes, the large companies like Reddit are able to get these deals done, but we want to bring that to anyone who's creating content anywhere on the Web. Matthew, I want to go to the recent news of last week. We covered it from the ground in Brazil that Xe, the platform formerly known as Twitter, used your technology to briefly make the service accessible again in

that country. My specific question is Brazilian authorities have said that Cloudflare, your company, have worked with the government to understand how they did it. Why did you work with the Brazilian authorities and what did that look like? To be honest, I don't know what the Brazilian authorities are talking about because we didn't specifically work with them to block X or to make X available in Brazil. But I would analogize this to everything that's on the Web. At the end of the day, has a number associated with it, which is the IP address. It's sort of like your telephone number. And you can imagine in the days before you could port your telephone number if you switched from one cell phone provider to another cell phone provider, your number would switch. Same thing happened with X. We want to deal with them. Where they started using our service, stopped using a competitor of ours, and in the process, the IP address switched. Brazil was simply blocking the old IP.

address that made them temporarily available. Brazil was then able to block the new IP address, which was accessible. There was nothing that Cloudflare did to facilitate that. There was nothing that X did to make that harder on Brazil. It was simply a coincidence of us winning an enterprise customer. The timing is a coincidence though. Were they one worldwide or just in Brazil? How much was this a one-off transition? No, it was across the country. And again, you know, sometimes things are just coincidences. But in this case, obviously, I think they were surprised. We were surprised by the attention. And again, there was nothing that X asked us to do in terms of eliminating the ability for Brazil to block the content inside of Brazil. And there was nothing that we did to further facilitate the ability for Brazil to block what they were doing. And today, my understanding is that

Cloudflare CEO: We Did Not Facilitate X Skirt Brazil Ban

Welcome to the Bloomberg Technology YouTube channel. Subscribe for original series and mini-docs on game-changing technologies, profiles on innovators, live conversations with experts, and breaking technology news & analysis from Bloomberg TV.

Bloomberg Technology

AI 봇 트래픽 제어: Cloudflare의 새로운 이니셔티브

자동화된 봇은 웹사이트 트래픽의 약 절반을 차지하며, 그 중 AI 봇이 25%를 차지합니다.

Cloudflare는 자사의 기술을 사용하여 이러한 봇을 분류하고 모니터링하여 웹사이트 소유자에게 봇의 액세스를 가시화하고 제어할 수 있는 기능을 제공합니다.

또한 대규모 언어 모델 학습에 대한 대가를 콘텐츠 제작자에게 지급하는 콘텐츠 마켓플레이스도 출시할 예정입니다.

브라질에서의 콘텐츠 제작 및 최근 이벤트에서 Cloudflare의 역할

Cloudflare는 웹의 20% 이상를 서비스하며 콘텐츠 제작자가 보상을 받을 수 있도록 AI 회사의 콘텐츠 스크래핑 문제를 해결하고 있습니다.

이 플랫폼의 기술은 Xe(이전 트위터)가 브라질에서 서비스를 잠시 복구하는 데 사용되어 브라질 당국과 Cloudflare의 관련성에 대한 혼란을 야기했습니다.

Xe가 Cloudflare의 서비스로 전환하는 과정에서 IP 주소가 전환되면서 브라질에서 이전 IP가 차단된 것입니다.

브라질이 차단할 수 있었던 Cloudflare의 새 IP 주소는 기업 고객을 유치한 결과였기 때문에 시기는 우연이 아니었습니다.

이 전환은 브라질 전역에서 이루어졌기 때문에 일회성이 아니었습니다.

Cloudflare와 X 모두 이러한 관심에 놀랐으며, 브라질의 콘텐츠 차단 기능에 영향을 미치기 위한 어떠한 협력도 없었습니다.

브라질에서 다시 한 번 접속이 차단되었습니다.

이 반복되는 문제는 브라질의 인터넷 접근성에 대한 지속적인 문제를 강조합니다.

이러한 상황은 온라인 서비스에 의존하는 사용자와 비즈니스에 미칠 영향에 대한 우려를 불러일으킵니다.