Demand has never been higher for these racks and racks of powerful servers, feeding the internet's insatiable appetite for computing in the cloud.

The reality is that the cloud is not up there somewhere. It's right here. We are in it. You're in the middle of the cloud as we speak.

And data centers like this can't ever stop streaming social media, photo storage, and more recently, requiring much more data training and running chatbots like OpenAI's ChatGPT, Google's Gemini, and Microsoft's Copilot.

And you can feel the heat coming off of these. Thanks to the generative AI race, data centers like this are springing up as quickly as companies like Vantage can build them, and that means demand for power to run them and cool them is through the roof, too.

If we don't start thinking about this power problem differently now, we're never going to see this dream we have or the potential we have of this amazing technology that can truly change our lives.

One ChatGPT query takes nearly ten times as much energy as a typical Google search, and as much energy as keeping a five watt LED bulb on for an hour.

Generating an AI image can use as much power as charging your smartphone.

Hyperscalers building data centers to accommodate AI have seen emissions skyrocket, and this problem isn't new. Estimates way back in 2019 found training one large language model produced as much CO2 as the entire lifetime of five gas powered cars.

And even if we can generate enough power, our aging grid is increasingly unable to handle the load.

If you look at the peak demand during the summer time, if the data centers don't reduce their load, there could be a blackout.

With the looming question of whether we'll have enough power for the widespread adoption of generative AI, CNBC visited a data center in Silicon Valley to see those massive compute loads firsthand, and talk to those at the center of the problem to find out what can be done.

There are more than 8,000 data centers globally with the highest concentration in the US.

But it's not enough. But we suspect that the amount of demand that we'll see from AI specific applications will be as much or more than we've seen historically from cloud computing.

The AI frenzy has data center demand rising 15 to 20% every year through 2030.

And as companies like Vantage build more and more, getting enough power is key. Data centers could reach a whopping 16% of total US power consumption by 2030, according to one report, up from just 2.5% before ChatGPT hit the scene in 2022.

That's the equivalent of about two thirds of the total homes in the US.

Natural gas is expected to fuel the majority of this, and utilities will need to invest some 50 billion to support the growth.

Data centers that probably [use] around 64MW for the building itself. Many of those are being taken up by single customers.

They'll have the entirety of the space leased to them. And as we think about AI applications, those numbers can grow quite significantly beyond that into hundreds of megawatts.

64MW, 100MW. How many homes, you know, on average.

Tens and tens of thousands of homes per data centers worth of power. Many big tech companies contract with companies like Vantage to house their servers, but the needs of some have grown so much that many have been building their own data centers.

For Google and Microsoft, this has directly translated to soaring emissions.

Google's latest environmental report says greenhouse gas emissions rose nearly 50% from 2019 to 2023, in part because of data center energy consumption, although it adds its data centers are 1.8 times as energy efficient as a typical data center.

Microsoft's emissions rose nearly 30% from 2020 to 2024, due to data centers designed and optimized to support AI workloads.

Power needs are so high that some plans to close coal fired power plants are being put on hold, like in Kansas City, where Meta is building an AI focused data center.

So you can never really stop the AI computing from growing.

So they will do whatever they can to get the power capacity. One approach: building data centers where power is more plentiful.

The industry itself is looking for places where there is either proximate access to renewables, whether wind or solar, and other infrastructure that can be leveraged, whether it be part of an incentive program to convert what would have been a coal fired plant into natural gas, or increasingly looking at ways in which to off-take power from nuclear facilities.

Santa Clara, where we visited Vantage, has long been one of the nation's hot spots for clusters of data centers near data hungry clients.

Nvidia's headquarters was visible from the roof. Now, Vantage is building in places like Columbus, Ohio, and Atlanta, Georgia.

In Northern California, we're seeing a bit of a slowdown in terms of where data centers are deployed because of the lack of availability of power from the utilities here in this area.

On the flip side of bringing data centers where the power is, some AI companies and data centers are experimenting with ways to generate their own power right on site.

OpenAI CEO Sam Altman has been vocal about this need. He recently invested in a solar startup that makes shipping container size modules that include both the panels and power storage in one.

Altman's also invested in nuclear fission startup Oklo that aims to make mini nuclear reactors housed in a frame structures and in nuclear fusion startup Helion.

Microsoft also signed a deal with Helion last year to start buying its fusion electricity in 2028, and Google's partnered with a geothermal startup that says its next plant will harness enough power from deep underground to run a large data center.

Even data centers themselves are starting to generate their own power. Which Vantage has done, for example, in Virginia, where over the course of the last year, we deployed 100 megawatt natural gas power plant to support a dedicated data center for one of our customers.

There, we're self-contained and we're delivering power to the data center that we have there, and it doesn't touch the public grid at all.

Even when enough power can be generated, the aging grid is often ill-equipped to handle transmitting it.

And that's where grid hardening comes in. With concentrations of data centers in particular areas, there tends to put somewhat more pressure on the grid in terms of delivering that much power in those locations.

In an area of northern Virginia known as Data Center Alley, servers process an estimated 70% of the world's internet traffic each day.

At one point in 2022, the power company there had to pause new data center connections as it struggled to keep up with demand.

Basically, during the peak hour, we either ask the residents to turn off their AC, or we ask the AI company to stop their training.

Vantage, as an example, voluntarily supports a load shedding program such that when the utility knows that they're going to have a constraint based on high temperatures, people need to run their air conditioners.

We voluntarily come off the grid. We run our own generators during that time in order to ensure that that power is available for everybody.

The bottleneck often occurs in getting power from the site where it's generated to where it's consumed. One solution is to add hundreds or even thousands of miles of new transmission lines.

But those projects, like a $15.2 billion effort to expand lines to Data Center Alley, have been met with opposition from local ratepayers who don't want to see their bills go up to fund the project.

It is a part of the solution to increase the capacity from the grid side, but that's very costly and very time consuming, and sometimes the cost is just passed down to residents in terms of their utility bill increase.

Another solution is to use predictive software to reduce failures at one of the grid's weakest points, the transformer.

All electricity generated must go through a transformer, and that's primarily its function, connects two sides of electrical circuits together.

There are 60 to 80 million transformers in the US alone. The average transformer in the US is 38 years old, so the aging devices have become a common cause for power outages, and replacing them is expensive and slow.

So we have this tiny little sensor. It's two inch diameter, one inch thickness, about half the size of a hockey puck, and we essentially glue it on the outside of a transformer.

Software can then predict failures and determine which transformer can handle more load, so it can be shifted away from those at risk of failure.

It's been installed in high power demand areas like part of Mongolia where data centers are coming online.

Vi says business has tripled since ChatGPT came on the scene in 2022. And what we're hearing in 2024 is that we might double or triple again next year.

A large reason we need more power and a more reliable grid for generative AI is to keep its servers cool. All the servers generate an immense amount of hot air, and cooling them down with air or water keeps them from overheating so they can keep running 24/7.

The problem is, AI is projected to withdraw more water annually by 2027 than four times all of Denmark.

Everybody is worried about AI being energy intensive. We can solve that when we get off our ass and stop being such idiots about nuclear.

Right. That's solvable. Water is the fundamental limiting factor to what is coming in terms of AI. I was quite shocked when I saw the number of AI computing's water needs.

Shaolei Ren's been studying data center efficiency for over a decade. His research team found that every 10 to 50 ChatGPT prompts can burn through what you'd find in a standard 16 ounce water bottle.

Training takes even more power and generates even more heat as it learns by accessing all the data constantly being added to the entire internet.

Training GPT-3 in Microsoft's US data centers can directly evaporate 700,000 l of clean, fresh water, with global AI demand accountable for up to 6.6 billion cubic meters of water withdrawal by 2027, more than four times the total annual withdrawal of all of Denmark.

In drought-ridden Chile, the government partially reversed Google's permit to build a data center there following public outcry about water usage, and it's facing similar backlash to planned data centers in Uruguay, too.

There are technologies that are used in certain parts of the industry that do consume water in order to cool data centers through evaporative cooling.

That tends to be very efficient from a power perspective, it tends to be very inefficient from a water use perspective.

And so Vantage is designed from the beginning, really has been to avoid using water at all costs.

Instead, Vantage uses dozens of gigantic air conditioning units on the roof. There's a combination of air handling and cooling towers at the top there, where the condenser coils allow heat that's coming up from the hot aisles that we were looking at inside the data hall, and then to be converted back into the chilled water loop and brought back down into those critical air handlers.

Microsoft has halted a radical project that tried keeping its servers cool by submerging them under the ocean.

Another solution is using cool liquid directly on chips to cool them rather than the inefficient process of cooling air with water.

People are working on a whole bunch of things like director chip cooling, for example, which would radically reduce the amount of water that's needed.

But the speed at which this is building makes it very challenging indeed. So there's a lot of talk in the industry right now in support of AI.

Moving from air, which is moving around us to water, air or liquid that can be brought to the chip itself in order to cool it in a much more efficient way.

But for a lot of data centers, that requires an enormous amount of retrofit in our case, advantage. About six years ago, we deployed a design that would allow for us to tap into that cold water loop here on the data hall floor.

There is one broader approach to solving AI's massive problem of water and power: lessen the amount of compute it needs.

In other words, get more work per watt. It all comes back to how do I get more done with the power supply I have?

ScaleFlux makes memory and storage devices for data centers focused on power savings. Data compression can be very slow, latency adding, and power hungry if you try to do it in general purpose cores like Intel or AMD x86 processors, when you put it into a hardware state machine, it can be done orders of magnitude faster and more efficiently, more power efficient.

The key alternative to those power hungry x86 cores are ARM based specialized processors. Arm got its start making low powered chips that maximized the battery life of early mobile phones, saving every last bit of power.

It's going to be a fundamentally different design than when you're trying to maximize the performance.

And so it could be something as simple as how we access our memory. It can be simple as how we access data, but every moment of that architecture is thought of as power first.

Now ARM makes all sorts of chips, including Neoverse for data centers. And as AI takes off, ARM's power efficiency has made it increasingly popular with tech giants like Google, Microsoft, Oracle, and Amazon.

I have here AWS Graviton, and AWS Graviton saves 60% power versus competitive architectures. Nvidia's latest AI chip unveiled in March, Grace Blackwell, uses ARM based CPUs that it says can run Gen AI models on 25 times less power.

And ARM says a data center filled with its chips can use 15% less power because of lower compute needs.

If you think about the scale of data centers, 15% is almost 2 billion ChatGPT queries. Think about that. You can light 20% of American households with just that 15% savings.

And companies like Apple, Samsung, and Qualcomm have been touting the benefits of doing AI on device. A huge energy savings for each query kept off the cloud, off of servers like these, perhaps giving data centers time to build more and catch up to AI's insatiable appetite for power.

Everybody will build the data centers that they can, and we'll have as much AI as those data centers will support, and it may be less than what people aspire to.

But ultimately, there's a lot of people working on finding ways to throttle some of those supply constraints, but definitely a lot of growth ahead in this industry.

How The Massive Power Draw Of Generative AI Is Overtaxing Our Grid

Welcome to the official YouTube channel for CNBC. From 'Wall Street' to 'Main Street' to award winning original documentaries and Reality TV series, CNBC has you covered. Experience special sneak peeks of your favorite shows, exclusive video and more.

For real-time news updates from around the world, visit: http://www.cnbc.com

For CNBC's primetime TV lineup, visit http://tv.cnbc.com

For CNBC's International YouTube channel, visit: http://www.youtube.com/cnbcinternational

CNBC

생성형 AI의 사용 증가로 인해 데이터 센터의 전력 소비가 급증하고 있으며, 이는 전력망 과부하 및 탄소 배출량 증가와 같은 심각한 문제를 야기하고 있다.

데이터 센터의 전력 및 물 소비 문제를 해결하기 위해, 업계는 재생 에너지 사용, 소형 원자로 개발, 칩 냉각 기술 개선, 전력 효율적인 ARM 기반 프로세서 사용 등 다양한 혁신적인 접근 방식을 모색하고 있다.

AI 연산을 기기 자체에서 처리하여 데이터 센터에 대한 의존도를 줄이고, 전력망 효율성을 높이는 것이 지속 가능한 AI 발전을 위한 중요한 과제이다.

⚡️ 폭발적인 AI 전력 수요: 우리의 전력망은 버틸 수 있을까?

인터넷의 끊임없는 컴퓨팅 수요를 충족하기 위해 강력한 서버 랙에 대한 수요가 그 어느 때보다 높습니다. 특히 **생성형 AI의 등장으로 데이터 센터 건설이 가속화**되고 있으며, 이는 데이터 센터를 운영하고 냉각하는 데 필요한 전력 수요가 엄청나게 높다는 것을 의미합니다.

ChatGPT 쿼리 한 번은 일반적인 Google 검색보다 거의 10배나 많은 에너지를 소비하며, **5와트 LED 전구를 한 시간 동안 켜두는 것만큼의 에너지를 소비**합니다. AI 이미지 생성은 스마트폰을 충전하는 것만큼의 전력을 사용할 수 있습니다.

AI 열풍으로 인해 데이터 센터 수요가 2030년까지 매년 15~20% 증가하고 있습니다. 한 보고서에 따르면 데이터 센터는 2030년까지 미국 전체 전력 소비량의 무려 16%에 이를 수 있는데, 이는 2022년 ChatGPT가 등장하기 전의 2.5%에서 증가한 수치이며 **미국 전체 가정의 약 3분의 2에 해당하는 양**입니다.

🌍 AI의 탄소 발자국과 전력망 과부하

하이퍼스케일러들은 AI를 수용하기 위해 데이터 센터를 구축하면서 탄소 배출량이 급증하는 것을 목격했습니다. 2019년 추정치에 따르면 **하나의 대규모 언어 모델을 훈련하는 데 드는 CO2 배출량은 가솔린 자동차 5대의 전체 수명 동안 배출하는 양과 같습니다.** Google의 온실가스 배출량은 데이터 센터 에너지 소비로 인해 2019년에서 2023년까지 거의 50% 증가했으며, Microsoft의 배출량도 2020년에서 2024년까지 거의 30% 증가했습니다.

충분한 전력을 생산할 수 있다고 해도 **노후화된 전력망은 점점 더 부하를 감당할 수 없게 되고 있습니다.** 여름철 피크 수요를 보면 데이터 센터가 부하를 줄이지 않으면 정전이 발생할 수 있습니다. 몽골 지역과 같이 전력 수요가 높은 지역에 데이터 센터가 온라인에 접속하면서 변압기 고장 위험이 높아지고 있습니다.

💧 AI 시대의 또 다른 위기: 물 부족

생성형 AI에 더 많은 전력과 더 안정적인 그리드가 필요한 큰 이유는 서버를 시원하게 유지하기 위해서입니다. 문제는 **AI가 2027년까지 연간 덴마크 전체의 4배가 넘는 물을 소비할 것으로 예상**된다는 것입니다.

ChatGPT 프롬프트 10~50개마다 16온스짜리 물병에 담긴 물을 소비할 수 있다는 연구 결과가 나왔습니다. 마이크로소프트의 미국 데이터 센터에서 GPT-3를 훈련하는 데 **깨끗한 담수 70만 리터가 직접 증발**할 수 있으며, 전 세계 AI 수요로 인해 2027년까지 최대 66억 세제곱미터의 물이 소비될 수 있습니다.

가뭄에 시달리는 칠레와 우루과이에서는 데이터 센터 건설 허가 및 계획에 대한 대중의 반발이 있었습니다. 데이터 센터를 냉각하기 위해 물을 소비하는 증발 냉각 기술은 전력 관점에서는 효율적이지만 **물 사용 관점에서는 매우 비효율적**입니다.

💡 전력 및 물 문제 해결을 위한 노력

전력 용량을 확보하기 위해 데이터 센터는 전력이 더 풍부한 곳에 건설되거나 재생 에너지원에 근접하여 인센티브 프로그램을 활용하고 있습니다. **OpenAI CEO 샘 알트만은 태양광 스타트업, 핵분열 스타트업 오클로, 핵융합 스타트업 헬리온에 투자**하며 에너지 문제 해결에 적극적으로 나서고 있습니다. Microsoft는 2028년부터 헬리온과 융합 전기를 구매하는 계약을 체결했으며, Google은 지열 스타트업과 제휴했습니다.

Vantage와 같은 데이터 센터는 자체적으로 전력을 생산하기 시작했습니다. 버지니아에서는 **100MW 천연 가스 발전소를 배치하여 공공 전력망에 전혀 영향을 미치지 않는 자급자족 시스템**을 구축했습니다.

데이터 센터 냉각 방식도 변화하고 있습니다. Vantage는 물을 최대한 사용하지 않도록 설계되었으며, **옥상에 수십 개의 거대한 에어컨 장치를 사용하여 공기나 냉각수 루프로 열을 냉각**합니다. Microsoft는 서버를 바다에 담가 냉각하는 획기적인 프로젝트를 중단했으며, 칩에 직접 냉각수를 사용하여 칩을 냉각하는 기술도 연구 중입니다.

✅ 효율적인 컴퓨팅과 미래 전망

AI의 막대한 물과 전력 문제를 해결하는 더 광범위한 접근 방식은 바로 **필요한 컴퓨팅 양을 줄이는 것**입니다. 즉, 와트당 더 많은 작업을 수행하는 것입니다. ScaleFlux는 전력 절감에 초점을 맞춘 데이터 센터용 메모리 및 스토리지 장치를 개발하고 있으며, 데이터 압축을 통해 전력 효율을 높입니다.

**ARM 기반의 특수 프로세서는 저전력 칩을 만드는 것으로 시작**하여 AI 시대에 전력 효율성으로 주목받고 있습니다. Nvidia의 최신 AI 칩인 Grace Blackwell은 25배 적은 전력으로 Gen AI 모델을 실행할 수 있다고 말하는 ARM 기반 CPU를 사용합니다. ARM은 자사의 칩으로 채워진 데이터 센터는 **15% 더 적은 전력을 사용할 수 있으며, 이는 거의 20억 건의 ChatGPT 쿼리에 해당**합니다.

애플, 삼성, 퀄컴 같은 회사들은 기기에서 AI를 실행하는 것이 얼마나 이득인지 홍보해 왔습니다. **클라우드나 서버를 거치지 않고 각 쿼리마다 엄청난 에너지를 절약**할 수 있고, 데이터 센터가 AI의 엄청난 전력 소비를 따라잡을 시간을 벌어줄 수도 있습니다.

생성형 AI의 급증하는 전력 수요가 현재 전력망에 어떤 문제를 일으키고 있으며, 이러한 수요를 충족하지 못할 경우 어떤 결과가 발생할 수 있나요?

데이터 센터가 AI의 막대한 전력 및 냉각 수요를 해결하기 위해 어떤 혁신적인 방법(예: 전력 생산 위치 변경, 자체 발전, 냉각 방식 개선)을 모색하고 있나요?

AI의 에너지 효율성을 높이기 위해 컴퓨팅 아키텍처(예: ARM 기반 프로세서)와 데이터 처리 방식(예: 데이터 압축)에서 어떤 발전이 이루어지고 있으며, 이러한 변화가 전력 소비에 어떤 영향을 미치나요?

생성형 AI의 물 소비 문제가 심각해지는 이유는 무엇이며, 이 문제를 해결하기 위한 데이터 센터 설계 및 운영 방식의 변화에는 어떤 것들이 있나요?

데이터 센터의 전력 수요 증가가 전력망 인프라에 미치는 영향은 무엇이며, 노후화된 전력망과 변압기 문제를 해결하기 위한 기술적 접근 방식에는 어떤 것들이 있나요?

인터넷의 끊임없는 컴퓨팅 수요를 충족하기 위해 강력한 서버 랙에 대한 수요가 그 어느 때보다 높습니다.

클라우드는 저 위에 있는 것이 아닙니다. 바로 여기에 있습니다. 우리는 그 안에 있습니다. 지금 이 순간에도 클라우드 속에 있는 것입니다.

이러한 데이터 센터는 소셜 미디어 스트리밍, 사진 저장, 그리고 최근에는 훨씬 더 많은 데이터 훈련과 OpenAI의 ChatGPT, Google의 Gemini, Microsoft의 Copilot과 같은 챗봇 실행을 멈출 수 없습니다.

이 장비에서 나오는 열기가 느껴지실 겁니다. 생성형 AI 경쟁 덕분에 Vantage와 같은 기업들이 데이터 센터를 가능한 한 빨리 건설하고 있으며, 이는 데이터 센터를 운영하고 냉각하는 데 필요한 전력 수요가 엄청나게 높다는 것을 의미합니다.

지금 당장 이 전력 문제에 대해 다른 방식으로 생각하지 않으면, 우리가 가진 꿈이나 우리의 삶을 진정으로 바꿀 수 있는 이 놀라운 기술의 잠재력을 결코 실현할 수 없을 것입니다.

ChatGPT 쿼리 한 번은 일반적인 Google 검색보다 거의 10배나 많은 에너지를 소비하며, 5와트 LED 전구를 한 시간 동안 켜두는 것만큼의 에너지를 소비합니다.

AI 이미지 생성은 스마트폰을 충전하는 것만큼의 전력을 사용할 수 있습니다.

AI를 수용하기 위해 데이터 센터를 구축하는 하이퍼스케일러들은 탄소 배출량이 급증하는 것을 목격했으며, 이 문제는 새로운 문제가 아닙니다. 2019년 추정치에 따르면 하나의 대규모 언어 모델을 훈련하는 데 드는 CO2 배출량은 가솔린 자동차 5대의 전체 수명 동안 배출하는 양과 같습니다.

충분한 전력을 생산할 수 있다고 해도 노후화된 전력망은 점점 더 부하를 감당할 수 없게 되고 있습니다.

여름철 피크 수요를 보면 데이터 센터가 부하를 줄이지 않으면 정전이 발생할 수 있습니다.

생성형 AI의 광범위한 채택에 필요한 전력이 충분할지에 대한 문제가 제기됨에 따라 CNBC는 실리콘 밸리의 데이터 센터를 방문하여 막대한 컴퓨팅 부하를 직접 확인하고 문제의 중심에 있는 사람들과 해결 방법을 논의했습니다.

전 세계적으로 8,000개 이상의 데이터 센터가 있으며, 미국에 가장 많이 집중되어 있습니다.

하지만 충분하지 않습니다. AI 특정 애플리케이션에서 발생하는 수요량은 클라우드 컴퓨팅에서 역사적으로 보았던 것보다 많거나 그 이상일 것으로 예상됩니다.

AI 열풍으로 인해 데이터 센터 수요가 2030년까지 매년 15~20% 증가하고 있습니다.

밴티지와 같은 기업들이 점점 더 많이 건설함에 따라 충분한 전력을 확보하는 것이 중요합니다. 한 보고서에 따르면 데이터 센터는 2030년까지 미국 전체 전력 소비량의 무려 16%에 이를 수 있으며, 이는 2022년 ChatGPT가 등장하기 전의 2.5%에서 증가한 수치입니다.

이는 미국 전체 가정의 약 3분의 2에 해당하는 양입니다.

천연가스가 이 중 대부분을 차지할 것으로 예상되며, 유틸리티는 이러한 성장을 지원하기 위해 약 500억 달러를 투자해야 할 것입니다.

데이터 센터는 건물 자체에 약 64MW의 전력을 사용할 것입니다. 이 중 상당수는 단일 고객이 사용하고 있습니다.

그들은 전체 공간을 임대할 것입니다. 그리고 AI 애플리케이션을 고려할 때 이러한 수치는 수백 메가와트 이상으로 크게 증가할 수 있습니다.

64MW, 100MW. 평균적으로 얼마나 많은 가정에 전력을 공급할 수 있을까요?

데이터 센터당 수만 가구에 전력을 공급할 수 있습니다. 많은 대형 기술 기업들이 밴티지와 같은 회사와 계약하여 서버를 수용하지만, 일부 기업의 요구 사항이 너무 커져 자체 데이터 센터를 구축하고 있습니다.

Google과 Microsoft의 경우 이는 직접적으로 배출량 급증으로 이어졌습니다.

Google의 최신 환경 보고서에 따르면 온실가스 배출량은 데이터 센터 에너지 소비로 인해 2019년에서 2023년까지 거의 50% 증가했지만, 데이터 센터는 일반 데이터 센터보다 에너지 효율이 1.8배 더 높다고 덧붙였습니다.

Microsoft의 배출량은 AI 워크로드를 지원하도록 설계 및 최적화된 데이터 센터로 인해 2020년에서 2024년까지 거의 30% 증가했습니다.

전력 수요가 너무 높아 메타가 AI 중심 데이터 센터를 건설 중인 캔자스시티와 같이 석탄 화력 발전소를 폐쇄하려는 계획이 보류되고 있습니다.

따라서 AI 컴퓨팅의 성장을 결코 멈출 수 없습니다.

따라서 그들은 전력 용량을 확보하기 위해 할 수 있는 모든 것을 할 것입니다. 한 가지 접근 방식은 전력이 더 풍부한 곳에 데이터 센터를 건설하는 것입니다.

업계 자체는 풍력 또는 태양열과 같은 재생 에너지에 근접하게 접근할 수 있는 곳과 석탄 화력 발전소를 천연 가스로 전환하거나 원자력 시설에서 전력을 차단하는 인센티브 프로그램의 일부가 될 수 있는 기타 인프라를 활용할 수 있는 곳을 찾고 있습니다.

밴티지를 방문했던 산타클라라는 오랫동안 데이터에 굶주린 고객 근처의 데이터 센터 클러스터의 핫스팟 중 하나였습니다.

엔비디아 본사는 옥상에서도 보였지만, 지금은 밴티지가 오하이오주 콜럼버스나 조지아주 애틀랜타 같은 곳에도 건설하고 있습니다.

북부 캘리포니아에서는 이 지역 전력 회사에서 전력 공급이 부족하여 데이터 센터 배치가 다소 둔화되고 있습니다.

전력이 있는 곳에 데이터 센터를 가져오는 것과는 반대로, 일부 AI 회사와 데이터 센터는 현장에서 자체적으로 전력을 생산하는 방법을 실험하고 있습니다.

OpenAI CEO 샘 알트만은 이러한 필요성에 대해 목소리를 높여 왔습니다. 그는 최근 패널과 전력 저장 장치를 모두 포함하는 선박 컨테이너 크기 모듈을 만드는 태양광 스타트업에 투자했습니다.

알트만은 또한 프레임 구조에 미니 원자로를 설치하는 것을 목표로 하는 핵분열 스타트업 오클로와 핵융합 스타트업 헬리온에도 투자했습니다.

마이크로소프트도 작년에 헬리온과 2028년부터 융합 전기를 구매하기 시작하는 계약을 체결했으며, 구글은 다음 공장에서 지하 깊은 곳에서 충분한 전력을 끌어내 대규모 데이터 센터를 운영할 것이라고 밝힌 지열 스타트업과 제휴했습니다.

데이터 센터 자체도 자체적으로 전력을 생산하기 시작했습니다. 밴티지는 예를 들어 버지니아에서 지난 한 해 동안 고객 중 한 곳을 위한 전용 데이터 센터를 지원하기 위해 100MW 천연 가스 발전소를 배치했습니다.

그곳에서 우리는 자급자족하고 있으며, 그곳에 있는 데이터 센터에 전력을 공급하고 있으며, 공공 전력망에는 전혀 영향을 미치지 않습니다.

충분한 전력을 생산할 수 있더라도 노후화된 전력망은 종종 전송을 처리할 장비가 제대로 갖춰져 있지 않습니다.

그리고 그것이 전력망 강화가 필요한 이유입니다. 특정 지역에 데이터 센터가 집중되어 있으면 해당 위치에서 많은 전력을 공급해야 하므로 전력망에 다소 더 많은 압력이 가해지는 경향이 있습니다.

데이터 센터 골목으로 알려진 버지니아 북부 지역에서는 서버가 매일 전 세계 인터넷 트래픽의 약 70%를 처리합니다.

2022년 어느 시점에는 그곳의 전력 회사가 수요를 따라잡기 위해 고군분투하면서 새로운 데이터 센터 연결을 일시 중단해야 했습니다.

기본적으로 피크 시간에는 주민들에게 에어컨을 끄라고 요청하거나 AI 회사에 훈련을 중단하라고 요청합니다.

예를 들어 밴티지는 유틸리티 회사가 높은 온도를 기준으로 제약이 있을 것이라는 것을 알게 되면 사람들이 에어컨을 가동해야 하므로 자발적으로 부하 차단 프로그램을 지원합니다.

우리는 자발적으로 전력망에서 벗어납니다. 우리는 모든 사람들이 전력을 사용할 수 있도록 그 시간 동안 자체 발전기를 가동합니다.

병목 현상은 종종 발전된 곳에서 소비되는 곳으로 전력을 전달하는 데서 발생합니다. 한 가지 해결책은 수백, 심지어 수천 마일의 새로운 송전선을 추가하는 것입니다.

그러나 데이터 센터 골목으로 가는 선을 확장하려는 152억 달러 규모의 노력과 같은 프로젝트는 프로젝트 자금 조달을 위해 요금이 인상되는 것을 원하지 않는 지역 요금 납부자들의 반대에 부딪혔습니다.

그리드 측에서 용량을 늘리는 것이 해결책의 일부이지만 비용이 많이 들고 시간이 많이 걸리며 때로는 비용이 유틸리티 요금 인상 측면에서 주민들에게 전가되기도 합니다.

또 다른 해결책은 예측 소프트웨어를 사용하여 그리드의 가장 취약한 지점 중 하나인 변압기의 고장을 줄이는 것입니다.

생성된 모든 전기는 변압기를 통과해야 하며, 이는 주로 전기 회로의 양쪽을 연결하는 기능입니다.

미국에만 6천만~8천만 개의 변압기가 있습니다. 미국의 평균 변압기는 38년이 되었으므로 노후된 장치는 정전의 일반적인 원인이 되었으며 교체하는 데 비용이 많이 들고 느립니다.

그래서 우리는 이 작은 센서를 가지고 있습니다. 직경 2인치, 두께 1인치, 하키 퍽 크기의 절반 정도이며 기본적으로 변압기 외부에 붙입니다.

그러면 소프트웨어는 고장을 예측하고 어떤 변압기가 더 많은 부하를 처리할 수 있는지 결정하여 고장 위험이 있는 변압기에서 부하를 이동할 수 있습니다.

데이터 센터가 온라인에 접속하는 몽골 지역과 같이 전력 수요가 높은 지역에 설치되었습니다.

Vi는 2022년에 ChatGPT가 등장한 이후 사업이 3배로 증가했다고 말합니다. 그리고 2024년에 우리가 듣고 있는 것은 내년에 다시 2배 또는 3배로 증가할 수 있다는 것입니다.

생성형 AI에 더 많은 전력과 더 안정적인 그리드가 필요한 큰 이유는 서버를 시원하게 유지하기 위해서입니다. 모든 서버는 엄청난 양의 뜨거운 공기를 생성하며 공기나 물로 냉각하면 과열되지 않아 24시간 내내 계속 실행할 수 있습니다.

문제는 AI가 2027년까지 연간 덴마크 전체의 4배가 넘는 물을 소비할 것으로 예상된다는 것입니다.

모든 사람들이 AI가 에너지 집약적이라는 점에 대해 걱정하고 있습니다. 우리가 자리에서 일어나 핵에 대해 바보 같은 짓을 그만두면 그 문제를 해결할 수 있습니다.

맞습니다. 해결할 수 있습니다. 물은 AI 시대에 근본적인 제한 요소입니다. AI 컴퓨팅의 물 수요량을 보고 꽤 충격을 받았습니다.

샤오레이 렌은 10년 넘게 데이터 센터 효율성을 연구해 왔습니다. 그의 연구팀은 ChatGPT 프롬프트 10~50개마다 16온스짜리 물병에 담긴 물을 소비할 수 있다는 사실을 발견했습니다.

트레이닝은 훨씬 더 많은 전력을 필요로 하고 인터넷에 끊임없이 추가되는 모든 데이터에 액세스하여 학습하므로 더 많은 열을 발생시킵니다.

마이크로소프트의 미국 데이터 센터에서 GPT-3를 훈련하는 데 깨끗한 담수 70만 리터가 직접 증발할 수 있으며, 전 세계 AI 수요로 인해 2027년까지 최대 66억 세제곱미터의 물이 소비될 수 있는데, 이는 덴마크 전체의 연간 취수량보다 4배 이상 많은 양입니다.

가뭄에 시달리는 칠레에서는 정부가 물 사용에 대한 대중의 반발로 인해 구글의 데이터 센터 건설 허가를 부분적으로 철회했으며, 우루과이에서도 계획된 데이터 센터에 대해 비슷한 반발에 직면하고 있습니다.

산업의 특정 분야에서 증발 냉각을 통해 데이터 센터를 냉각하기 위해 물을 소비하는 기술이 사용되고 있습니다.

이는 전력 관점에서는 매우 효율적인 경향이 있지만 물 사용 관점에서는 매우 비효율적인 경향이 있습니다.

그래서 밴티지는 처음부터 물을 최대한 사용하지 않도록 설계되었습니다.

대신 밴티지는 옥상에 수십 개의 거대한 에어컨 장치를 사용합니다. 옥상에는 공기 처리 장치와 냉각탑이 결합되어 있는데, 여기서 응축기 코일은 데이터 홀 내부에서 보았던 뜨거운 통로에서 올라오는 열을 다시 냉각수 루프로 변환하여 중요한 공기 처리 장치로 다시 내려 보냅니다.

마이크로소프트는 서버를 바다에 담가 냉각하는 획기적인 프로젝트를 중단했습니다.

또 다른 해결책은 물로 공기를 냉각하는 비효율적인 과정 대신 칩에 직접 냉각수를 사용하여 칩을 냉각하는 것입니다.

사람들은 예를 들어 칩 직접 냉각과 같이 필요한 물의 양을 획기적으로 줄일 수 있는 여러 가지 방법을 연구하고 있습니다.

그러나 이러한 구축 속도가 매우 빨라 실제로 매우 어렵습니다. 그래서 지금 업계에서는 AI 지원에 대한 많은 이야기가 오가고 있습니다.

우리 주변을 움직이는 공기에서 물로 옮겨가면, 더 효율적인 방법으로 칩 자체를 냉각하기 위해 공기나 액체를 칩에 가져올 수 있습니다.

하지만 많은 데이터 센터의 경우 막대한 양의 개조가 필요합니다. 어드밴티지는 약 6년 전에 데이터 홀 바닥에서 냉수 루프를 활용할 수 있는 설계를 구축했습니다.

AI의 막대한 물과 전력 문제를 해결하는 더 광범위한 접근 방식이 있습니다. 바로 필요한 컴퓨팅 양을 줄이는 것입니다.

다시 말해, 와트당 더 많은 작업을 수행하는 것입니다. 결국 내가 가진 전력 공급으로 어떻게 더 많은 작업을 수행할 수 있을까 하는 문제로 귀결됩니다.

ScaleFlux는 전력 절감에 초점을 맞춘 데이터 센터용 메모리 및 스토리지 장치를 만듭니다. 데이터 압축은 Intel 또는 AMD x86 프로세서와 같은 범용 코어에서 수행하려고 하면 매우 느리고 대기 시간이 추가되며 전력 소모가 클 수 있지만, 하드웨어 상태 머신에 넣으면 훨씬 더 빠르고 효율적으로, 즉 전력 효율적으로 수행할 수 있습니다.

이러한 전력 소모가 큰 x86 코어의 주요 대안은 ARM 기반의 특수 프로세서입니다. Arm은 초기 휴대폰의 배터리 수명을 극대화하고 마지막 한 조각의 전력까지 절약하는 저전력 칩을 만드는 것으로 시작했습니다.

성능을 최대화하려고 할 때와는 근본적으로 다른 설계가 될 것입니다.

그래서 메모리 액세스 방식처럼 간단할 수도 있습니다. 데이터 액세스 방식처럼 간단할 수도 있지만, 아키텍처의 모든 순간이 전력을 우선으로 생각합니다.

현재 ARM은 데이터 센터용 Neoverse를 포함한 모든 종류의 칩을 만듭니다. 그리고 AI가 발전함에 따라 ARM의 전력 효율성은 Google, Microsoft, Oracle 및 Amazon과 같은 기술 대기업에서 점점 더 인기를 얻고 있습니다.

여기 AWS Graviton이 있는데, AWS Graviton은 경쟁 아키텍처 대비 60%의 전력을 절약합니다. 3월에 공개된 Nvidia의 최신 AI 칩인 Grace Blackwell은 25배 적은 전력으로 Gen AI 모델을 실행할 수 있다고 말하는 ARM 기반 CPU를 사용합니다.

또한 ARM은 자사의 칩으로 채워진 데이터 센터는 더 낮은 컴퓨팅 요구 사항으로 인해 15% 더 적은 전력을 사용할 수 있다고 말합니다.

데이터 센터의 규모를 생각하면 15%는 거의 20억 건의 ChatGPT 쿼리에 해당합니다. 생각해 보세요. 그 15% 절감만으로 미국 가구의 20%에 불을 밝힐 수 있습니다.

애플, 삼성, 퀄컴 같은 회사들은 기기에서 AI를 실행하는 것이 얼마나 이득인지 홍보해 왔습니다. 클라우드나 서버를 거치지 않고 각 쿼리마다 엄청난 에너지를 절약할 수 있고, 데이터 센터가 AI의 엄청난 전력 소비를 따라잡을 시간을 벌어줄 수도 있습니다.

모두가 가능한 한 데이터 센터를 짓겠지만, 그 데이터 센터가 지원할 수 있는 만큼의 AI만 갖게 될 것이고, 이는 사람들이 바라는 것보다 적을 수도 있습니다.

하지만 궁극적으로 이러한 공급 제약을 억제할 방법을 찾는 데 많은 사람들이 노력하고 있으며, 이 산업에는 확실히 많은 성장이 있을 것입니다.

생성형 AI의 막대한 전력 소비 및 문제점

How The Massive Power Draw Of Generative AI Is Overtaxing Our Grid

How The Massive Power Draw Of Generative AI Is Overtaxing Our Grid

스크립트