How many calculations do you think your graphics card performs every second while running video games with incredibly realistic graphics? Maybe 100 million? Well, 100 million calculations a second is what’s required to run Mario 64 from 1996.

We need more power. Maybe 100 billion calculations a second? Well, then you would have a computer that could run Minecraft back in 2011.

In order to run the most realistic video games such as Cyberpunk 2077, you need a graphics card that can perform around 36 trillion calculations a second.

This is an unimaginably large number, so let’s take a second to try to conceptualize it. Imagine doing a long multiplication problem once every second. Now let’s say everyone on the planet does a similar type of calculation but with different numbers.

To reach the equivalent computational power of this graphics card and its 36 trillion calculations a second, we would need about 4,400 Earths filled with people, all working together and completing one calculation each every second.

It’s rather mind boggling to think that a device can manage all these calculations, so in this video, we’ll see how graphics cards work in two parts.

First, we’ll open up this graphics card and explore the different components inside, as well as the physical design and architecture of the GPU, or graphics processing unit.

Second, we’ll explore the computational architecture and see how GPUs process mountains of data, and why they’re ideal for running video game graphics, Bitcoin mining, neural networks, and AI.

So, stick around and let’s jump right in.

This video is sponsored by Micron, which manufactures the graphics memory inside this graphics card. Before we dive into all the parts of the GPU, let’s first understand the differences between GPUs and CPUs.

Inside this graphics card, the Graphics Processing Unit, or GPU, has over 10,000 cores. However, when we look at the CPU, or Central Processing Unit, that’s mounted to the motherboard, we find an integrated circuit or chip with only 24 cores.

So, which one is more powerful? 10 thousand is a lot more than 24, So you would think the GPU is more powerful, however, it’s more complicated than that.

A useful analogy is to think of a GPU as a massive cargo ship and a CPU as a jumbo jet airplane.

The amount of cargo capacity is the amount of calculations and data that can be processed, and the speed of the ship or airplane is the rate at which how quickly those calculations and data are being processed.

Essentially, it’s a trade-off between a massive number of calculations that are executed at a slower rate versus a few calculations that can be performed at a much faster rate.

Another key difference is that airplanes are a lot more flexible since they can carry passengers, packages, or containers and can take off and land at any one of tens of thousands of airports.

Likewise CPUs are flexible in that they can run a variety of programs and instructions. However, giant cargo ships carry only containers with bulk contents inside and are limited to traveling between ports.

Similarly, GPUs are a lot less flexible than CPUs and can only run simple instructions like basic arithmetic. Additionally GPUs can’t run operating systems or interface with input devices or networks.

This analogy isn’t perfect, but it helps to answer the question of “which is faster, a CPU or a GPU?”. Essentially if you want to perform a set of calculations across mountains of data, then a GPU will be faster at completing the task.

However, if you have a lot less data that needs to be evaluated quickly than a CPU will be faster.

Furthermore, if you need to run an operating system or support network connections and a wide range of different applications and hardware, then you’ll want a CPU.

We’re planning a separate video on CPU architecture, so make sure to subscribe so you don’t miss it, but let’s now dive into this graphics card and see how it works. In the center of this graphics card is the printed circuit board or PCB, with all the various components mounted on it, and we’ll start by exploring the brains which is the graphics processing unit or GPU.

When we open it up, we find a large chip or die named GA102 built from 28.3 billion transistors. The majority of the area of the chip is taken up by the 
processing cores, which have a hierarchical organization.

Specifically, the chip is divided 
into 7 Graphics Processing Clusters, or GPCs, and within each processing cluster are 12 
streaming multiprocessors, or SMs.

Next, inside each of these streaming multiprocessors 
are 4 warps and 1 ray tracing core, and then, inside each warp are 32 CUDA or shading cores, and 
1 tensor core.

Across the entire GPU are 10,752 CUDA cores, 336 Tensor Cores, and 84 Ray Tracing 
Cores.

These three types of cores execute all the calculations of the GPU, and each has a different 
function.

CUDA cores can be thought of as simple 
binary calculators with an addition button, a 
multiply button, and a few others, and are used the most when running video games.

Tensor cores 
are matrix multiplication and addition calculators 
and are used for geometric transformations 
and working with neural networks and AI. And ray tracing cores are the largest but the fewest 
and are used to execute ray tracing algorithms.

Now that we understand the computational 
resources inside this chip, one rather interesting fact is that the 3080, 3090, 3080 Ti, and 3090 Ti 
graphics cards all use the same GA102 chip design for their GPU.

This might be counterintuitive 
because they have different prices and were 
released in different years, but it’s true. 
So, why is this? Well, during the manufacturing process, sometimes patterning errors, dust 
particles, or other manufacturing issues 
cause damage and create defective areas of the 
circuit.

Instead of throwing out the entire chip because of a small defect, engineers find the 
defective region and permanently isolate and 
deactivate the nearby circuitry.

By having a GPU 
with a highly repetitive design, a small defect in one core only damages that particular streaming 
multiprocessor circuit and doesn’t affect the 
other areas of the chip.

As a result, these chips 
are tested and categorized or binned according to the number of defects.

The 3090 Ti graphics cards 
have flawless GA102 chips with all 10,752 CUDA cores working properly.

The 3090 has 10,496 
cores working, the 3080 Ti has 10,240, and the 3080 has 8,704 CUDA cores working, which is equivalent 
to having 16 damaged and deactivated streaming   multiprocessors.

Additionally, different graphics 
cards differ by their maximum clock speed and the quantity and generation of graphics memory that 
supports the GPU, which we’ll explore in a little   bit.

Because we’ve been focusing on the physical 
architecture of this GA102 GPU chip, let’s zoom into one of these CUDA cores and see what it looks 
like.

Inside this simple calculator is a layout   of approximately 410,000 transistors. This 
section of 50,000 transistors performs the operation of A times B plus C, which is called 
fused multiply and add, or FMA, and is the most   common operation performed by graphics cards.

Half of the CUDA cores execute FMA using 32-bit floating-point numbers, which is essentially 
scientific notation, and the other half   of the cores use either 32-bit integers or 32-bit 
floating point numbers.

Other sections of this core accommodate negative numbers and perform 
other simple functions like bit-shifting and bit   masking, as well as collecting and queueing 
the incoming instructions and operands, and then accumulating and outputting the results.

As a result, this single core is just a simple   calculator with a limited number of functions. 
This calculator completes one multiply and one add operation each clock cycle, and therefore with this 
3090 graphics cards and its 10,496 cores and 1.7 gigahertz clock, we get 35.6 trillion calculations 
a second.

However, if you’re wondering how the GPU handles more complicated operations like division, 
square root, and trigonometric functions, well,   these calculator operations are performed by 
the special function units, which are far fewer as only four of them can be found in each streaming multiprocessor.

Now that we have an understanding of what's inside a single core, let's zoom out and take a look at the other sections of the GA102 chip.

Around the edge, we find 12 graphics memory controllers, the NVLink Controllers, and the PCIe interface. On the bottom is a 6-megabyte Level 2 SRAM Memory Cache, and here's the Gigathread Engine, which manages all the graphics processing clusters and streaming multiprocessors inside.

Now that we've explored this GA102 GPU's physical architecture, let's zoom out and take a look at the other parts inside the graphics card.

On this side are the various ports for the displays to be plugged into, on the other side is the incoming 12-volt power connector, and then here are the PCIe pins that plug into the motherboard.

On the PCB, the majority of the smaller components constitute the voltage regulator module, which takes the incoming 12 volts and converts it to 1.1 volts and supplies hundreds of watts of power to the GPU.

Because all this power heats up the GPU, most of the weight of the graphics card is in the form of a heat sink with four heat pipes that carry heat from the GPU and memory chips to the radiator fins, where fans then help to remove the heat.

Perhaps some of the most important components, aside from the GPU, are the 24 gigabytes of graphics memory chips, which are technically called GDDR6X SDRAM and were manufactured by Micron, which is the sponsor of this video.

Whenever you start up a video game or wait for a loading screen, the time it takes to load is mostly spent moving all the 3D models of a particular scene or environment from the solid-state drive into these graphics memory chips.

As mentioned earlier, the GPU has a small amount of data storage in its 6-megabyte shared Level 2 cache, which can hold the equivalent of about this much of the video game's environment.

Therefore, in order to render a video game, different chunks of scene are continuously being transferred between the graphics memory and the GPU.

Because the cores are constantly performing tens of trillions of calculations a second, GPUs are data-hungry machines and need to be continuously fed terabytes upon terabytes of data.

Thus, these graphics memory chips are designed kind of like multiple cranes loading a cargo ship at the same time. Specifically, these 24 chips transfer a combined 384 bits at a time, which is called the bus width, and the total data that can be transferred, or the bandwidth, is about 1.15 terabytes a second.

In contrast, the sticks of DRAM that support the CPU only have a 64-bit bus width and a maximum bandwidth closer to 64 gigabytes a second.

One rather interesting thing is that you may think that computers only work using binary, ones and zeros.

However, in order to increase data transfer rates, GDDR6X and the latest graphics memory, GDDR7, send and receive data across the bus wires using multiple voltage levels beyond just 0 and 1.

For example, GDDR7 uses three different encoding schemes to combine binary bits into ternary digits or PAM-3 symbols with voltages of 0, 1, and negative 1.

Here's the encoding scheme on how three binary bits are encoded into two ternary digits, and this scheme is combined with an 11 bit to seven ternary digit encoding scheme resulting in sending 276 binary bits using only 176 ternary digits.

The previous generation, GDDR6X, which is the memory in this 3090 graphics card, used a different encoding scheme, called PAM-4, to send two bits of data using four different voltage levels.

However, engineers and the graphics memory industry agreed to switch to PAM-3 for future generations of graphics chips in order to reduce encoder complexity, improve the signal-to-noise ratio, and improve power efficiency.

Micron delivers consistent innovation to push the boundaries on how much data can be transferred every second and to design cutting-edge memory chips.

Another advancement by Micron is the development of HBM, or high-bandwidth memory, that surrounds AI chips. HBM is built from stacks of DRAM memory chips and uses TSVs or through silicon vias, to connect this stack 
into a single chip, essentially forming a cube 
of AI memory.

For the latest generation of high 
bandwidth memory, which is HBM3E, a single cube can have up to 24 to 36 gigabytes of memory, thus 
yielding 192 gigabytes of high-speed memory around  the AI chip.

Next time you buy an AI accelerator 
system, make sure it uses Micron’s HBM3E, which uses 30% less power than the competitive products.

However, unless you’re building an AI data center, 
you’re likely not in the market to buy one 
of these systems which cost between 25 to 40 thousand dollars and are on backorder for a 
few years.

If you’re curious about high bandwidth 
memory, or Micron’s next generation of graphics 
memory, take a look at one of these links in the description.

Alternatively, if designing the next 
generation of memory chips interests you, Micron 
is always looking for talented scientists and 
engineers to help innovate on cutting edge chips, and you can find out more about working for Micron 
using this link.

Now that we’ve explored many of 
the physical components inside this graphics card 
and GPU, let’s next explore the computational architecture and see how applications like video 
game graphics and bitcoin mining run what’s called 
“embarrassingly” parallel operations.

Although 
it may sound like a silly name, embarrassingly parallel is actually a technical classification 
of computer problems where little or no effort is 
needed to divide the problem into parallel tasks, 
and video game rendering and bitcoin mining easily fall into this category.

Essentially, GPUs solve 
embarrassingly parallel problems using a principle 
called SIMD, which stands for single instruction 
multiple data where the same instructions or steps are repeated across thousands to millions of 
different numbers.

Let’s see an example of how 
SIMD or single instruction multiple data is used 
to create this 3D video game environment. As you may know already, this cowboy hat on the table is 
composed of approximately 28 thousand triangles 
built by connecting together around 14,000 
vertices, each with X, Y, and Z coordinates.

These vertex coordinates are built using a coordinate system called model space with the origin of 0, 0, 0 being at the center of the hat. To build a 3D world, we place hundreds of objects, each with their own model space into the world environment, and in order for the camera to be able to tell where each object is relative to other objects, we have to convert or transform all the vertices from each separate model space into the shared world coordinate system, or world space.

So, as an example, how do we convert the 14,000 vertices of the cowboy hat from model space into world space?

Well, we use a single instruction which adds the position of the origin of the hat in world space to the corresponding X, Y, and Z coordinate of a single vertex in model space.

Next, we copy this instruction to multiple data, which is all the remaining X, Y, and Z coordinates of the other thousands of vertices that are used to build the hat. Next, we do the same for the table and the rest of the hundreds of other objects in the scene, each time using the same instructions but with the different objects’ coordinates in world space, and each objects’ thousands of vertices in model space.

As a result, all the vertices and triangles of all the objects are converted to a common world space coordinate system, and the camera can now determine which objects are in front and which are behind.

This example illustrates the power of SIMD, or single instruction multiple data, and how a single instruction is applied to 5,629 different objects with a total of 8.3 million vertices within the scene, resulting in 25 million addition calculations.

The key to SIMD and embarrassingly parallel programs is that every one of these millions of calculations has no dependency on any other calculation, and thus all these calculations can be distributed to the thousands of cores of the GPU and completed in parallel with one another.

It's important to note that vertex transformation from model space to world space is just one of the first steps of a rather complicated video game graphics rendering pipeline, and we have a separate video that delves deeper into each of these other steps.

Also, we skipped over the transformations for the rotation and scale of each object, but factoring these values is a similar process that requires
additional SIMD calculations.

Now that we have a simple understanding of SIMD, let's discuss how this computational architecture matches up with the physical architecture.

Essentially, each
instruction is completed by a thread, and this thread is matched to a single CUDA core. Threads are bundled into groups of 32 called warps, and the same sequence of instructions is issued to
all the threads in a warp.

Next, warps are grouped into thread blocks which are handled by the streaming multiprocessor. And then finally thread blocks are grouped into grids, which are computed
across the overall GPU.

All these computations are managed or scheduled by the Gigathread Engine, which efficiently maps thread blocks to the available streaming multiprocessors.

One important
distinction is that within SIMD architecture, all 32 threads in a warp follow the same instructions and are in lockstep with each other, kind of like a phalanx of soldiers moving
together.

This lockstep execution applied to GPUs up until around 2016. However, newer GPUs follow a SIMT architecture, or single instruction multiple threads.

The difference between SIMD and SIMT is
that while both send the same set of instructions to each thread, with SIMT, the individual threads don't need to be in lockstep with each other and can progress at different rates.

In technical jargon, each thread is given its own program counter. Additionally, with SIMT, all the threads within a streaming multiprocessor use a shared 128 kilobyte L1 cache, and thus data that's
output by one thread can be subsequently used by a separate thread.

This improvement from SIMD to
SIMT allows for more flexibility when encountering warp divergence via data-dependent conditional branching and easier reconvergence for the threads to reach the barrier synchronization.

Essentially,
newer architectures of GPUs are more flexible and efficient, especially when encountering branches in code. One additional note is that although you may think that the term warp is derived from
warp drives, it actually comes from weaving and specifically the Jacquard Loom.

This loom from 1804 used programmable punch cards to select specific threads out of a set to weave together intricate patterns.

As fascinating as looms are, let’s move on. The final topics we’ll explore are Bitcoin mining, tensor cores, and neural networks.

But first, we’d like to ask you to like this video, write a quick comment below, share it with a colleague, friend, or on social media, and subscribe if you haven’t already.

The dream of Branch Education is to make free and accessible, visually engaging educational videos that dive deeply into a variety of topics on science, engineering, and how technology works, and then to combine multiple videos into an entirely free engineering curriculum for high school and college students.

Taking a few seconds to like, subscribe, and comment below helps us a ton!

Additionally, we have a Patreon page with AMAs and behind-the-scenes footage, and if you find what we do useful, we would appreciate any support. Thank you. So now that we’ve explored how single instruction multiple threads is used in video games, let’s briefly discuss why GPUs were initially used for mining Bitcoin.

We’re not going to get too far into the algorithm behind the blockchain and will save it for a separate episode, but essentially, to create a block on the blockchain, the SHA-256 hashing algorithm is run on a set of data that includes transactions, a timestamp, additional data, and a random number called a nonce.

After feeding these values through the SHA-256 hashing algorithm, a random 256-bit value is output. You can kind of think of this algorithm as a lottery ticket generator where you can’t pick the lottery number, but based on the input data, the SHA-256 algorithm generates a random lottery ticket number.

How do Graphics Cards Work?  Exploring GPU Architecture

How do Microchips work?  How does your smartphone camera work?  How does Bluetooth work?  At Branch Education, we dive deep into the science, engineering, and technology in our modern world using 3D animation and incredibly detailed models. 

Founder of Branch Education: Theodore J Tablante

Want to support in-depth engineering and technology education? Support us on Patreon:  http://www.patreon.com/brancheducation

Modeling is done in Blender 3.5 Cycles Render Engine, Adobe Premiere, and Reaper

Branch Education

🖥️ GPU 작동 방식: 그래픽 카드 아키텍처 탐구

이 기사에서는 **그래픽 카드의 작동 원리를 자세히 살펴보고**, GPU 아키텍처의 핵심 구성 요소와 그 기능에 대해 설명합니다. Branch Education에서 제공하는 3D 애니메이션을 통해 기술적인 세부 사항을 시각적으로 이해할 수 있습니다.

GPU는 10,000개 이상의 코어를 가지고 있는 반면, CPU는 24개의 코어만 가지고 있습니다. **GPU는 대량의 데이터를 처리하는 데 특화되어 있고**, CPU는 다양한 프로그램을 실행하는 데 더 유연합니다. GPU는 화물선, CPU는 점보 제트기에 비유할 수 있습니다.

GPU는 기본적인 연산만 수행할 수 있으며 운영체제를 실행하거나 입력 장치와 연결할 수 없습니다. **GPU는 많은 양의 데이터를 빠르게 처리해야 할 때 CPU보다 효율적입니다**. 그러나 운영체제, 네트워크 연결, 다양한 응용 프로그램 및 하드웨어를 지원해야 하는 경우 CPU가 더 적합합니다.

그래픽 카드 중앙에는 283억 개의 트랜지스터로 만들어진 GA102 칩이 있습니다. **이 칩은 7개의 GPC(Graphics Processing Clusters)로 나뉘고**, 각 클러스터는 12개의 SM(Streaming Multiprocessors)을 포함합니다. 각 SM 안에는 4개의 워프와 1개의 레이 트레이싱 코어가 있습니다.

CUDA 코어는 간단한 이진 계산기로 생각할 수 있으며, 텐서 코어는 행렬 곱셈 및 덧셈 계산기, 레이 트레이싱 코어는 레이 트레이싱 알고리즘을 실행하는 데 사용됩니다. **3080, 3090, 3080 Ti, 3090 Ti 그래픽 카드는 모두 동일한 GA102 칩 디자인을 사용합니다**.

제조 과정에서 결함이 발생하면 엔지니어는 결함이 있는 영역을 격리하고 비활성화합니다. **칩은 결함의 수에 따라 분류되며**, 3090ti 그래픽 카드는 10752개의 CUDA 코어가 모두 작동하는 완벽한 GA102 칩을 가지고 있습니다.

각 CUDA 코어 안에는 약 41만 개의 트랜지스터가 있으며, A * B + C 연산을 수행하는 5만 개의 트랜지스터 섹션이 있습니다. **이 연산은 FMA(fused multiply and add)라고 하며**, 그래픽 카드에서 가장 흔하게 수행되는 연산입니다.

단일 코어는 클럭 사이클마다 하나의 곱셈과 하나의 덧셈 연산을 완료합니다. **3090 그래픽 카드의 경우 10,496개의 코어와 1.7GHz 클럭으로 초당 35.6조 번의 계산을 수행합니다**.

그래픽 카드에는 GPU 외에도 24GB의 GDDR6X SDRAM 그래픽 메모리 칩이 있습니다. **비디오 게임을 시작하거나 로딩 화면을 기다리는 시간은 대부분 3D 모델을 솔리드 스테이트 드라이브에서 이 그래픽 메모리 칩으로 옮기는 데 소요됩니다**.

GDDR6X 및 최신 그래픽 메모리인 GDDR7은 데이터 전송 속도를 높이기 위해 0과 1 외에 여러 전압 레벨을 사용하여 데이터를 전송하고 수신합니다. **GDDR7은 3개의 이진 비트를 2개의 삼항 숫자로 결합하는 3가지 인코딩 체계를 사용합니다**.

Micron은 AI 칩을 둘러싼 HBM(High Bandwidth Memory)을 개발했습니다. **HBM3E의 경우 단일 큐브는 최대 24~36GB의 메모리를 가질 수 있으며**, 이는 AI 칩 주변에 192GB의 고속 메모리를 제공합니다.

GPU는 SIMD(Single Instruction Multiple Data) 원리를 사용하여 병렬 연산을 수행합니다. **SIMD는 동일한 명령을 수천 개의 다른 숫자에 반복하는 방식입니다**. 예를 들어, 3D 비디오 게임 환경에서 카우보이 모자의 14,000개 정점을 변환하는 데 사용됩니다.

최신 GPU는 SIMT(Single Instruction Multiple Threads) 아키텍처를 따릅니다. **SIMT는 각 스레드가 서로 다른 속도로 진행할 수 있으며**, 스레드 간의 데이터 공유를 용이하게 합니다. SIMT는 코드 분기 시 더 유연하고 효율적입니다.

⛏️ 비트코인 채굴과 텐서 코어

GPU는 SHA-256 해싱 알고리즘을 사용하여 비트코인 채굴에 사용되었습니다. **GPU는 초당 수백만 개의 해시를 생성하여** 비트코인 채굴 경쟁에서 우위를 점했습니다. 그러나 현재는 ASIC 채굴 컴퓨터가 GPU보다 훨씬 빠릅니다.

텐서 코어는 행렬 곱셈과 덧셈을 동시에 수행하여 신경망 및 생성적 AI에 필요한 계산을 가속화합니다. **텐서 코어는 세 개의 행렬을 입력받아 처음 두 행렬을 곱하고 세 번째 행렬을 더한 다음 결과를 출력합니다**.

이것으로 그래픽 카드에 대한 간략한 탐구를 마칩니다. **이 비디오가 도움이 되었다면 좋아요, 댓글, 공유, 구독을 부탁드립니다**. Branch Education은 무료로 접근 가능한 교육 비디오를 만드는 것을 목표로 합니다.

엄청나게 현실적인 그래픽으로 비디오 게임을 실행하는 동안 그래픽 카드가 초당 얼마나 많은 계산을 수행한다고 생각하십니까? 아마 1억 번? 글쎄요, 초당 1억 번의 계산은 1996년 마리오 64를 실행하는 데 필요한 계산량입니다.

우리에게는 더 많은 힘이 필요합니다. 아마 초당 1,000억 번의 계산? 그렇다면 2011년에 마인크래프트를 실행할 수 있는 컴퓨터가 있을 것입니다.

사이버펑크 2077과 같이 가장 현실적인 비디오 게임을 실행하려면 초당 약 36조 번의 계산을 수행할 수 있는 그래픽 카드가 필요합니다.

이것은 상상할 수 없을 정도로 큰 숫자이므로 잠시 시간을 내어 개념화해 보겠습니다. 매초마다 긴 곱셈 문제를 한 번 푼다고 상상해 보세요. 이제 지구상의 모든 사람들이 비슷한 유형의 계산을 하지만 다른 숫자로 계산한다고 가정해 봅시다.

이 그래픽 카드와 초당 36조 번의 계산량에 해당하는 계산 능력을 얻으려면 모든 사람이 함께 협력하여 매초마다 각자 하나의 계산을 완료하는 사람들로 가득 찬 약 4,400개의 지구가 필요합니다.

장치가 이 모든 계산을 관리할 수 있다는 것을 생각하는 것은 다소 놀라운 일이므로 이 비디오에서는 그래픽 카드가 어떻게 작동하는지 두 부분으로 살펴보겠습니다.

먼저 이 그래픽 카드를 열어 내부의 다양한 구성 요소와 GPU(그래픽 처리 장치)의 물리적 설계 및 아키텍처를 살펴보겠습니다.

둘째, 계산 아키텍처를 살펴보고 GPU가 어떻게 엄청난 양의 데이터를 처리하는지, 그리고 GPU가 비디오 게임 그래픽, 비트코인 채굴, 신경망 및 AI를 실행하는 데 이상적인 이유를 살펴보겠습니다.

그러니 채널 고정하시고 바로 들어가 보겠습니다.

이 비디오는 이 그래픽 카드 내부의 그래픽 메모리를 제조하는 Micron의 후원을 받았습니다. GPU의 모든 부품에 대해 자세히 알아보기 전에 먼저 GPU와 CPU의 차이점을 이해해 보겠습니다.

이 그래픽 카드 내부의 GPU(그래픽 처리 장치)에는 10,000개 이상의 코어가 있습니다. 그러나 마더보드에 장착된 CPU(중앙 처리 장치)를 살펴보면 24개의 코어만 있는 집적 회로 또는 칩이 있습니다.

그렇다면 어느 것이 더 강력할까요? 10,000이 24보다 훨씬 많으므로 GPU가 더 강력하다고 생각하겠지만, 그것보다 더 복잡합니다.

유용한 비유는 GPU를 거대한 화물선으로, CPU를 점보 제트기로 생각하는 것입니다.

화물 수송 능력은 처리할 수 있는 계산과 데이터의 양이고, 선박이나 비행기의 속도는 해당 계산과 데이터가 얼마나 빠르게 처리되는지를 나타냅니다.

본질적으로 이는 더 느린 속도로 실행되는 엄청난 양의 계산과 훨씬 더 빠른 속도로 수행할 수 있는 적은 수의 계산 사이의 균형입니다.

또 다른 중요한 차이점은 비행기는 승객, 소포 또는 컨테이너를 운송할 수 있고 수만 개의 공항에서 이착륙할 수 있기 때문에 훨씬 더 유연하다는 것입니다.

마찬가지로 CPU는 다양한 프로그램과 명령을 실행할 수 있다는 점에서 유연합니다. 하지만 거대한 화물선은 내부에 대량의 내용물이 담긴 컨테이너만 운반하며 항구 간 이동이 제한됩니다.

마찬가지로 GPU는 CPU보다 유연성이 훨씬 떨어지며 기본적인 산술 연산과 같은 간단한 명령만 실행할 수 있습니다. 또한 GPU는 운영 체제를 실행하거나 입력 장치 또는 네트워크와 연결할 수 없습니다.

이 비유가 완벽하지는 않지만 “CPU와 GPU 중 어느 것이 더 빠른가?”라는 질문에 답하는 데 도움이 됩니다. 기본적으로 엄청난 양의 데이터에 걸쳐 일련의 계산을 수행하려면 GPU가 작업을 더 빠르게 완료할 수 있습니다.

하지만 빠르게 평가해야 할 데이터가 훨씬 적다면 CPU가 더 빠를 것입니다.

또한 운영 체제를 실행하거나 네트워크 연결과 광범위한 다양한 응용 프로그램 및 하드웨어를 지원해야 하는 경우 CPU가 필요합니다.

CPU 아키텍처에 대한 별도의 비디오를 계획하고 있으니 놓치지 않도록 구독하십시오. 이제 이 그래픽 카드를 살펴보고 작동 방식을 살펴보겠습니다. 이 그래픽 카드의 중앙에는 인쇄 회로 기판 또는 PCB가 있으며, 모든 다양한 구성 요소가 장착되어 있습니다. 먼저 그래픽 처리 장치 또는 GPU인 두뇌를 살펴보겠습니다.

열어보면 283억 개의 트랜지스터로 만들어진 GA102라는 대형 칩 또는 다이가 있습니다. 칩 면적의 대부분은 계층적 구조를 가진 처리 코어가 차지합니다.

특히 칩은 7개의 GPC(Graphics Processing Cluster)로 나뉘고, 각 처리 클러스터 내에는 12개의 SM(Streaming Multiprocessor)이 있습니다.

다음으로, 이러한 스트리밍 멀티프로세서 내부에는 4개의 워프와 1개의 레이 트레이싱 코어가 있고, 각 워프 내부에는 32개의 CUDA 또는 셰이딩 코어와 1개의 텐서 코어가 있습니다.

전체 GPU에는 10,752개의 CUDA 코어, 336개의 텐서 코어, 84개의 레이 트레이싱 코어가 있습니다.

이 세 가지 유형의 코어는 GPU의 모든 계산을 실행하며, 각각 다른 기능을 수행합니다.

CUDA 코어는 덧셈 버튼, 곱셈 버튼 및 몇 가지 다른 버튼이 있는 간단한 이진 계산기로 생각할 수 있으며, 비디오 게임을 실행할 때 가장 많이 사용됩니다.

텐서 코어는 행렬 곱셈 및 덧셈 계산기이며, 기하학적 변환 및 신경망과 AI 작업에 사용됩니다. 그리고 레이 트레이싱 코어는 가장 크지만 가장 적으며 레이 트레이싱 알고리즘을 실행하는 데 사용됩니다.

이제 이 칩 내부의 계산 리소스를 이해했으므로, 한 가지 흥미로운 사실은 3080, 3090, 3080 Ti 및 3090 Ti 그래픽 카드가 모두 GPU에 동일한 GA102 칩 설계를 사용한다는 것입니다.

이것은 직관적이지 않을 수 있습니다. 왜냐하면 가격이 다르고 다른 해에 출시되었기 때문입니다. 하지만 사실입니다. 그렇다면 왜 그럴까요? 제조 과정에서 때때로 패턴 오류, 먼지 입자 또는 기타 제조 문제로 인해 손상이 발생하고 회로에 결함이 있는 영역이 생성됩니다.

엔지니어는 작은 결함 때문에 전체 칩을 버리는 대신 결함이 있는 영역을 찾아 주변 회로를 영구적으로 격리하고 비활성화합니다.

GPU가 반복적인 설계를 갖도록 함으로써 하나의 코어에 있는 작은 결함은 특정 스트리밍 멀티프로세서 회로만 손상시키고 칩의 다른 영역에는 영향을 미치지 않습니다.

결과적으로 이러한 칩은 결함 수에 따라 테스트 및 분류되거나 비닝됩니다.

3090 Ti 그래픽 카드는 10,752개의 CUDA 코어가 모두 제대로 작동하는 완벽한 GA102 칩을 가지고 있습니다.

3090은 10,496개의 코어가 작동하고, 3080 Ti는 10,240개, 3080은 8,704개의 CUDA 코어가 작동하는데, 이는 16개의 손상되고 비활성화된 스트리밍 멀티프로세서를 갖는 것과 같습니다.

또한 그래픽 카드는 최대 클럭 속도와 GPU를 지원하는 그래픽 메모리의 양과 세대에 따라 다른데, 이 부분은 잠시 후에 자세히 살펴보겠습니다.

지금까지 GA102 GPU 칩의 물리적 아키텍처에 초점을 맞춰왔으므로, 이러한 CUDA 코어 중 하나를 확대하여 어떻게 생겼는지 살펴보겠습니다.

이 간단한 계산기 내부에는 약 41만 개의 트랜지스터 레이아웃이 있습니다. 5만 개의 트랜지스터로 구성된 이 섹션은 A 곱하기 B 더하기 C 연산을 수행하는데, 이를 융합 곱셈-덧셈(FMA)이라고 하며 그래픽 카드에서 가장 흔하게 수행되는 연산입니다.

CUDA 코어의 절반은 기본적으로 과학적 표기법인 32비트 부동 소수점 숫자를 사용하여 FMA를 실행하고, 나머지 절반의 코어는 32비트 정수 또는 32비트 부동 소수점 숫자를 사용합니다.

이 코어의 다른 섹션에서는 음수를 처리하고 비트 시프트 및 비트 마스크와 같은 다른 간단한 기능을 수행할 뿐만 아니라 들어오는 명령어와 피연산자를 수집 및 대기열에 넣은 다음 결과를 누적 및 출력합니다.

결과적으로 이 단일 코어는 제한된 수의 기능을 가진 단순한 계산기일 뿐입니다. 이 계산기는 클럭 주기마다 하나의 곱셈과 하나의 덧셈 연산을 완료하므로, 이 3090 그래픽 카드와 10,496개의 코어 및 1.7GHz 클럭을 통해 초당 35조 6천억 번의 계산을 수행할 수 있습니다.

그러나 GPU가 나눗셈, 제곱근, 삼각 함수와 같은 더 복잡한 연산을 어떻게 처리하는지 궁금하다면, 이러한 계산기 연산은 특수 함수 장치에 의해 수행되며, 각 스트리밍 멀티프로세서에서 4개만 찾을 수 있을 정도로 훨씬 적습니다.

이제 단일 코어 내부가 어떻게 구성되어 있는지 이해했으므로, 확대하여 GA102 칩의 다른 섹션을 살펴보겠습니다.

가장자리에는 12개의 그래픽 메모리 컨트롤러, NVLink 컨트롤러 및 PCIe 인터페이스가 있습니다. 하단에는 6MB 레벨 2 SRAM 메모리 캐시가 있고, 여기에는 내부의 모든 그래픽 처리 클러스터와 스트리밍 멀티프로세서를 관리하는 기가스레드 엔진이 있습니다.

이제 이 GA102 GPU의 물리적 아키텍처를 살펴보았으므로, 확대하여 그래픽 카드 내부의 다른 부분을 살펴보겠습니다.

이쪽에는 디스플레이를 연결하는 다양한 포트가 있고, 다른 쪽에는 12볼트 전원 커넥터가 있으며, 여기에는 마더보드에 연결되는 PCIe 핀이 있습니다.

PCB에서 더 작은 부품의 대부분은 전압 조정기 모듈을 구성하며, 들어오는 12볼트를 받아 1.1볼트로 변환하여 GPU에 수백 와트의 전력을 공급합니다.

이 모든 전력이 GPU를 가열하기 때문에 그래픽 카드의 무게 대부분은 GPU와 메모리 칩에서 라디에이터 핀으로 열을 전달하는 4개의 히트 파이프가 있는 방열판 형태이며, 팬이 열을 제거하는 데 도움을 줍니다.

아마도 GPU 외에 가장 중요한 구성 요소 중 일부는 24GB의 그래픽 메모리 칩일 것입니다. 이는 기술적으로 GDDR6X SDRAM이라고 하며 이 비디오의 스폰서인 Micron에서 제조했습니다.

비디오 게임을 시작하거나 로딩 화면을 기다릴 때 로딩하는 데 걸리는 시간은 대부분 특정 장면 또는 환경의 모든 3D 모델을 솔리드 스테이트 드라이브에서 이러한 그래픽 메모리 칩으로 이동하는 데 소요됩니다.

앞서 언급했듯이 GPU에는 6MB 공유 레벨 2 캐시에 소량의 데이터 스토리지가 있으며, 이는 비디오 게임 환경의 이 정도 용량에 해당합니다.

따라서 비디오 게임을 렌더링하기 위해 장면의 다른 청크가 그래픽 메모리와 GPU 사이에서 지속적으로 전송됩니다.

코어가 초당 수십조 번의 계산을 지속적으로 수행하기 때문에 GPU는 데이터에 굶주린 장치이며 테라바이트에 달하는 데이터를 지속적으로 공급해야 합니다.

따라서 이러한 그래픽 메모리 칩은 여러 대의 크레인이 동시에 화물선을 싣는 것과 같이 설계되었습니다. 특히 이러한 24개의 칩은 결합된 384비트를 한 번에 전송하며, 이를 버스 폭이라고 하고, 전송할 수 있는 총 데이터 또는 대역폭은 초당 약 1.15테라바이트입니다.

대조적으로 CPU를 지원하는 DRAM 스틱은 64비트 버스 폭과 초당 최대 64기가바이트에 가까운 대역폭을 가집니다.

한 가지 흥미로운 점은 컴퓨터가 2진수, 1과 0만 사용하여 작동한다고 생각할 수 있다는 것입니다.

하지만 데이터 전송 속도를 높이기 위해 GDDR6X와 최신 그래픽 메모리인 GDDR7은 0과 1 외에 여러 전압 레벨을 사용하여 버스 와이어를 통해 데이터를 송수신합니다.

예를 들어 GDDR7은 세 가지 인코딩 방식을 사용하여 이진 비트를 0, 1, -1의 전압을 갖는 삼항 숫자 또는 PAM-3 기호로 결합합니다.

세 개의 이진 비트가 두 개의 삼항 숫자로 인코딩되는 방식에 대한 인코딩 방식이 있으며, 이 방식은 11비트에서 7개의 삼항 숫자 인코딩 방식과 결합되어 176개의 삼항 숫자만 사용하여 276개의 이진 비트를 전송합니다.

이전 세대인 GDDR6X는 이 3090 그래픽 카드에 있는 메모리로 PAM-4라는 다른 인코딩 방식을 사용하여 4개의 다른 전압 레벨을 사용하여 2비트의 데이터를 전송했습니다.

그러나 엔지니어와 그래픽 메모리 산업은 인코더 복잡성을 줄이고 신호 대 잡음비를 개선하며 전력 효율성을 향상시키기 위해 차세대 그래픽 칩에 대해 PAM-3으로 전환하기로 합의했습니다.

Micron은 매초 전송할 수 있는 데이터 양의 경계를 넓히고 최첨단 메모리 칩을 설계하기 위해 지속적인 혁신을 제공합니다.

Micron의 또 다른 발전은 AI 칩을 둘러싸는 HBM(고대역폭 메모리)의 개발입니다. HBM은 DRAM 메모리 칩 스택으로 구축되고 TSV 또는 실리콘 관통 비아를 사용하여 이 스택을 단일 칩으로 연결하여 기본적으로 AI 메모리 큐브를 형성합니다.

최신 세대의 고대역폭 메모리인 HBM3E의 경우 단일 큐브는 최대 24~36GB의 메모리를 가질 수 있으므로 AI 칩 주변에 192GB의 고속 메모리를 제공합니다.

다음에 AI 가속기 시스템을 구매할 때는 경쟁 제품보다 30% 적은 전력을 사용하는 Micron의 HBM3E를 사용하는지 확인하십시오.

그러나 AI 데이터 센터를 구축하지 않는 한 25,000~40,000달러의 비용이 들고 몇 년 동안 주문이 밀려 있는 이러한 시스템을 구매할 가능성은 거의 없습니다.

고대역폭 메모리 또는 Micron의 차세대 그래픽 메모리에 대해 궁금한 점이 있으면 설명에 있는 링크 중 하나를 참조하십시오.

또는 차세대 메모리 칩 설계에 관심이 있다면, Micron에서는 최첨단 칩 혁신을 도울 재능 있는 과학자와 엔지니어를 항상 찾고 있으며, 이 링크를 통해 Micron 채용에 대한 자세한 내용을 확인할 수 있습니다.

이제 이 그래픽 카드와 GPU 내부의 많은 물리적 구성 요소를 살펴보았으니, 다음으로 계산 아키텍처를 살펴보고 비디오 게임 그래픽 및 비트코인 ​​채굴과 같은 애플리케이션이 소위 '당황스러울 정도로' 병렬 작업을 실행하는 방법을 살펴보겠습니다.

어리석은 이름처럼 들릴 수도 있지만, 당황스러울 정도로 병렬적이라는 것은 실제로 문제를 병렬 작업으로 나누는 데 거의 또는 전혀 노력이 필요하지 않은 컴퓨터 문제의 기술적 분류이며, 비디오 게임 렌더링 및 비트코인 ​​채굴은 쉽게 이 범주에 속합니다.

본질적으로 GPU는 SIMD라는 원리를 사용하여 당황스러울 정도로 병렬적인 문제를 해결합니다. SIMD는 단일 명령, 다중 데이터를 의미하며, 동일한 명령 또는 단계가 수천에서 수백만 개의 서로 다른 숫자에 걸쳐 반복됩니다.

SIMD 또는 단일 명령, 다중 데이터가 이 3D 비디오 게임 환경을 만드는 데 어떻게 사용되는지 예를 들어 보겠습니다. 이미 아시다시피 테이블 위의 이 카우보이 모자는 약 28,000개의 삼각형으로 구성되어 있으며 약 14,000개의 정점을 연결하여 만들어졌으며 각 정점에는 X, Y 및 Z 좌표가 있습니다.

이러한 정점 좌표는 모자 중앙에 0, 0, 0 원점이 있는 모델 공간이라는 좌표계를 사용하여 구축됩니다. 3D 세계를 구축하기 위해 수백 개의 객체를 배치하고 각 객체의 모델 공간을 세계 환경에 배치합니다. 카메라가 각 객체가 다른 객체와 상대적으로 어디에 있는지 알 수 있도록 각 개별 모델 공간의 모든 정점을 공유 세계 좌표계 또는 세계 공간으로 변환해야 합니다.

예를 들어 카우보이 모자의 14,000개 정점을 모델 공간에서 세계 공간으로 어떻게 변환합니까?

글쎄요, 우리는 세계 공간에서 모자의 원점 위치를 모델 공간에 있는 단일 정점의 해당 X, Y 및 Z 좌표에 더하는 단일 명령을 사용합니다.

다음으로, 이 명령어를 여러 데이터에 복사하는데, 이는 모자 제작에 사용되는 다른 수천 개의 정점의 나머지 X, Y, Z 좌표 전체입니다. 다음으로, 테이블과 장면 속 다른 수백 개의 객체에도 동일한 작업을 수행합니다. 매번 동일한 명령어를 사용하지만 객체의 월드 좌표와 각 객체의 모델 좌표에 있는 수천 개의 정점을 사용합니다.

결과적으로 모든 객체의 모든 정점과 삼각형이 공통 월드 좌표계로 변환되고, 카메라는 이제 어떤 객체가 앞에 있고 어떤 객체가 뒤에 있는지 판단할 수 있습니다.

이 예제는 SIMD, 즉 단일 명령어 다중 데이터의 강력함을 보여줍니다. 단일 명령어가 장면 내 총 830만 개의 정점을 가진 5,629개의 서로 다른 객체에 적용되어 2,500만 번의 덧셈 계산을 수행합니다.

SIMD와 병렬 프로그램의 핵심은 이러한 수백만 번의 계산 각각이 다른 계산에 의존하지 않으므로 이러한 모든 계산을 GPU의 수천 개의 코어에 분산하여 서로 병렬로 완료할 수 있다는 것입니다.