A matrix transpose is just swapping rows and columns, right? You take a matrix A, turn its columns into rows, then the new matrix is called A transpose. But there is way more to it than just moving things around.

In fact, we can define the transpose of a linear map without ever referring to the matrix at all. A deeper understanding of how transpose came about will help us visualize it, and along the way, we will come across deeper topics like covectors, duality, and so on.

We will first go through a very general big picture of what transpose really is, then try to visualize something called covectors, then transpose, giving some examples; and finally, a very subtle but also important point that links to special relativity.

The starting point is the concept of a covector, or dual, or 1-form, because in different contexts, different names are used, but I’m going with “covectors” here.

Covectors are basically machines that will eat a vector and output a number. I like to call this machine a measuring device – it “measures the vector.” These are special devices in that they are “linear.

” That means if you have two vectors v_1 and v_2, and they are measured by this machine to be a_1 and a_2 respectively, then this machine will measure v_1 + v_2 to be a_1 + a_2; and if you instead scale the vector v_1 by a number lambda, then it will be measured to be lambda a_1.

Now let’s say we have a linear transformation, alpha, transforming a vector v to another vector w. To emphasize that v and w can be very different, let’s say v is a 2-dimensional vector, and w could be a 3-dimensional one.

And for some reason, you want to measure w. A bit of a silly analogy would be: you want to measure your own weight, and the vector is you here.

But you don’t have a bathroom scale and you have to use your neighbor's. So one way to do it would be to go to your neighbor’s house, then take the measurement there directly.

But you could also just call the neighbor to lend you the scale, so that you can take the measurements at home, and get the same answer. The scale being moved from the neighbor’s house to yours is the transpose of alpha.

So alpha is you going to the neighbor’s house, and alpha transpose is moving the measuring device from the neighbor’s to yours.

But how is this related to the matrix transpose that you know? A matrix is, at its core, only a summary of a linear map. For a 2-dimensional linear map for instance, the first column tells you where the vector (1,0) goes; and the second column tells you where the vector (0,1) goes.

If we then want to know where an arbitrary vector (x,y) goes, just multiply the first column by x, and add to y times the second column!

Just knowing these four numbers is enough to determine the entire linear map, so the matrix is essentially the summary of the linear map.

So you have the linear transformations alpha and its transpose, and also the two matrices that are summaries of the transformations. Because the matrix on the right summarizes the transpose of alpha, it makes sense to call it Aᵀ.

It just turns out that the summary matrices of alpha and alpha transpose can be obtained by swapping rows and columns of each other.

The most important point here, though, is the big picture: a transpose is just transforming some measurement device in other spaces back to that in the original.

In what remains, we will, first of all, try to visualize those covectors, and then the transpose.

[CHAPTER 2: VISUALIZING COVECTORS] Covectors are linear, so just like our linear transformations, in the 2-dimensional case, it suffices to know what (1,0) and (0,1) are measured.

If the measurements are a and b respectively, for our purpose, let’s say this is an (a,b) covector.

Now if you take any vector (x,y), which is just x times (1,0) plus y times (0,1), just by linearity, it will be measured as x * a + y * b.

So in the 2-dimensional case, an (a,b) covector measures the vector (x,y) to be xa + yb.

This is just a function of two variables.

A natural way to visualize this would be to plot a 3-dimensional graph, with the z-coordinate being the function value at (x,y). In this case, it is just a giant plane passing through the origin.

However, because we might want to consider a 3-dimensional covector later on, we use another slightly roundabout way of visualizing such a function.

Instead, we consider its level sets. That means you plot all the points (x,y), such that it gets measured as a number c. In this specific case, we plot the line graph ax + by = c, where a is 2, and b is 3, so this represents a (2,3)-covector.

By varying c, we get a glimpse of how this function behaves.

In this case, it just moves up and down. We label this line to be 1, because that’s all the points that will be measured to be 1. And we only draw a line graph for, say, integer values of c, so we have parallel lines at regular intervals.

Of course, this is just one covector. Different covectors will have different sets of parallel lines with different directions and densities.

But now the question is, given a particular set of parallel lines, can we quickly spot which covector this is? In this case, it is the (-1, -0.5)-covector, so let’s compare with the (-1, -0.5) vector and see what happens.

The corresponding vector is perpendicular to all the lines. So, okay, given these parallel lines, all we know is that the corresponding vector lies on this perpendicular line, but why is this exact vector, then?

If we scale this vector, we notice that the longer the vector, the denser the parallel lines are.

So we expect the length to be proportional to the density of the parallel lines. More quantitatively, if we have the gap size between the lines, then the density of the lines should be 1/gap size - how many gaps could you fit in 1 unit?

And indeed, the length of the vector is exactly 1/gap size.

Okay, so you know the length, but these two vectors have the same length. How do you determine which one?

It’s actually impossible to tell unless you label back those lines. This line, for example, was labeled 2, because they are all the points where the covector would measure them to be 2.

With these labels, we can tell these two vectors apart. The corresponding vector points towards positive labels. So here is a summary of how you know which covector you have just by looking at these lines.

First off, you know the corresponding vector is perpendicular to the lines, so the vector must be on this white line. You take a look at the gap size between the lines, then you know it’s one of these two vectors whose length is 1/gap size.

Then you take a look at the hidden labels of the lines, and you choose the one pointing towards the positive labels. Finally, you read off the coordinates of the corresponding vector.

So we have visualized 2-dimensional covectors using parallel lines. 3-dimensional covectors are similar, except we have parallel planes instead. The corresponding vector would still be perpendicular to the planes, the length
of the vector would still be the density, 
or 1/gap size of those parallel planes, and the
vector still points towards the positive labels.

Now that we have visualized covectors,
we are ready for the transpose.

As we have seen in the big picture of transpose,
alpha transpose transforms a measuring device, 
a covector, in the other space back to the
original space. So we transform a covector, to another covector with the transpose.

The trouble is that one covector already 
occupies quite a lot of space. Two covectors
appearing together is already the maximum.

So we can only visualize the transformation of two
covectors at once. Which two covectors should we 
choose? Just like normal linear transformations,
the two representatives are the (1,0)-covector, as well as the (0,1)-covector.

Like a normal vector transformation, 
we observe where the (1,0)-covector goes.
Whichever covector it becomes would be our first column of the transpose matrix.

Similarly, we
observe the transformation of the (0,1)-covector. 
So for a covector transformation, we can similarly
write down a matrix representation. The first column tells you where the (1,0)-covector
goes, and the second column tells you where 
the (0,1)-covector goes.

In what follows, we
will use the right shear as an example. What should the transpose of a right shear look like?

We will need to go back to this big picture. In this specific case, alpha is a right shear,
and we now just have a 2D to 2D transformation.

Now, this (1,0)-covector measures the sheared
vector. And the job of the transpose is to find out which covector could we use to directly
measure the original vector, such that we get 
the same measurement at the end.

Now go back
to the visuals: a right shear would transform the basis vectors as such.

Next, we see how the
(1,0)-covector measures our sheared vectors. In this case, the measurements are both 1.

But rather than thinking about their exact measurements, just notice the tips all lie on this line. Remember that each line represents the tips of those vectors whose measurements are the same fixed constant c.

So in this visualization, which line the tip of the vectors are on tells you the measurement of the vectors.

This is why the transpose does this: first off, the basis vectors have gone back to their original place. And the tips of both vectors still lie on the bold line, which means that you get the same measurements as before.

This is exactly what a transpose should do! Anyway, let’s see what the transpose does to the (0,1)-covector instead. Again, we do the right shear to the basis vectors, then use the (0,1)-covector to measure them.

This time, their measurements are different. I use the bold pink line to indicate the measurement of the pink vector, and the bold green line to indicate the measurement of the green vector.

For the transpose, we want to bring back the basis vectors and retain the measurements. This time, we don’t need to do anything to the covector, because the tip of the pink vector still lies on the pink line, and the tip of the green vector still lies on the green line.

Their measurements are not changed when the vectors go back to their original place.

So altogether, this is the situation after you have done the right shear to your basis vectors.

The transpose wants the basis vectors to go back to the original place while retaining the measurements, and so it essentially does a left shear to the whole picture. Wait… originally, we have a right shear, and somehow the transpose is a left shear?

While it *looks* like a left shear, the gridlines are actually made up of two separate, different covectors.

The original right shear has the matrix (1,1; 0,1), because the (1,0) vector stays put, and it is still (1,0) after the shear, but the (0,1) vector has sheared to the (1,1) vector.

Compare this with the transpose. This is the
(1,0)-covector. The so-called “left shear” transforms such a covector to this one.

Which
covector is this? We know the corresponding
vector lies on this perpendicular line, then
we need to figure out the gap size. With the help of this vector telling us how long 1 unit is,
the gap size can be calculated to be 1/√2.

So because the length of the corresponding
vector is 1/gap size, the length is now √2.

This leaves us with two choices: either a (1,1)
or a (-1,-1) covector. Because originally, this bold line is measured positively by this
(1,0)-covector, after the transformation,
this bold line indicates the positive
direction, and so it must be the (1,1)-covector.

On the other hand, the (0,1)-covector
is unaffected by the left shear,
so it stays a (0,1)-covector. So this so-called
“left shear” should be represented by this matrix, because the first column tells us that
the (1,0)-covector has transformed to
this (1,1)-covector, and the (0,1)-covector has
just stayed put, still being the (0,1)-covector.

Now compare this matrix of this so-called
“left shear” with the original right shear.
You can see that the matrices are indeed
just swapping rows and columns of each other!

We will have more examples later
on, but this hopefully convinces you that
transpose *looks like* inverse, but you have
to treat those gridlines as covectors instead.

The first of the two other examples I would give
would be a diagonal matrix, such as the one with
entries 3, 2 on the diagonal. The first column
just tells us to enlarge the pink vector by a factor of 3, and the second column tells us to
enlarge the green vector by a factor of 2.

As before, we bring on the covectors and do the inverse transformation to get the basis vectors to where it started.

But when viewed as covectors, this is actually a (3,0)-covector, because the gap size has now reduced to 1/3 the original size.

The length of the corresponding vector is actually 3.

Exactly the same story for the other covector, except the gap size is just halved, so the length of the corresponding vector is 2. So we end up with a (0,2)-covector. This is why this transformation is still represented by the same matrix, because we view those gridlines as covectors.

And indeed, if you do the swapping rows and columns thing, you still get the same matrix!

Another example would be a rotation. Again, we start off with these basis vectors, and let’s say we rotate anticlockwise by 60 degrees. This is our linear transformation. As usual, we bring on the covector grid and do the inverse transformation to get the basis vectors to where it started.

This time, we rotate clockwise by 60 degrees. What is this covector then? Well, it is from rotating this original covector clockwise by 60 degrees, and this is the original corresponding vector.

During the rotation, the corresponding vector rotates the same way, clockwise 60 degrees.

This is because the gap size hasn’t changed just by rotation, so we don’t need to change the length of the corresponding vector. The same story for the other covector. So in this case, the transpose doesn’t just “look like” inverse, it *is* the inverse when acting on the corresponding vector.

That means, if I write down the matrix corresponding to anticlockwise 60 degree rotation, and the corresponding transpose, in this case, are inverses of each other.

In other words, for rotation, A^T = A^(-1). In general, matrices satisfying this are called orthogonal, so rotation matrices are orthogonal.

By now, you might be thinking, this visualization depends on having an inverse. And yes, indeed, there is a bit of limitation when it comes to singular matrices, and in general, in technical terms, the rank is smaller than the dimension of your original space, but those are all the cases where this visualization fails.

And even in those cases, you can still sort of displace your linear maps a tiny little bit to do the visualization, so this really is a powerful visualization for transposes.

[CHAPTER 4: SUBTLETIES] I want to emphasize a very subtle and technical but important point. The orthogonality condition Aᵀ = A⁻¹ should not have made any sense to you.

On the left hand side, the transpose is supposed to transform covectors to covectors, but on the right, A⁻¹ transforms vectors to vectors.

They aren't even the same type of object, how can they be equal?

Well, the trick is to pair up vectors and covectors, treating them sort of the same, which is what we have done in this video.

For this (a,b)-covector, where we measure (1,0) as a, (0,1) as b, we have associated with it the vector (a,b), or in the visualization of covectors as a bunch of parallel lines, we have associated it with the vector perpendicular to the lines, and length being the density of the lines.

Of course, we can do the other way around as well - given the vector, we can draw those parallel lines, and given the vector (a,b), we can also easily construct that covector.

That's how we have achieved the one-to-one correspondence between vectors and covectors.

A technical remark is that this has to be a linear correspondence, which our pairing is, but we don't have to go into the details of what linear means in this context.

Let's list a bunch of vectors and covectors that we have. If a transformation transforms a covector epsilon, to another covector eta; and epsilon is paired up with the vector v, eta with the vector w, then it looks *as if* v is being transformed to w.

This covector-to-covector transformation does not even know the existence of v, but because of this pairing, we can treat this as a vector-to-vector transformation.

In a similar way, if a vector-to-vector transformation transforms v to w, we can think of it as transforming from epsilon to eta.

It is in this sense that we say something like A^T = A^(-1).

There are two reasons why I want to emphasize the process of pairing up. First, while this way of identifying a vector with a covector is very standard and very natural, this is not the only way of doing it.

You could have also paired up with the vector (-a, b) instead, or (a, -b). These will still yield a 1-1 correspondence. There are many other options, but I’m choosing these two simply because either of these two will give you the mathematics of special relativity in 1+1 dimensions, and any matrix that fulfills this orthogonality condition, under this pairing, are the Lorentz transformations.

Don’t worry if any of these doesn’t make sense - I’ll probably make videos on special and general relativity later on.

If you know something about relativity and are wondering why this has anything to do with it, note that the act of going from vectors to covectors is the job of the metric tensor, or metric for short; and going from covectors to vectors is the job of the inverse metric.

Anyway, the point is, it is very important to specify which 1-1 correspondence, or the metric you are using, because different metrics yield different mathematics.

The deeper meaning of matrix transpose

Hi, I am Trevor. This channel discusses maths (or physics) concepts that I am passionate about, and tackles them in a novel perspective. For example, most people introduced Green's functions with lots of DE concepts, but my video on the topic did so from electrostatics, providing a vivid image of point charges. The new perspectives are not meant to be "easier" to understand, and I have never intended the videos to be pedagogical; the videos are just some interesting concepts and arguments you have not heard before on YouTube (maybe anywhere). 

For those who are wondering, I don't use coding to produce my videos, and while stylistically similar to 3Blue1Brown, I don't use Manim (Grant's mathematical animation Python library) to produce my videos. I actually use PowerPoint, GeoGebra and (sometimes) Mathematica to produce my videos.


Mathemaniac

행렬 전치는 단순히 행과 열을 바꾸는 것 아닌가요? 행렬 A가 있을 때, 열을 행으로 바꾸면 새로운 행렬을 A 전치라고 부르죠. 하지만 단순히 위치를 바꾸는 것 이상의 의미가 있습니다.

사실, 행렬을 전혀 언급하지 않고도 선형 사상의 전치를 정의할 수 있습니다. 전치가 어떻게 생겨났는지 더 깊이 이해하면 전치를 시각화하는 데 도움이 될 것이고, 그 과정에서 공벡터, 쌍대성과 같은 더 심오한 주제를 접하게 될 것입니다.

먼저 전치가 실제로 무엇인지에 대한 매우 일반적인 큰 그림을 살펴보고, 공벡터라는 것을 시각화한 다음, 전치를 설명하고 몇 가지 예를 들어보겠습니다. 마지막으로, 특수 상대성 이론과 관련된 매우 미묘하지만 중요한 점을 다룰 것입니다.

시작점은 공벡터, 쌍대, 또는 1-형식의 개념입니다. 맥락에 따라 다른 이름이 사용되지만, 여기서는 '공벡터'를 사용하겠습니다.

공벡터는 기본적으로 벡터를 먹고 숫자를 출력하는 기계입니다. 저는 이 기계를 측정 장치라고 부르고 싶습니다. 벡터를 '측정'하는 것이죠. 이것들은 '선형적'이라는 점에서 특별한 장치입니다.

즉, 두 개의 벡터 v_1과 v_2가 있고, 이 기계로 측정했을 때 각각 a_1과 a_2가 된다면, 이 기계는 v_1 + v_2를 측정하여 a_1 + a_2가 됩니다. 그리고 벡터 v_1을 숫자 람다로 스케일하면 람다 a_1으로 측정됩니다.

이제 벡터 v를 다른 벡터 w로 변환하는 선형 변환 알파가 있다고 가정해 보겠습니다. v와 w가 매우 다를 수 있다는 점을 강조하기 위해 v는 2차원 벡터이고 w는 3차원 벡터라고 가정해 보겠습니다.

그리고 어떤 이유로 w를 측정하고 싶다고 가정합니다. 약간 어리석은 비유가 될 수 있지만, 자신의 체중을 측정하고 싶고, 여기서 벡터는 당신 자신이라고 가정해 봅시다.

하지만 체중계가 없고 이웃의 체중계를 사용해야 합니다. 한 가지 방법은 이웃집에 가서 직접 측정하는 것입니다.

하지만 이웃에게 체중계를 빌려달라고 해서 집에서 측정하고 동일한 결과를 얻을 수도 있습니다. 이웃집에서 당신의 집으로 체중계를 옮기는 것이 알파의 전치입니다.

그러니까 알파는 여러분이 이웃집에 가서 측정하는 것이고, 알파 트랜스포즈는 측정 장치를 이웃집에서 여러분의 집으로 옮기는 것입니다.

그런데 이것이 여러분이 알고 있는 행렬 전치와는 어떻게 관련될까요? 행렬은 핵심적으로 선형 맵의 요약일 뿐입니다. 예를 들어 2차원 선형 맵의 경우, 첫 번째 열은 벡터 (1,0)이 어디로 가는지 알려주고, 두 번째 열은 벡터 (0,1)이 어디로 가는지 알려줍니다.

그렇다면 임의의 벡터 (x,y)가 어디로 가는지 알고 싶다면, 첫 번째 열에 x를 곱하고 두 번째 열에 y를 곱하여 더하면 됩니다!

이 네 개의 숫자만 알면 전체 선형 맵을 결정하기에 충분하므로, 행렬은 본질적으로 선형 맵의 요약입니다.

따라서 선형 변환 알파와 그 전치, 그리고 변환의 요약인 두 개의 행렬이 있습니다. 오른쪽의 행렬은 알파의 전치를 요약한 것이므로, Aᵀ라고 부르는 것이 합리적입니다.

알파와 알파 전치의 요약 행렬은 서로 행과 열을 바꾸어 얻을 수 있습니다.

하지만 여기서 가장 중요한 점은 큰 그림입니다. 전치는 단순히 일부 측정 장치를 다른 공간에서 원래 공간으로 다시 변환하는 것입니다.

남은 부분에서는 먼저 공벡터를 시각화하고, 그 다음으로 전치를 시각화할 것입니다.

[챕터 2: 공벡터 시각화] 공벡터는 선형적이므로, 선형 변환과 마찬가지로 2차원에서는 (1,0)과 (0,1)이 측정되는 값을 아는 것으로 충분합니다.

측정값이 각각 a와 b라면, 우리의 목적을 위해 이것을 (a,b) 공벡터라고 합시다.

이제 임의의 벡터 (x,y)를 취하면, 이것은 x 곱하기 (1,0) 더하기 y 곱하기 (0,1)이므로, 선형성에 의해 x * a + y * b로 측정됩니다.

따라서 2차원에서 (a,b) 공벡터는 벡터 (x,y)를 xa + yb로 측정합니다.

이것은 단지 두 변수의 함수입니다.

이것을 시각화하는 자연스러운 방법은 z 좌표가 (x,y)에서의 함수 값인 3차원 그래프를 그리는 것입니다. 이 경우, 원점을 통과하는 거대한 평면일 뿐입니다.

하지만 나중에 3차원 코벡터를 고려해야 할 수도 있으므로, 이러한 함수를 시각화하는 또 다른 약간 우회적인 방법을 사용합니다.

대신, 레벨 집합을 고려합니다. 즉, 숫자 c로 측정되는 모든 점 (x,y)를 표시합니다. 이 특정 경우, 선 그래프 ax + by = c를 표시합니다. 여기서 a는 2이고 b는 3이므로, 이는 (2,3) 코벡터를 나타냅니다.

c를 변경하면 이 함수의 작동 방식을 엿볼 수 있습니다.

이 경우, 위아래로 움직입니다. 이 선을 1로 표시합니다. 왜냐하면 그게 1로 측정될 모든 점이기 때문입니다. 그리고 c의 정수 값에 대해서만 선 그래프를 그립니다. 따라서 일정한 간격으로 평행선이 있습니다.

물론, 이것은 단 하나의 코벡터일 뿐입니다. 서로 다른 코벡터는 방향과 밀도가 다른 평행선 집합을 가집니다.

하지만 이제 질문은, 특정 평행선 집합이 주어졌을 때, 이것이 어떤 코벡터인지 빠르게 알아낼 수 있을까요? 이 경우, (-1, -0.5) 코벡터이므로, (-1, -0.5) 벡터와 비교하여 어떤 일이 일어나는지 봅시다.

해당 벡터는 모든 선에 수직입니다. 좋아요, 이러한 평행선이 주어졌을 때, 우리가 아는 것은 해당 벡터가 이 수직선에 있다는 것뿐입니다. 하지만 왜 정확히 이 벡터일까요?

이 벡터를 스케일링하면 벡터가 길수록 평행선이 더 빽빽해지는 것을 알 수 있습니다.

따라서 길이는 평행선의 밀도에 비례할 것으로 예상합니다. 더 정량적으로 말하면, 선 사이의 간격 크기가 있다면 선의 밀도는 1/간격 크기여야 합니다. 즉, 1단위에 얼마나 많은 간격을 맞출 수 있을까요?

실제로 벡터의 길이는 정확히 1/간격 크기입니다.

좋아요, 길이를 알았습니다. 하지만 이 두 벡터는 길이가 같습니다. 어떤 벡터인지 어떻게 결정할 수 있을까요?

선을 다시 표시하지 않으면 알 수 없습니다. 예를 들어, 이 선은 2로 표시되었습니다. 왜냐하면 코벡터가 2로 측정할 모든 점이기 때문입니다.

이러한 레이블을 통해 이 두 벡터를 구별할 수 있습니다. 해당 벡터는 양수 레이블을 가리킵니다. 다음은 이러한 선만 보고 어떤 코벡터를 가지고 있는지 알 수 있는 방법 요약입니다.

우선 해당 벡터는 선에 수직이므로 벡터는 이 흰색 선 위에 있어야 합니다. 선 사이의 간격 크기를 보면 길이가 간격 크기의 1/1인 이 두 벡터 중 하나라는 것을 알 수 있습니다.

그런 다음 선의 숨겨진 레이블을 보고 양수 레이블을 가리키는 레이블을 선택합니다. 마지막으로 해당 벡터의 좌표를 읽습니다.

지금까지 평행선을 사용하여 2차원 코벡터를 시각화했습니다. 3차원 코벡터도 비슷하지만 평행 평면이 대신 있습니다. 해당 벡터는 여전히 평면에 수직이고, 벡터의 길이는 여전히 밀도 또는 평행 평면의 1/간격 크기이고, 벡터는 여전히 양수 레이블을 가리킵니다.

이제 코벡터를 시각화했으므로 전치를 수행할 준비가 되었습니다.

전치의 큰 그림에서 보았듯이 알파 전치는 측정 장치, 즉 코벡터를 다른 공간에서 원래 공간으로 다시 변환합니다. 따라서 전치를 사용하여 코벡터를 다른 코벡터로 변환합니다.

문제는 하나의 코벡터가 이미 상당한 공간을 차지하고 있다는 것입니다. 두 개의 코벡터가 함께 나타나는 것이 이미 최대치입니다.

따라서 두 개의 코벡터의 변환만 한 번에 시각화할 수 있습니다. 어떤 두 코벡터를 선택해야 할까요? 일반적인 선형 변환과 마찬가지로 두 대표는 (1,0) 코벡터와 (0,1) 코벡터입니다.

일반적인 벡터 변환과 마찬가지로 (1,0) 코벡터가 어디로 가는지 관찰합니다. 그것이 되는 코벡터가 전치 행렬의 첫 번째 열이 됩니다.

마찬가지로 (0,1) 코벡터의 변환을 관찰합니다. 따라서 코벡터 변환의 경우 유사하게 행렬 표현식을 쓸 수 있습니다. 첫 번째 열은 (1,0) 코벡터가 어디로 가는지 알려주고, 두 번째 열은 (0,1) 코벡터가 어디로 가는지 알려줍니다.

다음에서는 오른쪽 밀림을 예로 들어 보겠습니다. 오른쪽 밀림의 전치는 어떻게 생겼을까요?

이제 큰 그림으로 돌아가 보겠습니다. 이 경우에 알파는 오른쪽으로 미는 변환이고, 우리는 이제 2D에서 2D로의 변환을 다루고 있습니다.

여기서 (1,0) 쌍대 벡터는 밀린 벡터를 측정합니다. 전치 행렬의 역할은 어떤 쌍대 벡터를 사용해야 원래 벡터를 직접 측정하여 최종적으로 동일한 측정값을 얻을 수 있는지 알아내는 것입니다.

이제 시각 자료로 돌아가서, 오른쪽으로 미는 변환은 기저 벡터를 다음과 같이 변환합니다.

다음으로, (1,0) 쌍대 벡터가 밀린 벡터를 어떻게 측정하는지 보겠습니다. 이 경우 측정값은 둘 다 1입니다.

정확한 측정값에 대해 생각하기보다는, 팁들이 모두 이 선 위에 있다는 것을 알아차리세요. 각 선은 측정값이 동일한 고정 상수 c인 벡터들의 팁을 나타냅니다.

따라서 이 시각화에서 벡터의 팁이 어느 선 위에 있는지에 따라 벡터의 측정값을 알 수 있습니다.

이것이 바로 전치 행렬이 하는 일입니다. 우선, 기저 벡터는 원래 위치로 돌아갔습니다. 그리고 두 벡터의 팁은 여전히 굵은 선 위에 있으므로 이전과 동일한 측정값을 얻을 수 있습니다.

이것이 바로 전치 행렬이 해야 할 일입니다! 어쨌든, 전치 행렬이 (0,1) 쌍대 벡터에 어떤 영향을 미치는지 살펴봅시다. 다시, 기저 벡터에 오른쪽으로 미는 변환을 적용한 다음, (0,1) 쌍대 벡터를 사용하여 측정합니다.

이번에는 측정값이 다릅니다. 굵은 분홍색 선은 분홍색 벡터의 측정값을 나타내고, 굵은 녹색 선은 녹색 벡터의 측정값을 나타냅니다.

전치 행렬의 경우 기저 벡터를 다시 가져오고 측정값을 유지하려고 합니다. 이번에는 쌍대 벡터에 아무것도 할 필요가 없습니다. 분홍색 벡터의 팁이 여전히 분홍색 선 위에 있고, 녹색 벡터의 팁이 여전히 녹색 선 위에 있기 때문입니다.

벡터가 원래 위치로 돌아갈 때 측정값이 변경되지 않습니다.

결론적으로, 기저 벡터에 오른쪽으로 미는 변환을 적용한 후의 상황은 이렇습니다.

전치 행렬은 기저 벡터가 원래 위치로 돌아가면서 측정값을 유지하기를 원하므로, 기본적으로 전체 그림에 왼쪽으로 미는 변환을 적용합니다. 잠깐… 원래는 오른쪽으로 미는 변환이 있었는데, 어째서 전치 행렬은 왼쪽으로 미는 변환일까요?

겉보기에는 왼쪽으로 미는 것처럼 보이지만, 격자선은 실제로 서로 다른 두 개의 공벡터로 이루어져 있습니다.

원래 오른쪽 밀기는 (1, 1; 0, 1) 행렬을 가집니다. 왜냐하면 (1, 0) 벡터는 제자리에 있고, 밀린 후에도 여전히 (1, 0)이지만, (0, 1) 벡터는 (1, 1) 벡터로 밀렸기 때문입니다.

이것을 전치와 비교해 보세요. 이것은 (1, 0) 공벡터입니다. 소위 '왼쪽 밀기'는 이러한 공벡터를 이것으로 변환합니다.

이것은 어떤 공벡터일까요? 해당 벡터가 이 수직선 위에 있다는 것을 알고 있으므로 간격 크기를 알아내야 합니다. 1 단위 길이가 얼마인지 알려주는 이 벡터의 도움으로 간격 크기는 1/√2로 계산할 수 있습니다.

따라서 해당 벡터의 길이는 1/간격 크기이므로 길이는 이제 √2입니다.

이것은 우리에게 두 가지 선택지를 남깁니다. (1, 1) 또는 (-1, -1) 공벡터입니다. 원래 이 굵은 선은 이 (1, 0) 공벡터에 의해 양수로 측정되지만, 변환 후 이 굵은 선은 양의 방향을 나타내므로 (1, 1) 공벡터여야 합니다.

반면에 (0, 1) 공벡터는 왼쪽 밀기에 영향을 받지 않으므로 (0, 1) 공벡터로 유지됩니다. 따라서 이른바 '왼쪽 밀기'는 이 행렬로 표현되어야 합니다. 왜냐하면 첫 번째 열은 (1, 0) 공벡터가 이 (1, 1) 공벡터로 변환되었음을 알려주고, (0, 1) 공벡터는 제자리에 머물러 여전히 (0, 1) 공벡터이기 때문입니다.

이제 이른바 '왼쪽 밀기'의 이 행렬을 원래 오른쪽 밀기와 비교해 보세요. 행렬이 실제로 서로 행과 열을 바꾸는 것을 볼 수 있습니다!

나중에 더 많은 예제가 있겠지만, 이것이 여러분에게 전치가 역함수처럼 보이지만, 격자선을 공벡터로 취급해야 한다는 것을 확신시켜 주기를 바랍니다.

제가 드릴 다른 두 가지 예 중 첫 번째는 대각 행렬입니다. 예를 들어 대각선에 3, 2가 있는 행렬이 있습니다. 첫 번째 열은 분홍색 벡터를 3배 확대하라는 의미이고, 두 번째 열은 녹색 벡터를 2배 확대하라는 의미입니다.

이전과 마찬가지로 코벡터를 가져와서 역변환을 수행하여 기저 벡터를 원래 위치로 되돌립니다.

그러나 코벡터로 볼 때, 갭 크기가 원래 크기의 1/3로 줄었기 때문에 실제로는 (3,0) 코벡터입니다.

해당 벡터의 길이는 실제로 3입니다.

다른 코벡터도 똑같은 이야기입니다. 갭 크기가 절반으로 줄었으므로 해당 벡터의 길이는 2입니다. 따라서 (0,2) 코벡터가 됩니다. 이러한 변환이 동일한 행렬로 표현되는 이유는 이러한 그리드 선을 코벡터로 보기 때문입니다.

실제로 행과 열을 바꾸는 작업을 수행하면 여전히 동일한 행렬을 얻을 수 있습니다!

또 다른 예는 회전입니다. 다시, 이러한 기저 벡터로 시작하여 시계 반대 방향으로 60도 회전한다고 가정해 보겠습니다. 이것이 우리의 선형 변환입니다. 평소와 같이 코벡터 그리드를 가져와서 역변환을 수행하여 기저 벡터를 원래 위치로 되돌립니다.

이번에는 시계 방향으로 60도 회전합니다. 그럼 이 코벡터는 무엇일까요? 원래 코벡터를 시계 방향으로 60도 회전한 것이고, 이것이 원래 해당 벡터입니다.

회전하는 동안 해당 벡터는 시계 방향으로 60도 동일하게 회전합니다.

회전만으로는 갭 크기가 변경되지 않았으므로 해당 벡터의 길이를 변경할 필요가 없기 때문입니다. 다른 코벡터도 마찬가지입니다. 따라서 이 경우 전치는 단순히 역함수처럼 보이는 것이 아니라 해당 벡터에 작용할 때 역함수*입니다.

즉, 시계 반대 방향으로 60도 회전에 해당하는 행렬과 해당 전치를 적으면 이 경우 서로의 역함수입니다.

다시 말해, 회전의 경우 A^T = A^(-1)입니다. 일반적으로 이를 만족하는 행렬을 직교 행렬이라고 하므로 회전 행렬은 직교 행렬입니다.

지금쯤 여러분은 '이 시각화는 역행렬이 있어야 가능한 것 아닌가?'라고 생각할 수도 있습니다. 맞습니다. 실제로 특이 행렬의 경우, 그리고 일반적으로 기술적인 용어로 말하면 랭크가 원래 공간의 차원보다 작은 경우에는 약간의 제약이 있습니다. 하지만 이러한 경우는 모두 이 시각화가 실패하는 경우입니다.

심지어 그런 경우에도 선형 맵을 아주 조금만 이동시켜 시각화를 할 수 있습니다. 따라서 이것은 전치에 대한 매우 강력한 시각화입니다.

[4장: 미묘한 점] 매우 미묘하고 기술적이지만 중요한 점을 강조하고 싶습니다. 직교 조건 Aᵀ = A⁻¹은 여러분에게 전혀 말이 안 돼야 합니다.

좌변에서 전치는 여벡터를 여벡터로 변환해야 하지만, 우변에서 A⁻¹은 벡터를 벡터로 변환합니다.

심지어 같은 유형의 객체도 아닌데 어떻게 같을 수 있을까요?

여기서 핵심은 벡터와 여벡터를 짝지어 마치 동일한 것처럼 취급하는 것입니다. 이것이 바로 우리가 이 비디오에서 한 것입니다.

(a,b) 여벡터의 경우, (1,0)을 a로, (0,1)을 b로 측정할 때, 우리는 그것과 벡터 (a,b)를 연관시켰습니다. 또는 여벡터를 일련의 평행선으로 시각화할 때, 우리는 그것을 선에 수직인 벡터와 연관시켰고, 길이는 선의 밀도입니다.

물론 반대로 할 수도 있습니다. 벡터가 주어지면 평행선을 그릴 수 있고, 벡터 (a,b)가 주어지면 해당 여벡터를 쉽게 구성할 수도 있습니다.

이것이 바로 우리가 벡터와 여벡터 사이의 일대일 대응을 달성한 방법입니다.

기술적인 언급으로는 이것이 선형 대응이어야 한다는 것입니다. 우리의 페어링이 그렇듯이 말입니다. 하지만 이 맥락에서 선형이 무엇을 의미하는지 자세히 알아볼 필요는 없습니다.

우리가 가진 벡터와 여벡터를 나열해 보겠습니다. 어떤 변환이 여벡터 엡실론을 다른 여벡터 에타로 변환하고, 엡실론이 벡터 v와 짝을 이루고, 에타가 벡터 w와 짝을 이루면, 마치 v가 w로 변환되는 것처럼 보입니다.

이 여벡터-여벡터 변환은 v의 존재조차 모르지만, 이 페어링 때문에 우리는 이것을 벡터-벡터 변환으로 취급할 수 있습니다.

마찬가지로 벡터에서 벡터로의 변환이 v를 w로 변환하는 경우, 이를 엡실론에서 에타로 변환하는 것으로 생각할 수 있습니다.

A^T = A^(-1)와 같이 말하는 것도 이러한 의미에서입니다.

짝짓기 과정을 강조하고 싶은 이유는 두 가지입니다. 첫째, 벡터와 공변 벡터를 동일시하는 이러한 방식은 매우 일반적이고 자연스럽지만, 이것이 유일한 방법은 아닙니다.

대신 벡터(-a, b) 또는 (a, -b)와 짝을 이룰 수도 있습니다. 이렇게 해도 여전히 일대일 대응이 됩니다. 다른 많은 옵션이 있지만, 이 두 가지를 선택한 이유는 이 두 가지 모두 1+1차원에서 특수 상대성 이론의 수학을 제공하고, 이 짝짓기에서 이 직교성 조건을 충족하는 모든 행렬은 로렌츠 변환이기 때문입니다.

이해가 안 되더라도 걱정하지 마세요. 나중에 특수 상대성 이론과 일반 상대성 이론에 대한 영상을 만들 예정입니다.

The deeper meaning of matrix transpose

The deeper meaning of matrix transpose

스크립트