In the last video, along with the ideas of vector addition and scalar multiplication, I described vector coordinates, where there's this back and forth between, for example, pairs of numbers and two-dimensional vectors.

Now, I imagine the vector coordinates were already familiar to a lot of you, but there's another kind of interesting way to think about these coordinates, which is pretty central to linear algebra.

When you have a pair of numbers that's meant to describe a vector, like 3, negative 2, I want you to think about each coordinate as a scalar, meaning, think about how each one stretches or squishes vectors.

In the xy coordinate system, there are two very special vectors, the one pointing to the right with length 1, commonly called i-hat, or the unit vector in the x direction, and the one pointing straight up with length 1, commonly called j-hat, or the unit vector in the y direction.

Now, think of the x coordinate of our vector as a scalar that scales i-hat, stretching it by a factor of 3, and the y coordinate as a scalar that scales j-hat, flipping it and stretching it by a factor of 2.

In this sense, the vector that these coordinates describe is the sum of two scaled vectors.

That's a surprisingly important concept, this idea of adding together two scaled vectors. Those two vectors, i-hat and j-hat, have a special name, by the way.

Together, they're called the basis of a coordinate system. What this means, basically, is that when you think about coordinates as scalars, the basis vectors are what those scalars actually, you know, scale.

There's also a more technical definition, but I'll get to that later.

By framing our coordinate system in terms of these two special basis vectors, it raises a pretty interesting and subtle point. We could have chosen different basis vectors and gotten a completely reasonable new coordinate system.

For example, take some vector pointing up and to the right, along with some other vector pointing down and to the right in some way.

Take a moment to think about all the different vectors that you can get by choosing two scalars, using each one to scale one of the vectors, then adding together what you get.

Which two-dimensional vectors can you reach by altering the choices of scalars? The answer is that you can reach every possible two-dimensional vector, and I think it's a good puzzle to contemplate why.

A new pair of basis vectors like this still gives us a valid way to go back and forth between pairs of numbers and two-dimensional vectors, but the association is definitely different from the one that you get using the more standard basis of i-hat and j-hat.

This is something I'll go into much more detail on later, describing the exact relationship between different coordinate systems, but for right now, I just want you to appreciate the fact that any time we describe vectors numerically, it depends on an implicit choice of what basis vectors we're using.

So any time that you're scaling two vectors and adding them like this, it's called a linear combination of those two vectors.

Where does this word linear come from? Why does this have anything to do with lines?

Well, this isn't the etymology, but one way I like to think about it is that if you fix one of those scalars and let the other one change its value freely, the tip of the resulting vector draws a straight line.

Now, if you let both scalars range freely and consider every possible vector that you can get, there are two things that can happen.

For most pairs of vectors, you'll be able to reach every possible point in the plane.

Every two-dimensional vector is within your grasp. However, in the unlucky case where your two original vectors happen to line up, the tip of the resulting vector is limited to just this single line passing through the origin.

Actually, technically there's a third possibility too.

Both your vectors could be zero, in which case you'd just be stuck at the origin. Here's some more terminology.

The set of all possible vectors that you can reach with a linear combination of a given pair of vectors is called the span of those two vectors.

So restating what we just saw in this lingo, the span of most pairs of 2D vectors is all vectors of 2D space, but when they line up, their span is all vectors whose tip sit on a certain line.

Remember how I said that linear algebra revolves around vector addition and scalar multiplication?

Well, the span of two vectors is basically a way of asking what are all the possible vectors you can reach using only these two fundamental operations, vector addition and scalar multiplication.

This is a good time to talk about how people commonly think about vectors as points. It gets really crowded to think about a whole collection of vectors sitting on a line, and more crowded still to think about all two-dimensional vectors all at once, filling up the plane.

So when dealing with collections of vectors like this, it's common to represent each one with just a point in space, the point at the tip of that vector where, as usual, I want you thinking about that vector with its tail on the origin.

That way, if you want to think about every possible vector whose tip sits on a certain line, just think about the line itself.

Likewise, to think about all possible two-dimensional vectors all at once, conceptualize each one as the point where its tip sits.

So in effect, what you'll be thinking about is the infinite flat sheet of two-dimensional space itself, leaving the arrows out of it.

In general, if you're thinking about a vector on its own, think of it as an arrow.

And if you're dealing with a collection of vectors, it's convenient to think of them all as points. So for our span example, the span of most pairs of vectors ends up being the entire infinite sheet of two-dimensional space.

But if they line up, their span is just a line. The idea of span gets a lot more interesting if we start thinking about vectors in three-dimensional space.

For example, if you take two vectors in 3D space that are not pointing in the same direction, what does it mean to take their span?

Well, their span is the collection of all possible linear combinations of those two vectors, meaning all possible vectors you get by scaling each of the two of them in some way and then adding them together.

You can kind of imagine turning two different knobs to change the two scalars defining the linear combination, adding the scaled vectors and following the tip of the resulting vector.

That tip will trace out some kind of flat sheet cutting through the origin of three-dimensional space. This flat sheet is the span of the two vectors.

Or more precisely, the set of all possible vectors whose tips sit on that flat sheet is the span of your two vectors.

Isn't that a beautiful mental image? So, what happens if we add a third vector and consider the span of all three of those guys?

A linear combination of three vectors is defined pretty much the same way as it is for two. You'll choose three different scalars, scale each of those vectors, and then add them all together.

And again, the span of these vectors is the set of all possible linear combinations. Two different things could happen here.

If your third vector happens to be sitting on the span of the first two, then the span doesn't change. You're sort of trapped on that same flat sheet.

In other words, adding a scaled version of that third vector to the linear combination doesn't really give you access to any new vectors.

But if you just randomly choose a third vector, it's almost certainly not sitting on the span of those first two.

Then, since it's pointing in a separate direction, it unlocks access to every possible three-dimensional vector. One way I like to think about this is that as you scale that new third vector, it moves around that span sheet of the first two, sweeping it through all of space.

Another way to think about it is that you're making full use of the three freely changing scalars that you have at your disposal to access the full three dimensions of space.

Now, in the case where the third vector was already sitting on the span of the first two, or the case where two vectors happen to line up, we want some terminology to describe the fact that at least one of these vectors is redundant, not adding anything to our span.

Whenever this happens, where you have multiple vectors and you could remove one without reducing the span, the relevant terminology is to say that they are linearly dependent.

Another way of phrasing that would be to say that one of the vectors can be expressed as a linear combination of the others, since it's already in the span of the others.

On the other hand, if each vector really does add another dimension to the span, they're said to be linearly independent.

So with all of that terminology, and hopefully with some good mental images to go with it, let me leave you with a puzzle before we go.

The technical definition of a basis of a space is a set of linearly independent vectors that span that space. Now, given how I described a basis earlier, and given your current understanding of the words span and linearly independent, think about why this definition would make sense.

In the next video, I'll get into matrices in transforming space. See you then!

Linear combinations, span, and basis vectors | Chapter 2, Essence of linear algebra

My name is Grant Sanderson. Videos here cover a variety of topics in math, or adjacent fields like physics and CS, all with an emphasis on visualizing the core ideas. The goal is to use animation to help elucidate and motivate otherwise tricky topics, and for difficult problems to be made simple with changes in perspective.

For more information, other projects, FAQs, and inquiries see the website: https://www.3blue1brown.com

3Blue1Brown

지난 영상에서는 벡터 덧셈과 스칼라 곱셈의 개념과 함께 벡터 좌표에 대해 설명했는데, 예를 들어 숫자 쌍과 2차원 벡터 사이에는 이러한 상호 작용이 있습니다.

이제 벡터 좌표는 이미 많은 분들에게 익숙할 것이라고 생각하지만, 선형 대수학에서 매우 중요한 이러한 좌표에 대해 생각하는 또 다른 흥미로운 방법이 있습니다.

3, -2와 같이 벡터를 설명하는 숫자 쌍이 있을 때 각 좌표를 스칼라로 생각해야 합니다. 즉, 각 좌표가 벡터를 얼마나 늘리거나 줄이는지 생각해야 합니다.

xy 좌표계에는 두 개의 매우 특별한 벡터가 있습니다. 하나는 오른쪽으로 향하는 길이가 1인 벡터로, 일반적으로 i-hat 또는 x 방향의 단위 벡터라고 불립니다. 다른 하나는 위쪽으로 똑바로 향하는 길이가 1인 벡터로, 일반적으로 j-hat 또는 y 방향의 단위 벡터라고 불립니다.

이제 우리 벡터의 x 좌표를 i-hat을 스케일하는 스칼라로 생각하여 3배로 늘리고, y 좌표를 j-hat을 스케일하는 스칼라로 생각하여 뒤집고 2배로 늘립니다.

이런 의미에서 이러한 좌표가 설명하는 벡터는 두 개의 스케일된 벡터의 합입니다.

스케일된 두 벡터를 더한다는 이 개념은 놀라울 정도로 중요합니다. 그 두 벡터, i-hat과 j-hat은 특별한 이름이 있습니다.

함께 좌표계의 기저라고 불립니다. 기본적으로 이것이 의미하는 바는 좌표를 스칼라로 생각할 때 기저 벡터는 실제로 스칼라가 스케일하는 대상이라는 것입니다.

더 기술적인 정의도 있지만 나중에 설명하겠습니다.

이러한 두 개의 특별한 기저 벡터의 관점에서 좌표계를 구성하면 매우 흥미롭고 미묘한 점이 제기됩니다. 다른 기저 벡터를 선택하고 완전히 합리적인 새로운 좌표계를 얻을 수도 있었습니다.

예를 들어 위쪽과 오른쪽을 가리키는 벡터와 어떤 식으로든 아래쪽과 오른쪽을 가리키는 다른 벡터를 가져옵니다.

두 개의 스칼라를 선택하고 각 스칼라를 사용하여 벡터 중 하나를 스케일한 다음 얻은 결과를 더하여 얻을 수 있는 모든 다른 벡터에 대해 잠시 생각해 보십시오.

스칼라 값을 바꿔가면서 어떤 2차원 벡터에 도달할 수 있을까요? 답은 가능한 모든 2차원 벡터에 도달할 수 있다는 것입니다. 왜 그런지 곰곰이 생각해 보는 것도 좋을 것 같습니다.

이와 같은 새로운 기저 벡터 쌍은 여전히 숫자 쌍과 2차원 벡터 사이를 오가는 유효한 방법을 제공하지만, 그 연관성은 i-hat과 j-hat의 표준 기저를 사용할 때와는 분명히 다릅니다.

이것은 나중에 다양한 좌표계 간의 정확한 관계를 설명하면서 훨씬 더 자세히 다룰 내용이지만, 지금은 벡터를 숫자로 표현할 때마다 어떤 기저 벡터를 사용하는지에 대한 암묵적인 선택에 달려 있다는 사실을 알아주셨으면 합니다.

두 벡터에 스칼라 곱을 하고 더하는 것을 두 벡터의 선형 결합이라고 합니다.

여기서 선형이라는 단어는 어디에서 왔을까요? 이것이 왜 직선과 관련이 있을까요?

어원은 아니지만, 제가 생각하는 한 가지 방법은 스칼라 중 하나를 고정하고 다른 하나의 값을 자유롭게 변경하면 결과 벡터의 끝점이 직선을 그린다는 것입니다.

이제 두 스칼라의 범위를 자유롭게 지정하고 얻을 수 있는 모든 가능한 벡터를 고려하면 두 가지 일이 발생할 수 있습니다.

대부분의 벡터 쌍의 경우 평면의 모든 점에 도달할 수 있습니다.

모든 2차원 벡터가 여러분의 손이 닿는 곳에 있습니다. 하지만 불행히도 원래 두 벡터가 일직선으로 놓인 경우 결과 벡터의 끝점은 원점을 통과하는 이 단일 직선으로 제한됩니다.

사실 기술적으로 세 번째 가능성도 있습니다.

두 벡터가 모두 0일 수도 있는데, 이 경우 원점에 갇히게 됩니다. 몇 가지 용어를 더 설명하겠습니다.

주어진 벡터 쌍의 선형 결합으로 도달할 수 있는 모든 가능한 벡터의 집합을 해당 두 벡터의 스팬이라고 합니다.

이 용어로 방금 본 내용을 다시 설명하면, 대부분의 2D 벡터 쌍의 스팬은 2D 공간의 모든 벡터이지만, 일직선으로 놓이면 스팬은 끝점이 특정 선에 놓이는 모든 벡터입니다.

선형 대수는 벡터 덧셈과 스칼라 곱셈을 중심으로 전개된다고 말씀드렸죠?

두 벡터의 스팬은 기본적으로 벡터 덧셈과 스칼라 곱셈이라는 이 두 가지 기본 연산만 사용하여 도달할 수 있는 모든 가능한 벡터가 무엇인지 묻는 방법입니다.

이제 사람들이 벡터를 점으로 흔히 생각하는 방식에 대해 이야기해 볼 좋은 시점입니다. 직선 위에 놓인 벡터의 전체 모음을 생각하는 것은 정말 복잡하고, 모든 2차원 벡터가 한 번에 평면을 채우는 것을 생각하는 것은 훨씬 더 복잡합니다.

따라서 이와 같은 벡터 모음을 다룰 때 각 벡터를 공간의 한 점, 즉 해당 벡터의 끝점으로 나타내는 것이 일반적입니다. 여기서도 평소와 같이 벡터의 꼬리가 원점에 있다고 생각하면 됩니다.

그러면 끝점이 특정 선에 놓이는 모든 가능한 벡터를 생각하고 싶다면 그냥 그 선 자체를 생각하면 됩니다.

마찬가지로 가능한 모든 2차원 벡터를 한 번에 생각하려면 각 벡터를 끝점이 놓이는 점으로 개념화하세요.

따라서 사실상 여러분이 생각하게 될 것은 화살표를 제외한 2차원 공간 자체의 무한한 평면 시트입니다.

일반적으로 벡터 자체에 대해 생각하고 있다면 화살표로 생각하세요.

그리고 벡터 모음을 다루고 있다면 모두 점으로 생각하는 것이 편리합니다. 따라서 스팬 예제의 경우 대부분의 벡터 쌍의 스팬은 결국 전체 무한 2차원 공간 시트가 됩니다.

하지만 벡터들이 일직선으로 정렬되면 스팬은 단지 선일 뿐입니다. 스팬의 개념은 3차원 공간에서 벡터를 생각하기 시작하면 훨씬 더 흥미로워집니다.

예를 들어 3D 공간에서 같은 방향을 가리키지 않는 두 개의 벡터를 취하면 스팬을 취한다는 것은 무엇을 의미할까요?

음, 스팬은 두 벡터의 가능한 모든 선형 조합의 모음입니다. 즉, 두 벡터를 어떤 방식으로든 스케일링한 다음 함께 더하여 얻을 수 있는 가능한 모든 벡터를 의미합니다.

두 개의 스칼라를 정의하는 두 개의 노브를 돌려 선형 조합을 변경하고 스케일링된 벡터를 더하고 결과 벡터의 끝점을 따라간다고 상상할 수 있습니다.

해당 끝점은 3차원 공간의 원점을 통과하는 일종의 평평한 시트를 추적합니다. 이 평평한 시트는 두 벡터의 스팬입니다.

또는 보다 정확하게는 끝점이 해당 평평한 시트에 놓이는 가능한 모든 벡터의 집합이 두 벡터의 스팬입니다.

정말 아름다운 심상이지 않나요? 그렇다면 세 번째 벡터를 추가하고 이 세 벡터의 스팬을 고려하면 어떻게 될까요?

세 벡터의 선형 결합은 두 벡터의 경우와 거의 같은 방식으로 정의됩니다. 세 개의 서로 다른 스칼라를 선택하고, 각 벡터의 크기를 조정한 다음, 모두 더합니다.

그리고 다시 말하지만, 이 벡터들의 스팬은 가능한 모든 선형 결합의 집합입니다. 여기서 두 가지 다른 일이 일어날 수 있습니다.

세 번째 벡터가 처음 두 벡터의 스팬에 놓여 있다면 스팬은 변경되지 않습니다. 여러분은 일종의 평평한 시트에 갇히게 됩니다.

다시 말해, 세 번째 벡터의 스케일 버전을 선형 결합에 추가해도 새로운 벡터에 접근할 수 없습니다.

하지만 세 번째 벡터를 무작위로 선택하면 거의 확실히 처음 두 벡터의 스팬에 놓여 있지 않습니다.

그러면 별도의 방향을 가리키므로 가능한 모든 3차원 벡터에 접근할 수 있습니다. 제가 이 점을 생각하는 한 가지 방법은 새로운 세 번째 벡터의 크기를 조정하면 처음 두 벡터의 스팬 시트 주위를 이동하여 공간 전체를 쓸어 담는다는 것입니다.

또 다른 방법은 여러분이 마음대로 사용할 수 있는 세 개의 자유롭게 변경되는 스칼라를 최대한 활용하여 공간의 전체 3차원에 접근하는 것입니다.

이제 세 번째 벡터가 이미 처음 두 벡터의 스팬에 놓여 있거나 두 벡터가 정렬된 경우, 이러한 벡터 중 적어도 하나가 중복되어 스팬에 아무것도 추가하지 않는다는 사실을 설명하는 용어가 필요합니다.

여러 벡터가 있고 스팬을 줄이지 않고도 하나를 제거할 수 있는 경우 관련 용어는 선형 종속적이라고 말하는 것입니다.

다른 표현 방법은 벡터 중 하나가 다른 벡터의 선형 결합으로 표현될 수 있다고 말하는 것입니다. 이미 다른 벡터의 스팬에 있기 때문입니다.

반면에 각 벡터가 스팬에 다른 차원을 추가하면 선형 독립적이라고 합니다.

이러한 모든 용어와 함께, 여러분이 이해하기 쉬운 이미지와 함께 떠나기 전에 퍼즐을 하나 내겠습니다.

공간의 기저에 대한 기술적 정의는 해당 공간을 스팬하는 선형 독립적 벡터의 집합입니다. 이제 제가 앞에서 기저를 설명한 방식과 스팬과 선형 독립적이라는 단어에 대한 현재의 이해를 바탕으로 이 정의가 왜 말이 되는지 생각해 보세요.

다음 비디오에서는 공간을 변환하는 행렬에 대해 설명하겠습니다. 그때 뵙겠습니다!

Linear combinations, span, and basis vectors | Chapter 2, Essence of linear algebra

Linear combinations, span, and basis vectors | Chapter 2, Essence of linear algebra

스크립트