want to thank the organizers for choosing a paper for this award, it was very nice, and I also want to thank my incredible co-authors and collaborators.

Ollie, Vineel, and Quoc Le, who stood right before you a moment ago. And what you have here is an image, a screenshot from a similar talk 10 years ago at NeurIPS in 2014 in Montreal, and it was a much more innocent time.

Here we are shown in the photos, this is the before, here's the after, by the way.

And now we've got more experienced, hopefully wiser, but here I'd like to talk a little bit about the work itself and maybe a 10-year retrospective on it because a lot of the things in this work were correct, but some not so much, and we can review them, and we can see what happened and how it gently flowed to where we are today.

So let's begin by talking about what we did.

And the way we'll do it is by showing slides from the same talk 10 years ago. But the summary of what we did is the following three bullet points: it's an auto-regressive model trained on text, it's a large neural network, and it's a large data set.

And that's it. Now let's dive in into the details a little bit more. So this was a slide 10 years ago.

Not too bad, the Deep load hypothesis. And what we said here is that if you have a large neural network with 10 layers, then it can do anything that a human being can do in a fraction of a second.

Like why did we have this emphasis, emphasis on things that human beings can do in a fraction of a second?

Why this thing specifically? Well, if you believe the Deep Learning Dogma, so to say that artificial neurons and biological neurons are similar or at least not too different, and you believe that real neurons are slower than anything that we can do quickly.

By we, I mean human beings. I even mean just one human in the entire world. If there is one human in the entire world that can do some task in a fraction of a second, then a 10 layer neural network can do it too, right?

You just take their connections and you embed them inside your neuronet, the artificial one. So this was the motivation: anything that a human being can do in a fraction of a second, a big 10, 10 layer neural network can do too.

We focused on 10 layer neural networks because this was the neural networks we knew how to train back in the day.

If you could go beyond in your layers somehow, then you could do more, but back then we could only do 10 layers, which is why we emphasized whatever human beings can do in a fraction of a second.

A different slide from the talk, a slide which says our main idea, and you may be able to recognize two things, or at least one thing. You might be able to recognize that something auto regressive is going on here.

What is it saying really? What does this slide really say? This slide says that if you have an auto regressive model and it predicts the next token well enough, then it will in fact grab and capture and grasp the correct distribution over whatever, over sequences that come next.

And this was a relatively new thing. It wasn't literally the first ever auto regressive neural network, but I would argue it was the first auto regressive neural network where we really believed that if you train it really well, then you will get whatever you want in our case back then was the humble, today humble then incredibly audacious task of translation.

Now I'm going to show you some ancient history that many of you might have never seen before.

It's called the LSTM. To those unfamiliar, an LSTM is the things that poor deep learning researchers did before Transformers, and it's basically a ResNet, but rotated 90°.

It's like, it's kind of like a slightly more complicated reset. You can see there is your integrator, which is now called the residual stream, but you've got some multiplication going on.

It's a little bit more complicated, but that's what we did. It was a ResNet Ro 90°.

Another cool feature from that old talk that I want to highlight is that we used parallelization, but not just any parallelization, we used pipelining, as witnessed by this one layer per GPU.

Was it wise to pipeline? As we now know, pipelining is not wise, but we were not as wise back then.

So we used that and we got a 3.5x speed up using eight GPUs and the conclusion slide, in some sense, the conclusion slide from the talk from back then is the most important slide because it spelled out what could arguably be the beginning of the scaling hypothesis, right?

That if you have a very big data set and you train a very big neural network, then success is guaranteed.

And one can argue, if one is charitable, that this indeed has been what's been happening. I want to mention one other idea and this is, I claim, the idea that truly stood the test of time.

It's the core idea of deploying itself. It's the idea of connectionism.

It's the idea that if you allow yourself to believe that an artificial neuron is kind of sort of like a biological neuron, right?

If you believe that one is kind of sort of like the other, then it gives you the confidence to believe that very large neural networks, they don't need to be literally human brain scale, they might be a little bit smaller, but you could configure them to do pretty much all the things that we do human beings.

There's still a difference. Oh, I forgot to the end. There is still a difference because the human brain also figures out how to reconfigure itself, whereas we are using the best learning algorithms that we have which require as many data points as there are parameters.

Human beings are still better in this regard.

But what this led, so I claim arguably to the age of pre-training. And the age of pre-training is what we might say the GPT-2 model, the GPT-3 model, the scaling laws, and I want to specifically call out my former collaborators Alec Radford, also Jared Kaplan, Dario Amodei, for really making this work.

But that led to the age of pre-training, and this is what's been the driver of all of progress, all the progress that we see today, extra large neural networks, extraordinarily large neural networks trained on huge data sets.

But pre-training as we know it will unquestionably end. Pre-training will end. Why will it end? Because while computers growing through better hardware, better algorithms and logic clusters, right?

All those things keep increasing your compute. All these things keep increasing your compute. The data is not growing because we have but one internet.

We have but one internet. You could even say, you can even go as far as to say that data is the fossil fuel of AI, it was like created somehow and now we use it and we've achieved peak data and there'll be no more.

We have to deal with the data that we have now.

It still still let us go quite far, but this is, there's only one internet, so here I'll take um a bit of liberty to speculate about what comes next.

Actually, I don't need to speculate because many people are speculating too and I'll mention their speculations.

You may have heard the phrase agents, it's common and I'm sure that eventually something will happen, but people feel like something agents is the future.

More concretely, but also a little bit vaguely, synthetic data. But what does synthetic data mean? Figuring this out is a big challenge and I'm sure that different people have all kinds of interesting progress there and an inference time compute or maybe what's been most recently, most vividly seen in 01, the O1 model.

These are all examples of things of people trying to figure out what to do after pre-training and those are all very good things to do.

I want to mention one other example from biology which I think is really cool and the example is this so about many many years ago at this conference also I saw a talk where someone presented this graph, but the graph showed the relationship between the size of the body of the size of the body of a mammal and the size of their brain, in this case it's in mass and the that talk I remember vividly they were saying look it's in biology everything is so messy but here you have one rare example where there is a very tight relationship between the size of the body of the animal and their brain and totally randomly I became curious at this graph and one of the early one of the early so I went to Google to do research, to look for this graph, and one of the images in Google Images was this, and the interesting thing in this image is you see, like, I don't know, is the mouse working?

Oh yeah, the mouse is working great. So you've got these mammals, right?

All the different mammals. Then you've got non-human primates. It's basically the same thing. But then you've got the hominids, and to my knowledge, hominids are like close relatives to the humans in evolution, like the Neanderthals.

There's a bunch of them, like it's called Homo habilis, maybe there are a whole bunch, and they're all here.

And what's interesting is that they have a different slope on their brain-to-body scaling exponent.

So that's pretty cool. What that means is that there is a precedent, there is an example of biology figuring out some kind of different scaling.

Something clearly is different. So I think that is cool. And by the way, I want to highlight highlight this x-axis is log scale.

You see this is 100, this is 1,000, 10,000, 100,000, and likewise in grams, 1 g, 10 g, 100 g, 1,000 g.

So it is possible for things to be different. The things that we are doing, the things that we've been scaling so far is actually the first thing that we figured out how to scale, and without doubt the field, everyone who's working here will figure out what to do.

But I want to talk here, I want to take a few minutes and speculate about the longer term, the longer term, where are we all headed, right?

We're making all this progress. It's an it's astounding progress. It's really, I mean, those of you who've been in the field 10 years ago and you remember just how incapable everything has been, like, yes, you can say, even if you kind of say, of course learning still to see it is just unbelievable.

It's completely, I can't convey that feeling to you. You know, if you joined the field in the last two years, then of course, you speak to computers and they talk back to you and they disagree and that's what computers are, but it hasn't always been the case.

But I want to talk a little bit about super intelligence, just a bit, 'cause that is obviously where this field is headed.

This is obviously what's being built here and the thing about super intelligence is that it will be different qualitatively from what we have and my goal in the next minute to try to give you some concrete intuition of how it will be different so that you yourself could reason about it.

So right now we have our incredible language models and the unbelievable chat bot and they can even do things but they're also kind of strangely unreliable and they get confused when, while also having dramatically superhuman performance on evals, so it's really unclear how to reconcile this.

But eventually sooner or later the following will be achieved, those systems are actually going to be agentic in a real ways, whereas right now the systems are not agents in any meaningful sense, just very, that might be too strong, they're very, very slightly agentic, just beginning.

It will actually reason and by the way, I want to mention something about reasoning is that a system that reasons, the more it reasons, the more unpredictable it becomes.

The more it reasons, the more unpredictable it becomes. All the deep learning that we've been used to is very predictable because if you've been working on replicating human intuition, essentially it's like the gut feeling.

If you come back to the 0.1 second reaction time, what kind of processing we do in our brains, well, it's our intuition.

So we've endowed our AIs with some of that intuition, but reasoning, you're seeing some early signs of that.

Reasoning is unpredictable, and one reason to see that is because the chess AIs, the really good ones, are unpredictable to the best human chess players.

So we will have to be dealing with AI systems that are incredibly unpredictable. They will understand things from limited data.

They will not get confused, all the things which are really big limitations. I'm not saying how, by the way, and I'm not saying when.

I'm saying that it will, and when all those things will happen together with self-awareness, because why not? Self-awareness is useful, it is part your ourselves, are parts of our own world models.

When all those things come together, we will have systems of radically different qualities and properties that exist today.

And of course, they will have incredible and amazing capabilities, but the kind of issues that come up with systems like this, and I'll just leave it as an exercise to imagine, it's very different from what we used to, and I would say that it's definitely also impossible to predict the future.

Really, all kinds of stuff is possible, but on this uplifting note, I will conclude. Thank you so much. Um, thank you.

Um, now in 2024, are there other biological structures that are part of human cognition that you think are worth exploring in a similar way or that you're interested in anyway?

So the way I'd answer this question is that if you are or someone is a person who has a specific insight about, hey, we are all being extremely silly because clearly the brain does something and we are not and that's something that can be done, they should pursue it.

I personally don't, well, depends on the level of abstraction you're looking at.

Maybe I'll answer it this way, like there's been a lot of desire to make biologically inspired AI, and you could argue on some level that biologically inspired AI is incredibly successful, which is all of the learning biologically inspired AI, but on the other hand, the biological inspiration was very, very, very modest.

It's like, let's use neurons, this is the full extent of the biological inspiration.

Let's use neurons and more detailed biological inspiration has been very hard to come by, but I wouldn't rule it out. I think if someone has a special insight, they might be able to to see something and that would be useful.

I have a question for you, um, about sort of autocorrect.

Um, so here is, here's the question. You mentioned reasoning as being um one of the core aspects of maybe the modeling in the future and maybe a differentiator.

Um, what we saw in some of the poster sessions is that hallucinations in today's models are the way we're analyzing, I mean, maybe you correct me, you're the expert on this, but the way we're analyzing whether a model is hallucinating today without because we know of the dangers of models not being able to reason, that we're using a statistical analysis, let's say some amount of standard deviations or whatever away from the mean.

In the future, wouldn't it, would you think that a model given reasoning will be able to correct itself sort of autocorrect itself and that will be a core feature of future models so that there won't be as many hallucinations because the model will recognize when I— maybe that's too esoteric of a question, but the model will be able to reason and understand when a hallucination is occurring.

Does the question make sense? Yes, and the answer is also yes. I think what you described is extremely highly plausible. Yeah, I mean, you should check. I mean, for yeah, it's— I wouldn't— I wouldn't rule out that it might already be happening with some of the, you know, early reasoning models of today.

I don't know, but longer term, why not? Yeah, I mean, it's part— part of like Microsoft Word like autocorrect.

It's a— you know, it's a— it's a core feature. Yeah, I just— I mean, I think calling it autocorrect is really doing it a disservice.

I think you are— when you say autocorrect, you evoke— like, it's far grander than autocorrect, but other than— but, you know, this point aside, the answer is yes.

Thank you. Ilya, I loved the ending, uh, mysteriously, uh, leaving out, do they replace us or are they, you know, superior?

Do they need rights? You know, it's a new species of homo sapien spawned intelligence, so maybe they need— I mean, uh, I think the RL guy, uh, thinks they think, uh, you know, we need rights for these things.

I have a UNR question to that. How do you— how do you create the right incentive mechanisms for humanity to actually create it in a way that gives it the freedoms that we have as Homo sapiens?

You know, I feel like this in some— in some— in some sense, those are— those are the kind of questions that people should be, uh, reflecting on more.

But to your question about what incentive structure should we create?

I I don't feel that I know. I don't feel confident answering questions like this because, uh, it's like you're talking about creating some kind of a top-down structure, government thing.

I don't know, it could be a cryptocurrency too. Yeah, I mean there's Bittensor, you know, those things.

I don't feel like I am the right person to comment on cryptocurrency, but, but, you know, there is a chance, by the way, what what you're describing will happen, that indeed we will have, you know, in some sense, it's it's it's not a bad end result if you have AIs and all they want is to coexist with us and also just to have rights, maybe that will be fine.

It's but I don't know. I mean, I think things are so incredibly unpredictable. I I hesitate to comment, but I encourage the speculation. Thank you. Uh, and, uh, yeah, thank you for the talk.

It's really awesome. Hi there. Thank you for the great talk. My name is Shalev Liit from University of Toronto, working with Sheila.

Thanks for all the work you've done. I wanted to ask, do you think LLMs generalize multi-hop reasoning out of distribution?

So okay, the question assumes that the answer is yes or no, but the question should not be answered with yes or no because what does it mean out of distribution generalization?

What does it mean? What does it mean in distribution and what does it mean out of distribution? Because it's a test of time talk.

I'll say that long, long ago, before people were using deep learning, they were using things like string matching engrams for machine translation.

People were using statistical phrase tables. Can you imagine? They had tens of thousands of code of complexity, which was, I mean, it's it was truly unfathomable, and back then, generalization meant, is it literally not in the same phrasing as in the data?

Ilya Sutskever: "Sequence to sequence learning with neural networks: what a decade"

seremot

주최측에서 이 논문을 상으로 선정해 주셔서 감사합니다. 정말 좋았고, 저의 훌륭한 공동 저자 및 협력자들에게도 감사드립니다.

올리, 비넬, 그리고 조금 전에 여러분 앞에 서 있었던 쿼크 리입니다. 그리고 여기에 있는 이미지는 10년 전인 2014년 몬트리올에서 열린 NeurIPS에서의 비슷한 강연 스크린샷입니다. 그때는 훨씬 더 순수한 시절이었죠.

여기 사진에 저희가 나와 있는데, 이게 비포이고, 이게 애프터입니다.

이제 저희는 더 경험이 많아졌고, 바라건대 더 현명해졌습니다. 하지만 여기서 저는 이 연구 자체에 대해, 그리고 아마도 10년 회고에 대해 조금 이야기하고 싶습니다. 왜냐하면 이 연구의 많은 부분이 옳았지만, 그렇지 않은 부분도 있었고, 그것들을 검토하고, 무슨 일이 일어났는지, 그리고 그것이 어떻게 오늘날의 우리에게 부드럽게 흘러왔는지 볼 수 있기 때문입니다.

그럼 저희가 무엇을 했는지 이야기하는 것으로 시작하겠습니다.

그리고 저희가 할 방식은 10년 전과 같은 강연에서 슬라이드를 보여주는 것입니다. 하지만 저희가 한 일의 요약은 다음 세 가지 요점입니다. 텍스트로 훈련된 자기 회귀 모델이고, 대규모 신경망이고, 대규모 데이터 세트입니다.

그게 전부입니다. 이제 좀 더 자세히 살펴보겠습니다. 이것은 10년 전 슬라이드였습니다.

나쁘지 않네요. 딥 로드 가설. 여기서 저희가 말한 것은 10개의 레이어가 있는 대규모 신경망이 있다면 인간이 찰나의 순간에 할 수 있는 모든 것을 할 수 있다는 것입니다.

왜 저희는 인간이 찰나의 순간에 할 수 있는 일에 이렇게 강조점을 두었을까요?

왜 특별히 이럴까요? 딥 러닝 도그마를 믿는다면, 인공 뉴런과 생물학적 뉴런이 비슷하거나 적어도 너무 다르지 않다고 믿고, 실제 뉴런이 저희가 빨리 할 수 있는 어떤 것보다 느리다고 믿는다면요.

저희는 인간을 의미합니다. 저는 심지어 전 세계에 단 한 명의 인간만을 의미합니다. 전 세계에 찰나의 순간에 어떤 작업을 수행할 수 있는 인간이 단 한 명이라도 있다면, 10 레이어 신경망도 그렇게 할 수 있습니다. 그렇죠?

인간의 연결을 가져와서 인공 신경망 안에 임베딩하는 겁니다. 이것이 동기 부여가 되었습니다. 인간이 1초 안에 할 수 있는 일은 10개 층으로 이루어진 거대한 신경망도 할 수 있다는 것이죠.

당시 10개 층 신경망을 훈련하는 방법을 알고 있었기 때문에 10개 층 신경망에 집중했습니다.

어떻게든 레이어를 더 깊게 쌓을 수 있다면 더 많은 것을 할 수 있었겠지만, 당시에는 10개 층만 할 수 있었기 때문에 인간이 1초 안에 할 수 있는 일들을 강조했던 것입니다.

이 슬라이드는 제 발표에서 가져온 다른 슬라이드인데, 저희의 주요 아이디어를 담고 있습니다. 여기서 두 가지, 혹은 최소한 한 가지는 알아차리실 수 있을 겁니다. 자기 회귀적인 무언가가 일어나고 있다는 것을 알아차리실 수 있을 겁니다.

이 슬라이드는 실제로 무엇을 말하고 있을까요? 이 슬라이드는 자기 회귀 모델이 다음 토큰을 충분히 잘 예측한다면, 다음에 오는 시퀀스에 대한 정확한 분포를 실제로 포착하고 파악할 것이라고 말합니다.

이것은 비교적 새로운 것이었습니다. 이것이 최초의 자기 회귀 신경망은 아니었지만, 정말 잘 훈련하면 원하는 것을 얻을 수 있다고 믿었던 최초의 자기 회귀 신경망이라고 주장하고 싶습니다. 당시 저희가 원했던 것은 번역이라는 겸손하고, 당시에는 엄청나게 대담한 작업이었습니다.

이제 여러분 중 많은 분들이 전에 본 적이 없을 고대사를 보여드리겠습니다.

LSTM이라고 불리는 것인데요. 익숙하지 않은 분들을 위해 설명하자면, LSTM은 트랜스포머 이전의 불쌍한 딥러닝 연구자들이 사용했던 것으로, 기본적으로 ResNet을 90도 회전시킨 것입니다.

그것이 LSTM이고, 트랜스포머 이전에 나왔습니다.

약간 더 복잡한 ResNet과 같습니다. 이제 잔차 스트림이라고 불리는 통합기가 있지만, 곱셈이 일어나고 있는 것을 볼 수 있습니다.

조금 더 복잡하지만, 그것이 저희가 했던 것입니다. ResNet Ro 90°였습니다.

제가 강조하고 싶은 이전 발표의 또 다른 멋진 기능은 병렬화를 사용했지만, 단순한 병렬화가 아니라 GPU당 하나의 레이어를 사용하여 파이프라이닝을 사용했다는 것입니다.

파이프라이닝을 하는 것이 현명했을까요? 지금은 파이프라이닝이 현명하지 않다는 것을 알지만, 당시에는 그렇게 현명하지 못했습니다.

그래서 우리는 그것을 사용했고 8개의 GPU를 사용하여 3.5배의 속도 향상을 얻었습니다. 결론 슬라이드는 어떤 의미에서 그 당시 강연의 결론 슬라이드는 가장 중요한 슬라이드입니다. 왜냐하면 그것은 스케일링 가설의 시작이라고 주장할 수 있는 것을 설명했기 때문입니다.

만약 여러분이 매우 큰 데이터 세트를 가지고 있고 매우 큰 신경망을 훈련시킨다면, 성공은 보장됩니다.

그리고 만약 사람들이 관대하다면 이것이 실제로 일어나고 있는 일이라고 주장할 수 있습니다. 다른 아이디어 하나를 언급하고 싶은데, 이것은 제가 주장하기에 진정으로 시간의 시험을 견뎌낸 아이디어입니다.

그것은 그 자체를 전개하는 핵심 아이디어입니다. 그것은 연결주의의 아이디어입니다.

만약 여러분이 인공 뉴런이 일종의 생물학적 뉴런과 유사하다고 믿는다면, 그렇죠?

만약 여러분이 하나가 다른 것과 일종의 유사하다고 믿는다면, 그것은 여러분에게 매우 큰 신경망이 문자 그대로 인간 두뇌 규모일 필요는 없고, 약간 더 작을 수도 있지만, 인간이 하는 거의 모든 것을 수행하도록 구성할 수 있다는 믿음을 줍니다.

여전히 차이가 있습니다. 아, 끝내는 것을 잊었습니다. 인간의 두뇌는 스스로를 재구성하는 방법을 알아내는 반면, 우리는 매개변수만큼 많은 데이터 포인트를 필요로 하는 최고의 학습 알고리즘을 사용하고 있기 때문에 여전히 차이가 있습니다.

인간은 여전히 이 점에서 더 낫습니다.

그러나 이것은 제가 주장하기에 프리 트레이닝 시대로 이어졌습니다. 그리고 프리 트레이닝 시대는 GPT-2 모델, GPT-3 모델, 스케일링 법칙이라고 말할 수 있으며, 특히 이전 공동 작업자인 알렉 래드포드, 또한 재러드 카플란, 다리오 아모데이를 불러서 이 작업을 실제로 수행하게 하고 싶습니다.

그러나 그것은 프리 트레이닝 시대로 이어졌고, 이것은 우리가 오늘날 보는 모든 발전, 즉 초대형 신경망, 거대한 데이터 세트에서 훈련된 엄청나게 큰 신경망의 동인이었습니다.

그러나 우리가 알고 있는 프리 트레이닝은 의심할 여지 없이 끝날 것입니다. 프리 트레이닝은 끝날 것입니다. 왜 끝날까요? 더 나은 하드웨어, 더 나은 알고리즘 및 로직 클러스터를 통해 컴퓨터가 성장하는 동안, 그렇죠?

이 모든 것들이 여러분의 컴퓨팅 능력을 계속 증가시킵니다. 이 모든 것들이 여러분의 컴퓨팅 능력을 계속 증가시킵니다. 우리는 인터넷이 하나밖에 없기 때문에 데이터는 증가하지 않습니다.

우리는 인터넷을 하나밖에 가지고 있지 않습니다. 데이터를 AI의 화석 연료라고 할 수도 있습니다. 데이터는 마치 창조된 것 같고, 지금 우리는 그것을 사용하고 있고, 데이터 정점에 도달해서 더 이상 없을 겁니다.

우리는 지금 가지고 있는 데이터를 처리해야 합니다.

여전히 우리를 꽤 멀리 데려다 줄 수 있지만, 인터넷은 하나뿐입니다. 그래서 앞으로 무슨 일이 일어날지에 대해 자유롭게 추측해 보겠습니다.

사실 추측할 필요도 없습니다. 많은 사람들이 추측하고 있고, 그들의 추측을 언급하겠습니다.

에이전트라는 말을 들어보셨을 텐데, 흔한 말이고 결국에는 무슨 일이 일어날 거라고 확신하지만, 사람들은 에이전트가 미래라고 생각합니다.

좀 더 구체적이지만 약간 모호하게는 합성 데이터가 있습니다. 하지만 합성 데이터는 무엇을 의미할까요? 이것을 알아내는 것은 큰 과제이며, 여러 사람들이 흥미로운 진전을 이루고 있을 것이라고 확신합니다. 그리고 추론 시간 컴퓨팅, 또는 가장 최근에, 가장 생생하게 O1 모델에서 볼 수 있었던 것들이 있습니다.

이것들은 모두 사전 훈련 이후에 무엇을 해야 할지 알아내려고 노력하는 사람들의 예이며, 모두 매우 좋은 일입니다.

생물학에서 또 다른 예를 언급하고 싶은데, 정말 멋지다고 생각합니다. 그 예는 다음과 같습니다. 아주 오래 전에 이 컨퍼런스에서 누군가가 이 그래프를 발표하는 것을 봤습니다. 그 그래프는 포유류의 몸 크기와 뇌 크기 사이의 관계를 보여주었습니다. 이 경우에는 질량으로 표시됩니다. 그 강연에서 그들은 생물학에서는 모든 것이 매우 엉망이지만, 여기 동물 몸 크기와 뇌 크기 사이에 매우 밀접한 관계가 있는 드문 예가 있다고 말했던 것이 생생하게 기억납니다. 완전히 무작위로 저는 이 그래프가 궁금해졌고, 초기 연구 중 하나로 Google에서 이 그래프를 찾아보았습니다. Google 이미지의 이미지 중 하나가 이것이었습니다. 이 이미지에서 흥미로운 점은, 마우스가 작동하는지 모르겠지만,

아, 네, 마우스가 아주 잘 작동하네요. 자, 여기 포유류들이 있죠?

모든 다른 포유류가 있죠. 그리고 인간이 아닌 영장류도 있고요. 기본적으로 똑같아요. 하지만 호미니드도 있는데, 제가 알기로 호미니드는 진화 과정에서 인간과 가까운 친척, 예를 들어 네안데르탈인 같은 존재입니다.

호모 하빌리스라고 불리는 것들도 있고, 아마 아주 많을 거예요. 그리고 그들은 모두 여기에 있죠.

흥미로운 점은 그들의 뇌 대 신체 크기 비율이 다르다는 것입니다.

정말 멋지죠. 이는 생물학적으로 다른 크기 조정을 알아낸 선례, 예시가 있다는 것을 의미합니다.

분명히 뭔가 다르다는 거죠. 저는 그 점이 멋있다고 생각합니다. 그리고 덧붙여서, 이 x축은 로그 스케일이라는 점을 강조하고 싶습니다.

보시다시피 100, 1,000, 10,000, 100,000이고, 마찬가지로 그램 단위로 1g, 10g, 100g, 1,000g입니다.

따라서 상황이 달라질 수 있습니다. 우리가 하고 있는 일, 지금까지 확장해 온 것은 사실 우리가 확장하는 방법을 처음으로 알아낸 것이고, 의심할 여지 없이 이 분야에서 일하는 모든 사람이 무엇을 해야 할지 알아낼 것입니다.

하지만 여기서 이야기하고 싶고, 앞으로 몇 분 동안 더 장기적인 관점, 우리가 모두 어디로 향하고 있는지에 대해 추측해 보고 싶습니다.

우리는 엄청난 발전을 이루고 있습니다. 정말 놀라운 발전입니다. 정말이지, 10년 전에 이 분야에 있었던 분들이라면 모든 것이 얼마나 무능했는지 기억하실 겁니다. 예를 들어, 여전히 학습이 필요하다고 말할 수도 있지만, 정말 믿을 수 없을 정도입니다.

완전히, 그 느낌을 여러분에게 전달할 수 없습니다. 지난 2년 동안 이 분야에 합류했다면, 물론 컴퓨터와 대화하고 컴퓨터가 여러분에게 대답하고 반박하는 것이 당연하겠지만, 항상 그랬던 것은 아닙니다.

하지만 초지능에 대해 조금 이야기하고 싶습니다. 이 분야가 향하고 있는 곳이 분명하기 때문입니다.

이것은 분명히 여기서 구축되고 있는 것이고, 초지능에 대한 것은 우리가 가진 것과는 질적으로 다를 것이라는 점입니다. 그리고 다음 1분 동안 제가 목표로 하는 것은 그것이 어떻게 다를지에 대한 구체적인 직관을 여러분에게 제공하여 여러분 스스로도 그것에 대해 추론할 수 있도록 하는 것입니다.

현재 우리는 놀라운 언어 모델과 믿을 수 없는 챗봇을 가지고 있으며, 그들은 심지어 여러 가지 일을 할 수 있지만, 이상하게도 신뢰할 수 없고 혼란스러워합니다. 또한 평가에서 엄청나게 초인적인 성능을 보이기도 하는데, 이 점을 어떻게 조화시켜야 할지 정말 불분명합니다.

하지만 결국 조만간 다음과 같은 일이 달성될 것입니다. 그러한 시스템은 실제로 진정한 의미에서 주체성을 갖게 될 것입니다. 반면에 지금 시스템은 어떤 의미 있는 의미에서도 주체가 아닙니다. 아주, 그건 너무 강한 표현일 수도 있겠네요. 아주, 아주 약간 주체성을 띠기 시작했을 뿐입니다.

그것은 실제로 추론할 것입니다. 그런데 추론에 대해 한 가지 언급하고 싶은 것은, 추론을 많이 할수록 예측 불가능해진다는 것입니다.

추론을 많이 할수록 예측 불가능해집니다. 우리가 익숙해져 온 모든 딥러닝은 매우 예측 가능합니다. 왜냐하면 인간의 직관을 복제하는 데 주력해 왔기 때문입니다. 본질적으로 그것은 직감과 같습니다.

0.1초 반응 시간으로 돌아가서, 우리 뇌에서 어떤 종류의 처리를 하는지 생각해 보면, 그것은 우리의 직관입니다.

그래서 우리는 우리의 AI에 그러한 직관을 부여했지만, 추론은 그 초기 징후를 보고 있습니다.

추론은 예측할 수 없습니다. 그 이유 중 하나는 체스 AI, 정말 뛰어난 체스 AI는 최고의 인간 체스 선수에게도 예측 불가능하기 때문입니다.

따라서 우리는 엄청나게 예측 불가능한 AI 시스템을 다뤄야 할 것입니다. 그들은 제한된 데이터로부터 사물을 이해할 것입니다.

그들은 혼란스러워하지 않을 것입니다. 이러한 모든 것들이 정말 큰 한계입니다. 그런데 어떻게, 언제라고 말하는 것이 아닙니다.

저는 그것이 일어날 것이라고 말하고 있습니다. 그리고 그러한 모든 것들이 자기 인식과 함께 일어날 것입니다. 왜 안 되겠습니까? 자기 인식은 유용합니다. 그것은 우리 자신의 일부이고, 우리 자신의 세계 모델의 일부입니다.

그러한 모든 것들이 함께 모일 때, 우리는 오늘날 존재하는 것과는 근본적으로 다른 품질과 속성을 가진 시스템을 갖게 될 것입니다.

물론 엄청나고 놀라운 능력을 갖게 되겠지만, 이런 시스템에서 발생하는 종류의 문제들은, 상상해 보시라고 말씀드리고 싶고, 우리가 익숙했던 것과는 매우 다릅니다. 그리고 미래를 예측하는 것도 불가능하다고 말씀드리고 싶습니다.

정말 온갖 종류의 일이 가능하지만, 이 희망적인 이야기를 끝으로 마무리하겠습니다. 정말 감사합니다. 어, 감사합니다.

어, 2024년 현재, 인간 인지의 일부인 다른 생물학적 구조 중에서 비슷한 방식으로 탐구할 가치가 있다고 생각하거나 어쨌든 관심이 있는 것이 있나요?

이 질문에 대한 제 대답은, 만약 당신이나 누군가가 '우리는 모두 멍청한 짓을 하고 있어. 왜냐하면 뇌는 분명히 뭔가를 하는데 우리는 그렇지 않고, 그것은 할 수 있는 일이야'라는 특정한 통찰력을 가진 사람이라면, 그것을 추구해야 한다는 것입니다.

개인적으로는, 글쎄요, 당신이 보는 추상화 수준에 따라 다르겠죠.

이렇게 대답해 볼까요? 생물학적으로 영감을 받은 AI를 만들고 싶어하는 욕구가 많았고, 어떤 수준에서는 생물학적으로 영감을 받은 AI가 엄청나게 성공적이라고 주장할 수 있습니다. 즉, 생물학적으로 영감을 받은 AI의 모든 학습이 그렇다는 것이죠. 하지만 다른 한편으로는 생물학적 영감은 매우, 매우, 매우 미미했습니다.

마치 '뉴런을 사용하자' 이것이 생물학적 영감의 전부인 것과 같습니다.

뉴런을 사용하고 더 자세한 생물학적 영감은 얻기가 매우 어려웠지만, 배제하지는 않겠습니다. 누군가 특별한 통찰력을 가지고 있다면 무언가를 볼 수 있고 그것이 유용할 수 있다고 생각합니다.

자동 수정에 대한 질문이 있습니다.

음, 질문은 이렇습니다. 미래 모델링의 핵심 측면이자 차별화 요소가 될 수 있는 추론에 대해 언급하셨습니다.

오늘날 모델의 환각은 우리가 분석하는 방식이며, 제 말을 수정할 수도 있습니다. 당신이 전문가시니까요. 하지만 모델이 추론할 수 없는 위험성을 알고 있기 때문에 오늘날 모델이 환각을 일으키는지 여부를 분석하는 방식은 통계적 분석을 사용하는 것입니다. 예를 들어 평균에서 어느 정도의 표준 편차를 벗어나는 것과 같습니다.

미래에는 추론 능력이 주어진 모델이 스스로를 교정할 수 있다고 생각하지 않으세요? 일종의 자동 교정처럼 말이죠. 그리고 그것이 미래 모델의 핵심 기능이 되어서 환각 현상이 줄어들 것입니다. 왜냐하면 모델이 환각이 발생하고 있다는 것을 인지할 수 있을 테니까요. 너무 심오한 질문일 수도 있지만, 모델이 추론하고 환각이 언제 발생하는지 이해할 수 있을 것입니다.

질문이 이해되시나요? 네, 그리고 답도 '네'입니다. 제가 설명하신 것은 매우 가능성이 높다고 생각합니다. 네, 확인해 보셔야 합니다. 제 말은, 네, 저는 지금 시판되는 초기 추론 모델 중 일부에서도 이미 일어나고 있을 가능성을 배제하지 않겠습니다.

모르겠지만, 장기적으로는 왜 안 되겠어요? 네, 제 말은, Microsoft Word의 자동 교정과 같은 일부입니다.

그것은 핵심 기능입니다. 네, 저는 그냥 자동 교정이라고 부르는 것은 정말 부당하다고 생각합니다.

자동 교정이라고 말하면, 그것은 자동 교정보다 훨씬 더 웅장하게 느껴집니다. 하지만 그 점을 제외하고는 답은 '네'입니다.

감사합니다. 일리야, 엔딩이 마음에 들었습니다. 미스터리하게도 '그들이 우리를 대체하는가, 아니면 그들이 우리보다 우월한가?'라는 질문을 남겨두셨네요.

그들에게 권리가 필요한가요? 아시다시피, 그것은 새로운 종의 호모 사피엔스 지능입니다. 그래서 그들에게 권리가 필요할 수도 있습니다. 제 말은, RL 담당자는 그들이 생각한다고 생각하고, 아시다시피, 우리는 이들에게 권리가 필요하다고 생각합니다.

UNR에 대한 질문이 있습니다. 인류가 호모 사피엔스로서 우리가 가진 자유를 줄 수 있는 방식으로 실제로 창조할 수 있도록 올바른 인센티브 메커니즘을 어떻게 만들 수 있을까요?

어떤 의미에서는 사람들이 더 많이 고민해야 할 종류의 질문이라고 생각합니다.

하지만 우리가 어떤 인센티브 구조를 만들어야 하는지에 대한 질문에 대해서는

잘 모르겠습니다. 이런 질문에 자신 있게 대답할 자신이 없습니다. 왜냐하면, 일종의 하향식 구조, 정부 같은 것을 만드는 것에 대해 이야기하는 것과 같기 때문입니다.

모르겠어요. 암호 화폐일 수도 있겠죠. 네, 제 말은 비트텐서 같은 것들이 있잖아요.

제가 암호 화폐에 대해 언급할 적임자는 아니라고 생각하지만, 어쩌면, 아시다시피, 당신이 설명하는 일이 일어날 가능성이 있습니다. 실제로 우리가, 아시다시피, 어떤 의미에서 AI가 있고 그들이 우리와 공존하고 싶어 하고 권리만 갖기를 원한다면 나쁜 결과는 아닐 것입니다.

하지만 잘 모르겠어요. 제 생각에는 상황이 너무나 예측 불가능해요. 언급하기는 망설여지지만 추측을 장려합니다. 감사합니다. 그리고 네, 강연 감사합니다.

정말 멋집니다. 안녕하세요. 좋은 강연 감사합니다. 저는 토론토 대학교의 샬레브 리트이고 쉴라와 함께 연구하고 있습니다.

그동안 해주신 모든 일에 감사드립니다. LLM이 다중 홉 추론을 분포 외로 일반화한다고 생각하시는지 묻고 싶었습니다.

질문은 답이 예 또는 아니오라고 가정하지만, 분포 외 일반화가 무엇을 의미하는지 묻는 질문에는 예 또는 아니오로 답해서는 안 됩니다.

무슨 뜻인가요? 분포 내는 무슨 뜻이고 분포 외는 무슨 뜻인가요? 왜냐하면 이것은 시대의 시험 강연이기 때문입니다.

오래전, 사람들이 딥러닝을 사용하기 전에 기계 번역에 문자열 일치 엔그램 같은 것을 사용했다고 말씀드리겠습니다.

사람들은 통계적 구문 테이블을 사용했습니다. 상상할 수 있나요? 그들은 수만 줄의 복잡성을 가진 코드를 가지고 있었는데, 정말 헤아릴 수 없을 정도였습니다. 그리고 그때 일반화는 데이터와 문자 그대로 동일한 문구가 아닌지를 의미했습니다.

주최자와 공동 저자에게 감사를 표합니다.

과거 프레젠테이션의 전후 비교를 표시합니다(NeurIPS 2014).

Ilya Sutskever: "Sequence to sequence learning with neural networks: what a decade"

Ilya Sutskever: "Sequence to sequence learning with neural networks: what a decade"

스크립트