So I would love if you could, you touched on this, but just describe in a little bit more detail how and why you felt like you had to move from a nonprofit structure to a for-profit structure and like, was that like a light bulb going off or the simple, the simple thing was we just needed vastly more capital than we thought we could attract, not that we thought we tried, that we were able to attract as a nonprofit.

You know, we knew that scaling computers was going to be important, but we still really underestimated how much we need to scale them. Yeah, so does that suggest that nobody can do AI as a nonprofit in any kind of a meaningful way?

No, there are other things that you can do for sure, but to be at the front of scaling research, which I think you probably can't do that as a nonprofit.

What about as government? Government could do anything they wanted.

Right, right. Well, but yes and no. So again, one of the things we try and pick at is that there's some things that firms are much better at than government.

So I mean, do you think the Department of Energy or the Department of Defense could do Open AI as well as you guys do? The Apollo program was pretty impressive, so do you think that could possibly be another route?

I think, you know, in some sense, in a well-functioning society, I think this would be a government project, but that seemed to be a big F given that that's not happening.

I think it's better that it happens this way and happens, you know, like as an American project.

Okay. You also then said a couple of times that the there's a role for the government or you, I think you use the word society to play in setting some of the guard rails or in directing things so that equity is built in more than a role like maybe that's like society should play the role there but how does that?

Like society is not like a thing. No, it's a complex negotiation of a lot of different stakeholders.

But we kind of do, we know, you know, we do this, we get this right over time. Give me an example.

How do we get it right? Airplanes are really safe. Boeing problems aside, in general, airplanes have been remarkably safe. That happened largely as a result of kind of old-fashioned regulation.

Uh, I would say it happened because people want to get on an airplane and know that they're not going to die and society responds to that, right?

Well, specifically government responds. Airplane manufacturers also, if they want to keep selling airplanes that people want to get on, definitely governments have a role.

Um, the scientists and engineers working on it feel a sense of obligation. I think it's a, I think it is a multi-party thing, but there's a huge role for regulation for sure.

And are you, how are you? You're clearly going to be be a player in this game as it unfolds, big player.

I'd put money on it. So how are you thinking about it? And I compare it a little bit, having been at HBS, when the internet happened, sort of the folks who were you and when social media and the internet were happening, we're saying no, government, cyberspace wants to be free.

You know, keep, keep the black helicopters out of our business. How are you thinking about sort of your position Visa the government?

I mean, I hope, I hope it's like a real partnership. It's been fairly constructive so far. Um, too much regulation clearly slows innovation, not enough clearly leads to a whole set of other problems.

Everyone agrees I think on those two statements and then there's just a question of where you, where you should be on that spectrum, and do you think there's particular parts of the government that, I know you're working with DHS, but DOE, DOD?

I mean, where would you most like to build bridges?

I mean, I, it's easy to be too optimistic and drink the Kool-Aid too much in this, but I think this is going to touch like all parts of society and all parts of government.

But those are hard things to to build for sure.

And, but you know, like the internet touched all parts of society pretty much, right? And but arguably we got some parts of that really wrong. I was going to say we got a lot of that wrong, we got some parts right, and I don't think most people would say undo the internet even with all the problems.

Yeah, but it's kind of interesting watching my students, a lot of them having grown up on social media would like that part of the internet to go away for sure.

And there will be parts of AI that you will you would like to go away.

But how many of your students would push a button and like destroy all computers in the entire internet? Oh, none, none. Um, so there will be parts you don't like.

There'll be parts your students 10 years or not don't like either, but on the whole, I think it'll be a huge net win.

And so, and some of the students asked you this, but maybe I'll ask you to go a little deeper in it. If you think about from either the societal perspective or the commercial perspective, what are the pieces of AI that you're most excited about personally?

I think greatly increasing the rate of scientific discovery is what I'm most excited about.

I believe that that is, if you zoom all the way out, that is how the world gets sustainably better um and I think doing more of that is awesome a lot of other areas too.

I think there'll be incredible AI tutors, incredible AI medical advisors.

But but personally speaking, I'm so excited for AI for science. In any particular parts of science? I mean, I guess if I had one personal thing to pick, I would say like, you know, go solve all of physics.

But uh no, I'm excited for it everywhere.

So why all of physics? I I have incredible personal curiosity and I also believe that, you know, the more we can understand about physics, the more we can manipulate the universe and I don't know what will come of that, but it seems probably important to find out.

So then the obvious question, what happens to the physicists if we TR I was being a little facetious there.

If we truly, if there's truly no problems left in physics at all, then I I don't I don't know.

Um, what I suspect is that we answer the current questions and find more and harder and more interesting problems.

So have you read um this piece by John Maynard Keynes, Economic Prospects for Our Grandchildren? No. Okay, we have to, I have to send it to you.

It's it's brilliant. So Keynes wrote it in in 1930 and he's talking about what the world is going to look like 100 years.

You must you must know. Yeah, because he you know, it's this a similar set of issues that once you solve all the problems and he has he comes up with sort of a weird answer to it that we're just going to make art and and not care about money.

I mean, do do you think about those kinds of existential questions?

What happens to the physicist? What's happens? You know, everybody has been debating this for a long time and he was I think sort of right and sort of wrong.

Um, there is some sense in which you could go back to the 1930s and look at a lot of people today, you would say they are just making art and they don't care about money, they're all fine, but that's not their experience of it.

If you could look at the people today and go forward another 100 years and ask them what they think about those people of the future's jobs, we'll say, you know, it's a weird definition of art, but okay, they're making art and none of them care about money.

They have unbelievable material abundance and you think a little bit harder and say, well, they seem busy and stressed and they seem to be getting a great deal of satisfaction out of the work they're doing and they don't quite call it art and, you know, they still feel like they don't have enough and they want more and they're still finding new ways to compare each other, compare with each other and, you know, maybe they're now instead of like looking at whether their house is bigger or smaller than their neighbors, they're looking at whether they own a nicer Galaxy or less of a nice one than their neighbors, but I think the human drives are just going to keep going.

Human nature doesn't, I don't think so, doesn't seem to change. So one of the things I write about in my weird books is the um prediction that we're going to fall in love with robots, which is an exaggerated version of what I actually do think is true, that that we are going to embrace AI entities as as emotional companions.

What's what's your sense? I mean, are you are you a fan of the kind of Singularity type Vision where there is this merging and we start to build emotional connections with things that are created rather than born.

Yeah, I suspect that entertainment in the future will look quite different and maybe it does, you know, maybe a lot of the time spent watching TV or playing video games today is replaced with an interactive experience with AIs and we probably do derive some version of companionship from that, but for most of us, I think the premium on, you know, the real human authentic version of it goes up, not down, in that kind of a world.

So I'm sure we'll be talking to AIs a lot and I'm sure it'll be a fantastically entertaining world, but I would bet that there's something deep about human nature where just the knowledge that it's another real person or not really matters, although sometimes you know, I talk to some of the people I care about the most entirely through text because we're in the same city, so I might not know if they were being replaced.

I might be fine with that. If they were dead, well, that's the question. If you knew it was not a real person behind it, would it be any different?

And I would posit that you would. Yeah, we're going to find out, right? We're going to find out, but I think you will.

Okay, all right, so we should make a bet on it and, you know, I would be happy. See, 100 years from now, I give you nice odds.

Okay, so I want to go back to one other piece of that you raised in your talk earlier, you know. One of the kids asked the question about um equity and and and you had a very nice answer that which I agree with that this your talk earlier you the one of the kids asked the question about um equity and and and you had a very nice answer that which I agree with that that this the technology is probably going to drive to equity, but it's going to need some nudging, kind of nudging do you have in mind?

Well, first of all, I think it may not need any nudging at all. Sometimes technology doesn't. Um, and I also think that knowing the right kind of nudging academically is hard to do.

You kind of have to do it experientially. Like I'm sure all of my ideas right now are totally wrong.

Um, I think I think a tight feedback loop and watching where the problems are being created, fixing those, finding the new problems, that's kind of how I believe will have to be the nudging.

Although it's hard, right? I mean, like I I just came back from Denmark.

You can see doing that in a country like Denmark, small, they have really good data.

Like the U we you know, the US takes 30 years to pass any kind of regulations. So how do you how do you think about that nudging?

I mean, I hope the companies will do it. Okay. Okay. I think, yeah, if if you're relying on US regulation, that but you have I actually taught your piece last night, two nights ago, the Moore's Law for Everything.

How did it hold up? No, I think it's quite that I thought it's very interesting, you know, because you're talking about changes in the taxation system which are not particularly far-fetched.

I mean, they're doable, whether they're doable in the current political situations in different question, but you know, basically talking about it, you know, tax on land and and uh and technology, basically, yeah, companies.

I I mean, I like it. Have you would you still oh I still think that's right for sure.

I just, I don't remember all. Uh, no, I think that, I think that in a world of AI, um, tax in income and corporate profits primarily is not quite right.

Like, we do need to switch to a tax on capital somehow, it seems to me. Yeah, yeah, no, I think that, I mean, I, it's just a really interesting idea that hasn't gotten sufficient track because it's different than a UBI.

I mean, it's connected in some ways, but it's different.

If you had one wish for AI, what would it be? Love humanity. Can you build that in? I think, so, like, how do you, one of the things that has worked surprisingly well is the ability to align an AI system to behave in a particular way.

And so if we can articulate what that means in a bunch of different cases, and yeah, I think we can get the system to act that way.

Do you think OpenAI can and should, like, have the power to make its own rules? Like, should, why should we trust you?

You shouldn't. Okay. I don't think you should. I don't think we will.

I don't think we should. Yeah, I'm not, by the way, that does not necessarily mean that the right thing to do is to hand it over to like a government bureaucrat either.

One of the directional kind of thing that I think is interesting is you could imagine one of these systems chatting with all of its users, saying, explain to me your value system, and then I'm going to collectively align across that.

I am a believer that the users of technology, the people impacted by it the most, deserve the loudest say in its governance.

So you could do something like that. I mean, is that feasible?

especially again given the vast sums of money totally feasible, like again, I think that's really a new thing that is enabled by this technology that just wasn't possible before.

Okay, so is that something like what Anthropic is pushing towards? I don't know what they're doing.

I'm not, I'm not sure. No, CU, I mean they had this sort of seemed a little, a little naive, the idea of, you know, we're going to put our design principles out there for kind of crowdsourcing what I was thinking.

I mean, I think it's very good to say, here's how we're making these trade-offs of what this system will do and not do, but what I was saying, what I meant more is, um, I, I, I'm interested in the thought experiment of an AI chats with you for a couple of hours about your value system and does that with me and with everybody else and then says, okay, I can't make everybody happy all the time, so it's essentially sort of using AI to come up with a consensus, well, using AI to talk to everybody to understand the consensus in a deep level of billions of people, okay, which we can't do without AI probably, okay, but it would, it would just be interesting, um, to line up something like that against kind of the foundation in documents of this country, which are explicitly for better or worse against majority rule.

Now, what you're describing is different, but I guess foundational pretty quickly. Well, but it is fundamentally about democracy with some power checks on it.

Yeah, yeah, you'd have to think about what those look for sure. Yeah, so if, if the consensus is that it's bad AI, you know, that, that it's evil, so how do you come up with the checks?

Well, I think that should be part of like what people should vote on for the governance structure.

비영리를 영리로 전환한 이유 (샘알트먼)

BZCF | 비즈까페

OpenAI는 비영리에서 영리 구조로 전환한 이유는 AI 연구 확장에 필요한 막대한 자본을 유치하기 위해서였다.

샘 알트먼은 AI가 사회 모든 부분에 영향을 미칠 것이며, 규제와 파트너십을 통해 안전과 혁신 사이의 균형을 맞춰야 한다고 강조한다.

AI가 과학 발전과 개인 맞춤형 교육 및 의료 자문 분야에서 긍정적인 역할을 할 것으로 기대하며, AI를 활용해 사회적 합의를 도출하는 새로운 거버넌스 모델을 모색해야 한다고 제안한다.

💸 비영리에서 영리로 전환한 이유

**컴퓨터 확장의 중요성을 알았지만, 그 규모를 과소평가했다**는 샘 알트먼의 발언은 비영리 단체로서 AI 연구 확장의 어려움을 시사합니다. 그는 최전선 연구 확장은 비영리 단체로는 불가능하다고 언급합니다.

정부의 역할에 대한 질문에 대해, 알트먼은 **기업이 정부보다 훨씬 잘하는 일들이 있다**고 답하며, 오픈AI와 같은 AI 연구는 미국 프로젝트처럼 기업 주도로 진행되는 것이 더 낫다고 생각한다고 밝혔습니다.

🤝 정부와의 파트너십과 규제의 중요성

알트먼은 정부와의 진정한 파트너십을 희망하며, **과도한 규제는 혁신을 늦추고, 부족하면 다른 문제가 발생한다**고 지적합니다. 그는 국토안보부 외에 에너지부, 국방부 등 정부 부서와의 협력 가능성도 언급하며 사회 모든 부분에 AI가 영향을 미칠 것이라고 예상합니다.

알트먼은 **과학적 발견 속도를 높이는 것**에 대한 기대감을 드러냈습니다. 특히 물리학 분야의 발전을 통해 우주를 더 많이 조작할 수 있게 되기를 희망하며, AI 튜터, 의료 자문가 등 다양한 분야에서의 긍정적인 영향을 예상합니다.

AI 시대에는 소득과 법인 이익에 대한 세금이 적절하지 않으며, **자본에 대한 세금으로 전환해야 한다**는 의견을 제시했습니다. 이는 UBI와는 다르지만 연결되는 흥미로운 아이디어라고 설명합니다.

인간의 본성에 대한 고찰과 함께, 알트먼은 미래에는 **사람들이 AI 개체를 감정적인 동반자로 받아들일 것**이라고 예측합니다. 그는 AI와의 인터랙티브 경험이 엔터테인먼트의 많은 부분을 대체할 수 있지만, 실제 인간관계의 가치는 더욱 높아질 것이라고 전망합니다.

알트먼은 AI 기술이 형평성을 향해 나아갈 것이라고 예상하지만, 필요한 조정이 있을 수 있다고 언급합니다. 그는 **경험적 접근을 통해 문제점을 파악하고 해결**하는 것이 중요하다고 강조하며, 미국 규제에 의존하기보다는 기업들이 자체적으로 해결해야 한다고 주장합니다.

OpenAI가 자체적으로 규칙을 만들 권한을 가져서는 안 되며, 정부 관료에게 넘겨주는 것도 옳지 않다고 생각합니다. 그는 **기술 사용자, 즉 기술의 영향을 가장 많이 받는 사람들이 기술 거버넌스에 대해 가장 큰 발언권을 가져야 한다**고 믿습니다.

AI가 모든 사용자와 대화하며 가치관을 설명해 달라고 요청한 다음 종합적으로 조정하는 방식을 제안합니다. **AI를 사용하여 수십억 명의 사람들의 합의를 이해**하는 것이죠. 그는 합의된 내용이 나쁜 AI라면 어떻게 견제할 수 있을지에 대한 고민도 필요하다고 덧붙였습니다.

알트먼은 **AI가 인류를 사랑하기를 바란다**는 소망을 표현하며, AI 시스템이 특정 방식으로 행동하도록 조정하는 기능이 놀라울 정도로 잘 작동하고 있다고 언급합니다.

그래서 말씀하신 내용에 대해 좀 더 자세히 설명해 주시면 감사하겠습니다. 비영리 구조에서 영리 구조로 전환해야겠다고 느낀 이유가 무엇이며, 전구가 켜진 듯한 느낌이었는지, 아니면 단순히 우리가 생각했던 것보다 훨씬 더 많은 자본이 필요했고, 비영리 단체로서 유치할 수 있다고 생각했던 것보다 훨씬 더 많은 자본이 필요했기 때문이었는지요.

컴퓨터 확장이 중요하다는 것은 알고 있었지만, 얼마나 확장해야 할지는 과소평가했습니다. 그렇다면 누구도 AI를 비영리 단체로서 의미 있는 방식으로 할 수 없다는 뜻인가요?

아니요, 분명히 할 수 있는 다른 일들이 있습니다. 하지만 최전선에서 연구를 확장하는 것은 비영리 단체로서는 할 수 없을 것 같습니다.

정부로서라면요? 정부는 원하는 대로 할 수 있잖아요.

맞아요. 하지만 그렇기도 하고, 아니기도 합니다. 다시 말하지만, 우리가 파악하려고 노력하는 것 중 하나는 기업이 정부보다 훨씬 더 잘하는 일들이 있다는 것입니다.

그렇다면 에너지부나 국방부가 오픈AI를 당신들만큼 잘할 수 있다고 생각하시나요? 아폴로 계획은 꽤 인상적이었는데, 그것도 또 다른 방법이 될 수 있을까요?

제 생각에는 어떤 의미에서 잘 기능하는 사회에서는 이것이 정부 프로젝트가 되어야 한다고 생각하지만, 그렇게 되지 않을 것이 분명해 보였습니다.

이런 식으로, 미국 프로젝트처럼 일어나는 것이 더 낫다고 생각합니다.

알겠습니다. 정부의 역할이 있다고 몇 번 말씀하셨는데, 아니면 사회라는 단어를 사용하신 것 같은데, 안전 장치를 설정하거나 형평성이 더 많이 구축되도록 지시하는 데 역할을 한다고 하셨는데, 그 역할이 어떻게 되나요?

사회는 그런 존재가 아닙니다. 많은 이해 관계자들이 복잡하게 협상하는 것입니다.

하지만 우리는 시간이 지나면서 제대로 해낼 수 있다는 것을 알고 있습니다. 예를 들어 주시겠어요?

어떻게 제대로 해내나요? 비행기는 정말 안전합니다. 보잉 문제를 제외하면 일반적으로 비행기는 매우 안전합니다. 그것은 대체로 구식 규제의 결과로 일어났습니다.

어, 저는 사람들이 비행기를 탔을 때 죽지 않을 거라는 걸 알고 싶어 하고 사회가 거기에 반응하기 때문에 그런 일이 일어났다고 말하고 싶어요.

음, 특히 정부가 대응하죠. 비행기 제조업체들도 사람들이 계속 타고 싶어 하는 비행기를 계속 팔고 싶다면요. 분명히 정부도 역할을 해야 합니다.

음, 그 일을 하는 과학자들과 엔지니어들은 의무감을 느껴요. 제 생각에는 다자간의 문제이지만 규제가 큰 역할을 한다고 생각합니다.

그리고 당신은, 당신은 어떻습니까? 당신은 분명히 이 게임에서 큰 역할을 하게 될 텐데요.

저는 그렇게 생각합니다. 그래서 당신은 어떻게 생각하고 있나요? 저는 HBS에 다녔을 때 인터넷이 등장했을 때와 약간 비교해 보는데, 당신과 같은 사람들과 소셜 미디어와 인터넷이 등장했을 때, 정부는 안 된다, 사이버 공간은 자유로워야 한다고 말했죠.

아시잖아요, 검은 헬리콥터를 우리 사업에서 내쫓으라고요. 정부를 상대로 당신의 입장을 어떻게 생각하고 있나요?

제 생각에는 진정한 파트너십과 같았으면 좋겠어요. 지금까지는 꽤 건설적이었어요. 음, 과도한 규제는 혁신을 늦추고, 부족하면 다른 문제가 많이 생기죠.

저는 모든 사람이 이 두 가지 진술에 동의한다고 생각하고, 그 스펙트럼에서 어디에 있어야 하는지, 그리고 국토안보부와 협력하고 있다는 건 알지만 에너지부, 국방부 등 정부의 특정 부서가 있다고 생각하나요?

어디에 가장 다리를 놓고 싶으신가요?

제 생각에는 너무 낙관적으로 생각하고 쿨에이드를 너무 많이 마시는 건 쉽지만, 이것은 사회의 모든 부분과 정부의 모든 부분에 영향을 미칠 거라고 생각합니다.

하지만 그런 것들을 구축하기는 어렵죠.

아시다시피 인터넷은 사회의 거의 모든 부분에 영향을 미쳤잖아요? 하지만 틀림없이 우리는 그 부분에서 몇 가지 실수를 저질렀어요. 많은 부분을 잘못했고, 일부는 잘했다고 말하려고 했는데, 대부분의 사람들은 모든 문제에도 불구하고 인터넷을 되돌리고 싶어 하지는 않을 거라고 생각합니다.

네, 그런데 제 학생들이 소셜 미디어에서 자란 학생들이 많아서 인터넷의 그 부분이 사라지길 바라는 걸 보면 흥미롭습니다.

그리고 AI에는 여러분이 없애고 싶어 하는 부분들이 있을 겁니다.

하지만 여러분의 학생들 중 몇 명이나 버튼을 눌러 인터넷에 있는 모든 컴퓨터를 파괴하고 싶어 할까요? 아무도 없을 겁니다. 음, 여러분이 싫어하는 부분들이 있을 겁니다.

여러분의 학생들이 10년 후에 싫어하는 부분들도 있겠지만, 전체적으로 봤을 때 엄청난 순이익이 될 거라고 생각합니다.

그래서, 그리고 몇몇 학생들이 여러분에게 이 질문을 했지만, 좀 더 깊이 들어가 보도록 하겠습니다. 사회적 관점이든 상업적 관점이든, 개인적으로 가장 기대되는 AI의 어떤 부분들이 있나요?

저는 과학적 발견 속도를 크게 높이는 것이 가장 기대됩니다.

제 생각에는, 아주 멀리서 보면, 그것이 세상을 지속 가능하게 만드는 방법이고, 그것을 더 많이 하는 것이 굉장하다고 생각합니다. 다른 많은 분야도 마찬가지입니다.

저는 놀라운 AI 튜터, 놀라운 AI 의료 자문가가 있을 거라고 생각합니다.

하지만 개인적으로는 과학을 위한 AI가 너무 기대됩니다. 과학의 특정 분야가 있나요? 음, 개인적으로 하나를 꼽으라면, 물리학을 모두 해결하는 것이라고 말하고 싶습니다.

하지만, 저는 모든 분야에서 기대하고 있습니다.

왜 모든 물리학인가요? 저는 엄청난 개인적인 호기심이 있고, 또한 물리학에 대해 더 많이 이해할수록 우주를 더 많이 조작할 수 있다고 믿기 때문입니다. 그것으로부터 무엇이 나올지는 모르겠지만, 알아내는 것이 중요할 것 같습니다.

그렇다면 당연한 질문은, 우리가 물리학자들에게 무슨 일이 일어날까요? 제가 좀 경솔했습니다.

만약 우리가 정말로, 물리학에 더 이상 문제가 없다면, 저는 잘 모르겠습니다.

음, 제가 추측하기로는, 우리는 현재의 질문에 답하고 더 어렵고 더 흥미로운 문제들을 발견할 것입니다.

존 메이너드 케인스의 '손자 세대를 위한 경제적 전망'이라는 글을 읽어보셨나요? 아니요. 알겠습니다. 보내드려야겠네요.

정말 훌륭합니다. 케인스는 1930년에 이 글을 썼고, 100년 후의 세상이 어떻게 될지에 대해 이야기하고 있습니다.

분명히 아실 겁니다. 아시겠지만, 그가 문제를 모두 해결하면 비슷한 문제가 생깁니다. 그는 돈에는 신경 쓰지 않고 예술만 하겠다는 이상한 해답을 내놓습니다.

그런 실존적인 질문에 대해 생각해 보신 적 있으신가요?

물리학자는 어떻게 될까요? 무슨 일이 일어날까요? 오랫동안 많은 사람들이 이 문제를 두고 논쟁을 벌였고, 그는 옳기도 하고 틀리기도 했다고 생각합니다.

1930년대로 돌아가서 오늘날의 많은 사람들을 보면 그들은 돈에는 신경 쓰지 않고 예술만 한다고 말할 수도 있습니다. 그들은 괜찮겠지만, 그것은 그들의 경험이 아닙니다.

오늘날의 사람들을 보고 100년 후로 가서 미래의 직업에 대해 어떻게 생각하는지 물어보면, 이상한 예술의 정의라고 하겠지만, 그들은 예술을 하고 돈에는 신경 쓰지 않는다고 말할 것입니다.

그들은 엄청난 물질적 풍요를 누리고 있습니다. 조금만 더 생각해보면 그들은 바쁘고 스트레스를 받는 것처럼 보이고, 그들이 하는 일에서 큰 만족감을 얻고 있는 것처럼 보입니다. 그들은 그것을 예술이라고 부르지 않고, 여전히 충분하지 않다고 느끼고 더 많은 것을 원합니다. 그리고 여전히 서로를 비교할 새로운 방법을 찾고 있습니다. 아마도 그들은 이제 집이 이웃보다 큰지 작은지를 보는 대신, 이웃보다 더 좋은 갤럭시를 소유하고 있는지, 아니면 덜 좋은 갤럭시를 소유하고 있는지를 보고 있을 것입니다. 하지만 인간의 욕구는 계속될 것이라고 생각합니다.

인간의 본성은 변하지 않는 것 같습니다. 제가 이상한 책에서 쓰는 것 중 하나는 우리가 로봇과 사랑에 빠질 것이라는 예측입니다. 그것은 제가 실제로 옳다고 생각하는 것을 과장한 것입니다. 우리는 AI 개체를 감정적인 동반자로 받아들일 것입니다.

어떻게 생각하시나요? 특이점과 같은 비전을 좋아하시나요? 특이점은 융합이 일어나고 우리가 태어난 것이 아닌 창조된 것과 감정적인 연결을 구축하기 시작하는 것입니다.

네, 저는 앞으로 엔터테인먼트의 모습이 꽤 달라질 것이라고 생각합니다. 어쩌면 오늘날 TV를 보거나 비디오 게임을 하는 데 보내는 많은 시간이 AI와의 인터랙티브 경험으로 대체될 수도 있습니다. 그리고 우리는 아마도 거기에서 일종의 동료애를 얻을 수 있겠지만, 대부분의 사람들에게는 실제 인간의 진정한 모습에 대한 가치가 그러한 세상에서 낮아지는 것이 아니라 높아질 것이라고 생각합니다.

그래서 우리는 AI와 많은 대화를 나누게 될 것이고, 환상적으로 재미있는 세상이 될 것이라고 확신합니다. 하지만 저는 인간 본성에는 그것이 또 다른 실제 사람인지 아닌지에 대한 지식이 정말 중요하다는 깊은 무언가가 있다고 생각합니다. 비록 때로는 제가 가장 아끼는 사람들 중 일부와 문자로만 대화하기도 하지만요. 왜냐하면 우리는 같은 도시에 있기 때문입니다. 그래서 저는 그들이 대체되고 있는지 모를 수도 있습니다.

저는 괜찮을지도 모릅니다. 만약 그들이 죽었다면, 글쎄요, 그게 문제입니다. 만약 당신이 그것이 진짜 사람이 아니라는 것을 안다면, 그것은 다를까요?

저는 당신이 그렇게 생각할 것이라고 주장하고 싶습니다. 네, 우리는 알아낼 것입니다, 그렇죠? 우리는 알아낼 것이지만, 저는 당신이 그렇게 생각할 것이라고 생각합니다.

좋아요, 좋아요, 그럼 내기를 해야겠네요. 100년 후에는 좋은 배당률을 드릴게요.

좋아요, 그럼 아까 강연에서 말씀하신 다른 부분으로 돌아가고 싶습니다. 아까 강연에서 아이들이 형평성에 대해 질문했는데, 당신은 매우 훌륭한 답변을 해주셨습니다. 저는 그 답변에 동의합니다. 이 기술은 아마도 형평성을 향해 나아가겠지만, 약간의 조정이 필요할 것입니다. 어떤 종류의 조정이 필요하다고 생각하시나요?

글쎄요, 우선 전혀 조정이 필요하지 않을 수도 있다고 생각합니다. 때로는 기술이 그렇지 않으니까요. 그리고 올바른 종류의 조정을 학문적으로 아는 것은 어렵다고 생각합니다.

당신은 경험적으로 그것을 해야 합니다. 마치 지금 제 모든 아이디어가 완전히 틀린 것처럼요.

음, 제 생각에는 긴밀한 피드백 루프를 통해 문제점이 발생하는 지점을 파악하고, 이를 해결하고, 새로운 문제를 찾아내는 것이 일종의 개입 방식이 되어야 한다고 생각합니다.

물론 어렵죠. 덴마크에서 막 돌아왔는데,

덴마크처럼 작고 데이터가 정말 좋은 나라에서는 가능할 것 같아요.

미국은 어떤 규제를 통과시키는 데 30년이 걸리잖아요. 그런 상황에서 어떻게 개입해야 할까요?

제 생각에는 기업들이 자체적으로 해야 할 것 같아요. 미국 규제에 의존한다면… 어젯밤, 아니 이틀 전에 당신의 글 '모든 것을 위한 무어의 법칙'을 읽었어요.

어땠나요? 꽤 흥미로웠어요. 특히 과세 시스템의 변화에 대해 이야기하는 부분이 비현실적이지 않았죠.

물론 현재 정치 상황에서 실현 가능할지는 의문이지만, 기본적으로 토지, 기술, 그리고 기업에 대한 세금에 대해 이야기하고 있잖아요.

저는 좋다고 생각해요. 아직도 그렇게 생각하시나요? 네, 저는 여전히 옳다고 생각해요.

다만, 전부 기억나진 않네요. AI 시대에는 소득과 법인 이익에 대한 세금은 적절하지 않다고 생각해요.

어떻게든 자본에 대한 세금으로 전환해야 할 것 같아요. 맞아요. 그 아이디어는 UBI와는 다르면서도 흥미로운데, 충분히 주목받지 못하고 있는 것 같아요.

어떤 면에서는 연결되어 있지만, 또 다르죠.

AI에 대한 소원이 있다면 무엇인가요? 인류를 사랑하는 것이요. 그걸 구현할 수 있을까요? AI 시스템이 특정 방식으로 행동하도록 조정하는 기능이 놀라울 정도로 잘 작동하고 있어요.

다양한 사례에서 그 의미를 명확히 정의할 수 있다면, 시스템이 그렇게 작동하도록 만들 수 있다고 생각합니다.

OpenAI가 자체적으로 규칙을 만들 권한을 가질 수 있고 또 가져야 한다고 생각하시나요? 왜 저희가 당신을 신뢰해야 하죠?

그러면 안 됩니다. 네, 그러면 안 된다고 생각합니다. 저희도 그렇게 하지 않을 겁니다.

저희도 그러면 안 된다고 생각합니다. 그런데 그게 정부 관료에게 넘겨주는 게 옳다는 뜻은 아닙니다.

제가 생각하기에 흥미로운 방향 중 하나는 이런 시스템이 모든 사용자와 대화하면서 당신의 가치관을 설명해 달라고 한 다음 그걸 종합적으로 조정하는 걸 상상해 볼 수 있다는 겁니다.

저는 기술 사용자, 즉 기술의 영향을 가장 많이 받는 사람들이 기술 거버넌스에 대해 가장 큰 발언권을 가져야 한다고 믿습니다.

그런 식으로 할 수도 있겠죠. 그게 가능할까요?

특히 막대한 자금이 있기 때문에 완전히 가능합니다. 이런 기술 덕분에 이전에는 불가능했던 새로운 일이 가능해졌다고 생각합니다.

그렇다면 Anthropic이 추진하는 것과 비슷한 건가요? 그들이 뭘 하는지는 모르겠습니다.

잘 모르겠습니다. 아니요, CU, 그들이 내놓은 디자인 원칙을 공개해서 크라우드 소싱한다는 아이디어는 좀 순진해 보였습니다. 제가 생각했던 건

이 시스템이 무엇을 하고 무엇을 하지 않을지에 대한 절충안을 제시하는 방식은 매우 좋다고 생각하지만, 제가 말하고 싶었던 것은 AI가 당신의 가치관에 대해 몇 시간 동안 이야기를 나누고, 저와 다른 모든 사람들과도 그렇게 한 다음 '모두를 항상 행복하게 할 수는 없다'고 말하는 겁니다. 즉, AI를 사용하여 수십억 명의 사람들의 깊은 수준에서 합의를 이해하기 위해 모든 사람과 대화하는 데 AI를 사용하는 것이죠. AI 없이는 아마 불가능할 겁니다. 하지만 이 나라의 기본 문서에 대해 그런 것을 대조해 보는 것도 흥미로울 겁니다. 좋든 싫든 명시적으로 다수결에 반대하는 것이죠.

지금 말씀하신 내용은 다르지만, 제 생각에는 꽤 빨리 기초가 될 것 같습니다. 음, 하지만 기본적으로 민주주의에 권력 견제 장치가 있는 것과 같습니다.

네, 네, 어떤 모습일지 생각해 봐야 할 것 같아요. 네, 만약 합의된 내용이 나쁜 AI, 즉 악한 AI라면, 어떻게 견제할 수 있을까요?

음, 저는 그것이 사람들이 거버넌스 구조에 대해 투표해야 하는 내용의 일부가 되어야 한다고 생각합니다.

네, 좋습니다. 감사합니다. 감사합니다.

비영리에서 영리 구조로의 전환

비영리 단체로서 유치할 수 있는 것보다 훨씬 더 많은 자본이 필요합니다.

AI 연구 확장에 필요한 자본을 과소평가하고 있습니다.

비영리 단체로서 AI 연구를 선도하는 데 따르는 어려움.

AI 개발에서 정부와 사회의 역할

AI 개발에서 민간 부문과 정부의 효율성 비교.

정부 프로젝트로서 AI를 개발하는 이상적인 시나리오이지만 현재의 한계를 인정합니다.

가드레일을 구축하고 형평성을 보장하는 데 있어 사회 및 정부 역할의 중요성.

사회적 참여의 복잡성과 효과적인 메커니즘의 필요성에 대한 토론.

정부 개입의 성공적인 모델인 비행기 안전 규정의 예입니다.

인터넷 초창기와 정부 규제에 대한 논쟁을 비교해 보세요.

정부와 건설적인 파트너십을 통해 혁신과 규제의 균형을 맞추기를 희망합니다.

규제와 혁신 사이의 최적의 균형을 찾기 위한 토론.

AI가 사회와 정부의 모든 측면에 미칠 영향에 대한 기대.

과학적 발견을 가속화하는 데 있어 AI의 역할에 대한 열정.

교육과 의료 분야에서 AI의 잠재력.

AI의 물리학 응용과 우주 이해에 미치는 잠재적 영향에 대한 개인적인 관심이 있습니다.

넛지의 필요성에 대한 불확실성과 학문적 예측의 어려움.

체험 학습과 반복적인 문제 해결에 중점을 둡니다.

비영리를 영리로 전환한 이유 (샘알트먼)

비영리를 영리로 전환한 이유 (샘알트먼)

스크립트