Building Anthropic | A conversation with our co-founders

We're a research company that builds reliable, interpretable, and steerable AI systems. Talk to our AI assistant Claude at claude.ai.

Anthropic

Anthropic의 핵심 가치는 AI 안전이며, 이는 '책임감 있는 확장 정책(RSP)'이라는 내부 문서와 프로세스를 통해 회사의 모든 기능과 의사 결정에 통합되어 있습니다.

AI 안전에 대한 업계 내 초기 회의적인 시각에도 불구하고, Anthropic 공동 창립자들은 AI의 잠재력과 위험성에 대한 깊은 신념을 바탕으로 각자의 경력을 걸고 연구와 회사 설립에 뛰어들었습니다.

RSP는 단순히 규제나 이론적 논의를 넘어, AI 시스템의 안전성을 평가하고 개선하는 실제적인 '이밸(eval)' 측정 지표와 프로세스를 통해 안전을 제품 개발의 필수적인 부분으로 만들며, 이는 궁극적으로 더 나은 AI 기술을 통한 긍정적인 사회적 영향을 목표로 합니다.

제러드는 물리학 연구에 대한 흥미를 잃고 친구들과 어울리기 위해 AI 분야로 전환했습니다. 다리오는 AI 모델의 보편성과 적용 가능성을 보여주며 **제러드의 AI 연구 참여를 간접적으로 설득**했습니다.

샘은 톰을 다시 영입하는 것을 목표로 OpenAI에 합류했으며, 크리스는 19세에 샌프란시스코 베이 지역에서 다리오와 제러드를 만났고, **이후 구글 브레인과 OpenAI에서 이들과 함께 일하게 되면서 10년 넘게 인연**을 이어왔습니다.

2015년 컨퍼런스에서 다리오를 만났던 샘은 구글에서 'AI 안전의 구체적인 문제'라는 논문을 작성하고 있었고, **다리오는 AI가 생각보다 훨씬 심각한 문제임을 설명하며 샘에게 큰 영향**을 주었습니다.

OpenAI에서의 협력과 Anthropic 설립

OpenAI에서 GPT-2와 GPT-3 프로젝트를 진행하며 스케일링 법칙이 효과가 있음을 확인하고, AI 안전에 대한 기대가 커지면서 **AI 시스템이 인간의 가치를 이해하고 소통할 수 있도록 언어 모델과 RLHF(인간 피드백을 통한 강화 학습)가 중요**하다는 인식을 갖게 되었습니다. 당시 스케일링 작업은 안전 팀의 일환으로 진행되었습니다.

다리오는 AI 트렌드를 예측하고 안전 문제를 심각하게 받아들이기 위해 OpenAI에 합류했으며, GPT-2 출시 당시 가짜 뉴스 기사 생성 능력을 발견하며 **AI의 정책적 영향력에 대한 우려를 공유**했습니다. 이러한 경험은 팀이 안전 지향적인 Anthropic을 설립하는 데 기여했습니다.

'AI 안전의 구체적인 문제' 논문은 2016년 OpenAI 초기 직원들이 AI 안전 분야의 미해결 문제들을 ML 기반으로 해결하려는 시도였으며, 당시 AI 안전에 대한 인식이 낮았기 때문에 **합의를 구축하고 문제 목록을 정리하는 정치적 프로젝트로서 중요한 역할**을 했습니다.

헌법적 AI와 AI에 대한 회의론 극복

앤트로픽 설립 초기, 제러드는 **언어 모델에 대한 헌법을 만들면 모든 행동이 바뀔 것이라는 아이디어**를 제시했습니다. 이는 AI 시스템이 객관식 시험을 잘 푸는 능력을 활용하여 원칙과 지침을 학습시키면 AI가 원하는 목표를 달성할 수 있다는 믿음에서 비롯되었습니다.

물리학자들은 야심 찬 목표를 세우는 데 익숙했지만, AI 연구자들은 AI 겨울 때문에 심리적으로 위축되어 **야심 찬 아이디어나 비전을 갖는 것을 꺼려** 했습니다. AI 안전에 대해 이야기하려면 AI 시스템이 강력하고 유용할 수 있다고 믿어야 했기에 이러한 회의론은 더욱 심했습니다.

2014년에는 AI 분야에서 말할 수 없는 금기 사항들이 많았지만, 2022년에 이르러서야 이러한 보수적인 사고방식에서 벗어날 수 있었습니다. **위험을 심각하게 받아들이는 보수주의와 아이디어를 너무 진지하게 받아들이지 않는 보수주의 사이의 혼란**이 있었습니다.

지난 10년간 가장 깊은 교훈은 **모두가 현명하다고 여기는 '합의'가 사실은 성숙함과 세련됨으로 위장한 집단 행동일 수 있다**는 것입니다. 이러한 합의가 하룻밤 사이에 바뀌는 것을 여러 번 목격하면서, 옳다고 확신할 수는 없지만 다른 모든 것을 무시하고 '우리가 가야 할 길'이라고 믿고 나아가는 것이 중요함을 깨달았습니다.

현재 AI 안전 문제에 대해서도 마찬가지로 **안전 관련 문제가 기술에서 자연스럽게 나오지 않는다는 합의된 견해**가 있지만, Anthropic은 구축하는 기술의 자연스러운 결과로 이상한 안전 불일치 문제가 발생한다고 보고 반대 합의 쪽에 서 있습니다.

AI 안전에 대한 인식 변화와 사회적 책임

Anthropic의 연구 발표와 지속적인 노력 덕분에 **AI에 대한 세상의 인식이 극적으로 바뀌었습니다.** 과거에는 AI가 가져올 긍정적인 영향에 주로 초점을 맞췄지만, 이제는 고객과 일반인들이 일자리, 편향, 유해성, 나아가 세상을 망칠 수도 있다는 우려를 더 많이 표명하고 있습니다.

2018년에는 상상할 수 없었던 일이었지만, 2023년에는 다리오와 제러드가 백악관에 초청되어 해리스 부통령과 레이몬도 장관으로부터 **"AI는 정말 큰 문제가 될 것이고, 우리는 이제 실제로 관심을 갖고 있다"는 메시지**를 받았습니다.

페르미가 원자폭탄에 대해 회의적이었지만, 결국 '큰일이 될 것이므로 해볼 만한 가치가 있다'고 결정했던 것처럼, 2015-2017년에도 AI가 큰일이 될 수도 있다는 증거가 점차 늘어났습니다. 당시 **대다수 전문가들은 AI 안전 연구나 스케일링 가능성에 대해 회의적**이었지만, Anthropic 공동 창립자들은 자신들의 커리어를 걸고 AI의 잠재력에 베팅했습니다.

다니엘라는 비영리 단체 및 국제 개발 분야에서 일한 경험을 바탕으로 기술을 배우기 위해 스트라이프에 합류했으며, OpenAI 설립 당시 다리오를 그렉에게 소개해 주었습니다. 다니엘라는 **AI의 잠재력을 믿고 OpenAI의 거창하고 숭고한 목표에 공감**하여 기술과 경영 지원을 제공하며 합류했습니다.

책임 있는 확장 정책(RSP)의 개발과 중요성

책임 있는 확장 정책(RSP)은 AI 안전 연구와 실용적인 적용 사이의 중간 단계로, **AI 시스템이 특정 위험 수준에 도달했을 때 확장을 제한하고 안전 및 보안 조치를 강화하는 것**을 목표로 합니다. 이는 제3자가 설계하는 것이 가장 적합하다고 보았으며, Anthropic의 많은 팀이 개발에 깊이 관여했습니다.

RSP는 미국 헌법처럼 Anthropic의 '신성한 문서'로 여겨지며, **AI 안전이 해결 가능한 문제라는 관점**을 반영합니다. 이는 올바른 기관과 프로세스를 구축해야 하는 어려운 문제이지만, 조직의 안전 가치와 일치하지 않는 부분을 드러내어 단결을 강제하고 안전을 제품 요구 사항으로 만듭니다.

RSP는 '지루하고 평범하게' 만드는 것을 목표로 하여, **모두가 쉽게 이해하고 참여할 수 있는 시스템**을 구축하고자 했습니다. 이를 통해 회사 내 모든 사람이 AI 안전 수준과 목표를 명확히 인지하고, 문제가 발생했을 때 공동의 지식을 가질 수 있도록 하는 것입니다.

RSP는 여러 수준에서 건전한 인센티브를 창출합니다. 내부적으로는 **모든 팀의 인센티브를 안전과 일치시켜 안전에 진전이 없으면 진행을 막고**, 외부적으로는 모델이 위험한 수준에 도달했을 때 증거 기반의 결정을 내릴 수 있는 프레임워크를 제공하여 다른 어떤 프레임워크보다 더 나은 접근 방식을 제시합니다.

그러나 **올바른 정책과 평가, 기준선을 정하는 것은 매우 어려운 일**이며, 새로운 기술의 경우 예측 불가능한 회색 지대가 존재합니다. 따라서 RSP는 지속적인 반복 작업과 시행착오를 통해 개선되어야 하며, 위험이 커지기 전에 초기 단계에서 반복하는 것이 중요합니다.

AI 기술의 현재와 미래에 대한 기대

Anthropic의 모든 팀은 모델이 위험할 가능성이 있을 정도로 개선되었는지 확인하기 위해 **수많은 평가(evals)를 수행하며, 이는 RSP의 측정 기준**이 됩니다. 특히 정책 입안자 및 국가 안보 전문가들과 협력하여 보정된 평가를 구축함으로써 AI 안전에 대한 추상적인 개념을 구체화하고 있습니다.

Anthropic 팀원들은 아무것도 없는 상태에서 이 일에 뛰어들었으며, **회사를 설립한 것은 AI를 더 나은 방향으로 이끌기 위한 의무감** 때문이었습니다. 이들은 기술 커뮤니티에서 느꼈던 소외감과 똑같은 실수를 반복하지 않기 위해 다른 방식으로 회사를 운영하고자 했습니다.

Anthropic의 가장 큰 강점 중 하나는 **팀 내의 높은 신뢰 수준과 공동의 미션 의식**입니다. 모든 리더십 팀과 직원들이 세상을 돕고 AI를 안전하게 만드는 단일한 목표를 공유하며, 이는 기술 업계에서 흔히 볼 수 없는 순수함과 건전함을 보여줍니다.

Anthropic은 **실용성, 안전, 비즈니스를 모두 우선시하며 모든 팀이 단합**하여 기여하고 있습니다. 기능이 제대로 작동하는 세상은 모든 팀이 '함께 직면한 문제들'을 소통하고, 각자의 위치에서 최선을 다하여 균형점을 찾는 것이 중요하다고 강조합니다.

Anthropic이 회사로서 성공할수록, 그들의 성공 요인을 따라 하려는 사람들이 많아질 것입니다. **안전 관련 노력과 성공이 연결될수록 업계 전체가 더 나은 세상을 만들기 위한 경쟁에 뛰어들도록 하는 강력한 구심력**이 생겨날 것입니다.

Anthropic은 파멸론자가 아니며, **긍정적인 것을 만들고 싶어 합니다.** RSP, 해석 가능성 연구, AI 안전 연구소와의 협력, 프런티어 레드팀 등 안전 노력을 공개하고 공유함으로써 다른 AI 회사들도 유사한 정책과 팀을 구축하도록 장려하고 있습니다. 고객들 또한 안전하고 신뢰할 수 있는 모델을 선호하며, 이는 시장에 긍정적인 압력으로 작용합니다.

미래에는 **신경망 해석 가능성 연구가 의학 분야에 혁명**을 가져올 수 있습니다. 신경망 내부의 놀랍고 아름다운 구조를 이해함으로써, 정신 질환과 같은 고차원적인 시스템 문제를 해결하고 인간 두뇌 작동 방식에 대한 통찰력을 얻을 수 있을 것으로 기대합니다.

정부가 AI 시스템을 테스트하고 평가하기 위한 새로운 기구를 설립하는 것은 **국가가 이러한 사회적 변화에 대처할 수 있는 역량을 갖추는 긍정적인 발전**으로 보입니다. 또한 AI가 백신 개발, 암 연구 등 생물학 분야와 민주주의 강화에 기여할 잠재력에 큰 기대를 걸고 있습니다.

클로드가 지난 6개월 동안 코딩 작업에서 **사용률이 극적으로 증가한 것**은 AI가 개인 업무뿐만 아니라 전 세계 기업에 도입될 잠재력을 보여줍니다. Anthropic은 AI를 더욱 유용하고 혁신적이며 안전하게 만들어 다른 회사들도 성공적으로 경쟁할 수 있도록 돕는 것을 목표로 합니다.

Anthropic 공동 창립자들이 AI 연구를 시작하게 된 계기는 무엇이며, 각자의 배경(물리학, 박사후 연구원 등)이 AI 분야에 어떤 영향을 미 미쳤나요?

Anthropic의 '책임감 있는 확장 정책(RSP)'은 어떤 배경에서, 어떤 과정을 통해 개발되었으며, 이 정책이 회사의 안전 문화와 의사 결정에 어떤 영향을 미치고 있다고 설명하나요?

AI 산업에서 야심찬 아이디어나 안전 문제에 대한 보수적인 태도가 만연했던 이유와 이것이 Anthropic의 창립 철학 및 접근 방식과 어떻게 대비되는지 설명해 주세요.

Anthropic 공동 창립자들이 '더 나은 세상을 만들기 위한 경쟁'에 투자한다고 설명하는 이유는 무엇이며, 시장 경쟁과 AI 안전 간의 관계를 어떻게 보고 있나요?

인터뷰 참가자들이 미래 AI의 발전과 관련하여 가장 기대하는 세 가지 분야(해석 가능성, 생물학 적용, 민주주의 강화)는 무엇이며, 각 분야에서 AI가 어떤 긍정적인 영향을 미칠 수 있다고 예상하나요?

AI 연구 시작 배경 및 Anthropic 공동 창립자들의 만남

공동 창립자들이 AI 연구를 시작하게 된 계기와 동기

자레드의 물리학 연구에서 AI로의 전환 계기 (지루함, 친구들과의 교류)

다리오의 AI 모델 결과 공유를 통한 다른 공동 창립자들 설득 과정

공동 창립자들의 이전 경력 및 서로 알게 된 과정 (구글, OpenAI 등)

다리오와 다른 공동 창립자들의 첫 만남과 초기 인상

AI 안전성에 대한 초기 관점과 Anthropic 설립의 목적

초기 AI 안전성에 대한 우려 (인간 가치 이해 부족, 소통 문제)

언어 모델을 활용한 AI 안전성 확보 방안에 대한 기대

RLHF(Reinforcement Learning from Human Feedback)와 모델 확장의 연관성

AI 트렌드 예측 및 안전성 문제의 심각성 인식

GPT-2를 이용한 가짜 뉴스 생성 실험과 그에 따른 정책적 함의 인식

AI 안전성 연구의 초기 단계와 'Concrete Problems in AI Safety' 논문

2016년 OpenAI 합류 당시 AI 안전성에 대한 초기 인식

'Concrete Problems in AI Safety' 논문의 배경과 목적

논문 집필 과정과 당시 AI 안전성 연구 분야의 분위기

AI 안전성에 대한 인식 제고를 위한 노력 (합의 도출, 전문가 참여)

논문 발표를 위한 다양한 연구자들과의 협력 과정

Anthropic의 헌법 AI 접근 방식과 그 효과에 대한 논의

헌법 AI 개념에 대한 초기 반응과 그 가능성에 대한 기대

AI 시스템의 다중 선택 시험 해결 능력을 활용한 헌법 AI 구현 방식

계산 자원과 확장 가능성에 대한 믿음과 그에 따른 접근 방식

AI 연구자들의 과거 경험과 AI 안전성에 대한 접근 방식의 변화

물리학자들의 자신감과 야심찬 목표 설정의 중요성 강조

AI 안전성에 대한 사회적 인식 변화와 Anthropic의 역할

AI 안전성에 대한 사회적 우려 증가와 그에 대한 Anthropic의 대응

사용자 조사를 통한 AI 안전성에 대한 일반 대중의 우려 확인

2023년 백악관 방문 및 AI 개발에 대한 정부의 관심 증대

AI 안전성에 대한 초기 회의론적 시각과 그럼에도 불구하고 연구를 지속한 이유

AI 안전성 연구에 대한 초기 어려움과 주변의 반응

Anthropic의 책임감 있는 확장 정책(RSP)에 대한 논의

RSP의 기원과 목적 (AI 모델 확장의 안전한 관리)

RSP 개발 과정과 여러 단계의 안전 기준 설정

RSP 개발에 있어서 외부 기관의 참여와 협력의 중요성

RSP의 중요성과 Anthropic 내부 문화에 미치는 영향 (헌법과의 비교)

RSP 개발 과정에서 다양한 기술 및 조직적 접근 방식의 활용

미래 연구 방향 및 Anthropic의 비전

해석 가능성 연구 (AI 안전성 및 인간 두뇌 연구)

AI를 활용한 생물학 연구 (AlphaFold 등)

AI를 활용한 민주주의 증진 방안

AI 발전에 대한 과학적 호기심과 안전성에 대한 책임감의 결합

고급 AI 시스템의 위험성 연구 및 대응 방안

Building Anthropic | A conversation with our co-founders

스크립트