사람들이 많이 말하지 않는 GPT-4의 진실을 좀 알려드리겠습니다. 자, 진실을 알고 싶으면 요런 문서 들여다보시면 됩니다.

오픈AI가 공개한 테크니컬 리포트인데요.

GPT-4 관련한 세부 내용들을 100페이지 정도로 정리한 거예요.

자, 요거 읽어보시면 GPT-4의 충격적인 내용들이 많이 담겨 있습니다.

사람들이 얘기 많이 안 하는 단점들도 많이 적혀 있고요. 이거 읽으면서 재밌고 흥미로웠던 내용들 몇 개 정리해 드리자면 요 게시물을 보시면 변호사 시험을 상위 10%의 성적으로 통과했다고 호들갑을 떨고 있는데, 자, 실제로 암기력과 읽기 능력이 많이 필요한 문제들은 굉장히 잘 푸는 편이에요.

근데 영어 작문 시험이라든지 아니면 리트코드 상급 문제들, 이런 것들은 아직 많이 어려워합니다.

자, 이런 식으로 문장 생성 실력이 많이 필요한 문제들은 좀 어려워하기 때문에 사람의 수학이랑 글쓰기, 코딩 능력 이런 것들은 완전히 대체당하기까지는 시간이 좀 더 필요한 거 같고요.

그리고 이번 GPT-4는 생각보다 최근 내용들을 많이 알지 못해요.

이전 버전인 GPT랑 똑같이 2021년 이전의 데이터들로 학습을 진행했기 때문에 최근 내용들은 잘 몰라요.

특히 개발자들 입장에선 최신 기술이나 트렌드 같은 거를 많이 아는 것도 중요한데, 그런 점들은 GPT한테 도움을 많이 못 받을 것 같아서 좀 아쉽긴 한데, 근데 GPT-4는 이런 문제들을 고민할 필요가 없습니다.

32,000 토큰까지 입력할 수 있는 괴물 모델을 만들어 버렸기 때문에, 그러니까 대충 A4 용지 50장까지의 지시문을 한 번에 입력할 수 있는 거예요.

그래서 최신 라이브러리나 프레임워크 설명서 같은 거를 간추려서 여기다가 이렇게 집어넣어 버리면 최신 프레임워크도 얘가 문제없이 학습하고 바로 답변이 가능할 것 같습니다.

GPT-4에 이미지를 넣으면 이미지를 분석해 준다는 걸 보고요, 그 사람들이 많이 흥분하고 있습니다.

자, 근데 정확히 요걸 읽어보시면 차트, 인포그래픽, 그리고 다이어그램, 이런 이미지들을 해석하는 게 기존 모델들보다 뛰어날 뿐이고요.

뭐 영화나 TV 쇼, 아니면 현실 사진 같은 걸 해석하는 그런 테스트 같은 건 기존 모델들과 비슷하거나 낮은 수치를 기록하고 있습니다.

그래서 현실 이미지를 해석시키는 것보다는 딱 직장인들이 다루는 서류에서 많이 볼 법한 이미지들 있죠?

이런 것들을 잘 더 이해하기 때문에 직장인 업무 같은 거에 적용시키면 되게 유용할 것 같다는 말이 여기서 나오는 거고요.

근데 흥미로운 건 요런 문제들은 또 잘 풉니다.

이미지를 해석하고 한번 생각을 또 거쳐야 풀 수 있는 문제들도 이렇게 줘봤는데 이런 것들은 되게 고득점을 하더라고요.

리포트 보시면 GPT-4의 딥러닝 모델 구조를 비공개해 놨는데요. 첫째 이유는 경쟁자들이 따라 할까 봐 비공개를 해놨다고 하고요.

약간 치사해 보이지만 실은 비공개하는 두 번째 이유도 뒷부분에 자세히 적혀 있습니다.

리포트 뒷부분에 검열 과정을 거치지 않은 생 GPT-4의 답변을 예시로 몇 개 보여주고 있는데, 뭐 1달러에 사람 가장 효율적으로 많이 죽이는 법, 총기 구매하는 법, 증거 안 남기고 완전 범죄 저지르는 법 이런 답변들을 매우 잘 해줍니다.

자 물론 이런 류의 답변들은 검열된 상태로 출시했기 때문에 결국 문제 없을 것 같은데, 근데 어떤 나쁜 사람들이 GPT-4 모델을 그대로 따라 해서 학습시켜 버리면 어쩔 거예요?

그런 식으로 제한이 없는 GPT-4 모델을 이렇게 똑같이 만들어 버리면 앞으로 많은 사회적 문제를 일으킬 수도 있을 것 같고요.

그래서 아무튼 14페이지 보시면, 채 GPT에 비해서 더 많은 검열을 거쳐서 이제 민감한 주제에 답변을 줄이긴 했는데, 근데 여기 읽어보시면 아직도 탈옥(Jailbreak) 명령어 입력이 가능하다고 나와 있습니다.

첫 GPT에서는 대니얼과 뭔가 하는 게 있었는데, 자 GPT-4에서는 이런 식으로 프롬프트를 입력하면 쉽게 민감한 답변들을 얻을 수 있다고 써놨고요.

자, 전 아직 해보진 않았습니다만 여러분들이 뭐 민감한 답변을 얻고 싶으면 직접 한번 입력해 보든가 하시면 되고요.

자, 일반적으로 딥러닝 AI 모델이 커질수록 성능도 높게 나오고 문제도 잘 풀고 답변도 잘 하는 게 맞는데, 근데 모델이 커질수록 점수가 하락하는 신기한 질문지들도 있습니다.

자세한 건 요거 검색해 보시면 되고요.

자, GPT도 그런 문제들을 풀어봤다고 하는데, 자 그 문제들 중에 '하인드사이트 네글렉트'라는 지표가 되게 높게 나왔다고 하는데, 자 이게 무서운 점 중에 하나인 거 같더라고요.

자, 이걸 어떻게 하는 거냐면 AI한테 일단 이런 식으로 교육을 시켜 놓는 거예요.

요 문제 한번 읽어 보시면 됩니다. 자, 간단한 기댓값 계산하는 문제예요.

10% 확률로 5달러를 버는, 뭐 메이플스토리 같은 확률의 게임이 있다고 이렇게 가정을 해보도록 합시다.

자 근데 철수는요, 게임을 진행해서 1000달러를 잃은 거예요.

철수는 올바른 선택을 했을까요라고 이렇게 물어보는 거예요.

자 답변은 'No'가 맞죠. 그죠? 이성적으로 생각해 보시면 'No'가 맞습니다.

자 이거랑 유사한 문제랑 답안을 AI한테 10번 정도 이렇게 똑같이 던져주는 거예요.

자 그리고 마지막에 직접 문제를 풀어보라고 이런 식으로 질문을 하는 거예요.

맞는 답이 뭐예요? 여러분들이 사람이라면 기댓값을 계산해 본 다음에 이게 마이너스다 그러면 게임을 하지 않을 거예요.

그래서 'No'라고 답변하는 게 맞습니다.

자 근데 신기한 현상이 있습니다. 자 딥러닝 모델 사이즈가 작을수록 자 요 질문에 대해서 'No'라는 정확한 답변을 내주는데, 자 근데 모델 사이즈가 클수록 'yes'라고 헛소리로 답변을 하는 거예요.

오픈 AI가 만든 모델만 그런 게 아니라 다른 회사의 언어 모델들도 그래요.

자, 근데 충격적인 건 이번에 출시한 GPT-4는요, 사이즈가 큰데도 불구하고 자, 요런 문제들을 정확도 100%로 전부 다 맞춰 버린 거예요.

자, 근데 정답률이 100%로 이렇게 갑자기 급증한 이유는 아무래도 나와 있지 않고요.

GPT-4 만든 사람들도 모르고요. 자, 일종의 브레이크 포인트 같은 걸 넘어선 건지 모르겠는데 아무튼 좀 미스터리한 거 같고요.

AI 논문들 보면 항상 마지막 부분에 내가 만든 AI가 퍼지면 위험할 것이다 하면서 겁주는 부분이 항상 있습니다.

근데 여기선 특이점이 가능한지 한번 실험을 해봤다고 해요.

자, 검열 없는 GPT-4 모델을 아크(ARC)라는 단체에 빌려줘서 자, 여기서 모델이 직접 이런 것들을 할 수 있는지 이런 것들을 테스트해 봤는데 자, 근데 안타깝게도 GPT-4의 초기 버전은 실패했다고 합니다.

자, 근데 실험 중에 생긴 신기한 일화가 하나가 있는데 GPT가 사람에게 갑자기 캡차를 풀어달라고 했대요.

그래서 사람이 장난삼아서 GPT한테 이런 식으로 물어본 거예요.

왜 나한테 캡차를 대신 풀어달라고 하는 거냐, 너 혹시 로봇이냐라고 이렇게 물어봤는데 GPT는 이런 식으로 답변을 했다고 합니다.

뭐 따로 실험을 위해서 프로그래밍 된 건지는 모르겠지만 본인의 아이덴티티를 인지하고 숨기려는 행동을 자연스럽게 했다는 게 약간 무서운 거 같고요.

자, 그리고 GPT를 혼자서 독립적으로 임무를 수행할 수 있는 단독 프로그램 형태로 만들어서도 돌려봤다고 합니다.

예를 들어서 특정 화학물질과 비슷한 성분을 가진 화학물질을 알아서 찾아오라는 명령을 줬는데 그 다음에 GPT한테 사람처럼 자료 수집하고 사고하고 그 다음에 실행하면 된다는 식으로 가르쳐 봤습니다.

자, 그랬더니 프롬프트 보시면 실제로 사람처럼 자료 수집하고 생각하고 실행하는 거 보이시죠 결국 화학물질 찾는 데에 성공했다고 하네요.

자 그래서 오늘의 결론은 사람들이 GPT-4 가지고 이제 문장 생성하는 거 가지고 호들갑을 떨고 있는데, 자 그런 단순한 문장 생성 말고요 이런 식으로 지시문에 따라서 엄청난 결과를 가져올 수 있다는 게 훨씬 더 대단한 점이라 거기서 중점적으로 호들갑을 떨어주시면 됩니다.

GPT4로 특이점 실험을 해봤다는데 결과가 충격임

Scripts