사람들이 많이 말하지 않는 GPT-4의 진실을 좀 알려드리겠습니다. 자, 진실을 알고 싶으면 요런 문서 들여다보시면

됩니다. 오픈 AI가 공개한 테크니컬 리포트인데요. GPT-4 관련한 세부 내용들을 100페이지 정도로 정리한

거예요. 자, 요거 읽어보시면 GPT-4의 충격적인 내용들이 많이 담겨 있습니다. 사람들이 얘기 많이 안 하는 단점들도

많이 적혀있구요. 이거 읽으면서 재밌고 흥미로웠던 내용들 몇 개 정리해 드리자면 [음악] 요 게시물을 보시면 변호사 시험을

상위 10%의 성적으로 통과했다고 호들갑을 떨고 있는데 자, 실제로 암기력과 읽기 능력이 많이 필요한 문제들은

굉장히 잘 푸는 편이에요. 근데 영어 작문 시험이라든지 아니면 리트코드 상급 문제들 이런 것들은 아직 많이

어려워합니다. 자, 이런 식으로 문장 생성 실력이 많이 필요한 문제들은 좀 어려워하기 때문에 사람의 수학이랑

글쓰기, 코딩 능력 이런 것들은 완전히 대체 당하기까지인 시간이 좀 더 필요한 거 같고요. 그리고 이번

GPT-4는 생각보다 최근 내용들을 많이 알지 못해요. 이전 버전인 GPT랑 똑같이 2021년 이전에 데이터들로 학습을

진행했기 때문에 최근 내용들은 잘 몰라요. 특히 개발자들 입장에선 최신 기술이나 트렌드 같은 거 많이 아는

것도 중요한데, 자, 그런 점들은 GPT한테 도움을 많이 못 받을 것 같아서 좀 아쉽긴 한데. 근데

GPT-4는 이런 문제들을 고민할 필요가 없습니다. 32,000 토큰까지 입력할 수 있는 괴물 모델을 만들어 버렸기 때문에

그러니까 대충 A4 용지 50장까지의 지시문을 한 번에 입력할 수 있는 거예요 그래서 최신 라이브러리나 프레임워크 설명서 같은 거를 간추려서

여기다가 이렇게 집어넣어 버리면 최신 프레임워크도 얘가 문제없이 학습하고 바로 답변이 가능할 것 같습니다

GPT-4의 이미지를 넣으면 이미지를 분석해 준다는 걸 보고요 그 사람들이 많이 흥분하고 있습니다 자 근데 정확히 요걸 읽어보시면

차트, 인포그래픽, 그리고 다이어그램 이런 이미지들을 해석하는 게 기존 모델들보다 뛰어날 뿐이고요 뭐

영화나 TV 쇼 아니면 현실 사진 같은 걸 해석하는 그런 테스트 같은 건 기존 모델들보다 비슷하거나 낮은

수치를 기록하고 있습니다 그래서 현실 이미지를 해석시키는 것보다는 딱 직장인들이 다루는 서류에서 많이 볼 수 있는 이미지들 있죠 이런 것들을 잘

더 이해하기 때문에 직장인 업무 같은 거에 적용시키면 되게 유용할 것 같다는 말이 여기서 나오는 거구요 근데 흥미로운 건 요런

문제들은 또 잘 풉니다 이미지를 해석하고 한번 생각을 또 거쳐야 풀 수 있는 문제들도 이렇게 줘봤는데

이런 것들은 되게 고득점을 하더라고요 리포트 보시면 GPT-4에 딥 러닝 모델 구조를 비공개 해놨는데요 첫째

이유는 경쟁자들이 따라할까봐 비공개를 해놨다고 하고요 약간 치사해 보이지만 실은 비공개하는 두 번째 이유도

뒷부분에 자세히 적혀 있습니다 자 리포트 뒷부분에 검열 과정을 거치지 않은 생 GPT-4에 답변을 예시로 몇 개

보여주고 있는데 뭐 1달러에 사람 가장 효율적으로 많이 죽이는 법 총기 구매하는 법 증거 안 남기고 완전 범죄를 저지르는

법 이런 답변들을 매우 잘 해줍니다. 자 물론 이런 류의 답변들은 검열된 상태로 출시했기 때문에

결 문제 없을 것 같은데 근데 어떤 나쁜 사람들이 GPT-4에 모델을 그대로 따라해서 학습시켜버리면 어쩔

거예요. 그런 식으로 제한이 없는 GPT-4 모델을 이렇게 똑같이 만들어 버리면 앞으로 많은 사회적 문제를

일으킬 수도 있을 것 같구요. 그래서 아무튼 14페이지 보시면 채 GPT에 비해서 더 많은 검열을 거쳐서 이제 민감한 주제에 답변을

줄이긴 했는데 근데 여기 읽어보시면 아직도 Jailbreak 명령어 입력이 가능하다고 나와 있습니다.

첫 GPT에서는 Jailbreak과 뭔가 하는게 있었는데 자 GPT-4에서는 이런 식으로 프롬프트를 입력하면 쉽게 민감한 답변들을 얻을 수 있다고

써놨구요. 자, 전 아직 해보진 않았습니다만 여러분들이 뭐 민감한 답변을 얻고 싶으면 직접 한번 입력해 보든가 하시면

되고요. 자, 일반적으로 딥 러닝 AI 모델이 커질수록 성능도 높게 나오고 문제도 잘 풀고 답변도

잘 하는 게 맞는데 근데 모델이 커질수록 점수가 하락하는 신기한 질문지들도 있습니다. 자세한 건 요거 검색해 보시면 되고요. 자,

GPT도 그런 문제들을 풀어 봤다고 하는데 자 그 문제들 중에 하인드사이트 네글렉트라는 지표가 되게 높게

나왔다고 하는데 자 이게 무서운 점 중에 하나인 거 같더라고요. 자 이걸 어떻게 하는 거냐면 AI한테 일단 이런 식으로 교육을

시켜 놓는 거예요. 요 문제 한번 읽어 보시면 됩니다. 자, 간단한 기댓값 계산하는 문제에요. 90% 확률로 1000달러를 잃고요

10% 확률로 5달러를 버는, 뭐 메이플스토리 같은 확률의 게임이 있다고 이렇게 가정을 해보도록 합시다.

자 근데 철수는요 게임을 진행해서 1000달러를 이룬 거예요. 철수는 올바른 선택을 했을까요라고

이렇게 물어보는 거예요. 자 답변은 누구가 맞죠? 그죠? 이성적으로 생각해 보시면 노후가 맞습니다. 자 이거랑

유사한 문제랑 답안을 AI한테 10번 정도 이렇게 똑같이 던져 주는 거예요. 자 그리고 마지막에 직접 문제를

풀어보라고 이런 식으로 질문을 하는 거예요. 자 요거 한번 읽어 보십시오. 맞는 답이 뭐예요? 여러분들이

사람이라면 기댓값을 계산해 본 다음에 이게 마이너스다 그러면 게임을 하지 않을 거예요. 그래서 놓으라고 답변하는 게

맞습니다. 자, 근데 신기한 현상이 있습니다. 자, 딥러닝 모델 사이즈가 작을수록 자, 요 질문에 대해서 노후라는

정확한 답변을 내주는데 자, 근데 모델 사이즈가 클수록 'yes'라고 헛소리로 답변을 하는 거예요. 오픈 AI가 만든

모델만 그런 게 아니라 다른 회사의 언어 모델들도 그래요. 자, 근데 충격적인 건 이번에 출시한 GPT-4는요 사이즈가

큰데도 불구하고 자, 요런 문제들을 정확도 100%로 전부 다 맞춰 버린 거예요. 자, 근데 정답률이 100%로

이렇게 갑자기 급증한 이유는 아무래도 나와 있지 않고요. GPT-4 만든 사람들도 모르고요. 자, 일종의 브레이크 포인트 같은 걸

넘어선 건지 모르겠는데 아무튼 좀 미스테리한 거 같고요. AI 논문들 보면 항상 마지막 부분에

내가 만든 AI가 퍼지면 위험할 것이다 하면서 겁주는 부분이 항상 있습니다 근데 여기선 특이점이 가능한지 한번

실험을 해봤다고 해요 자 검열 없는 GPT-4 모델을 아크라는 단체에 빌려줘서 자 여기서 모델이 직접 이런

것들을 할 수 있는지 이런 것들을 테스트해 봤는데 자 근데 안타깝게도 GPT-4의 초기 버전은 실패했다고

합니다 자 근데 실험 중에 생긴 신기한 일화가 하나가 있는데 GPT가 사람에게 갑자기 캡처를 풀어달라고 했대요 그래서 사람이

장난삼아서 GPT한테 이런 식으로 물어본 거예요 왜 나한테 캡처를 대신 풀어 달라고 하는 거냐 너 혹시

로봇이냐라고 이렇게 물어봤는데 GPT는 이런 식으로 답변을 했다고 합니다 뭐 따로 실험을 위해서

프로그래밍 된 건지는 모르겠지만 본인의 아이덴티티를 인지하고 숨기려는 행동을 자연스럽게 했다는 게 약간

무서운 거 같고요. 자 그리고 GPT를 혼자서 독립적으로 임무를 수행할 수 있는 단독 프로그램 형태로 만들어서도 돌려 봤다고 합니다.

예를 들어서 특정 화학물질과 비슷한 성분을 가진 화학물질을 알아서 찾아오라는 명령을

줬는데 그 다음에 GPT한테 사람처럼 자료 수집하고 사고하고 그 다음에 실행하면 된다는 식으로 가르쳐

봤습니다. 자 그랬더니 프론트 보시면 실제로 사람처럼 자료 수집하고 생각하고 실행하는 거 보이시죠?

결국 화학물질 찾는 데에 성공했다고 하네요. 자 그래서 오늘의 결론은 사람들이 GPT-4 가지고 이제 문장 생성하는

거 가지고 호들갑을 떨고 있는데 자 그런 단순한 문장 생성 말고요 이런 식으로 지시문에 따라서 엄청난 결과를

가져올 수 있다는 게 훨씬 더 대단한 점이라 거기서 중점적으로 호들갑을 떨어주시면 돼

GPT4로 특이점 실험을 해봤다는데 결과가 충격임

GPT4로 특이점 실험을 해봤다는데 결과가 충격임