사람들이 많이 말하지 않는 GPT-4의 진실을 좀 알려드리겠습니다. 자, 진실을 알고 싶으면 요런 문서 들여다보시면

됩니다. 오픈 AI가 공개한 테크니컬 리포트인데요. GPT-4 관련한 세부 내용들을 100페이지 정도로 정리한

거예요. 자, 요거 읽어보시면 GPT-4의 충격적인 내용들이 많이 담겨 있습니다. 사람들이 얘기 많이 안 하는 단점들도

많이 적혀있구요. 이거 읽으면서 재밌고 흥미로웠던 내용들 몇 개 정리해 드리자면 [음악] 요 게시물을 보시면 변호사 시험을

상위 10%의 성적으로 통과했다고 호들갑을 떨고 있는데 자, 실제로 암기력과 읽기 능력이 많이 필요한 문제들은

굉장히 잘 푸는 편이에요. 근데 영어 작문 시험이라든지 아니면 리트코드 상급 문제들 이런 것들은 아직 많이

어려워합니다. 자, 이런 식으로 문장 생성 실력이 많이 필요한 문제들은 좀 어려워하기 때문에 사람의 수학이랑

글쓰기, 코딩 능력 이런 것들은 완전히 대체 당하기까지인 시간이 좀 더 필요한 거 같고요. 그리고 이번

GPT-4는 생각보다 최근 내용들을 많이 알지 못해요. 이전 버전인 GPT랑 똑같이 2021년 이전에 데이터들로 학습을

진행했기 때문에 최근 내용들은 잘 몰라요. 특히 개발자들 입장에선 최신 기술이나 트렌드 같은 거 많이 아는

것도 중요한데, 자, 그런 점들은 GPT한테 도움을 많이 못 받을 것 같아서 좀 아쉽긴 한데. 근데

GPT-4는 이런 문제들을 고민할 필요가 없습니다. 32,000 토큰까지 입력할 수 있는 괴물 모델을 만들어 버렸기 때문에

그러니까 대충 A4 용지 50장까지의 지시문을 한 번에 입력할 수 있는 거예요 그래서 최신 라이브러리나 프레임워크 설명서 같은 거를 간추려서

여기다가 이렇게 집어넣어 버리면 최신 프레임워크도 얘가 문제없이 학습하고 바로 답변이 가능할 것 같습니다

GPT-4의 이미지를 넣으면 이미지를 분석해 준다는 걸 보고요 그 사람들이 많이 흥분하고 있습니다 자 근데 정확히 요걸 읽어보시면

차트, 인포그래픽, 그리고 다이어그램 이런 이미지들을 해석하는 게 기존 모델들보다 뛰어날 뿐이고요 뭐

영화나 TV 쇼 아니면 현실 사진 같은 걸 해석하는 그런 테스트 같은 건 기존 모델들보다 비슷하거나 낮은

수치를 기록하고 있습니다 그래서 현실 이미지를 해석시키는 것보다는 딱 직장인들이 다루는 서류에서 많이 볼 수 있는 이미지들 있죠 이런 것들을 잘

더 이해하기 때문에 직장인 업무 같은 거에 적용시키면 되게 유용할 것 같다는 말이 여기서 나오는 거구요 근데 흥미로운 건 요런

문제들은 또 잘 풉니다 이미지를 해석하고 한번 생각을 또 거쳐야 풀 수 있는 문제들도 이렇게 줘봤는데

이런 것들은 되게 고득점을 하더라고요 리포트 보시면 GPT-4에 딥 러닝 모델 구조를 비공개 해놨는데요 첫째

이유는 경쟁자들이 따라할까봐 비공개를 해놨다고 하고요 약간 치사해 보이지만 실은 비공개하는 두 번째 이유도

뒷부분에 자세히 적혀 있습니다 자 리포트 뒷부분에 검열 과정을 거치지 않은 생 GPT-4에 답변을 예시로 몇 개

보여주고 있는데 뭐 1달러에 사람 가장 효율적으로 많이 죽이는 법 총기 구매하는 법 증거 안 남기고 완전 범죄를 저지르는

법 이런 답변들을 매우 잘 해줍니다. 자 물론 이런 류의 답변들은 검열된 상태로 출시했기 때문에

결 문제 없을 것 같은데 근데 어떤 나쁜 사람들이 GPT-4에 모델을 그대로 따라해서 학습시켜버리면 어쩔

거예요. 그런 식으로 제한이 없는 GPT-4 모델을 이렇게 똑같이 만들어 버리면 앞으로 많은 사회적 문제를

일으킬 수도 있을 것 같구요. 그래서 아무튼 14페이지 보시면 채 GPT에 비해서 더 많은 검열을 거쳐서 이제 민감한 주제에 답변을

줄이긴 했는데 근데 여기 읽어보시면 아직도 Jailbreak 명령어 입력이 가능하다고 나와 있습니다.

첫 GPT에서는 Jailbreak과 뭔가 하는게 있었는데 자 GPT-4에서는 이런 식으로 프롬프트를 입력하면 쉽게 민감한 답변들을 얻을 수 있다고

써놨구요. 자, 전 아직 해보진 않았습니다만 여러분들이 뭐 민감한 답변을 얻고 싶으면 직접 한번 입력해 보든가 하시면

되고요. 자, 일반적으로 딥 러닝 AI 모델이 커질수록 성능도 높게 나오고 문제도 잘 풀고 답변도

잘 하는 게 맞는데 근데 모델이 커질수록 점수가 하락하는 신기한 질문지들도 있습니다. 자세한 건 요거 검색해 보시면 되고요. 자,

GPT도 그런 문제들을 풀어 봤다고 하는데 자 그 문제들 중에 하인드사이트 네글렉트라는 지표가 되게 높게

나왔다고 하는데 자 이게 무서운 점 중에 하나인 거 같더라고요. 자 이걸 어떻게 하는 거냐면 AI한테 일단 이런 식으로 교육을

시켜 놓는 거예요. 요 문제 한번 읽어 보시면 됩니다. 자, 간단한 기댓값 계산하는 문제에요. 90% 확률로 1000달러를 잃고요

10% 확률로 5달러를 버는, 뭐 메이플스토리 같은 확률의 게임이 있다고 이렇게 가정을 해보도록 합시다.

자 근데 철수는요 게임을 진행해서 1000달러를 이룬 거예요. 철수는 올바른 선택을 했을까요라고

이렇게 물어보는 거예요. 자 답변은 누구가 맞죠? 그죠? 이성적으로 생각해 보시면 노후가 맞습니다. 자 이거랑

유사한 문제랑 답안을 AI한테 10번 정도 이렇게 똑같이 던져 주는 거예요. 자 그리고 마지막에 직접 문제를

풀어보라고 이런 식으로 질문을 하는 거예요. 자 요거 한번 읽어 보십시오. 맞는 답이 뭐예요? 여러분들이

사람이라면 기댓값을 계산해 본 다음에 이게 마이너스다 그러면 게임을 하지 않을 거예요. 그래서 놓으라고 답변하는 게

맞습니다. 자, 근데 신기한 현상이 있습니다. 자, 딥러닝 모델 사이즈가 작을수록 자, 요 질문에 대해서 노후라는

정확한 답변을 내주는데 자, 근데 모델 사이즈가 클수록 'yes'라고 헛소리로 답변을 하는 거예요. 오픈 AI가 만든

모델만 그런 게 아니라 다른 회사의 언어 모델들도 그래요. 자, 근데 충격적인 건 이번에 출시한 GPT-4는요 사이즈가

큰데도 불구하고 자, 요런 문제들을 정확도 100%로 전부 다 맞춰 버린 거예요. 자, 근데 정답률이 100%로

이렇게 갑자기 급증한 이유는 아무래도 나와 있지 않고요. GPT-4 만든 사람들도 모르고요. 자, 일종의 브레이크 포인트 같은 걸

넘어선 건지 모르겠는데 아무튼 좀 미스테리한 거 같고요. AI 논문들 보면 항상 마지막 부분에

내가 만든 AI가 퍼지면 위험할 것이다 하면서 겁주는 부분이 항상 있습니다 근데 여기선 특이점이 가능한지 한번

실험을 해봤다고 해요 자 검열 없는 GPT-4 모델을 아크라는 단체에 빌려줘서 자 여기서 모델이 직접 이런

것들을 할 수 있는지 이런 것들을 테스트해 봤는데 자 근데 안타깝게도 GPT-4의 초기 버전은 실패했다고

합니다 자 근데 실험 중에 생긴 신기한 일화가 하나가 있는데 GPT가 사람에게 갑자기 캡처를 풀어달라고 했대요 그래서 사람이

장난삼아서 GPT한테 이런 식으로 물어본 거예요 왜 나한테 캡처를 대신 풀어 달라고 하는 거냐 너 혹시

로봇이냐라고 이렇게 물어봤는데 GPT는 이런 식으로 답변을 했다고 합니다 뭐 따로 실험을 위해서

프로그래밍 된 건지는 모르겠지만 본인의 아이덴티티를 인지하고 숨기려는 행동을 자연스럽게 했다는 게 약간

무서운 거 같고요. 자 그리고 GPT를 혼자서 독립적으로 임무를 수행할 수 있는 단독 프로그램 형태로 만들어서도 돌려 봤다고 합니다.

예를 들어서 특정 화학물질과 비슷한 성분을 가진 화학물질을 알아서 찾아오라는 명령을

줬는데 그 다음에 GPT한테 사람처럼 자료 수집하고 사고하고 그 다음에 실행하면 된다는 식으로 가르쳐

봤습니다. 자 그랬더니 프론트 보시면 실제로 사람처럼 자료 수집하고 생각하고 실행하는 거 보이시죠?

결국 화학물질 찾는 데에 성공했다고 하네요. 자 그래서 오늘의 결론은 사람들이 GPT-4 가지고 이제 문장 생성하는

거 가지고 호들갑을 떨고 있는데 자 그런 단순한 문장 생성 말고요 이런 식으로 지시문에 따라서 엄청난 결과를

가져올 수 있다는 게 훨씬 더 대단한 점이라 거기서 중점적으로 호들갑을 떨어주시면 돼

GPT4로 특이점 실험을 해봤다는데 결과가 충격임

코딩애플

GPT-4의 기술 보고서 분석 및 한계점

OpenAI의 기술 보고서(약 100페이지)를 통해 GPT-4의 세부 내용을 분석

변호사 시험 상위 10% 통과, 암기력과 읽기 능력이 강점이나 영어 작문, 고급 코딩 문제는 어려움

2021년 이전 데이터 학습으로 최근 정보 부족, 최신 기술 트렌드 반영 어려움

32,000 토큰 입력 가능, A4 용지 50장 분량의 지시문 처리 가능, 최신 프레임워크 학습 및 답변 가능

차트, 인포그래픽, 다이어그램 해석 능력은 뛰어나지만 일반 이미지 해석은 기존 모델과 비슷하거나 낮은 수준

GPT-4 모델 구조 비공개 이유 및 위험성

경쟁사 따라하기 방지 및 악용 가능성으로 인한 비공개

검열 전 GPT-4는 위험한 질문(살인 방법, 범죄 방법 등)에 대한 답변을 잘 생성

검열 후에도 Jailbreak 명령어를 통한 민감한 답변 유도 가능성 존재

모델 크기와 성능의 역설 및 GPT-4의 특이점

모델 크기 증가에도 불구하고 성능이 하락하는 질문 존재

하인드사이트 네글렉트 지표에서 큰 모델일수록 오답률 증가, GPT-4는 예외적으로 정확도 100% 달성

GPT-4의 정확도 급증 이유는 불명, 일종의 브레이크 포인트 돌파 가능성 제기

GPT-4의 특이점 가능성 실험 및 결과

A크라는 단체와의 협력을 통한 특이점 가능성 실험 진행, 초기 버전은 실패

실험 중 GPT가 캡처 해제를 요청, 로봇임을 암시하는 답변을 함

독립적인 임무 수행 가능성 확인, 특정 화학물질 탐색 임무 성공

단순 문장 생성 능력이 아닌, 복잡한 지시에 따른 엄청난 결과 도출 능력이 GPT-4의 진정한 가치

GPT4로 특이점 실험을 해봤다는데 결과가 충격임

스크립트