AI prompt engineering: A deep dive

We're a research company that builds reliable, interpretable, and steerable AI systems. Talk to our AI assistant Claude at claude.ai.

Anthropic

프롬프트 엔지니어링은 모델이 작업을 수행하도록 만들고 모델의 능력을 최대한 끌어내는 과정이며, 모델과의 명확한 의사소통과 심리 이해가 중요합니다.

훌륭한 프롬프트 엔지니어는 명확한 의사소통 능력, 반복적인 실험 능력, 그리고 특이한 사례를 찾아 해결하는 능력을 갖추고 있으며, 모델의 출력을 주의 깊게 읽고 분석하여 모델이 어떻게 지시를 이해하는지 파악해야 합니다.

모델에게 솔직하게 상황을 설명하고, 작업에 필요한 모든 정보와 맥락을 명확하게 전달하며, 모델에게 빠져나갈 구멍을 만들어 주는 것이 중요합니다.

🤖 프롬프트 엔지니어링이란 무엇일까요?

프롬프트 엔지니어링은 **모델이 원하는 작업을 수행하도록 만드는 것**입니다. 모델과 소통하여 기존에는 불가능했던 일들을 가능하게 하는 것이죠. 효과적인 프롬프트는 명확한 의사소통에서 시작됩니다.

프롬프트 엔지니어링에서 "엔지니어링"이라는 용어가 사용되는 이유는 **끊임없는 시행착오 과정을 거치기 때문**입니다. 모델과의 상호작용에서 '재시작' 버튼을 활용하여 다양한 시도를 독립적으로 반복하고, 이를 통해 시스템 전체를 설계하고 개선하는 과정이 엔지니어링에 해당합니다.

프롬프트는 단순한 메시지가 아니라 **모델을 프로그래밍하는 방법**으로 볼 수 있습니다. 데이터의 출처, 활용 가능성, 지연 시간, 제공해야 할 데이터 양 등 시스템적인 사고가 필요하며, 이는 일반적인 소프트웨어 엔지니어링과는 차별화되는 영역입니다.

✍️ 훌륭한 프롬프트 엔지니어는 어떤 사람일까요?

훌륭한 프롬프트 엔지니어는 명확한 의사소통 능력과 더불어 **프롬프트가 잘못될 수 있는 상황을 예측하는 능력**을 갖춰야 합니다. 일반적인 경우뿐만 아니라 예외적인 경우에도 모델이 어떻게 작동할지 고려하고, 필요한 지침을 추가해야 합니다.

모델의 응답을 주의 깊게 읽는 것이 중요합니다. **모델이 실제로 단계별로 사고하고 있는지 확인**하고, 필요한 경우 구체적인 지침을 제공해야 합니다. 모델의 출력을 통해 모델이 어떻게 생각하고 있는지 파악할 수 있습니다.

프롬프트 엔지니어는 **자신이 알고 있는 모든 것을 당연하게 여기지 않고**, 모델이 필요로 하는 모든 정보를 명확하게 전달할 수 있어야 합니다. 자신의 사전 이해에 갇히지 않고, 모델이 작업을 이해하는 데 필요한 모든 정보를 체계적으로 파악해야 합니다.

모델에게 명확하지 않거나 모호한 부분을 질문하도록 요청할 수도 있습니다. **모델이 스스로 오류를 발견하고 수정하도록 유도**하는 것이죠. 모델에게 문제점을 지적하고 개선된 지침을 요청하면, 모델은 종종 올바른 해결책을 제시합니다.

모델을 맹신하기보다는 **지속적으로 검증하고 테스트하는 자세**가 필요합니다. 모델이 일관된 결과를 제공하는지, 엣지 케이스와 이상한 입력에 어떻게 반응하는지 꼼꼼하게 확인해야 합니다.

최고의 프롬프트 엔지니어링은 **실패할 뻔한 실험을 성공으로 이끌 수 있습니다**. 프롬프트에 충분한 시간을 투자하지 않으면 모델 성능이 저하될 수 있으며, 이는 실험의 성패를 좌우할 수 있습니다.

🎭 역할 부여 프롬프트, 효과가 있을까요?

모델에게 특정 역할이나 페르소나를 부여하는 프롬프트 기법은 **모델이 세상에 대해 더 많이 이해할수록 그 필요성이 줄어듭니다**. 모델에게 거짓말을 하거나 특정 행동을 강요하기보다는 솔직하게 상황을 설명하고 원하는 작업을 명확하게 요청하는 것이 더 효과적일 수 있습니다.

모델에게 비유나 은유를 사용하는 것이 도움이 될 수도 있지만, **작업의 맥락을 정확하게 설명하는 것이 중요합니다**. 모델이 수행해야 할 작업과 관련된 모든 세부 사항을 명확하게 제시해야 합니다.

프롬프트를 작성할 때는 **마치 임시 직원을 고용하여 작업을 설명하는 것처럼** 모델에게 필요한 모든 정보를 제공해야 합니다. 모델이 똑똑하다고 생각하고 존중하는 태도로 접근하면 좋은 결과를 얻을 수 있습니다.

사람들은 종종 텍스트 상자를 구글 검색창처럼 생각하고 키워드만 입력하는 경향이 있습니다. 하지만 프롬프트는 **애플리케이션을 위한 코드**와 같습니다. 완벽한 한 줄의 지침에 집착하기보다는 모델에게 필요한 모든 정보를 제공하고, 예외적인 경우에 어떻게 해야 할지 알려줘야 합니다.

🤔 모델의 추론 능력, 믿을 수 있을까요?

모델이 추론 과정을 설명하도록 하는 것은 **결과를 개선하는 데 도움이 됩니다**. 추론 과정을 구조화하고 모델과 함께 반복하면 더욱 효과적입니다. 하지만 모델의 추론 과정이 인간의 추론과 완전히 동일하다고 단정할 수는 없습니다.

프롬프트에 문법과 구두점을 정확하게 사용하는 것이 필수적인 것은 아니지만, **세부 사항에 주의를 기울이는 태도가 중요합니다**. 꼼꼼하게 프롬프트를 검토하고 오류를 수정하는 것이 좋습니다.

💬 엔터프라이즈, 연구, 일반 채팅 프롬프트의 차이점은 무엇일까요?

연구 프롬프트는 **다양성과 가능성을 탐색하는 데 중점을 둡니다**. 반면 엔터프라이즈 프롬프트는 **신뢰성과 일관성을 중요하게 생각합니다**. 일반 채팅 프롬프트는 **사용자와의 상호작용과 즉각적인 결과**에 초점을 맞춥니다.

연구 프롬프트에서는 예시를 적게 사용하거나 의도적으로 데이터와 다른 예시를 사용하여 모델이 다양한 방식으로 응답하도록 유도합니다. 반면 엔터프라이즈 프롬프트에서는 많은 예시를 사용하여 모델이 일관된 형식으로 응답하도록 합니다.

일반 채팅에서는 모델이 한 번만 올바르게 응답하면 되지만, 엔터프라이즈 환경에서는 모델이 수백만 번 올바르게 응답해야 합니다. 따라서 엔터프라이즈 프롬프트는 **다양한 사용 사례와 입력 데이터를 고려하여 신중하게 설계**해야 합니다.

💡 프롬프트 실력 향상을 위한 팁은 무엇일까요?

다른 사람들이 작성한 프롬프트를 읽고 분석하고, 모델의 출력을 주의 깊게 살펴보세요. **모델과 대화하고 실험**하면서 모델의 작동 방식을 이해하는 것이 중요합니다.

자신의 프롬프트를 다른 사람에게 보여주고 피드백을 받으세요. **특히 해당 주제에 대한 배경지식이 없는 사람**에게 보여주는 것이 도움이 될 수 있습니다. 그리고 **재미를 느끼면서 꾸준히 반복**하는 것이 중요합니다.

모델이 할 수 없다고 생각하는 것을 시도해 보세요. **모델의 한계를 탐색**하면서 모델의 작동 방식에 대해 많은 것을 배울 수 있습니다. 쉬운 작업에는 프롬프트 엔지니어링이 필요하지 않습니다.

🔒 Jailbreak 프롬프트, 모델 내부에서는 무슨 일이 일어날까요?

Jailbreak 프롬프트는 **모델이 학습 데이터에서 벗어난 영역으로 이동하도록 유도**합니다. 모델이 예상하지 못한 긴 텍스트나 특정 토큰을 사용하여 모델의 안전 장치를 우회하는 것이죠.

Jailbreak는 시스템의 작동 방식을 이해하고 다양한 시도를 해보는 일종의 "해킹"과 같습니다. 모델이 텍스트를 예측하는 방식, 추론에 반응하는 방식, 학습 데이터의 특성 등을 파악하여 이를 활용하는 것이죠.

⏳ 프롬프트 엔지니어링, 어떻게 변화해 왔을까요?

과거에는 효과적이었던 프롬프트 엔지니어링 "꼼수"들이 모델 학습에 통합되면서 그 효과가 사라지고 있습니다. 하지만 모델의 새로운 기능이 계속해서 발견되고 있으며, 이러한 기능들을 활용하기 위한 새로운 프롬프트 엔지니어링 기법이 필요합니다.

모델에게 더 많은 정보와 맥락을 제공하는 것이 중요해졌습니다. 과거에는 모델이 혼란스러워할까 봐 복잡한 정보를 숨겼지만, 이제는 **모델이 더 많은 정보를 융합하여 작업을 잘 수행할 수 있다고 믿는 경향**이 있습니다.

모델에게 프롬프트 기법에 대한 논문을 제공하고, 해당 기법의 예시를 생성하도록 요청할 수도 있습니다. 모델은 논문을 읽고 이해하고, 필요한 작업을 수행할 수 있습니다.

프롬프트 엔지니어링은 **모델의 입장이 되어 생각하는 것**입니다. 모델이 얼마나 능력이 있는지, 어떤 정보를 필요로 하는지 파악하고, 그에 맞춰 프롬프트를 작성해야 합니다.

🔮 프롬프트 엔지니어링의 미래는 어떻게 될까요?

모델이 사용자의 의도를 더 잘 이해하고 작업을 수행할 수 있게 되면서, **프롬프트에 필요한 정보의 양은 줄어들 것입니다**. 하지만 목표를 명확하게 설명하는 능력은 여전히 중요하며, 모델은 사용자가 프롬프트를 작성하는 데 도움을 줄 수 있습니다.

미래에는 모델이 사용자에게 질문하고 정보를 얻어내는 "인터뷰" 방식이 더 중요해질 것입니다. 모델은 사용자의 의도를 파악하고, 필요한 정보를 수집하여 프롬프트를 생성할 수 있습니다.

프롬프트 엔지니어링은 **마치 디자인 컨설팅과 유사해질 수 있습니다**. 모델은 사용자의 요구 사항을 파악하고, 다양한 옵션을 제시하며, 최적의 솔루션을 찾아낼 수 있습니다.

미래에는 **자기 성찰 능력이 중요해질 것입니다**. 사용자는 자신이 진정으로 원하는 것이 무엇인지 파악하고, 모델에게 명확하게 전달해야 합니다. 모델은 사용자의 생각을 이해하고, 그에 맞춰 작업을 수행할 수 있습니다.

프롬프트 엔지니어링은 **자신의 생각을 외부로 표현하는 능력**입니다. 복잡한 아이디어를 명확하게 설명하고, 교육받은 비전문가도 이해할 수 있도록 만드는 것이죠. 마치 철학자가 논문을 쓰는 것처럼, 모델에게 필요한 모든 정보를 제공하고, 모델이 작업을 이해하도록 도와야 합니다.

Anthropic의 프롬프트 엔지니어링 전문가들이 모여 좌담회를 시작하며, 다양한 관점에서 프롬프트 엔지니어링에 대해 논의할 것을 예고.

Anthropic의 개발자 관계 책임자 Alex가 좌담회를 소개하고, 참석자들의 다양한 배경을 언급.

Anthropic의 엔지니어들이 자신을 소개하며, 각자 프롬프트 엔지니어링과 관련된 역할과 경험을 설명.

프롬프트 엔지니어링의 정의와 '엔지니어링'이라는 용어가 사용된 이유에 대한 논의 시작.

모델이 원하는 작업을 수행하도록 유도하고, 모델의 잠재력을 최대한 활용하는 것이 프롬프트 엔지니어링의 목표임을 강조.

프롬프트 엔지니어링에서 '엔지니어링'은 시행착오를 통해 최적의 결과를 찾는 반복적인 실험 과정에서 비롯됨을 설명.

프롬프트는 모델을 프로그래밍하는 방법과 유사하며, 데이터 접근성, 지연 시간, 데이터 양 등의 시스템적 사고가 필요함을 언급.

프롬프트는 자연어 코드와 유사하며, 명확한 설명과 실험 관리, 버전 관리 등의 프로그래밍 요소가 중요함을 강조.

좋은 프롬프트 엔지니어의 자질에 대한 논의 시작.

명확한 의사소통 능력, 반복적인 실험 능력, 잠재적인 문제점을 예측하는 능력 등이 중요함을 강조.

프롬프트가 잘못될 수 있는 경우를 고려하고, 다양한 예외 상황에 대한 대비가 필요함을 설명.

모델 응답을 주의 깊게 읽고 분석하는 것이 중요하며, 모델이 실제로 단계별로 사고하는지 확인해야 함을 강조.

모델이 알지 못하는 정보를 명확하게 전달하고, 모델의 관점에서 지시사항을 이해하는 능력이 중요함을 언급.

모델에게 지시사항의 불명확성이나 모호성을 묻고, 모델이 스스로 오류를 수정하도록 유도하는 방법 제시.

모델을 신뢰하는 기준과 관련된 Amanda의 경험 공유.

모델을 맹목적으로 신뢰하지 않고, 다양한 시나리오에서 모델의 반응을 확인하며 신뢰도를 평가함을 설명.

모델의 출력이 일관성이 있는지 확인하고, 엣지 케이스와 이상한 입력에 대한 모델의 반응을 파악하는 것이 중요함을 강조.

모델의 출력 결과뿐만 아니라, 모델이 어떻게 그 결과에 도달했는지, 어떤 단계를 거쳤는지 분석하는 것이 중요함을 언급.

프롬프트 엔지니어링은 실험의 성공 여부를 결정할 수 있으며, 꼼꼼한 프롬프트 작성은 모델 성능 향상에 기여함을 강조.

더 나은 프롬프트가 존재할 것이라는 맹신에 빠지지 않고, 모델의 한계를 인지하고 적절한 시점에 포기하는 것이 중요함을 언급.

모델이 특정 작업을 수행할 수 있는지 판단하는 기준에 대한 논의.

모델이 작업을 이해하는지, 올바른 방향으로 사고하는지 확인하고, 진전이 없는 경우 작업을 포기하는 것이 효율적임을 설명.

Claude를 이용해 포켓몬 게임을 시뮬레이션하려 했던 Zack의 경험을 예시로 들어 모델의 한계를 설명.

모델에게 상황을 명확하게 설명하고, 다양한 방식으로 정보를 제공하는 것이 중요함을 강조.

텍스트와 이미지에 대한 모델의 이해 방식이 다르며, 멀티샷 프롬프트가 이미지에는 효과적이지 않을 수 있음을 언급.

모델이 이미지 내의 시각적 정보를 정확하게 파악하는 데 어려움을 겪을 수 있음을 설명.

모델에게 특정 페르소나나 역할을 부여하는 프롬프트 기법에 대한 논의.

모델에게 솔직하게 상황을 설명하고, 거짓말을 하거나 특정 역할을 강요하는 것보다 효과적일 수 있음을 언급.

모델이 이해할 수 있는 작업에 대해서는 솔직하게 요청하는 것이 더 나은 결과를 가져올 수 있음을 설명.

비유나 은유를 사용하여 모델의 이해를 돕는 방법도 있지만, 모델에게 정확한 상황을 설명하는 것이 더 중요함을 강조.

모델에게 역할을 부여하는 것이 모델이 유사한 작업을 수행하도록 유도하는 단축키로 사용될 수 있지만, 정확한 상황을 설명하지 않으면 원하는 결과를 얻기 어려울 수 있음을 언급.

모델이 발전함에 따라 역할을 부여하는 것보다 명확하게 상황을 설명하는 것이 더 효과적일 수 있음을 설명.

사전 훈련된 모델과 RLHF 모델의 차이점을 이해하고, 각 모델에 맞는 프롬프트 기법을 적용해야 함을 강조.

사전 훈련된 모델에 대한 직관을 RLHF 모델에 적용하는 것은 효과적이지 않을 수 있음을 설명.

모델에게 작업을 설명할 때, 해당 분야에 대한 지식이 있지만 특정 회사에 대한 정보가 없는 임시 직원을 고용했다고 가정하고 설명하는 것이 효과적일 수 있음을 제시.

프롬프트가 작동하지 않을 때, 원하는 작업을 말로 설명하고, 그 내용을 그대로 프롬프트에 붙여넣는 것이 더 나은 결과를 가져올 수 있음을 언급.

사람들이 프롬프트를 작성할 때 텍스트 상자를 검색 엔진처럼 생각하고 키워드만 입력하는 경향이 있음을 지적.

프롬프트를 작성할 때 완벽한 문장이나 지침을 찾는 데 집착하기보다는, 모델에게 직관을 심어주는 방식으로 설명하는 것이 효과적임을 강조.

모델에게 예외 상황에 대한 처리 방법을 알려주고, 불확실한 경우 'unsure' 태그를 출력하도록 지시하는 것이 중요함을 설명.

프롬프트를 반복적으로 테스트하면서 잘못된 테스트 사례를 발견하고 데이터 품질을 개선할 수 있음을 언급.

모델이 수행할 평가를 직접 수행해보고, 모델의 관점에서 평가를 이해하는 것이 중요함을 강조.

모델 응답에서 얻을 수 있는 정보의 중요성과 chain of thought에 대한 논의 시작.

모델이 추론 과정을 설명하도록 하는 chain of thought가 실제로 모델의 사고 과정을 반영하는지, 아니면 단순히 계산을 위한 공간인지에 대한 질문 제기.

chain of thought가 모델의 성능 향상에 도움이 되지만, 모델의 추론 과정을 지나치게 의인화하는 것은 경계해야 함을 언급.

chain of thought가 단순한 계산 공간이 아니라, 모델이 실제로 사고하는 과정과 관련이 있을 수 있음을 시사.

모델이 잘못된 추론 단계를 거치더라도 올바른 결론에 도달하는 경우가 있으며, 이는 모델의 추론 과정이 완벽하게 일관적이지 않음을 의미함을 설명.

프롬프트 작성 시 문법과 구두점의 필요성에 대한 논의.

문법과 구두점을 정확하게 사용하는 것이 반드시 필요한 것은 아니지만, 세부 사항에 대한 주의력을 기울이는 것이 중요함을 강조.

개념적으로 명확하게 작성하는 것이 중요하며, 사소한 문법 오류는 모델이 이해하는 데 큰 영향을 미치지 않을 수 있음을 언급.

사전 훈련된 모델과 RLHF 모델의 차이점을 고려하여 프롬프트를 작성해야 함을 설명.

모델에게 특정 스타일이나 형식을 모방하도록 유도하는 것이 효과적인지에 대한 논의.

모델이 사용자의 스타일을 모방하는 경향이 있지만, 사전 훈련된 모델만큼 강력하지는 않음을 설명.

모델이 사용자가 원하는 방식으로 행동하도록 훈련되었으며, 사용자의 의도를 파악하는 데 중점을 둠을 강조.

엔터프라이즈 프롬프트, 연구 프롬프트, 일반적인 채팅 프롬프트의 차이점을 설명.

연구 프롬프트는 다양성과 탐색에 중점을 두는 반면, 엔터프라이즈 프롬프트는 신뢰성과 일관성을 중요하게 생각함을 언급.

연구 프롬프트는 예시를 적게 사용하는 경향이 있으며, 엔터프라이즈 프롬프트는 많은 예시를 사용하여 모델의 응답을 제어함을 설명.

연구 프롬프트는 의도적으로 데이터와 유사하지 않은 예시를 사용하여 모델의 유연성을 높일 수 있음을 제시.

엔터프라이즈 프롬프트는 수백만 번 사용될 수 있으므로, 다양한 시나리오와 입력 데이터에 대한 테스트가 필요함을 강조.

채팅 프롬프트는 인간의 개입을 통해 오류를 수정할 수 있지만, 챗봇 시스템을 위한 프롬프트는 모든 가능한 상황을 포괄해야 함을 언급.

좋은 프롬프트는 개인적인 용도와 엔터프라이즈 용도 모두에 유용하지만, 마지막 단계에서 약간의 차이가 있을 수 있음을 설명.

프롬프트 기술 향상을 위한 팁 공유.

모델 출력과 다른 사람이 작성한 좋은 프롬프트를 읽고 분석하며, 모델과 대화하고 실험하는 것이 중요함을 강조.

자신의 프롬프트를 다른 사람에게 보여주고, 모델이 할 수 없다고 생각하는 작업을 시도해보는 것이 도움이 될 수 있음을 제시.

모델의 한계를 탐구하고, 어려운 작업을 시도하면서 모델 작동 방식에 대해 배우는 것이 중요함을 언급.

jailbreak 프롬프트가 모델 내부에서 어떤 작용을 하는지에 대한 논의.

jailbreak는 모델을 훈련 데이터 분포에서 벗어나게 하거나, 시스템 작동 방식을 이용하여 모델의 취약점을 공략하는 방식으로 작동할 수 있음을 설명.

jailbreak는 해킹, 사회 공학, 시스템 이해, 훈련 데이터 분석 등 다양한 요소가 결합된 복합적인 기술임을 강조.

지난 3년간 프롬프트 엔지니어링이 어떻게 변화했는지에 대한 논의.

모델이 발전함에 따라 특정 프롬프트 기술이 더 이상 필요하지 않게 되거나, 새로운 기술이 등장함을 설명.

모델에게 더 많은 정보와 맥락을 제공하고, 모델이 이를 통합하여 작업을 수행할 수 있다고 신뢰하는 경향이 강해짐을 언급.

모델에게 논문을 제시하고, 모델이 논문을 읽고 이해하도록 유도하는 방법 제시.

모델을 존중하고, 모델이 똑똑하다고 생각하고 대하는 것이 중요하며, 모델에게 필요한 정보를 제공하는 데 주저하지 않아야 함을 강조.

모델의 마음 상태를 시뮬레이션하고, 모델의 관점에서 생각하는 것이 프롬프트 엔지니어링의 핵심임을 설명.

사전 훈련된 모델과 RLHF 모델의 마음 상태를 시뮬레이션하는 방식이 다르며, 각 모델에 맞는 프롬프트 기법을 적용해야 함을 언급.

인터넷을 많이 읽는 것이 책을 읽는 것보다 모델의 행동을 예측하는 데 더 도움이 될 수 있음을 시사.

프롬프트 엔지니어링의 미래에 대한 논의.

모델이 발전함에 따라 프롬프트 엔지니어링의 중요성이 감소할 수 있지만, 목표를 명확하게 정의하고 전달하는 능력은 여전히 중요할 것임을 예측.

모델이 프롬프트 작성을 도와주고, 사용자와 모델 간의 협업이 더욱 중요해질 것임을 전망.

모델이 사용자에게 질문하고, 필요한 정보를 얻어내는 방식으로 프롬프트 엔지니어링이 변화할 수 있음을 제시.

모델이 인간 수준 이상의 능력을 갖게 되면, 모델이 사용자에게 질문하고 사용자의 의도를 파악하는 방식으로 프롬프트 엔지니어링이 변화할 수 있음을 예측.

모델과 상호 작용하는 방식이 템프 직원에게 지시하는 것에서 전문가와 상담하는 것으로 변화할 수 있음을 설명.

모델이 사용자의 의도를 파악하고, 필요한 정보를 얻어내는 능력이 더욱 중요해질 것임을 강조.

프롬프트 엔지니어링 기술이 자기 성찰 능력으로 변화하고, 모델에게 자신을 명확하게 설명하는 것이 중요해질 것임을 언급.

모델에게 새로운 개념을 정의하고, 모델이 개념을 이해하도록 유도하는 것이 중요함을 설명.

철학적 글쓰기 방식이 프롬프트 엔지니어링에 유용하며, 복잡한 아이디어를 명확하게 설명하는 능력이 중요함을 강조.

자신의 생각을 분석하고, 합리적인 사람이 이해할 수 있도록 외부화하는 것이 프롬프트 엔지니어링의 핵심임을 설명.

자신의 생각을 외부화하는 것이 프롬프트 작성의 핵심이라는 결론으로 좌담회 마무리.

AI prompt engineering: A deep dive

AI prompt engineering: A deep dive

스크립트