§3.1 AI 코딩과 프롬프트 엔지니어링
“인장 시험 데이터로 항복강도 구하는 코드 짜 줘.” 이 한 문장만 받은 AI는 많은 것을 추측해야 한다. 데이터가 어떤 파일 형식인지, 변형률이 백분율인지 소수인지, 항복강도를 0.2% 오프셋 방법으로 구할지 다른 기준으로 구할지, 결과를 숫자로 돌려줄지 그래프로 그릴지가 문장에 없다. 같은 요청에 이런 정보를 덧붙이면 AI가 추측할 부분이 줄고, 돌아오는 코드도 달라진다.
AI에게 주는 입력을 프롬프트(prompt)라고 한다. 프롬프트 엔지니어링(prompt engineering)은 원하는 출력을 얻기 위해 이 입력을 설계하고 고치는 일이다. 이 꼭지에서는 프롬프트 엔지니어링을 모델에 과제를 전달하는 지시, 예시, 입력 구조, 출력 조건을 설계하는 활동이라는 뜻으로 쓴다. 모델이 참고할 파일, 문서, 도구 출력까지 포함한 정보 전체를 고르고 구성하는 일은 §3.3의 컨텍스트 엔지니어링에서 다룬다.
생성형 AI가 코딩에 쓰이기 시작한 초기에는 사람이 질문하고 AI가 한 번 답하는 방식이 기본이었고, 질문을 어떻게 쓰느냐가 결과를 크게 좌우했다. 그 시기에 발견된 기법들은 지금도 쓰이지만, 그중 일부는 모델 안으로 흡수되었고 일부는 사람의 몫으로 남았다.
입력 문장이 모델의 동작을 정하게 되다
2020년 OpenAI 연구진은 1,750억 개의 매개변수를 가진 언어 모델 GPT-3를 발표하면서, 모델의 가중치를 바꾸지 않고도 입력 문장만으로 여러 과제를 수행할 수 있음을 보였다. 논문은 이 방식을 사전학습된 언어 모델의 “텍스트 입력을 과제 명세의 한 형태로 쓰는” 방법으로 설명했다. 모델에 지시문과 예시 몇 개를 넣으면, 모델은 그 뒤에 이어질 내용을 예측하는 방식으로 과제를 푼다. 논문은 이것을 인컨텍스트 학습(in-context learning)이라고 불렀다 Tom B. Brown 외, Language Models are Few-Shot Learners (2020; §1, §2).
그전까지는 새 과제를 풀게 하려면 그 과제의 데이터로 모델을 추가 학습시키는 미세조정(fine-tuning)이 일반적이었다. GPT-3 이후에는 같은 모델이라도 입력 문장을 바꾸면 다른 일을 하게 되었다. 프로그램의 동작을 코드로 바꾸듯, 모델의 동작을 입력 문장으로 바꿀 수 있게 된 것이다. 입력 문장이 이런 역할을 맡으면서, 어떤 문장이 더 나은 결과를 내는지 찾고 정리하는 일이 따로 연구되기 시작했다.
대표 기법 두 가지
예시를 먼저 보여 주기: few-shot 프롬프팅
few-shot 프롬프팅은 과제의 입력과 출력 예시를 몇 개 먼저 보여 준 뒤, 같은 형식으로 새 입력을 처리하게 하는 방법이다. GPT-3 논문은 예시를 하나도 주지 않는 zero-shot, 하나만 주는 one-shot, 여러 개를 주는 few-shot을 구분해 비교했다. few-shot 설정에서는 모델의 입력 길이 한도인 2,048 토큰 안에 들어가는 만큼, 보통 10–100개의 예시를 넣었다. 이 과정에서 모델의 가중치는 바뀌지 않는다 Tom B. Brown 외, Language Models are Few-Shot Learners (2020; §2).
코딩 작업에서도 같은 원리를 쓸 수 있다. 규칙을 말로 길게 설명하기 어려울 때 입력과 출력의 쌍을 보여 주면, AI는 그 사이의 패턴을 따라 코드를 만든다. 다음은 실험 파일 이름에서 조건을 읽어 내는 함수를 요청하는 가상의 예시다.
실험 파일 이름에서 재료, 충돌 속도, 두께를 읽어 딕셔너리로 반환하는
파이썬 함수를 작성해 줘. 예시는 다음과 같다.
입력: "Ti64_v2350_t1.2.csv"
출력: {"material": "Ti64", "velocity_mps": 2350, "thickness_mm": 1.2}
입력: "Al6061_v1800_t2.0.csv"
출력: {"material": "Al6061", "velocity_mps": 1800, "thickness_mm": 2.0}
형식이 맞지 않는 이름이 들어오면 ValueError를 발생시켜 줘.
“v 뒤의 숫자는 속도, t 뒤의 숫자는 두께”라고 설명할 수도 있지만, 예시 두 개는 구분자, 단위, 자료형을 함께 보여 준다. 반대로 예시가 대표성이 없으면 AI는 예시의 우연한 특징까지 규칙으로 받아들일 수 있다. 위 예시에서 두께가 모두 소수점 한 자리라면, “t1.25”처럼 두 자리인 이름을 처리하지 못하는 코드가 나올 수 있다.
중간 단계를 쓰게 하기: chain-of-thought 프롬프팅
chain-of-thought(사고의 사슬) 프롬프팅은 모델이 바로 답을 내지 않고, 답에 이르는 중간 추론 단계를 먼저 쓰게 하는 방법이다. 2022년 Google 연구진은 풀이 과정이 담긴 예시 8개를 프롬프트에 넣는 것만으로, 5,400억 매개변수 모델이 초등 수학 서술형 문제 벤치마크 GSM8K에서 당시 최고 성능을 기록했다고 보고했다. 이 결과는 GSM8K에 맞춰 미세조정하고 별도의 검증기를 붙인 GPT-3보다도 높았다 Jason Wei 외, Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (2022; 초록).
같은 해 도쿄대학교와 Google 연구진은 예시 없이 답 앞에 “Let’s think step by step(단계별로 생각해 보자)”이라는 한 문장만 붙여도 비슷한 효과가 난다는 결과를 발표했다. InstructGPT(text-davinci-002) 모델에서 MultiArith 정확도는 17.7%에서 78.7%로, GSM8K 정확도는 10.4%에서 40.7%로 올랐다 Takeshi Kojima 외, Large Language Models are Zero-Shot Reasoners (2022; 초록). 이 결과는 한 문장의 차이로 성능이 몇 배 달라질 수 있음을 보여 주었고, 프롬프트의 문구를 찾는 일에 관심이 쏠리는 계기가 되었다.
코드를 요청할 때 chain-of-thought는 “먼저 처리 순서를 설명하고, 그다음 코드를 작성해 줘”처럼 쓰인다. 이렇게 하면 AI가 어떤 순서로 문제를 풀려는지 코드보다 먼저 드러나므로, 사람은 코드를 읽기 전에 방향이 맞는지 판단할 수 있다. 예를 들어 수치 적분 코드를 요청했는데 AI가 설명 단계에서 경계 조건을 빠뜨렸다면, 코드 수십 줄을 읽기 전에 그 부분만 지적해 고치게 할 수 있다. 다만 모델이 쓴 추론 과정이 실제로 답을 정한 이유와 다를 수 있다는 연구도 있다. 입력에 답을 한쪽으로 유도하는 단서를 넣으면 모델의 답은 바뀌지만, 설명에는 그 단서가 드러나지 않았다 Miles Turpin 외, Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting (2023; 초록). 설명이 그럴듯하다고 코드까지 맞다고 볼 수는 없으므로, 설명은 방향을 점검하는 데 쓰고 코드는 따로 실행해 확인한다.
코드를 요청하는 프롬프트
코드 생성에서 프롬프트가 무엇을 담아야 하는지는 코드 생성 모델의 평가 방식에서도 드러난다. 2021년 OpenAI는 코드 학습 모델 Codex를 발표하면서 HumanEval이라는 평가 세트를 함께 공개했다. HumanEval의 각 문제는 함수 이름과 인자, 그리고 함수가 할 일을 설명하는 문서 문자열(docstring)로 이루어져 있고, 모델이 이어서 작성한 함수 본문은 숨겨진 테스트로 채점된다. 이 평가에서 Codex는 한 번 생성한 코드로 28.8%의 문제를 풀었다. 같은 조건에서 GPT-3는 0%, 공개 모델 GPT-J는 11.4%였다. 문제당 100개의 코드를 생성하고 그중 하나라도 테스트를 통과하면 정답으로 치는 조건에서는 Codex의 정답률이 70.2%까지 올라갔다 Mark Chen 외, Evaluating Large Language Models Trained on Code (2021; 초록).
이 결과에서 두 가지를 읽을 수 있다. 첫째, 코드를 요청하는 프롬프트는 사실상 함수의 명세다. 함수 이름, 입력과 출력, 동작 설명, 예시가 프롬프트에 담긴다. 둘째, 같은 프롬프트로도 결과가 매번 다르며, 그중 맞는 코드를 고르려면 테스트가 필요하다. 프롬프트를 잘 쓰는 일과 결과를 검증하는 일은 처음부터 함께 붙어 있었다.
이 꼭지 첫머리의 요청을 이 관점에서 다시 써 보면 다음과 같다. 역시 가상의 예시다.
인장 시험 데이터에서 0.2% 오프셋 항복강도를 계산하는 파이썬 함수를 작성해 줘.
입력: CSV 파일 경로. 열은 strain(단위 없음, 소수), stress(MPa)
출력: 항복강도(MPa, float)
방법:
- 변형률 0.0005–0.0025 구간에 직선을 맞춰 탄성계수를 구한다.
- 이 직선을 변형률 0.002만큼 평행 이동한 선과
응력-변형률 곡선이 처음 만나는 점의 응력을 반환한다.
조건:
- numpy와 pandas만 사용한다.
- 교점을 찾지 못하면 None 대신 예외를 발생시킨다.
먼저 처리 순서를 설명한 뒤 코드를 작성해 줘.
이 요청에는 입력 형식과 단위, 계산 방법, 사용할 라이브러리, 예외 처리, 출력 형식이 들어 있다. 마지막 줄은 chain-of-thought 방식으로 처리 순서를 먼저 설명하게 한다. 첫 요청과 비교하면 AI가 추측해야 하는 부분이 줄었다. 다만 탄성 구간을 0.0005–0.0025로 정한 것은 재료와 시험 조건에 따라 달라질 수 있는 판단이며, 이런 판단은 요청하는 사람이 내려야 한다.
두 요청의 차이를 항목별로 나누면 다음과 같다. 표의 항목은 저자가 위 예시를 바탕으로 정리한 것이며, 모든 요청에 다 필요한 것은 아니다. 짧은 일회성 스크립트라면 목표와 입출력만으로 충분할 수 있다.
| 요소 | 항복강도 예시에서의 내용 | 빠졌을 때 AI가 추측하는 것 |
|---|---|---|
| 목표 | 0.2% 오프셋 항복강도 계산 | 어떤 정의의 항복강도인지 |
| 입력과 출력 | CSV 열 이름과 단위, 반환 자료형 | 파일 구조, 변형률 단위, 결과 형태 |
| 방법과 제약 | 탄성 구간, 사용할 라이브러리 | 계산 방식, 추가 패키지 사용 여부 |
| 예외 처리 | 교점이 없으면 예외 발생 | 실패 시 None 반환, 임의의 값 출력 등 |
| 출력 방식 | 처리 순서 설명 후 코드 | 설명 없이 코드만 줄지, 그 반대일지 |
| 완료 기준 | (위 요청에는 없음) | 무엇을 보면 맞았다고 판단할지 |
마지막 행의 완료 기준은 위 요청에서도 빠져 있다. 예를 들어 “항복강도가 알려진 시험 데이터 한 세트를 넣었을 때 그 값과 1% 이내로 일치해야 한다”는 조건을 덧붙이면, 사람은 결과를 받은 뒤 무엇으로 확인할지를 미리 정해 둔 셈이 된다. 이 조건은 AI에게는 목표를 분명히 하는 정보이고, 사람에게는 검증 절차가 된다. 프롬프트 기법이 많이 알려진 뒤에도 이 부분은 사람이 채워야 하는 영역으로 남았다. 이 점은 아래에서 모델 개발사의 최근 안내 문서를 볼 때 다시 확인할 수 있다.
프롬프트를 다루는 일이 직무가 되다
GPT-3와 ChatGPT가 널리 쓰이면서 프롬프트 작성은 하나의 기술로 여겨졌다. Andrej Karpathy는 2023년 1월 24일 X(옛 트위터)에 “The hottest new programming language is English(가장 인기 있는 새 프로그래밍 언어는 영어다)”라고 썼다 Andrej Karpathy, X 게시물 (Thread Reader 보관본) (게시: 2023-01-24). 자연어로 쓴 지시가 프로그램처럼 모델의 동작을 정한다는 관찰을 짧게 표현한 말이다.
같은 시기 기업들은 이 일을 맡을 사람을 따로 뽑기 시작했다. 2023년 3월 Fortune은 Anthropic이 연봉 175,000–335,000달러의 “prompt engineer & librarian” 직무를 공고했다고 보도했다. 이 직무는 Anthropic의 모델 Claude에 다양한 과제를 시키는 효과적인 방법을 찾고, 그 방법을 문서로 정리해 도구와 튜토리얼 모음을 만드는 일이었다. 공고는 프롬프트 엔지니어링이 생긴 지 2년이 채 되지 않은 분야라 적임자를 찾기 어렵다고 설명했다 Jane Thier, Fortune, Someone with a ‘hacker spirit’ can earn over $300,000 for a new kind of job centered around ChatGPT-like assistants (게시: 2023-03-09).
기법도 빠르게 늘어났다. 2024년에 공개된 프롬프팅 기법 조사 논문은 관련 용어 33개를 정리하고, 텍스트 프롬프팅 기법 58개와 이미지, 음성 등 다른 입력 방식의 기법 40개를 분류했다 Sander Schulhoff 외, The Prompt Report: A Systematic Survey of Prompting Techniques (2024; 초록). 기법이 수십 가지로 늘어났다는 사실은 이 분야가 활발했음을 보여 주는 동시에, 어떤 기법이 언제 효과가 있는지 사용자가 일일이 판단하기 어려워졌음을 뜻하기도 했다.
2년 뒤의 분위기는 달랐다. Microsoft가 2025년 4월 발표한 Work Trend Index는 31개 시장의 지식노동자 31,000명을 조사해, 리더들이 12–18개월 안에 채용을 고려하는 AI 관련 직무를 정리했다. 상위에 오른 것은 AI 트레이너(32%), AI 데이터 전문가(32%), AI 보안 전문가(31%) 등이었고, 상위 10개 직무에 프롬프트 엔지니어는 없었다 Microsoft, 2025: The year the Frontier Firm is born (게시: 2025-04-23). 이 조사를 다룬 Korn Ferry의 글은 프롬프트 엔지니어링이 목록에서 아래에서 두 번째였다고 전했다 Korn Ferry, The Hottest Job of the Year Goes Cold (게시: 2025-04-29). 프롬프트를 잘 쓰는 능력이 필요 없어졌다기보다, 그것만을 맡는 별도 직무의 필요가 줄어든 것으로 볼 수 있다. AI를 쓰는 사람 누구나 갖춰야 하는 기본 역량에 가까워졌기 때문이다.
기법이 모델 안으로 들어가다
직무의 위상이 달라진 데에는 모델의 변화도 있었다. 2024년 9월 OpenAI는 추론 모델(reasoning model) o1을 발표하면서, 이 모델이 강화학습으로 훈련되어 답하기 전에 긴 내부 chain-of-thought를 만든다고 설명했다 OpenAI, Learning to reason with LLMs (게시: 2024-09-12). 사용자가 프롬프트로 유도하던 단계적 추론을 모델이 스스로 하게 된 것이다.
모델 개발사의 안내도 이 변화를 반영한다. OpenAI의 추론 모델 안내 문서는 추론 모델이 이미 내부에서 추론하므로 “단계별로 생각하라”는 프롬프트가 성능을 높이지 않을 수 있고 오히려 방해가 될 수도 있다고 설명한다. few-shot 예시도 대개 필요하지 않으니 예시 없이 시작하라고 권한다. 반면 최종 목표를 구체적으로 적고, 성공한 응답의 조건과 제약을 명시하라는 조언은 그대로 남아 있다 OpenAI, Reasoning best practices (확인: 2026-11-15; 문서 게시일 미표시). Anthropic의 프롬프팅 안내 문서도 명확하고 직접적으로 지시하기, 지시의 이유와 맥락 제공하기, 관련 있고 다양한 예시 3–5개 쓰기를 기본 원칙으로 두면서, 단계적 사고는 모델의 확장 추론 기능으로 처리하고 수동 chain-of-thought는 그 기능을 끈 경우의 대안으로 소개한다 Anthropic, Prompting best practices (확인: 2026-11-15; 문서 게시일 미표시).
두 문서를 함께 보면, 특정 문구로 모델의 능력을 끌어내던 기법은 모델 안으로 흡수되고 있다. 사람에게 남은 일은 무엇을 원하는지, 어떤 조건을 지켜야 하는지, 무엇을 보면 성공했다고 판단할 수 있는지를 정하는 일이다. 앞의 항복강도 예시에서 사람이 정한 계산 방법, 탄성 구간, 예외 처리 방식이 여기에 해당한다.
프롬프트만으로 해결되지 않은 문제
프롬프트를 잘 써도 결과를 믿을 수 있는 것은 아니었다. 첫째, 같은 내용을 담은 프롬프트라도 형식이 조금만 달라지면 결과가 크게 달라졌다. 2023년 연구는 여러 오픈소스 모델이 구분 기호, 띄어쓰기, 대소문자처럼 의미와 상관없는 형식 변화에 민감하며, LLaMA-2-13B 모델에서는 형식만 바꿔도 정확도가 최대 76%p까지 차이 난다고 보고했다 Melanie Sclar 외, Quantifying Language Models’ Sensitivity to Spurious Features in Prompt Design (2023; 초록). 한 번 잘 작동한 프롬프트가 다른 모델이나 다른 상황에서도 잘 작동한다는 보장이 없다는 뜻이다.
둘째, 문법적으로 그럴듯한 코드도 실행하면 틀리거나 안전하지 않을 수 있었다. GitHub Copilot이 생성한 코드를 보안 관점에서 분석한 연구는 89개 시나리오에서 생성된 1,689개 프로그램 가운데 약 40%에서 취약점을 발견했다 Hammond Pearce 외, Asleep at the Keyboard? Assessing the Security of GitHub Copilot’s Code Contributions (IEEE S&P 2022; 초록). 연구와 공학에서는 계산이 조용히 틀리는 경우가 오류로 멈추는 경우보다 더 위험하다. 앞의 항복강도 함수가 단위를 잘못 해석해도 숫자는 출력되므로, 결과를 직접 확인하지 않으면 틀린 값이 그대로 쓰인다.
셋째, 질문하고 답을 받는 방식에서는 실행과 검증이 모두 사람의 몫이었다. AI는 코드를 글로 돌려줄 뿐이고, 사람은 그 코드를 복사해 실행하고 오류 메시지를 다시 붙여 넣어야 했다. HumanEval의 결과처럼 여러 번 생성해 테스트로 고르면 정답률이 오르지만, 대화창 안에서 그 과정을 반복하는 것은 사람이었다.
이 문제들 때문에 관심은 “어떻게 질문할까”에서 “결과를 어떻게 실행하고 검증하고 고칠까”로 옮겨 갔다. AI가 직접 파일을 읽고, 코드를 실행하고, 오류를 확인해 고치는 에이전틱 코딩은 §3.2에서, 에이전트가 참고할 정보를 고르고 구성하는 컨텍스트 엔지니어링은 §3.3에서, 코드를 만들기 전에 명세와 계획을 먼저 합의하는 방식은 §3.4에서 다룬다. 이 방식들에서도 프롬프트는 사라지지 않는다. 에이전트에게 주는 작업 지시, 저장소의 지침 파일, 명세 문서는 모두 AI에게 주는 입력이며, 이 꼭지에서 본 원칙인 목표, 조건, 예시, 완료 기준을 분명히 쓰는 일이 그 안에 그대로 이어진다.
토론: 처음부터 자세히 설명할 것인가, 대화하며 고칠 것인가
앞의 항복강도 예시는 필요한 조건을 처음부터 모두 적은 요청이었다. 실제로 AI에게 코드를 요청할 때 모든 사람이 이렇게 하지는 않는다. 짧게 시작해 결과를 보며 대화로 고쳐 나가는 사람도 많다. 이 질문을 수업의 중간발표 토론 주제로 내고, 3장 저자들과 수강생들에게 각자 어떻게 요청하는지 물었다.
수강생 A “잘 모르는 코드는 함수 단위로 먼저 받아 보고, 점차 계획을 세워서 진행해요. 잘 아는 코드는 처음부터 자세히, 단순한 코드 구성까지 반영해서 요청하는 편이에요.”
수강생 B “저는 먼저 전체 흐름을 설명하고, 이후에 대화하면서 수정하는 편인 것 같습니다.”
수강생 C “최대한 자세히 설명하고, 설정값이 필요한 경우에는 안내해 달라고 하는 식으로 쓰는 경향이 있어요.”
수강생 D “저는 간단하게 설명하고 디테일을 잡아 가는 편입니다. 제안을 요청해서 대화하며 코드를 구축하는 방식을 주로 써요.”
수강생 E “업무와 관련된 요청은 처음부터 자세하게 프롬프트를 주려고 노력합니다. 자세한 프롬프트를 만들기 위해 AI를 따로 쓰기도 해요. AI가 지시가 불확실해서 추론으로 일을 메우지 않도록 하려는 거예요.”
(3조 저자와 수강생의 의견을 2026년 11월에 모아 말투만 다듬었다.)
다섯 의견은 처음에 얼마나 자세히 쓰는지에서 갈리지만, 공통점도 있다. 처음부터 자세히 쓰는 사람도 모르는 설정값은 AI에게 물어보게 하고(C), 간단히 시작하는 사람도 전체 흐름은 먼저 알려 준다(B). E는 자세한 요청을 쓰는 일 자체를 다른 AI에게 돕게 하는데, 이유로 든 것은 AI가 불확실한 지시를 추측으로 메우지 않게 하는 것이다. 이는 이 꼭지 첫머리에서 본 문제, 곧 정보가 빠진 요청에서 AI가 많은 것을 추측해야 한다는 점과 같은 관찰이다. A의 방식은 두 접근을 작업에 따라 나눠 쓴다. 차이를 만드는 것은 개인의 취향보다 요청하는 사람이 그 작업을 얼마나 알고 있느냐에 가깝다. 잘 아는 작업에서는 입력과 출력, 방법, 완료 기준을 미리 적을 수 있다. 잘 모르는 작업에서는 무엇을 적어야 하는지부터 알 수 없으므로, AI의 제안을 받아 보며 조건을 찾아가는 과정이 필요하다.
연구 결과는 대화로 조건을 나눠 주는 방식에 대가가 있음을 보여 준다. Laban 등은 하나의 요청에 담길 정보를 여러 조각으로 나눠 대화의 각 턴에 하나씩 전달하는 실험을 설계했다. 15개 모델로 20만 건이 넘는 대화를 시뮬레이션한 결과, 코드 작성을 포함한 6개 생성 과제에서 정보를 나눠 줄 때의 성능이 한 번에 줄 때보다 평균 39% 낮았다. 저자들은 이 하락이 모델의 능력 자체가 조금 줄어든 것보다, 같은 조건에서 결과가 들쭉날쭉해지는 불안정성이 크게 늘어난 데서 온다고 분석했다. 모델의 temperature를 낮춰도 대화 상황의 불안정성은 거의 줄지 않았다 Philippe Laban 외, LLMs Get Lost In Multi-Turn Conversation (2025; 초록, §5, §7.2). 다만 이 실험은 사람이 아니라 시뮬레이션된 사용자가 정해진 정보 조각을 순서대로 주는 설정이므로, 실제 사람이 결과를 보며 요구를 고쳐 가는 대화와 같다고 볼 수는 없다.
논문은 사용자를 위한 대응도 제안한다. 대화가 엇나가면 그 대화를 계속 고치기보다 새 대화를 시작하고, 그때 지금까지 말한 요구사항을 모델에게 요약하게 한 뒤 그 요약을 새 대화의 첫 요청으로 쓰라는 것이다 Philippe Laban 외, LLMs Get Lost In Multi-Turn Conversation (2025; §7.4).
수강생들의 경험과 이 연구를 함께 보면, 저자는 다음과 같이 정리한다. 두 방식 중 하나를 고르기보다 작업의 단계에 따라 나눠 쓴다. 무엇을 만들지 아직 모를 때는 짧게 시작해 대화로 탐색한다. 대화 중에 조건이 정해지면 그 조건을 앞의 표처럼 목표, 입출력, 방법, 완료 기준으로 모아 한 번의 요청으로 다시 정리한다. 대화로 찾은 조건을 다시 명세로 옮겨 적는 이 과정은, 코드를 만들기 전에 명세와 계획을 먼저 합의하는 방식(§3.4)과 이어진다. §3.4에서는 같은 질문을 “탐색은 어디까지 하고, 무엇부터 명세로 합의할 것인가”라는 형태로 다룬다.
참고 자료
- Tom B. Brown 외, Language Models are Few-Shot Learners (2020).
- Jason Wei 외, Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (2022).
- Takeshi Kojima 외, Large Language Models are Zero-Shot Reasoners (2022).
- Mark Chen 외, Evaluating Large Language Models Trained on Code (2021).
- Andrej Karpathy, X 게시물 (Thread Reader 보관본) (게시: 2023-01-24).
- Jane Thier, Fortune, Someone with a ‘hacker spirit’ can earn over $300,000 for a new kind of job centered around ChatGPT-like assistants (게시: 2023-03-09).
- Sander Schulhoff 외, The Prompt Report: A Systematic Survey of Prompting Techniques (2024).
- Microsoft, 2025: The year the Frontier Firm is born (게시: 2025-04-23).
- Korn Ferry, The Hottest Job of the Year Goes Cold (게시: 2025-04-29).
- OpenAI, Learning to reason with LLMs (게시: 2024-09-12).
- OpenAI, Reasoning best practices (확인: 2026-11-15).
- Anthropic, Prompting best practices (확인: 2026-11-15).
- Melanie Sclar 외, Quantifying Language Models’ Sensitivity to Spurious Features in Prompt Design (2023).
- Miles Turpin 외, Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting (2023).
- Hammond Pearce 외, Asleep at the Keyboard? Assessing the Security of GitHub Copilot’s Code Contributions (2021; IEEE S&P 2022).
- Philippe Laban 외, LLMs Get Lost In Multi-Turn Conversation (2025).