§3.2 에이전틱 코딩의 등장
2022년의 AI는 코드를 작성할 수는 있었지만 실행할 수는 없었다. 따라서 코드를 실행하고 오류를 AI에게 다시 전달하는 일은 사람이 맡았다. 2025년의 AI는 목표만 주어지면 코드의 실행과 수정까지 스스로 수행한다. 사람의 역할도 결과를 검토하고 추가 작업 여부를 결정하는 것으로 바뀌었다. 이는 에이전틱 코딩의 등장으로 생긴 변화이다. 이 절에서는 이 변화를 가능하게 한 기술적 변화, 현재 에이전트의 성능 수준, 그리고 이에 대한 개발자들의 반응을 차례로 다룬다.
에이전틱 코딩이란 AI가 할당받은 목표를 이룰 때까지 도구를 쓰며 결과에 도달하는 방식을 뜻한다. Django 웹 프레임워크의 공동 개발자인 Simon Willison(Simon Willison, About (확인: 2026-11-13))은 에이전트를 “An LLM agent runs tools in a loop to achieve a goal.”이라고 정의하며, 목표가 주어지면 AI가 도구를 반복해서 쓰며 스스로 결과까지 나아가는 것이 현재 에이전트의 역할임을 짚었다(Simon Willison, I think “agent” may finally have a widely enough agreed upon definition (게시: 2025-09-18)). Anthropic은 미리 정해 둔 순서대로 모델과 도구를 호출하는 워크플로(workflow)와, 모델이 스스로 다음 행동에 맞는 도구를 정하는 에이전트를 구분해야 한다고 하였다(Anthropic, Building effective agents (게시: 2024-12-19)). 이는 같은 AI라도 다음 행동을 스스로 정하느냐에 따라 전혀 다른 존재로 보아야 한다는 의미이다. 이 절에서는 이 구분에 따라 에이전틱 코딩 등장 전을 대화 단계, 이후를 에이전트 단계로 나누어 본다.
대화 단계에서 에이전트 단계로
2022년 11월 ChatGPT가 공개되면서 채팅 창에서 AI에게 코드를 받아 쓰는 방식이 빠르게 퍼졌다. 당시 Sourcegraph의 개발자 Steve Yegge는 이 방식을 채팅 중심 프로그래밍(chat-oriented programming), 줄여서 CHOP이라 부르며 “coding via iterative prompt refinement”라고 설명했다(Steve Yegge, The Death of the Junior Developer (게시: 2024-06-24)). 프롬프트를 고쳐 가며 원하는 코드를 얻어 낸다는 이 설명은, 초창기 AI 코딩에서 더 나은 결과를 얻는 일이 사람이 프롬프트를 고치는 데 달려 있었음을 보여 준다.
이 방식에서 AI는 자기가 쓴 코드가 실제로 어떻게 돌아가는지 알 수 없었고, 코드와 실행 결과를 옮기는 일은 모두 사람의 몫이었다. 이 일을 AI가 맡으려면, 곧 AI가 실행 결과를 직접 보고 수정하려면 다음 네 가지가 함께 바뀌어야 했다.
첫 번째는 AI의 출력이다. 2023년 6월 OpenAI는 모델이 미리 정한 형식으로 함수 호출 내용을 내놓으면 프로그램이 그 함수를 실행할 수 있는 기능을 공개했고(OpenAI, Function calling and other API updates (게시: 2023-06-13)), 2024년 5월에는 Anthropic도 Claude의 도구 사용 기능을 정식으로 출시했다(Anthropic, Claude can now use tools (게시: 2024-05-30)). 이 기능으로 AI의 답은 사람이 읽는 글에 머물지 않고, 프로그램이 바로 실행할 수 있는 명령이 될 수 있었다. 도구 호출이 내부에서 어떻게 작동하는지는 §8.3에서 다룬다.
두 번째는 한 번에 다룰 수 있는 정보의 양이다. 2020년의 GPT-3는 한 번에 2,048토큰 분량의 정보만 입력받을 수 있었지만(Brown 외, Language models are few-shot learners (NeurIPS 2020, 2.1절)), 2023~2024년 무렵에는 20만에서 100만 토큰 분량을 받는 모델이 나왔다(Anthropic, Introducing Claude 2.1 (게시: 2023-11-21); Google, Our next-generation model: Gemini 1.5 (게시: 2024-02-15)). 덕분에 AI가 대용량의 파일과 로그 기록을 한꺼번에 볼 수 있게 되었다. 전달받은 정보에서 무엇을 골라 쓸지는 §3.3에서 다룬다.
세 번째는 AI가 일하는 작업 환경이다. 2024년 3월 Cognition은 도구를 갖춘 AI인 Devin을 공개했다(Cognition, Introducing Devin (게시: 2024-03-12)). 같은 해 Princeton과 Stanford 연구진은 SWE-agent를 만들면서, 파일을 한 번에 보여 주는 대신 100줄씩 보여 주는 명령과 문법 오류가 생기면 수정을 되돌리는 편집 명령을 만들어 AI가 도구를 쓰기 쉽게 했다(Yang 외, SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering (NeurIPS 2024)). Anthropic도 에이전트를 만들며 “we actually spent more time optimizing our tools than the overall prompt”라고 밝혀, 에이전트의 성능이 프롬프트만큼이나 AI에게 어떤 도구를 쥐여 주느냐에 달려 있음을 시사했다(Anthropic, Building effective agents (게시: 2024-12-19)).
네 번째는 모델을 훈련하는 방식이다. 2025년 5월 OpenAI는 실제 코딩 작업을 수행하고 성공하면 보상을 주는 강화학습으로 훈련한 codex-1을 출시했다(OpenAI, Introducing Codex (게시: 2025-05-16)). 그럴듯한 답을 내는 데서 끝나지 않고, 테스트를 통과해야 성공으로 치는 방식이다.
이러한 변화들은 2025년에 제품으로 나타났다. Anthropic은 2025년 2월 컴퓨터 터미널에서 작동하는 Claude Code를 공개했고(Anthropic, Claude 3.7 Sonnet and Claude Code (게시: 2025-02-24)), 같은 해 5월 OpenAI는 Codex를(OpenAI, Introducing Codex (게시: 2025-05-16)), GitHub은 Copilot 코딩 에이전트를 내놓았다(GitHub, GitHub Introduces Coding Agent for GitHub Copilot (게시: 2025-05-19)). 이렇게 에이전트 단계는 2024년 연구에서 시작해 2025년 제품으로 자리 잡았다.
에이전트의 성능은 얼마나 나아졌나
에이전트가 실제로 얼마나 일을 잘하는지 잴 때 많이 쓰는 시험이 SWE-bench이다. SWE-bench는 Python 오픈소스 프로젝트 12곳에 실제로 올라온 버그 신고 2,294건을 AI에게 주고, 고친 비율을 점수로 매긴다. 2023년 처음 공개됐을 때 가장 좋은 모델인 Claude 2의 해결률은 1.96%였다(Jimenez 외, SWE-bench: Can Language Models Resolve Real-World GitHub Issues? (ICLR 2024)).
2024년 3월 Cognition은 Devin이 SWE-bench에서 13.86%의 해결률을 기록했다고 밝혔다(Cognition, Introducing Devin (게시: 2024-03-12)). 하지만 이 결과는 전체 2,294건 중 무작위로 고른 25%에서 잰 것이었고, Devin이 어떤 모델을 쓰는지 공개되지 않아 모델의 차이인지 도구의 차이인지 판정하기 어렵다. 이후 Answer.AI가 Devin에게 한 달 동안 실제 작업 20개를 맡긴 결과 성공은 3건에 그쳐(Answer.AI, Thoughts On A Month With Devin (게시: 2025-01-08)), 발표된 점수와 실제 작업에서의 성과 사이에 차이가 있을 수 있음을 보여 주었다.
도구의 효과는 모델을 고정한 비교에서 더 분명하게 드러난다. 앞서 본 SWE-agent 연구는 모델을 GPT-4 Turbo로 고정하고 SWE-bench 전체 2,294건을 풀게 했는데, 도구 사용 전후로 해결률이 1.31%에서 12.47%로 달라졌다(Yang 외, SWE-agent (NeurIPS 2024, 표 1)). 같은 모델이라도 어떤 도구를 쓰느냐에 따라 결과가 열 배 가까이 달라진 것이다.
이후 SWE-bench 점수는 빠르게 올랐다. 2024년 8월 OpenAI는 기존 SWE-bench에서 버그 설명이 애매하거나 올바른 수정도 오답 처리하는 문제들을 Python 개발자 93명의 검토로 걸러 낸 SWE-bench Verified를 공개했다(OpenAI, Introducing SWE-bench Verified (게시: 2024-08-13)). Vals.ai의 집계에 따르면 2026년 9월 이 시험의 최고 점수는 97.0%였다(Vals.ai, SWE-bench Verified (확인: 2026-11-13; 2026-09-01 갱신분; 모델: Claude Opus 5, 실행 환경: mini-SWE-agent)). 하지만 OpenAI는 이미 2026년 2월에 이 점수의 보고를 중단했다. 문제의 출처가 공개 저장소였기 때문에 최신 모델들이 정답 코드를 그대로 재현할 수 있었고, 모델이 유독 자주 틀린 문제를 검토해 보니 상당수에 테스트 결함이 있었다는 이유였다(OpenAI, Why we no longer evaluate SWE-bench Verified (게시: 2026-02-23)). 시험을 만든 쪽이 스스로 신뢰성을 의심할 만큼, 점수가 높다는 사실만으로는 실력을 판단하기 어려워진 것이다.
이처럼 SWE-bench 점수만으로는 기준이 모호하기 때문에, 에이전트의 발전을 다른 방식으로 재는 방법도 등장했다. AI 평가 기관인 METR(Model Evaluation and Threat Research)(METR, About (확인: 2026-11-13))은 228개의 작업을 AI 에이전트에게 사람 도움 없이 풀게 하고, AI가 50%의 확률로 성공하는 작업이 사람 전문가 기준으로 몇 시간짜리인지를 잰다(METR, Time Horizon 1.1 (게시: 2026-01-29)). 여기서 사람의 기준은 평균 경력 약 5년의 전문가가 작업을 처음 보고 풀었을 때 걸린 시간이다(Kwa 외, Measuring AI Ability to Complete Long Software Tasks (2.2절, 3.1절)). METR의 결과에 따르면 이 시간은 2023년 GPT-4의 약 4분에서 2026년 2월 Claude Opus 4.6의 약 12시간으로 늘었고(METR, Task-Completion Time Horizons of Frontier AI Models (확인: 2026-11-13; 벤치마크 버전: Time Horizon 1.1)), 2024년 이후에는 약 89일마다 2배가 되었다(METR, Time Horizon 1.1 (게시: 2026-01-29)). 다만 긴 작업일수록 사람이 직접 풀어 잰 기준이 적어, METR은 16시간을 넘는 측정값은 신뢰성이 낮다고 밝혔다. 따라서 이 수치는 정확한 값이라기보다, 에이전트가 맡을 수 있는 작업의 길이가 빠르게 늘고 있다는 흐름을 가늠하는 근거로 볼 수 있다.
개발자들의 반응
성능은 빠르게 좋아졌지만, 개발자들은 아직 AI의 결과를 그대로 믿지 않는다. Stack Overflow 2025 개발자 설문에서 AI가 낸 결과를 믿는다는 응답은 32.7%(매우 신뢰 3.1%, 다소 신뢰 29.6%)였고, 믿지 않는다는 응답은 45.7%(다소 불신 26.1%, 매우 불신 19.6%)로 더 많았다. 가장 큰 불만으로는 “AI solutions that are almost right, but not quite”가 66.0%로 가장 많이 꼽혔다(Stack Overflow, 2025 Developer Survey: AI (확인: 2026-11-13)). 거의 맞지만 완전히 맞지는 않는다는 이 불만은, 작업 전반을 AI에게 맡기지 못하고 사람이 최종적으로 결과를 따져 봐야 하는 이유를 보여 준다. 이렇게 틀린 출력의 유형은 §9.1에서 다룬다.
AI 에이전트에게 일을 얼마나 맡길 수 있는지는 Anthropic 내부 조사에서 가늠할 수 있다. Anthropic이 자사 엔지니어와 연구자 132명에게 물었을 때, 이들은 업무의 약 60%에 Claude를 쓰지만 완전히 맡길 수 있는 일은 0~20%라고 답했다. 주로 맡기는 일은 결과를 확인하기 쉽거나 잘못돼도 피해가 작은 일이었다(Anthropic, How AI is transforming work at Anthropic (게시: 2025-12-02)). 에이전트를 가장 가까이에서 만드는 사람들조차 결과를 쉽게 확인할 수 있는 일만 온전히 맡기고 있는 셈이다.
정리
에이전틱 코딩의 등장으로 AI는 실행 결과를 직접 보고 고칠 수 있게 됐다. 사람이 매 단계마다 관여하는 일은 줄었지만, 무엇을 맡길지 정하고, 돌아온 결과가 맞는지 판단해 추가 작업을 요청할지 정하는 일은 여전히 사람에게 있다. 맡길 일을 어떻게 설명할지는 §3.3과 §3.4에서, 그 판단을 돕는 테스트와 검증 방법은 10장에서 다룬다.
참고 자료
- Simon Willison, About (확인: 2026-11-13).
- Simon Willison, I think “agent” may finally have a widely enough agreed upon definition (게시: 2025-09-18).
- Anthropic, Building effective agents (게시: 2024-12-19).
- Steve Yegge, The Death of the Junior Developer (게시: 2024-06-24).
- OpenAI, Function calling and other API updates (게시: 2023-06-13).
- Anthropic, Claude can now use tools (게시: 2024-05-30).
- Brown 외, Language models are few-shot learners (NeurIPS 2020).
- Anthropic, Introducing Claude 2.1 (게시: 2023-11-21).
- Google, Our next-generation model: Gemini 1.5 (게시: 2024-02-15).
- Cognition, Introducing Devin (게시: 2024-03-12).
- Yang 외, SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering (NeurIPS 2024).
- OpenAI, Introducing Codex (게시: 2025-05-16).
- Anthropic, Claude 3.7 Sonnet and Claude Code (게시: 2025-02-24).
- GitHub, GitHub Introduces Coding Agent for GitHub Copilot (게시: 2025-05-19).
- Jimenez 외, SWE-bench: Can Language Models Resolve Real-World GitHub Issues? (ICLR 2024).
- Answer.AI, Thoughts On A Month With Devin (게시: 2025-01-08).
- OpenAI, Introducing SWE-bench Verified (게시: 2024-08-13).
- Vals.ai, SWE-bench Verified (확인: 2026-11-13; 2026-09-01 갱신분).
- OpenAI, Why we no longer evaluate SWE-bench Verified (게시: 2026-02-23).
- METR, About (확인: 2026-11-13).
- METR, Time Horizon 1.1 (게시: 2026-01-29).
- Kwa 외, Measuring AI Ability to Complete Long Software Tasks (2025).
- METR, Task-Completion Time Horizons of Frontier AI Models (확인: 2026-11-13; 벤치마크 버전: Time Horizon 1.1).
- Stack Overflow, 2025 Developer Survey: AI (확인: 2026-11-13).
- Anthropic, How AI is transforming work at Anthropic (게시: 2025-12-02).