§4.1 반복 업무를 자동화하는 작은 도구
4장은 바이브 코딩으로 만든 산출물에 따라 무엇을 확인해야 하는지 다룬다. 4.1절의 산출물은 자신이 반복해서 하는 일을 줄이는 작은 도구다. 파일 이름이나 화면 상태처럼 바뀐 결과를 눈으로 확인할 수 있는 작업에서 실행 전후를 비교한다. 뒤의 절에서는 검증 범위가 분석 결과의 재현성, 웹 서비스의 사용 흐름과 접근 권한, 문서와 발표 자료의 정확성과 전달 방식으로 넓어진다.
작은 도구를 만들 때도 서로 다른 판단이 필요하다. 되풀이되는 절차와 실행 조건을 찾으면 다시 쓸 도구로 남길 후보가 생긴다. 그 도구에 일을 맡길 때는 판단 규칙을 전달하고, 사람이 개입해 고칠 수 있는 단계를 정한다. 결과를 얻은 뒤에는 검사가 실제 오류를 잡는지와 필요한 파일 상태가 남았는지 확인한다. 사람의 개입 지점을 설계하는 문제와 산출물의 성공을 판정하는 문제를 구분해 살펴본다.
한 번 성공한 요청을 언제 다시 쓸 수 있는 도구로 만들어야 할까?
발표를 앞두고 AI 에이전트에 폴더 속 이미지를 같은 크기로 맞춰 달라고 요청할 수 있다. 다음 발표에서도 같은 규격으로 여러 장을 변환한다면, 달라지는 것은 입력 폴더와 파일뿐이다. 이때 입력과 변환 규격, 결과를 저장할 위치를 정해 스크립트로 남기면 다음에는 폴더를 지정해 같은 절차를 실행할 수 있다. 자료마다 요구 사항이 달라 실행할 때마다 판단이 필요하다면 그때의 조건을 설명해 요청하는 편이 간단할 수 있다.
Fawzy 외의 설문에서 바이브 코딩 경험이 있는 응답자 162명 중 101명(62.3%)이 작은 스크립트나 자동화에 바이브 코딩을 사용한다고 답했다. 조사에서 가장 자주 선택된 작업 유형이었다 Ahmed Fawzy et al., From Prompting to Verification: How Experience Shapes Vibe Coding Practices. 반복되는 일을 고를 때는 실제 작업 몇 건에서 매번 새로 판단한 조건과 그대로 적용한 규칙을 확인한다. 같은 규칙을 여러 입력에 적용한다면 한 번만 하는 일에도 스크립트가 쓸모 있다. 그만큼 다시 쓸 일이 있거나 한 번에 처리할 입력이 많을수록, 만들고 검증하는 데 드는 시간을 감수할 이유가 생긴다.
Jiang과 Nam의 연구에서 학생 8명은 약 4–8일 동안 평소처럼 브라우저를 사용했고, 연구용 도구 Motif가 클릭, 복사와 붙여넣기, 탭 전환과 방문 주소를 기록했다. Motif는 기록을 짧은 구간으로 묶고, 각 구간에서 사용자가 어느 페이지에서 무엇을 했는지를 문장으로 요약했다. 여러 구간에서 비슷한 동작 순서를 찾으면 하나의 패턴으로 묶고, 얼마나 자주 일어났는지와 다시 일어날 가능성을 기준으로 후보를 제시했다. 사용자가 작업 방식을 검토하고 승인하면 브라우저에서 실행할 스크립트를 생성했다 Shaokang Jiang and Daye Nam, Motif: Discovering and Automating Personal Web Workflows.
참가자들은 후보를 보기 전에 연구자의 질문을 받으며 어느 페이지에 가고 어떤 조작을 자주 하는지 떠올렸다. Motif가 찾은 패턴 175개 중 참가자가 골라 검토한 것은 40개였다. 같은 40개 가운데 34개는 실제 일상 작업에 해당했고, 앞서 참가자 스스로 자동화 후보로 꼽은 패턴은 3개였다. 스크립트를 만들어 기대대로 실행한 패턴은 24개였다. 이 수치는 같은 후보를 서로 다른 기준으로 평가한 결과다. 한 참가자는 채용 공고를 요약하고 번역하고 자신에게 맞는지 평가하는 도구를 떠올렸다. Motif는 같은 구직 과정에서 복사한 채용 공고에 맞춤 프롬프트를 덧붙이는 짧은 작업을 찾아냈다 Shaokang Jiang and Daye Nam, Motif: Discovering and Automating Personal Web Workflows. 큰 업무 이름만 떠올리면 그 안에서 반복하는 짧은 조작을 놓칠 수 있다. 다만 반복을 찾은 뒤에도 실제 실행을 확인해야 도구로 쓸 수 있다.
직접 업무를 되짚을 때는 최근에 같은 일을 한 몇 건을 골라 시작 화면, 되풀이한 조작, 완료 상태를 차례로 적어 볼 수 있다. ’채용 공고 검토’처럼 큰 작업 이름 아래에서, 입력이 바뀌어도 같은 방식으로 처리한 짧은 동작이 있는지 살핀다.
다음 실행에 무엇을 남길 것인가
이미 쓰는 이미지 변환기가 있다면, 스크립트는 폴더에서 파일을 골라 변환기에 넘기고 결과를 제출용 폴더에 모을 수 있다. 이렇게 기존 프로그램을 연결하는 코드를 글루 코드(glue code)라고 부른다. 어떤 부분을 도구로 남길지 정할 때는 한 번에 처리할 양과 예상 사용 횟수, 검증과 예외 처리에 드는 시간을 함께 따져 본다.
다음 실행 때도 에이전트의 판단이 필요한 업무라면, 확인된 절차를 에이전트가 읽을 지침으로 남길 수 있다. Lu 외의 SkillMe는 한 에이전트가 업무를 성공시킨 실행 기록에서 지침을 추출하고 검증하게 했다. 이후 실행을 맡은 에이전트들은 같은 업무를 다시 수행하면서 어떤 지침을 따랐고 어디서 막혔는지 기록했다. 지침이 실제 도구나 파일 형식과 맞지 않으면 다음 실행 전에 고쳤다 Xiuqi Lu et al., SkillMe: Evolving Agent Skills for Recurring Personal Workflows.
이 연구의 CSV 통계 요약 사례에서는 지침이 오히려 실행을 방해했다. 과제는 붓꽃 데이터의 통계를 계산하고, 데이터 개요와 전체 통계, 품종별 통계, 상관관계, 품종 구분에 관한 해석을 보고서로 만드는 일이었다. 평가는 통계의 정확성, 필수 항목의 포함 여부와 해석 등을 반영한 100점 척도였다. 같은 과제에서 gpt-oss-120b는 지침 없이 96.9점을 받았지만, 초기 지침을 따랐을 때는 40.0점을 받았다. 지침이 여러 줄 코드를 명령창에 전달하는 방식을 권했고, 모델이 그 전달 문법을 잘못 처리해 스크립트가 손상됐기 때문이다. 연구진이 실행 기록을 확인한 뒤 코드를 파일로 저장하고 실행하도록 지침을 고치자, 다음 실행에서 100.0점을 받았다 Xiuqi Lu et al., SkillMe: Evolving Agent Skills for Recurring Personal Workflows.
이 점수 변화는 한 과제와 한 모델의 실행 사례다. 모든 업무에서 지침의 효과가 같다는 뜻은 아니다. 독자가 확인할 것은 저장한 지침으로 실제 작업을 다시 수행할 수 있는가이다. 반복할 절차를 찾은 다음, 코드 전달 방식처럼 실행을 좌우한 조건까지 시험해 본 지침을 재사용 도구에 담는다.
Prabhu 외의 WALT는 웹사이트가 제공하는 검색, 필터, 정렬 기능을 찾아 입력값으로 호출할 수 있는 도구로 만들었다. 실행 예로 동작 순서를 파악한 뒤, 여러 조작을 하나의 호출로 묶고 도구가 의도대로 동작하는지 검증했다. VisualWebArena의 중고 장터 과제에서 GPT-5-mini와 나머지 설정을 동일하게 두고 비교하자, 발견한 도구를 쓸 때 평균 실행 단계는 8.9에서 6.5로 줄었고 과제 성공률은 57.5%에서 61.5%로 올랐다 Viraj Prabhu et al., WALT: Web Agents that Learn Tools. 사이트에서 매번 같은 검색과 정렬을 한다면 검색어와 정렬 기준만 입력값으로 받고, 화면 조작 순서를 도구 안에 둘 수 있다.
Chen 외는 후속 연구 SkillShift-Bench에서 WALT를 포함한 네 가지 방법이 저장한 절차를 다시 쓸 수 있는지 시험했다. GitLab, Magento, WordPress를 직접 띄우고, 같은 작업에서 화면 구성과 사이트 버전 또는 테마를 바꾸거나 조작을 가로막는 팝업을 삽입했다. WALT의 과제 성공률은 바뀐 환경에서 별도 방해를 더하지 않았을 때 41.2%였고, 같은 환경에 실행을 가로막는 팝업을 삽입했을 때는 19.1%였다 Bo-Yu Chen et al., SkillShift-Bench: Benchmarking Skill Learning under Environment Evolution for Web Agents. 외부 사이트에 의존하는 도구를 남길 때는 어느 화면에서 실행을 시작하는지, 팝업이나 화면 개편으로 조작할 수 없을 때 어디서 멈추는지도 기록할 만하다.
Treude와 Baltes는 Claude Code로 저장소 이슈 30개를 작업하게 한 뒤, 각 세션을 돌이켜 설정과 지침의 개선안을 제안하게 했다. 제안 125개 중 24개를 구현하고, 같은 저장소의 후속 이슈에서 12가지 변경을 시험했다. 변경 전 조건에서 해당 문제가 다시 드러난 일곱 비교 가운데 두 건은 불필요한 행동을 없앴고 한 건은 줄였으며 네 건은 줄이지 못했다. SymPy에서는 설치되지 않은 pytest를 먼저 시도하던 행동이 지침에 저장소의 테스트 명령인 bin/test를 적자 다섯 세션 모두에서 사라졌다 Christoph Treude and Sebastian Baltes, How Do Coding-Agent Harnesses Self-Evolve? An Empirical Study of Retrospective Adaptation. 이런 지침을 남길지는 후속 작업에서도 같은 문제가 되풀이되는지, 남긴 내용이 그 문제를 직접 해결하는지 보고 판단한다.
어디까지 자동화에 맡기고, 어디에 사람이 개입할까?
반복할 절차를 도구로 남겼다면 그 절차 안에서 역할을 나눈다. 사람은 선택 결과가 달라지는 조건을 정해 전달하고, 도구는 그 규칙을 입력에 적용한다. 결과가 규칙과 어긋났을 때는 사람이 어느 단계에서 개입할 수 있는지도 설계한다. 이 질문에서 확인하는 목적은 고칠 위치와 방법을 찾는 것이다. 뒤의 세 번째 질문에서는 작업의 성공 여부를 판정할 검사와 최종 상태를 다룬다.
결과가 달라지는 조건까지 규칙으로 전달한다
화면에서 한 번 고른 값에는 선택 기준이 드러나지 않을 수 있다. Yamazaki 외의 Programming by Teaching 연구가 소개한 경비 처리 예에서는 30만 엔을 넘으면 Director를, 그 이하면 Manager를 결재자로 선택한다. 두 명칭은 이 예의 결재자 구분이다. 특정 금액에서 Director를 고르는 모습을 보여 주는 것만으로는 다른 금액에 적용할 조건까지 전달하기 어렵다.
연구진은 화면 조작의 시연과, 조작하면서 규칙을 AI에 말로 설명하는 방식을 비교했다. 설명을 듣는 방식에서 AI는 사용자가 검토하고 고칠 수 있는 메모를 만든 뒤 작업 절차를 생성했다. 모의 사내 시스템에서 참가자 28명이 두 방식을 써 봤으며, 이 중 18명은 프로그래밍 경험이 없었다. 시연에서 다루지 않은 예외 입력으로 검사했을 때, 규칙을 설명한 방식은 39건 중 34건(87.2%), 시연 방식은 45건 중 21건(46.7%)을 통과했다. 이는 사무 과제 연구 전체의 검사 결과이며, 경비 처리 한 사례의 성적은 아니다 Takato Yamazaki et al., Programming by Teaching: Authoring Agent Workflows through Voice Conversation. 판단을 맡길 때는 고른 값과 함께 그 값이 달라지는 조건을 전달한다. 이후에는 실제 선택 결과가 그 규칙과 맞는지 살핀다.
판단 결과와 적용할 규칙을 함께 보여 준다
앞의 경비 처리 규칙으로 확인 요청을 구성해 보자. 다음은 연구의 예를 바탕으로 이 책에서 만든 설계 예이며, 연구에서 실제로 관찰한 실패가 아니다. 도구가 신청 금액을 40만 엔으로 읽었지만 결재자는 Manager로 골랐다고 가정한다.
| 확인할 내용 | 기록할 값 |
|---|---|
| 도구가 읽은 입력 | 신청 금액 40만 엔 |
| 적용할 판단 규칙 | 30만 엔을 넘으면 Director 선택 |
| 실제 선택 결과 | Manager |
읽은 금액은 기준을 넘는데 선택 결과는 규칙과 맞지 않는다. 이런 기록이 있으면 결재자 선택 단계를 우선 살필 수 있다. 여기서 적용할 규칙은 결과를 대조할 기준이다. 도구가 실제로 어떤 조건을 따라 실행했는지는 실행 기록에서 확인한다. 결과만 보고 작업 전체를 다시 요청하는 대신, 입력을 읽는 단계와 결재자를 고르는 단계 중 어디를 살펴야 할지 좁힌다.
수정 후 제출을 승인하도록 구성하면 실행 권한도 이 흐름 안에서 정할 수 있다. 판단 규칙은 어떤 입력에서 누구를 선택할지 정하고, 실행 권한은 선택한 내용을 실제 시스템에 제출해도 되는지 정한다. 금액이 비어 있어 값을 묻는 것은 판단에 필요한 정보를 받는 일이다. 금액과 결재자를 확인한 뒤 제출 승인을 받는 것은 실행 권한을 받는 일이다. 이 설계 예에서는 읽기와 결재자 선택을 도구에 맡기고, 사람이 내용을 확인한 뒤 실제 제출을 승인한다.
확인한 오류는 해당 단계만 지정해 수정한다
오류 위치를 알아도 전체 작업을 다시 설명해야 한다면 사람이 개입하기 어렵다. Sabouri 외의 Pista는 스프레드시트 에이전트의 작업을 단계별로 보여 주고, 사용자가 해당 단계의 수식이나 데이터 범위를 확인해 수정할 수 있게 했다. Excel 경험이 있는 참가자 16명이 재무 분석 과제를 수행하면서 Pista와, 변경을 한꺼번에 적용한 뒤 요약을 제시하는 에이전트를 각각 사용했다. AI에 보낸 지시 한 번의 평균 길이는 비교 조건에서 27.6단어, Pista에서 12.9단어였고 두 조건의 과제 성공률은 비슷했다 Sadra Sabouri et al., Auditing and Controlling AI Agent Actions in Spreadsheets.
한 참가자는 비교 조건에서 가격 계산 규칙을 다시 설명했다. Pista를 쓸 때는 수정할 단계에서 수식을 적용할 주문 범위만 지정했다 Sadra Sabouri et al., Auditing and Controlling AI Agent Actions in Spreadsheets. 스프레드시트에서는 수식과 입력 데이터 범위가 사람이 확인하고 바꿀 단위가 된다. 이 결과는 단계별 수정 방식에서 지시를 더 짧게 전달했다는 근거다. 단어 수만으로 전체 작업 시간이나 수정 부담의 감소까지 판단할 수는 없다. 개인 도구에도 수정할 셀이나 파일, 적용할 규칙을 구체적으로 가리킬 수 있는 지점을 둔다.
수정 요청에는 실제 결과와 기대한 결과의 차이를 담는다. Chou 외의 FSE 2026 연구는 바이브 코딩 영상 20편을 살폈고, 그중 작업 영상을 담은 7편에서 약 16시간의 작업과 프롬프트 254개를 분석했다. 두 세션에서는 같은 오류 메시지를 설명 없이 다시 보내는 등의 반복 요청이 각각 약 40%를 차지했다 Yi-Hung Chou et al., Building Software by Rolling the Dice: A Qualitative Study of Vibe Coding. RealSWE는 SWE-chat에서 실제 요청 718건을 추려 분석하고, 저장소의 버그 수정 문제에서 요청에 담긴 정보의 효과를 비교했다. 기대 동작을 포함한 요청의 해결률은 문제 설명만 제시한 요청보다 네 모델에서 평균 8.0%p 높았다 Gyuhyeong Kim et al., RealSWE: A Compositional Evaluation of Coding Agents under Realistic User Requests. 앞의 설계 예에서도 ’결재자가 틀렸다’는 말에 읽은 금액과 적용할 규칙, 실제 선택 결과를 함께 적으면 어떤 차이를 고쳐야 하는지 전달할 수 있다.
작업을 확인하러 돌아올 때 필요한 정보
사람이 모든 단계를 계속 지켜보고 있는 것은 아니다. Chang 외의 Sidekick은 사람이 다른 일을 하다가 에이전트의 작업을 확인하러 돌아오는 상황을 연구했다. 참가자 30명은 산수 문제를 풀면서 화면 조작 에이전트에 스프레드시트 입력을 맡겼다. 연구진은 에이전트가 열 하나를 채울 때마다 두 곳에 의도적으로 오류를 넣었다. 참가자별 차이를 보정해 추정한 스프레드시트 점수는 실행 상태를 색과 화면으로 표시하고 완료한 조작을 요약한 Sidekick에서 98.4점이었다. 일반 채팅 조건에서는 78.9점, 별도 화면에 텍스트로 상태를 보여 준 조건에서는 68.9점이 나왔다. 세 조건의 산수 점수에는 뚜렷한 차이가 없었다 Ruei-Che Chang et al., Sidekick: Designing Communication for Effective Multitasking with Computer Use Agents.
이 결과를 개인 도구의 확인 요청에 적용하면, 사용자가 돌아왔을 때 어디까지 처리했는지와 어떤 입력을 더 확인해야 하는지 보여 줄 수 있다. 앞의 경비 처리 예에서는 읽은 금액과 선택된 결재자, 제출 여부를 함께 표시하는 방식이다. 규칙 적용을 자동화에 맡기면서 사람이 필요한 단계만 확인하고 고칠 수 있게 구성한다.
자동화가 성공했다고 말하려면 무엇을 확인해야 할까?
사람이 개입해 오류를 고칠 수 있게 만든 뒤에도, 그 작업을 성공으로 인정할 근거는 따로 필요하다. 실행 전에 만들어야 할 결과와 그대로 보존해야 할 상태를 정한다. 작업이 끝난 뒤에는 검사 결과와 실제 파일 상태를 그 기준에 대조한다. 검사가 통과했다는 기록을 근거로 삼으려면 그 검사 자체가 알려진 오류를 잡는지도 확인해야 한다.
완료 기준을 검사하는 테스트도 검증한다
Bansal 외의 VibePass는 대회 문제 풀이 코드에 결함이 있다고 알려 준 뒤 AI에 테스트를 만들게 했다. 여기서 테스트는 프로그램에 넣을 입력 데이터와 기대하는 출력으로 구성된다. 모델 12종에서 생성한 테스트를 평가했을 때, 입력 데이터가 문제의 형식 요구를 지킨 비율은 평균 86.4%였다. 결함을 제대로 드러낸 테스트는 평균 61.3%였다. 후자는 결함이 있는 코드가 틀린 답을 내고, 정답을 내는 기준 코드의 출력은 테스트에 적힌 기대 출력과 일치해야 한다는 조건을 함께 만족했다 Srijan Bansal et al., VibePass: Can Vibe Coders Really Pass the Vibe Check?.
두 비율은 같은 생성 테스트를 서로 다른 기준으로 평가한 결과다. 입력 형식에 맞는 테스트라도 실제 오류를 드러내거나 올바른 기대 출력을 제시하지 못할 수 있다. 이 결과를 개인 도구의 검수에 적용하면, 자동 검사 자체에도 알려진 오류가 있는 버전과 정상 버전을 넣어 볼 이유가 생긴다. 오류가 있는 버전을 통과시키거나 정상 버전을 실패시키는 검사는 그 이유를 고쳐야 한다. 검사 통과를 성공의 근거로 쓰기 전에, 그 검사가 무엇을 구분해 내는지 확인한다.
재실행과 복구 뒤에도 완료 상태와 보존 조건을 확인한다
Zhuang 외의 AgentRewind는 에이전트의 대화와 도구 실행 기록에 작업 폴더의 파일 상태를 짝지어 저장했다. 이전 지점으로 돌아가면 그때의 파일과 대화 상태를 복원하고, 지난 시도에서 왜 막혔는지 요약을 전달했다. 이 방식의 역할은 이미 맞게 끝낸 작업을 살리면서 잘못된 단계부터 다시 진행할 수 있게 하는 것이다.
연구의 Astropy 사례에서는 GPT-5.4 mini에 천문학 데이터를 처리하는 라이브러리의 오류를 고친 뒤 이미지 파일 목록을 만들게 했다. 오류 감지 시험을 위해 일부러 손상해 둔 검사용 파일 여섯 개도 원래 내용 그대로 보존해야 했다. 이 파일들은 라이브러리가 잘못된 입력을 계속 거부하는지 확인하는 데 쓰였다. 에이전트는 라이브러리 수정을 마쳤지만, 다음 단계에서 잘못된 옵션으로 목록을 생성해 그 파일들을 정상 형식의 파일로 덮어썼다 Yu Zhuang et al., AgentRewind: Recoverable Execution for Long-Horizon LLM Agents.
AgentRewind를 사용한 실행은 파일을 덮어쓰기 전으로 돌아가 원래 검사 파일을 복원하면서 이미 끝낸 라이브러리 수정은 살렸다. 올바른 옵션으로 남은 작업을 수행한 뒤 열 가지 완료 기준을 모두 충족했다. 되돌리지 않고 현재 상태에서 수정을 계속한 비교 실행도 손상된 파일을 다시 만들어 오류 거부 동작을 복구했다. 그러나 파일 내용이 원본과 달라 아홉 가지 기준만 충족했다 Yu Zhuang et al., AgentRewind: Recoverable Execution for Long-Horizon LLM Agents. 이 차이는 한 실행 사례의 결과이며, 전체 과제의 평균 성공률은 아니다.
이 사례에서 복구 성공의 근거는 새 작업을 마쳤다는 사실과 원래 검사 파일을 보존했다는 사실이었다. 개인 도구에서도 재실행할 일과 보존할 결과를 함께 완료 기준에 넣는다. 복구한 지점 이전에 끝낸 작업까지 사라지지 않았는지도 확인한다. 이 사례에서 파일을 복원한 범위는 로컬 작업 폴더였다. 이미 전송된 메일이나 접수된 예약의 상태는 해당 서비스에서 따로 확인해야 한다 Yu Zhuang et al., AgentRewind: Recoverable Execution for Long-Horizon LLM Agents.
같은 작업을 다시 요청하면 결과가 중복되는가
메일을 보내거나 예약을 제출한 뒤 응답이 끊기면, 화면에 오류가 떠도 실제 요청은 반영됐을 수 있다. 같은 작업을 재실행해도 한 번 실행했을 때와 결과가 같게 유지되는 성질을 멱등성(idempotence)이라고 한다. Ding 외의 Flux는 실패 시 일부 함수가 자동으로 다시 실행되는 서버리스 애플리케이션에서 이 성질을 검사했다. 재시도 중 공유 데이터에 추가 변경이 생길 수 있는지 분석해 27개 애플리케이션 중 12개에서 알려지지 않은 문제를 찾았고, 개발자가 그중 8개 문제를 확인했다 Haoran Ding et al., Automated Verification of Idempotence for Stateful Serverless Applications. 파일 변환 도구라면 같은 작업을 두 번 실행했을 때 결과 파일이 두 벌 생기는지, 기존 결과 한 벌로 끝나는지를 미리 정해 확인할 수 있다.
Li의 연구는 에이전트가 외부 서비스에 요청을 보낸 뒤 결과가 늦게 반영되거나 응답이 사라지는 상황을 모의 서비스 여섯 개에서 시험했다. 연구진은 열두 가지 장애를 주입하고, 실제로 반영된 변경 목록에서 중복을 셌다. 네 모델을 합친 비교에서, 시간 초과 뒤 첫 요청이 늦게 반영되는 상황의 중복 발생률은 기존 인터페이스에서 61%였다. 모든 변경 요청에 재시도 시에도 같은 작업임을 알리는 식별자(멱등성 키)를 받을 수 있도록 인터페이스를 바꾸자 9%로 낮아졌다 Jiapeng Li, Where Does Exactly-Once Live? Model, Harness, and Tool-Contract Effects on Duplicate Side Effects in LLM Agents. 예약 도구라면 첫 접수가 반영됐는지 조회한다. 목록에 바로 보이지 않아도 첫 요청이 처리 중일 수 있으므로, 서비스가 허용한다면 재시도에도 같은 식별자를 사용한다. 반영 여부가 불분명하고 중복을 막을 수단도 없다면 제출을 멈추고 확인할 항목을 사람에게 보여 준다.
확인하고 고치는 데 얼마나 손이 가는가
Baumann 외의 SWE-chat이 2026년 8월까지 수집한 기록에는 공개 GitHub 저장소 617곳의 에이전트 세션 약 1만 3천 건이 들어 있다. 이 중 Claude Code 세션에서 사용자는 요청의 49.4%에 해당하는 경우에 진행 중인 작업을 중단시키거나 응답을 정정하거나 거부하거나 실패를 보고했다 Joachim Baumann et al., SWE-chat: Coding Agent Interactions From Real Users in the Wild. 이 비율은 사용자 요청의 분류이며, 실패한 작업의 비율이나 사용자가 들인 시간의 비율은 아니다. SWE-Together는 여러 자료에서 평가 과제 109개를 구성했고, 그중 48개를 SWE-chat의 세션에서 만들었다. 이 평가에서는 최종 코드의 정확성과 사용자 역할을 하는 시뮬레이터가 에이전트에 준 수정 피드백을 각각 측정했다 Yifan Wu et al., SWE-Together: Evaluating Coding Agents in Interactive User Sessions.
도구를 몇 번 사용해 본 뒤 완료 기준을 충족한 횟수와 예외를 확인하고 손으로 고친 시간을 기록하면, 직접 처리했을 때와 비교할 수 있다. 이후에도 쓸 도구라면 처리 대상과 제외 규칙, 마지막으로 확인한 입력과 결과를 코드 옆에 남긴다. 표를 정리하거나 집계하는 도구에서는 파일이 기대대로 바뀌었는지와 함께, 계산한 값이 처음 의도한 질문에 답하는지도 살펴야 한다. 4.2절은 분석 결과를 검증하는 방법을 다룬다.
References
- [1] Ahmed Fawzy et al., From Prompting to Verification: How Experience Shapes Vibe Coding Practices (arXiv preprint, 2026-05-23, Section 4.1.3, Table 4).
- [2] Shaokang Jiang and Daye Nam, Motif: Discovering and Automating Personal Web Workflows (arXiv preprint, 2026-07-12, Sections 4.1–4.7, 5.1, and 6.1–6.3).
- [3] Xiuqi Lu et al., SkillMe: Evolving Agent Skills for Recurring Personal Workflows (EMNLP 2026, Sections 3, 4.1 and Appendix E.1).
- [4] Viraj Prabhu et al., WALT: Web Agents that Learn Tools (ICLR 2026, Table 2, conference proceedings).
- [5] Bo-Yu Chen et al., SkillShift-Bench: Benchmarking Skill Learning under Environment Evolution for Web Agents (arXiv preprint, 2026-10-24, Sections 3.3 and 5.1–5.2, Table 1).
- [6] Christoph Treude and Sebastian Baltes, How Do Coding-Agent Harnesses Self-Evolve? An Empirical Study of Retrospective Adaptation (arXiv preprint, 2026-10-26, Sections III–IV).
- [7] Takato Yamazaki et al., Programming by Teaching: Authoring Agent Workflows through Voice Conversation (UIST 2026, conference program, ACM proceedings paper).
- [8] Sadra Sabouri et al., Auditing and Controlling AI Agent Actions in Spreadsheets (arXiv preprint, 2026-04-22, Figure 4 and Sections 6.1–6.2).
- [9] Ruei-Che Chang et al., Sidekick: Designing Communication for Effective Multitasking with Computer Use Agents (UIST 2026, Sections 5.1–5.2 and 5.6, conference program).
- [10] Yu Zhuang et al., AgentRewind: Recoverable Execution for Long-Horizon LLM Agents (arXiv preprint, 2026-08-14, External Environment Recovery Boundary and Case Study, Figure 5).
- [11] Haoran Ding et al., Automated Verification of Idempotence for Stateful Serverless Applications (OSDI 2023, pp. 887–910).
- [12] Jiapeng Li, Where Does Exactly-Once Live? Model, Harness, and Tool-Contract Effects on Duplicate Side Effects in LLM Agents (arXiv preprint, 2026-09-24, Sections 5 and 6.2, Table 5).
- [13] Srijan Bansal et al., VibePass: Can Vibe Coders Really Pass the Vibe Check? (arXiv preprint, 2026-03-16, Section 3.1, Table 1).
- [14] Yi-Hung Chou et al., Building Software by Rolling the Dice: A Qualitative Study of Vibe Coding (FSE 2026, Section 5.2, Distinguished Paper Award).
- [15] Joachim Baumann et al., SWE-chat: Coding Agent Interactions From Real Users in the Wild (COLM 2026, Section 4.4, Figures 1 and 8).
- [16] Gyuhyeong Kim et al., RealSWE: A Compositional Evaluation of Coding Agents under Realistic User Requests (arXiv preprint, v3 revised 2026-10-05, Section 4.3 and Appendix C).
- [17] Yifan Wu et al., SWE-Together: Evaluating Coding Agents in Interactive User Sessions (arXiv preprint, 2026-06-29, Table 1).