§4.4 문서와 콘텐츠를 만드는 AI 워크플로

앞의 세 절에서 만든 도구와 분석 결과와 서비스는 보고서, 발표 자료, 그림으로 옮겨져야 다른 사람에게 전달된다. 이 절이 다루는 산출물은 그 전달물이다. 4.2절은 실행에 성공한 분석도 결론이 틀릴 수 있다는 데서 출발했다. 문서에서는 실행해 볼 수 있는 부분이 더 좁다. 파일이 양식에 맞게 만들어졌는지는 프로그램으로 검사할 수 있다. 그러나 적힌 내용이 사실인지, 읽는 사람이 그 글을 믿고 끝까지 읽는지는 검사 프로그램이 판정하지 못한다.

이 절의 질문은 두 가지다. 1) 같은 종류의 문서를 다시 만들 때마다 품질이 달라지지 않게 하려면 제작 규칙을 어디에 두어야 하는가. 2) 만들어진 초안에서 무엇을 기계가 확인하고 무엇을 사람이 봐야 하는가.

범위는 스킬, 템플릿, 스크립트처럼 다시 쓸 수 있는 파일에 제작 규칙을 담아 반복해서 만드는 문서와, 슬라이드형 발표 자료 및 학술 그림으로 한정한다. 스킬의 구조와 연결 방법은 7.3절에서, 생성물의 저작권과 라이선스는 9.5절에서, 저장소 안에서 사람과 에이전트가 함께 읽는 개발 문서는 13.2절에서, 검토 없이 대량으로 만들어진 산출물의 문제는 18.4절에서 다룬다.

문서는 실행으로 일부만 확인된다

이 절은 문서의 검수 대상을 형식, 내용, 독자의 세 층으로 나눈다. 연구로 검증된 범주가 아니고, 아래 사례를 읽기 위해 이 절이 세운 구분이다.

형식은 파일이 열리는지, 양식의 표와 스타일이 유지되었는지, 글이 칸을 넘치거나 쪽이 밀리지 않았는지를 가리킨다. 내용은 사실, 수치, 인용, 고유명사가 원자료와 일치하는지를 가리킨다. 독자는 그 글을 읽을 사람이 내용을 믿고 끝까지 읽는지를 가리킨다. 기계가 확인해 줄 수 있는 범위는 형식에서 가장 넓고 독자 쪽으로 갈수록 좁아진다.

형식 안에서도 기계 검사가 닿지 않는 부분이 있다. 뒤에서 볼 hwpx-skill의 저장소 문서는 자동 검증을 통과하는 일과 실제 지면을 검토하는 일을 별개로 적는다. 형식을 변환할 때 표 음영, 간격, 쪽 나눔이 달라질 수 있다고 밝히고, 파일을 PDF나 PNG로 렌더링해 지면을 확인하는 스크립트를 따로 둔다 [4].

내용을 확인하려면 대조할 원자료가 있어야 한다. 4.2절이 남기라고 한 데이터, 코드, 분석 결정의 기록은 보고서에 실린 수치가 어디에서 나왔는지 거슬러 올라가는 근거가 된다. 원자료 없이 생성된 문장은 대조할 대상이 없다. 그래서 문서를 생성하기 전에 근거로 쓸 자료를 먼저 정해 에이전트에 함께 전달한다.

독자 층에서 실패했을 때의 비용은 설문에서 확인된다. Dunlop은 기술 블로그 독자를 대상으로 설문을 열어 668명의 응답을 받았다 [5]. 기술 블로그가 AI의 도움을 받았거나 AI가 쓴 것으로 보이는지가 얼마나 중요한지를 5점 척도로 물었을 때 85%가 5점을 골랐다. AI가 쓴 글로 의심될 때의 반응을 복수 선택으로 물었을 때는 78%가 즉시 페이지를 떠난다고 답했고, 71%는 그 저자의 글을 앞으로 피한다고 답했다. 표현이 어색하고 문법 실수가 있더라도 저자가 직접 쓴 글을 읽겠는지, LLM이 다듬은 글을 읽겠는지를 물었을 때는 98%가 저자가 직접 쓴 글을 골랐다 [5]. 이 설문은 저자가 X, Bluesky, LinkedIn에 공유해 응답을 모았고 익명으로 진행되었다. 응답자가 개발자 전체를 대표한다고 볼 수 없으며, 이 주제에 응답할 만큼 관심이 있는 기술 블로그 독자의 반응으로 읽어야 한다. 그 범위 안에서 확인되는 점은 있다. 형식이 맞고 내용이 틀리지 않은 글도 독자가 읽지 않으면 전달에 실패한다.

업무 문서에서 같은 문제를 가리키는 말이 워크슬롭(workslop)이다. Niederhoffer 등은 적은 노력으로 만든 AI 생성 업무물이 받는 사람의 시간을 쓰게 만든다고 지적했다 [6]. 이 문제는 18.4절에서 다룬다.

제작 규칙을 프롬프트 대신 파일에 둔다

대화창에 요청을 적어 문서를 한 번 만들면 양식 규칙, 문체 기준, 검증 절차가 그 대화에만 남는다. 4.2절은 처리 규칙이 지시문에만 존재했던 사례를 들어 프롬프트를 기록으로 남기라고 했다. 같은 종류의 문서를 반복해서 만든다면 규칙을 매번 다시 적는 대신, 다시 불러 쓸 수 있는 파일로 옮길 수 있다.

그 파일의 한 형태가 스킬(skill)이다. Anthropic의 문서는 Agent Skills를 지시문, 메타데이터, 그리고 스크립트나 템플릿 같은 선택적 자원을 묶은 것으로 설명한다. 스킬에는 SKILL.md 파일이 반드시 들어가고, 에이전트는 작업이 스킬의 설명과 관련될 때 그 본문을 읽어 들인다. 같은 문서는 Anthropic이 발표 자료, 스프레드시트, 워드 문서, PDF를 다루는 스킬을 미리 만들어 제공한다고 밝힌다 [7]. 스킬을 설계하고 연결하는 방법은 7.3절에서 다룬다.

규칙을 파일로 옮기면 두 가지가 달라진다. 규칙과 검사 절차가 파일로 남아 무엇이 언제 바뀌었는지 추적할 수 있다. 그리고 양식과 내용이 분리되어, 사람은 양식을 매번 다시 확인하는 대신 이번 문서의 내용을 검토하는 데 시간을 쓸 수 있다. 이 정리는 이 절의 해석이다.

스킬만 그런 역할을 하는 것은 아니다. 템플릿 파일, 디자인 규칙을 적은 문서, 그림을 그리는 코드도 같은 역할을 한다. 아래 세 사례는 문서, 발표 자료, 학술 그림에서 규칙이 각각 어디에 담기는지를 보여 준다.

세 가지 사례

세 사례의 근거는 성격이 다르다. PPTAgent와 PaperBanana는 동료심사를 거친 논문이고 [8][9], hwpx-skill은 공개 저장소의 문서이며 [4], 나머지는 도구 제작자와 사용자가 만든 자료다 [10][11]. 저장소 문서와 제작자 자료는 도구가 어떻게 동작하도록 설계되었는지를 알려 주지만 결과물의 품질을 입증하지는 않는다.

양식이 정해진 문서: hwpx-skill

공문, 신청서, 계획서처럼 양식이 정해진 문서에서는 내용을 쓰는 일만큼 양식을 깨뜨리지 않는 일이 중요하다. hwpx-skill은 Claude와 Codex에서 쓰도록 만든 HWPX 문서 생성 스킬이다. SKILL.md와 함께 생성, 변환, 검증을 맡는 스크립트, 문서 종류별 템플릿, 테스트가 들어 있다. 저장소 문서가 안내하는 작업에는 마크다운이나 텍스트에서 문서를 만드는 일, 템플릿의 자리 표시자를 치환하는 일, 기존 양식을 복제하는 일, 양식의 빈칸을 채우는 일이 포함된다 [4].

이 사례에서 볼 것은 규칙이 놓인 자리다. 저장소 문서는 주요 규칙을 번호를 붙여 나열한다. 양식을 복제할 때 XML을 직접 고치지 말고 전용 스크립트를 쓰라는 규칙, 문서를 조립한 뒤 네임스페이스를 고치는 스크립트를 반드시 실행하라는 규칙, 신청서와 서식의 빈칸은 정해진 네 단계로 채우라는 규칙이 있다 [4]. 네 단계의 명령은 다음과 같다.

python3 scripts/fill_hwpx.py analyze form.hwpx
python3 scripts/fill_hwpx.py fill form.hwpx output.hwpx --values values.json
python3 scripts/fill_hwpx.py verify output.hwpx --values values.json --original form.hwpx
python3 scripts/fill_hwpx.py check output.hwpx --strict

이 명령은 저장소 문서에 실린 것을 옮긴 것이고, 이 절에서 실행해 확인한 결과가 아니다. 명령의 이름과 인자로 보면 첫 단계는 양식의 구조를 분석하고, 둘째 단계는 값 파일의 내용을 양식에 채운다. 뒤의 두 단계는 채운 결과를 값 파일과 원본 양식에 대조하고 엄격한 기준으로 검사한다. 채우는 단계 뒤에 검증 단계가 규칙으로 붙어 있으므로, 에이전트가 채우기만 하고 작업을 끝내면 규칙을 어긴 것이 된다.

검증 단계를 모두 거친 뒤에도 사람이 확인할 일이 남는다. 저장소 문서는 명세 하나로 생성부터 검증과 저장까지 실행하는 방식을 설명하면서 “정적 통과와 실제 페이지 검토는 별개입니다”라고 적는다. Windows의 한컴오피스 환경에서 파일이 열리는지 확인하는 검사와, 한컴오피스로 PDF나 PNG를 만들어 지면을 확인하는 스크립트를 따로 둔다. HWP를 HWPX로 변환할 때는 표 음영, 복잡한 도형, 간격과 쪽 나눔이 달라질 수 있으므로 중요한 문서는 원본과 함께 보관하고 한컴오피스에서 눈으로 점검하라고 안내한다. 개인정보가 들어가는 양식을 위해서는 값이 모델의 컨텍스트를 거치지 않게 채우는 스크립트를 별도로 둔다 [4].

발표 자료: 참조 자료에서 틀을 뽑고 디자인 규칙을 고정한다

Zheng 등의 PPTAgent는 문서 하나와 참조 발표 자료 하나를 입력으로 받는다. 문서는 내용을, 참조 발표 자료는 배치와 양식을 제공한다 [8]. 작업은 두 단계로 나뉜다. 첫 단계에서는 참조 발표 자료의 슬라이드를 기능과 배치에 따라 묶고, 슬라이드에 들어가는 요소의 종류와 역할을 정리한다. 둘째 단계에서는 개요를 세운 뒤 새 슬라이드마다 참조 슬라이드 하나를 골라, 그 슬라이드의 글과 그림을 지우거나 바꾸는 편집 동작을 생성한다. 빈 화면에서 새로 그리지 않고 이미 있는 슬라이드를 고치는 방식이다. 편집 동작이 실행 중 오류를 내면 오류 내용을 모델에 돌려주어 다시 시도하게 하며, 실험에서는 슬라이드당 재시도를 두 번까지 허용했다 [8].

같은 논문은 결과를 평가하는 틀인 PPTEval을 함께 제안한다. 내용(Content), 디자인(Design), 일관성(Coherence)의 세 차원을 1점에서 5점으로 채점한다. 내용과 디자인은 슬라이드 단위로, 일관성은 발표 자료 전체를 대상으로 채점하며, 채점은 모델이 맡는다. 실험에서는 GPT-4o를 썼다. 저자들은 모델의 채점이 사람의 채점과 얼마나 일치하는지도 보고했다. 피어슨 상관계수는 디자인에서 0.90, 내용에서 0.70, 일관성에서 0.55였다 [8]. 슬라이드 한 장의 디자인에서는 모델의 채점이 사람의 채점과 가까웠고, 발표 전체의 흐름을 보는 일관성에서는 일치도가 가장 낮았다. 저자들은 시각 정보를 세밀한 디자인 개선에 온전히 활용하지 못한다는 점을 한계로 든다 [8]. 이 수치는 논문이 평가한 시점의 모델과 과제 구성에 해당한다.

실무에서 쓰이는 방법도 디자인 규칙을 파일에 고정한다. getdesign은 DESIGN.md라는 Markdown 파일을 프로젝트에 넣어 주는 명령줄 도구다. 이 파일에는 색상, 글자 크기 체계, 간격과 배치, 구성 요소의 형태 같은 시각 규칙이 글로 적혀 있고, 에이전트가 화면을 만들기 전에 이 파일을 읽게 하는 방식으로 쓴다 [10]. 웹 화면을 만드는 에이전트를 위한 도구지만, 디자인 규칙을 대화가 아닌 파일에 둔다는 점은 발표 자료에도 적용할 수 있다고 이 절은 해석한다. 유튜브 채널 페이퍼로지가 공개한 영상의 설명란에는 Claude로 발표 자료를 만들 때 쓰는 프롬프트가 실려 있다. 이 프롬프트는 글꼴을 하나로 제한하고, 화면 비율을 16:9로 고정하고, 장 이름과 제목과 부제의 위치를 모든 슬라이드에서 같게 하라고 요구한다 [11]. 두 자료는 제작자가 자기 방법을 소개한 것이므로, 그 방법으로 만든 결과물의 품질에 대한 근거로는 쓰지 않는다.

학술 그림: PaperBanana

Zhu 등의 PaperBanana는 논문의 방법 설명과 그림 캡션을 받아 방법론 도식을 만드는 프레임워크다. 다섯 에이전트가 일을 나눈다. Retriever가 참조 사례를 고르고, Planner가 그림의 내용을 글로 기술하고, Stylist가 참조 사례에서 뽑은 미적 지침에 맞춰 그 기술을 다듬는다. Visualizer가 그림을 만들면 Critic이 그림을 원문과 캡션에 대조해 기술을 고치고, 두 에이전트는 이 과정을 세 차례 반복한다 [9]. 사람 평가자 세 명이 50건을 블라인드로 비교했을 때 PaperBanana는 이미지 생성 모델 Nano-Banana-Pro를 그대로 쓴 경우와 견주어 평균 72.7%의 비교에서 이겼고 20.7%에서 비겼다 [9].

이 논문에서 가져올 점은 두 가지다. 하나는 수치가 들어가는 그림의 처리다. 통계 그림에서는 Visualizer가 이미지를 생성하지 않고 실행 가능한 Matplotlib 코드를 쓴다. 저자들은 이미지 생성 모델이 밀도가 높거나 복잡한 데이터에서 수치를 지어내거나 요소를 반복했다고 보고한다 [9]. 코드로 그린 그림은 값을 데이터에서 읽으므로 그림의 수치가 원자료와 어긋날 여지가 줄고, 코드가 남으므로 4.2절의 기준에 따라 다시 그릴 수 있다. 뒤의 문장은 이 절의 해석이다.

다른 하나는 자동 검토의 한계다. 저자들은 가장 흔한 오류가 화살표와 연결선 같은 세밀한 연결 관계에서 나오며, Critic이 이 문제를 자주 놓친다고 밝힌다. 결과물이 래스터 이미지여서 사람이 고치기 어렵다는 점은 가장 큰 한계로 든다 [9].

두 개의 루프: 템플릿화와 검토

세 사례에는 같은 구조가 두 번 나타난다. 이 절은 이를 두 개의 루프로 정리한다. 사례를 설명하기 위한 저자의 정리이며 연구로 검증된 모형은 아니다.

템플릿화 루프는 틀을 만드는 과정이다. 기존 문서 여러 개에서 공통된 구조와 양식 규칙을 뽑아 템플릿 시안을 만들고, 그 시안으로 샘플 문서를 생성해 본 뒤, 사람이 샘플을 보고 시안을 고친다. 샘플이 기준을 만족하면 템플릿을 확정한다. PPTAgent의 첫 단계와 PaperBanana의 Retriever, Stylist는 이 과정의 앞부분을 자동으로 수행한다. hwpx-skill에서는 양식 분석과 문서 종류별 템플릿이 여기에 해당한다.

검토 루프는 확정된 템플릿으로 문서를 만드는 과정이다. 템플릿에 이번 내용을 넣어 초안을 만들고, 초안을 평가하고, 사람의 피드백을 반영해 다시 만든다. hwpx-skill의 채우기 뒤 검증, PPTAgent의 오류 재시도, PaperBanana의 Visualizer와 Critic 반복이 이 루프에서 자동화된 부분이다.

사람의 피드백은 두 루프에서 하는 일이 다르다. 템플릿화 루프에서 내린 판단은 그 템플릿으로 만드는 모든 문서에 되풀이되어 적용된다. 그래서 템플릿을 확정하기 전의 샘플 검토에는 시간을 들일 만하다. 검토 루프에서 사람이 볼 것은 자동 평가가 놓친다고 사례에서 확인된 항목이다.

검토 지점 기계가 먼저 확인하는 것 사람이 보는 것
템플릿 확정 전의 샘플 문서 파일이 열리는가, 양식 규칙 검사를 통과하는가 샘플이 기존 문서의 구조와 어긋나는 곳, 내용이 길어질 때 지면이 깨지는 곳
초안의 형식 구조 검증, 렌더링 파일 생성 렌더링된 지면의 쪽 나눔과 표, 요소의 겹침
초안의 내용 값 파일이나 원자료와의 자동 대조 수치와 인용의 원자료 대조, 도식의 화살표 방향과 연결, 발표 전체의 흐름
내보내기 전 해당 없음 읽을 사람의 입장에서 끝까지 읽기, AI 사용 사실을 밝힐지 여부

표의 항목은 사례에서 가져왔다. 지면 확인은 hwpx-skill의 안내에서, 화살표와 연결은 PaperBanana의 한계에서, 발표 전체의 흐름은 PPTEval의 일치도가 가장 낮았던 차원에서 왔다.

루프를 몇 번 돌릴지도 미리 정한다. PPTAgent는 슬라이드당 재시도를 두 번까지 허용했고, PaperBanana는 반복을 세 번으로 정했다 [8][9]. 반복 횟수와 중단 조건을 설계하는 방법은 6.2절에서, 사람의 승인 지점을 어디에 둘지는 6.4절에서 다룬다.

검토 루프에서 AI를 쓰는 자리도 정할 수 있다. Dunlop은 설문 결과를 바탕으로, LLM에게 글을 쓰게 하지 말고 어느 문장이 왜 불분명한지를 묻는 검토자로 쓰라고 권한다 [5]. 다음은 그 방식을 따른 요청의 예시다. 가상의 예시이며 실행한 결과가 아니다.

첨부한 보고서 초안을 고치지 말고 검토만 해 줘.

1. 뜻이 불분명한 문장을 찾아 위치와 이유를 적는다.
2. 본문의 수치와 인용 가운데 첨부한 원자료에서 찾을 수 없는 것을 표시한다.
3. 문장을 다시 써 주지 않는다. 고칠 문장은 내가 쓴다.

적용 조건과 한계

템플릿화는 같은 종류의 문서를 여러 번 만들 때 값을 한다. 한 번 쓰고 말 문서라면 템플릿을 만들고 샘플을 검토하는 비용이 문서를 직접 쓰는 비용보다 클 수 있다. 몇 번째 문서부터 이득이 되는지는 이 절에서 측정하지 않았다.

템플릿은 규칙과 함께 결함도 반복한다. 템플릿에 들어간 잘못된 표기나 낡은 양식은 그 템플릿으로 만든 모든 문서에 들어간다. 양식이 바뀌면 문서를 하나씩 고치기 전에 템플릿부터 고친다.

도구에 관한 내용은 빨리 낡는다. 이 절이 인용한 저장소 문서와 제품 문서는 2026년 11월 17일에 확인한 내용이고, 스킬의 구성과 명령은 이후 달라질 수 있다. 사례의 서술은 논문과 공개된 문서에 근거하며, 이 절에서 도구를 실행해 얻은 결과가 아니다.

권리와 정보 보호는 별도로 확인한다. getdesign의 문서는 제공하는 파일이 공식 디자인 시스템이 아닌 참고용 파일이라고 스스로 밝힌다 [10]. 특정 브랜드의 시각 양식을 따른 결과물을 외부에 공개하는 경우와, 다른 사람의 문서나 그림을 참조 자료로 넣는 경우의 권리 문제는 9.5절에서 다룬다. 양식에 개인정보가 들어간다면 그 값을 외부 모델에 보내도 되는지를 먼저 확인한다.

독자 반응에 관한 근거는 설문 하나에 기대고 있다. 응답자가 스스로 참여한 익명 설문이고 대상이 기술 블로그 독자이므로, 공문이나 사내 보고서의 독자가 같은 반응을 보인다고 말할 수 없다.

이 절은 AI를 쓸 때 문서 제작 시간이 얼마나 줄어드는지 측정하지 않았다. 따라서 제작이 얼마나 빨라지는지는 판단하지 않고, 반복해서 만드는 문서에서 규칙을 어디에 두고 무엇을 확인할지만 다룬다.

4장 정리: 산출물에 따라 달라지는 검수 기준

네 절은 개인이 쓰는 작은 도구에서 시작해 분석 결과, 다른 사람이 쓰는 서비스, 다른 사람이 읽는 문서로 산출물을 넓혀 왔다. 산출물이 바뀔 때마다 실행이 확인해 주는 범위와 사람이 판단해야 하는 범위가 달라졌다.

절 산출물 실행이나 기계가 확인해 주는 것 사람이 판단해야 하는 것 남길 것
4.1 개인의 반복 업무를 줄이는 작은 도구 예정한 변경과 원본 보존, 중단 후 재실행 시 누락과 중복 여부 도구로 남길 업무, 판단 규칙과 실행 권한, 확인과 수정에 드는 시간 완료 기준, 처리 기록과 복구 지점, 확인한 입력과 결과
4.2 숫자와 결론 코드가 오류 없이 실행되는가 집계가 질문과 맞는가, 외부 기준과의 대조, 분석 결정 데이터 버전, 실행 환경, 코드, 프롬프트, 분석 결정
4.3 다른 사람이 쓰는 웹 서비스 빌드, 시나리오 실행, 회귀 테스트 완료 기준, 사용자별 데이터 접근 권한, 배포 조건 실행 조건과 증거가 담긴 QA 보고서
4.4 다른 사람이 읽는 문서, 발표 자료, 그림 파일 형식, 양식 규칙, 렌더링 원자료와의 대조, 렌더링된 지면, 독자의 입장에서 읽기 템플릿과 스킬, 검토 기준, 도구와 확인 날짜

네 절에서 실행이나 기계 검사를 통과했다는 사실은 사람이 판단할 항목을 대신하지 못했다. 4.2절에서는 실행에 성공한 분석의 결론을 따로 확인해야 했고, 이 절에서는 검증을 통과한 파일의 지면과 내용을 따로 봐야 했다. 산출물을 쓰는 사람이 자신에서 다른 사람으로 넓어질수록 남길 기록도 늘어났다.

이 장의 사례는 어떤 작업에 어떤 모델을 쓸지를 다루지 않았다. 5장은 작업에 맞는 모델을 고르고 비용과 응답 속도를 관리하는 방법을 다룬다.

참고문헌