§4.2 데이터 분석을 빠르고 재현 가능하게
프로그램을 만드는 작업에서는 결과물을 실행해 보면 원하는 동작을 하는지 대체로 드러난다. 이 절이 다루는 작업은 결과물이 숫자와 결론이다. 표나 데이터베이스를 AI 에이전트에 넘기고 탐색, 정제, 시각화를 맡기면 몇 분 안에 그래프와 해석까지 돌아온다. 그런데 실행이 성공했다는 사실은 결론이 맞다는 뜻이 아니다. 틀린 집계도 오류 없이 실행되고, 틀린 그래프도 그려진다.
이 절의 질문은 두 가지다. AI가 낸 분석을 믿으려면 무엇을 확인해야 하는가, 그리고 나중에 같은 결론을 다시 얻으려면 무엇을 남겨야 하는가. 여기서 재현성(reproducibility)은 같은 입력에 같은 절차를 적용하면 같은 결과가 나오고, 그 사실을 다른 사람이 확인할 수 있는 상태를 뜻한다.
범위는 표와 데이터베이스를 다루는 분석으로 한정한다. 물리 모형이나 몬테카를로 기법을 쓰는 시뮬레이션은 다루지 않는다. 다만 무작위성을 쓰는 단계에서 시드를 남겨야 한다는 논점은 일반 분석에도 적용되므로 아래에서 함께 다룬다. 자율 연구 시스템 자체에 대한 평가는 18.5절로 넘긴다.
실행에 성공한 분석도 틀릴 수 있다
AI가 생성한 분석 코드는 문법 오류 없이 실행되면서도 사용자가 물은 것과 다른 값을 계산할 수 있다. 다음은 이 절에서 설명을 위해 만든 예시다. “반품된 상품이 몇 건인가”라는 질문에 대해, 반품 기록의 행 수를 센 결과와 상품 종류의 개수를 센 결과와 반품 수량을 합한 결과는 모두 하나의 숫자로 나온다. 셋 중 어느 것을 계산했는지는 출력된 숫자만 보면 구분할 방법이 없다.
Gu 등은 전문 분석가 22명이 AI가 보조한 분석을 검증하는 과정을 관찰하고, 검증이 두 갈래로 나뉜다고 보고했다. 하나는 절차 중심 검증으로, AI가 어떤 처리를 했는지를 설명과 코드로 따라가는 방식이다. 다른 하나는 데이터 중심 검증으로, 결과 데이터가 상식과 도메인 지식에 맞는지 보는 방식이다. 분석가들은 이상을 감지하면 절차 쪽에서 데이터 쪽으로 옮겨 갔다. Python에 익숙하지 않은 참가자도 익숙한 데이터 조작 언어로 옮겨 이해하거나 중간 표만 보고 검증을 진행했다 [1]. 이 연구에서 참가자는 AI에 직접 지시하지 않고 연구진이 미리 준비한 분석을 검증했으므로, 프롬프트를 쓰면서 분석을 만들어 가는 작업과는 조건이 다르다.
검증을 돕는 방향으로 도구를 바꾼 연구도 있다. Kazemitabaar 등은 참가자 15명을 관찰한 사전 조사에서 대화형 인터페이스의 두 가지 한계를 확인했다. AI를 원하는 방향으로 이끄는 일과 결과를 검증하는 일이 모두 어렵다는 것이다. 연구진은 작업을 단계별 하위 목표와 그에 대응하는 가정 및 코드의 쌍으로 쪼개 사람이 가정을 직접 고칠 수 있게 만든 방식과, 작업 전체를 입력과 출력에 대한 가정, 실행 계획, 코드라는 세 국면으로 나눈 방식을 구현했다. 참가자 18명을 대상으로 한 실험에서 두 방식 모두 대화형 방식보다 개입과 수정, 검증이 쉽다는 응답을 얻었다 [2].
Xie 등의 WaitGPT는 AI가 작성한 분석 코드를 실시간으로 데이터 흐름도로 바꿔 보여 준다. 사용자는 코드 원문을 읽는 대신 어떤 데이터 조작이 어떤 순서로 일어나는지 그림으로 확인하고 개별 단계를 수정할 수 있다. 사용자 연구에서 참가자들은 오류를 더 잘 찾아냈고 결과에 대한 확신도 높아졌다고 보고되었다 [3]. 다만 확신이 높아진 것과 정확해진 것은 구분해야 한다.
세 연구를 모으면 검증에 두 가지 경로가 있다. 하나는 AI가 세운 가정과 데이터 처리 단계를 사람 눈에 보이게 만드는 것이고, 다른 하나는 결과 데이터를 외부의 기준과 대조하는 것이다. 어느 쪽이든 검증의 대상은 최종 숫자 하나가 아니다.
AI는 가능한 분석 중 하나를 고른다
분석 과제를 자동으로 푸는 능력을 측정한 벤치마크(benchmark)들은 현재 수준이 완결과 거리가 있음을 보여 준다.
Chen 등의 ScienceAgentBench는 네 분야의 동료심사 논문 44편에서 과제 102개를 추출하고 해당 분야 전문가 9명이 검증했다. 과제당 세 번의 시도를 허용했을 때 가장 좋은 성능의 에이전트가 독립적으로 해결한 비율은 32.4%였고, 전문가가 제공한 지식을 함께 주었을 때는 34.3%였다. 추론 시간을 늘린 모델이 42.2%를 기록했지만 저자들은 실행 조건이 달라 참고용으로만 보고했다 [4]. Majumder 등의 DiscoveryBench는 발표된 논문에서 발견 과정을 재구성한 과제 264개를 여섯 분야에 걸쳐 수집했다. 여러 추론 프레임워크를 평가한 결과 가장 좋은 시스템의 가설 일치 점수가 25%였다 [5]. 두 숫자는 척도가 다르므로 서로 비교할 수 없다. 앞은 과제를 풀어낸 비율이고 뒤는 도출한 가설이 정답 가설과 얼마나 일치하는지를 점수로 매긴 것이다.
BLADE는 성능 대신 선택을 본다. Gu 등은 연구 논문과 통계 교과서에서 연구 질문과 데이터셋 12개를 모은 뒤, 여러 분석가가 같은 질문에 독립적으로 분석을 수행하게 해 정당화 가능한 분석이 여럿 존재하는 상태를 기준으로 삼았다. 연구진은 에이전트의 분석 결정이 전문가들의 분포만큼 다양하지 않고 기본적인 분석으로 수렴한다고 보고했다 [6]. 위험은 AI가 아무 분석이나 내놓는 쪽이 아니다. 가장 뻔한 분석을 고르고, 건너뛴 대안을 사용자에게 알리지 않는 쪽이다.
이 수치들은 각 논문이 평가한 시점의 모델과 과제 구성에 해당한다(확인: 2026-11-16). 이후 도구는 더 높은 점수를 낼 수 있으므로, 이 절에서는 점수의 크기보다 다음 함의를 가져온다. AI가 내놓은 분석은 유일한 정답이 아니라 선택 가능한 여러 분석 중 하나다. 그렇다면 남겨야 하는 것은 결과만이 아니라 어떤 선택을 했는지다.
세 가지 사례
아래 세 사례의 성격은 서로 다르다. data-to-paper는 동료심사를 거친 논문이고, 나머지 둘은 작업 당사자가 직접 쓴 기록이다. 당사자 기록은 작업 과정과 사용한 도구를 알려 주지만 결과의 품질을 독립적으로 입증하지는 않는다. 각 사례에서 확인되는 사실과 이 절의 해석을 구분해 읽는다.
데이터를 정제하는 작업: OpenElections
미국의 투표구 단위 선거 결과는 집계가 끝난 뒤 제각각의 형식으로 공개되고, 상당수는 이미지로 된 PDF다. OpenElections 프로젝트의 Derek Willis는 이 PDF를 CSV로 바꾸는 작업에 Gemini 2.5 Pro를 사용한 과정을 공개했다 [7].
이 사례에서 프롬프트는 변환 규칙 그 자체다. 목표 CSV의 열 구성과 예시 행, 제외할 행의 조건, 직함 표기를 표준 명칭으로 바꾸는 대응표, 값을 따옴표로 묶는 서식 규칙, 두 단으로 나뉜 지면을 왼쪽부터 읽으라는 순서 지시가 프롬프트에 들어간다. 이 규칙들은 코드가 아니라 지시문에만 존재했다. 프롬프트를 남기지 않으면 당시 어떤 기준으로 정제했는지 판정할 방법이 없다.
검증 방식도 기록되어 있다. 짧은 문서는 표본 점검과 수동 수정으로 처리했다. 600쪽이 넘는 문서는 100쪽 단위로 쪼개 처리했고, 만들어진 표를 공식 발표 집계와 대조했다 [7].
여기서 눈여겨볼 것은 외부 기준점이다. 공식 집계라는 독립적인 숫자가 있어서 코드 검토 없이도 총계 수준의 오류는 걸러낼 수 있었다. 다만 총계 대조는 필요조건이고 충분조건이 아니다. 투표구 단위에서 두 행의 오류가 서로 상쇄되면 총계는 맞는데 개별 행은 틀린 결과가 남는다. 대조할 기준이 있는 작업에서 이 방식이 가장 빠른 검증이 되지만, 어느 수준의 오류까지 걸러지는지는 기준점의 집계 단위에 따라 달라진다.
탐색과 시각화: 코딩 에이전트를 쓰는 작업 흐름
Simon Willison은 데이터 저널리스트를 대상으로 한 NICAR 2026 워크숍의 자료를 공개했다. 내용은 Claude Code와 OpenAI Codex로 데이터를 탐색하고 분석하고 정제하는 작업으로 구성된다. 데이터베이스에 질문하기, 에이전트와 데이터 탐색하기, 수목 데이터의 지역 코드를 예로 삼은 정제, 시각화 생성, 스크래핑이 포함된다 [8].
이 자료에서 가져올 것은 환경 구성이다. 작업은 GitHub Codespaces에서 진행되었다. 저장소에 환경 정의를 두고 브라우저에서 같은 개발 환경을 띄우는 서비스이므로, 참가자 전원이 같은 라이브러리와 같은 데이터로 시작한다. 데이터는 파일 하나로 동작하는 데이터베이스인 SQLite에 담았고, 일부 실습에서는 그 데이터베이스를 웹에서 탐색하게 해 주는 Datasette를 함께 썼다. 자료가 소개하는 구성 가운데 하나는 Datasette가 viz/ 폴더의 정적 파일을 서비스하도록 설정하고 에이전트가 그 폴더에 시각화를 만들게 하는 방식이다. 예시는 지도 라이브러리 Leaflet으로 그린 수목 분포 히트맵이며 소스 코드가 함께 공개되어 있다 [8].
이 구성에서 분석의 산출물은 대화 기록이 아니라 저장소의 파일로 남는다. 환경 정의와 데이터베이스 파일과 시각화 소스가 한곳에 모이므로, 다른 사람이 같은 저장소를 열면 같은 출발점에서 시작할 수 있다. 다만 이 자료는 에이전트가 만든 질의를 알려진 결과와 대조하는 검증 절차는 다루지 않는다. 환경을 남기는 방법의 사례로 읽고, 검증 방법은 다른 자료에서 가져온다.
재현을 설계에 넣은 분석 도구: data-to-paper
Ifargan 등은 주석이 달린 데이터셋에서 출발해 가설 수립, 분석 코드 작성과 디버깅, 결과 해석, 논문 작성까지 수행하는 플랫폼 data-to-paper를 만들고 그 결과를 보고했다 [9]. 이 사례가 중요한 이유는 성능보다 기록 방식에 있다.
플랫폼은 각 단계가 앞선 산출물 가운데 정해진 일부만 받도록 정보 흐름을 제한한다. 연구진은 이 제약이 환각을 줄이고 수치의 출처를 추적 가능하게 만든다고 설명한다. 데이터 연결(data-chaining)은 논문에 실린 수치를 거슬러 올라가는 고리를 만든다. 변환된 값의 산출 수식과 설명을 담은 부록, 그 값이 나온 표, 그 표를 만든 코드 출력 파일, 그 출력을 생성한 코드의 특정 줄이 알고리즘으로 검증된 하이퍼링크로 이어진다. 함께 남는 산출물은 보충 자료에 들어가는 분석 코드, 출력 파일과 표, 문헌 검색 질의와 인용, 모델과의 대화 기록과 실행 로그다 [9].
보고된 결과와 한계는 함께 읽어야 한다. 공개 데이터셋에 목표를 열어 두고 자율 실행한 원고 10편 중 8편은 분석에 중대한 오류가 없었고, 2편은 분석이나 해석에 근본적인 오류가 있었다. 저자들은 단순한 목표와 데이터셋에서 중대한 오류의 비율을 약 10–20%로 제시한다. 반면 복잡한 감염 데이터셋에서는 파일을 잘못 병합하거나 시간 구간을 잘못 집계하는 데이터 처리 오류가 발생했다. 같은 데이터셋을 사람이 검토 의견을 주는 공동 조종 방식으로 돌렸을 때는 한 실행에서 약 15건의 의견으로 정확한 분석을 얻었다고 보고한다 [9].
이 절과 가장 관련이 깊은 것은 저자들이 밝힌 두 가지 사실의 관계다. 실행 로그가 있으므로 같은 원고를 다시 만들어 낼 수 있다. 동시에 실행은 비결정적(non-deterministic)이어서, 같은 입력에 같은 지시를 주어도 매번 다른 응답이 나온다. 따라서 같은 데이터셋으로 새로 실행하면 다른 분석과 다른 원고가 나온다 [9].
두 사실이 모순은 아니다. 가리키는 작업이 다르다. 기록된 응답을 되감아 같은 산출물을 다시 조립하는 것은 재생이다. 처음부터 다시 실행해 같은 결론에 도달하는 것은 재현이다. 생성 과정에 무작위성이 있는 도구에서는 재생은 가능하지만 재현은 보장되지 않는다. 그래서 다시 실행해 같은 결론이 나오는지를 도구에 기댈 수 없고, 그때 무엇을 선택했는지가 기록으로 남아 있어야 한다. 이 구분이 이 절의 네 번째와 다섯 번째 항목이 필요한 이유다.
재현을 위해 남길 다섯 가지
| 남길 것 | 왜 필요한가 | 확인 기준 |
|---|---|---|
| 데이터 버전 | 입력이 바뀌면 같은 코드도 다른 결과를 낸다 | 분석에 쓴 입력 파일을 다시 지목할 수 있는가 |
| 실행 환경 | 라이브러리와 실행 순서가 달라지면 코드가 아예 돌지 않거나 다른 값을 낸다 | 다른 기계에서 같은 코드가 같은 값을 내는가 |
| 코드 | 어떤 집계를 했는지는 출력된 숫자로 구분되지 않는다 | 저장된 코드를 처음부터 실행해 보고서의 숫자가 나오는가 |
| 프롬프트 | 처리 규칙이 코드가 아니라 지시문에만 있는 경우가 있다 | 당시 어떤 규칙이 적용되었는지 판정할 수 있는가 |
| 분석 결정 | 타당한 분석이 여럿이므로 선택이 결론을 바꾼다 | 결론을 바꿀 선택이 무엇이었고 왜 그렇게 정했는지 글로 남아 있는가 |
데이터 버전. 분석에 들어간 입력 파일의 시점과 내용을 고정한다. 파일을 따로 보관하거나, 내용으로부터 계산한 고정 길이 문자열인 해시를 기록해 같은 파일인지 대조한다. 외부에서 계속 갱신되는 데이터를 쓰는 경우에는 받아 온 시점을 함께 적는다. OpenElections 사례에서 공식 집계라는 기준점이 작동한 것도 어느 시점의 집계인지가 특정되기 때문이다.
실행 환경. 언어와 라이브러리의 버전, 그리고 코드가 실행된 순서를 남긴다. Pimentel 등은 GitHub에서 수집한 Jupyter 노트북 1,159,166개를 조사하고, Python 버전과 셀 실행 순서가 명확한 노트북을 대상으로 863,878건의 실행을 시도했다. 오류 없이 실행된 것은 24.11%였고, 저장된 출력과 같은 결과를 낸 것은 4.03%였다. 전체 실행 시도 가운데 29.23%가 모듈 가져오기 오류로, 14.53%가 정의되지 않은 이름을 참조하는 오류로 실패했다. 연구진은 기록된 셀 실행 순서대로 실행했으며, 기록에 드러나지 않는 상태와 셀 실행 순서가 두 번째 오류에 영향을 줄 수 있다고 설명했다 [10]. 이 연구는 2019년에 사람이 작성한 노트북을 대상으로 했으므로 AI가 생성한 분석에 그대로 적용되지는 않는다. 다만 분석 과정이 파일로 남아 있다는 사실만으로는 재현되지 않는다는 점은 공통된다. 무작위성을 쓰는 단계가 있다면 시드도 여기에 포함한다. 훈련과 검증 데이터를 나누거나 표본을 추출하거나 부트스트랩을 할 때 시드를 고정하지 않으면 같은 코드가 매번 다른 값을 낸다.
코드. 대화창에만 있는 코드를 파일로 옮긴다. 앞의 반품 예시처럼 어떤 집계를 했는지는 출력된 숫자로 구분되지 않는다. data-to-paper가 분석 코드와 출력 파일을 보충 자료에 남기고 논문의 수치를 그 출력을 만든 코드 줄까지 역추적하게 만든 것이 이 항목의 구현 사례다 [9].
프롬프트. 어떤 지시로 그 처리 규칙이 만들어졌는지 남긴다. OpenElections 사례에서 제외 조건과 표준 명칭 대응표는 프롬프트에만 존재했다 [7]. 다만 프롬프트는 재실행을 위한 기록이 아니다. 같은 프롬프트를 다시 넣어도 같은 코드가 나오지 않고, 모델이 교체되거나 종료되면 같은 환경 자체가 사라진다. 프롬프트는 그때 어떤 규칙을 적용했는지를 판정하게 해 주는 결정 기록으로 남긴다. 모델 이름과 버전, 실행 시점을 함께 적고, 프롬프트로 만들어진 코드와 출력을 짝지어 보관한다.
분석 결정. 왜 이 변수와 이 모델과 이 제외 기준을 골랐는지 적는다. BLADE가 보여 준 대로 에이전트는 기본적인 분석으로 수렴하면서 건너뛴 대안을 알리지 않는다 [6]. 그리고 생성 과정이 비결정적이므로 다시 실행해 같은 선택이 나오리라고 기대할 수 없다. 선택을 적어 두지 않으면 결론을 설명할 수 없다.
다섯 가지를 갖추었는지는 하나의 질문으로 점검할 수 있다. 남긴 것만 가지고 다른 사람이, 또는 몇 달 뒤의 자신이 같은 숫자를 다시 만들 수 있는가. data-to-paper는 기록을 되감아 산출물을 재생하는 방식으로, OpenElections는 외부 기준점과 대조하는 방식으로 이 질문에 각각 답했다.
적용 조건과 한계
모든 분석에 같은 수준의 기록을 요구할 필요는 없다. 요구 수준은 그 결과가 어디까지 가는지에 따라 달라진다.
버릴 탐색에서는 프롬프트와 코드를 남기는 정도로 충분하다. 데이터의 분포를 훑어보거나 가설을 세우기 전에 몇 가지 집계를 해 보는 작업은 결론으로 보고되지 않으므로 같은 경로를 다시 밟을 필요가 없다. 보고서나 발표에 들어갈 결론, 다른 사람이 의사결정에 쓰는 숫자에는 다섯 가지가 모두 필요하고, 가능하면 외부 기준점과 대조한다.
기록 자체가 틀릴 수 있다는 점도 함께 본다. 분석 결정의 설명까지 AI에 맡기면 실제 코드와 어긋난 설명이 남을 수 있다. 그 경우 기록은 재현을 돕는 대신 틀린 근거를 제공한다. 설명과 코드가 일치하는지는 사람이 확인해야 한다.
데이터를 외부 서비스에 올리는 문제는 이 절의 범위를 넘는다. 표나 데이터베이스를 그대로 에이전트에 넘기는 작업에서는 그 데이터를 어디까지 보낼 수 있는지를 먼저 확인해야 한다.
이 절은 AI 도구를 쓸 때 작업 시간이 어떻게 변하는지 측정하지 않았다. 따라서 분석이 얼마나 빨라지는지는 판단하지 않고, 빨라진 분석에서 무엇을 확인하고 무엇을 남겨야 하는지만 다룬다. 인용한 벤치마크 수치도 각 연구가 평가한 시점의 모델과 과제 구성에 해당하므로 현재 도구의 성공률로 일반화하지 않는다.
여기까지는 분석의 결과가 숫자와 그래프, 그리고 그것을 뒷받침하는 기록이었다. 이 결과를 다른 사람이 접속해서 보는 화면으로 옮기면 검수해야 할 대상에 데이터 접근 권한과 장애 대응이 더해진다. 4.3절이 그 경계를 다룬다.
참고문헌
- [1] Ken Gu 외, How Do Analysts Understand and Verify AI-Assisted Data Analyses? (CHI ’24; 프리프린트: https://arxiv.org/abs/2309.10947).
- [2] Majeed Kazemitabaar 외, Improving Steering and Verification in AI-Assisted Data Analysis with Interactive Task Decomposition (UIST ’24; 프리프린트: https://arxiv.org/abs/2407.02651).
- [3] Liwenhan Xie 외, WaitGPT: Monitoring and Steering Conversational LLM Agent in Data Analysis with On-the-Fly Code Visualization (UIST ’24; 프리프린트: https://arxiv.org/abs/2408.01703).
- [4] Ziru Chen 외, ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-Driven Scientific Discovery (ICLR 2025).
- [5] Bodhisattwa Prasad Majumder 외, DiscoveryBench: Towards Data-Driven Discovery with Large Language Models (ICLR 2025).
- [6] Ken Gu 외, BLADE: Benchmarking Language Model Agents for Data-Driven Science (Findings of EMNLP 2024, 13936–13971쪽).
- [7] Derek Willis, How OpenElections Uses LLMs (게시: 2025-06-09; 모델: Gemini 2.5 Pro).
- [8] Simon Willison, Coding agents for data analysis (게시: 2026-03-16) 및 워크숍 자료 https://simonw.github.io/nicar-2026-coding-agents (NICAR 2026).
- [9] Tal Ifargan 외, Autonomous LLM-Driven Research from Data to Human-Verifiable Research Papers (NEJM AI, 2025; 저자 공개본: https://kishony.technion.ac.il/wp-content/uploads/sites/403/2025/07/AIoa2400555.pdf; 구현: https://github.com/Technion-Kishony-lab/data-to-paper).
- [10] João Felipe Pimentel 외, A Large-Scale Study About Quality and Reproducibility of Jupyter Notebooks (MSR 2019, 507–517쪽; 저자 공개본: https://leomurta.github.io/papers/pimentel2019a.pdf).