판정이 어디서 오는지, 끝까지 따라갈 수 있게.

01메커니즘

AI 는 판정하지 않는다. 조약을 구조화할 뿐이다.

생성형 AI 를 쓰는 이상 환각은 확률적으로 발생한다. PACT 는 발생률을 낮추는 데 기대지 않고 통과 경로를 막았다.

AI 는 빌드 타임에만 관여하고, 사용자의 판정에는 규칙 파일과 결정적 엔진만 참여한다. 두 레인 사이를 넘어가는 것은 서명·게이트를 통과한 JSON 파일 하나뿐이다.

번들 규칙이 스키마를 위반하면 앱은 그 카드를 조용히 숨기는 대신 즉시 실패한다 — src/lib/rules/load.ts 가 로드 시점에 던진다. 소리 없이 사라지는 카드가 잘못된 카드보다 위험하기 때문이다. 원문에서 확인할 수 없는 항목은 지어내지 않고 공식 확인사항으로 강등해 문의처를 붙인다.

03근거

숫자마다 어떤 연산에서 나왔는지 적는다.

2,829 에서 4 까지 좁혀지는 각 단계에 어떤 필터가 걸렸는지가 아래에 있다. 원본 파일과 해시를 같이 적는 이유는, 우리가 센 파일과 검증하는 사람이 여는 파일이 같은 파일인지 확인할 수 있어야 하기 때문이다. 추정이나 보간으로 채운 값은 없다.

1. 2,829

   rows(bilateral_treaties.csv)

   외교부 양자조약 현황 전체 · 227개 국가·국제기구

2. 124

   filter 체결대상국가 == "독일"

   독일과 맺은 양자조약 전부

3. 6

   filter 분야 ∈ {사회보장, 영사·사증, 운전면허상호인정}

   사회보장 2 · 영사/사증 4 · 운전면허상호인정 0

4. 4

   rules where country == "DE"

   앱에 배포된 판정 규칙 — 조약 4건이 아니라 카드 4장

$ tail -n +2 public/data/bilateral_treaties.csv | wc -l
2829

$ cut -d, -f1 public/data/bilateral_treaties.csv | tail -n +2 | sort -u | wc -l
227

$ awk -F, 'NR>1 && $1=="독일"' public/data/bilateral_treaties.csv | wc -l
124

$ awk -F, 'NR>1 && $1=="독일" && ($2=="사회보장"||$2=="영사/사증"||$2=="운전면허상호인정")' \
    public/data/bilateral_treaties.csv | cut -d, -f2 | sort | uniq -c
      2 사회보장
      4 영사/사증
# 운전면허상호인정 행은 출력에 없다 — 독일에 해당 조약이 없다

$ sha256sum public/data/bilateral_treaties.csv
10bcd1f34b281f8061414360db915f38014b3fd4e43207a629c32b1beabec27b

원본은 앱과 함께 배포된다. public/data/manifest.json 에 파일별 행 수 · sha256 · 수집일이 들어 있고, 데이터 기준일은 2026-08-03 다. 오픈API 응답은 스냅샷으로 고정해 같은 질의에 같은 결과가 나오도록 했다.

05자기일관성

같은 조문을 다섯 번 읽혀, 매번 같게 읽는지 측정했다.

AI 는 판정하지 않는다. 조약 원문에서 규칙 초안을 뽑는 단계에만 쓰인다. 그 단계를 같은 조문에 K=5회 독립 호출해 조건별 합의율로 재고, 임계값에 못 미치면 기권해 공식 확인으로 강등한다. 기억이 아니라 원문을 읽는지, 없는 규정을 지어내지 않는지를 적대적으로 시험했다.

이 페이지의 다른 증거는 결정적이라 바이트까지 재현되지만, 이 하나는 측정값이다 — LLM 출력이라 실행마다 표본이 다르므로 K회 독립 실행의 합의율로 본다. 산출물은 제출 평가 패키지의 out/consistency.json (provider: anthropic · 2026-08-05)에 기록돼 있고, 정답 세트(eval/gold.json)를 사람이 원문 대조로 검토한 뒤에야 이 수치를 쓴다. 임계값을 완전히 풀면(τ=0.2) 교란본에서 스팬 검증 실패가 1건 남는데, 이는 합의 임계값이 놓친 불량 조건을 기계적 스팬 검증이 잡아내는 이중 방어의 실증이다. 측정 대상은 ‘AI 가 원문을 일관되게 읽는가’이지 규칙의 법적 타당성이 아니며, 판정 경로에는 여전히 LLM 호출이 0건이다.

06배포된 규칙

독일 1개국. 규칙 5개. 제3자 검수 전.

시제품이다. 커버리지를 크게 보이게 만드는 대신 정확히 적는다. 아래 표는 앱에 실제로 번들된 규칙 파일에서 그대로 읽어 온 것이며, 화면에 뜨는 문구와 같은 값을 쓴다.

일부러 하지 않는 것

금액을 산정하지 않는다

급여·부담률·환율은 개인마다 다르고 앱이 검증할 수 없는 값이다. 절감액을 계산해 보여주지 않는다.

비자 종류를 정하지 않는다

90일 초과 체류가 필요하다는 사실까지만 판정하고, 어떤 체류허가인지는 재외공관 확인으로 넘긴다.

24개월 초과 계속적용은 판정하지 않는다

양국 권한있는 당국의 동의와 근로자·사용자 공동요청이 요건이다. 사용자 입력만으로는 확인할 수 없는 외부 사실이다.

쉥겐 누적 체류를 보지 않는다

이 규칙은 단일 연속 체류만 계산한다. 직전 쉥겐 체류 이력이 있으면 별도 확인이 필요하다.

건강·실업·산재보험은 다루지 않는다

협정 제2조상 이 협정은 연금제도에만 적용된다. 다른 보험은 적용 범위 밖이다.

면허 기한의 기산점을 분명히 한다

한국 면허 인정기간은 출국일이 아니라 독일 내 통상거소 설정일부터다. 앱은 그 날짜(move_in)를 기준으로 계산하고, 최종 인정 여부는 관할 면허청 확인으로 넘긴다.

확장은 새 국가의 원문을 넣고 같은 파이프라인(구조화 → 스팬 검증 → 검수 서명 → 배포 게이트)을 다시 도는 것이다. 규칙은 코드가 아니라 데이터이므로 국가를 늘리는 데 엔진을 고칠 필요는 없다. 다음 후보는 사회보장협정을 조약 원문으로 대조한 41개국 안에서 고른다.