설명가능성의 정의 — 모델을 해석하지 않고 근거를 추적한다

help맥락

ADR-0003 은 사람의 개입 지점을, ADR-0004 는 감정서에 적을 항목을 정했다. 둘 다 설명을 전제하지만 설명이 무엇을 담아야 설명인지는 비워 두었다.

설명가능성은 흔히 모델 내부를 들여다보는 문제로 이해된다. 특징 중요도나 어텐션 가중치를 시각화해 '이것이 판단의 근거'라고 제시하는 방식이다.

그런데 이 방식에는 알려진 문제가 있다. 사후에 계산한 귀인은 모델의 실제 계산과 어긋날 수 있으면서도 사람 눈에는 그럴듯해 보인다.

그럴듯한데 틀린 설명은 설명이 없는 것보다 나쁘다. 검증을 유도하는 대신 검증을 종료시키기 때문이다. 법정에서 그 불일치가 드러나는 순간 무너지는 것은 설명 하나가 아니라 감정 전체의 신뢰다.

alt_route검토한 대안

gavel결정

1. 설명의 단위는 근거다. 산출물마다 실제로 참조한 자산(조문·판례 식별자), 발화한 규칙, 거친 처리 단계와 그 순서를 기록하고 그 기록을 설명으로 제시한다.
2. 사후 귀인 결과를 판단의 이유로 제시하지 않는다. 연구와 디버깅에는 쓸 수 있으나 대외 설명이나 감정서 기재에는 쓰지 않는다.
3. 사전 공개와 개별 설명을 분리해 관리한다. 사전 공개는 시행령 제44조의4 제1항 각 호를 담은 시스템 문서로, 개별 설명은 산출물에 동반되는 근거 기록으로 낸다.
4. 설명할 수 없는 단계는 설명할 수 없다고 표기한다. 생성 모델이 개입한 구간은 그 사실과 범위를 명시하고, 그 구간의 출력은 근거 추적이 가능한 형태로 검증된 뒤에만 산출물에 포함한다.
5. 근거 기록의 충실성을 검증한다. 기록에 적힌 근거를 제거했을 때 산출이 실제로 달라지는지 확인하고, 달라지지 않으면 그 항목은 근거에서 뺀다. 검증을 표본으로 수행하는 경우 표본 비율을 함께 공개한다.

menu_book근거

• 「개인정보 보호법 시행령」 제44조의2 제2항 제1호는 정보주체가 요구할 수 있는 설명의 내용을 '해당 자동화된 결정의 기준 및 처리 과정 등에 대한 설명'으로 정한다. 법이 요구하는 것은 모델 내부의 해석이 아니라 기준과 과정이다.
• 같은 영 제44조의4 제1항은 사전 공개 항목으로 자동화된 결정이 이루어진다는 사실과 목적·대상 범위, 주요 개인정보의 유형과 결정의 관계, 고려사항과 처리 절차, 민감정보를 처리하는 경우의 구체적 항목, 거부·설명등요구의 방법과 절차를 든다. 모두 관계와 절차에 관한 것이며 내부 파라미터에 관한 것이 아니다. 결정 3 이 두 층위를 분리하는 근거다.
• 같은 영 제44조의4 제2항은 표준화·체계화된 용어를 쓰고 시각적 방법을 활용할 수 있도록 한다. 목표는 이해 가능성이다. 정확하지만 이해할 수 없는 설명도, 이해하기 쉽지만 부정확한 설명도 이 요건을 충족하지 못한다.
• 「형사소송법」 제171조 제3항은 감정의 결과에 판단의 이유를 명시하도록 한다. 감정인이 스스로 설명할 수 없는 이유는 이유가 아니다. 결정 4 가 생성 모델 개입 구간을 별도로 표기하게 하는 이유다.
• 결정 5 는 이 기록의 핵심이다. 근거라고 적어 놓은 것이 실제로 근거였는지는 주장이 아니라 실험으로 확인할 수 있다. 제거해도 결론이 그대로면 그것은 근거가 아니라 장식이며, 장식을 근거로 제시하는 것이 대안 A 의 실질적 위험이다.
• 법마디의 기존 구조가 이미 이 방향이다. 검증 자산 그라운딩과 인용 검증은 무엇을 근거로 삼았는지를 남기는 구조이지 모델을 해석하는 구조가 아니다. 새 원리를 들여오는 것이 아니라 기존 원리를 이 트랙에 적용한다.

warning이 결정이 만드는 한계

• 근거 추적은 '왜 이 근거를 골랐는가'까지는 답하지 못한다. 후보 중에서 무엇을 참조할지 고르는 과정이 모델 안에서 일어나면 그 부분은 여전히 불투명하다. 이 한계를 설명의 성공으로 포장하지 않는다.
• 결정 5 의 검증은 산출을 여러 번 재실행해야 하므로 비용이 든다. 전수 검증이 어려우면 표본으로 하되 그 사실과 비율을 공개한다. 비율을 숨기면 검증했다는 말만 남는다.
• 결정 2 는 업계 관행과 다르다. 특징 중요도 그림을 기대하는 상대에게는 제공하지 않는 이유부터 설명해야 하고, 그것이 역량 부족으로 읽힐 위험이 있다. 그 오해를 감수한다.
• 근거 기록 자체가 개인정보를 담을 수 있다. 어떤 자산을 참조했는지가 사건의 내용을 드러내는 경우가 있으므로, 이 기록의 보존과 삭제도 ADR-0005 의 적용을 받는다.
• 근거 기록의 보존과 삭제를 ADR-0005 에 위임했으나 그 기록의 기준은 감정 자료를 전제로 쓰여 있어 로그에 그대로 얹히지 않았다. 2026-07-26 ADR-0025 가 로그를 절차·근거·무결성 세 종류로 나누어 수명을 따로 정했고, 근거 로그는 식별자와 해시만 남기도록 했다.
• 2026-07-26 결정 5 의 검증을 실제로 돌려 보니 검증 방법 자체에 결함이 있었다. 이 프로토타입은 빈도 계수가 곧 모델이라, 어떤 조문을 뒷받침하는 사건을 전부 빼면 그 조문의 계수가 0 이 되어 상위에서 반드시 사라진다. 즉 '근거를 빼면 예측이 바뀌는가'는 구조적으로 참이 나온다. 종전 기록의 '5건 전부에서 바뀜'은 검증 결과가 아니라 산술이었다. 보완으로 넣은 '근거 사건만으로 재현되는가'도 마찬가지였다. 근거 사건 전건에 그 조문이 등장하므로 최다 빈도가 되어 1위가 거의 보장된다.
• 그래서 학습에 쓰지 않은 평가 집합으로 재는 세 번째 검증을 넣었다. 근거를 뺀 모델이 평가 집합에서 실제로 나빠지는가를 본다. 표본 60종 중 평가 사건이 있어 측정 가능한 35종에서 성능 하락 23종, 변화 없음 11종, 상승 1종, 평균 50.8%p 하락이었다. 변화가 없던 11종이 결정 5 가 말한 '제거해도 결론이 그대로면 그것은 근거가 아니라 장식'에 해당하며, 그 항목들은 근거 표기에서 빼야 한다. 표본 비율은 모집단 123종 대비 48.8%다.
• 일반화 검증에도 사각지대가 있었다. 제거 전 hit@3 가 0 인 표본은 하락을 관측할 수 없는데, 처음 집계에서는 그것을 '변화 없음'으로 세어 11종을 결정 5 의 적용 대상으로 잡았다. 적용 직전에 발견해 판정 가능(제거 전 성능 > 0) 27종과 판정 불가 8종으로 나누자 실제 대상은 4종이었다. 측정할 수 없는 것을 '변화 없음'으로 세면 근거가 아닌 것을 근거가 아니라고 잘못 판정하게 된다.
• 그 4종에 결정 5 를 문언대로 적용한 결과가 이 검증의 다음 한계를 드러냈다. 사기에서 형법 제347조가 근거에서 빠졌고, 근거가 없으면 결정 1 에 따라 산출하지 않으므로 목록에서도 사라졌다. 제347조가 사기와 무관해서가 아니다. 판정에 쓴 hit@3 는 예측 세 개 중 하나라도 맞으면 성공으로 보므로 최상위를 빼도 나머지가 맞히면 '변화 없음'이 된다. 즉 이 지표는 '그 항목이 없어도 다른 항목이 맞힌다'를 잴 뿐 '그 항목이 근거가 아니다'를 재지 않는다. 적용을 되돌리지 않고 그대로 둔 채 한계를 적는 이유는, 결과가 불편하다고 기준을 사후에 바꾸는 것을 ADR-0010 이 금지하기 때문이다.

event_repeat폐기 조건

• 「개인정보 보호법 시행령」 제44조의2 또는 제44조의4 가 개정되어 설명의 내용 요건이 달라질 때.
• 사후 귀인의 충실성을 보장하는 방법이 확립될 때 — 결정 2 를 재검토한다.
• 결정 5 의 검증에서 근거 기록이 반복적으로 실제 근거가 아님이 확인될 때 — 설명이 아니라 산출 구조 자체를 재설계한다.
• 빈도 계수가 아닌 구조의 모델로 바뀔 때 — 제거·재현 검증이 구조적으로 참이 되는 문제가 사라지는지 다시 판단한다.
• 충실성 판정 지표를 항목 단위 기여도로 재설계할 수 있게 될 때 — 결정 5 의 판정 방법을 개정하고, 그 지표로 다시 판정해 제외된 항목을 재검토한다.

balance근거자료

인용 법령

• 「개인정보 보호법」 제37조의2(자동화된 결정에 대한 정보주체의 권리 등) 제2항·제4항제2항 설명요구권, 제4항 기준·절차 공개의무 — DRF 본문 실증
• 「개인정보 보호법 시행령」 제44조의2 제2항제1호 '해당 자동화된 결정의 기준 및 처리 과정 등에 대한 설명' — DRF 본문 실증
• 「개인정보 보호법 시행령」 제44조의4 제1항·제2항사전 공개 5개 항목과 표준화·시각적 방법 — DRF 본문 실증
• 「형사소송법」 제171조(감정보고) 제3항감정 결과에 판단의 이유를 명시 — DRF 본문 실증

참고자료

• Attention is not Explanation (arXiv:1902.10186)초록확인Sarthak Jain, Byron C. Wallace · 2019-02 — 학습된 어텐션 가중치가 그래디언트 기반 특징 중요도와 상관이 낮고, 동등한 예측을 내면서 전혀 다른 어텐션 분포가 성립할 수 있음을 보고한다. 결정 2(사후 귀인을 이유로 제시하지 않음)의 기술적 근거. 2026-07-25 원문 초록 확인.
• 자동화된 결정에 대한 정보주체의 권리 안내서원문대조개인정보보호위원회 · 2024-09 — 법 제37조의2 및 시행령 제44조의2~제44조의4 의 조치사항을 사례 중심으로 정리한 소관부처 안내서. 2026-07-25 원문 확인.

history개정 이력

• 2026-07-26근거 기록의 수명을 다루는 후속 기록(ADR-0025)을 한계·related 에 연결.위임 대상이던 ADR-0005 는 감정 자료 기준이라 로그를 덮지 못했다. 위임한 채 두면 어느 기록도 그 로그의 수명을 정하지 않은 상태가 된다.
• 2026-07-26결정 5 의 첫 실행 결과를 한계에 기록. 제거·재현 두 검증이 이 모델 구조에서 구조적으로 참이 나온다는 점, 일반화 기반 세 번째 검증의 결과(35종 중 하락 23·변화없음 11·상승 1), 표본 비율 48.8%를 함께 남김.결정 5 는 표본 비율 공개를 요구했으나 종전 산출물에는 비율이 없었고, 더 큰 문제로 검증 자체가 정보가 없는 형태였다. 검증했다는 말만 남는 상태를 이 결정이 금지했으므로 그 상태였다는 사실을 적는다.
• 2026-07-26일반화 검증의 판정가능·판정불가 분리(27/8종)와, 결정 5 를 문언대로 적용한 결과가 드러낸 hit@3 지표의 한계를 기록.적용 직전에 8종을 잘못 뺄 뻔했고, 실제 적용에서는 사기의 형법 제347조가 빠졌다. 두 사실 모두 검증이 검증인지 확인하는 층이 필요하다는 것을 보여 준다.

hub담당 리더

마디L60

시스템 총괄 · Master API Gateway

사람의 자격이나 직위에 대응하지 않는 시스템 역할 표기다. 이 로그의 설계 결정은 사람이 작성하고 사람이 책임진다(ADR-0004·ADR-0016).

설계로그는 특정 법률 분야가 아니라 시스템 전체의 설계 결정을 다룬다. 개별 도메인 리더가 아니라 60명 리더 시스템의 운영·품질을 총괄하는 리더가 담당한다.

리더 프로필 보기 arrow_forward