AI Finding은 Decision Basis가 아니었다
AI가 Requirement와 Test의 관계 후보를 찾고, Coverage Gap이나 Source Conflict를 정리하고, 과거 Issue와 Decision을 연결해 주는 것은 분명 유용했다.
하지만 그 결과를 어디까지 다음 Engineering Decision에 바로 사용할 수 있는지는 다른 문제였다.
Source에서 직접 읽은 사실과,
Script나 Checker가 만든 Tool Result와,
AI가 여러 Source를 해석해 만든 Classification이나 Candidate는 같은 성격의 근거가 아니었다.
AI Agent가 Script를 실행했다고 해서 그 Script Result까지 AI가 생성한 추론이 되는 것도 아니었다.
중요한 것은 결과가 무엇인지뿐 아니라 어떤 Source와 어떤 방식으로 만들어졌는지를 따라갈 수 있는가였다.
그리고 특히 찾지 못했다와 없다는 달랐다.
AI가 Test를 발견하지 못했다고 해서 실제로 Test가 없는 것은 아니다.
다른 이름으로 존재할 수도 있고, Checker 안에 포함돼 있을 수도 있고, Search Scope 밖에 있을 수도 있었다.
확인하지 않은 것은 확인했다고 말하지 않는 것이 중요했다.
답이 아니라 Decision Basis를 준비해야 했다
나는 다음 Engineering Decision에 사용할 수 있도록 근거를 준비한 상태를 Decision Basis라고 정리하기 시작했다.
AI의 답 자체가 Decision Basis는 아니었다.
어떤 Requirement가 어떤 Source version을 기준으로 하는지,
어떤 Configuration과 Corner에서 어떤 Test와 Checker로 확인됐는지,
실제 Result와 Evidence가 무엇인지,
Previous Decision은 어떤 조건에서 유효했는지,
이후 무엇이 바뀌었는지를 함께 볼 수 있어야 했다.
여기에 Provenance도 필요했다.
직접 확인한 Source인지,
Tool이 만든 Result인지,
AI가 추가한 Classification이나 Candidate인지가 구분돼야 했다.
Judgment와 Decision도 같은 것이 아니었다
Evidence와 Context를 해석하고 비교해 Classification, Candidate, Recommendation을 만드는 것은 Judgment에 가깝다.
그 Judgment와 Decision Basis를 바탕으로 Proceed나 Hold를 정하고, Exception이나 Risk를 받아들이고, Sign-off처럼 다음 상태를 책임 있게 확정하는 것은 Decision이었다.
Evidence와 Context
→ Judgment
→ Decision
→ Action
이 구분이 생기면 AI가 넓게 지원할 수 있는 영역과 사람이 책임을 가져야 하는 영역을 더 명확하게 볼 수 있었다.
모든 것을 다시 보기보다 무엇이 달라졌는지를 봐야 했다
Decision Basis가 남아 있으면 Review 방식도 달라질 수 있다.
처음부터 다시 찾는 대신 Previous Decision과 현재 조건을 비교해서 무엇이 달라졌고, 그 Delta가 현재 Decision에 영향을 주는지를 볼 수 있다.
조건이 동일하고 기존 Decision Basis가 여전히 유효하다면 같은 질문에 대해 매번 Senior Engineer의 판단을 다시 요청할 필요는 없다.
기존 근거를 재사용할 수 있다.
반대로 Version, Configuration, Requirement, Evidence가 달라졌다면 영향받는 부분을 다시 봐야 한다.
Conflict, Unknown, 새로운 Exception이 나타나면 조직의 Risk 기준에 따라 Engineer의 추가 Review나 판단이 필요할 수 있다.
모든 Review를 줄이는 것도 답은 아니었다
일상적인 반복 확인과 Tape-out 직전 Sign-off를 같은 방식으로 다룰 수는 없다.
얼마나 사람이 다시 확인할지는 AI Capability만으로 정할 수 있는 문제가 아니었다.
조직이 받아들일 수 있는 Risk와 책임 수준에 따라 달라져야 했다.
반복 작업이고 조건이 동일하며 필요한 Evidence가 그대로 유효하다면 기존 Decision Basis를 재사용하거나 가벼운 Review로 충분할 수 있다.
Source나 Configuration이 바뀌었다면 영향받는 부분을 중심으로 다시 볼 수 있다.
Conflict, Unknown, 새로운 Exception이나 Waiver가 있다면 Senior Engineer의 Judgment와 Decision이 필요할 수 있다.
그리고 Sign-off처럼 실패 비용과 책임이 큰 Gate에서는 조직이 필수라고 정한 Source identity, Required Check, Evidence와 Result, Exception과 Remaining Risk를 독립적으로 확인하고 Human sign-off를 유지해야 했다.
Human-in-the-loop는 전부 다시 하는 구조가 아니었다
여기서 사람이 다시 확인한다는 것은 AI가 했던 Search와 Classification이나 Script 실행을 손으로 처음부터 재현한다는 뜻이 아니다.
필수 Source와 Evidence, Exception과 Risk가 실제로 충족됐는지를 독립적으로 확인하고 최종 Decision의 책임을 가진다는 의미에 가까웠다.
AI의 목적은 Human Review를 없애는 것이 아니었다.
반복적인 확인은 가능한 한 재현 가능한 방식으로 줄이고,
AI Judgment가 들어간 부분은 근거와 Unknown을 드러내며,
Change와 Exception, Risk가 있는 부분과 책임이 큰 Gate에 사람의 Review와 Decision을 집중시키는 것이었다.
Decision Basis도 유효 조건을 가진다
Decision Basis도 영원한 Truth는 아니었다.
Requirement, RTL, Tool이나 PDK, Configuration, Corner, 조직 Policy가 바뀌면 이전 Basis의 applicability도 달라질 수 있다.
그래서 Decision 자체만 남기는 것이 아니라 어떤 조건과 Evidence에서 유효했는지를 함께 남겨야 했다.
그리고 여기서 다음 운영 문제가 생겼다.
이 Decision Basis와 Review 구조는 Model, Agent, Tool integration, Vendor Service 같은 실행 환경이 바뀔 때 무엇을 그대로 유지하고 무엇만 다시 확인해야 할까.

