실행 조건 확인
대상 Project, Spec/Source Revision, Tool Version, Input, Permission과 Environment가 맞는지 실행 전에 확인합니다.
Project 적용 검증 (Qualification)
동작한다고 바로 Project에 넣지는 않습니다
새로운 Script나 Flow도 한 번 실행됐다고 바로 Project 표준으로 사용하지 않습니다. AX도 같습니다. 정상 Case뿐 아니라 Error/Failure, Boundary, 반복 실행, 필요한 Evidence와 Recovery 가능성을 확인한 뒤 정의된 Scope에서 실제 Project에 사용할 수 있는지 판단합니다.
AI가 포함됐다고 검증 원칙이 달라지는 것은 아닙니다.AI는 Test/Failure 후보 정리, 여러 Run 결과 비교, 이상 Pattern 탐지와 Evidence 수집·정리의 반복 부담을 낮춥니다. 무엇을 반드시 시험하고 무엇을 PASS로 인정할지는 SoC Engineering 기준과 Engineer/Owner 판단이 정합니다.
실행됨 (Executed)→확인됨 (Checked)→검토 근거 준비 (Evidence Ready)→적용 범위 검증됨 (Qualified)→운영 가능 (Operational)
PASS / FAIL 상태 명확화
PASS / FAIL / BLOCKED / SKIPPED를 구분하고 Tool 정상 종료를 자동으로 PASS로 해석하지 않습니다.
확인하지 않은 것은 PASS로 말하지 않음
검증된 영역과 아직 확인하지 않은 영역, 추정과 실제 Tool/Check 결과를 분리합니다.
무한 재실행 방지
Failure 원인 분류 → 허용된 수정 → Retry 횟수 제한 → Stop/Escalation으로 Stuck Loop를 막습니다.
Error / Boundary Case 확인
Wrong Version, Missing Input, Forbidden/Wrong Path, Permission 위반, Unexpected Scope를 의도적으로 시험합니다.
실제 Project에서 계속 쓸 수 있는지 확인
반복 실행 결과의 일관성, Evidence 재현, Failure가 드러나는지, 사람 Review/승인 지점(Human Gate), Engineer 사용성과 Change 후 Regression 가능성까지 확인합니다.
Qualification Case는 다음 Regression에 재사용합니다
Normal / Failure / Boundary / Historical Bug Case를 남기고, 실제 Project에서 새로운 Failure가 나오면 운영 중 Failure → Root Cause 확인 → Harness/업무 규칙 수정 → Regression Case 추가 → Re-qualification 순으로 반영합니다.
승인된 Golden/Reference는 실제 Project 운영에서 적극 활용합니다
No-Golden-Read는 Demo/PoC에서 Reference를 먼저 보지 않고 독립적으로 결과를 만든 뒤 비교하는 검증 방식(Independent-first)입니다. Production에서는 승인된 Golden/Reference가 있다면 Source Authority와 어떤 Source·Tool·조건을 사용했는지에 대한 기록(Provenance)을 확인한 뒤 비교 기준으로 적극 활용합니다.
Reference를 먼저 보지 않는 독립 검증 (Independent-first)
Intent / Spec → 독립 생성·분석 → Check → Evidence → 마지막에 Reference 비교
승인된 Reference를 활용하는 운영 검증 (Reference-aware)
승인된 Source 기준 → Golden/Reference + Current Source → 허용 범위 내 실행 → Evidence → Engineer Review
“빨라졌다”와 “써도 된다”는 다른 질문입니다.먼저 믿고 쓸 수 있는지 확인하고, 그 다음 얼마나 도움이 되는지 측정합니다. 안전 조건(Safety) · 검토 근거(Evidence) · 허용 범위(Boundary) · 실제 운영 적합성(Operational Fitness)은 독립적으로 검증하고, 비교 가능한 Baseline이 있을 때 KPI 개선을 별도의 효과 검증에 사용합니다.
초기에 준비하고, 검증된 반복 업무는 Script와 Tool로
초기에는 AI로 입력 구조와 확인 절차를 정리하고 Script·Rule 작성을 보조합니다. Known-good 결과와 비교해 적용 조건과 한계를 확인한 반복 절차는 Script와 Tool 중심의 정해진 실행 경로(deterministic Normal Path)로 전환합니다. AI는 새로운 Exception과 Context 해석을 돕고, Source·Tool·Option·Assumption이 달라지면 재확인합니다.