C03 · Design Verification
Regression이 PASS해도 Assertion Disable, Checker Bypass, Force, Expected-fail 같은 설정 때문에 실제로 Check하지 않은 조건이 없는지 어떻게 찾아볼 수 있을까요?
직접 답변
Quick Reference
Top-level PASS는 현재 Flow와 활성 Criteria 아래 PASS로 분류됐다는 의미이지, 의도된 모든 Check가 실행됐다는 보장은 아님. Assertion/Checker 활성 상태, Bypass/Force/Expected-fail, Testplan Coverage를 따로 확인할 필요.
Engineering Context와 확인 절차
첫 Prompt
“이번 Regression의 Config/Log에서 Assertion/Checker 활성 상태, Bypass, Force, Expected-fail과 Exclusion을 추출하고 Testplan/Requirement와 연결해 실제로 빠진 범위 후보를 정리해 주세요.”
Detailed Guide
1. PASS 의미를 분해.
Prompt 1
“PASS Summary가 어떤 활성 Criteria를 사용했는지와 비활성화/제외 설정을 Source에서 확인해 주세요.”
Validity Gate
필수 Check 목록과 활성 Configuration을 비교할 수 없으면 PASS를 Closure Evidence로 확대하지 않음.
2. 실제 Check되지 않은 범위 연결.
Prompt 2
“disabled/bypassed/excluded 항목이 어떤 Requirement/Test Intent에 영향을 주는지 정리하고 허용 근거가 없는 것은 Review 대상으로 남겨 주세요.”
Expected Output / Branch
- 의도된 exclusion이면: 근거와 scope 보존.
- 설명되지 않는 exclusion이면: Silent PASS 위험 후보로 표시.
Deep Dive
Flow Overview
- Regression PASS의 필수 범위와 활성 Configuration 분리.
- Exclusion/Waiver의 승인 근거와 현재 적용 가능성 검증.
- Verification Owner가 실제 re-check 범위와 적용 Configuration 결정.
- 승인된 Configuration으로 실제 Regression/Check 실행.
- Silent PASS 상태와 Human Decision을 갱신.
Workflow Unit 1 — Regression PASS의 필수 범위와 활성 Configuration 분리.
Input
required check/Testplan/Requirement, regression config/log, assertion/checker enable, bypass/force/expected-fail/exclusion임.
Prompt / Action
“필수 범위와 실제 활성 범위를 Config/Log/Checker Evidence로 대조해 검증됨 / 의도적 제외 / 미검증 후보 / 확인 필요로 나눠 주세요.”
Expected Output
활성 범위와 필수 범위 비교 정리.
Validation
Top-level PASS를 모든 필수 Check가 실행됐다는 뜻으로 확대하지 않음.
Established State
확인된 범위 정리만 Exclusion Review의 Input.
Workflow Unit 2 — Exclusion/Waiver의 승인 근거와 현재 적용 가능성 검증.
Prompt / Action
“각 Disabled/Bypassed/Excluded 항목의 근거, 승인 상태, 적용 Baseline/조건을 현재 Requirement/Test Intent와 연결해 주세요.”
Expected Output
승인된 Exclusion / 설명되지 않은 미검증 범위 / Review 필요.
Validation
현재 Baseline과의 연결이 불명확한 Exclusion은 Silent PASS Risk 후보로 유지.
Established State / Branch
설명되지 않은 미검증 범위만 Configuration 수정/re-run Review 후보로 지정.
Workflow Unit 3 — Verification Owner가 실제 re-check 범위와 적용 Configuration 결정.
Input
설명되지 않은 미검증 범위, 필수 Check, 현재 Baseline/Config와 기존 정상 Regression 경로.
Prompt / Action
“필요한 Check Enable/Config 수정, 예상 Evidence, 적용 가능성이 확인된 절차와 실행 승인을 정리해 주세요.”
Expected Output
승인 후 실행 가능한 re-check 계획 또는 승인 / 절차 적용 가능성 확인 필요.
Validation / Stop
Owner 결정, 절차 적용 가능성 또는 실행 승인이 없으면 `실행 후보`에서 Stop. 설정 후보를 실제 적용 상태로 취급하지 않음.
Established State
Owner가 승인한 Configuration + 정확한 Baseline + 적용 가능성과 실행 승인이 확인된 경로만 실행 Input.
Workflow Unit 4 — 승인된 Configuration으로 실제 Regression/Check 실행.
Prompt / Action
“승인된 범위에서 기존 Regression/Checker를 실행하고 활성 Configuration, Run ID/Command, Tool/version, 원본 Assertion/Checker/Coverage/Result를 실행 조건과 결과 기록으로 남겨 주세요.”
Expected Output
원본 활성 Check Evidence와 Result.
Validation
실제 활성 Configuration과 필수 범위를 다시 대조하고 원본 Result를 Criteria에 검증한 뒤에만 갱신된 검증 완료 범위/Result로 사용.
Established State
갱신된 검증 완료 범위와 Result 근거 기록을 기존 PASS 상태와 분리해 Closure Evidence의 Input으로 사용.
Workflow Unit 5 — Silent PASS 상태와 Human Decision을 갱신.
Re-entry
configuration/result가 예상과 다르면 scope/config 단계로 복귀.
Human Decision / History
Verification Owner가 공식 Check/re-run 범위와 Result 유효성을 결정. 최종 자료에는 PASS뿐 아니라 의도적으로 제외된 범위/미검증 범위, 승인 근거, 새 검증 완료 Evidence를 함께 보존.
Engineer / Owner 판단 경계
Human Decision / History
Verification Owner가 공식 Check/re-run 범위와 Result 유효성을 결정. 최종 자료에는 PASS뿐 아니라 의도적으로 제외된 범위/미검증 범위, 승인 근거, 새 검증 완료 Evidence를 함께 보존.
AI Review ≠ Engineer Verification. Verification ≠ Qualification ≠ Sign-off. 최종 Decision authority는 Human / Owner에게 있습니다.
관련 Technical과 Evidence
DMA / SAR ADC Requirement·Test Plan Review Evidence에서 독립 Demo의 입력·결과·한계를 확인할 수 있습니다. 이 질문의 Workflow가 Demo에서 모두 실행·검증되었다는 뜻은 아닙니다.
