C03 · Design Verification
새 Regression Failure가 나타났을 때 우선 Log와 Error Pattern만 보고 어디서부터 확인할지 원인 후보를 어떻게 좁히면 좋을까요?
직접 답변
Quick Reference
처음부터 waveform, 전체 RTL change, 모든 history를 읽지 않음. 먼저 Failure Log에서 first meaningful error와 signature를 뽑고, 그 결과를 보고 필요한 Context만 다음 단계에서 추가. 현재 Run과 Previous PASS를 비교하기 전에는 두 Run이 실제로 비교 가능한지도 확인 필요.
Engineering Context와 확인 절차
첫 Prompt
“failing log에서 first meaningful error, test/seed, timestamp, error signature와 직전 event만 추출해 주세요. 아직 RTL/TB/tool 원인을 정하지 말고 다음에 확인할 Context 후보만 제시해 주세요.”
Detailed Guide
1. Failure Log에서 Candidate 구성.
Prompt 1
“현재 Log evidence로 설명 가능한 Candidate와 아직 근거가 없는 Candidate를 구분하고, 각 Candidate를 확인하기 위해 필요한 최소 Context를 적어 주세요.”
Validity Gate
first error/signature가 불명확하면 recent change나 waveform으로 바로 확대하지 말고 log completeness부터 확인.
2. 현재 Run과 Known-good 후보 비교.
Prompt 2
“현재 Failure와 관련된 최소 Context만 추가한 뒤 Previous PASS 후보를 찾아 두 Run의 RTL/TB/VIP/simulator/config/test 조건이 이번 debug 목적에 비교 가능한지 확인해 주세요.”
Validity Gate
Previous PASS가 비교 가능하지 않으면 Difference를 Root Cause 후보로 사용하지 않음.
3. 확인된 차이에서 Branch.
Prompt 3
“비교 가능한 Run에서 확인된 차이를 기준으로 RTL/TB/config/tool/environment branch를 나누고, 다음에 볼 Source 또는 Re-check를 한 단계씩 제안해 주세요.”
Expected Output / Branch
- 명확한 config/tool 차이가 있으면: 해당 branch를 먼저 확인.
- code/revision difference가 있으면: 관련 change로 범위 축소.
- 차이가 없거나 비교가 불충분하면: waveform/known issue/history 등 다음 Context를 제한적으로 확장.
Deep Dive
Flow Overview
- Failure Signature를 첫 확인 상태로 확정.
- 최소 Context만 요구하는 원인 후보 구성.
- Previous PASS와 비교 가능성 우선 확인.
- 선택된 한 Branch에서 실제 re-check를 수행해 현재 Result 생성.
- Root Cause 후보와 Human Decision 분리.
Workflow Unit 1 — Failure Signature를 첫 확인 상태로 확정.
Input
failing log임.
Prompt / Action
“first meaningful error/signature, test/seed, timestamp, 직전 event를 추출하고 log completeness를 확인해 주세요.”
Expected Output
확인된 Failure Signature와 누락 Log/Context.
Validation
first error가 불명확하면 recent change나 waveform으로 확대하지 않고 log completeness부터 보완.
Established State / Stop
확인된 Signature가 있어야 원인 후보 구성으로 진행.
Workflow Unit 2 — 최소 Context만 요구하는 원인 후보 구성.
Prompt / Action
“현재 Log로 설명 가능한 원인 후보와 근거 없는 후보를 분리하고 각 후보의 최소 확인 Context를 적어 주세요.”
Expected Output
원인 후보 → 필요한 Evidence 연결 정리.
Validation
waveform/전체 RTL/history를 한 번에 Input으로 가져오지 않음.
Established State
검증 가능한 후보만 다음 Check의 Input.
Workflow Unit 3 — Previous PASS와 비교 가능성 우선 확인.
Prompt / Action
“Previous PASS 후보의 RTL/TB/VIP/Simulator/Config/Test 조건이 이번 Debug 목적에 비교 가능한지 Manifest/Log로 확인해 주세요.”
Expected Output
비교 가능 / 제한적 비교 / 비교 불가.
Validation
비교할 수 없는 Run 차이를 Root Cause 후보로 사용하지 않음.
Established State / Branch
비교 가능한 차이만 RTL/TB/Config/Tool/Environment Branch 후보로 분리. 기존 Regression Command, Config Diff, Log Parser/Query를 우선하고 한 번에 모든 Branch를 실행하지 않음.
Workflow Unit 4 — 선택된 한 Branch에서 실제 re-check를 수행해 현재 Result 생성.
Input
선택된 Branch 후보, 정확한 Failure/현재 Baseline, 비교 가능한 Previous PASS와 해당 Branch의 기존 Check 경로.
Prompt / Action
“Owner가 선택한 Branch 하나에 대해 현재 조건에 적용 가능한 Regression/Config Diff/Log Parser/Query를 확인하고 필요한 실행 승인이 있으면 먼저 확인한 뒤 실제 Check를 수행해 주세요. Command/Query/Run ID, RTL/TB/Config/Tool/Seed와 원본 Output/Result 위치를 실행 조건과 결과 기록으로 남겨 주세요.”
Expected Output
해당 Branch의 원본 현재 Result + 실행 조건·결과 기록.
Validation
실제 Check에서 나온 원본 Result를 선택한 후보의 예상 관찰값과 정확한 현재/Previous PASS 조건에 대조한 뒤에만 후보 상태를 `근거 확인 / 반박됨 / 여전히 확인 필요`로 갱신. 실행하지 않은 Branch에는 Result를 만들지 않음.
Established State / Re-entry
검증 완료 Branch Result만 다음 최소 Context의 Input. 후보가 반박되면 이전 Established State로 복귀해 다른 Branch를 선택하고, Evidence가 약할 때만 Waveform/Known Issue/History를 점진적으로 확장.
Workflow Unit 5 — Root Cause 후보와 Human Decision 분리.
Validation
선택한 Branch 자체나 단일 뒷받침 Result를 Root Cause로 확정하지 않음. Root Cause는 재현 가능한 Evidence와 Owner Review 전까지 후보 상태.
Human Decision / History
Verification Engineer/Owner가 Branch 선택과 Result 유효성을 검토. Signature → 후보 → 비교 가능성 → 선택한 Check → 원본/검증 완료 Result → 근거 확인/반박됨/확인 필요 → Failed Attempt를 History에 보존하고, Fix가 승인·적용된 뒤에는 같은 관련 조건에서 효과와 부작용을 별도 재검증.
Engineer / Owner 판단 경계
Human Decision / History
Verification Engineer/Owner가 Branch 선택과 Result 유효성을 검토. Signature → 후보 → 비교 가능성 → 선택한 Check → 원본/검증 완료 Result → 근거 확인/반박됨/확인 필요 → Failed Attempt를 History에 보존하고, Fix가 승인·적용된 뒤에는 같은 관련 조건에서 효과와 부작용을 별도 재검증.
AI Review ≠ Engineer Verification. Verification ≠ Qualification ≠ Sign-off. 최종 Decision authority는 Human / Owner에게 있습니다.
