C03 · Design Verification

Regression Result를 비교하기 전에 RTL, Testbench, VIP/Model, Simulator Version, Compile/Run Option 중 무엇이 현재 Verification Baseline인지 어떻게 확인하면 좋을까요?

직접 답변

Quick Reference

비교 목적에 따라 반드시 같아야 하는 조건이 달라짐. 동일 Failure 재현에서는 test/seed가 중요할 수 있지만 regression trend나 coverage 비교에서는 seed variation이 정상일 수 있음. 먼저 ‘무엇을 비교하려는가’를 정한 뒤 required-equivalence 조건을 선택.

Engineering Context와 확인 절차

첫 Prompt

“run A/B를 비교하는 목적이 failure reproduction, pass/fail regression comparison, coverage trend 중 무엇인지 먼저 확인하고, 그 목적에 필요한 RTL/TB/VIP/simulator/config/seed 조건을 나눠 정리해 주세요.”
Detailed Guide

1. 비교 목적을 확정.
Prompt 1
“이번 비교에서 동일해야 하는 조건, 달라도 되는 조건, 차이를 기록해야 하는 조건을 목적별로 정리해 주세요.”
Validity Gate
비교 목적이나 Run 정보가 불명확하면 ‘비교 가능’ 판정을 하지 않음.
2. 실제 Run을 비교.
Prompt 2
“manifest/log에서 RTL, TB/VIP, simulator, compile/run option, test/config/seed를 추출하고 required-equivalence 조건과 대조해 주세요.”
Expected Output / Branch
- 목적에 필요한 조건이 충족되면: 해당 목적에 한해 비교 가능하다고 표시.
- 차이가 의미를 바꾸면: 직접 비교를 제한.

Deep Dive

Flow Overview

  1. 비교 목적별 Baseline 비교 조건 고정.
  2. 실제 Run 정보를 Manifest/Log에서 추출.
  3. 비교 결과와 Baseline을 함께 보존.
Workflow Unit 1 — 비교 목적별 Baseline 비교 조건 고정.
Input

Failure reproduction / pass-fail comparison / coverage trend 중 이번 목적임.

Prompt / Action
“이번 목적에서 반드시 같아야 할 조건, 달라도 되는 조건, 기록해야 할 조건을 RTL/TB/VIP/simulator/config/test/seed 축으로 정의해 주세요.”
Expected Output

비교 목적에 필요한 동일 조건.

Validation

목적이 불명확하면 비교 가능 판정을 하지 않음.

Established State

승인된 비교 목적과 동일 조건이 Run 정보 검증의 Input.

Workflow Unit 2 — 실제 Run 정보를 Manifest/Log에서 추출.
Prompt / Action
“Manifest/Log에서 A/B Run의 정확한 RTL, TB/VIP, Simulator, Compile/Run Option, Test/Config/Seed를 추출해 비교 조건과 대조해 주세요.”
Expected Output

비교 가능 / 제한적 비교 / 비교 불가와 누락 Run 정보.

Validation

seed variation 등 목적상 허용된 차이를 mismatch로 만들지 않음.

Established State / Branch

비교 가능한 범위에서만 Failure Signature/PASS-FAIL/Coverage Delta를 다음 Input으로 사용. 비교 불가이면 re-run/정규화 조건을 정하고 해석을 Stop.

Workflow Unit 3 — 비교 결과와 Baseline을 함께 보존.
Validation / Re-entry

새 후보 확인 시 최소 Context만 추가. 뒤늦게 Baseline 불일치가 발견되면 해당 비교 결론을 폐기하고 Unit 2로 복귀.

Human Decision / History

Engineer가 비교 가능성과 Result 의미를 검증하고 비교 조건/Run 정보를 Evidence로 보존. 반복 비교는 검증된 Manifest Checker/Script로 처리.

Engineer / Owner 판단 경계

Human Decision / History

Engineer가 비교 가능성과 Result 의미를 검증하고 비교 조건/Run 정보를 Evidence로 보존. 반복 비교는 검증된 Manifest Checker/Script로 처리.

AI Review ≠ Engineer Verification. Verification ≠ Qualification ≠ Sign-off. 최종 Decision authority는 Human / Owner에게 있습니다.

관련 Technical과 Evidence

같은 질문을 Questions에서 보기 · SoC 개발 AI 활용 Guide