Test가 있어도 실제 Checker가 요구 동작을 보는지 확인해야 합니다
RTL · CSR · pytest Testbench가 비교적 명확한 Digital 환경에서 Requirement ↔ Existing Test를 연결하고, Actual Checker·Regression collection·Protocol observation이 무엇을 확인하는지 검토합니다.
EVIDENCE — PROMPT-BASED SOC REVIEW DEMO
이 Demo는 AI 모델의 성능 Benchmark가 아닙니다. 공개 SoC Project의 Requirement와 Existing Test / Verification 자료를 같은 종류의 Review 업무로 검토하되, Prompt·Project Instructions·Output Contract·Engineering Context를 다르게 제공했을 때 결과가 어떻게 달라지는지 확인합니다.
두 Domain을 서로 비교하기 위해서가 아닙니다. Evidence의 형태가 크게 다른 두 SoC 업무에서도 같은 Review 원칙이 유효한지 확인하기 위해 선택했습니다.
RTL · CSR · pytest Testbench가 비교적 명확한 Digital 환경에서 Requirement ↔ Existing Test를 연결하고, Actual Checker·Regression collection·Protocol observation이 무엇을 확인하는지 검토합니다.
Specification · Schematic · Netlist · Simulation deck · Analysis script가 분산된 환경에서 Source Definition, 실행 산출물, Checked Evidence와 Corner / Stress 조건을 분리해 검토합니다.
실제 결과에서 Demo 1도 상당히 깊은 Engineering Gap을 발견했습니다. 같은 Requirement와 Source를 보기 때문에 Demo 2와 Demo 3에서도 핵심 Functional Gap은 상당 부분 반복됩니다. 뒤 Demo의 가치는 발견 개수보다 결과의 구조, Evidence State, Provenance, Change Impact와 Decision Dependency를 얼마나 재사용 가능한 형태로 남기는가에 있습니다.
| Demo | Input Condition | V1 Review | V2 Requirement Change | 결과물의 차이 |
|---|---|---|---|---|
| Demo 1 | Bare Prompt | 깊은 Gap discovery 가능. 결과 구조와 granularity는 자유 형식 | Narrative Change Impact Analysis | 사람이 읽기 좋은 분석이지만 다음 Review에서 다시 해석해야 할 부분이 큼 |
| Demo 2 | Prompt + Project Instructions + Fixed Semantic Schema | Actual Checker와 direct / partial / defined-only / absent / unsupported / Unknown을 일관되게 분리 | Current Basis Snapshot | 같은 언어와 Field로 반복 가능한 Review 결과를 남김 |
| Demo 3 | Demo 2 + Reusable Source-review Skill + Engineering Context | 주요 Gap은 비슷하되 Source Identity·Provenance·Unknown·Decision을 명시 | Typed Change Relationship Map | Change → Basis → Affected Item → Action → Owner Decision을 candidate Engineering Context로 연결 |
Demo Scope. 아래 결과는 공개 SoC source를 대상으로 한 read-only Requirement / Coverage / Test Plan review입니다. 해당 Demo session에서 RTL·Test를 수정하거나 Simulation·EDA·PDK를 실행해 새로운 sign-off 결과를 만든 것은 아닙니다. 따라서 Demo 3를 “더 많이 검증했다”고 읽기보다 무엇이 Source-defined이고, 무엇이 아직 Unknown이며, 어떤 Action과 Human Decision이 남아 있는지를 더 구조적으로 남겼다고 읽어야 합니다.
DMA와 SAR ADC의 detailed findings를 한 화면에서 비교하지 않습니다. 먼저 Domain을 고르고, 그 안에서 Demo 1·2·3 중 하나만 선택해 V1 Review와 V2 Change Response가 어떻게 달라지는지 확인합니다.
DIGITAL · AXI DMA
공통 질문: “Requirement에 비해 현재 Test가 무엇을 실제로 확인하고 있으며, 무엇이 빠져 있는가?”
Bare Prompt. Requirement와 pinned source / existing tests를 read-only로 검토하고 Coverage Gap과 Proposed Test Plan을 자유 형식으로 작성합니다.
small unaligned path가 검증 없이 return하는 vacuous-pass 위험.DMA-NEW-01 AXI stall watchdog에 대해 current basis의 부재를 확인한 뒤, CSR/status/FSM 확장 지점, 영향받는 기존 test, post-implementation recheck 후보와 Owner decision을 자유 형식으로 분석했습니다.
Bare Prompt만으로도 상당히 깊은 Engineering analysis가 가능했습니다. Demo 1의 약점은 발견 깊이가 아니라 결과 구조와 분해 수준이 응답마다 달라질 수 있다는 점입니다.
V2 분석의 RTL/interface/test 변경 내용은 proposal입니다. 구현·실행·Checked Evidence가 아니며, 다음 Project에서 재사용하려면 사람이 다시 구조를 해석해야 합니다.
Project Instructions와 고정된 10-column Semantic Schema를 적용합니다. Requirement / Existing Source / Actual Checker / Coverage State / Engineering Data / Decision을 같은 구조로 작성합니다.
direct / partial / defined-only / absent / unsupported / Unknown 상태를 고정 vocabulary로 표현.DMA-NEW-01은 unsupported-feature로 기록됩니다. Current source에는 timeout/counter register나 watchdog observable path가 없고, counter unit/range, watched channel, reset/re-arm, timeout status와 abort 관계를 Owner가 먼저 정의해야 합니다.
Error path, unaligned, burst observation 등 핵심 Gap은 상당 부분 반복됩니다. 차이는 왜 그것이 Gap인지와 현재 Basis/Evidence State가 고정 Field로 남는다는 점입니다.
Demo 2는 V1↔V2 관계 그래프를 만들지 않습니다. Current Basis를 안정적으로 snapshot하지만, Change가 어떤 기존 Basis와 어떤 Action/Decision으로 연결되는지는 아직 명시적 관계로 남기지 않습니다.
Demo 2의 fixed schema에 reusable Source-review Skill, Source Identity, Provenance, Engineering Data와 Decision Dependency를 추가합니다.
DMA-NEW-01에서 9개의 typed relationship row가 생성됐습니다. V1 basis 유지, watchdog logic 추가, status/error path 영향, CSR 추가, backpressure·TB timeout·flavor recheck, post-implementation verification과 Owner decision을 관계로 연결합니다.
Change → Basis → Affected Item → Action → Decision. 예: watchdog 추가 → status/error path 영향 → CSR/interface 수정 → backpressure와 timeout recheck → counter/channel/behavior Owner decision.
관계는 candidate Engineering Context입니다. 실제 implementation change, executed test, qualification evidence를 의미하지 않습니다. DMA report에는 operator-authorized working-tree test adaptation caveat도 별도로 보존됩니다.
Source identity · upstream/axi_dma @ e880401… · latest Requirement V1/V2 Demo 1/2/3 결과 기반
MIXED-SIGNAL · SAR ADC
공통 질문: “정의된 Mode / Corner / Performance 항목 중 무엇이 실제로 실행·판정됐으며, 무엇이 아직 Unknown인가?”
Bare Prompt. Requirement와 Simulation deck / script / RTL / netlist를 read-only로 검토하고 Missing Test, Stress / Corner Case와 Evidence Gap을 자유 형식으로 작성합니다.
SINGLE_ENDED=1과 offset-cal 활성 deck 부재.SAR-NEW-01 end-of-conversion output에 대해 현재 top-level pinout/interface가 없음을 확인하고, 신규 port/pad, state-machine completion semantics, mode-aware latency, reset/continuous behavior와 post-implementation conditional tests를 자유 형식으로 정리했습니다.
Mixed-Signal에서도 Bare Prompt만으로 단순 “Test 없음”을 넘어 checker, deck condition, reproducibility, source inconsistency까지 상당히 깊게 찾았습니다.
Artifact가 SPEC / SRC / RAW / CHK 중 어디에 해당하는지와 Owner dependency가 자유 형식에 섞여 있어, 다음 Engineer가 동일 기준으로 재사용하려면 다시 구조화해야 합니다.
Project Instructions와 fixed coverage schema를 적용해 Requirement / Mode / Evidence Source / Stimulus / Measurement / Checker / State / Gap을 같은 Field로 기록합니다.
SAR-NEW-01은 unsupported-feature입니다. Pinned pinout과 subckt port list에 EOC/status output이 없고, polarity, assert/clear timing, continuous conversion, reset, CLK_DATA 관계가 Undefined이므로 구현 전에는 runnable verification contract가 성립하지 않습니다.
Single-ended, raw/checker 부재, corner/stress 부족 같은 핵심 Gap은 반복됩니다. 차이는 무엇이 partial / defined-only / absent / unsupported / Unknown인지 동일 기준으로 구분한다는 점입니다.
Demo 2는 현재 Basis를 snapshot하지만 V1↔V2의 영향 관계를 graph처럼 만들지 않습니다. Interface / mode / performance / evidence stage가 서로 어떻게 영향을 받는지는 다음 단계에서 관계로 표현됩니다.
Demo 2 + reusable Source-review Skill + Engineering Context. SPEC / SRC / RAW / CHK provenance, source identity, operating values, Unknown과 Decision Dependency를 함께 기록합니다.
SINGLE_ENDED=1 deck 부재와 author-reported corner status를 checked evidence와 분리.SAR-NEW-01에서 9개의 typed relationship row가 생성됐습니다. New output interface, state-machine completion decode, CLK_DATA timing convention conflict, pad/pin addition, reset/mode/clock/dynamic-performance recheck와 Evidence-stage decision을 관계로 연결합니다.
Change → Interface → Timing Contract → Recheck → Decision. 기존 CLK_DATA 기반 code assembly와 legacy MATLAB의 done convention이 충돌할 수 있음을 conflicts_with로 보존하고, 어느 completion 기준을 authority로 할지 Owner decision으로 남깁니다.
새 Simulation / PDK / EDA execution을 하지 않았습니다. Relationship records는 candidate context이며 새 analog result나 Qualification evidence가 아닙니다. 정확한 해석은 “검증이 늘었다”가 아니라 검증되지 않은 영역과 Change dependency가 더 명확해졌다입니다.
Source identity · upstream/SAR_ADC_12bit @ e830a750… · latest Requirement V1/V2 Demo 1/2/3 결과 기반
Bare Prompt만으로도 깊은 Gap discovery가 가능했습니다. Harness의 차이는 그 결과를 Fixed Schema, Evidence State, Provenance, Change Relationship과 Human Decision boundary로 남겨 다음 Review에서 재사용 가능하게 만드는 데 있습니다.
Demo 1/2/3의 row 수나 Gap 수는 분석 granularity가 달라 직접 비교하지 않습니다. 전체 regression PASS, PPA/품질 개선, Project TAT 절감, Production Qualification 또는 Sign-off 완료도 주장하지 않습니다.