EVIDENCE — PROMPT-BASED SOC REVIEW DEMO

같은 Engineering Review도, 어떤 Context와 기준을 주느냐에 따라 결과가 달라집니다

이 Demo는 AI 모델의 성능 Benchmark가 아닙니다. 공개 SoC Project의 Requirement와 Existing Test / Verification 자료를 같은 종류의 Review 업무로 검토하되, Prompt·Project Instructions·Output Contract·Engineering Context를 다르게 제공했을 때 결과가 어떻게 달라지는지 확인합니다.

Demo 1 · Demo 2 · Demo 3 = 세 개의 독립된 Review 조건Demo 2가 Demo 1 결과를 읽어 개선하거나 Demo 3가 Demo 2 결과를 이어받는 방식이 아닙니다. 같은 Requirement와 Source를 대상으로 별도의 Session에서 수행하며, 이전 Demo 결과는 Agent input에 포함하지 않습니다. Operator가 독립 실행 결과를 비교합니다.

왜 Digital DMA와 Mixed-Signal SAR ADC를 함께 봤는가

두 Domain을 서로 비교하기 위해서가 아닙니다. Evidence의 형태가 크게 다른 두 SoC 업무에서도 같은 Review 원칙이 유효한지 확인하기 위해 선택했습니다.

DIGITAL · AXI DMA

Test가 있어도 실제 Checker가 요구 동작을 보는지 확인해야 합니다

RTL · CSR · pytest Testbench가 비교적 명확한 Digital 환경에서 Requirement ↔ Existing Test를 연결하고, Actual Checker·Regression collection·Protocol observation이 무엇을 확인하는지 검토합니다.

MIXED-SIGNAL · SAR ADC

Deck가 있어도 Raw Result와 Checked Result는 별개입니다

Specification · Schematic · Netlist · Simulation deck · Analysis script가 분산된 환경에서 Source Definition, 실행 산출물, Checked Evidence와 Corner / Stress 조건을 분리해 검토합니다.

차이는 “더 많은 Gap”보다 “Gap을 어떻게 남기는가”에서 선명해졌습니다

실제 결과에서 Demo 1도 상당히 깊은 Engineering Gap을 발견했습니다. 같은 Requirement와 Source를 보기 때문에 Demo 2와 Demo 3에서도 핵심 Functional Gap은 상당 부분 반복됩니다. 뒤 Demo의 가치는 발견 개수보다 결과의 구조, Evidence State, Provenance, Change Impact와 Decision Dependency를 얼마나 재사용 가능한 형태로 남기는가에 있습니다.

DemoInput ConditionV1 ReviewV2 Requirement Change결과물의 차이
Demo 1Bare Prompt깊은 Gap discovery 가능. 결과 구조와 granularity는 자유 형식Narrative Change Impact Analysis사람이 읽기 좋은 분석이지만 다음 Review에서 다시 해석해야 할 부분이 큼
Demo 2Prompt + Project Instructions + Fixed Semantic SchemaActual Checker와 direct / partial / defined-only / absent / unsupported / Unknown을 일관되게 분리Current Basis Snapshot같은 언어와 Field로 반복 가능한 Review 결과를 남김
Demo 3Demo 2 + Reusable Source-review Skill + Engineering Context주요 Gap은 비슷하되 Source Identity·Provenance·Unknown·Decision을 명시Typed Change Relationship MapChange → Basis → Affected Item → Action → Owner Decision을 candidate Engineering Context로 연결
DEFINED→EXECUTED / RAW→CHECKED→QUALIFIED

Demo Scope. 아래 결과는 공개 SoC source를 대상으로 한 read-only Requirement / Coverage / Test Plan review입니다. 해당 Demo session에서 RTL·Test를 수정하거나 Simulation·EDA·PDK를 실행해 새로운 sign-off 결과를 만든 것은 아닙니다. 따라서 Demo 3를 “더 많이 검증했다”고 읽기보다 무엇이 Source-defined이고, 무엇이 아직 Unknown이며, 어떤 Action과 Human Decision이 남아 있는지를 더 구조적으로 남겼다고 읽어야 합니다.

관심 있는 Domain과 Demo를 선택해 결과를 확인하세요

DMA와 SAR ADC의 detailed findings를 한 화면에서 비교하지 않습니다. 먼저 Domain을 고르고, 그 안에서 Demo 1·2·3 중 하나만 선택해 V1 Review와 V2 Change Response가 어떻게 달라지는지 확인합니다.

DIGITAL · AXI DMA

Requirement와 Existing Test 사이의 Gap을 Actual Checker 기준으로 검토

공통 질문: “Requirement에 비해 현재 Test가 무엇을 실제로 확인하고 있으며, 무엇이 빠져 있는가?”

Input Condition

Bare Prompt. Requirement와 pinned source / existing tests를 read-only로 검토하고 Coverage Gap과 Proposed Test Plan을 자유 형식으로 작성합니다.

V1 · Representative Findings

  • Error test가 기본 regression collection에서 빠지는 문제.
  • small unaligned path가 검증 없이 return하는 vacuous-pass 위험.
  • 프로그래밍된 burst 값은 있으나 실제 AXI ALEN / 4KB boundary를 관측하지 않는 문제.
  • README ↔ source의 small-flavor conflict와 error helper / encoding defect 후보.

V2 · Narrative Change Impact

DMA-NEW-01 AXI stall watchdog에 대해 current basis의 부재를 확인한 뒤, CSR/status/FSM 확장 지점, 영향받는 기존 test, post-implementation recheck 후보와 Owner decision을 자유 형식으로 분석했습니다.

What this Demo adds

Bare Prompt만으로도 상당히 깊은 Engineering analysis가 가능했습니다. Demo 1의 약점은 발견 깊이가 아니라 결과 구조와 분해 수준이 응답마다 달라질 수 있다는 점입니다.

Remaining Limitation

V2 분석의 RTL/interface/test 변경 내용은 proposal입니다. 구현·실행·Checked Evidence가 아니며, 다음 Project에서 재사용하려면 사람이 다시 구조를 해석해야 합니다.

Demo 2와의 차이. 새 Gap을 더 많이 찾는 것이 핵심이 아니라, Demo 1의 서술형 결과를 Fixed Schema와 Evidence State로 반복 가능하게 만드는 데 있습니다.

이 Demo가 보여주는 것과 보여주지 않는 것

보여주는 것

AI의 발견보다, 발견을 Engineering Context로 남기는 방법

Bare Prompt만으로도 깊은 Gap discovery가 가능했습니다. Harness의 차이는 그 결과를 Fixed Schema, Evidence State, Provenance, Change Relationship과 Human Decision boundary로 남겨 다음 Review에서 재사용 가능하게 만드는 데 있습니다.

보여주지 않는 것

Gap 개수 경쟁이나 Project 성능 개선 증명

Demo 1/2/3의 row 수나 Gap 수는 분석 granularity가 달라 직접 비교하지 않습니다. 전체 regression PASS, PPA/품질 개선, Project TAT 절감, Production Qualification 또는 Sign-off 완료도 주장하지 않습니다.