무엇을 더 일찍 알 수 있었을까?
직원이 100명도 되지 않는 작은 Fabless를 하나 가정해 보자. 개발 조직은 40명 남짓이고, 여러 IP를 통합해 SoC를 만든다. 제한된 인력으로 다음 제품을 준비하면서 현재 프로젝트의 일정도 맞춰야 한다. 고객은 제품이 약속한 대로 동작하기를 기대하고, 회사는 개발이 끝난 뒤에도 제품을 공급하며 사업을 이어 가야 한다.
이 회사의 회의에서 AI 이야기가 나온다면 아마 여러 제안이 뒤따를 것이다. RTL을 빠르게 생성하는 기술, Testbench를 작성하는 Agent, 수많은 Log를 한 번에 요약하는 모델. 모두 흥미로운 가능성이다. 하지만 내가 그 자리에 있다면 먼저 다른 질문을 해보고 싶다.
“우리가 뒤늦게 발견하곤 하는 문제 중, 개발 단계에서 더 일찍 알아낼 수 있었던 것은 무엇일까?”
양산이나 고객 대응을 경험한 Engineer에게는 낯설지 않은 질문일 것이다. 어떤 문제는 제품이 나온 뒤에야 처음 모습을 드러낸다. 그중에는 개발 당시에는 예상하지 못했던 Interface 조건이나 Corner Case가 있을 수 있다. 돌이켜 보면 추가 Test 하나, Requirement에 대한 다른 해석, IP 간 연결 조건의 재확인이 문제를 더 일찍 드러냈을지도 모른다. 물론 나중에 알게 된 사실로 과거를 재단하는 일은 조심해야 한다. 당시 확보할 수 없었던 정보까지 알고 있었어야 한다고 말할 수는 없기 때문이다.
내가 양산 경험이 풍부한 Engineer의 가치를 중요하게 보는 이유도 여기에 있다. 발생한 문제를 해결하는 능력만이 전부가 아니다. 아직 문제가 되지 않은 항목을 보면서 “이 조건도 확인했는가?”라고 물을 수 있는 경험이 있다. 많은 것을 알고 있다는 말보다, 무엇을 의심하고 어떤 검증으로 확인해야 하는지를 판단한다는 표현이 더 정확할 것 같다.
그 경험은 새로운 Engineer에게 자동으로 전달되지 않는다. 프로젝트가 바쁘면 Senior는 또 한 번 직접 Review하고, 다른 사람은 그 결과를 받아 다음 단계로 넘어간다. AI가 이 차이를 줄이는 데 도움이 될 수 있다면 어떨까. 모든 판단을 대신하는 것이 아니라, 숙련된 Engineer라면 확인해 보았을 질문을 더 일찍 드러내는 방식으로 말이다.
개발 조직이 먼저 바꿀 수 있는 것은 무엇일까?
회사 전체의 목적을 생각하면 답은 더 넓어진다. 고객에게 신뢰할 수 있는 SoC를 공급하고, 약속한 일정과 품질을 지키며, 지속 가능한 사업을 만드는 것. 이것은 앞에서 가정한 Fabless의 Mission이 될 수 있다. 하지만 “AI를 도입한다”는 문장은 그 자체로 Mission이 되기 어렵다. 목적을 이루기 위해 선택할 수 있는 여러 방법 중 하나에 가깝다.
그렇다면 AI를 어디에 먼저 사용해야 할까. 제조 공정의 변동, Packaging, Test, 실제 사용 환경까지 생각하면 제품 문제의 원인은 다양하다. 양산 문제가 발생했다는 이유만으로 그것이 개발팀이 놓친 검증 때문이라고 단정할 수는 없다. 다만 개발 조직 안에서 시작하는 AI 활용이라면, 다른 조직의 모든 문제를 동시에 해결하려 하기보다 우리가 직접 검토하고 조치할 수 있는 범위를 먼저 정하는 편이 현실적이다.
예를 들어 IP의 Requirement에는 특정 상황에서 오류를 처리해야 한다고 쓰여 있는데 Test Plan에는 정상 동작만 있다면 어떨까. RTL에는 예외 경로가 구현되어 있지만 어떤 조건에서 그것을 실행하는지 확인할 Test가 없을 수도 있다. 개별 IP에서는 동작하던 기능이 SoC에 통합된 뒤 다른 Clock이나 Reset Sequence와 만나는 문제도 있다. Physical Design이나 Signoff 영역에서도 보고서의 PASS 여부만으로는 검토된 Corner, Constraint의 적용 조건, Waiver의 근거를 모두 이해할 수 없는 경우가 있다.
이런 것들은 서로 다른 Engineering 문제다. IP-Level의 Logical Verification을 SoC Integration 검증이나 Physical Signoff와 같은 일로 뭉뚱그릴 수 없다. 하지만 공통된 질문은 있다. “우리가 요구한 것과 실제로 확인한 것 사이에 설명되지 않은 간격은 없는가?”
여기에서 AI가 할 수 있는 역할을 상상해 볼 수 있다. Spec, Test Plan, RTL, Interface 설명, 적용 가능한 검증 기록을 서로 비교하고, 누락되거나 맞지 않는 부분을 근거와 함께 후보로 제시하는 것이다. 필요한 자료가 없다면 부족하다고 말하고, 서로 다른 Revision을 비교하고 있다면 그 차이도 알려 주는 편이 좋다.
그러나 AI가 누락이라고 지적했다고 해서 실제 결함이 발견된 것은 아니다. 일부 조건은 다른 Test로 이미 검증했을 수 있고, 명시적인 제외 사유가 있을 수도 있다. AI의 Finding은 Engineer가 검토할 질문이지, 검증 완료를 뜻하는 도장이 아니다. 기존 Checklist나 간단한 Rule-based Script가 더 정확하고 유지하기 쉽다면 굳이 AI를 사용할 이유도 없다.
내가 중요하게 생각하는 것은 AI를 얼마나 많은 업무에 적용하는가가 아니다. 개발 조직이 이미 책임지고 있는 판단과 검증을 더 잘 수행하는 데 그 도구가 실제로 기여하는가 하는 점이다.
AI가 많은 일을 한 것과 검증된 결과는 어떻게 다른가?
다시 가상의 Fabless로 돌아가 보자. AI를 사용해 IP Test Plan을 Review했고, 누락 가능성이 있는 항목을 100개 찾아냈다고 가정해 보자. 발표 자료에는 상당히 인상적인 숫자로 보일 수 있다. 하지만 그 목록을 받아든 Engineer의 입장에서는 이제부터 일이 시작된다.
정말 누락된 항목인지, 이미 다른 곳에서 다루고 있는지, 현재 제품에 적용되는 Requirement인지, 단지 표현 방식이 다른 것인지 확인해야 한다. 중요하지 않은 후보를 걸러 내는 데 예상보다 더 많은 시간이 들 수도 있다. 반대로 AI가 던진 질문 하나가 실제로 빠져 있던 Corner Case를 발견하게 할 수도 있다.
두 경우 모두 같은 ‘Finding 1건’으로 집계하면 무슨 일이 달라졌는지 알기 어렵다.
예를 들어 Backpressure가 걸린 상태에서 특정 오류가 발생했을 때의 동작을 검증해야 하는데 해당 조합을 다루는 Test가 없다는 후보가 나왔다고 생각해 보자. 이 예시는 실제 고객 제품에서 확인된 사건이 아니다. 다만 Engineer라면 비교적 쉽게 상상할 수 있는 검토 상황이다.
먼저 그 동작이 현재 Design의 요구사항인지 확인해야 한다. 기존 Test나 Assertion이 이미 다루는지도 살펴봐야 한다. 필요하다면 Test를 추가하고, 그것이 실제로 의도한 조건을 자극했는지 실행 결과를 확인해야 한다. 문제로 보였던 것이 Requirement 해석 차이였다면 Spec과 Test의 어느 쪽을 정리해야 하는지 판단해야 한다. 이 과정이 끝나야 비로소 ‘검토 후보’가 ‘확인된 Gap’이거나 ‘조치가 필요 없는 항목’으로 구분된다.
여기서도 확인된 Verification Gap과 실제 RTL Defect는 다르다. Test가 빠져 있었다는 사실만으로 제품에 불량이 존재했다고 말할 수는 없다. 추가 Test가 PASS했다고 해서 모든 위험이 사라졌다는 뜻도 아니다. 중요한 것은 어느 조건에서 무엇을 확인했고, 무엇을 수정하거나 제외했는지가 다음 Engineer에게도 설명 가능해야 한다는 것이다.
시간을 따질 때도 마찬가지다. AI가 Report를 매우 빠르게 만들었다는 사실과 전체 Review가 빨라졌다는 사실은 다르다. Engineer가 결과를 해석한 시간, 잘못된 후보를 조사한 시간, Test를 수정하고 다시 실행한 시간, Review가 여러 번 오간 시간까지 생각해야 한다. 비교할 기존 방식의 기록이 없다면 “몇 퍼센트 빨라졌다”고 말하기보다 우선 우리가 실제로 무엇에 시간을 쓰는지 관찰하는 것이 맞을 것이다.
그래서 나는 AI를 평가할 때 조금 다른 장면을 기대한다. Engineer가 중요한 누락 하나를 더 일찍 발견하고, 그 근거를 확인하고, 필요한 Test를 추가한 뒤 검증 기록과 함께 해당 이슈를 닫는 장면이다. 그 과정에 투입된 전체 Effort가 합리적이었는지도 함께 볼 수 있어야 한다.
그것이 성공적이라면 분명 의미 있는 Engineering Outcome이라고 부를 수 있을 것이다. 하지만 그 순간에도 아직 하나의 질문은 남는다. 그 개선이 프로젝트 전체 일정, 제품 품질, 회사의 사업 성과에 어떤 영향을 주었는지는 별도로 확인해야 한다는 것이다.
빠르게 만드는 것과 앞으로 나아가는 것
이 차이를 생각하다 보면 Kent Beck이 설명한 구분이 떠오른다. 그는 Software 개발에서 우리가 무엇을 관찰하고 성과라고 판단하는지 생각하며 Effort, Output, Outcome, Impact를 구분했다. 쉽게 말해 투입한 노력, 고객에게 전달한 것, 그것으로 달라진 고객의 행동, 그리고 그 결과로 돌아오는 가치다.
그의 설명을 SoC 개발에 그대로 옮길 수는 없다. IP Review를 통해 Test 하나를 추가했다고 해서 곧바로 고객의 행동이 바뀐 것은 아니기 때문이다. 그래서 이 글에서는 그 구분을 빌리되, 개발 조직에서 독립적으로 확인할 수 있는 변화를 ‘Engineering Outcome’으로 부르려 한다. 검증된 누락이 조치되었는가, 새로운 검증이 실제로 수행되었는가, 불필요한 재작업을 줄였는가 같은 질문이다. 그리고 제품이나 고객, 회사의 수익에 미친 영향은 ‘Business Impact’로 따로 생각한다. Mission은 이 글에서 그 모든 판단을 연결해 보는 상위 목적이다.
용어를 나누는 이유는 어떤 숫자가 다른 숫자보다 멋있기 때문이 아니다. 서로 다른 질문에 하나의 결과로 답할 수 없기 때문이다.
RTL 생성량이 늘어난 것은 Output에 관한 이야기다. 그 RTL이 Requirement를 만족하는지, Integration과 Verification을 거쳐 실제 개발 업무가 개선되었는지는 또 다른 문제다. Log를 몇 초 만에 요약했다는 사실과 그 Log가 말하는 실패 원인을 올바르게 찾아 조치했다는 사실도 다르다. EDA Tool의 Runtime이 줄었다고 해서 준비, 판단, Review, Rework까지 포함한 프로젝트 TAT가 같은 비율로 줄어드는 것은 아니다.
그렇다고 Output의 개선이 무가치한 것은 아니다. 반복 작업을 줄여 Engineer가 더 어려운 문제를 살펴볼 시간을 확보할 수 있다면 좋은 출발점이다. 다만 확보한 시간이 실제로 무엇에 쓰였는지, 새로운 부담을 다른 팀에 떠넘기지는 않았는지 확인하지 않으면 다음 단계의 가치를 알 수 없다.
Software 개발에서 오늘 동작하는 기능만큼 내일 변경할 수 있는 여지도 중요하다는 논의가 있다. SoC에서도 지금 통과한 Test만이 아니라 다음 Revision에서 그 결과를 재검증할 수 있는 근거가 중요하다. 빠르게 만든 산출물이 나중의 확인과 수정을 더 어렵게 한다면, 처음의 속도만으로 앞으로 나아갔다고 말하기 힘들 것이다.
나는 AI를 사용해 더 많은 것을 만들 수 있게 되었다는 주장에 관심이 있다. 하지만 그보다 더 궁금한 것은 그 시간 동안 어떤 위험이 실제로 줄었고, 어떤 판단이 더 빨리 이루어졌으며, 어떤 일을 다시 하지 않아도 되게 되었는가 하는 것이다.
성과를 확인하는 서로 다른 시계
이쯤에서 현실적인 문제가 하나 나타난다. 회사의 보고 일정과 SoC 개발의 시간이 서로 맞지 않는다는 점이다.
회사는 매달 또는 분기마다 투자 성과를 설명해야 할 수 있다. 하지만 새로운 AI Review 방식이 유용한지 알아보는 데 필요한 시간과, 실제 프로젝트에 적용해 검증할 수 있는 시간, Silicon이 나온 뒤 품질에 관한 정보를 얻는 시간은 전혀 같지 않다.
처음에는 기존 Spec과 Test Plan을 놓고 AI가 어떤 후보를 찾는지, Reviewer가 그것을 얼마나 신뢰할 수 있는지 정도를 확인할 수 있다. 이 단계에서는 분석 환경을 준비하고 비교 가능한 자료를 만드는 일도 필요할 수 있다. 작은 성공이나 실패를 빨리 발견하는 데는 의미가 있지만, 이 결과만으로 양산 품질을 이야기할 수는 없다.
이후 실제 프로젝트에서 누락이 발견되고 Test가 추가되거나 설계의 특정 부분이 재검토될 수 있다. 그제야 AI가 현장의 업무를 어떻게 바꾸었는지 조금 더 구체적으로 판단할 수 있다. 단순히 후보를 많이 제시했는지가 아니라, 누가 그것을 확인했고 어떤 근거로 조치했으며 다시 같은 문제를 확인할 수 있는지가 중요해진다.
그리고 제품이 Tape-out을 거쳐 Silicon으로 나와 고객에게 공급된 뒤에야 알 수 있는 것도 있다. 그때조차 한 제품의 Yield나 Field Issue 숫자만으로 AI의 효과를 단정하기는 어렵다. 공정 조건과 제품 Revision, 출하량, 관찰 기간이 다를 수 있고, 발견된 문제가 실제로 어떤 원인에서 왔는지 조사해야 하기 때문이다.
개발팀 혼자서 이 모든 것을 확인할 수도 없다. 개발 단계의 Test와 Signoff 근거가 어떤 Product Revision에 적용되는지, 아직 해결되지 않은 Risk는 무엇인지, 실제 Silicon과 출하 제품의 어느 조건에 연결되는지를 품질·제조·Test·고객 대응 담당자와 함께 이해할 수 있어야 한다. 자료를 전달했다는 사실과 상대 조직이 그 의미와 적용 범위를 확인했다는 사실도 구분해야 한다.
그렇다고 사업적 영향을 확인할 때까지 AI 도입에 대한 판단을 모두 미루자는 말은 아니다. 지금 확인할 수 있는 것과 아직 확인할 수 없는 것을 구분하자는 뜻이다. 개발팀의 Review 효율이 좋아졌다는 판단은 그에 맞는 비교와 검증으로 내릴 수 있다. 실제 제품의 불량이 줄었다는 판단은 그보다 더 긴 시간과 다른 종류의 증거를 요구할 것이다.
보고 날짜가 먼저 왔다고 해서 아직 관찰하지 못한 결과를 만들어 낼 수는 없다. 반대로 긴 시간이 걸리는 결과만 성과라고 부른다면 중간에 잘하고 있는 일조차 알아보기 어려울 것이다.
처음 가정했던 Fabless가 AI를 통해 검증 누락 하나를 개발 중에 발견하고 적절히 조치했다고 하자. 그것만으로도 이 회사는 무엇이 달라졌는지 설명할 수 있다. 그러나 훗날 발생하지 않은 불량의 건수를 세거나, 그 사실만으로 전사적인 ROI를 확정할 수는 없다. 그 차이를 인정하는 것이 성과를 작게 보는 태도라고 생각하지 않는다. 오히려 작은 성과를 정확하게 이해해야 다음 선택을 할 수 있다.
나는 결국 AI 도입의 목적을 ‘더 빨리 만들기’에만 두고 싶지 않다. 개발 조직이 책임져야 할 중요한 문제를 조금 더 일찍 발견하고, 타당한 근거로 해결하고, 그 변화가 실제 제품과 사업에 어떤 의미가 있는지 끝까지 확인할 수 있는가. 그 질문에 답할 수 있다면 AI를 사용했다는 사실보다 훨씬 많은 것을 얻은 셈일 것이다.
그런데 처음에 이야기했던 양산 경험이 풍부한 Engineer의 가치가 다시 떠오른다. 무엇을 미리 검증해야 하는지 판단할 수 있는 경험은 쉽게 만들어지지 않는다. AI가 그러한 판단을 도와 중요한 검증 누락을 더 일찍 발견하게 해준다면, 그것은 회사에 의미 있는 성과가 될 수 있다. 하지만 그 과정에서 Engineer의 경험과 판단 능력도 함께 성장했을까? 그 경험을 다음 프로젝트에서 다른 Engineer도 활용할 수 있게 되었을까?
회사가 얻은 성과와 그 일을 수행한 사람에게 남는 가치는 반드시 같지는 않을 것이다. 우리는 회사의 Mission을 달성하기 위해 AI를 사용한다고 이야기해 왔다. 그렇다면 Engineer인 나 자신은 AI와 함께 일하면서 무엇을 얻고 있으며, 앞으로 어떤 Engineer가 되어야 할까?

