← Season 2

SEASON 2 · EP 06 OF 06

결국 만들고 있는 것은 AI Platform이 아니라 새로운 Engineering Operating Model이다

변화의 종류를 구분하고, 영향받은 범위만 다시 확인하는 Engineering Operating Model

김용연Season 2Episode 06
결국 만들고 있는 것은 AI Platform이 아니라 새로운 Engineering Operating Model이다 — Season 2 key visual

마지막 문제는 어떤 AI를 쓰느냐보다 어떻게 계속 바꿔 쓸 것이냐였다

앞선 작업을 거치면서 Source Authority, Relationship, Evidence, Decision Basis와 사람의 역할을 하나씩 따로 보게 됐다.
그런데 실제로 운영하려고 하니 또 다른 문제가 남았다.

AI 쪽 실행 환경은 계속 바뀔 수 있었다.
Model뿐 아니라 Agentic AI Framework와 Runtime, Retrieval과 Tool 연결 방식, Vendor Software나 Service, 실행 Infrastructure까지 함께 바뀔 수 있었다.

나는 이런 실행 측 요소를 묶어 AI Execution Environment라고 보기 시작했다.
중요한 것은 이 환경을 오래 고정하는 것이 아니었다.
환경이 바뀌었을 때 무엇을 그대로 사용할 수 있고, 무엇만 다시 확인해야 하는지를 조직이 판단할 수 있어야 했다.

AI Execution Environment가 바뀌는 것과 Engineering Basis가 바뀌는 것은 달랐다

Model이나 Agent Framework가 바뀌었다고 Current Spec이 달라지는 것은 아니다.
같은 Source와 Configuration에서 Checker나 EDA Tool로 확보한 Evidence가 자동으로 사라지는 것도 아니다.
과거 Human Decision의 이유와 History도 그대로 남아 있을 수 있다.

반대로 AI가 Requirement를 해석하거나 Classification과 Candidate를 만들었고, 그 Judgment가 Decision Basis의 일부였다면 이야기가 달라질 수 있었다.
Model, Prompt, Agent Framework, Retrieval이나 Runtime의 변경이 그 Judgment에 영향을 줄 수 있기 때문이다.

그래서 질문은 AI Execution Environment가 바뀌었는가가 아니라 무엇이 실제로 영향을 받았는가로 바뀌었다.

여기까지는 AI Execution Environment가 바뀌는 경우의 이야기였다.
하지만 실제 Project에서 바뀌는 것은 AI 환경만이 아니었다.
Requirement나 RTL처럼 Engineering Basis가 바뀔 수도 있고,
Checker나 Tool, PDK처럼 Evidence를 만드는 조건이 바뀔 수도 있었다.
이 세 종류의 Change는 영향을 주는 대상이 서로 달랐다.

서로 다른 역할은 한 Workflow 안에서 함께 움직여야 했다

앞선 Episode에서 본 역할을 다시 길게 정의할 필요는 없었다.
고정할 수 있는 Check는 Script와 Checker로 실행하고,
해석과 후보 도출이 필요한 부분은 AI Judgment를 사용하고,
Exception, Trade-off, Risk Acceptance와 Critical Gate의 Decision은 사람이 책임지는 구조였다.

Harness도 결국 이 서로 다른 역할과 Source, Evidence, Gate를 같은 Engineering 기준 안에서 움직이게 하는 구조에 가까웠다.
중요한 것은 AI를 더 자유롭게 만드는 것이 아니라 무엇을 고정하고, 무엇을 위임하며, 어디에서 멈출지를 조직이 정할 수 있는가였다.

다시 확인할 범위는 Change Impact가 정해야 했다

AI 환경이 바뀐 경우

Model, Prompt, Agent Framework나 Runtime, Retrieval 방식, Tool integration 같은 AI Execution Environment가 바뀌면 먼저 그 변화가 AI Judgment에 영향을 주는지를 봐야 했다.
Requirement, RTL, deterministic Tool Evidence, 과거 Human Decision이 자동으로 무효가 되는 것은 아니었다.
다만 기존 Decision Basis 안에 AI Interpretation, Classification, Candidate나 Recommendation이 포함돼 있고 그 Judgment가 변경된 환경의 영향을 받는다면 해당 부분은 다시 확인해야 했다.

Engineering 기준이 바뀐 경우

Requirement, RTL이나 Source, Configuration, Design Intent, 적용 Policy나 Project 기준이 바뀌면 영향의 성격이 달랐다.
Engineering Context Relationship을 따라 어떤 Test가 여전히 Applicable한지,
기존 Evidence와 Previous Decision을 현재 조건에도 사용할 수 있는지 다시 확인해야 했다.
Engineering Basis가 바뀌면 그 위에서 만들어진 기존 Decision Basis의 applicability도 다시 봐야 했다.

Evidence를 만드는 조건이 바뀐 경우

Engineering Intent나 Requirement가 그대로여도 Checker Logic, Testbench, EDA Tool이나 PDK Version, Run Condition, Verification Setup이 바뀔 수 있었다.
이 경우에는 기존 Result와 Evidence가 같은 조건에서 다시 재현되는지,
그 Evidence가 현재 Qualification 상태에 그대로 적용될 수 있는지를 확인해야 했다.
필요하다면 Result나 Evidence를 다시 생성해야 할 수도 있었다.

세 경우 모두 공통된 원칙은 같았다.
Change가 생겼다는 이유로 모든 것을 다시 검증하는 것이 아니었다.
반대로 Change가 AI 쪽에서 발생했다는 이유만으로 Engineering 영향이 없다고 가정해서도 안 됐다.

무엇이 바뀌었는가,
무엇이 영향을 받았는가,
무엇만 다시 확인해야 하는가를 구분하는 것이 중요했다.

Change
→ Impact
→ Re-check Scope

이 흐름을 따라 실제로 영향을 받은 Basis, Judgment, Result와 Evidence를 필요한 범위만 다시 확인해야 했다.
필요한 경우에만 Re-qualification과 Review, Sign-off로 이어져야 했다.

운영은 Re-check에서 끝나지 않았다

여기서 하나가 더 남았다.
필요한 Re-check가 끝났다고 실제 Project 운영이 끝나는 것은 아니었다.

누가 이 Change를 승인하는지,
어떤 Evidence와 Review를 거쳐 새로운 Version을 Release하는지,
누가 Current Version을 유지하는지,
다음 Regression이나 Qualification 기준을 누가 관리하는지가 정해져야 했다.

Change
→ Impact
→ Re-check
→ 필요 시 Re-qualification과 Review
→ Release
→ Operational Ownership

이 흐름이 있어야 변경된 AI Execution Environment나 Engineering Basis, Check와 Evidence Condition이 개인의 실험으로 남지 않고 조직의 Current 상태로 관리될 수 있었다.

Engineering Operating Model에는 사람의 역할과 Ownership이 함께 들어갔다

이렇게 보면 만들고 있던 것은 System Architecture만이 아니었다.
Engineer와 AI, deterministic automation이 어떤 기준으로 함께 일하고,
누가 Judgment를 준비하고,
누가 Decision을 책임지고,
Change가 생겼을 때 무엇을 다시 확인하고,
어떤 조건에서 Release할지를 정하는 운영 방식이었다.

Manager와 Technical Leader의 역할도 여기에 있었다.
어디까지 자동화할지,
어디까지 AI Judgment를 허용할지,
어떤 Gate를 Critical하게 볼지,
누가 Release와 Operational Ownership을 책임질지를 정해야 했다.

내가 만들고 있던 것은 이런 Engineering Operating Model에 가까웠다.

Knowledge Asset의 의미도 문서보다 넓어졌다

Season 1에서는 경험을 조직의 자산으로 남기고 싶다는 이야기로 끝냈다.
Season 2를 지나오면서 그 자산의 의미도 넓어졌다.

문서와 Wiki만이 아니라,
Requirement와 Source, Test와 Evidence가 어떻게 연결돼 있는지,
어떤 조건에서 어떤 Judgment와 Decision이 나왔는지,
무엇이 바뀌면 무엇을 다시 확인해야 하는지,
누가 Review하고 Release와 운영을 책임지는지가 함께 남아야 했다.

결국 바뀐 것은 AI Tool이 아니라 일하는 방식이었다

처음 질문은 AI가 할 수 있는가였다.
지금의 질문은 여러 종류의 Change를 받아들이면서도 Engineering Trust를 어떻게 유지할 것인가에 더 가깝다.

중요했던 것은 특정 AI Platform을 오래 유지하는 일이 아니었다.
무엇이 바뀌었는지 구분하고,
무엇이 실제로 영향을 받았는지 확인하고,
무엇만 다시 확인해야 하며,
어디에서 AI Judgment를 사용하고,
어느 Decision은 사람이 책임지고,
누가 그 Change를 Release하고 운영할지를 조직의 방식으로 남기는 일이었다.

결국 AX는 Engineer를 없애는 일이 아니라, Change를 받아들이면서도 Engineer의 Judgment와 Decision이 근거와 함께 반복 가능한 Workflow와 조직의 자산으로 남도록 일하는 방식을 다시 설계하는 일이었다.

여기까지는 직접 만들고 시험하면서 얻은 결론에 가깝다.
다음에는 이 생각들이 실제 조직과의 협업 속에서 어떻게 달라지는지, 무엇이 그대로 통하고 무엇을 다시 배워야 하는지를 기록할 수 있기를 바란다.