← Season 2

SEASON 2 · EP 03 OF 06

Context를 많이 넣는다고 Engineering AI가 되는 것은 아니었다

Project 자료의 양보다 지금 어떤 Source를 기준으로 봐야 하는지가 더 어려운 문제였다

김용연Season 2Episode 03
Context를 많이 넣는다고 Engineering AI가 되는 것은 아니었다 — Season 2 key visual

처음에는 Project 자료를 더 많이 주면 된다고 생각했다

General LLM이 Project를 잘 모르는 것이 문제라면 Project 자료를 더 많이 주면 해결될 것처럼 보였다.
Spec, RTL, Test Plan, Log, Wiki, Issue History, 과거 Decision을 충분히 제공하면 AI도 Project를 더 잘 이해할 수 있을 것이라고 생각하기 쉬웠다.

실제로 Context를 제공하면 분명 좋아지는 부분이 있었다.
필요한 자료를 찾고, 서로 다른 기록을 비교하고, 과거 사례를 연결하기가 쉬워졌다.

하지만 계속 사용하면서 두 가지 다른 문제가 보였다.

자료를 넣었다고 필요한 순간에 모두 사용되는 것은 아니었다

첫 번째는 자료를 넣었다고 해서 그 모든 내용이 필요한 순간에 빠짐없이 활용된다고 가정할 수 없다는 점이었다.
중요한 조건이 Context 안에 있어도 다른 정보에 묻힐 수 있고, Exception이 답변에 반영되지 않을 수도 있었다.

파일을 제공했다는 것과 모델이 그 내용을 안정적으로 활용했다는 것은 다르다.
그리고 모델이 읽었다는 것과 그 내용이 실제 Judgment에 반영됐다는 것도 다시 다른 문제였다.

실제 Project에는 Spec 하나만 있는 것이 아니다.
RTL과 Test, Checker, Log, Issue, Past Decision, Tool Result, Configuration과 Change History가 계속 쌓인다.
모든 Engineering 정보를 한 번에 넣는 것이 좋은 설계라고 보기는 어려웠다.

모두 넣기보다 지금 필요한 자료를 선택해야 했다

Engineer도 문제를 해결할 때 회사의 모든 문서를 읽지는 않는다.
현재 Task에 따라 먼저 볼 Spec과 RTL, Checker, 과거 Issue와 참고 자료를 선택한다.

AI도 마찬가지였다.
Project 전체를 항상 읽는 것보다 지금 Task에 필요한 Source를 찾고, 그 Source가 어떤 역할을 하는지를 구분할 수 있어야 했다.

여기서 File이 실제로 존재하는지, 어떤 Revision과 Version인지 확인하는 것과 그 File을 현재 판단 기준으로 사용할 수 있는지는 다른 문제였다.

필요한 자료를 찾았다고 끝나는 것도 아니었다

한 Project 안에는 Release된 Spec과 Review 중인 Draft가 함께 있을 수 있다.
Current RTL과 과거 Snapshot이 함께 있을 수도 있다.
Test Plan과 실제 Checker가 다를 수 있고, Wiki와 Repository가 다를 수도 있다.
과거 Project의 Decision과 현재 Project의 Condition도 다를 수 있다.

AI 입장에서는 모두 관련 자료일 수 있다.
하지만 Engineer에게는 같은 무게가 아니었다.

가장 최신 파일이 항상 기준은 아니었다

가장 최신 파일이 항상 Current Authority인 것도 아니다.
최근 작성된 Summary보다 Release된 Spec이 우선할 수 있고, 설명 문서보다 실제 Repository의 Current RTL이 우선할 수 있다.

반대로 오래된 자료라고 해서 모두 버려야 하는 것도 아니다.
과거 Decision은 왜 그런 Architecture를 선택했는지, 어떤 Failure가 있었는지, 어떤 Exception을 받아들였는지를 이해하는 중요한 Context가 될 수 있다.

다만 과거 Decision은 현재의 정답이 아니다.
당시 어떤 Source와 Configuration, Assumption, Evidence를 보고 내린 Decision인지 확인하고 현재 조건과 Delta를 비교해야 했다.

Source Identity와 Source Authority는 같은 문제가 아니었다

어떤 File이 존재하고 어떤 Version인지 확인하는 것은 Source Identity의 문제에 가깝다.
그 Source를 현재 Engineering Decision의 기준으로 사용할 수 있는지는 Source Authority의 문제였다.

AI가 최신 File을 찾았다고 Authority가 생기는 것은 아니었다.
Release된 Spec을 기준으로 볼지,
Repo의 Current RTL을 기준으로 볼지,
아직 Review 중인 Candidate를 참고만 할지는 Project의 기준과 Owner가 정해야 했다.

Search와 Authority는 다른 문제였다

Retrieval 방식이 좋아지면 필요한 자료를 더 잘 찾을 수 있다.
하지만 검색 결과의 위에 나왔다는 이유로 그 자료에 Engineering Authority가 생기는 것은 아니다.

AI가 찾았다는 것과 Engineer가 그 자료를 현재 판단 근거로 써도 된다는 것은 달랐다.

자료에는 현재 역할이 필요했다

그래서 자료를 단순한 파일 집합으로 보는 방식에서 조금씩 벗어나기 시작했다.
이 자료는 현재 Project의 기준인지,
Historical Record인지,
Reference인지,
아직 검증되지 않은 Candidate인지,
다른 Source와 Conflict가 있는지를 구분할 필요가 있었다.

Version과 적용 조건, Project Scope도 함께 봐야 했다.

More Context가 아니라 필요한 Context와 믿을 수 있는 Source가 필요했다.

그런데 무엇을 믿어야 하는지 구분하고 나니 또 다른 문제가 남았다.
다음 Engineer가 왜 이런 Decision이 나왔는지를 다시 따라가려면 Source 하나만 남아서는 부족했다.
Requirement와 Source, Check와 Evidence, Decision이 어떤 관계로 이어졌는지가 함께 남아 있어야 했다.