엔비디아가 수십 년간 축적한 그래픽처리장치(GPU) 설계 데이터를 학습한 내부 대규모언어모델(LLM)과 강화학습 기반 인공지능(AI)을 결합해 반도체 개발 방식 자체를 재편하고 있습니다.
지난달 16~17일 개최된 엔비디아의 'GTC 2026′에선 엔지니어 8명이 약 10개월 동안 수행하던 '표준 셀 라이브러리 포팅' 작업을 AI가 단 하룻밤 만에 완수했다는 성과가 발표됐습니다. 자동화를 넘어, 반도체 설계에서 가장 비용이 큰 요소인 '개발 시간'을 압축했다는 점에서 산업적 파장이 적지 않을 것으로 보입니다.
반도체 설계 시 새로운 공정으로 전환할 때 기존 레이아웃을 재배치하는 '포팅(porting)' 작업은 그간 대표적인 병목 구간으로 꼽혀왔습니다. 미세공정으로 갈수록 설계 규칙이 기하급수적으로 늘어나면서 숙련 엔지니어에 대한 의존도가 절대적이었기 때문입니다.
엔비디아는 이를 해결하기 위해 강화학습(RL) 기반 설계 AI 시스템인 'NV-Cell'을 도입했습니다. AI가 수만 개의 설계 규칙을 학습하고 최적의 셀 배치 경로를 스스로 탐색하는 구조입니다. 그 결과 작업 시간을 획기적으로 줄였을 뿐 아니라, 일부 사례에서는 인간 설계 대비 면적이나 성능 측면에서 개선된 결과가 확인된 것으로 전해졌습니다.
빌 댈리 엔비디아 최고 과학자는 'GTC 2026'에서 열린 제프 딘 구글 수석 과학자와의 대담을 통해 "설계 전 과정에 AI를 적용하고 있다"고 밝혔습니다. 다만 "AI가 전체 칩을 독자적으로 설계하는 단계까지는 아직 갈 길이 멀다"고 언급하며 기술적 한계를 분명히 했습니다. 현재 AI는 인간의 개입 없는 완전 무인 설계보다는 엔지니어의 생산성을 폭발적으로 끌어올리는 '지능형 조력자' 역할에 집중하고 있다는 분석입니다.
실제로 엔비디아는 GPU 설계 과정에서 생성된 아키텍처 문서와 오류 기록, 검증 데이터 등을 AI에 학습시키며 설계 노하우를 데이터 자산으로 축적하고 있습니다. 이에 따라 반도체 경쟁력의 축도 숙련 엔지니어의 개인적 경험에서 데이터와 알고리즘 활용 능력 중심으로 빠르게 이동하고 있습니다. '칩 니모(Chip Nemo)'와 같은 전용 LLM이 주니어 설계자의 멘토 역할을 수행하며 조직 전체의 설계 역량을 상향 평준화하는 식입니다.
이러한 변화는 생산 구조에도 직접적인 영향을 미치고 있습니다. 기존에는 설계를 완전히 마친 뒤 생산 공정에 적용하는 방식이 일반적이었으나, 최근에는 설계 단계부터 공정 조건을 실시간으로 반영하는 '설계-공정 동시 최적화'가 강화되는 추세입니다. TSMC와 삼성전자 등 주요 파운드리(반도체 위탁생산) 기업들이 설계 단계부터 깊숙이 관여하며 협업 구조를 정교화하는 것도 같은 맥락입니다.
AI 도입은 설계 병목을 제거해 제품 출시 속도를 극대화하고 있습니다. 앞으로의 반도체 산업 경쟁은 단순 성능을 넘어 설계와 생산 전 과정을 얼마나 빠르게 반복하고 최적화할 수 있느냐는 '속도 전쟁'이 핵심 변수가 될 전망입니다.