월드 모델은 아직 운전을 하지 않습니다

월드 모델이라는 말을 반년 동안 들었는데, 솔직히 말하면 계속 헷갈렸습니다.
AI 제품을 직접 다루는데도 그랬고, 다시 한번 제대로 확인하고 정리해봤더니 헷갈린 이유가 있었습니다.
같은 단어가 서로 다른 두 가지를 가리키고 있었습니다.

먼저 세 가지를 구분합니다

LLM — 언어와 지식을 다룹니다. 다음에 올 단어를 예측하는 방식으로 학습합니다. “여기 공사 중이니까 돌아가”라는 말을 이해하는 쪽입니다.

월드 모델 — 다음에 올 상태를 예측합니다. 젖은 노면에서 지금 속도로 브레이크를 밟으면 몇 미터 뒤에 서는지, 저 차가 다음 1초 뒤 어디에 있을지 같은 것들입니다.

피지컬 AI — 현실 세계에서 센서로 보고 실제로 움직이는 AI를 묶어 부르는 말입니다. 자율주행차와 휴머노이드 로봇이 대표적입니다. LLM과 월드 모델은 그 안에 들어가는 부품에 가깝습니다. (엔비디아가 밀고 있는 산업 용어라 회사마다 범위를 조금씩 다르게 씁니다.)

여기까지는 어렵지 않습니다. 문제는 다음입니다.

월드 모델이 헷갈리는 진짜 이유

월드 모델이라는 말은 지금 두 갈래로 쓰입니다.

하나는 픽셀을 그리지 않고 잠재 공간에서 세계의 구조를 붙잡으려는 쪽입니다. 얀 르쿤의 JEPA 계열이 여기 있습니다.

다른 하나는 다음 장면을 사실적으로 그려내서, 그걸 그대로 시뮬레이터로 쓰는 쪽입니다. 구글 딥마인드의 Genie가 대표적입니다.

두 쪽이 같은 단어를 씁니다. 그래서 어떤 글에서는 월드 모델이 “AI의 내부 이해”로, 다른 글에서는 “영상 생성 시뮬레이터”로 설명됩니다. 둘 다 틀린 설명이 아닙니다.

그리고 웨이모와 테슬라가 공개한 쪽은 둘 다 후자입니다.

웨이모: 없는 상황을 만들어냅니다

웨이모는 올해 2월 Waymo World Model을 공개했습니다. 딥마인드의 Genie 3를 주행 도메인에 맞게 후속 학습시킨 모델입니다.

하는 일은 이렇습니다. 언어 명령이나 주행 입력, 도로 배치를 바꿔가며 도로 위의 코끼리, 토네이도, 침수된 도로 같은 상황을 생성합니다. 그것도 영상만이 아니라 카메라 이미지와 라이다 포인트 클라우드를 함께 만들어냅니다. 웨이모 차량이 실제로 세상을 보는 방식 그대로입니다.

왜 이렇게 만드느냐. 대부분의 자율주행 시뮬레이터는 자기 차량이 실제로 수집한 주행 데이터로만 학습합니다. 그러면 그 회사 차가 겪어본 날씨, 도로, 교통 패턴 밖으로는 못 나갑니다. 코끼리는 영원히 안 나옵니다.

웨이모는 공공도로에서 약 2억 마일을 무인 주행했다고 밝히고 있습니다. 그런데 시뮬레이션 안에서는 그보다 훨씬 많은 마일을 돌립니다.

여기서 중요한 건 이겁니다. Waymo World Model은 차에 타고 있는 주행 두뇌가 아닙니다. 주행 모델을 시험할 환경을 만드는 도구입니다.

테슬라: 고친 뒤에 안 망가졌는지 봅니다

테슬라도 별도의 neural world simulator를 운영합니다. 차량의 모든 카메라와 센서 출력을 생성하고, 주행 정책 모델이 내리는 조작 명령에 반응합니다.

용도로 공개된 것은 네 가지입니다.

• 새 주행 모델을 폐루프로 굴려 평가한다
• 과거 실제 주행 로그를 대상으로, 새 모델이라면 어떻게 달랐을지 검증한다
• 코너 케이스를 시험할 적대적 시나리오를 합성한다
• 대규모 강화학습을 돌린다

이 목록을 제품 만드는 사람 눈으로 보면, 익숙한 게 하나 있습니다.

회귀 테스트입니다.
새 버전이 이번에 고친 문제를 해결했는지만 보는 게 아니라, 원래 잘 되던 것까지 여전히 잘 되는지를 확인하는 것. 자율주행에서는 그 테스트 환경 자체를 월드 모델이 만들어냅니다.

그래서 무엇이 달라지는가

“AI가 미래를 상상하며 운전한다”는 설명은 틀리진 않지만, 지금 상용 서비스에서 월드 모델이 실제로 만들어내는 가치는 그게 아닙니다.

평가할 수 없던 것을 평가 가능하게 만드는 것입니다.
자율주행에서 진짜 어려운 건 정상 주행이 아니라 롱테일입니다. 그런데 롱테일은 정의상 데이터가 안 모입니다. 코끼리를 만날 때까지 기다릴 수 없으니 만들어내야 합니다.

이 구조는 자율주행만의 문제가 아닙니다.

LLM 기반 서비스를 운영해보면 비슷한 벽을 만납니다. 모델을 바꾸거나 프롬프트를 고치는 것 자체는 어렵지 않습니다. 어려운 건 바꾼 뒤에 무엇이 망가졌는지 확인할 케이스를 확보하는 것입니다.
실제 트래픽에서 자주 나오는 질문은 테스트하기 쉽습니다. 문제는 드물게 나오는데 나왔을 때 치명적인 케이스입니다. 그건 기다려서는 모이지 않습니다. 만들어야 합니다.

정리하면 이렇습니다.

모델 성능이 병목이라고 생각하기 쉽지만, 어느 시점부터는 검증 능력이 병목이 됩니다. 좋은 모델을 못 만들어서가 아니라, 좋아졌는지 나빠졌는지 확인할 방법이 없어서 배포를 못 하는 상태가 옵니다.
그래서 저는 월드 모델을 AI에게 상상력을 주는 기술이라기보다, 일어나기 전에 실패를 겪어보게 하는 기술로 봅니다.
안전이 중요한 자율주행에서 가장 먼저 그걸 필요로 했을 뿐입니다.

P.S. 월드 모델이라는 말은 진영에 따라 다른 것을 가리킵니다. 이 글은 생성형 시뮬레이터 계열만 다뤘습니다. 잠재 표상 계열(JEPA 등)은 목표가 다릅니다.

P.S.2 아마존 죽스도 대규모 시뮬레이션을 운영하지만, 공개 자료에서 “월드 모델”로 명시한 사례를 확인하지 못해 제외했습니다.

출처

• Waymo World Model 공식 발표 (2026-02-06) — https://waymo.com/blog/2026/02/the-waymo-world-model-a-new-frontier-for-autonomous-driving-simulation/
• Ashok Elluswamy, Tesla’s approach to Autonomy (2025-10) — https://x.com/aelluswamy/status/1981644831790379245