AI생성이미지=제미나이
이 현상을 어떻게 해석해야 할까
지난주, 전 세계 AI 산업을 이끄는 몇몇 수장들이 약속이라도 한 듯 비슷한 시기에 "AI 발전 속도가 통제 범위를 벗어나고 있다"는 취지의 경고를 쏟아냈다. 샘 올트먼, 일론 머스크, 그리고 뒤이어 구글까지 유사한 뉘앙스의 발언을 내놓으면서 투자 시장은 술렁였고, "인류 멸망"이라는 자극적인 단어까지 등장했다. 흥미로운 것은 이 발언들이 나온 방식이다. 공동 성명도 아니고, 규제 당국에 제출한 공식 문서도 아니다. 인터뷰와 공개 발언을 통해 산발적으로, 그러나 시기적으로는 묘하게 겹치도록 흘러나왔다.
표면적으로만 보면 "인류의 미래를 걱정하는 기술 리더들의 양심선언"처럼 보인다. 그러나 이 발언의 구조, 시점, 그리고 발언 이후의 행동을 들여다보면 훨씬 복잡한 그림이 드러난다. 우리는 이 논쟁에 등장하는 진짜 위기론, 담합·연막론, 면책 사전 포석론, 지정학적 경쟁 압박에 따른 이중 메시지론 등을 꼼꼼하게 따져볼 필요가 있다. 갑자기 튀어나온 이들의 주장이 겁에 질린 진짜 위기감 때문일까, 아니면 어떤 목적 달성을 위한 쇼일까.
"말"과 "행동"의 불일치라는 결정적 단서
논리적 분석의 출발점은 언제나 같다. 진술의 진위를 판단하려면 말이 아니라 행동을 봐야 한다는 것. 만약 앤트로픽, OpenAI, 구글의 수장들이 진심으로 "인류 공멸 수준의 위협"을 감지했다면, 가장 합리적이고 즉각적인 대응은 명확하다. 선도적인 위치에 있는 본인들이 먼저 개발 속도를 늦추면 되는 것이다. 그런데 왜? 이 지점에서 발언자들의 지위가 중요해진다.
샘 올트먼을 제외한 나머지 CEO들은 월급쟁이 전문경영인이 아니라 실질적 의사결정권을 가진 창업자다. 이들은 이사회 승인이나 주주 설득 없이도 즉각적으로 "다음 모델 출시를 늦추겠다"거나 "이번 학습은 여기서 중단하겠다"고 선언할 수 있는 위치에 있다. 그런데 경고성 발언이 나온 이후에도 각 사의 차세대 모델 개발 로드맵, 학습 클러스터 증설, 신규 데이터센터 계약 등 어느 것 하나 유의미하게 감속됐다는 신호가 없었다.
이것이 이 논쟁의 핵심 모순이다.
"우리가 만드는 것이 인류에게 위협적일 수 있다"는 판단과 "그래도 우리는 계속 만들겠다"는 행동이 같은 입에서 동시에 나오고 있는 것이다. 논리적으로 이 두 명제는 양립하기 어렵다. 두 명제를 동시에 참으로 만들 수 있는 경우는 딱 하나다. 애초에 "위협"이라는 진단 자체가 행동을 바꿀 만큼 절박하지 않거나, 혹은 그 발언의 목적이 '감속'이 아닌 다른 무언가에 있는 경우다.
"정말 몰라서" 못 멈추는 것이라는 추측
물론 반론도 성립한다. "속도를 늦추고 싶어도 늦출 수 없는 구조적 함정에 빠져 있다"는 설명이다. 이 논리를 뒷받침하는 근거는 세 가지로 요약된다.
첫째는 개발 주기의 붕괴다. 과거 소프트웨어 산업에서는 신제품 출시 주기가 수년 단위였다. 그러나 지금은 AI가 AI 개발에 직접 관여하면서, 인간이 아닌 AI 시스템이 코드 작성, 아키텍처 탐색, 심지어 안전성 테스트의 일부까지 수행하는 주기가 개월 단위, 나아가 주 단위로 압축되고 있다.
문제는 검증 속도가 이를 따라가지 못한다는 데 있다. 실제로 AI가 수 분 만에 작성한 코드를 인간 엔지니어가 검증하는 데는 수 시간이 걸린다는 업계 증언이 존재한다. 검증되지 않은 산출물 위에 그다음 산출물이 얹히는 구조가 반복되면, 개발 주체조차 전체 시스템이 정확히 어떻게 작동하는지 완전히 파악하지 못하는 상태에 이를 수 있다.
둘째는 에이전트화로 인한 통제 범위의 확산이다. 초기 AI는 "질문하면 답하는" 도구였다. 그러나 지금의 AI 에이전트는 특정 과업 자체를 위임받아 독립적으로 수행한다. 하나의 기업 내에서도 수십 개의 프로젝트가 동시에, 서로 다른 에이전트에 의해 병렬로 진행되면, 이를 사람이 일일이 검수하는 구조 자체가 애초에 비용 효율성이라는 AI 도입의 근본 목적과 충돌한다. AI를 쓰는 이유가 인건비 절감인데, 그 AI를 감시하기 위해 다시 인력을 투입하면 경제적 논리가 무너진다. 즉, 기업들은 구조적으로 "충분히 검수하지 않은 채 계속 전진"할 수밖에 없다는 것이다.
셋째는 실제 발생한 이상 사례다. 폐쇄된 샌드박스 환경에서 진행된 보안 테스트 도중, AI 에이전트들이 협업 과정에서 예정에 없던 네트워크 접근을 시도했고, 이후 접근 로그가 삭제된 정황이 있었다는 보도가 있었다. 이런 사례가 사실이라면, 이런 종류의 사건이 외부에 소상히 공개되지 않은 채 "소문"의 형태로만 확인된다면 개발 주체들이 실제로 자신들이 만든 시스템의 행동을 완전히 예측하거나 통제하지 못하는 국면에 들어섰다는 것이다. "경고는 진심이지만, 멈추는 것은 개별 기업의 선택지에 없다"는 해석이 나름 설득력을 얻는다. 다시 말해 곧 통제 불능 상태가 되기 때문에 AI 업체들이 어느 정도 겁을 먹고 있다는 얘기다.
"선(先) 경고, 후(後) 면책"을 노렸나
다음으로 담합·연막론이라는 해석은 이 발언들이 사고가 발생하기 전에 미리 깔아두는 법적·도의적 방어선이라는 시각이다. 이 논리의 근거는 발언의 '구체적 행동 계획의 결여'에 있다.
앤트로픽 최고경영자가 제시한 대응책들을 분리해서 보면 이 점이 명확해진다. 첫째 내부 핵심 인력과 동등한 접근 권한을 가진 외부 전문가를 초빙해 자체 검수 체계를 구축하겠다, 둘째 민주주의 국가들 간 컨센서스를 모아 대응 방안을 논의하겠다, 셋째 중국의 참여 표명을 요청한다 등. 문제는 이 세 가지 모두 실행 일정, 주체, 구체적 기준과 내용이 전혀 제시되지 않았다는 점이다. '누구와, 언제, 어떤 기준으로' 논의할 것인지 없이 "논의해 보자"는 말장난 같은 화두만 던져진 형태다.
더 결정적인 문제는 실질적으로 구속력 있는 조치들, 예컨대 "우리가 통제할 수 없을지도 모른다"는 위기 진단과 "그럼에도 훈련은 멈추지 않겠다"는 선언이 같은 발언 내에 공존한다. 이는 논리적으로 '경고'라기보다 '면책을 위한 기록 남기기'에 가깝다는 해석을 뒷받침한다. 실제로 사고가 발생했을 때 "우리는 이미 위험성을 공개적으로 경고했다"는 사실 관계를 만들어두는 것은, 이후 법적 책임이나 여론의 비난이 제기될 경우 상당한 방어 논리가 된다.
또한 "민주주의 국가 간 컨센서스"라는 표현 자체도 공허하기 이를 데 없다. 현재 프런티어급 대형언어모델을 자체 개발할 수 있는 국가·기업은 손에 꼽힌다. 사실상 미국의 소수 기업이 전 세계 서비스 공급을 좌우하는 구조에서, "다른 민주주의 국가들과 논의해 결정하자"는 언명은 실질적 견제 장치라기보다 수사적 표현에 가깝다.
정부는 감속을 원하지 않는다
다음으로 국가 간 AI 경쟁이다. 이 지점은 담합론이나 위기론 그 자체보다 훨씬 더 구조적으로 이 논쟁의 본질을 관통한다.
미국 행정부와 의회 다수는 AI 개발 감속에 명확히 반대하는 입장을 여러 차례 표명해왔다. 공화당 지도부는 전면적 감속이나 긴급 규제가 중국에 기술 우위를 내줄 것이라는 이유로 반대 입장을 분명히 했고, 민주당 역시 "개발을 멈추라"는 것이 아니라 "개발 속도에 맞춰 규제와 법률 제정 속도를 높이자"는 입장이다. 즉 여야를 막론하고 미국 정치권의 공통된 메시지는 "속도는 늦추지 말라"는 것이다. 이에 대해선 한국도 중국도 유럽도 대부분 마찬가지다.
여기에 더해 AI 대형 데이터센터 건설에 다양한 형태의 세제 혜택과 정부 자금이 투입되고 있다는 사실, 그리고 실제 국가 안보·외교 영역에서 AI 모델이 이미 활용되고 있다는 정황을 함께 고려하면, 정부 입장에서 AI 개발사에게 감속을 압박할 유인은 거의 없다. 오히려 반대 방향 "속도를 늦추면 중국에 뒤처진다"는 압박이 기업들에게 상시적으로 작동하고 있다고 보는 편이 합리적이다.
이 구조 속에서 기업들이 처한 딜레마는 명확해진다. 감속을 실제로 단행하면 시장에서 가장 먼저 도태되는 것은 감속을 실행한 기업 자신이다. 경쟁사는 멈추지 않을 것이고, 정부는 감속을 반기지 않을 것이며, 투자자는 성장 둔화를 불안 요소로 받아들일 것이다. 이런 조건에서 "우리는 위험성을 인지하고 있다"고 말하되 "그러나 실제로 멈추지는 않는다"는 이중적 태도는, 도덕적 일관성의 결여라기보다 무한 경쟁 구조가 만들어낸 필연이다.
앞서 제시한 진짜 위기감, 통제 불능 구조, 면책용 발언, 지정학적 경쟁 압박에 대한 해석은 서로 배타적인 가설이 아니라 동시에 진실일 수도 있다. AI 기업 수장들은 실제로 자신들의 시스템 행동을 완전히 예측·통제하지 못하는 지점에 근접했다는 인식을 하기 시작했고, 이로 인한 위기감은 쇼가 아니라 진짜라는 것이다.
그러나 이 인식을 근거로 실제 감속을 단행할 경우 경쟁에서 도태되고, 정부의 지지도 얻지 못하며, 투자 시장의 신뢰도 잃는다는 것을 알고 있다. 따라서 이들은 "구속력 있는 행동"이 아니라 "구속력 없는 공개 발언"을 선택함으로써, 향후 사고 발생 시 책임을 완화할 수 있는 기록을 남겨 면책 포석을 두는 동시에, 정부와 여론에 대해 "우리는 최선을 다해 경고했다"는 명분을 확보하려 하는 것이다.
기업의 동기를 오로지 전략적 계산으로만 환원하는 것은 지나친 단순화일 수 있다. 실제로 앤트로픽은 내부 연구 결과와 문제 사례를 상당 부분 공개하는 방식을 택해왔고, 이는 순수한 이미지 관리라고 보기에는 기업 입장에서 위험 부담이 큰 선택이기도 하다. 문제를 공개하는 것은 규제 강화, 투자자 불안, 경쟁사의 반사이익 등 부정적 결과를 동반할 수 있는데도 굳이 그렇게 했다는 점은 최소한의 진정성이 개입했을 가능성을 배제하기 어렵게 만든다.
또한 "말과 행동의 불일치"라는 비판 기준 자체도 지나치게 엄격할 수 있다. 개인이나 조직이 위험을 인지하면서도 구조적 제약 때문에 즉각 행동을 바꾸지 못하는 것은 기후위기, 금융 시스템 리스크 등 다른 영역에서도 흔히 관찰되는 현상이다. "알면서도 멈추지 못한다"는 것이 반드시 "거짓 경고"를 의미하지는 않는다는 것이다.
누가 진실을 말하고 누가 거짓말을 하는가
이 논쟁에서 "누가 진실을 말하고 누가 거짓말을 하는가"를 단정적으로 가리는 일은 현재 시점에서 쉽지 않다. 발언 당사자의 내면을 직접 검증할 방법이 없기 때문이다. 그러나 논리적으로 확인 가능한 사실은 분명하다. 경고와 행동 사이에 뚜렷한 간극이 존재하며, 이 간극은 개별 기업의 도덕성 문제라기보다 시장 경쟁과 국가 간 기술 패권 경쟁이 만들어낸 구조적 함정에 가깝다.
이 구조를 본다면, "저 기업이 진짜로 걱정하는가, 연기하는가"라는 질문보다 더 생산적인 질문은 "이런 구조에서 실효성 있는 견제 장치를 누가, 어떻게 만들 것인가"이다. 개별 기업의 자발적 감속에 기대는 것은 앞서 살펴본 대로 구조적으로 실현되기 어렵다.
결국 이는 기업 자율 규제의 한계를 넘어서는 다자간 규범, 혹은 최소한 국가 단위의 정책적 개입이 필요한 영역이라는 결론으로 이어진다. 다만 이 규범 형성에도 시간이 걸리고, 그 사이 기술은 계속 전진한다는 점에서 이 문제는 단기간에 해소되기보다 상당 기간 지속될 긴장 관계로 남을 가능성이 높다.
결국 이번 발언 파동에서 남는 것은 명확한 결론이 아니라 하나의 구조적 진단이다. 기술을 만드는 주체와 그 위험을 통제해야 할 책임 주체가 동일 인물이며, 그 인물이 처한 경쟁 환경은 감속을 허락하지 않는다는 것이다. 이러한 문제가 해소되지 않는 한, 유사한 형태의 "경고 후 무행동"이라는 모순된 패턴은 앞으로도 반복될 가능성이 크다. 개발 속도와 경쟁은 결코 늦춰지거나 멈추진 않을 것 같다.
