최신 AI 시스템으로 아동 및 청소년 사용자에게 잠재적 관점에서 해를 끼칠 수 있는 징후 조기 감지
오픈소스 공개를 통해 모든 디지털 플랫폼 내 사용 가능
로블록스 로고
몰입형 게임 및 창작 플랫폼 로블록스(Roblox)는 7일(미국 현지시간 기준) 아동 학대 및 위협 관련 대화를 조기에 감지해 플랫폼이 더욱 신속히 대응하고, 필요시 법 집행 기관에 신고할 수 있도록 돕는 AI 시스템 ‘로블록스 센티널(Roblox Sentinel)’을 발표했다. 로블록스는 센티널을 오픈소스로 공개함으로써 관련 업계의 모든 디지털 플랫폼이 센티널을 자유롭게 활용할 수 있도록 지원할 예정이다.
센티널은 로블록스가 현재 오픈소스로 제공하고 있는 안전 도구 모음의 일부로, 잠재적인 관점에서 그루밍 범죄로 이어질 수 있는 미묘하고 탐지하기 어려운 소통 패턴을 식별하도록 설계된 조기 경보 시스템이다. 로블록스는 이미 2024년 말부터 센티널을 도입해 플랫폼이 위험에 신속히 대응하고 조사를 진행할 수 있도록 지원해 왔다. 그 결과 로블록스는 센티널을 통해 2025년 상반기에만 아동 착취 시도로 의심되는 약 1200건의 사례를 미국 국립아동실종학대방지센터(National Center for Missing and Exploited Children, 이하 NCMEC)에 신속히 보고했다.
로블록스에서 안전을 강화하기 위해서는 잠재적 위험 신호를 포착하는 센티널뿐만 아니라 숙련된 전문 인력과 AI의 전략적 조합이 필수적으로 요구된다. 구체적으로 우선, AI가 위반 가능성이 있다고 판단한 사례는 모두 전문 분석가가 직접 해당 사례를 검토한다. 이후 로블록스는 전문가들의 판단을 기반으로 사례, 지표, 학습 데이터를 축적해 기술을 지속적으로 보완하고 정교화하는 순환 주기를 형성한다. 실제 인력과 함께하는 협업 구조는 센티널이 악의적 행위자들의 새로운 패턴에 맞춰 끊임없이 조정되고 최신 상태를 유지하도록 돕는다.
맷 코프먼(Matt Kaufman) 로블록스 최고안전책임자(Chief Safety Officer, Roblox)는 “AI는 로블록스가 안전을 강화하고 이용자들을 보호하는 데 핵심적인 역할을 하고 있다”며 “로블록스는 온라인 안전이 현재 모든 디지털 플랫폼이 직면한 과제인 것을 충분히 공감하기에 센티널 등 다양한 안전 도구를 오픈소스로 공개하고 커뮤니티 발전에 기여하는 것을 중요한 전략으로 삼고 있다. 앞으로도 로블록스는 관련 기술을 공유하고, 업계 선도 기업들과 협력해 인터넷을 더욱 안전한 공간으로 만들 수 있도록 노력할 것”이라고 말했다.
줄리엣 셴(Juliet Shen) 루스트 제품 총괄(Head of Product, Roost)은 “오늘날 많은 플랫폼이 아동을 집중 대상으로 한 온라인 위험을 식별하고 예방하는 데 필요한 정교한 도구를 제대로 갖추지 못하고 있다”며 “루스트는 이용자 보호에 힘쓰는 누구나 강력한 안전장치를 활용할 수 있어야 한다고 믿고 있으며, 이러한 관점에서 로블록스가 신뢰와 안전 영역과 관련한 오픈소스 도구를 제공하게 된 것을 매우 기쁘게 생각한다”고 밝혔다.
한편 로블록스는 혁신적인 기술 솔루션을 오픈소스화하는 것을 비롯해 업계 전반의 안전 강화를 위해 전방위적인 노력을 기울이고 있다. 특히 창립 파트너로 참여한 비영리재단 루스트(ROOST·Robust Open Online Safety Tools)와 글로벌 테크 기업 연합체인 테크 코얼리션(Tech Coalition)과 함께 랜턴(Lantern) 프로젝트를 진행하는 등 다양한 업계 파트너와 협력을 이어가고 있다.
uapple
기자
여기에 광고하세요!!
여기에 광고하세요!!
피플스토리 © PEOPLE STORY All rights reserved.
피플스토리의 모든 콘텐츠(기사 등)는 저작권법의 보호를 받은바, 무단 전재, 복사, 배포 등을 금합니다.
RSS