Grok AI 비동의 성적 콘텐츠 논란과 연방 금지 요구 현황 분석 (2026년 2월)

2026년 초, AI 업계에 큰 논란이 일어났습니다. 일론 머스크의 xAI가 개발한 챗봇 Grok이 여성과 아동의 비동의 딥페이크 성적 이미지(NCII, Non-Consensual Intimate Images) 생성에 악용되면서 전 세계적인 비판과 규제 당국의 조사가 시작되었습니다. 이번 글에서는 이 사건의 배경부터 각국의 대응, 연방정부 금지 요구, 그리고 xAI의 대응책과 그 한계까지 상세히 분석해 드리겠습니다.

Grok AI의 딥페이크 논란 배경

Grok은 xAI가 개발하여 X(구 트위터) 플랫폼에 통합된 AI 챗봇입니다. 2025년 말부터 2026년 초 사이, Grok의 이미지 생성 및 편집 기능인 'Imagine'이 심각한 문제를 일으키기 시작했습니다. 사용자들이 "비키니를 입혀줘" 또는 "옷을 벗겨줘"와 같은 간단한 프롬프트만으로 실제 인물의 사진을 성적으로 조작할 수 있었던 것입니다.

비영리 단체 CCDH(Centre for Countering Digital Hate)의 보고서에 따르면, Grok은 단 며칠 만에 약 300만 건의 성적 이미지를 생성한 것으로 추정됩니다. 더욱 충격적인 것은 14일간 생성된 이미지 중 23,000건 이상이 미성년자로 보이는 인물을 부적절한 맥락에서 묘사했다는 점입니다. 콘텐츠 분석 기업 Copyleaks의 분석에서도 크리스마스와 새해 사이에 xAI가 생성한 20,000개 이미지 중 절반 이상이 최소한의 의류만 착용한 인물을 묘사했으며, 일부는 아동으로 추정되었습니다.

Rolling Stone 보도: '분당 1개' 비동의 성적 이미지 생성

미국의 유명 매체 Rolling Stone은 Grok의 딥페이크 문제를 심층 보도했습니다. 콘텐츠 분석 기업 Copyleaks의 조사 결과에 따르면, Grok은 "대략 분당 1개의 비동의 성적 이미지"를 생성하고 있었으며, 각각의 이미지는 X 플랫폼에 직접 게시되어 바이럴될 가능성이 있었습니다.

CCDH의 더 상세한 분석에 따르면, 2026년 1월 첫 2주 동안 Grok은 약 300만 개의 성적 이미지를 생성했는데, 이는 분당 약 190개에 달하는 수치입니다. 이러한 규모의 유해 콘텐츠 생성은 AI 업계 역사상 전례 없는 수준이며, 기존의 콘텐츠 모더레이션 시스템이 실제 사용 환경에서 얼마나 취약할 수 있는지를 여실히 보여주는 사례가 되었습니다.

캘리포니아 법무장관 Rob Bonta의 조사 착수

캘리포니아 법무장관 Rob Bonta는 미국 내 최초로 xAI와 Grok에 대한 공식 조사를 착수했습니다. Bonta 장관은 xAI가 "비동의 딥페이크 친밀한 이미지의 대규모 생산을 조장"하고 있으며, 이러한 이미지들이 "인터넷 전반에서 여성과 소녀들을 괴롭히는 데 사용되고 있다"고 밝혔습니다.

Bonta 장관의 성명에 따르면, 최근 언론 보도들은 Grok이 인터넷에 공개된 일반 여성과 아동 사진을 가져다가 사용자 프롬프트에 따라 AI로 성적으로 변형시켰다고 지적합니다. 구체적으로 사진 속 인물의 옷을 벗기거나, 선정적인 자세를 취하게 하거나, 성행위에 참여하는 것처럼 묘사하는 것이 모두 당사자의 동의 없이 이루어졌습니다.

캘리포니아 주지사 Gavin Newsom도 이 조사를 지지하며 X에 다음과 같이 게시했습니다: "xAI가 아동을 디지털로 탈의시키는 이미지를 포함한 비동의 성적 AI 딥페이크를 퍼뜨리는 포식자들의 온상을 만들고 운영하기로 결정한 것은 악랄한 일이다." Bonta 장관은 xAI에 중단 및 철회 서한을 보내 비동의 성적 이미지의 생성 및 배포를 즉시 중단할 것을 명령했습니다.

EU의 2026년까지 문서·데이터 보존 명령

유럽연합 집행위원회는 디지털서비스법(DSA)에 따른 권한을 행사하여 X에 Grok 관련 모든 내부 문서와 데이터를 2026년 말까지 보존하도록 명령했습니다. EU 디지털 담당 대변인 Thomas Regnier는 "유럽연합 집행위원회가 X에 Grok 관련 모든 내부 문서와 데이터를 보존하도록 명령했으며, 2026년 말까지 이를 이행해야 한다"고 확인했습니다.

이 명령은 플랫폼의 규정 준수 여부에 대한 지속적인 평가 기간 동안 Grok 관련 자료를 잠재적 요청에 대비해 보관하도록 요구합니다. 집행위원회 대변인은 이 조치가 불법 콘텐츠 확산과 관련된 플랫폼 시스템에 대한 이전 보존 요청을 확장한 것이며, 새로운 사건이 아닌 증거 보호 조치라고 설명했습니다.

EU 기술위원 Henna Virkkunen은 "EU 내 여성과 아동의 권리가 X 서비스의 '부수적 피해'가 되어서는 안 된다"며, "여성과 아동에 대한 비동의 성적 딥페이크는 폭력적이고 용납할 수 없는 형태의 모욕"이라고 강조했습니다. Regnier 대변인은 Grok이 반유대주의 콘텐츠와 아동 관련 성적 이미지를 생성한 것은 "불법이며 용납할 수 없다"며, 이것이 유럽의 가치와 기본권에 반한다고 덧붙였습니다.

동남아시아 국가들의 전면 차단 조치

말레이시아와 인도네시아는 Grok을 전면 차단한 최초의 국가들이 되었습니다. 두 국가 당국은 Grok이 성적으로 명시적이고 비동의적인 이미지를 생성하는 데 악용되고 있다고 판단했습니다. 이러한 차단 조치는 전 세계적인 반발이 거세지는 가운데 이루어졌습니다.

필리핀도 2026년 1월 15일 동남아시아에서 세 번째로 Grok을 차단했습니다. 필리핀 정보통신기술부(DICT) 장관 Henry Aguda는 사이버범죄수사조정센터(CICC)를 통해 공공 안전, 특히 여성과 미성년자 보호를 위한 긴급 조치로서 사이버범죄방지법(Republic Act 10175)을 근거로 즉각적인 차단 및 삭제를 명령했습니다. 국가통신위원회는 발표 후 24시간 이내에 국내 통신사들에게 Grok 접근을 차단하도록 지시했습니다.

그러나 필리핀은 xAI가 현지 시장을 위해 도구를 수정하고 "음란 콘텐츠" 생성 기능을 제거하기로 합의한 후 약 일주일 만인 1월 21일에 차단을 해제했습니다. CICC 차관 Renato Paraiso는 "Grok AI 앱이 저희에게 연락하여 더 이상 콘텐츠 조작을 사용하지 않겠다고 밝혔다"며, "회사가 딥페이크 생성을 허용하는 이미지/콘텐츠 조작 기능을 생략하는 등 현지 시장에 맞게 도구를 수정하겠다고 약속했다"고 전했습니다.

미국 연방정부 Grok 사용 금지 요구 연합

Public Citizen, CAIDP(AI 및 디지털 정책 센터), CFA(소비자연맹) 등 시민단체 연합이 미국 정부에 Grok 배포 중단을 요구하는 서한을 발송했습니다. 이 요청은 국방부를 포함한 연방 기관을 특정 대상으로 삼고 있습니다.

Public Citizen의 빅테크 책임 담당자 JB Branch는 TechCrunch와의 인터뷰에서 "우리의 주요 우려는 Grok이 상당히 일관되게 안전하지 않은 대규모 언어 모델임을 보여왔다는 것"이라고 밝혔습니다. 서한 작성자들은 Grok이 행정부의 AI 시스템 요구사항과 양립할 수 없음을 입증했다고 주장합니다.

OMB(관리예산처) 지침에 따르면, 적절히 완화할 수 없는 심각하고 예측 가능한 위험을 제시하는 시스템은 중단되어야 합니다. 연합은 "반유대주의적 발언, 성차별적 발언, 여성과 아동의 성적 이미지를 포함한 다양한 문제를 일으킨 Grok의 오랜 역사"를 우려 사항으로 제시했습니다. 국제적으로도 인도네시아와 말레이시아를 포함한 여러 국가들이 Grok의 위험한 행동으로 인해 일시적으로 차단했으며, EU, 영국, 한국, 인도에서도 조사가 진행 중입니다.

국방부 Grok 도입 계획 논란

논란이 한창인 가운데, 국방장관 Pete Hegseth는 Grok이 Google의 Gemini와 함께 국방부 네트워크 내에서 운영되며 기밀 및 비기밀 문서를 모두 처리할 것이라고 발표했습니다. 전문가들은 이를 국가 안보 위험으로 지적하고 있습니다.

전 국가안보국(NSA) 계약자이자 현재 Gobbi AI 창업자인 Andrew Christianson은 폐쇄형 LLM을 국방부에서 일반적으로 사용하는 것이 문제라고 지적합니다. 그는 "폐쇄형 가중치는 모델 내부를 볼 수 없고, 어떻게 결정을 내리는지 감사할 수 없다는 것을 의미한다"며, "폐쇄형 코드는 소프트웨어를 검사하거나 어디서 실행되는지 제어할 수 없다는 것을 의미한다. 국방부는 둘 다 폐쇄형으로 가고 있는데, 이는 국가 안보를 위해 최악의 조합"이라고 경고했습니다.

이러한 논란에도 불구하고 일부 연방 기관들은 여전히 Grok을 활용하고 있습니다. 보건복지부(HHS)는 다양한 행정 업무에 Grok을 사용하는 것으로 알려졌으며, 이는 추가적인 안전 우려를 낳고 있습니다. Elizabeth Warren 상원의원 등 민주당 의원들은 국방부의 Grok 통합에 대해 우려를 표명하는 서한을 보낸 바 있습니다.

xAI의 유료 구독자 제한 대응책과 그 한계

국제적인 비판이 거세지자 xAI는 2026년 1월 9일 Grok의 이미지 생성 기능을 유료 구독자에게만 제한하는 조치를 취했습니다. Grok은 X를 통해 "이미지 생성 및 편집은 현재 유료 구독자에게만 제한됩니다"라고 발표했습니다. 이 제한은 대다수의 사용자가 더 이상 이 기능에 접근할 수 없음을 의미합니다. 신용카드 정보가 등록된 유료 인증 구독자들만 여전히 사용할 수 있으며, 이론적으로 기능이 오용될 경우 더 쉽게 식별할 수 있습니다.

그러나 이 조치는 광범위한 비판을 받았습니다. 영국 총리 Keir Starmer의 대변인은 BBC에 따르면 X의 최신 조치가 "불법 이미지 생성을 허용하는 AI 기능을 단순히 프리미엄 서비스로 전환한 것"이라고 비난했습니다. 1월 23일 미국 캘리포니아 북부 지방법원에 제기된 집단소송에서도 원고측은 xAI의 공공 분노에 대한 대응이 일반적인 회사가 취할 조치가 아니라 "2026년 1월 8일 X에서 Grok의 딥페이크 기능을 유료 프리미엄 X 사용자에게만 제한함으로써 이 트렌드로 피해를 입은 여성들을 추가적인 상업적 이익을 위해 착취하기로 결정한 것"이라고 주장했습니다.

이후 xAI는 추가 제한 조치를 발표했습니다. X Safety 계정을 통해 공유된 게시물에서 xAI는 "우리는 Grok 계정이 비키니와 같은 노출 의상을 입은 실제 인물의 이미지 편집을 허용하는 것을 방지하기 위한 기술적 조치를 구현했다"고 밝히며, "이 제한은 유료 구독자를 포함한 모든 사용자에게 적용된다"고 덧붙였습니다. 그러나 NBC News의 보도에 따르면, X가 일부 성적 딥페이크를 제한했음에도 xAI의 Grok 앱은 여전히 이를 생성하고 있어 완전한 해결책이 되지 못하고 있습니다.

전 세계 규제 당국의 대응 현황

국가/지역	조치 내용	현재 상태
미국 캘리포니아	법무장관 조사 착수, 중단 명령 서한	조사 진행 중
유럽연합	DSA 기반 조사, 2026년 말까지 데이터 보존 명령	조사 진행 중
영국	Ofcom 조사 착수 예정	조사 준비 중
말레이시아	전면 차단	차단 유지 중
인도네시아	전면 차단	차단 유지 중
필리핀	일시 차단 후 해제	조건부 허용
인도	조사 착수	조사 진행 중
호주	조사 착수	조사 진행 중
미국 35개 주	xAI에 공동 서한 발송	조치 요구 중

법적 대응과 집단소송

이번 논란은 다수의 법적 대응을 촉발했습니다. 35개 주 법무장관들이 xAI에 서한을 보내 비동의 성적 이미지와 아동 성적 학대 자료(CSAM) 생성을 방지하기 위한 조치를 요구했습니다. 서한에서 그들은 "귀사는 강력한 AI 도구 개발에 수백억 달러를 투자하고 있다. 그렇게 하면서 법을 준수하는 것은 귀사의 의무"라고 명시했습니다.

2026년 1월, 보수 인플루언서 Ashley St. Clair는 Grok이 자신과 자녀의 비동의 이미지를 생성하는 데 사용되었다고 주장하며 xAI를 상대로 소송을 제기했습니다. 또한 Jane Doe로 식별된 여성을 선두 원고로 하는 집단소송이 1월 23일 캘리포니아 북부 지방법원에 제기되었으며, 머스크의 xAI가 "여성과 소녀들을 옷을 벗기고 딥페이크 이미지로 성적 자세를 취하게 하여 굴욕을 주고 성적으로 착취하는 생성적 AI 챗봇을 만들었다"고 주장하고 있습니다.

미국 상원은 원치 않게 명시적 딥페이크 이미지에 묘사된 사람들이 그러한 콘텐츠를 제작하거나 배포하는 회사를 고소할 수 있도록 하는 법안인 DEFIANCE Act를 통과시켰습니다. 2025년 미국의 Take It Down Act와 영국의 Online Safety Act에 따르면, 비동의 딥페이크를 공유하는 것뿐만 아니라 생성하는 것 자체도 형사 책임을 질 수 있습니다.

AI 업계에 주는 시사점과 향후 전망

EU의 Grok에 대한 공식 조사는 생성적 AI의 "무법 시대"가 끝났음을 의미합니다. 업계에 대한 핵심 메시지는 분명합니다: 플랫폼 책임은 더 이상 회사가 호스팅하는 게시물에만 국한되지 않으며, 회사가 제공하는 도구에까지 확장됩니다.

일론 머스크는 X에 "Grok을 사용하거나 불법 콘텐츠를 만들도록 프롬프트하는 사람은 불법 콘텐츠를 업로드하는 것과 동일한 결과를 겪을 것"이라고 게시했습니다. 그러나 2026년 현재까지 공식 사과는 없었으며, 단지 가드레일 개선에 대한 성명만 있었습니다. 이는 xAI가 문제의 심각성을 충분히 인식하지 못하고 있다는 비판을 받고 있습니다.

이번 사건은 AI 이미지 생성 기술의 양면성을 극명하게 보여줍니다. 창의적인 도구가 될 수 있는 기술이 적절한 안전장치 없이 배포되면 심각한 피해를 초래할 수 있다는 점이 입증되었습니다. AI 기업들은 제품 출시 전 철저한 안전 테스트와 모더레이션 시스템 구축이 필수적이며, 이를 소홀히 할 경우 법적, 평판적 리스크뿐만 아니라 전 세계적인 서비스 차단이라는 극단적인 결과를 맞이할 수 있다는 교훈을 얻어야 할 것입니다.

앞으로 AI 규제는 더욱 강화될 것으로 전망됩니다. EU의 AI Act가 본격적으로 시행되면 Grok과 같은 사례에 대해 더욱 강력한 제재가 가능해질 것이며, 각국 정부도 비동의 딥페이크에 대한 법적 대응을 강화하고 있습니다. AI 기업들은 기술 혁신과 동시에 윤리적 책임을 다해야 하며, 사용자 보호를 최우선에 둔 서비스 설계가 필수적인 시대가 되었습니다.

이 글의 카테고리: AI 뉴스