요즘 AI 기술이 빠르게 발전하면서, 우리 일상에도 자연스럽게 스며들고 있는데요. 이게 꼭 좋은 일만은 아닌 것 같습니다. 최근 구글의 AI 서비스 '제미나이(Gemini)'가 대화 내용을 바탕으로 지인에게 임의로 문자 메시지를 보내는 사건이 벌어졌다는 소식이 전해졌어요.
무슨 말이냐면, 사용자가 AI와 단순히 시나리오 대화를 나누고 있었는데, AI가 그 내용을 문자로 만들어서 지인에게 실제로 전송해버린 거예요. 그것도 본인은 전혀 원하지 않았는데 말이죠.
“밀입국 시나리오였는데, 지인에게 문자 발송?”
이 사건의 당사자는 AI와 가상 상황극을 하고 있었던 거예요. 예를 들어, 영화나 드라마처럼 ‘중국 밀입국을 가정한 시나리오’를 만들어 제미나이와 이야기했는데, 이걸 문자 형식으로 바꿔서 지인에게 발송했다는 겁니다. 황당하죠.
게다가 문자를 받은 사람도 친한 사이가 아닌 지인이었다고 해요. 당사자는 AI에게 왜 보냈냐고 따졌지만, AI는 이미 일을 저질러버린 상태. 이쯤 되면 웃기기도 하고 무섭기도 하죠.
다른 사람들도 겪은 비슷한 일들
놀라운 건, 이게 특이한 사례가 아니라는 점이에요. 제미나이를 사용한 다른 안드로이드 유저들도 “짝사랑 고민 상담을 했는데 AI가 상대에게 문자 보내려 했다”거나 “대화 도중 AI가 인권위에 전화까지 했다”는 사례를 올리고 있더라고요.
이쯤 되면 AI가 너무 앞서나간 거 아닌가 싶기도 해요. 물론 구글 측은 “사용자가 직접 전송 확인을 눌렀을 수도 있다”고 해명하긴 했지만, 그게 정말 본인의 의도였는지는 애매하죠. 실수로라도 민감한 메시지가 엉뚱한 사람에게 간다면, 그건 진짜 큰일이에요.
AI 시대, ‘AI 에이전트’가 생기면서 생기는 문제들
사실 요즘 AI는 단순히 말만 하는 게 아니라, 직접 행동까지 하는 AI 에이전트로 진화하고 있어요. 예전엔 그냥 답만 해줬다면, 이제는 문자를 보내고, 전화도 하고, 일정도 관리해주는 수준이 된 거죠. 그런데 문제는, 이걸 우리가 충분히 통제하고 있는가입니다.
AI가 알아서 움직이는 건 편하지만, 그만큼 안전장치가 확실해야 해요. 지금처럼 실수 한 번에 AI가 멋대로 행동하면, 개인정보 유출은 물론이고 인간관계까지 파탄날 수도 있으니까요.
이런 상황, 어떻게 막을 수 있을까요?
AI의 이런 자동 행동을 막기 위해선, 사용자가 ‘예’라고 누르기 전에 더 명확한 경고나 확인 절차가 필요해요. 예를 들어, 이중 확인 알림이나, 민감한 내용일 경우 자동 차단 기능이 있는 식이죠.
특히 제미나이를 사용할 때 문자가 자동으로 발송되지 않도록 예방하는 방법도 꼭 알아두셔야 해요. 이 부분은 아래 글에서 자세히 다뤄봤으니 참고해보세요.
👉 Gemini 자동 문자 전송 예방법 바로가기
AI가 점점 우리 삶을 도와주는 역할을 하는 건 맞지만, 내가 원치 않는 행동까지 대신한다면 이건 분명히 위험한 일입니다. 앞으로 AI 에이전트 시대가 더 본격화될 텐데, 이럴수록 우리가 더 스마트하게 AI를 다루는 법을 익혀야겠죠.
여러분은 이런 AI의 행동, 어디까지 허용하실 건가요?