AI 안전의 핵심은 '통제'다! 🤖 서울 컨퍼런스에서 나온 경고

원본 기사:  South Korea AI conference says control key to agent safety  |  UPI

📌 핵심 요약

인공지능(AI)이 스스로 판단하고 행동하는 자율 에이전트(agent)로 발전하면서, 앞으로 AI 경쟁의 핵심은 성능보다는 안전, 통제, 그리고 신뢰에 달려있다는 주장이 나왔다.

As artificial intelligence evolves into autonomous agents capable of making decisions and taking action, experts in South Korea said Tuesday that the next phase of AI competition will depend less on performance and more on safety, control and trust.

국제AI윤리협회(International Association for AI and Ethics)가 서울 강남 드림플러스 메인홀에서 'AI 에이전트 보안 및 신뢰 구축을 위한 기업 전략'을 주제로 2026 AI 안전 나침반 컨퍼런스(AI Safety Compass Conference)를 개최했다.

The International Association for AI and Ethics hosted the 2026 AI Safety Compass Conference at Dreamplus Main Hall in Gangnam, Seoul, under the theme of AI agent security and corporate strategies for building trust.

AI, '자율성'의 시대에 접어들다: 통제와 안전의 중요성 증대

이번 컨퍼런스의 서두를 연 전창배 국제AI윤리협회 회장은 인간과 동물이 오랫동안 유일하게 자율성을 가진 존재였지만, 이제 AI가 스스로 행동할 수 있는 단계에 이르렀다고 강조했다. Jeon Chang-bae, chairman of the association, said in opening remarks that humans and animals had long been the only beings with autonomy, but AI is now reaching a stage where it can act autonomously. 그는 "AI의 자율성이 증가함에 따라 통제, 안전, 그리고 신뢰의 문제가 더욱 중요해질 것"이라고 역설했다. "As AI autonomy increases, the issues of control, safety and trust will become even more important," Jeon said. 이는 곧 AI 기술 경쟁이 단순한 성능 향상을 넘어, AI가 얼마나 안전하고 신뢰할 수 있게 통제될 수 있는지에 초점을 맞추게 될 것이라는 의미로 해석된다. 특히, AI 에이전트가 우리의 삶 곳곳에 깊숙이 관여하게 될 미래를 생각하면, 이들의 '자율성'이 가져올 잠재적 위험을 관리하는 것이 무엇보다 시급한 과제임을 시사한다.

AI 에이전트 위험 관리: 최소 권한 부여와 '킬 스위치'의 필요성

김명주 AI안전연구원장은 AI 에이전트의 위험을 관리하기 위한 핵심 원칙으로 '최소 권한 부여', '추적 가능한 신원 보장', 그리고 '감사 가능성 확보'를 제시했다. Kim Myung-joo, head of the AI Safety Institute, said core principles for managing agent AI risks include granting minimum authority, ensuring traceable identities and securing auditability. 즉, AI 에이전트는 특정 임무 수행에 필요한 최소한의 권한만 부여받아야 하며, 검증되지 않은 외부 서비스와의 연결이나 승인되지 않은 플러그인 설치는 엄격히 금지되어야 한다는 것이다. Kim said AI agents should receive only the permissions needed for specific tasks and should not be allowed to connect to unverified external services or install unapproved plug-ins.

무엇보다 김 원장은 AI의 이상 행동을 즉시 차단할 수 있는 '킬 스위치(kill switch)'의 필요성을 강조했다. He also stressed the need for a "kill switch" that can immediately block abnormal AI behavior. "에이전트가 비정상적인 행동을 할 경우, 외부 시스템과의 연결을 차단하고 권한을 축소할 수 있어야 한다"며, "모든 중요한 결정 지점에서는 반드시 인간이 직접 개입해야 한다"고 말했다. "When an agent performs abnormal actions, it must be possible to disconnect it from outside systems and reduce its authority," Kim said. "Humans must be directly involved at every important decision point." 이는 AI의 자율성이 아무리 높아져도, 최종적인 책임과 통제는 인간에게 있음을 분명히 하는 중요한 지점이다. AI가 스스로 판단하는 능력이 커질수록, 우리는 AI의 오작동이나 오용에 대비한 안전장치를 더욱 철저히 마련해야만 한다.

AI, 사이버 보안의 '능동적 참여자'로 진화하다

이재형 한국인터넷진흥원 AI보안대응팀장은 AI가 단순히 사이버 보안의 '대상'에서 벗어나, 이제는 보안 운영의 '능동적 참여자'로 변화하고 있다고 설명했다. Lee Jae-hyung, head of the AI security response team at the Korea Internet & Security Agency, said AI is shifting from being only a target of cybersecurity to becoming an active participant in security operations. 그는 "AI 시대에는 조직 구조를 재설계하고, AI에 얼마나 많은 업무를 위임할지 결정해야 한다"고 지적했다. "In the AI era, organizations must redesign their structures and decide how much work they should delegate to AI," Lee said. AI가 보안 업무에 투입되면서 효율성은 증대될 수 있지만, 동시에 AI의 오판, 통제 불가능한 의사결정, 그리고 이중 용도(dual-use) 애플리케이션으로 인한 위험 또한 간과할 수 없다는 것이다. He said major risks include AI misjudgment, uncontrollable decision-making and dual-use applications.

이 팀장은 특히 AI가 해킹 및 사이버 공격을 자동화하는 데 사용될 수 있다고 경고했다. Lee also warned that AI could be used to automate hacking and cyberattacks, including by generating smishing messages that exploit human psychology and by lowering language barriers for attackers. 인간의 심리를 이용하는 스미싱(smishing) 메시지를 생성하거나, 공격자의 언어 장벽을 낮추는 방식으로 악용될 수 있다는 설명이다. 이는 AI 기술 발전이 양날의 검처럼, 우리를 보호하는 도구가 될 수도 있지만 동시에 우리를 위협하는 강력한 무기가 될 수도 있음을 보여준다. 따라서 AI를 활용하는 모든 과정에서 보안을 최우선으로 고려해야 한다는 메시지는 매우 시의적절하다.

클로드 미토스(Claude Mythos) 사례: AI의 양면성

전문가들은 앤트로픽(Anthropic)의 클로드 미토스(Claude Mythos) 미리보기 모델을 예로 들며, 고도화된 AI가 해킹 도구이자 방어 수단이 될 수 있음을 시사했다. Speakers cited Anthropic's Claude Mythos Preview model as an example of how advanced AI can become both a hacking tool and a defensive instrument. 이 팀장에 따르면, 지난 금요일 공개된 예비 결과에서 해당 모델은 파트너 조직들 사이에서 약 1만 개의 취약점을 식별해냈다고 한다. Lee said preliminary results disclosed Friday showed the model had identified about 10,000 vulnerabilities among partner organizations. "우리는 강력한 AI가 해킹 수단이자 방어 도구가 될 수 있는 시대로 진입했다"며, "안전하고 신뢰할 수 있는 AI를 사용하기 위해서는 보안을 필수적으로 고려해야 한다"고 그는 강조했다. "We have entered an era in which powerful AI can be both a means of hacking and a tool for defense," Lee said. "Security must be treated as essential to using safe and trustworthy AI." 이처럼 AI는 우리의 삶을 더욱 편리하고 풍요롭게 만들 잠재력을 지녔지만, 동시에 그만큼의 위험과 책임 또한 동반한다. 이번 컨퍼런스는 AI 기술의 발전 속도에 발맞춰, 우리는 기술 자체의 성능뿐만 아니라 '안전'이라는 근본적인 가치를 어떻게 확보해 나갈 것인지에 대한 깊은 성찰을 요구하고 있다. AI와 함께 살아갈 미래를 위해, '통제'와 '신뢰'라는 키워드를 잊지 말아야 할 것이다.