AI 시대의 사이버보안 기술

 글로벌 AI 규제 정책은 안전성과 투명성, 윤리성을 강조하며, EU의 인공지능법(AI Act)을 비롯하여 미국 바이든 행정부의 AI 규제 행정명령(Executive Order on the Safe, Secure and Trustworthy Development and Use of Artificial Intelligence)¹⁾, 중국의 “인터넷정보서비스 심층합성 관리규정” 등이 각국에서 활발히 추진 중이다. 또한, OECD, UNESCO 등의 국제기구는 AI 개발의 공정성과 인권 보호를 위한 가이드라인을 제시하고 있으며, 국가 간 협력을 통해 공통의 표준을 마련하려는 노력이 이어지고 있다 [18][19].
 본 고에서는 EU 인공지능법과 NIST AI 위험관리 프레임워크(AI RMF)의 개요를 알아 보고, 각 정책과 가이드라인을 준수(regulation compliance)하기 위한 사이버보안 기술의 예(例)를 제시한다. EU 인공지능법은 법적 구속력을 가진 규제로, 리스크 기반 접근 방식을 통해 AI 시스템의 안전성과 윤리적 사용을 보장하며, 주로 EU 내 고위험 AI 시스템의 사전 평가와 인증을 요구한다. 반면, NIST AI RMF는 권장 사항 위주의 지침으로, AI 시스템의 개발 및 운영 과정에서 발생할 수 있는 위험관리를 지원하며 국제 표준과의 조화를 강조한다.

¹⁾ 도널드 트럼프가 미국 대통령으로 재선(2024.11.05.)되면서 바이든 행정부의 AI 규제 행정명령에 변화가 예상된다. 그는 공약에서 바이든 행정부의 AI 규제를 철폐하고 최소한의 규제를 유지하겠다고 강조하여, 향후 AI 혁신을 위한 시장 주도형 정책으로 전환할 것으로 보인다[16]. 이는 AI 기술 발전을 촉진할 기회를 제공하지만, 윤리적 문제와 글로벌 협력 축소라는 도전 과제도 동반할 것으로 예상된다[17].

1. EU 인공지능법

 EU 인공지능법(AI Act)[20]-[23]은 EU에서 AI 기술의 안전성과 신뢰성을 확보하기 위해 제정한 법안으로, AI 기술이 인권과 민주주의를 존중하면서도 혁신을 촉진할 수 있도록 설계되었다. 2021년 4월에 처음 제안된 이후, 여러 차례의 논의와 수정 과정을 거쳐 2024년 5월 21일에 최종 승인되었다. EU 인공지능법의 주요 목적은 AI 시스템이 사회에 미치는 악영향을 최소화하고, 사용자와 사회의 신뢰를 구축하는 것이다. 이를 위해 AI 기술의 안전성, 윤리성, 투명성을 보장하고, 고위험 AI 시스템에 대한 규제를 강화하는 방향으로 설정되었다. 특히, 법안은 AI의 잠재적인 위험을 사전에 식별하고 관리함으로써 사용자와 사회 전체의 안전을 도모하고자 한다.

<자료> Telefonica, “A fit for purpose and borderless European Artificial Intelligence Regulation”, 2021. 5. 19.

[그림 3] EU 인공지능법: 위험 수준

 EU 인공지능법의 주요한 내용은 위험 기반 접근법, 금지된 AI 규정, 거버넌스 체계 등이 있으며, 본 고에서는 위험 기반 접근법에 대해서 다음과 같이 요약한다[그림 3].

- 위험 기반 접근법(Risk-based Approach): AI 시스템을 위험 수준에 따라 네 가지 카테고리로 분류

* 수용 불가 AI 시스템(Unacceptable risk): 인권이나 건강, 안전을 심각하게 위협 하는 시스템은 금지. 예를 들어, 사회적 평판 시스템이나 감시 목적의 AI 시스템이 이에 해당

* 고위험 AI 시스템(High risk): 생체인식, 의료, 교통 등과 같은 주요 인프라, 법 집행 등 주요 분야에서 사용되는 AI 시스템은 고위험으로 분류되어, 엄격한 규제 를 받고, 이들은 사전 평가, 데이터 관리, 문서화 등의 요구사항을 충족

* 제한된 위험 AI 시스템(Limited risk): 통상 상업적으로 사용되는 AI 시스템으로, 기본적인 투명성과 사용자 정보 제공 의무가 요구

* 저위험 AI 시스템(Minimal risk): 상대적으로 낮은 위험을 지닌 AI 시스템으로, 규제의 범위가 최소화

 EU 인공지능법은 사이버보안에만 초점을 맞추고 있지는 않지만, 고위험 AI 시스템에 대한 사이버보안 요구사항(예; Article 15)을 강조하며, AI 시스템의 설계 단계부터 보안을 고려하는 접근 방식을 요구한다.
 [표 2]는 EU 인공지능법의 주요 조항들을 준수하는 데 필요한 사이버보안 기술의 예를 보여준다. 앞으로 조항별로 요구되는 사이버보안 기술을 더욱 정교하게 도출하여 개발하고 적용함으로써, AI 시스템의 안전성과 신뢰성을 높이고 EU 인공지능 법의 규제 요구사항을 충족할 수 있을 것이다.

[표 2] EU 인공지능법 vs. 사이버보안 기술 예(例)

<자료> 각 웹사이트 내용 저자 재구성

2. NIST 인공지능 위험관리 프레임워크(AI RMF)

 미국 국립표준기술연구소(NIST)는 AI와 관련된 위험(risk) 관리를 효율적으로 수행 하기 위해 인공지능 시스템의 디자인, 개발 및 운영 과정에서 발생할 수 있는 위험을 효과적으로 관리하는 인공지능 위험관리 프레임워크(AI Risk Management Framework: AI RMF)[22]-[24]을 개발하였다. AI RMF의 주요 목적은 ① AI 관련 위험을 식별하고 평가하는 구조화된 접근 방식 제공, ② 신뢰할 수 있는 AI 시스템의 특성 정의, ③ AI 위험관리를 위한 실질적인 가이드라인 제시, ④ AI 기술의 책임 있는 사용과 혁신을 촉진하는 것이다.

<자료> NIST, “AI Risk Management Framework”, 2023. 1.

[그림 4] 신뢰성 있는 AI 시스템의 특성

 NIST AI RMF에서는 신뢰성 있는 AI 시스템의 7가지 특성을 다음과 같이 제시하고 있다[그림 4].

- 유효성 및 신뢰성(Valid & Reliable): AI 시스템의 결과가 실제에 얼마나 근접한지를 평가하며, 일관된 성능을 보장

- 안전성(Safe): 사람이나 환경에 해를 끼치지 않도록 설계하여, 의도된 기능을 수행 하는 동안 안전한 상태를 유지

- 보안성 및 복원력(Secure & Resilient): 사이버 공격에 견딜 수 있도록 설계되며, 문제가 발생하면 안전하게 복구할 수 있는 능력을 포함

- 책임성 및 투명성(Accountable & Transparent): 시스템의 운영 및 결과에 대해 이해하고, 필요한 정보를 투명하게 제공

- 설명 가능성 및 해석 가능성(Explainable & Interpretable): AI 시스템이 내리는 결정의 이유를 설명하고 사용자가 이해할 수 있는 방식으로 정보를 제공

- 개인정보보호 강화(Privacy-enhanced): AI가 개인정보를 보호하고, 필요한 경우 익명화 등의 기술을 통해 프라이버시를 유지

- 공정성(Fair-with Harmful Bias Managed): 특정 그룹이나 개인에 대한 편향을 방지하여, AI가 공정하게 작동할 수 있도록 함

 [표 3]은 NIST AI RMF의 4개의 핵심기능(GOVERN/MAP/MEASURE/MANAGE)의 기능을 구현하기 위한 사이버보안 기술의 예를 제시하였다.

[표 3] NIST AI RMF vs. 사이버보안 기술 예

<자료> 각 웹사이트 내용 저자 재구성

 AI의 급격한 발전은 다양한 분야에 혁신을 가져오고 있지만 동시에 새로운 보안 위협을 초래하고 있다. 본 고에서 다룬 주요 AI 보안 위협 사례와 정책 동향을 바탕으로 살펴본 사이버보안 기술의 연구개발 시사점은 다음과 같다.

- AI 보안 기술의 강화 필요성: AI 기반 위협이 점점 증가함에 따라 기존의 보안 체계만으로는 대응이 어려운 새로운 위협에 직면하고 있다. 딥페이크, AI 기반 피싱, 자동화된 사이버 공격 등은 AI의 고도화된 특성을 활용하여 더욱 정교해지고 있으며, 이에 따라 AI 시스템을 보호하기 위한 실시간 모니터링과 위협 탐지 기술의 고도화가 필요하다. 특히, AI 시스템의 자율성 증가에 따른 통제 기술 확보와 AI 의사결정 과정을 투명하게 파악할 수 있는 설명 가능 AI 기술의 개발이 필수적이다. 또한, AI 모델이 오작동하거나 악용될 경우 즉각 대응할 수 있는 사전 대응 및 위협 예측 기술과 AI 시스템의 위협 평가 프레임워크를 마련하는 것이 중요하다.

- 윤리적 AI와 공정성, 프라이버시 보호 기술의 필요성: AI는 편향성과 불공정성 문제를 내포할 수 있으며, 이는 사회적 신뢰를 저해할 수 있다. 이러한 문제를 방지하기 위해 AI 시스템의 편향 탐지와 수정, 개인정보보호를 위한 기술적 대응이 중요하다. 특히, AI 시스템이 공정하게 작동하도록 데이터 관리와 알고리즘의 윤리적 검토가 필요하며, 개인 데이터를 다루는 AI 시스템에는 데이터 수집 최소화, 익명화, 차등적 프라이버시 같은 프라이버시 보호 기술이 적용되어야 한다. 또한, 공정하고 투명한 AI 환경 조성을 위해 자동화된 편향 탐지 및 프라이버시 강화 머신러닝 기술개발이 필요하다.

- AI 규제 정책의 수립과 글로벌 협력의 필요성: EU의 인공지능법과 NIST AI 위험관리 프레임워크 등은 AI 시스템의 안전성과 신뢰성 확보를 목표로 한다. AI의 악용을 막고 신뢰할 수 있는 AI 환경을 조성하기 위해 AI 규제 정책 수립과 국가 간 협력이 필요하다. 이를 위해 AI 보안 표준화와 더불어, 위협 인텔리전스 공유, AI 윤리 및 보안 기준 정립 등을 포함한 국제적 협력 체계를 마련하는 것이 필요하다.

 AI는 우리 사회에 혁신적인 변화를 가져왔지만, 동시에 새로운 보안 위협을 초래하고 있다. 특히, AI 기반의 사이버 위협은 기존 보안 체계만으로는 효과적으로 대응하기 어려운 경우가 많아, 이를 해결하기 위해 사이버보안 기술의 발전이 필수적이다. 이러한 기술 발전은 인공지능, 윤리학, 법학, 사회학 등 다양한 학문 분야와의 다학제적 협력을 통해 이루어져야 한다. 또한, AI의 안전한 발전을 보장하기 위해 기술적 혁신뿐만 아니라 규제 체계의 정립과 표준화가 필요하며, 이는 정부와 국제 사회의 적극적인 협력과 정책적 지원을 통해 이루어져야 한다. 궁극적으로, AI의 잠재적 이점을 극대화하고 그로 인한 위험성을 최소화하기 위해서는 기술적, 윤리적, 정책적 측면에서 균형 잡힌 접근이 요구되며, 이는 지속 가능한 AI 생태계를 구축하는데 핵심적인 역할을 할 것이다.