FL-03. 보안 모델: 일반적 정의와 연합학습에서의 적용

모든 디지털 시스템의 신뢰는 견고한 보안 설계에서 시작됩니다. 본 문서에서는 전통적인 보안 모델의 개념을 살펴보고, 데이터가 분산된 '연합 학습' 환경에서는 어떤 독특한 보안 모델이 요구되는지, 그리고 이를 강화하기 위한 기술은 무엇인지 심층적으로 알아봅니다.

1. 보안 모델(Security Model)의 일반적인 정의

보안 모델이란 특정 시스템에서 '누가, 무엇을, 어떻게 할 수 있는가'를 정의하는 보안 정책(Security Policy)을 명문화하고 구현하기 위한 설계도입니다. 이는 시스템이 어떻게 보안 목표(기밀성, 무결성, 가용성 등)를 달성할 것인지를 명확하게 정의하는 규칙과 관행의 집합입니다.

 

보안 모델의 핵심 목적은 다음과 같습니다.

• 정책 명문화: "어떤 주체(Subject)가 어떤 객체(Object)에 대해 어떤 종류의 접근(Access)을 할 수 있는가"와 같은 보안 규칙을 정형화합니다.
• 보안 요구사항 분석: 시스템의 보안 요구사항을 체계적으로 분석하고 검증하는 기준을 제공합니다.
• 구현 가이드라인: 시스템 설계 및 구현 시 보안 기능을 어떻게 통합해야 하는지에 대한 지침을 제시합니다.

주요 구성 요소

• 주체 (Subject): 시스템에 접근을 시도하는 능동적인 개체 (예: 사용자, 프로세스, 프로그램)
• 객체 (Object): 보호받아야 할 수동적인 자원 (예: 파일, 데이터베이스, 메모리)
• 접근 권한 (Access Right): 주체가 객체에 수행할 수 있는 작업의 종류 (예: 읽기, 쓰기, 실행)

대표적인 전통적 보안 모델: 기밀성과 무결성

• 벨-라파둘라 모델 (Bell-LaPadula Model): 기밀성 모델
  
  • 보호 목표: 정보의 불법적인 유출 방지 (기밀성).
  • 핵심 규칙: '상위 등급 정보 읽기 금지(No Read Up)'와 '하위 등급으로 정보 쓰기 금지(No Write Down)'.
  • 설명: 군사 기밀 보호를 위해 개발되었습니다. 낮은 등급의 주체가 높은 등급의 기밀 정보에 접근하는 것을 막고, 높은 등급의 정보가 낮은 등급으로 유출되는 경로를 원천적으로 차단합니다.
• 비바 모델 (Biba Model): 무결성 모델
  
  • 보호 목표: 정보의 불법적인 수정 방지 (무결성).
  • 핵심 규칙: '하위 등급 정보 읽기 금지(No Read Down)'와 '상위 등급으로 정보 쓰기 금지(No Write Up)'.
  • 설명: 벨-라파둘라와 반대 규칙을 적용하여, 높은 무결성 수준의 데이터가 신뢰도가 낮은 데이터에 의해 오염되는 것을 방지합니다.

2. 연합 학습(Federated Learning)의 보안 모델

전통적인 보안 모델이 중앙 서버 중심의 접근 제어에 초점을 맞춘 반면, 연합 학습은 데이터가 분산된 환경의 고유한 특성을 반영하는 새로운 보안 접근법을 요구합니다. 연합 학습은 개인의 데이터를 중앙 서버로 전송하지 않고, 각자의 기기(Client)에서 모델을 학습한 뒤, 그 결과(모델 업데이트 값)만을 서버에 공유하여 전체 모델을 개선하는 분산형 머신러닝 기법입니다. 데이터가 로컬 환경을 벗어나지 않기 때문에 초기부터 개인정보 보호에 강점을 가집니다.

하지만 연합 학습 환경은 기존의 중앙 집중형 학습과는 다른 독특한 보안 위협에 노출되어 있습니다. 따라서 연합 학습의 보안 모델은 이러한 위협들을 구체적으로 정의하고, 공격자의 능력과 목표를 가정하여 시스템의 안전성을 평가합니다.

연합 학습의 주요 위협 요소

• 데이터 프라이버시 침해:
  
  • 추론 공격 (Inference Attack): 악의적인 서버나 참여자가 다른 참여자가 공유한 모델 업데이트 값(예: 그래디언트)을 분석하여 원본 학습 데이터의 민감한 정보(멤버십 정보, 속성 등)를 추론하는 공격입니다.
  • 재구성 공격 (Reconstruction Attack): 모델 업데이트 값으로부터 원본 학습 데이터를 직접 복원하려는 시도입니다.
• 모델 무결성 저해:
  
  • 데이터 포이즈닝 (Data Poisoning): 악의적인 참여자가 자신의 로컬 데이터셋에 의도적으로 노이즈나 잘못된 데이터를 주입하여 학습을 방해하고, 결과적으로 글로벌 모델의 성능을 저하시키거나 특정 오작동을 유도하는 공격입니다.
  • 모델 포이즈닝 (Model Poisoning): 학습된 로컬 모델 업데이트 값을 조작하여 서버로 전송함으로써 글로벌 모델을 오염시키는 공격입니다. 가령, 이미지 분류 모델 학습에 참여하는 악의적인 사용자가 '고양이' 사진을 학습시키면서 의도적으로 '강아지'라는 레이블을 붙인 업데이트 값을 보낼 수 있습니다. 이런 공격이 누적되면, 최종 모델은 고양이를 강아지로 잘못 인식하게 될 수 있습니다.

연합 학습 보안 모델의 구성

연합 학습 환경의 안전성을 평가하기 위한 보안 모델은 주로 '위협 모델(Threat Model)' 의 형태로 정의되며, 다음 요소를 명확히 합니다.

• 공격 주체 (Adversary): 공격을 수행하는 주체가 누구인지 정의합니다.
  
  • 외부 공격자 (External Adversary): 연합 학습 시스템에 참여하지 않는 제3자.
  • 내부 공격자 (Internal Adversary): 시스템에 참여하는 악의적인 클라이언트 또는 중앙 서버를 의미합니다. 특히 서버의 경우, 명시된 프로토콜은 성실히 따르지만(Honest) 통신 과정에서 얻는 모델 업데이트 값 등을 엿보아 정보를 추론하려는(Curious) '정직하지만 호기심 많은(Honest-but-Curious)' 공격 모델이 주요 가정 중 하나입니다. 이는 서버가 명시된 규칙을 어기지는 않으면서도 합법적으로 수집한 정보를 통해 개인의 프라이버시를 침해할 수 있는, 가장 현실적이면서도 방어하기 어려운 위협 시나리오 중 하나이기 때문입니다.
• 공격자의 목표 (Adversary's Goal): 공격을 통해 달성하고자 하는 목적을 정의합니다.
  
  • 프라이버시 침해: 공유된 모델 업데이트 값으로부터 특정 사용자의 데이터 참여 여부나 민감한 속성을 추론합니다.
  • 무결성 파괴: 전체 모델의 성능을 떨어뜨리거나(Untargeted Attack), 특정 입력에 대해 원하는 오답을 내도록 조작(Targeted Attack, Backdoor)하기.
• 공격자의 역량 (Adversary's Capabilities): 공격자가 무엇을 할 수 있는지 가정합니다.
  
  • 시스템의 일부 클라이언트를 제어할 수 있는 능력.
  • 클라이언트와 서버 간의 모든 통신 내용을 도청할 수 있는 능력.
  • 다른 정직한 참여자의 모델 업데이트 값을 관찰할 수 있는 능력.
  • 서버를 직접 장악하거나 서버와 공모할 수 있는 능력.

3. 연합학습 보안 강화 기술

앞서 살펴본 '데이터 프라이버시 침해'와 '모델 무결성 저해'라는 두 가지 핵심 위협에 대응하기 위해, 연합 학습 생태계는 다음과 같은 두 갈래의 보안 강화 기술을 적극적으로 도입하고 있습니다.

개인정보 보호 강화 기술

• 차등 정보보호 (Differential Privacy): 모델 업데이트 값에 통계적인 노이즈를 추가하여 서버로 전송하는 기법입니다. 이 노이즈 덕분에 공격자가 특정 개인의 데이터가 학습에 사용되었는지 여부를 알아내기 어렵게 만듭니다. 개인정보 보호 수준을 수학적으로 측정하고 보장할 수 있다는 장점이 있습니다.
• 보안 다자간 계산 (Secure Multi-Party Computation, SMC): 여러 참여자가 자신의 입력 데이터를 서로에게 노출하지 않으면서, 그 데이터들을 종합한 어떤 함수의 결과값만을 계산할 수 있도록 하는 암호학적 프로토콜입니다. 연합 학습에서는 서버가 개별 클라이언트의 모델 업데이트 값을 보지 못하면서도 그 값들의 합(또는 평균)을 안전하게 계산하는 데 사용될 수 있습니다. 이는 각자 자신의 연봉을 공개하지 않고도 동료 그룹의 '평균 연봉'을 계산하는 문제와 유사합니다. 보안 다자간 계산은 이처럼 개별 정보는 암호화된 상태로 비밀을 유지하면서도, 전체 그룹에 대한 통계적 결과물만 안전하게 얻을 수 있도록 합니다.
• 동형 암호 (Homomorphic Encryption): 데이터를 암호화된 상태 그대로 연산할 수 있게 하는 암호 기술입니다. 클라이언트는 자신의 모델 업데이트 값을 암호화하여 서버에 보내고, 서버는 이 암호화된 값들을 복호화 과정 없이 더하여 전체 모델을 업데이트합니다. 서버는 개별 업데이트 내용은 물론, 합산된 결과조차 볼 수 없어 강력한 기밀성을 제공합니다.

모델 무결성 강화 기술

• 강건한 집계 알고리즘 (Robust Aggregation Algorithms): 악의적인 클라이언트가 보낸 비정상적인 모델 업데이트 값의 영향을 최소화하기 위한 서버 측 집계 방식입니다. 모든 업데이트의 평균을 내는 대신, 통계적 중앙값(Median)이나 절삭 평균(Trimmed Mean) 등을 사용하여 극단적인 값(공격으로 의심되는 값)을 배제하고 모델을 업데이트합니다.
• 평판 기반 시스템 (Reputation-based Systems): 각 클라이언트의 기여도를 지속적으로 추적하고 평가하여 평판 점수를 매기는 방식입니다. 과거에 양질의 업데이트를 제공한 클라이언트에게는 높은 가중치를 부여하고, 비정상적인 업데이트를 자주 보내는 클라이언트의 기여는 무시하거나 낮은 가중치를 적용하여 모델 포이즈닝 공격의 영향을 줄입니다.

4. 결론

이와 같이 연합 학습의 보안은 단순히 데이터를 각자의 기기에 두는 것만으로 완성되지 않습니다. 잠재적 위협을 명확히 정의하는 포괄적인 위협 모델을 먼저 수립하고, 이를 바탕으로 개인정보 보호를 위한 암호 기술과 모델 무결성을 위한 강건한 집계 방식을 다층적으로 조합하는 접근이 필수적입니다. 이를 통해 프라이버시 보호와 모델의 신뢰성을 함께 확보하는 진정한 의미의 분산형 AI 시스템을 구축할 수 있습니다. 특히 강력한 암호 기술은 높은 수준의 프라이버시를 보장하는 대신 막대한 연산 비용을 발생시켜 학습 효율을 저해할 수 있습니다. 따라서 앞으로 연합 학습의 보안은 단순히 새로운 공격을 방어하는 것을 넘어, '보안 수준', '모델 성능', '시스템 효율'이라는 세 가지 목표 사이의 최적의 균형점을 찾는 방향으로 진화할 것입니다. 이는 기술적 도전이자 정책적 과제임을 인지해야 합니다.