FedTensor

1. 개요연합학습의 가장 큰 난제는 클라이언트(기관)마다 데이터 분포가 다른 Non-IID(Non-Independent and Identically Distributed) 상황입니다. 중앙 서버가 원본 데이터를 볼 수 없는 보안 제약 하에서, 서버는 클라이언트들이 전송하는 모델 업데이트의 기하학적, 통계적 특성을 분석하여 이질성을 간접적으로 정량화할 수 있습니다.2. 서버 측 이질성 정량화 방법론2.0. 전제: 모델 업데이트의 정의와 등가성본 문서에서 언급하는 '모델 업데이트'는 구체적인 구현(FedAvg, FedSGD 등)에 따라 다음 세 가지 중 하나일 수 있으나, 이질성 정량화의 본질은 동일합니다.파라미터 ($w_t$): 학습이 완료된 로컬 모델의 가중치 자체파라미터 차이 ($\Delta w$): ..

1. 개요본 4단계 전략은 연합학습의 핵심 과제인 데이터 불균형(Data Heterogeneity, Non-IID) 문제를 단계적으로 해결하고, 최종적으로 개인화를 통해 각 기관에 최적화된 모델을 제공하는 로드맵입니다. 각 단계는 독립적인 과정이 아니라, 앞 단계의 결과 모델이 다음 단계의 초기 시작점이 되는 연속적인 진화 과정으로 설계되었습니다.1~2단계: 콜드 스타트(Cold Start) 문제 해결 및 데이터 프라이버시를 보장하는 베이스라인 구축.3~4단계: 기관별 데이터 분포 차이로 인한 성능 저하를 막고, 각 도메인에 특화된 모델 제공.2. 단계별 상세 실행 전략[1단계] 중앙집중 방식 학습"콜드 스타트 해결 및 초기 기준점 확보" 연합학습은 초기 모델의 성능에 따라 수렴 속도가 크게 달라집니다...

주요 오픈소스 도구들에 대한 기본 정보를 정리하여 비교할 수 있도록 하였습니다.Apache Airflow가장 널리 알려지고 강력한 생태계를 자랑하는 워크플로우 관리 도구입니다.​핵심 철학: Code-First주요 특징: Python 코드 기반: 모든 워크플로우(DAG)를 Python 코드로 정의하여 버전 관리, 테스트, 동적 파이프라인 생성이 매우 유연합니다.강력한 생태계: 거의 모든 데이터 시스템과 클라우드 서비스에 연결할 수 있는 방대한 플러그인(Provider)을 제공합니다.추천 대상: Python에 익숙한 개발자 중심 팀​제품 링크: https://airflow.apache.org/DolphinScheduler직관적인 UI를 통해 코딩 없이 워크플로우를 설계하고 관리하는 데 중점을 둔 도구입니다...

1. 개요FedFocal은 연합학습(Federated Learning) 환경, 특히 각 클라이언트가 보유한 데이터의 레이블 분포가 균일하지 않은 Non-IID(Label Skew) 상황을 해결하기 위해 제안된 기법입니다. 기존의 FedAvg가 사용하는 Cross Entropy(CE) 손실 함수 대신, Focal Loss를 도입하여 모델이 분류하기 쉬운 샘플(Easy Examples)보다는 분류하기 어려운 샘플(Hard Examples)이나 소수 클래스(Minority Class)에 더 집중하도록 유도합니다.2. 배경: 왜 FedFocal이 필요한가?2.1. 연합학습의 Non-IID 문제연합학습에서 이상적인 환경은 모든 클라이언트가 전체 데이터 분포와 유사한 데이터를 갖는 IID 상황입니다. 하지만 현실에..

연합학습(FL)은 데이터를 중앙 서버로 전송하지 않고, 각 클라이언트(예: 디바이스, 지역)에서 로컬 모델을 학습한 뒤 모델 파라미터(또는 그래디언트)만 서버로 전송하여 전역 모델을 갱신하는 분산 학습 방식입니다. 이는 데이터 프라이버시를 강력하게 보호할 수 있는 장점이 있습니다. 하지만 데이터가 이질적(Non-IID)인 환경, 특히 특정 지역이나 클라이언트가 매우 적지만 중요한 '희소 데이터'를 보유한 경우, 심각한 문제가 발생합니다. 가장 널리 쓰이는 FedAvg (Federated Averaging) 알고리즘은 각 클라이언트의 데이터 '양'에 비례하여 가중 평균을 내기 때문입니다. 문제 상황: 99%의 클라이언트가 '일반 데이터'를, 1%의 클라이언트가 '희소하지만 중요한 지역 데이터'를 가졌다고 ..

SCAFFOLD (Stochastic Controlled Averaging)는 연합학습(FL)에서 데이터 이질성(Non-IID)으로 인해 발생하는 'Client Drift (클라이언트 편향)' 문제를 해결하기 위한 매우 정교한 알고리즘입니다. FedProx가 로컬 모델이 멀리 벗어나는 것을 '억제'하는 방식이라면, SCAFFOLD는 각 클라이언트가 얼마나 편향되었는지를 '추정'하고 이를 '보정'하는, 더 적극적인 방식을 사용합니다.1. SCAFFOLD가 해결하려는 핵심 문제: 편향된 그래디언트데이터가 이질적(Non-IID)일 때, 각 클라이언트가 계산하는 로컬 그래디언트(모델이 나아가야 할 방향)는 글로벌 모델이 실제로 나아가야 할 방향(모든 데이터의 평균 방향)과 다릅니다.Client Drift의 원인..

FedProx(Federated Proximal)는 연합학습, 특히 데이터가 이질적인(Non-IID) 환경에서 발생하는 'Client Drift (클라이언트 편향)' 문제를 해결하기 위해 제안된 핵심적인 알고리즘입니다. FedAvg(표준 연합학습)의 직접적인 개선안으로, 로컬 학습 과정에 간단하면서도 효과적인 제약 사항을 추가한 것이 특징입니다.1. FedProx가 해결하려는 핵심 문제: Client Drift표준 FedAvg에서는 각 클라이언트가 서버로부터 글로벌 모델을 받아, 자신의 로컬 데이터로 여러 에포크(epoch) 동안 학습합니다.문제점: 만약 클라이언트 A(예: 숫자 '3' 이미지 만 보유)와 클라이언트 B(예: 숫자 '7' 이미지 만 보유)의 데이터가 매우 이질적이라면, 클라이언트 A의 로..

연합학습(Federated Learning) 환경에서 데이터가 이질적(Non-IID)일 때 발생하는 클라이언트 편향(Client Drift) 현상은 큰 문제입니다. 이는 각 클라이언트의 로컬 모델이 자신의 데이터에 과적합되어, 이를 단순 평균(FedAvg)할 경우 글로벌 모델의 성능이 저하되는 현상을 말합니다. FedProx, FedFocal, SCAFFOLD, FedNova 는 이 문제를 각기 다른 방식으로 해결하려는 대표적인 병합(혹은 학습) 전략입니다.FedProx (Federated Proximal)FedProx는 클라이언트가 로컬 학습을 진행할 때, 글로벌 모델에서 너무 멀리 벗어나지 않도록 '제약'을 거는 방식입니다.핵심 아이디어: 로컬 손실 함수(Loss Function)에 '근접 항(Pro..

1. 개요본 문서는 연합학습(Federated Learning, FL) 환경에서 모델 학습을 구성하고, 관련 작업을 관리하며, 결과를 모니터링할 수 있는 웹 기반 UI 시스템의 구축 방안을 제안합니다. 연합학습의 복잡한 특성(분산된 클라이언트, 중앙 서버, 통신)을 추상화하고, 연구자와 관리자가 직관적인 인터페이스를 통해 FL 파이프라인을 효율적으로 운영하는 것을 목표로 합니다.2. 핵심 기능 정의2.1. 사용자 및 권한 관리인증: 로그인, 로그아웃, 사용자 등록 기능.역할 기반 접근 제어 (RBAC):Admin: 시스템 전체 관리, 사용자 초대, 정책 설정.Researcher/ML Engineer: 프로젝트 생성, 실험(학습) 구성 및 실행, 모델 관리.Data Owner/Client: (선택적) 참여..

1. 개요연합학습(FL)은 데이터가 생성되는 엣지 디바이스(클라이언트)에서 모델을 학습하고, 모델의 파라미터(또는 업데이트)만을 중앙 서버로 전송하여 집계하는 분산형 머신러닝 방식입니다. 이 방식은 데이터 프라이버시를 강력하게 보호할 수 있지만, 시스템이 분산되어 있고 데이터에 직접 접근할 수 없어 모니터링과 디버깅이 매우 까다롭습니다. 본 문서는 효과적인 연합학습 환경을 구축하고 안정적으로 운영하기 위해 필요한 모니터링 및 시각화 시스템의 구축 방안을 제시합니다.2. 연합학습 모니터링의 핵심 원칙프라이버시 우선 (Privacy-First): 모니터링 시스템은 클라이언트의 원시 데이터(raw data)에 절대 접근해서는 안 됩니다. 모든 정보는 집계된(aggregated) 통계 또는 모델 파라미터 자체에..