페드텐서 FedTensor

1. 개요본 문서는 연합학습(Federated Learning, FL) 환경에서 모델 학습을 구성하고, 관련 작업을 관리하며, 결과를 모니터링할 수 있는 웹 기반 UI 시스템의 구축 방안을 제안합니다. 연합학습의 복잡한 특성(분산된 클라이언트, 중앙 서버, 통신)을 추상화하고, 연구자와 관리자가 직관적인 인터페이스를 통해 FL 파이프라인을 효율적으로 운영하는 것을 목표로 합니다.2. 핵심 기능 정의2.1. 사용자 및 권한 관리인증: 로그인, 로그아웃, 사용자 등록 기능.역할 기반 접근 제어 (RBAC):Admin: 시스템 전체 관리, 사용자 초대, 정책 설정.Researcher/ML Engineer: 프로젝트 생성, 실험(학습) 구성 및 실행, 모델 관리.Data Owner/Client: (선택적) 참여..

1. 개요연합학습(FL)은 데이터가 생성되는 엣지 디바이스(클라이언트)에서 모델을 학습하고, 모델의 파라미터(또는 업데이트)만을 중앙 서버로 전송하여 집계하는 분산형 머신러닝 방식입니다. 이 방식은 데이터 프라이버시를 강력하게 보호할 수 있지만, 시스템이 분산되어 있고 데이터에 직접 접근할 수 없어 모니터링과 디버깅이 매우 까다롭습니다. 본 문서는 효과적인 연합학습 환경을 구축하고 안정적으로 운영하기 위해 필요한 모니터링 및 시각화 시스템의 구축 방안을 제시합니다.2. 연합학습 모니터링의 핵심 원칙프라이버시 우선 (Privacy-First): 모니터링 시스템은 클라이언트의 원시 데이터(raw data)에 절대 접근해서는 안 됩니다. 모든 정보는 집계된(aggregated) 통계 또는 모델 파라미터 자체에..

1. 개요1.1. 시스템 정의본 문서는 연합학습(Federated Learning, FL) 환경에서 사용되는 머신러닝 모델의 생명주기를 관리, 추적, 배포하기 위한 시스템 구축 방안을 제안합니다.1.2. 시스템의 필요성기존의 중앙화된 MLOps는 학습된 단일 모델을 서비스 엔드포인트에 배포하는 데 중점을 둡니다. 하지만 연합학습은 다음과 같은 고유한 특징을 가집니다.분산된 학습: 모델 학습이 다수의 분산된 클라이언트(Edge device, 모바일 등)에서 발생합니다.지속적인 순환: '배포 → 로컬 학습 → 업데이트 수집 → 집계 → 재배포'의 순환이 핵심 프로세스입니다.모델의 다양성: '글로벌 모델(Global Model)', '로컬 모델(Local Model)', '초기 모델' 등 다양한 버전의 모델이..

1. 서론연합학습(Federated Learning, FL)은 데이터를 중앙 서버로 이동시키지 않고, 분산된 클라이언트(기기 또는 사일로)에 존재하는 데이터를 활용하여 머신러닝 모델을 학습하는 기술입니다. 이 과정에서 중앙 서버는 학습 코드, 모델 구조, 설정 등을 클라이언트에 배포하고, 클라이언트는 로컬 학습 후 업데이트된 모델 가중치(또는 그래디언트)만을 서버로 전송합니다. 이때, 수천에서 수백만 개에 이를 수 있는 분산된 클라이언트에 학습 코드와 관련 종속성을 안정적이고, 안전하며, 효율적으로 배포하는 것이 큰 도전 과제입니다. 본 문서는 이러한 연합학습 환경의 특수성을 고려한 패키지 관리 시스템(Package Management System, PMS)의 구축 방안을 제안합니다.2. 핵심 구성 요소..

연합학습은 데이터를 중앙 서버로 전송하지 않고, 각 클라이언트(예: 모바일 기기, 병원, 공장)에서 로컬로 모델을 학습한 뒤, 학습된 모델의 일부(가중치 등)만을 중앙 서버로 보내 집계(aggregation)하는 분산형 머신러닝 방식입니다. 이러한 특성상, 연합학습의 '운영 용이성'은 기존의 중앙 집중식 MLOps(머신러닝 운영)와는 완전히 다른 차원의 복잡성을 가집니다. 운영 용이성은 단순히 "모델이 잘 돌아간다"를 넘어, "분산된 환경에서 시스템을 얼마나 안정적이고 효율적으로 유지보수할 수 있는가"의 문제입니다. 연합학습 도입 시 운영 용이성 측면에서 고려해야 할 주요 사항은 다음과 같습니다.1. 시스템 구축 및 배포 (Setup & Deployment)클라이언트 환경의 다양성: 연합학습은 수많은 이..