데이터 반출 없는 다 기관 협업 인공지능 학습 인프라

전체 글 189

연합학습 모델 개발 및 고도화 전략

1. 개요본 4단계 전략은 연합학습의 핵심 과제인 데이터 불균형(Data Heterogeneity, Non-IID) 문제를 단계적으로 해결하고, 최종적으로 개인화를 통해 각 기관에 최적화된 모델을 제공하는 로드맵입니다. 각 단계는 독립적인 과정이 아니라, 앞 단계의 결과 모델이 다음 단계의 초기 시작점이 되는 연속적인 진화 과정으로 설계되었습니다.1~2단계: 콜드 스타트(Cold Start) 문제 해결 및 데이터 프라이버시를 보장하는 베이스라인 구축.3~4단계: 기관별 데이터 분포 차이로 인한 성능 저하를 막고, 각 도메인에 특화된 모델 제공.2. 단계별 상세 실행 전략[1단계] 중앙집중 방식 학습"콜드 스타트 해결 및 초기 기준점 확보" 연합학습은 초기 모델의 성능에 따라 수렴 속도가 크게 달라집니다...

데이터 파이프라인 및 워크플로우 구성 오픈소스 도구들

주요 오픈소스 도구들에 대한 기본 정보를 정리하여 비교할 수 있도록 하였습니다.Apache Airflow가장 널리 알려지고 강력한 생태계를 자랑하는 워크플로우 관리 도구입니다.​핵심 철학: Code-First주요 특징: Python 코드 기반: 모든 워크플로우(DAG)를 Python 코드로 정의하여 버전 관리, 테스트, 동적 파이프라인 생성이 매우 유연합니다.강력한 생태계: 거의 모든 데이터 시스템과 클라우드 서비스에 연결할 수 있는 방대한 플러그인(Provider)을 제공합니다.추천 대상: Python에 익숙한 개발자 중심 팀​제품 링크: https://airflow.apache.org/DolphinScheduler직관적인 UI를 통해 코딩 없이 워크플로우를 설계하고 관리하는 데 중점을 둔 도구입니다...

MobileNet을 CIFAR-10에 적용 시 정확도 및 기술 이슈

1. MobileNet 버전별 CIFAR-10 정확도 (Top-1 Accuracy)CIFAR-10 데이터셋에 대한 MobileNet의 정확도는 "어떻게 학습시키느냐(전이학습 vs 바닥부터 학습)"와 "입력 이미지 크기를 어떻게 처리하느냐"에 따라 결과가 크게 달라집니다.특히 timm 라이브러리를 사용한다면, ① 라이브러리 모델을 그대로 가져와 미세 조정(Fine-tuning)하는 경우와 ② CIFAR-10 전용으로 구조를 수정하여 학습하는 경우를 나누어 파악하는 것이 중요합니다.모델 버전전이학습 (Fine-tuning)*바닥부터 학습 (From Scratch)**비고MobileNet V288% ~ 91%94.0% ~ 94.5%가장 널리 벤치마크된 모델. 안정적인 성능.MobileNet V3 Large91..

MobileNet 버전별 비교

timm (PyTorch Image Models) 라이브러리를 사용하면 최신 모델들을 쉽고 빠르게 가져올 수 있습니다. 특히 MobileNet 계열은 파라미터 수가 적고 연산량이 낮아 다양한 실험들을 빠르게 시도해 볼 수 있는 모델입니다. 1. MobileNet 버전별 비교 (timm 기준) timm에서는 MobileNet V1부터 최신 V4까지 다양한 버전을 지원합니다. 아래 표는 대표적인 모델들의 파라미터 수와 ImageNet-1k 기준 Top-1 정확도입니다. > 참고: 정확도는 timm 벤치마크 기준이며, 파라미터 수는 모델 구성(width multiplier 등)에 따라 달라질 수 있습니다. 아래는 가장 표준적인 설정(1.0x 또는 100) 기준입니다.모델 버전timm 모델명 (예시)파라미터 수..

베이즈 추론 명확하게 이해하기: 강아지 몸무게 추정 (3/3)

사전 지식과 믿음In Reign’s case I do have additional information. I know that the last time I came to the vet she weighed in at 14.2 pounds. I also know that she doesn't feel noticeably heavier or lighter to me, although my arm is not a very sensitive scale. Because of this, I believe that she's about 14.2 pounds but might be a pound or two higher or lower. To represent this, I use a normal distributio..