페드텐서 FedTensor

초등 산술에서 덧셈은 단순히 수를 합하는 과정이지만, 수학이 발전하면서 이 '더한다'는 행위의 본질적인 속성은 무엇인지, 그리고 이 속성을 숫자뿐만 아니라 벡터, 행렬, 함수 등 다른 대상에도 적용할 수 있는지 탐구하게 되었습니다. 이러한 탐구의 결과로, 현대 수학에서는 덧셈을 훨씬 더 추상적이고 강력한 개념으로 정의합니다. 덧셈의 수학적 정의는 크게 두 단계로 일반화됩니다. 첫 번째는 페아노 공리계를 이용한 자연수의 덧셈 정의이며, 두 번째는 이를 추상대수학의 구조로 확장하는 것입니다.1. 페아노 공리를 이용한 자연수의 덧셈 정의가장 근본적인 수 체계인 자연수(N=0,1,2,...)에서 덧셈은 다음의 두 가지 규칙으로 재귀적으로 정의됩니다. 이는 주세페 페아노가 제시한 공리계에 기반합니다.​ 여기서 S..

1. 개요연합학습의 가장 큰 난제는 클라이언트(기관)마다 데이터 분포가 다른 Non-IID(Non-Independent and Identically Distributed) 상황입니다. 중앙 서버가 원본 데이터를 볼 수 없는 보안 제약 하에서, 서버는 클라이언트들이 전송하는 모델 업데이트의 기하학적, 통계적 특성을 분석하여 이질성을 간접적으로 정량화할 수 있습니다.2. 서버 측 이질성 정량화 방법론2.0. 전제: 모델 업데이트의 정의와 등가성본 문서에서 언급하는 '모델 업데이트'는 구체적인 구현(FedAvg, FedSGD 등)에 따라 다음 세 가지 중 하나일 수 있으나, 이질성 정량화의 본질은 동일합니다.파라미터 ($w_t$): 학습이 완료된 로컬 모델의 가중치 자체파라미터 차이 ($\Delta w$): ..

1. 개요본 4단계 전략은 연합학습의 핵심 과제인 데이터 불균형(Data Heterogeneity, Non-IID) 문제를 단계적으로 해결하고, 최종적으로 개인화를 통해 각 기관에 최적화된 모델을 제공하는 로드맵입니다. 각 단계는 독립적인 과정이 아니라, 앞 단계의 결과 모델이 다음 단계의 초기 시작점이 되는 연속적인 진화 과정으로 설계되었습니다.1~2단계: 콜드 스타트(Cold Start) 문제 해결 및 데이터 프라이버시를 보장하는 베이스라인 구축.3~4단계: 기관별 데이터 분포 차이로 인한 성능 저하를 막고, 각 도메인에 특화된 모델 제공.2. 단계별 상세 실행 전략[1단계] 중앙집중 방식 학습"콜드 스타트 해결 및 초기 기준점 확보" 연합학습은 초기 모델의 성능에 따라 수렴 속도가 크게 달라집니다...

주요 오픈소스 도구들에 대한 기본 정보를 정리하여 비교할 수 있도록 하였습니다.Apache Airflow가장 널리 알려지고 강력한 생태계를 자랑하는 워크플로우 관리 도구입니다.​핵심 철학: Code-First주요 특징: Python 코드 기반: 모든 워크플로우(DAG)를 Python 코드로 정의하여 버전 관리, 테스트, 동적 파이프라인 생성이 매우 유연합니다.강력한 생태계: 거의 모든 데이터 시스템과 클라우드 서비스에 연결할 수 있는 방대한 플러그인(Provider)을 제공합니다.추천 대상: Python에 익숙한 개발자 중심 팀​제품 링크: https://airflow.apache.org/DolphinScheduler직관적인 UI를 통해 코딩 없이 워크플로우를 설계하고 관리하는 데 중점을 둔 도구입니다...

1. MobileNet 버전별 CIFAR-10 정확도 (Top-1 Accuracy)CIFAR-10 데이터셋에 대한 MobileNet의 정확도는 "어떻게 학습시키느냐(전이학습 vs 바닥부터 학습)"와 "입력 이미지 크기를 어떻게 처리하느냐"에 따라 결과가 크게 달라집니다.특히 timm 라이브러리를 사용한다면, ① 라이브러리 모델을 그대로 가져와 미세 조정(Fine-tuning)하는 경우와 ② CIFAR-10 전용으로 구조를 수정하여 학습하는 경우를 나누어 파악하는 것이 중요합니다.모델 버전전이학습 (Fine-tuning)*바닥부터 학습 (From Scratch)**비고MobileNet V288% ~ 91%94.0% ~ 94.5%가장 널리 벤치마크된 모델. 안정적인 성능.MobileNet V3 Large91..

timm (PyTorch Image Models) 라이브러리를 사용하면 최신 모델들을 쉽고 빠르게 가져올 수 있습니다. 특히 MobileNet 계열은 파라미터 수가 적고 연산량이 낮아 다양한 실험들을 빠르게 시도해 볼 수 있는 모델입니다. 1. MobileNet 버전별 비교 (timm 기준) timm에서는 MobileNet V1부터 최신 V4까지 다양한 버전을 지원합니다. 아래 표는 대표적인 모델들의 파라미터 수와 ImageNet-1k 기준 Top-1 정확도입니다. > 참고: 정확도는 timm 벤치마크 기준이며, 파라미터 수는 모델 구성(width multiplier 등)에 따라 달라질 수 있습니다. 아래는 가장 표준적인 설정(1.0x 또는 100) 기준입니다.모델 버전timm 모델명 (예시)파라미터 수..

사전 지식과 믿음In Reign’s case I do have additional information. I know that the last time I came to the vet she weighed in at 14.2 pounds. I also know that she doesn't feel noticeably heavier or lighter to me, although my arm is not a very sensitive scale. Because of this, I believe that she's about 14.2 pounds but might be a pound or two higher or lower. To represent this, I use a normal distributio..

최대 우도 추정(Maximum Likelihood Estimation, MLE)실제 몸무게로 추정하는 w_actual 값을 더 다양하게 설정하고 우도분포 그래프를 그려봄으로써 실제 몸무게가 어떤 값을 가질 때 우도가 최대가 되는지 시각적으로 파악할 수 있습니다.w_actual_arr = np.arange(10, 20, 0.04)likelihood_arr = []for w_actual in w_actual_arr: likelihood = get_likelihood(w_actual, s_actual, w_measured_arr) likelihood_arr.append(likelihood)peak_location = w_actual_arr[np.argmax(likelihood_arr)]print(f..

아래 글을 읽고 베이즈 추론의 핵심 개념을 명확하게 이해하기 위하여 이 문서를 작성합니다. 인용한 글은 인용 구역으로 표시하였습니다.How Bayesian inference works - Brandon Rohrer측정 몸무게, 실제 몸무게, 추정 몸무게 On our last visit, we got three measurements before she became unmanageable: 13.9 lb, 17.5 lb and 14.1 lb. There is a standard statistical interpretation for this. We can calculate the mean, standard deviation and standard error for this set of numbers and..

의식 이전(transfer)시점개체-A개체-B비고t1나(1)존재 X​t2존재 X나(3)의식 복제와 동시에 개체-A 소멸t3존재 X나(5)​ t2 시점에 개체-A의 의식을 완벽하게 이전하여 개체-B의 의식 생성연속성과 독립성시점개체-A개체-B비고t1나(1)나(1)​t2존재 X나(3)의식 복제와 동시에 개체-A 소멸t3존재 X나(5)​각 개체가 느끼는 의식의 연속성 (기억)개체-A: 나(1)개체-B: 나(1) -> 나(3) -> 나(5)개체 간 의식의 독립성t3 시점에 나(5)만 존재하고 자신을 고유 개체로 인지결론의식 이전이 완료된 이후의 개체-B는 나(1)에서부터 이어지는 나이다.