FedTensor

CMATH-02. 군(Group)과 체(Field)

​군: 더 일반적이고 단순한 구조군이 체보다 더 단순하고 일반적인 개념이며, 체를 정의하기 위한 기본적인 구성 요소로 사용됩니다.군: 단 하나의 연산과 네 가지 기본 규칙(닫힘, 결합법칙, 항등원, 역원)만 만족하면 성립합니다. 이 단순함 덕분에 대칭성을 가지는 거의 모든 대상(예: 도형의 회전, 분자 구조, 암호학)에서 군의 구조를 발견할 수 있습니다.체: 두 개의 연산(덧셈, 곱셈)이 필요하며, 각 연산에 대해 군과 유사한 규칙들(특히 교환법칙까지)을 만족해야 하고, 두 연산을 연결하는 분배법칙까지 성립해야 합니다. 조건이 훨씬 까다롭기 때문에, 체가 되는 대상은 군이 되는 대상보다 훨씬 제한적입니다.​쉽게 말해, 모든 체는 그 안에 군의 구조를 포함하고 있지만, 모든 군이 체가 되는 것은 아닙니다...

CMATH-01. 덧셈의 일반화된 수학적 정의

초등 산술에서 덧셈은 단순히 수를 합하는 과정이지만, 수학이 발전하면서 이 '더한다'는 행위의 본질적인 속성은 무엇인지, 그리고 이 속성을 숫자뿐만 아니라 벡터, 행렬, 함수 등 다른 대상에도 적용할 수 있는지 탐구하게 되었습니다. 이러한 탐구의 결과로, 현대 수학에서는 덧셈을 훨씬 더 추상적이고 강력한 개념으로 정의합니다. 덧셈의 수학적 정의는 크게 두 단계로 일반화됩니다. 첫 번째는 페아노 공리계를 이용한 자연수의 덧셈 정의이며, 두 번째는 이를 추상대수학의 구조로 확장하는 것입니다.1. 페아노 공리를 이용한 자연수의 덧셈 정의가장 근본적인 수 체계인 자연수(N=0,1,2,...)에서 덧셈은 다음의 두 가지 규칙으로 재귀적으로 정의됩니다. 이는 주세페 페아노가 제시한 공리계에 기반합니다.​ 여기서 S..

1. 개요연합학습의 가장 큰 난제는 클라이언트(기관)마다 데이터 분포가 다른 Non-IID(Non-Independent and Identically Distributed) 상황입니다. 중앙 서버가 원본 데이터를 볼 수 없는 보안 제약 하에서, 서버는 클라이언트들이 전송하는 모델 업데이트의 기하학적, 통계적 특성을 분석하여 이질성을 간접적으로 정량화할 수 있습니다.2. 서버 측 이질성 정량화 방법론2.0. 전제: 모델 업데이트의 정의와 등가성본 문서에서 언급하는 '모델 업데이트'는 구체적인 구현(FedAvg, FedSGD 등)에 따라 다음 세 가지 중 하나일 수 있으나, 이질성 정량화의 본질은 동일합니다.파라미터 ($w_t$): 학습이 완료된 로컬 모델의 가중치 자체파라미터 차이 ($\Delta w$): ..

1. 개요본 4단계 전략은 연합학습의 핵심 과제인 데이터 불균형(Data Heterogeneity, Non-IID) 문제를 단계적으로 해결하고, 최종적으로 개인화를 통해 각 기관에 최적화된 모델을 제공하는 로드맵입니다. 각 단계는 독립적인 과정이 아니라, 앞 단계의 결과 모델이 다음 단계의 초기 시작점이 되는 연속적인 진화 과정으로 설계되었습니다.1~2단계: 콜드 스타트(Cold Start) 문제 해결 및 데이터 프라이버시를 보장하는 베이스라인 구축.3~4단계: 기관별 데이터 분포 차이로 인한 성능 저하를 막고, 각 도메인에 특화된 모델 제공.2. 단계별 상세 실행 전략[1단계] 중앙집중 방식 학습"콜드 스타트 해결 및 초기 기준점 확보" 연합학습은 초기 모델의 성능에 따라 수렴 속도가 크게 달라집니다...

주요 오픈소스 도구들에 대한 기본 정보를 정리하여 비교할 수 있도록 하였습니다.Apache Airflow가장 널리 알려지고 강력한 생태계를 자랑하는 워크플로우 관리 도구입니다.​핵심 철학: Code-First주요 특징: Python 코드 기반: 모든 워크플로우(DAG)를 Python 코드로 정의하여 버전 관리, 테스트, 동적 파이프라인 생성이 매우 유연합니다.강력한 생태계: 거의 모든 데이터 시스템과 클라우드 서비스에 연결할 수 있는 방대한 플러그인(Provider)을 제공합니다.추천 대상: Python에 익숙한 개발자 중심 팀​제품 링크: https://airflow.apache.org/DolphinScheduler직관적인 UI를 통해 코딩 없이 워크플로우를 설계하고 관리하는 데 중점을 둔 도구입니다...

1. MobileNet 버전별 CIFAR-10 정확도 (Top-1 Accuracy)CIFAR-10 데이터셋에 대한 MobileNet의 정확도는 "어떻게 학습시키느냐(전이학습 vs 바닥부터 학습)"와 "입력 이미지 크기를 어떻게 처리하느냐"에 따라 결과가 크게 달라집니다.특히 timm 라이브러리를 사용한다면, ① 라이브러리 모델을 그대로 가져와 미세 조정(Fine-tuning)하는 경우와 ② CIFAR-10 전용으로 구조를 수정하여 학습하는 경우를 나누어 파악하는 것이 중요합니다.모델 버전전이학습 (Fine-tuning)*바닥부터 학습 (From Scratch)**비고MobileNet V288% ~ 91%94.0% ~ 94.5%가장 널리 벤치마크된 모델. 안정적인 성능.MobileNet V3 Large91..

timm (PyTorch Image Models) 라이브러리를 사용하면 최신 모델들을 쉽고 빠르게 가져올 수 있습니다. 특히 MobileNet 계열은 파라미터 수가 적고 연산량이 낮아 다양한 실험들을 빠르게 시도해 볼 수 있는 모델입니다. 1. MobileNet 버전별 비교 (timm 기준) timm에서는 MobileNet V1부터 최신 V4까지 다양한 버전을 지원합니다. 아래 표는 대표적인 모델들의 파라미터 수와 ImageNet-1k 기준 Top-1 정확도입니다. > 참고: 정확도는 timm 벤치마크 기준이며, 파라미터 수는 모델 구성(width multiplier 등)에 따라 달라질 수 있습니다. 아래는 가장 표준적인 설정(1.0x 또는 100) 기준입니다.모델 버전timm 모델명 (예시)파라미터 수..

사전 지식과 믿음In Reign’s case I do have additional information. I know that the last time I came to the vet she weighed in at 14.2 pounds. I also know that she doesn't feel noticeably heavier or lighter to me, although my arm is not a very sensitive scale. Because of this, I believe that she's about 14.2 pounds but might be a pound or two higher or lower. To represent this, I use a normal distributio..

최대 우도 추정(Maximum Likelihood Estimation, MLE)실제 몸무게로 추정하는 w_actual 값을 더 다양하게 설정하고 우도분포 그래프를 그려봄으로써 실제 몸무게가 어떤 값을 가질 때 우도가 최대가 되는지 시각적으로 파악할 수 있습니다.w_actual_arr = np.arange(10, 20, 0.04)likelihood_arr = []for w_actual in w_actual_arr: likelihood = get_likelihood(w_actual, s_actual, w_measured_arr) likelihood_arr.append(likelihood)peak_location = w_actual_arr[np.argmax(likelihood_arr)]print(f..

아래 글을 읽고 베이즈 추론의 핵심 개념을 명확하게 이해하기 위하여 이 문서를 작성합니다. 인용한 글은 인용 구역으로 표시하였습니다.How Bayesian inference works - Brandon Rohrer측정 몸무게, 실제 몸무게, 추정 몸무게 On our last visit, we got three measurements before she became unmanageable: 13.9 lb, 17.5 lb and 14.1 lb. There is a standard statistical interpretation for this. We can calculate the mean, standard deviation and standard error for this set of numbers and..