FedTensor

딥러닝의 학습 과정은 고차원 공간(파라미터 공간)에서 에너지 포텐셜(Loss Function)이 가장 낮은 지점을 찾아가는 과정과 같습니다. PyTorch는 이 과정을 효율적으로 수행하기 위해 동적 계산 그래프(Dynamic Computational Graph)라는 개념을 사용합니다. MNIST 분류 모델을 예로 들어, 훈련 루프 내부에서 일어나는 일을 단계별로 해부해 보겠습니다.import torchimport torch.nn as nnimport torch.optim as optimfrom torchvision import datasets, transformsfrom torch.utils.data import DataLoader# 1. 데이터셋 준비 (MNIST)# 텐서 변환 및 정규화transfor..

CIFAR-10 데이터셋(10개의 클래스, $32 \times 32$ 픽셀 이미지)은 딥러닝 모델의 성능을 평가하는 가장 대중적인 벤치마크 중 하나입니다. 현재 시점에서 가장 성능이 뛰어난(State-of-the-Art, SOTA) 모델들과 실무에서 사용하기 좋은 고효율 모델들을 분류하여 정리했습니다.1. 최고 성능 모델군 (State-of-the-Art: Transformers)현재 CIFAR-10 리더보드의 최상위권은 대부분 Transformer 기반 모델들이 차지하고 있습니다. 이들은 주로 대규모 데이터셋(ImageNet-21k, JFT-300M 등)으로 사전 학습(Pre-training)된 후 CIFAR-10으로 미세 조정(Fine-tuning)하는 방식을 사용합니다.Vision Transform..