페드텐서 FedTensor

ROC라는 이름은 현대 AI에서 만들어진 용어가 아니라, 제2차 세계대전 당시 레이더 신호 탐지 이론에서 유래했습니다.먼저 ROC의 원래 의미 ROC는 Receiver Operating Characteristic의 약자입니다. 여기서 Receiver = 레이더 수신기 Operating = 수신기를 운용하는 방식(operating condition) Characteristic = 그 운용 조건에서 나타나는 성능 특성 입니다. 즉 "레이더 수신기를 어떤 기준으로 운용했을 때 나타나는 성능 특성"이라는 뜻입니다.왜 Receiver인가? 옛날 레이더는 신호를 수신(receive)하여 "비행기가 있다" 또는 "노이즈다"를 판단했습니다. 하지만 신호는 항상 애매합니다. 예를 들어 신호 세기가0.2..

의료 인공지능 모델을 개발하다 보면 반드시 마주치는 질문이 있습니다. "이 모델이 정말로 잘 진단하는가?"라는 질문입니다. 이 질문에 답하기 위해서는 단순히 AUC 숫자 하나를 보여주는 것으로는 충분하지 않습니다. 신뢰할 수 있는 정답(ground truth)을 어떻게 확보했는지, 여러 모델을 어떻게 공정하게 비교했는지, 그리고 최종적으로 사람 전문가와 어떻게 견줄 것인지까지 체계적인 절차가 필요합니다. 이 글에서는 의료 AI 진단 성능을 검증하는 과정을 세 단계로 나누어 설명합니다.전문의 집단의 맹검 진단여러 AI 모델 간 성능 비교 (AUC-ROC)최적 AI 모델과 전문의의 직접 비교1단계: 전문의 집단의 맹검 진단: 신뢰할 수 있는 정답 만들기AI의 성능을 평가하려면 가장 먼저 '신뢰할 수 있는 정..

인공지능이나 신경망이라고 하면 거대한 서버실에서 복잡한 수식이 오가는 장면이 떠오르지만, 사실 그 본질은 우리가 일상에서 '진실을 찾아가는 과정'과 매우 닮아 있습니다. 기술에 익숙하지 않은 독자들도 쉽게 이해할 수 있도록, '키 측정'이라는 비유를 통해 신경망 학습의 의미를 정리해 보았습니다.AI가 공부하는 법: "당신의 진짜 키는 얼마인가요?"1. 도입: '참값'은 어디에 있는가?우리는 흔히 자신의 키가 175cm라거나 160cm라고 말합니다. 하지만 엄밀히 말해 '키의 참값'이란 무엇일까요? 아침에 잰 키와 저녁에 잰 키가 다르고, 어떤 측정기를 쓰느냐에 따라 소수점 단위가 달라집니다. 우리는 결코 완벽한 참값을 알 수 없습니다. 다만 여러 번 측정해서 얻은 데이터들을 바탕으로 "내 진짜 키는 아마..

인공지능은 어떻게 정답을 찾을까?인공지능, 딥러닝, 신경망... 이름만 들으면 무척 복잡하고 난해한 최첨단 기술처럼 느껴집니다. 하지만 그 안을 들여다보면, 기본 원리는 우리가 학창 시절 배웠던 수학과 크게 다르지 않습니다. 오늘은 2차원 평면 위에 놓인 세 개의 점을 지나는 '가장 알맞은 직선'을 찾아보며, 인공지능이 데이터를 학습하는 두 가지 방법을 쉽고 직관적으로 알아보겠습니다.문제 상황: 세 점을 지나는 완벽한 직선은 없다2차원 평면 위에 세 점 $(1, 2)$, $(2, 3)$, $(3, 5)$가 있다고 상상해 봅시다. 이 세 점을 동시에 완벽하게 관통하는 하나의 직선은 존재하지 않습니다. 따라서 우리의 목표는 이 점들과 가장 오차가 적은(가장 근접하게 지나가는) 직선인 $y = wx + b$를..

1. MobileNet 버전별 CIFAR-10 정확도 (Top-1 Accuracy)CIFAR-10 데이터셋에 대한 MobileNet의 정확도는 "어떻게 학습시키느냐(전이학습 vs 바닥부터 학습)"와 "입력 이미지 크기를 어떻게 처리하느냐"에 따라 결과가 크게 달라집니다.특히 timm 라이브러리를 사용한다면, ① 라이브러리 모델을 그대로 가져와 미세 조정(Fine-tuning)하는 경우와 ② CIFAR-10 전용으로 구조를 수정하여 학습하는 경우를 나누어 파악하는 것이 중요합니다.모델 버전전이학습 (Fine-tuning)*바닥부터 학습 (From Scratch)**비고MobileNet V288% ~ 91%94.0% ~ 94.5%가장 널리 벤치마크된 모델. 안정적인 성능.MobileNet V3 Large91..

timm (PyTorch Image Models) 라이브러리를 사용하면 최신 모델들을 쉽고 빠르게 가져올 수 있습니다. 특히 MobileNet 계열은 파라미터 수가 적고 연산량이 낮아 다양한 실험들을 빠르게 시도해 볼 수 있는 모델입니다. 1. MobileNet 버전별 비교 (timm 기준) timm에서는 MobileNet V1부터 최신 V4까지 다양한 버전을 지원합니다. 아래 표는 대표적인 모델들의 파라미터 수와 ImageNet-1k 기준 Top-1 정확도입니다. > 참고: 정확도는 timm 벤치마크 기준이며, 파라미터 수는 모델 구성(width multiplier 등)에 따라 달라질 수 있습니다. 아래는 가장 표준적인 설정(1.0x 또는 100) 기준입니다.모델 버전timm 모델명 (예시)파라미터 수..

평평한 표면의 흠집을 1차원 데이터로 탐지할 경우, 대부분의 상황에서는 일반 오토인코더(Autoencoder)가 더 적합하고 효율적입니다. 왜 일반 오토인코더가 더 적합한가? 흠집이나 긁힘은 1차원 데이터 상에서 순간적으로 급격하게 튀는 '점 이상(Point Anomaly)'의 형태로 나타날 가능성이 큽니다. 평평한 표면의 정상 데이터는 거의 일정한 값을 유지하다가, 흠집 구간에서만 값이 크게 벗어납니다.패턴보다 분포 학습이 중요: 일반 오토인코더는 정상 데이터의 통계적 분포(예: '모든 값은 거의 0에 가깝다')를 학습하는 데 뛰어납니다. 따라서 이 분포에서 크게 벗어나는 흠집 신호를 매우 효과적으로 잡아낼 수 있습니다.단순성과 효율성: 모델 구조가 단순하여 LSTM-오토인코더보다 학습 속도가 훨씬 빠..

옵티마이저(Optimizer)는 신경망 학습의 핵심적인 부분으로, 모델을 더 빠르고 정확하게 학습시키기 위한 최적화 알고리즘입니다. 간단히 말해, 옵티마이저는 신경망의 손실 함수(Loss Function) 값을 최소화하는 방향으로 가중치(Weight)와 편향(Bias)을 업데이트하는 역할을 합니다. 즉, 모델의 예측값과 실제값의 차이(오차)를 줄여나가며 최적의 모델을 찾아가는 과정이라고 할 수 있습니다. 신경망 학습은 마치 안개가 자욱한 산에서 가장 낮은 지점을 찾아 내려오는 과정과 같습니다. 이때 옵티마이저는 어느 방향으로, 얼마나 큰 보폭으로 나아가야 할지 결정하는 '등산객의 스마트한 나침반과 지도' 역할을 합니다. 옵티마이저의 종류 다양한 종류의 옵티마이저가 있으며, 각각의 특징과 장단점이 있습니다..

개요붓꽃 데이터를 대상으로 꽃의 종류를 분류다층 퍼셉트론(Multi-Layer Perceptron, MLP) 모델의 오류 역전파 및 기울기 계산 과정 설명데이터셋붓꽃 데이터꽃 종류setosa (50개)versicolor (50개)virginica (50개)측정 항목sepal length (cm): 꽃받침 길이sepal width (cm): 꽃받침 넓이petal length (cm): 꽃잎 길이petal width (cm): 꽃잎 넓이문제 정의붓꽃의 종류가 무엇인지 표시되어 있는 데이터 세트를 사용하여 붓꽃 분류 기능을 학습합니다.새로운 붓꽃 데이터에 대하여 종류가 무엇인지 예측합니다.모델 함수 정의입력층의 크기: 4은닉층의 크기: 8 (다른 값으로 지정할 수도 있음)출력층의 크기: 3비용 함수 정의비용 ..

모델 파라미터 변경에 따른 손실의 변화율 손실 함수 위의 한 지점(현재 파라미터)에서 손실 값의 변화가 가장 큰 방향을 계산할 수 있습니다. 이를 기울기(Gradient)라고 합니다. 즉, 기울기는 '특정 파라미터를 조금 변경했을 때, 손실 값이 얼마나 변하는가’를 나타내는 값입니다. 손실을 줄이는 방향으로 모델 파라미터 수정 기울기는 손실이 가장 크게 '증가’하는 방향을 가리킵니다. 우리의 목표는 손실을 '감소’시키는 것이므로, 기울기의 반대 방향으로 파라미터를 조금씩 이동시켜야 합니다.경사하강법의 종류와 손실 값의 변화 경사하강법은 기울기를 계산할 때 사용하는 데이터의 양에 따라 크게 세 가지 방식으로 나뉩니다. 이 방식에 따라 손실 값의 변화 양상과 학습 효율성이 크게 달라집니다.구분설명Batch ..