페드텐서 FedTensor

희소 벡터(Sparse Vector)는 전체 차원 중 대부분의 값이 $0$이고, 텍스트에 나타난 주요 단어(토큰) 위치에만 0이 아닌 가중치(가령 단어 중요도나 빈도)가 매핑되는 고차원 벡터 표현 방식입니다. 조항 번호, 고유명사, 전문 용어와 같은 정밀한 키워드 매칭을 수행하면서도 고차원 역색인(Inverted Index)을 통해 빠르게 검색할 수 있습니다.1. 희소 벡터 생성 원리희소 벡터는 전체 단어 사전(보통 3만~25만 차원)을 기반으로 문서를 벡터화합니다. 생성 방식은 크게 통계 기반(Lexical/BM25)과 신경망 기반(Neural/SPLADE)으로 나뉩니다.[입력 텍스트]──> [토크나이징 (Subword/Word)]──> [가중치 산출 (통계 or 신경망)]──> [Sparse Vect..

자연어 처리(NLP, Natural Language Processing) 분야는 텍스트 데이터를 다루는 목적과 해결하려는 문제의 특성에 따라 여러 세부 분야로 나뉩니다. 크게 이해(NLU), 생성(NLG), 그리고 주요 하위 과업(Task)으로 구분해 설명합니다.1. 최상위 개념: 이해와 생성구분역할 및 핵심주요 목표NLU(Natural Language Understanding)자연어 이해사람의 언어를 컴퓨터가 이해할 수 있는 형태(의도, 의미, 맥락)로 해석문맥 파악, 개체 인식, 감성 분석, 문장 간 관계 파악 등NLG(Natural Language Generation)자연어 생성컴퓨터가 가진 데이터나 텍스트를 바탕으로 사람이 읽기 자연스러운 문장 작성요약, 번역, 대화 응답 생성, 스토리 집필 등2..

ROC라는 이름은 현대 AI에서 만들어진 용어가 아니라, 제2차 세계대전 당시 레이더 신호 탐지 이론에서 유래했습니다.먼저 ROC의 원래 의미 ROC는 Receiver Operating Characteristic의 약자입니다. 여기서 Receiver = 레이더 수신기 Operating = 수신기를 운용하는 방식(operating condition) Characteristic = 그 운용 조건에서 나타나는 성능 특성 입니다. 즉 "레이더 수신기를 어떤 기준으로 운용했을 때 나타나는 성능 특성"이라는 뜻입니다.왜 Receiver인가? 옛날 레이더는 신호를 수신(receive)하여 "비행기가 있다" 또는 "노이즈다"를 판단했습니다. 하지만 신호는 항상 애매합니다. 예를 들어 신호 세기가0.2..

의료 인공지능 모델을 개발하다 보면 반드시 마주치는 질문이 있습니다. "이 모델이 정말로 잘 진단하는가?"라는 질문입니다. 이 질문에 답하기 위해서는 단순히 AUC 숫자 하나를 보여주는 것으로는 충분하지 않습니다. 신뢰할 수 있는 정답(ground truth)을 어떻게 확보했는지, 여러 모델을 어떻게 공정하게 비교했는지, 그리고 최종적으로 사람 전문가와 어떻게 견줄 것인지까지 체계적인 절차가 필요합니다. 이 글에서는 의료 AI 진단 성능을 검증하는 과정을 세 단계로 나누어 설명합니다.전문의 집단의 맹검 진단여러 AI 모델 간 성능 비교 (AUC-ROC)최적 AI 모델과 전문의의 직접 비교1단계: 전문의 집단의 맹검 진단: 신뢰할 수 있는 정답 만들기AI의 성능을 평가하려면 가장 먼저 '신뢰할 수 있는 정..

인공지능이나 신경망이라고 하면 거대한 서버실에서 복잡한 수식이 오가는 장면이 떠오르지만, 사실 그 본질은 우리가 일상에서 '진실을 찾아가는 과정'과 매우 닮아 있습니다. 기술에 익숙하지 않은 독자들도 쉽게 이해할 수 있도록, '키 측정'이라는 비유를 통해 신경망 학습의 의미를 정리해 보았습니다.AI가 공부하는 법: "당신의 진짜 키는 얼마인가요?"1. 도입: '참값'은 어디에 있는가?우리는 흔히 자신의 키가 175cm라거나 160cm라고 말합니다. 하지만 엄밀히 말해 '키의 참값'이란 무엇일까요? 아침에 잰 키와 저녁에 잰 키가 다르고, 어떤 측정기를 쓰느냐에 따라 소수점 단위가 달라집니다. 우리는 결코 완벽한 참값을 알 수 없습니다. 다만 여러 번 측정해서 얻은 데이터들을 바탕으로 "내 진짜 키는 아마..

인공지능은 어떻게 정답을 찾을까?인공지능, 딥러닝, 신경망... 이름만 들으면 무척 복잡하고 난해한 최첨단 기술처럼 느껴집니다. 하지만 그 안을 들여다보면, 기본 원리는 우리가 학창 시절 배웠던 수학과 크게 다르지 않습니다. 오늘은 2차원 평면 위에 놓인 세 개의 점을 지나는 '가장 알맞은 직선'을 찾아보며, 인공지능이 데이터를 학습하는 두 가지 방법을 쉽고 직관적으로 알아보겠습니다.문제 상황: 세 점을 지나는 완벽한 직선은 없다2차원 평면 위에 세 점 $(1, 2)$, $(2, 3)$, $(3, 5)$가 있다고 상상해 봅시다. 이 세 점을 동시에 완벽하게 관통하는 하나의 직선은 존재하지 않습니다. 따라서 우리의 목표는 이 점들과 가장 오차가 적은(가장 근접하게 지나가는) 직선인 $y = wx + b$를..

1. MobileNet 버전별 CIFAR-10 정확도 (Top-1 Accuracy)CIFAR-10 데이터셋에 대한 MobileNet의 정확도는 "어떻게 학습시키느냐(전이학습 vs 바닥부터 학습)"와 "입력 이미지 크기를 어떻게 처리하느냐"에 따라 결과가 크게 달라집니다.특히 timm 라이브러리를 사용한다면, ① 라이브러리 모델을 그대로 가져와 미세 조정(Fine-tuning)하는 경우와 ② CIFAR-10 전용으로 구조를 수정하여 학습하는 경우를 나누어 파악하는 것이 중요합니다.모델 버전전이학습 (Fine-tuning)*바닥부터 학습 (From Scratch)**비고MobileNet V288% ~ 91%94.0% ~ 94.5%가장 널리 벤치마크된 모델. 안정적인 성능.MobileNet V3 Large91..

timm (PyTorch Image Models) 라이브러리를 사용하면 최신 모델들을 쉽고 빠르게 가져올 수 있습니다. 특히 MobileNet 계열은 파라미터 수가 적고 연산량이 낮아 다양한 실험들을 빠르게 시도해 볼 수 있는 모델입니다. 1. MobileNet 버전별 비교 (timm 기준) timm에서는 MobileNet V1부터 최신 V4까지 다양한 버전을 지원합니다. 아래 표는 대표적인 모델들의 파라미터 수와 ImageNet-1k 기준 Top-1 정확도입니다. > 참고: 정확도는 timm 벤치마크 기준이며, 파라미터 수는 모델 구성(width multiplier 등)에 따라 달라질 수 있습니다. 아래는 가장 표준적인 설정(1.0x 또는 100) 기준입니다.모델 버전timm 모델명 (예시)파라미터 수..

평평한 표면의 흠집을 1차원 데이터로 탐지할 경우, 대부분의 상황에서는 일반 오토인코더(Autoencoder)가 더 적합하고 효율적입니다. 왜 일반 오토인코더가 더 적합한가? 흠집이나 긁힘은 1차원 데이터 상에서 순간적으로 급격하게 튀는 '점 이상(Point Anomaly)'의 형태로 나타날 가능성이 큽니다. 평평한 표면의 정상 데이터는 거의 일정한 값을 유지하다가, 흠집 구간에서만 값이 크게 벗어납니다.패턴보다 분포 학습이 중요: 일반 오토인코더는 정상 데이터의 통계적 분포(예: '모든 값은 거의 0에 가깝다')를 학습하는 데 뛰어납니다. 따라서 이 분포에서 크게 벗어나는 흠집 신호를 매우 효과적으로 잡아낼 수 있습니다.단순성과 효율성: 모델 구조가 단순하여 LSTM-오토인코더보다 학습 속도가 훨씬 빠..

옵티마이저(Optimizer)는 신경망 학습의 핵심적인 부분으로, 모델을 더 빠르고 정확하게 학습시키기 위한 최적화 알고리즘입니다. 간단히 말해, 옵티마이저는 신경망의 손실 함수(Loss Function) 값을 최소화하는 방향으로 가중치(Weight)와 편향(Bias)을 업데이트하는 역할을 합니다. 즉, 모델의 예측값과 실제값의 차이(오차)를 줄여나가며 최적의 모델을 찾아가는 과정이라고 할 수 있습니다. 신경망 학습은 마치 안개가 자욱한 산에서 가장 낮은 지점을 찾아 내려오는 과정과 같습니다. 이때 옵티마이저는 어느 방향으로, 얼마나 큰 보폭으로 나아가야 할지 결정하는 '등산객의 스마트한 나침반과 지도' 역할을 합니다. 옵티마이저의 종류 다양한 종류의 옵티마이저가 있으며, 각각의 특징과 장단점이 있습니다..