2025/12 16

데이터 파이프라인 및 워크플로우 구성 오픈소스 도구들

주요 오픈소스 도구들에 대한 기본 정보를 정리하여 비교할 수 있도록 하였습니다.Apache Airflow가장 널리 알려지고 강력한 생태계를 자랑하는 워크플로우 관리 도구입니다.​핵심 철학: Code-First주요 특징: Python 코드 기반: 모든 워크플로우(DAG)를 Python 코드로 정의하여 버전 관리, 테스트, 동적 파이프라인 생성이 매우 유연합니다.강력한 생태계: 거의 모든 데이터 시스템과 클라우드 서비스에 연결할 수 있는 방대한 플러그인(Provider)을 제공합니다.추천 대상: Python에 익숙한 개발자 중심 팀​제품 링크: https://airflow.apache.org/DolphinScheduler직관적인 UI를 통해 코딩 없이 워크플로우를 설계하고 관리하는 데 중점을 둔 도구입니다...

MobileNet을 CIFAR-10에 적용 시 정확도 및 기술 이슈

1. MobileNet 버전별 CIFAR-10 정확도 (Top-1 Accuracy)CIFAR-10 데이터셋에 대한 MobileNet의 정확도는 "어떻게 학습시키느냐(전이학습 vs 바닥부터 학습)"와 "입력 이미지 크기를 어떻게 처리하느냐"에 따라 결과가 크게 달라집니다.특히 timm 라이브러리를 사용한다면, ① 라이브러리 모델을 그대로 가져와 미세 조정(Fine-tuning)하는 경우와 ② CIFAR-10 전용으로 구조를 수정하여 학습하는 경우를 나누어 파악하는 것이 중요합니다.모델 버전전이학습 (Fine-tuning)*바닥부터 학습 (From Scratch)**비고MobileNet V288% ~ 91%94.0% ~ 94.5%가장 널리 벤치마크된 모델. 안정적인 성능.MobileNet V3 Large91..

MobileNet 버전별 비교

timm (PyTorch Image Models) 라이브러리를 사용하면 최신 모델들을 쉽고 빠르게 가져올 수 있습니다. 특히 MobileNet 계열은 파라미터 수가 적고 연산량이 낮아 다양한 실험들을 빠르게 시도해 볼 수 있는 모델입니다. 1. MobileNet 버전별 비교 (timm 기준) timm에서는 MobileNet V1부터 최신 V4까지 다양한 버전을 지원합니다. 아래 표는 대표적인 모델들의 파라미터 수와 ImageNet-1k 기준 Top-1 정확도입니다. > 참고: 정확도는 timm 벤치마크 기준이며, 파라미터 수는 모델 구성(width multiplier 등)에 따라 달라질 수 있습니다. 아래는 가장 표준적인 설정(1.0x 또는 100) 기준입니다.모델 버전timm 모델명 (예시)파라미터 수..

베이즈 추론 명확하게 이해하기: 강아지 몸무게 추정 (3/3)

사전 지식과 믿음In Reign’s case I do have additional information. I know that the last time I came to the vet she weighed in at 14.2 pounds. I also know that she doesn't feel noticeably heavier or lighter to me, although my arm is not a very sensitive scale. Because of this, I believe that she's about 14.2 pounds but might be a pound or two higher or lower. To represent this, I use a normal distributio..

베이즈 추론 명확하게 이해하기: 강아지 몸무게 추정 (2/3)

최대 우도 추정(Maximum Likelihood Estimation, MLE)실제 몸무게로 추정하는 w_actual 값을 더 다양하게 설정하고 우도분포 그래프를 그려봄으로써 실제 몸무게가 어떤 값을 가질 때 우도가 최대가 되는지 시각적으로 파악할 수 있습니다.w_actual_arr = np.arange(10, 20, 0.04)likelihood_arr = []for w_actual in w_actual_arr: likelihood = get_likelihood(w_actual, s_actual, w_measured_arr) likelihood_arr.append(likelihood)peak_location = w_actual_arr[np.argmax(likelihood_arr)]print(f..

베이즈 추론 명확하게 이해하기: 강아지 몸무게 추정 (1/3)

아래 글을 읽고 베이즈 추론의 핵심 개념을 명확하게 이해하기 위하여 이 문서를 작성합니다. 인용한 글은 인용 구역으로 표시하였습니다.How Bayesian inference works - Brandon Rohrer측정 몸무게, 실제 몸무게, 추정 몸무게 On our last visit, we got three measurements before she became unmanageable: 13.9 lb, 17.5 lb and 14.1 lb. There is a standard statistical interpretation for this. We can calculate the mean, standard deviation and standard error for this set of numbers and..

이전(transfer)된 나의 의식은 나인가?

의식 이전(transfer)시점개체-A개체-B비고t1나(1)존재 X​t2존재 X나(3)의식 복제와 동시에 개체-A 소멸t3존재 X나(5)​ t2 시점에 개체-A의 의식을 완벽하게 이전하여 개체-B의 의식 생성연속성과 독립성시점개체-A개체-B비고t1나(1)나(1)​t2존재 X나(3)의식 복제와 동시에 개체-A 소멸t3존재 X나(5)​각 개체가 느끼는 의식의 연속성 (기억)개체-A: 나(1)개체-B: 나(1) -> 나(3) -> 나(5)개체 간 의식의 독립성t3 시점에 나(5)만 존재하고 자신을 고유 개체로 인지결론의식 이전이 완료된 이후의 개체-B는 나(1)에서부터 이어지는 나이다.

뇌과학/의식 2025.12.06

복제(duplicate)된 나의 의식은 나인가?

의식 복제(duplicate)시점개체-A개체-B비고t1나(1)존재X​t2나(2)나(3)의식 복제t3나(4)나(5)​t2 시점에 개체-A의 의식을 완벽하게 복제하여 개체-B의 의식 생성연속성과 독립성시점개체-A개체-B비고t1나(1)나(1)​t2나(2)나(3)의식 복제t3나(4)나(5)​각 개체가 느끼는 의식의 연속성 (기억)개체-A: 나(1) -> 나(2) -> 나(4)개체-B: 나(1) -> 나(3) -> 나(5)개체 간 의식의 독립성t3 시점의 나(4)와 나(5)는 상대를 타인으로 인식t3 시점에 개체-A, 개체-B가 상호 정보 교환을 통해 t1 시점의 의식이 사실상 서로 동일함을 알게 되더라도 각자가 느끼는 의식의 연속성, 독립성은 그대로 유지됨결론의식 복제가 완료된 이후의 개체-A, 개체-B는 각자..

뇌과학/의식 2025.12.06

1차원 데이터로 흠집 탐지: 일반 오토인코더와 LSTM-오토인코더

평평한 표면의 흠집을 1차원 데이터로 탐지할 경우, 대부분의 상황에서는 일반 오토인코더(Autoencoder)가 더 적합하고 효율적입니다. 왜 일반 오토인코더가 더 적합한가? 흠집이나 긁힘은 1차원 데이터 상에서 순간적으로 급격하게 튀는 '점 이상(Point Anomaly)'의 형태로 나타날 가능성이 큽니다. 평평한 표면의 정상 데이터는 거의 일정한 값을 유지하다가, 흠집 구간에서만 값이 크게 벗어납니다.패턴보다 분포 학습이 중요: 일반 오토인코더는 정상 데이터의 통계적 분포(예: '모든 값은 거의 0에 가깝다')를 학습하는 데 뛰어납니다. 따라서 이 분포에서 크게 벗어나는 흠집 신호를 매우 효과적으로 잡아낼 수 있습니다.단순성과 효율성: 모델 구조가 단순하여 LSTM-오토인코더보다 학습 속도가 훨씬 빠..

옵티마이저 종류 요약

옵티마이저(Optimizer)는 신경망 학습의 핵심적인 부분으로, 모델을 더 빠르고 정확하게 학습시키기 위한 최적화 알고리즘입니다. 간단히 말해, 옵티마이저는 신경망의 손실 함수(Loss Function) 값을 최소화하는 방향으로 가중치(Weight)와 편향(Bias)을 업데이트하는 역할을 합니다. 즉, 모델의 예측값과 실제값의 차이(오차)를 줄여나가며 최적의 모델을 찾아가는 과정이라고 할 수 있습니다. 신경망 학습은 마치 안개가 자욱한 산에서 가장 낮은 지점을 찾아 내려오는 과정과 같습니다. 이때 옵티마이저는 어느 방향으로, 얼마나 큰 보폭으로 나아가야 할지 결정하는 '등산객의 스마트한 나침반과 지도' 역할을 합니다. 옵티마이저의 종류 다양한 종류의 옵티마이저가 있으며, 각각의 특징과 장단점이 있습니다..