데이터 반출 없는 다기관 연합 인공지능 학습 플랫폼

데이터 분석 17

선형 회귀 분석의 이해

1. 회귀 분석이란?회귀 분석(Regression Analysis)은 변수들 사이의 관계를 모델링하는 통계적 방법입니다. 가장 단순한 예로, '집의 크기'를 알 때 '집의 가격'을 예측하는 모델을 만들 수 있습니다. 이처럼 하나의 변수(독립 변수)를 사용하여 다른 변수(종속 변수)의 값을 예측하는 것이 회귀 분석의 핵심입니다. ​회귀 분석 과정은 다음 세 단계로 요약할 수 있습니다.데이터 준비: 예측 모델을 학습시키기 위한 훈련 데이터 세트 $(x, y)$를 준비합니다. 여기서 $x$는 예측에 사용될 독립 변수이고, $y$는 예측하고자 하는 종속 변수입니다.모델 학습: 훈련 데이터를 가장 잘 표현하는 수학적 모델을 정의하고, 데이터에 가장 근접한 예측을 하는 최적의 파라미터(parameter)를 찾습니다..

회귀(Regression)라는 용어를 쉽게 설명하기

조별 단체 식사 준비와 회귀 현상 발생조별 단체 식사 준비 상황을 예로 들어 회귀라는 용어에 대해 설명합니다. 그리고 회귀라는 용어가 어렵게 느껴지는 이유는 무엇이며 어떻게 하면 쉽게 받아들여질 수 있는지도 살펴봅니다. 100명 정도의 인원이 매주 일요일 함께 모여 점심 식사를 합니다. 조를 짜서 식사를 준비하는 상황에서 일어나는 현상을 통해 회귀라는 용어가 무엇을 의미하는지 설명합니다.10개 조가 조별로 두 주 연속으로 일요일 단체 점심 식사를 준비한다.한 끼 점심 식사 준비를 위해 지원받는 비용은 15만원이다. 이보다 덜 쓰면 반납하고 더 쓰면 조에서 부담한다.오늘 점심 식사를 준비한 조에 대한 칭찬이 자자하다. 최근 들어 식사에 대한 만족도가 높아지고 있다는 생각이 든다.내가 속한 조에서는 몇 주 ..

독일 V2 로켓과 런던 폭격 - 푸아송 분포와 카이제곱 검정

아래 자료들을 참고하면서 실습을 하였습니다.AN APPLICATION OF THE POISSON DISTRIBUTION, by R. D. CLARKEThe flying bomb and the actuary - Royal Statistical Society, Wiley푸아송 분포실제값n_squares = 576n_bombs = 537# 구역당 떨어진 폭탄 수의 평균m = n_bombs / n_squaresprint(f'{m:.3f}')0.932# 구역당 떨어진 폭탄 수n_bombs_per_square = [0, 1, 2, 3, 4, 5]# 해당 구역 수 (관찰도수)observed_num_of_squares = [229, 211, 93, 35, 7, 1]print(f'# of squares: {sum(obs..

독일 V2 로켓과 런던 폭격 - 푸아송 분포 응용

관심을 가졌던 사항은 2차 세계 대전 말기 독일 V2 로켓에 의한 런던 폭격 지점의 분포와 푸아송 분포 응용 사례였는데 우연히 접한 기사를 흥미있게 읽다가 오류로 의심되는 부분을 발견하고 이를 확인하는 과정에서 글을 쓰게 되었습니다.기사 인용- [문학이 사랑한 통계⑬] 로저 멕시코와 함께하는 확률론 강의, 2019.01.03, 시사위크도서 내용 중 일부 - 토머스 핀천, 중력의 무지개, 이상국 옮김, 새물결로저는 그녀에게 V폭탄의 통계에 대해 애써 설명했다. 천사의 눈에나 보일 영국 지도 안의 분포와 이 아래 인간의 눈에 보이는, 그들 자신이 살아남을 기회의 차이에 대해.“그러나 이미 폭격을 몇 번이나 받은 곳도 있잖아. 그러니까-” “미안하지만 그게 바로 몬테카를로 오류라는 거야. 특정한 지역에 얼마나..

연관 분석 (Association Analysis) 이해하기

연관 분석은 대규모 데이터 속에서 항목 간의 유의미한 관계, 즉 '연관 규칙(Association Rule)'을 찾아내는 데이터 마이닝 기법입니다. 특히 "기저귀를 산 고객이 맥주도 함께 구매한다"처럼 상품 구매 데이터에서 규칙을 찾는 경우, 이를 장바구니 분석(Market Basket Analysis)이라고 부릅니다.1. 연관 분석이란 무엇인가요?연관분석은 다음과 같은 규칙을 찾는 것이 목적입니다.A → B"A가 발생하면 B도 함께 발생하는 경향이 있는가?" 예를 들어기저귀 → 맥주커피 → 빵와 같은 규칙을 찾습니다. 여기서 중요한 질문은 세 가지입니다.이런 경우가 얼마나 자주 발생하는가?A가 발생하면 B도 얼마나 자주 따라오는가?그것이 단순한 우연보다 얼마나 더 강한 관계인가?이 세 질문에 각각 대응..

차원 축소 기법 비교: PCA, SVD, ICA 핵심 차이점

세 기법(PCA, SVD, ICA)은 모두 데이터에 내재된 잠재적인 성분(component)이나 기저(basis)를 찾는다는 공통점이 있습니다. 하지만 무엇을 목표로 삼는지와 찾아내는 성분에 어떤 제약 조건을 거는지에서 근본적인 차이가 발생합니다.기법 비교1. PCA와 SVD: 통계 기법과 그것을 푸는 수학 도구두 기법은 수학적으로 매우 밀접하여 종종 혼용되지만, 개념적인 출발점이 다릅니다.관계: PCA는 통계적인 목표(분산 최대화)를 가진 분석 기법이며, SVD는 그 목표를 달성하기 위한 강력하고 안정적인 수학적 도구입니다. 실제로 데이터의 공분산 행렬을 직접 계산하여 PCA를 수행하는 것보다, 원본 데이터 행렬에 바로 SVD를 적용하여 주성분(Principal Components)을 찾는 방식이 수치..

데이터 분석을 위한 7가지 전통적인 차원 축소 기법

데이터 분석에서 차원 축소는 고차원의 데이터셋을 저차원으로 변환하여 분석을 용이하게 하고, 시각화하며, 계산 비용을 줄이는 중요한 과정입니다. 다음은 널리 사용되는 7가지 전통적인 차원 축소 기법입니다.1. 주성분 분석 (Principal Component Analysis - PCA)주성분 분석(PCA)은 가장 널리 알려진 비지도 학습 기반의 차원 축소 기법입니다. 데이터의 분산(variance)을 가장 잘 보존하는 새로운 좌표축, 즉 '주성분(Principal Component)'을 찾습니다. 첫 번째 주성분은 데이터의 가장 큰 분산을 설명하며, 두 번째 주성분은 첫 번째와 직교하면서 나머지 분산을 가장 잘 설명하는 축입니다. 이 과정을 통해 원본 데이터의 정보를 최대한 유지하면서 차원을 줄일 수 있습..