FedTensor

  • 홈
  • 태그
  • 방명록

마스크언어모델 1

BERT, GPT-2, XLNet 학습 방식 비교: 양방향, 단방향, 순열

주요 언어 모델 특징 비교: BERT, GPT-2, XLNet이 세 모델은 현대 자연어 처리(NLP) 분야에 혁명을 일으킨 대표적인 언어 모델들입니다. 모두 트랜스포머(Transformer)라는 강력한 아키텍처를 공유하지만, 마치 각기 다른 철학을 가진 라이벌처럼 언어를 학습하는 방식에서 뚜렷한 차이를 보입니다. 이 차이점을 이해하는 것은 NLP 기술을 올바르게 활용하는 데 매우 중요합니다.1. BERT (Bidirectional Encoder Representations from Transformers)BERT는 문장의 양쪽 문맥을 동시에 고려하여 단어의 의미를 파악하는 양방향(Bidirectional) 모델입니다. 이는 마치 우리가 문장을 읽을 때 특정 단어의 의미를 파악하기 위해 앞뒤 단어를 모두 ..

인공지능/BERT 계열 이해 2025.10.11
이전
1
다음
더보기
프로필사진

FedTensor

데이터의 보호와 활용 - 천천히, 제대로

  • 분류 전체보기 (127) N
    • 뇌과학 (14)
      • 뇌 가소성 (8)
      • 뇌 신경망 (4)
      • 의식 (2)
    • 인공지능 (29)
      • 신경망 이해 (6)
      • 트랜스포머 이해 (6)
      • BERT 계열 이해 (4)
      • GPT 계열 이해 (1)
      • 이미지 분류 (3)
      • 객체 탐지 및 추적 (1)
      • 평가지표 (3)
      • 모델 보안 (5)
    • 연합학습 (27)
      • 사이버 보안 (9)
      • 안전한 집계 (4)
      • 추론 성능 (6)
      • 구축 방안 (8)
    • 개인정보보호 강화 기술 (14)
      • PETs (1)
      • 타원 곡선 암호 (0)
      • 보안 다자간 계산 (6)
      • 영지식 증명 (0)
      • 차등 정보보호 (7)
    • 정보량과 엔트로피 (0)
    • 데이터 분석 (15)
      • 회귀 분석 (8)
      • 차원 축소 (2)
      • 가설 검정 (2)
      • 연관 분석 (1)
      • 시각화 (2)
    • 수학 (20) N
      • 베이지안 추론 (6)
      • 선형대수학 (2)
      • 확률과 통계 (3)
      • 푸아송 과정과 확률 분포 (7)
      • 암호학을 위한 수학 (2) N
    • 물리 (8)
      • 고전역학 (4)
      • 상대성 이론 (3)
      • 양자역학 (1)

Tag

베이지안추론, 차분프라이버시, 학습, 신경세포, 차등정보보호, 푸아송분포, 신경망, 안전한집계, secagg+, 뇌가소성, map, 경사하강법, 보안다자간계산, 감마분포, 연합학습, 이질적데이터, 개인정보보호, 사이버보안, 프라이버시, 전역민감도, 트랜스포머, 비밀공유, non-iid, 지수분포, 로지스틱회귀, 데이터분석, smpc, 인접데이터셋, 최소작용의원리, 기억,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/01   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바