FedTensor

  • 홈
  • 태그
  • 방명록

인코더 1

TR-05. 트랜스포머 인코더(Encoder)

트랜스포머 모델의 인코더는 입력 시퀀스(예: "나는 학생이다")를 받아, 각 단어(토큰)의 문맥적 의미를 풍부하게 담은 벡터 시퀀스로 변환하는 역할을 합니다. 이 벡터 시퀀스는 디코더가 번역이나 요약과 같은 작업을 수행하는 데 필요한 핵심 정보를 담고 있습니다. 인코더는 동일한 구조의 '인코더 레이어(Encoder Layer)'가 N개(오리지널 논문에서는 6개) 쌓여 있는 형태입니다.1. 인코더의 시작: 입력 처리본격적으로 인코더 레이어에 들어가기 전에, 입력 텍스트는 두 단계를 거칩니다.입력 임베딩 (Input Embedding):입력 문장의 각 단어(토큰)는 고유한 벡터로 변환됩니다. 예를 들어 "I", "am", "a", "student"라는 단어들이 각각 512차원의 벡터가 됩니다. 이 벡터는 단..

인공지능/트랜스포머 이해 2025.10.23
이전
1
다음
더보기
프로필사진

FedTensor

데이터의 보호와 활용 - 천천히, 제대로

  • 분류 전체보기 (127) N
    • 뇌과학 (14)
      • 뇌 가소성 (8)
      • 뇌 신경망 (4)
      • 의식 (2)
    • 인공지능 (29)
      • 신경망 이해 (6)
      • 트랜스포머 이해 (6)
      • BERT 계열 이해 (4)
      • GPT 계열 이해 (1)
      • 이미지 분류 (3)
      • 객체 탐지 및 추적 (1)
      • 평가지표 (3)
      • 모델 보안 (5)
    • 연합학습 (27)
      • 사이버 보안 (9)
      • 안전한 집계 (4)
      • 추론 성능 (6)
      • 구축 방안 (8)
    • 개인정보보호 강화 기술 (14)
      • PETs (1)
      • 타원 곡선 암호 (0)
      • 보안 다자간 계산 (6)
      • 영지식 증명 (0)
      • 차등 정보보호 (7)
    • 정보량과 엔트로피 (0)
    • 데이터 분석 (15)
      • 회귀 분석 (8)
      • 차원 축소 (2)
      • 가설 검정 (2)
      • 연관 분석 (1)
      • 시각화 (2)
    • 수학 (20) N
      • 베이지안 추론 (6)
      • 선형대수학 (2)
      • 확률과 통계 (3)
      • 푸아송 과정과 확률 분포 (7)
      • 암호학을 위한 수학 (2) N
    • 물리 (8)
      • 고전역학 (4)
      • 상대성 이론 (3)
      • 양자역학 (1)

Tag

트랜스포머, 데이터분석, 로지스틱회귀, 차등정보보호, 개인정보보호, 이질적데이터, non-iid, 신경망, secagg+, 차분프라이버시, 연합학습, 프라이버시, 학습, 경사하강법, 감마분포, 베이지안추론, 보안다자간계산, 뇌가소성, 신경세포, 전역민감도, 최소작용의원리, smpc, 안전한집계, 푸아송분포, 기억, map, 사이버보안, 비밀공유, 지수분포, 인접데이터셋,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/01   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바