Working with text data

This chapter covers

• 대형 언어 모델 훈련을 위한 텍스트 준비

• 텍스트를 단어와 서브워드 토큰으로 분할

• 텍스트를 토큰화하는 보다 진보된 방법인 바이트 페어 인코딩

• 슬라이딩 윈도우 접근 방식을 사용한 훈련 예제 샘플링

• 토큰을 대형 언어 모델에 입력하기 위한 벡터로 변환

2.1. Understanding word embeddings

• 데이터를 벡터 형식으로 변환하는 개념을 임베딩이라고 함

• 임베딩 결과 시각화

• 다른 데이터 형식에는 각기 다른 임베딩 모델이 필요

  • e.g. 텍스트 임베딩 모델은 오디오 or 비디오 임베딩에 부적절

• Word2Vec과 같은 임베딩 모델 쓸 수도 있는데, 일반적으로 자체 임베딩을 생성함

2.2. Tokenizing text

• regex로 토크나이징

    re.split(r'([,.]|\\s)', text)
  

• Input text → Tokenized text → Token IDs → Token embeddings

2.3. Converting tokens into token IDs

• 토큰 ID로 매핑하려면 어휘(vocabulary)를 만들어야 함

• Vocabulary: 모델이 다룰 수 있는 단어/토큰들의 전체 집합

  • 각 고유 단어와 특수문자를 고유한 정수에 매핑하는 방법을 정의함

  • 예제에서는 그냥 알파벳순으로 정렬함

• Dictionary: 매핑 적용 후 테이블

• Encoding: dictionary를 사용해 텍스트를 ID로 변환

• Decoding: dictionary를 사용해 ID를 텍스트로 역변환

2.4. Adding special context tokens

• 특정 문맥을 처리하기 위해 특수 토큰 추가 필요

• GPT 모델은 단순화를 위해 <|endoftext|> 토큰만 사용

  • 토큰들은 특정 구간의 시작이나 끝을 알리는 마커 역할

• GPT 모델은 단어를 하위 단어 단위로 분해하는 Byte pair encoding 사용

2.5. Byte pair encoding

• 기존에 있던 단어를 분리하는 알고리즘

• character 단위에서 점차적으로 vocabulary를 만들어 내는 bottom up

• 더 작은 하위 단어 or 개별 문자로 분해 후 vocabulary에 추가

• 연속적으로 가장 많이 등장한 글자 쌍을 찾아서 하나의 글자로 병합

• tiktoken: A fast BPE tokeniser

2.6. Data sampling with a sliding window

• 슬라이딩 윈도우: 텍스트를 일정 크기의 겹치는 구간으로 나누어 입력과 타겟을 생성

• max_length: 한 번에 처리할 토큰 수, 추론 시 컨텍스트 윈도우의 상한

• stride: 윈도우가 이동하는 간격

• stride < max_length으로 설정하여 과적합(overfitting)을 방지

2.7. Creating token embeddings

• 임베딩이 필요한 이유

  • 딥러닝 신경망은 연속적인 벡터 표현 필요

  • 역전파 알고리즘으로 훈련되기 때문

  • 정수형 토큰 ID로는 gradient 계산 불가

• 작동 메커니즘

  • 조회 작업(Lookup): 토큰 ID로 가중치 행렬에서 해당 행 선택

  • e.g. 토큰 ID 3 → 가중치 행렬의 4번째 행(0-indexed)

  • One-hot 인코딩 + 행렬 곱셈의 효율적 구현

2.8. Encoding word positions

• 토큰 임베딩의 한계

  • Self-attention 메커니즘이 토큰의 위치나 순서를 이해하지 못하는 문제가 있음

  • 임베딩 레이어는 토큰 ID가 어느 위치에 있든 항상 동일한 벡터로 변환

• 위치 임베딩의 필요성

  • 절대적 위치 임베딩: 시퀀스 내 특정 위치와 연결되며, 각 위치마다 고유한 임베딩을 토큰 임베딩에 더함

  • 상대적 위치 임베딩: 토큰 간의 상대적 거리에 중점을 두며, 훈련 중 보지 못한 길이의 시퀀스에도 잘 일반화됩니다