6/27(화) IT K-DT / 과제 - 서브워드 토크나이저 조사

 

BPE 알고리즘"에 대해 조사하고 해당 알고리즘을 잘 설명할 수 있는 예제와 실습과제를 완성해보자(각 팀에서 한명 나와서 설명하기)

1. 어떻게 토큰을 나누고 있는지
2. 파이썬 함수/클래스로 만들어볼 수 있다(글자 넣을 시 어떻게 분절하는지)
3. 문장을 넣으면 이렇게 분절되더라~ 도 보여주기

--> 화요일에 발표(BPE, WordPiece Tokenizer 둘중에 하나만 발표) (편집됨) 

 

---

토크나이즈_과제.ipynb

0.06MB

토크나이저발표.pptx

4.53MB

서브워드 토크나이저_조윤재.pptx

0.69MB

BPE_시연예제.ipynb

0.00MB

Tokenizer 알고리즘_DY_0626.pptx

1.95MB

 

 

---

 

 

Tokenizer 알고리즘_DY_0627최최종.pptx

1.94MB