7. ML | DL | NLP (24) 썸네일형 리스트형 7/20(목) IT K-DT(93일차) / 18.딥러닝 모델 Serving 18. 딥러닝 모델 Serving 교육 간 사용할 프로그램 (파이썬은 3.10 버전 이상으로 재설치 필요) 18-1. Pycharm 설치 및 설정 Pycharm 웹사이트: https://www.jetbrains.com/ko-kr/pycharm/download/?section=windows PyCharm 다운로드: JetBrains가 만든 전문 개발자용 Python IDE www.jetbrains.com 새로운 프로젝트 생성 왼쪽 상단 햄버거 버튼 > File > New Project 클릭 Pycharm을 사용할 경로 및 Python의 정상적인 설치 확인 맨 하단의 체크박스는 해제하는 것을 추천 새로운 프로젝트 리스트를 우클릭한 후 New > Python File을 클릭 파일 이름 작성 새로운 edit 파.. 7/19(수) IT K-DT(92일차) / 14.RoBERTa를활용한NLI실습~17.KLUE 14.RoBERTa를 활용한 NLI 실습 !pip install transformers from transformers import pipeline, AutoTokenizer classifier = pipeline( 'text-classification', model='Huffon/klue-roberta-base-nli', return_all_scores=True ) tokenizer = AutoTokenizer.from_pretrained('Huffon/klue-roberta-base-nli') tokenizer.sep_token classifier(f'나는 악기를 연주하는 것을 좋아해. {tokenizer.sep_token} 나는 음악을 듣고 연주하는 것이 싫어.') # ENTAILMENT: 함축 /.. 7/18(화) IT K-DT(91일차) / 11.BERT를활용한단어추론실습~13. GPT3을활용한생성실습 11. BERT를 활용한 단어 추론 실습 허깅 페이스(Hugging Face) 트랜스포머(transformer)를 기반으로 다양한 모델과 학습데이터, 학습방법을 구현해놓은 모듈. 질의응답, 텍스트분류, 텍스트요약, 개체명인식, 텍스트생성, 번역, 언어모델에 사용됨. !pip install transformers import torch from transformers import BertTokenizer, BertModel, BertForMaskedLM KLUE(Korean Language Understanding Evaluation) 카카오에서 개발한 한국어 자연어 이해를 평가 목적으로 개발된 벤치마크 데이터셋과 모델.(한국형 BERT) KLUE는 한국어 문장에 대한 다양한 자연어 처리(NLP) 작업을 .. 7/17(월) IT K-DT(90일차) / 10.BERT 10.BERT BERT는 'Attention is all you need" 논문에서 볼 수 있는 Transformer 구조를 중점적으로 사용한 구조. BERT는 transformer 구조를 사용하면서도 encoder 부분만 사용하여 학습을 진행함. 기존 모델은 대부분 encoder-decoder으로 이루어져 있으며, GPT 또한 decoder 부분을 사용하여 text generation 문제를 해결하는 모델임. Transformer 구조 역시 input에서 text의 표현을 학습하고, decoder에서 우리가 원하는 task의 결과물을 만드는 방식으로 학습이 진행됨. 하지만, BERT는 decoder를 사용하지 않고 두 가지 대표적인 학습 방법으로 encoder를 학습시킨 후 특정 task의 fine-t.. 7/14(금) IT K-DT(89일차) / 7.ELMo~9.GPT 7. ELMo (Embedding from Language Model) 2018년에 제안된 새로운 워드 임베딩 방법론. ELMo라는 이름은 세서미 스트리트라는 미국 인형극의 캐릭터 이름이기도 한데, BERT나 Big Bird라는 NLP 모델 또한 ELMo에 이어 세서미 스트리트의 캐릭터의 이름을 사용함. ELMo는 Embeddings from Language Model의 약자로, 해석하면 '언어 모델로 하는 임베딩'임. 가장 큰 특징은 사전 훈련된 언어 모델(Pre-trained language model)을 사용한다는 점. 7-1. 기존 워드 임베딩의 한계 Bank라는 단어를 생각해보자. Bank Account(은행 계좌)와 River Bank(강둑)에서의 Bank는 전혀 다른 의미를 가지는데, Wor.. 7/6(목) IT K-DT(86일차) / 21. RNN 기초 21. RNN 기초 21-1. 순환 신경망(Recurrent Neural Network) * 입/출력을 시퀀스 단위로 처리하는 시퀀스 모델 * 시퀀스: 번역하고자하는 단어의 문장 * 연속적인 데이터를 NN에 하나씩 순차적으로 넣어 처리하는 모델 21-1-1. RNN 동작 방식 * 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 다시 출력층 방향으로 보내면서 은닉층 노드의 다음 계산의 입력으로 보내는 특징. * 셀(cell): 은닉층에서 활성화 함수를 통해 결과를 내보내는 역할을 하는 노드. 이전의 값을 기억하려하는 일종의 메모리역할을 수행함. * 은닉 상태(hidden state): 셀이 출력층 방향 또는 다음 시점인 t+1의 자신에게 보내는 값. 21-1-2. RNN의 유형 * One to Many.. 7/6(목) IT K-DT(86일차) / 6.Seq2Seq 6. Seq2Seq 6-3. Seq2Seq의 배경 6-3-2. Sqe2Seq 모델 구조 * Seq2Seq는 한 문장을 다른 문장으로 변환하는 모델을 의미. * 가변길이의 입/출력을 처리하기 위해 인코더, 디코더 구조를 채택. * 인코더와 디코더는 모두 여러 개의 LSTM 또는 GRU 셀로 되어있음. * 바닐라 RNN 대신 LSTM과 GRU셀을 사용하는 이유는 LSTM과 GRU 모델이 RNN이 갖는 또다른 한계점인 Long-term dependency를 해결하기 위해서임. 6-3-3. 인코더 * 입력 문장을 컨텍스트 벡터에 인코딩(압축)하는 역할을 함. * 인코더의 LSTM은 입력문장을 단어순서대로 처리하여 고정된 크기의 컨텍스트 벡터를 반환 * 컨텍스트 벡터는 인코더의 마지막 스텝에서 출력된 hidden.. 7/5(수) IT K-DT(85일차) / 5. 워드 임베딩 시각화~6.Seq2Seq 5. 워드 임베딩 시각화 5-1. 네이버 영화리뷰 데이터셋 총 200,000개 리뷰로 구성된 데이터로, 영화 리뷰를 긍/부정으로 분류하기 위해 만들어진 데이터셋. 리뷰가 긍정인 경우 1, 부정인 경우 0으로 표시한 레이블로 구성되어있음. # 한글 글꼴 적용 !sudo apt-get install -y fonts-nanum !sudo fc-cache -fv !rm ~/.cache/matplotlib -rf # train set/test set 불러오기 * train set https://raw.githubusercontent.com/e9t/nsmc/master/ratings_train.txt * test set https://raw.githubusercontent.com/e9t/nsmc/master/rat.. 이전 1 2 3 다음
