티스토리

yj.cho

검색하기

블로그 홈

yj.cho

junesnever.tistory.com/m

공부한 내용을 정리하는 IT 블로그입니다

구독자: 4

방명록 방문하기

주요 글 목록

7/20(목) IT K-DT(93일차) / 18.딥러닝 모델 Serving 18. 딥러닝 모델 Serving 교육 간 사용할 프로그램 (파이썬은 3.10 버전 이상으로 재설치 필요) 18-1. Pycharm 설치 및 설정 Pycharm 웹사이트: https://www.jetbrains.com/ko-kr/pycharm/download/?section=windows PyCharm 다운로드: JetBrains가 만든 전문 개발자용 Python IDE www.jetbrains.com 새로운 프로젝트 생성 왼쪽 상단 햄버거 버튼 > File > New Project 클릭 Pycharm을 사용할 경로 및 Python의 정상적인 설치 확인 맨 하단의 체크박스는 해제하는 것을 추천 새로운 프로젝트 리스트를 우클릭한 후 New > Python File을 클릭 파일 이름 작성 새로운 edit 파.. 공감수 0 댓글수 0 2023. 7. 20.
7/19(수) IT K-DT(92일차) / 14.RoBERTa를활용한NLI실습~17.KLUE 14.RoBERTa를 활용한 NLI 실습 !pip install transformers from transformers import pipeline, AutoTokenizer classifier = pipeline( 'text-classification', model='Huffon/klue-roberta-base-nli', return_all_scores=True ) tokenizer = AutoTokenizer.from_pretrained('Huffon/klue-roberta-base-nli') tokenizer.sep_token classifier(f'나는 악기를 연주하는 것을 좋아해. {tokenizer.sep_token} 나는 음악을 듣고 연주하는 것이 싫어.') # ENTAILMENT: 함축 /.. 공감수 0 댓글수 0 2023. 7. 19.
7/18(화) IT K-DT(91일차) / 11.BERT를활용한단어추론실습~13. GPT3을활용한생성실습 11. BERT를 활용한 단어 추론 실습 허깅 페이스(Hugging Face) 트랜스포머(transformer)를 기반으로 다양한 모델과 학습데이터, 학습방법을 구현해놓은 모듈. 질의응답, 텍스트분류, 텍스트요약, 개체명인식, 텍스트생성, 번역, 언어모델에 사용됨. !pip install transformers import torch from transformers import BertTokenizer, BertModel, BertForMaskedLM KLUE(Korean Language Understanding Evaluation) 카카오에서 개발한 한국어 자연어 이해를 평가 목적으로 개발된 벤치마크 데이터셋과 모델.(한국형 BERT) KLUE는 한국어 문장에 대한 다양한 자연어 처리(NLP) 작업을 .. 공감수 0 댓글수 0 2023. 7. 18.
7/17(월) IT K-DT(90일차) / 10.BERT 10.BERT BERT는 'Attention is all you need" 논문에서 볼 수 있는 Transformer 구조를 중점적으로 사용한 구조. BERT는 transformer 구조를 사용하면서도 encoder 부분만 사용하여 학습을 진행함. 기존 모델은 대부분 encoder-decoder으로 이루어져 있으며, GPT 또한 decoder 부분을 사용하여 text generation 문제를 해결하는 모델임. Transformer 구조 역시 input에서 text의 표현을 학습하고, decoder에서 우리가 원하는 task의 결과물을 만드는 방식으로 학습이 진행됨. 하지만, BERT는 decoder를 사용하지 않고 두 가지 대표적인 학습 방법으로 encoder를 학습시킨 후 특정 task의 fine-t.. 공감수 0 댓글수 0 2023. 7. 17.
7/14(금) IT K-DT(89일차) / 7.ELMo~9.GPT 7. ELMo (Embedding from Language Model) 2018년에 제안된 새로운 워드 임베딩 방법론. ELMo라는 이름은 세서미 스트리트라는 미국 인형극의 캐릭터 이름이기도 한데, BERT나 Big Bird라는 NLP 모델 또한 ELMo에 이어 세서미 스트리트의 캐릭터의 이름을 사용함. ELMo는 Embeddings from Language Model의 약자로, 해석하면 '언어 모델로 하는 임베딩'임. 가장 큰 특징은 사전 훈련된 언어 모델(Pre-trained language model)을 사용한다는 점. 7-1. 기존 워드 임베딩의 한계 Bank라는 단어를 생각해보자. Bank Account(은행 계좌)와 River Bank(강둑)에서의 Bank는 전혀 다른 의미를 가지는데, Wor.. 공감수 0 댓글수 0 2023. 7. 14.
7/6(목) IT K-DT(86일차) / 21. RNN 기초 21. RNN 기초 21-1. 순환 신경망(Recurrent Neural Network) * 입/출력을 시퀀스 단위로 처리하는 시퀀스 모델 * 시퀀스: 번역하고자하는 단어의 문장 * 연속적인 데이터를 NN에 하나씩 순차적으로 넣어 처리하는 모델 21-1-1. RNN 동작 방식 * 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 다시 출력층 방향으로 보내면서 은닉층 노드의 다음 계산의 입력으로 보내는 특징. * 셀(cell): 은닉층에서 활성화 함수를 통해 결과를 내보내는 역할을 하는 노드. 이전의 값을 기억하려하는 일종의 메모리역할을 수행함. * 은닉 상태(hidden state): 셀이 출력층 방향 또는 다음 시점인 t+1의 자신에게 보내는 값. 21-1-2. RNN의 유형 * One to Many.. 공감수 0 댓글수 0 2023. 7. 6.
7/6(목) IT K-DT(86일차) / 6.Seq2Seq 6. Seq2Seq 6-3. Seq2Seq의 배경 6-3-2. Sqe2Seq 모델 구조 * Seq2Seq는 한 문장을 다른 문장으로 변환하는 모델을 의미. * 가변길이의 입/출력을 처리하기 위해 인코더, 디코더 구조를 채택. * 인코더와 디코더는 모두 여러 개의 LSTM 또는 GRU 셀로 되어있음. * 바닐라 RNN 대신 LSTM과 GRU셀을 사용하는 이유는 LSTM과 GRU 모델이 RNN이 갖는 또다른 한계점인 Long-term dependency를 해결하기 위해서임. 6-3-3. 인코더 * 입력 문장을 컨텍스트 벡터에 인코딩(압축)하는 역할을 함. * 인코더의 LSTM은 입력문장을 단어순서대로 처리하여 고정된 크기의 컨텍스트 벡터를 반환 * 컨텍스트 벡터는 인코더의 마지막 스텝에서 출력된 hidden.. 공감수 0 댓글수 0 2023. 7. 6.
7/5(수) IT K-DT(85일차) / 5. 워드 임베딩 시각화~6.Seq2Seq 5. 워드 임베딩 시각화 5-1. 네이버 영화리뷰 데이터셋 총 200,000개 리뷰로 구성된 데이터로, 영화 리뷰를 긍/부정으로 분류하기 위해 만들어진 데이터셋. 리뷰가 긍정인 경우 1, 부정인 경우 0으로 표시한 레이블로 구성되어있음. # 한글 글꼴 적용 !sudo apt-get install -y fonts-nanum !sudo fc-cache -fv !rm ~/.cache/matplotlib -rf # train set/test set 불러오기 * train set https://raw.githubusercontent.com/e9t/nsmc/master/ratings_train.txt * test set https://raw.githubusercontent.com/e9t/nsmc/master/rat.. 공감수 1 댓글수 0 2023. 7. 5.
7/4(화) IT K-DT(84일차) / 4. 워드 임베딩(word embedding) (2) 4. 워드 임베딩(Word Embedding) 4-4. 워드 임베딩 구축하기 import pandas as pd import numpy as np from sklearn.datasets import fetch_20newsgroups # 20newsgroups라는 데이터셋을 활용할 예정 dataset = fetch_20newsgroups(shuffle=True, random_state=10, remove=('headers', 'footers', 'quotes')) # header, footer, quote를 삭제하여 정제한 데이터셋을 쓸 예정 dataset # dataset 내부의 data(말뭉치)만 가져올 예정 dataset.data # dataset에 data만 저장할 예정 dataset = datas.. 공감수 0 댓글수 0 2023. 7. 5.
7/3(월) IT K-DT(83일차) / 4. 워드 임베딩(word embedding) (1) 4. 워드 임베딩(Word Embedding) 4-1. 워드 임베딩(Word Embedding) * 단어를 컴퓨터가 이해하고, 효율적으로 처리할 수 있도록 단어를 벡터화하는 기술. * 단어를 밀집 벡터(dense vector)의 형태로 표현하는 방법 * 워드 임베딩 과정을 통해 나온 결과를 임베딩 벡터라고 말함. * 워드 임베딩을 거쳐 잘 표현된 단어 벡터들은 계산이 가능하며, 모델에 입력으로 사용할 수 있음. 4-1-1. 인코딩(Encoding) * 기계는 자연어를 이해할 수 없기 때문에 데이터를 기계가 이해할 수 있도록 숫자 등으로 변환해주는 작업. 4-1-2. 희소 표현(Sparse Representation) * 원핫인코딩을 통해 나온 원핫벡터들은 표현하고자 하는 단어의 인덱스의 값만 1이고 나머.. 공감수 0 댓글수 0 2023. 7. 3.
6/28(수) IT K-DT(80일차) / 3. 임베딩(embedding) (2) 3. 임베딩(embedding) 3-2. 임베딩 구축 방법 3-2-5. 분포 가설(Distributional Hypothesis) 및 언어 모델 분포가설은 단어의 의미는 그 단어가 주변에 등장하는 단어들과의 분포적인 관계에 의해 결정된다는 가설. 즉, 비슷한 문맥에서 등장하는 단어들은 비슷한 의미를 가지는 경향이 있다고 보는 것. 언어 모델은 분포 가설을 기반으로 한 모델을 의미함. 언어 모델은 단어들이 나타나는 확률 분포를 학습하여 다음 단어를 예측하는 작업을 수행함. 또한, 단어들의 의미와 문맥을 이해하고 문장 생성, 기계 번역 등 다양한 자연어 처리 작업에 활용할 수 있음. 예를 들어, "나는 밥을"이라는 문장에서 다음에 올 단어를 예측하는 언어 모델은 "먹는다"라는 단어가 나올 확률이 높다고 예측.. 공감수 0 댓글수 0 2023. 6. 29.
6/27(화) IT K-DT(79일차) / 3. 임베딩(embedding) (1) 3. 임베딩(embedding) 3-1. 자연어의 특성 * 자연어를 기계가 처리하도록 하기 위해서는 먼저 자연어를 기계가 이해할 수 있는 언어로 바꾸는 방법을 알아야 함. * 토큰화 작업의 결과인 단어사전을 기계가 이해할 수 있는 언어로 표현하는 과정. 3-1-1. 단어의 유사성과 모호성 * 대부분의 언어에서 단어의 의미는 유사성과 모호성을 가짐. 단어는 겉으로 보이는 형태인 표제어 안에 여러가지 의미를 담고 있음. * 대부분의 사람은 주변 정보에 따라 숨겨진 의미를 파악하고 이해할 수 있으나, 기계는 학습의 부재 또는 잘된 데이터로 의미를 파악하지 못하는 경우가 있음. * 한가지 형태의 단어에 여러 의미가 포함되어 생기는 문제를 갖는 중의성 문제는 자연어 처리에서 매우 중요. 1) 동형어와 다의어 - .. 공감수 0 댓글수 0 2023. 6. 27.
6/23(금) IT K-DT(77일차) / 2. 자연어 전처리 2. 자연어 전처리 2-1. 코퍼스(Corpus) 일정한 주제나 목적을 가진 텍스트의 집합으로 사전적으로 '말뭉치', '대량의 텍스트 데이터' 를 의미함. 자연어 처리에 사용되는 훈련 데이터로 사용되며 일반적으로 문서, 대화, 뉴스 기사와 같은 다양한 형태로 구성될 수 있음. 주로 자연어 처리 모델이 언어의 특성을 학습하고 이해하는 데 도움을 줌. 예를 들어, 기계 번역 시스템을 구축하기 위해 영어-한국어 번역을 학습시키기 위한 코퍼스를 수집할 수 있음. 이 코퍼스는 수백만 개의 문장으로 구성된 영어 문장과 해당 문장에 대한 한국어 번역으로 이루어짐. 모델은 코퍼스에서 통계적인 패턴과 구조를 학습하여 문장의 의미를 이해하고, 언어의 문법적 특성과 관계를 파악함. 이렇게 학습한 모델은 실제 자연어 처리 작.. 공감수 1 댓글수 0 2023. 6. 24.
6/22(목) IT K-DT(76일차) / 1. 자연어 처리 개요 1. 자연어 처리 개요 교육 간 Google Colab과 PyTorch를 이용할 예정 1-1. 자연어 처리(Natural Language Processing) 자연어를 컴퓨터 언어로 처리하는 분야. 자연어는 일상적으로 우리가 말하고 쓰는 언어로, 한국어, 영어, 중국어 등이 여기에 해당함. 자연어 처리는 컴퓨터가 자연어를 이해하고 분석하는 작업을 포함하며 이를 통해 텍스트 문서의 의미를 파악하거나, 문장을 이해하여 질문에 답변하는 등의 작업을 수행할 수 있음. 또한, 자연어 처리는 기계 번역, 텍스트 분류, 감성 분석, 정보 추출, 질의 응답 시스템, 챗봇 등의 다양한 응용 분야에 적용됨. 1-2. 자연어 처리의 활용 자연어 처리의 주요 작업: 1) 토큰화(Tokenization): 문장을 단어나 구절 .. 공감수 1 댓글수 0 2023. 6. 23.
6/21(수) IT K-DT(75일차) / 20. 포켓몬 분류 예제 20. 포켓몬 분류 예제 20-1. 포켓몬 분류 데이터셋 train에 사용될 포켓몬 149종 데이터셋: https://www.kaggle.com/datasets/thedagger/pokemon-generation-one Pokemon Generation One Gotta train 'em all! www.kaggle.com validation에 사용될 포켓몬 898종 데이터셋: https://www.kaggle.com/hlrhegemony/pokemon-image-dataset Complete Pokemon Image Dataset 2,500+ clean labeled images, all official art, for Generations 1 through 8. www.kaggle.com 20-2. .. 공감수 0 댓글수 1 2023. 6. 22.
6/20(화) IT K-DT(74일차) / 19. 전이학습 19. 전이학습 19-1. 에일리언vs프레데터 데이터셋 "에일리언 대 프레데터 (Alien vs. Predator)" 데이터셋: 컴퓨터 비전 분야에서 사용되는 이미지 분류 문제에 대한 Kaggle의 데이터셋으로, 이 데이터셋은 에일리언(Alien)과 프레데터(Predator)라는 두 가지 클래스로 구성된 이미지를 포함하고 있음. 다양한 크기와 배경에서 촬영된 에일리언과 프레데터로 분류된 500장의 훈련 이미지 + 200장의 테스트 이미지가 있으며, 이 데이터셋은 컴퓨터 비전 모델을 학습시켜 에일리언과 프레데터를 정확하게 분류하는 분류기를 구축하는 데 사용됨. 공식 웹사이트: https://www.kaggle.com/datasets/pmigdal/alien-vs-predator-images Alien vs.. 공감수 0 댓글수 2 2023. 6. 20.
6/19(월) IT K-DT(73일차) / 18. CNN 기초 18. CNN(Convolutional Neural Networks) 18-1. CNN의 개요 CNN(컨볼루셔널 신경망)은 이미지 처리와 인식에 주로 사용되는 딥러닝 알고리즘임. 이미지를 입력으로 받아들이고, 이미지 내의 특징을 추출하여 해당 이미지가 어떤 카테고리에 속하는지 분류하는 작업을 수행함. 일반적인 신경망과는 달리 CNN은 이미지의 공간적 구조를 활용하여 특징을 추출하고 학습함. 이를 가능하게 하는 핵심 개념으로는 합성곱 연산(convolution)과 풀링(pooling)이 있음. 합성곱 연산(convolution)은 입력 이미지와 일련의 작은 필터(filter)를 곱하여 특징 맵(feature map)을 생성함. 필터는 이미지에서 특정한 패턴이나 특징을 찾는 역할을 수행하며, 엣지(edge).. 공감수 0 댓글수 0 2023. 6. 19.
6/16(금) IT K-DT(72일차) / 15. 데이터로더~17.활성화함수 15. 데이터 로더 15-1. 손글씨 인식모델 만들기 # 필요한 라이브러리 및 모듈 불러오기 import torch import torch.nn as nn import torch.optim as optim import torchvision.datasets as datasets # torchvision에서 제공하는 다양한 데이터셋을 쉽게 다운로드하고 사용 import torchvision.transforms as transforms # 이미지에 대한 다양한 전처리 작업을 수행 import matplotlib.pyplot as plt from sklearn.datasets import load_digits # 교육간 이용할 손글씨 데이터셋 # GPU 장치 사용 예정 device = 'cuda' if torc.. 공감수 0 댓글수 0 2023. 6. 16.
6/15(목) IT K-DT(71일차) / 12.PyTorch~14.PyTorch구현-논리회귀 12. PyTorch 토치(Torch) 및 카페2(Caffe2)를 기반으로 한 딥러닝 라이브러리. 경쟁작으로 구글의 TensorFlow가 있음. 2017년 9월에 페이스북과 마이크로소프트가 협업하여 개발함. NumPy의 배열을 Tensor로 가져올 수 있고, 이를 쉽게 GPU상에 올려 연산을 가능하게 함. TensorFlow의 2.0버전 이후 자유로운 네트워크 수정의 난이도가 점점 높아진 이후 연구원들 사이에서는 PyTorch의 사용 비중이 높아지고 있는 추세. * 공식 웹사이트: https://pytorch.org/ PyTorch An open source machine learning framework that accelerates the path from research prototyping to .. 공감수 0 댓글수 1 2023. 6. 15.
6/14(수) IT K-DT(70일차) / 11.KMeans 11. KMeans 11-1. cluster import numpy as np import pandas as pd import seaborn as sns import matplotlib.pyplot as plt from sklearn.datasets import make_blobs make_blobs(): 사이킷런(Scikit-learn) 라이브러리에서 제공하는 데이터셋 생성 함수 중 하나로, 지정된 개수의 클러스터를 생성하고, 각 클러스터 내의 데이터 포인트를 생성함. n_samples: 생성할 데이터의 총 개수 centers: 생성할 클러스터의 개수이자 각 클러스터의 중심 개수. X, y = make_blobs(n_samples=100, centers=3, random_state=10) X # 총 1.. 공감수 0 댓글수 0 2023. 6. 14.
6/13(화) IT K-DT(69일차) / 10.lightGBM 10.lightGBM 10-1. credit 데이터셋 import numpy as np import pandas as pd import seaborn as sns import matplotlib.pyplot as plt credit_df = pd.read_csv('/content/drive/MyDrive/K-DT/머신러닝과 딥러닝/credit.csv') ▲ 위의 볼드체는 본인이 파일을 다운받은 경로를 입력 credit_df (Credit_Score를 독립변수로 사용할 예정. 전처리할 부분이 많은 까다로운 데이터셋임을 참고하자.) # df의 열을 모두 펼치기 pd.set_option('display.max_columns', 50) credit_df.head() # info 확인 cre.. 공감수 0 댓글수 0 2023. 6. 13.
6/12(월) IT K-DT(68일차) / 7.로지스틱회귀~9.랜덤포레스트 7. 로지스틱 회귀(Logistic Regression) 통계학과 머신 러닝에서 사용되는 분류 알고리즘. 이 알고리즘은 입력 변수와 출력 변수 사이의 관계를 모델링하고, 주어진 입력 값에 대해 출력 값을 예측하는 데 사용됨. 로지스틱 회귀는 이름은 회귀(regression)를 포함하나, 이진 분류(binary classification)에 주로 사용됨. 이는 입력 변수를 기반으로 주어진 데이터 포인트가 두 개의 클래스 중 하나에 속하는지 예측하는 것을 의미. 로지스틱 회귀의 핵심 아이디어는 선형 회귀와 로지스틱 함수인 시그모이드 함수(sigmoid function)를 조합하는 것임. 로지스틱 회귀는 입력 변수의 선형 조합을 계산한 후, 이 값을 시그모이드 함수에 적용하여 0과 1 사이의 확률 값으로 변환.. 공감수 0 댓글수 0 2023. 6. 12.
6/9(금) IT K-DT(67일차) / 5.선형회귀~6.의사결정나무 5.선형회귀 5-2. 선형 회귀(Linear Regression) 가장 널리 사용되는 회귀 분석 방법 중 하나. 데이터의 분포를 가장 잘 설명하는 직선을 찾아내는 방법. * 단순 선형 회귀 분석: 단일 독립변수를 이용. * 다중 선형 회귀 분석: 다중 독립변수를 이용. # 선형회귀와 관련된 모듈 from sklearn.linear_model import LinearRegression # lr이라는 선형회귀의 객체 생성 lr = LinearRegression() # 학습 lr.fit(X_train, y_train) # X_test를 입력했을 때의 예측결과 출력 pred = lr.predict(X_test) 5-3. 평가지표 만들기 5-3-1. MSE(평균제곱근오차. Mean Squared Error) 예측.. 공감수 0 댓글수 1 2023. 6. 9.
6/8(목) IT K-DT(66일차) / 1.머신러닝~5.선형회귀 1. 머신러닝 인공지능: 인공(Artificial) + 지능(Intelligence) 머신러닝: 데이터를 기반으로 한 학습(learning)하는 기계(machine) 딥러닝: 깊은(deep) 신경망 구조의 머신러닝(machine learning) 머신러닝의 배경 과거 컴퓨터로 데이터를 읽어들이고, 데이터 안에서 특징을 학습하여 패턴을 찾아내는 작업 → 패턴인식 데이터를 대량으로 수집/처리할 수 있는 환경이 갖춰짐으로 할 수 있는 일들이 많아짐. 머신러닝은 데이터로부터 특징이나 패턴을 찾아내는 것이기 때문에 데이터가 가장 중요. 머신러닝의 정의 인공지능의 한 분야로 컴퓨터가 학습할 수 있도록 하는 알고리즘/기술을 개발하는 분야 '무엇(x)으로 무엇(y)을 예측하고 싶다'의 f(함수)를 찾아내는 것 y: 출.. 공감수 0 댓글수 0 2023. 6. 8.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.