KoBERT 코랩을 로컬환경 vscode에서 해보자

코랩 환경과 윈도우 환경이 좀 달라서 코드가 달라진다

달라진 것만 기록 ! 

 

설치부분은 

 

pip install ipywidgets

 

이것만 하면 되고 나머지 !로 시작하는건 다 없애준다 

그리고 이전 영상에도 썼듯이 

 

pip install -r requirements.txt

pip install . 

 

하면 기본적인 설치는 끝난다.

그 후 기본적인 패키지는 코랩과 똑같이 불러와주고 

 

txt 설치 부분을 변경해주어야 한다 

 

import urllib.request

url = 'http://skt-lsl-nlp-model.s3.amazonaws.com/KoBERT/datasets/nsmc/ratings_train.txt'
filename = '.cache/ratings_train.txt'

urllib.request.urlretrieve(url, filename)

url = 'http://skt-lsl-nlp-model.s3.amazonaws.com/KoBERT/datasets/nsmc/ratings_test.txt'
filename = '.cache/ratings_test.txt'

urllib.request.urlretrieve(url, filename)

 

그리고 쭈욱 실행해주다가 

 

train_dataloader = torch.utils.data.DataLoader(data_train, batch_size=batch_size, num_workers=0) 
test_dataloader = torch.utils.data.DataLoader(data_test, batch_size=batch_size, num_workers=0)

 

num_worker 부분을 0으로 바꿔주어야한다

기존에는 5였다

왜냐하면 window환경에서는 0이 아닌 다른 숫자가 들어오면 에러가 발생하기때문에 무조건 0으로 해줘야한다 

그 뒤로 drive 변수는 삭제해줘도 안해줘도 상관없는거 같다 

나머지는 다 오케이 ~