데이터분석 및 데이터엔지니어/파이썬9 KoBERT 코랩을 로컬환경 vscode에서 해보자 코랩 환경과 윈도우 환경이 좀 달라서 코드가 달라진다 달라진 것만 기록 ! 설치부분은 pip install ipywidgets 이것만 하면 되고 나머지 !로 시작하는건 다 없애준다 그리고 이전 영상에도 썼듯이 pip install -r requirements.txt pip install . 하면 기본적인 설치는 끝난다. 그 후 기본적인 패키지는 코랩과 똑같이 불러와주고 txt 설치 부분을 변경해주어야 한다 import urllib.request url = 'http://skt-lsl-nlp-model.s3.amazonaws.com/KoBERT/datasets/nsmc/ratings_train.txt' filename = '.cache/ratings_train.txt' urllib.request.urlre.. 2023. 11. 24. 파이썬 KoBERT 패키지 설치 및 onnxruntime 설치오류 ERROR: Could not find a version that satisfies the requirement onnxruntime conda create -n kobert python=3.9 가상환경이름 kobert 생성. 파이썬 3.9로 생성 > conda activate kobert 가상환경 입장 > pip install -r requirements.txt 설치가 잘되는 듯 했지만 ERROR: Cannot install -r requirements.txt (line 2), -r requirements.txt (line 3) and -r requirements.txt (line 4) because these package versions have conflicting dependencies. The.. 2023. 11. 23. 파이썬 python plotly dash를 이용하여 대시보드 만들기 (1) 파이썬에서 그래프를 그리는 방법은 크게 3가지인데, 1. matplotlib 2. seaborn 3. plotly 이다. 개인적으로 1 < 2 < 3 순서로 그래프가 이쁘게 그려지고 코드 쓰기 좀 더 복잡하다고 느낀다. 암튼, 최근 plotly dash 만드는 법을 배웠는데 예시 코드를 봐도 이해 안되는 점도 많고 더 공부가 필요할 것같아서 블로그에 그릴 수 있는 대시보드들을 저장해두고자 한다. 작업은 주피터노트북에서 하며, 패키지는 미리 불러왔다고 가정한다. 불러온 패키지는 다음과 같다. 이는 dash만을 위한 것은 아니고 전처리와 시각화를 위한 패키지도 포함되어있다. import pandas as pd import matplotlib.pyplot as plt plt.rcParams['font.fami.. 2023. 7. 26. [수정] 윈도우 11에서 파이썬 설치하기 (아나콘다, 주피터노트북) 노트북을 새로 구매하여 파이썬을 다시 설치하게 되었다. 파이썬 설치할 일이 많아서 기록해두면 좋을 거 같아서 이렇게 블로그에 박제해두기로 했다. [수정] 아래의 방법으로 노트북에 파이썬을 깔고 아나콘다를 설치했지만, 다른 컴퓨터로 실험해본 결과 그럴 필요없이 아나콘다만 설치해도 된다 !! 설치 옵션만 모두로 해주면 환경변수 따로 설정해 줄 필요도 없이 잘 설치된다목차파이썬 설치아나콘다 설치1. 파이썬 설치https://www.python.org/downloads/windows/ Python Releases for WindowsThe official home of the Python Programming Languagewww.python.org 파이썬은 파이썬 다운로드 홈페이지에서 다운받을 수 있으며, 2.. 2023. 6. 12. 데이터 분석하기 전 python에 설치해야 할 라이브러리 정리 pip install pandas pip install numpy pip install scipy (필요할 때마다 추가예정) 2021. 11. 9. sklearn 패키지 설치 오류 WARNING: You are using pip version 21.2.3; however, version 21.3.1 is available. You should consider upgrading via the 'C:\Users\hannah\AppData\Local\Programs\Python\Python310\python.exe -m pip install --upgrade pip' command. 이건 비교적 쉽게 해결할 수 있는 오류로 'python -m pip install --upgrade pip' 라고 입력하여 업그레이드 해주면 해결되는 문제다 2021. 11. 9. 파이썬 기초 정리 (2) set/sort() vs. sorted() 1. set(집합) mutable 객체 중괄호를 사용함 여러가지 형태를 함께 넣을 수 있지만, 값이 변할 수 있는 자료형은 넣을 수 없음 중복제거 순서가 없음 (넣은대로 출력 불가능) 데이터분석 시 list의 중복의 제거하기 위한 용도로 list(set(value))를 많이 사용함 2. sort() vs. sorted() sort( )와 sorted( ) 모두 정렬을 위한 것임 sort( )는 새로운 복사본을 만들지 않으므로 sorted( )보다 빠름 (1) sort() 리스트 전용 메소드로 리스트명.sort( )형식으로 사용함 리스트 원본값을 직접 수정 (2) sorted() 내장함수이며, 리스트 외에도 사용할 수 있음 sorted( 리스트명 ) 형식으로 사용함 리스트 원본 값은 그대로이고 정렬 값.. 2021. 10. 26. 파이썬 기초 정리 (1) List/Dictionary/함수/메소드 1. List list.append(d) : d를 리스트 마지막 원소 뒤에 추가 (오직 1개만 가능) list.insert(i, d) : 인덱스 i에 d를추가 (오직 1개만 가능) list.remove(d) : 처음나오는 d를 제거 list.sort() : 리스트 정렬 in : 시퀀스 안에 원소가 있는지 확인 ('a' in array) len : 시퀀스 길이 확인 + : 두개의 시퀀스를 연결할 수 있음 * : 시퀀스를 반복할 수 있음 2. Dictionary key, value 형태로, { }로 묶어서 표현 del : 원소 삭제 변할 수 없는 자료형이므로, 리스트를 넣을 수 없음 (튜플은 가능) 3. 함수 vs. 메서드 함수 : 특정기능을 수행함 (매개변수를 이용해 자료를 전달) 메서드 : 특정자료와 연.. 2021. 10. 26. Jupyter Notebook 주피터노트북 단축키 정리 현재 위치 위에(above) 셀 추가 : Esc + a 현재 위치 아래(below) 셀 추가 : Esc + b dd c x v Shift+m 현재 셀 실행 ( 실행 후 아래 셀로 이동) : Shift + Enter 현재 셀만 실행 ( 실행 후 아래로 이동X) : Ctrl + Enter # Ctrl + / 2021. 10. 23. 이전 1 다음
