Jinho Tech

아나콘다 가상 환경이 삭제돼버려서 다시 깔아야 된다...

이참에 나도 다시 설치하면서 여기다가 정리를 해보려고 한다.

우선 아나콘다가 깔려있다는 가정하에 진행하겠다.

안 깔려있다면 구글에 검색해서 깔고 오세요!!

아나콘다를 깔았다면 일단 anaconda prompt를 열고 콘다 업데이트를 해주자.

conda update -n base conda
conda update --all

다음으론 가상 환경을 만들어야 된다. 필수는 아니지만 가상 환경을 사용하지 않으면 아나콘다를 삭제했다가 다시 깔아야 되는 매우 귀찮은 상황이 벌어지기 때문에 매우 매우 권장한다... 그리고 가상 환경을 사용하는 게 프로젝트 진행할 때도 그렇고 여러모로 편리하다. 그냥 쓰자!

conda create -n env python=3.6 

activate env 
python --version

 conda create -n <환경 이름> python=<version>을 해주고 y를 누른 후 엔터를 눌러주면 설치가 진행된다.

->이름이 env인 가상 환경 생성됨.

뒤에 python=3.6은 파이썬 버전을 지정해준 것이다. 그냥 설치하면 3.8 버전일탠데 라이브러리 여러 개가 종종 잘 안 깔릴 때가 있어서 그냥 3.6을 사용하고 있다.

설치가 끝나고 activate <환경 이름>을 쳐서 가상 환경을 활성화하고 

python --version으로 파이썬 버전을 확인해보면 3.6 버전이 잘 설치된 것을 확인할 수 있을 것이다.

삭제는 conda remove --name env --all 

가상 환경을 만들었으니 여기다가 라이브러리를 전부다 설치해보자.

주피터 노트북: 데이터 사이언스 관련 프로젝트할 때 매우 편리함. 사실 그냥 좋음! 

nb_conda 일단 설치해두자!

conda install jupyter notebook
conda install nb_conda 

내가 사용하는 머신러닝과 관련된 라이브러리들을 모두 설명하는 것은 의미가 없는 것 같아 대표적인 것만 대충 설명하고 넘어가겠다. 그리고 라이브러리 설치하고 중간에 ipython이라 치고 들어가서 import <라이브러리 이름>을 쳐서 오류가 안 나고 잘 import 되는지 확인하면서 넘어가자. 종종 설치는 했는데 import가 안될 때가 있어서 짜증이 날 수도 있다!

나는 딥러닝 관련해서 케라스를 주로 사용하는데 케라스는 텐서플로우 안에 들어있기 때문에 텐서플로우를 설치하면 사실상 깐 거나 다름없다. 2.0.0 이상의 버전으로 했을 때 뭔가 오류가 많이 나서 그냥 2.0.0으로 설치해서 사용하고 있다. 

pytorch 라이브러리도 있지만 나는 아직 사용하지 않는다.

tensorflow, keras, pyrotch 셋다 장단점? 이 있을 거니까 잘 보고 사용하고 싶은걸 설치하자!

pip install tensorflow==2.0

딥러닝은 행렬 계산을 엄청나게 많이 하는데 파이썬 내에서 그 행렬은 다 numpy 행렬이다... 

이거 없으면 사실 아무것도 못한다. numpy를 꼭 깔아주자! 

테이블 데이터를 처리할 때 정말 편리한 pandas, 다양한 머신러닝 모델을 쉽게 사용할 수 있게 해주는 scikit-learn,

이미지 전처리 관련 갑인 OpenCV이나 이미지 관련해서 언젠가 한 번쯤은 볼 수도 있는 라이브러리인 dlib,

데이터 시각화 관련 갑인 matplotlib과 seaborn 등등이 있다.

# OpenCV 설치

pip install opencv-python

위에 걸로 안될 시

pip install opencv-contrib-python

 # Dlib 설치

conda install -c conda-forge dlib

설치할 때 종종 Proceed ([y]/n)?라는 말이 뜨는데 yes는 y, no는 n이니까 다 y를 누르고 엔터를 쳐주도록 하자.

나머지는 명령어가 같아서 그냥 한 번에 쳐도 된다. numpy는 텐서플로우 설치할 때 자동으로 설치돼서 안 해도 된다.

pip install numpy pandas scikit-learn matplotlib seaborn xgboost

나중에 사용하게 될 라이브러리들은 웬만하면 다 pip install로 설치가 된다. 종종 위에 opencv나 dlib처럼 다른 방식으로 해줘야 되는 것도 있긴 하니까 잘 찾아보고 설치해주자!

설치가 완료됐다면 주피터 노트북에 들어가서 라이브러리가 잘 import 되는지, 코드가 잘 돌아가는지 확인해보도록 하자.

프롬포트에 jupyter notebook이라고 치면 주피터 노트북에 들어가진다.

위와 같이 창이 뜰 거고 저기서 new -> python [conda env:<환경 이름>]을 누르면 아래와 같이 ipynb파일이 생성된다.

이제 잘 import 되나 코드가 잘 돌아가나 확인해보자. 

import tensorflow
import tensorflow.keras
import cv2, dlib
import numpy
import pandas
import matplotlib.pyplot as plt
import seaborn

print(tensorflow.__version__)

위 코드를 실행시켰을 때 오류가 나지 않고, 2.0.0이 출력된다면 잘 설치가 된 것이다!

사실 이 정도 설치했으면 웬만한(간단한) 인공지능 프로젝트는 전부 진행할 수 있을 것이다. 더 나아간다면 여기에 없는 라이브러리를 사용해야 하는 일이 있을 텐데,  구글에 검색해서 잘 찾아가지고 설치하도록 하자!!

tensorflow-gpu, keras, Cuda가 최신 버전으로 잘 설치되어있다면 이 글을 통해 성공적으로 GPU를 사용할 수 있을 것이다.

import tensorflow
import keras
from keras.backend.tensorflow_backend import set_session

# 사용할 수 있는 GPU를 gpus에 저장
gpus = tensorflow.config.experimental.list_physical_devices('GPU')

# 나는 2번 GPU만 사용하도록 설정했다. 
# EX) 0번 GPU가 사용하고 싶다면 gpus[2]를 gpus[0]으로 바꿔주면 된다.
tensorflow.config.experimental.set_visible_devices(gpus[2], 'GPU')

위의 코드를 통해 성공적으로 GPU를 사용할 수 있는지 확인해보자.

코드를 실행한 후에 nvidia-smi 명령어를 통해 GPU가 어떻게 사용되고 있는지 확인해 볼 수 있다.

1, 3번 GPU는 다른 사용자가 사용하는 것이고, 2번 GPU를 성공적으로 사용하고 있는 것을 확인할 수 있다.

그런데 지금 메모리를 쓸데없이 엄청나게 많이 사용하고 있는데(11893MiB/12196iB) 그 이유는 tensor flow에서 기본적으로 사용 가능한 모든 GPU 메모리를 사용하기 때문이다.

필요한 만큼만 메모리를 사용하도록 코드를 추가해주자.

if gpus:
  try:
    tensorflow.config.experimental.set_memory_growth(gpus[2], True)
  except RuntimeError as e:
    print(e)

 나는 2번 GPU만 사용하기 때문에 2번 GPU만 필요한 만큼만 메모리를 사용하도록 코드를 추가해줬다. 추가해주고 다시 코드를 실행하면

메모리 사용량이 11893MiB에서 901MiB로 줄은 것을 확인할 수 있다.