초보도 가능한 올라마 설치! 도커 타고 슝~ 쉽게 해보자! 📦

🤔 도대체 올라마가 뭐길래?

올라마로 내 PC에 AI 비서 만들기 – 설치부터 활용까지 완전 정복!

올라마는 내 컴퓨터에 인공지능 모델을 설치해 직접 실행할 수 있게 도와주는 도구입니다. 이 글에서는 초보자도 쉽게 따라할 수 있도록 도커와 WebUI를 활용한 설치법과 활용 팁을 스토리텔링 방식으로 설명합니다. 문서 요약, 번역, 챗봇 제작까지 가능한 올라마의 매력을 지금 만나보세요!

고블로꿈밭지기

게다가 도커(Docker)를 활용하면, 설치도 관리도 쏘 이지~
우리 한 번 직접 설치해볼까요? 🍀

🛠️ 설치 전 준비사항 체크리스트!

✔️ 도커 설치 완료!
✔️ 포트 11434 열려 있음
✔️ 모델 데이터를 저장할 도커 볼륨 하나 만들 준비 완료 (ollama)

그럼 바로 도커 명령어 슝슝 날려볼까요? 😎

🖥️ [CPU 버전] 나는 GPU 없어요! 소박하게 가요~

docker run -d \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama \
  ollama/ollama

와우~ 이거 한 줄이면 끝나요.
진짜로요. 말도 안 되죠? 😆

🔥 [GPU 버전] 나 NVIDIA 유저야! 성능을 불태워보자

💡 단, NVIDIA Container Toolkit 먼저 설치해야 해요!

# GPG 키 등록 및 저장소 추가, 패키지 설치까지
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
  | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
  | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
  | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

💫 설정 후엔 도커에 런타임도 등록해줘야 해요!

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

이제 드디어 실행!!

docker run -d \
  --gpus=all \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama \
  ollama/ollama

GPU의 숨겨진 파워를 이제 올라마에 쏟아부을 시간이에요💪

🧡 [AMD GPU]도 걱정마세요! ROCm 버전 있어요~

docker run -d \
  --device /dev/kfd \
  --device /dev/dri \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama \
  ollama/ollama:rocm

이것이 바로 AMD 유저의 희망🌈

🧪 실행은 이렇게 간단해요

docker exec -it ollama ollama run llama3

llama3 대신 다른 모델 이름 넣으면, 바로 해당 모델이 실행돼요.
우와~ 세상 편하죠? 진짜 요즘 세상 좋아졌어요ㅎㅎ

📚 어떤 모델들이 있냐구요?

Ollama 공식 모델 라이브러리 구경해보세요~
👉 https://ollama.com/library

Llama3, Mistral, CodeGemma 등등… 진짜 눈 돌아갈 지경이에요🤯

📦 마지막으로 도커 이미지 다운로드!

docker pull ollama/ollama

필수는 아니지만, 미리 받아놓으면 좀 더 빠르게 쓸 수 있어요🙌

💬 마무리 수다

이제 올라마 설치는 걱정 끝~
여러분도 집에서 직접 LLM을 실행하고 실험해볼 수 있는 시대, 진짜로 왔어요.

언제나 기술은 어렵지 않아야 한다고 믿는 고블로!
우리 같이 한 걸음씩 따라가며 즐겨보아요. 🌱