안녕하세요 오늘은 개인 컴퓨터에서 AI를 구현하는법을 알려드릴게요
아 그리고 저번의 스크립트강의는 문제가생겨서 더이상 못하는점 죄송합니다
주의사항 : 본 글의 내용을 모두 읽어주신후 진행하시길 권장합니다
llamafile 다운로드
먼저 llamafile 이라는것을 다운로드받아주세요
https://github.com/Mozilla-Ocho/llamafile
| LLaVA 1.5 | 3.97 GB | LLaMA 2 | llava-v1.5-7b-q4.llamafile |
| Mistral-7B-Instruct | 5.15 GB | Apache 2.0 | mistral-7b-instruct-v0.2.Q5_K_M.llamafile |
| Mixtral-8x7B-Instruct | 30.03 GB | Apache 2.0 | mixtral-8x7b-instruct-v0.1.Q5_K_M.llamafile |
| WizardCoder-Python-34B | 22.23 GB | LLaMA 2 | wizardcoder-python-34b-v1.0.Q5_K_M.llamafile |
| WizardCoder-Python-13B | 7.33 GB | LLaMA 2 | wizardcoder-python-13b.llamafile |
| TinyLlama-1.1B | 0.76 GB | Apache 2.0 | TinyLlama-1.1B-Chat-v1.0.Q5_K_M.llamafile |
| Rocket-3B | 1.89 GB | cc-by-sa-4.0 | rocket-3b.Q5_K_M.llamafile |
| Phi-2 | 1.96 GB | MIT | phi-2.Q5_K_M.llamafile |
위 링크또는 위 표에서 원하시는 파일을 다운로드받아주세요
| 이름 | 사양 |
| LLaVA 1.5 | 일반적인 사양 |
| Mistral-7B-Instruct | 일반적인 사양 |
| Mixtral-8x7B-Instruct | 고사양 요구 |
| WizardCoder-Python-34B | 고사양 요구 |
| WizardCoder-Python-13B | 약간 고사양 |
| TinyLlama-1.1B | 저사양 |
| Rocket-3B | 저사양 |
| Phi-2 | 저사양 |
물론 성능이 가장 뛰어난 Mixtral-8x7B-Instruct를 사용하셔도 무방합니다
주의사항 : 일반적인 windows 환경에서는 4GB가 넘는 실행파일은 실행하지 못합니다 따라서 windows에서는 (LLaVA 1.5 , TinyLlama-1.1B , Rocket-3B , Phi-2)파일만 실행이 가능합니다 따라서 Linux 또는 Mac 환경에서 실행을 하시는것을 강력히 권장드립니다 본 강의에서는 Linux Mint Cinnamon Edition을 이용해서 실습을 진행합니다.
또한 컴퓨터의 RAM 용량보다 큰 파일은 실행하지 못하니 컴퓨터의 RAM 용량을 확인부탁드립니다 권장RAM 용량은 32GB 이상입니다
실행하기(Linux and Mac)
다운로드를 마치셨다면 실행을 할시간입니다
본 강의에서는 Linux Mint Cinnamon Edition으로 LLaVA 1.5를 실행해보겠습니다
다운로드한 실행파일을 터미널에 드래그 & 드롭합니다 그 이후
위와 비슷하게 경로가 자동으로 입력되셨다면 Enter를 눌러서 실행합니다
만약 아레와 비슷한 실행오류가 발생할경우
bash: /home/doyun0202/program/llamafile/llava-v1.5-7b-q4.llamafile: 허가 거부chmod 755 < 파일명 >을 입력하시고 다시 실행해보시길 바랍니다 < 파일명 > 에는 아까와 같은 방식으로 파일경로를 입력해주세요
실행하기(windows)
windows 환경에서 실행하려면 더욱더 간단합니다 파일을 다운로드받은후 확장자에 .exe만 추가해주시면 됩니다!
사용하기
이제 조금만 기다려보시면 인터넷창이 하나 나올것입니다
위 창이 나온다면 아레의 Say something… 에 원하시는 내용을 적어주세요 영어를 권장합니다 사용법은 chat gpt랑 비슷합니다
저는 AI가 무엇인지 물어보니 성실하게 답변을 해주네요
해석 : 인공지능(AI)은 인간처럼 생각하고 일반적으로 인간의 지능이 필요한 작업을 수행하도록 프로그래밍된 기계에서 인간 지능을 시뮬레이션하는 것을 말합니다. 여기에는 컴퓨터 시스템이 경험, 추론을 통해 학습하고, 자연어를 이해하고, 이미지를 인식하고, 데이터를 기반으로 결정을 내리고, 인간의 개입과 독립적으로 문제를 해결할 수 있도록 하는 알고리즘, 통계 모델 또는 기타 계산 방법을 만드는 것이 포함됩니다. AI는 머신러닝, 딥러닝, 전문가 시스템, 유전자 알고리즘, 신경망, 퍼지 논리 및 기타 고급 계산 방법과 같은 다양한 기술을 통해 달성될 수 있습니다.
한번 파이썬으로 Hello world를 5번 출력하게 해볼까요?
정말로 만들어주네요 다만 아직 아쉬운부분은 for문 5번 실행해서 출력하는것이 아닌 그냥출력 한번하고 나머지 4번을 for문으로 한다는것은 좀 아쉬운점이네요
참고로 저의 컴퓨터 사양은 이렇습니다
CPU : i7-14700k
RAM : 삼성 DDR5-5600 32GB * 2
MainBoard : Z790 aorus elite ax ice
GPU : RTX 4060
하지만 기본상태에서 작동해보니 GPU보다는 CPU를 더 사용하더라고요
그부분은 조금 아쉽지만 그래도 재미있는 오픈소스 프로젝트인것 같습니다
저는 이제 이만 물러나보겠습니다 읽어주셔서 감사합니다!
후원하기 : https://toss.me/doyun0202