Ollama 사용후기와 혼자 내린 결론 정보
Ollama 사용후기와 혼자 내린 결론
본문
하루 이틀 정도 사용해보았을때
올라마 괜찮은 물건입니다.
사용해야 하는 곳의 조건은 딱 이렇습니다.
- AI가 필요하긴 한데 최신의 성능 좋은 AI 까지는 필요 없다.
- 내부 자료를 외부에 업로드 하는게 불안하다.
- 조금 오래된 AI를 커스터 마이징 해서 마음껏 사용하고 싶다.
- 소규모 회사로 3~4명 정도만 동시접속해서 사용하면 된다.
세팅 및 사용 방법
- RTX 4000번대 그래픽 카드와
- 64기가 정도의 메모리를 가진 서버를 세팅
- 사내 네트워크에 물려서 올라마를 설치하고 Open-Webui를 설치 (192.168.0.10)
- 회사에서 자주 사용하는 문서나 기타 정보들을 미리 문서에 등록해 둔다
- 192.168.0.10:3000 으로 접속해 계정을 발급하고 GPT 처럼 사용한다.
이렇게 하면 약 500만원 내에서 GPT4 정도의 성능의 AI 서버를 구축 가능할것 같네요
이렇게 서버를 구축하면 코딩 툴에도 연결해서 사용가능합니다.
다만 성능은 돈주고 사용하는 최신 AI 모델보다는 좀 떨어지고
엉뚱한 답변을 할때가 있습니다.
앞으로 AI 가 발전하면 미래에는 이렇게 될것 같네요
- 저비용(또는 무료)의 AI = 안똑똑, 느림, 엉뚱함
- 고비용의 AI = 똑똑하고 알아서 스마트 하게 잘 처리함
- 적당한 비용 = 특정 분야에서 적절하게 임무를 수행할 정도
이제 AI 모델을 적절히 잘 활용해
AI 에이전트를 잘 개발하는 회사가 먹고 살것 같습니다 ㅋㅋ
1
베스트댓글
@박긍정
현실적인 이야기는
500만원짜리 글카사서 사양 떨어지는 모델 돌리느니...
월 3만원 내고 13년을 돌린다는 거죠 ㅎㅎ;;
댓글 9개
회사에서 자주 사용하는 문서나 기타 정보들을 미리 문서에 등록해 둔다
> 전 이게 잘 동작을 안해서
@아우님 기본 컨텍스트가 짧아서 그럴겁니다. 2048 인가? 기본이 이렇게 설정되어 있어서 그런것 같습니다.
저도 #으로 해서 문서를 직접 포함시키면 읽어는 지는데 뭔가 다 읽어 보지 않고 답변하는 느낌을 주더라구요
이런문제도 앞으로 중소 기업들이 해 나가야 할 과제이지 않을까 싶습니다.
ㅎㅎ 상상으로만 했던 환경을 실제 경험기로 들려주셔서 감사합니다..
https://www.clien.net/service/board/park/18537748
위 글에서는 4090으로 택도 없다고 해서 그런가 보다 했는데, 생각보다 양호한 속도와 품질이 나오나 보군요!
그래도 아직까진 현질하기 두렵긴하네요 ㅜㅜ..
@박긍정
현실적인 이야기는
500만원짜리 글카사서 사양 떨어지는 모델 돌리느니...
월 3만원 내고 13년을 돌린다는 거죠 ㅎㅎ;;
엔비디아에서도 자체 Ai 프로그램을 지원하기는 합니다. RTX AI? 인가 검색해보시면 나올거에요.
파일 분석 기능 등이 엤다 하네요.
https://www.nvidia.com/ko-kr/ai-on-rtx/chat-with-rtx-generative-ai/
집 개발용 피씨가 위 본문의 사양이고, AI 돌려보고 있는데(텍스트형/이미지형),
문제는 아이디어 이더군요. 이것으로 무엇을 만들어야 하는가!
요즘 자동화 하는 아이디어가 많이 보이더라구요
소규모로 무슨자동화 이런식으로
API 사용하면 비용때문에 감당이 안되지만
로컬에서 돌리면 24시간 무한대로 한번 시도해 볼수 있으니
미.중AI 패권 싸움중에 어부지리로 얻은 기회라지만 중국을 뺀 딥시크 자체만으로 생각하자면 정말 많은 기회를 열어준 그런 딥시크 이슈가 아닐까 합니다.
@Gothrock 네 맞습니다.
딥씩이가 나오면서 대기업에 집중되어 있던 AI 관련 이슈들이
많이 다양화 되어가고 있는것 같아요
