Ollama 사용후기와 혼자 내린 결론
하루 이틀 정도 사용해보았을때
올라마 괜찮은 물건입니다.
사용해야 하는 곳의 조건은 딱 이렇습니다.
- AI가 필요하긴 한데 최신의 성능 좋은 AI 까지는 필요 없다.
- 내부 자료를 외부에 업로드 하는게 불안하다.
- 조금 오래된 AI를 커스터 마이징 해서 마음껏 사용하고 싶다.
- 소규모 회사로 3~4명 정도만 동시접속해서 사용하면 된다.
세팅 및 사용 방법
- RTX 4000번대 그래픽 카드와
- 64기가 정도의 메모리를 가진 서버를 세팅
- 사내 네트워크에 물려서 올라마를 설치하고 Open-Webui를 설치 (192.168.0.10)
- 회사에서 자주 사용하는 문서나 기타 정보들을 미리 문서에 등록해 둔다
- 192.168.0.10:3000 으로 접속해 계정을 발급하고 GPT 처럼 사용한다.
이렇게 하면 약 500만원 내에서 GPT4 정도의 성능의 AI 서버를 구축 가능할것 같네요
이렇게 서버를 구축하면 코딩 툴에도 연결해서 사용가능합니다.
다만 성능은 돈주고 사용하는 최신 AI 모델보다는 좀 떨어지고
엉뚱한 답변을 할때가 있습니다.
앞으로 AI 가 발전하면 미래에는 이렇게 될것 같네요
- 저비용(또는 무료)의 AI = 안똑똑, 느림, 엉뚱함
- 고비용의 AI = 똑똑하고 알아서 스마트 하게 잘 처리함
- 적당한 비용 = 특정 분야에서 적절하게 임무를 수행할 정도
이제 AI 모델을 적절히 잘 활용해
AI 에이전트를 잘 개발하는 회사가 먹고 살것 같습니다 ㅋㅋ
댓글 9개
베스트 댓글
@박긍정
현실적인 이야기는
500만원짜리 글카사서 사양 떨어지는 모델 돌리느니...
월 3만원 내고 13년을 돌린다는 거죠 ㅎㅎ;;
@아우님 기본 컨텍스트가 짧아서 그럴겁니다. 2048 인가? 기본이 이렇게 설정되어 있어서 그런것 같습니다.
저도 #으로 해서 문서를 직접 포함시키면 읽어는 지는데 뭔가 다 읽어 보지 않고 답변하는 느낌을 주더라구요
이런문제도 앞으로 중소 기업들이 해 나가야 할 과제이지 않을까 싶습니다.
ㅎㅎ 상상으로만 했던 환경을 실제 경험기로 들려주셔서 감사합니다..
https://www.clien.net/service/board/park/18537748
위 글에서는 4090으로 택도 없다고 해서 그런가 보다 했는데, 생각보다 양호한 속도와 품질이 나오나 보군요!
그래도 아직까진 현질하기 두렵긴하네요 ㅜㅜ..
@박긍정
현실적인 이야기는
500만원짜리 글카사서 사양 떨어지는 모델 돌리느니...
월 3만원 내고 13년을 돌린다는 거죠 ㅎㅎ;;
엔비디아에서도 자체 Ai 프로그램을 지원하기는 합니다. RTX AI? 인가 검색해보시면 나올거에요.
파일 분석 기능 등이 엤다 하네요.
https://www.nvidia.com/ko-kr/ai-on-rtx/chat-with-rtx-generative-ai/
집 개발용 피씨가 위 본문의 사양이고, AI 돌려보고 있는데(텍스트형/이미지형),
문제는 아이디어 이더군요. 이것으로 무엇을 만들어야 하는가!
@라엘
요즘 자동화 하는 아이디어가 많이 보이더라구요
소규모로 무슨자동화 이런식으로
API 사용하면 비용때문에 감당이 안되지만
로컬에서 돌리면 24시간 무한대로 한번 시도해 볼수 있으니
미.중AI 패권 싸움중에 어부지리로 얻은 기회라지만 중국을 뺀 딥시크 자체만으로 생각하자면 정말 많은 기회를 열어준 그런 딥시크 이슈가 아닐까 합니다.
@Gothrock 네 맞습니다.
딥씩이가 나오면서 대기업에 집중되어 있던 AI 관련 이슈들이
많이 다양화 되어가고 있는것 같아요
게시판 목록
자유게시판
| 번호 | 제목 | 글쓴이 | 날짜 | 조회 |
|---|---|---|---|---|
| 공지 |
 thisgun |
1주 전 | 19 | |
| 199568 | 2개월 전 | 281 | ||
| 199567 | 2개월 전 | 333 | ||
| 199566 | 2개월 전 | 198 | ||
| 199565 | 2개월 전 | 237 | ||
| 199564 | 2개월 전 | 370 | ||
| 199563 | 2개월 전 | 185 | ||
| 199562 | 2개월 전 | 208 | ||
| 199561 | 2개월 전 | 229 | ||
| 199560 |
 QueenJey |
2개월 전 | 212 | |
| 199559 | 2개월 전 | 238 | ||
| 199558 |
 Gothrock |
2개월 전 | 274 | |
| 199557 | 2개월 전 | 389 | ||
| 199556 |
nekoieye
|
2개월 전 | 510 | |
| 199555 | 2개월 전 | 315 | ||
| 199554 | 2개월 전 | 138 | ||
| 199553 | 2개월 전 | 145 | ||
| 199552 | 2개월 전 | 232 | ||
| 199551 | 2개월 전 | 173 | ||
| 199550 | 2개월 전 | 212 | ||
| 199549 |
 DSKim |
2개월 전 | 214 | |
| 199548 |
비버팩토리
|
2개월 전 | 298 | |
| 199547 |
Gothrock |
2개월 전 | 202 | |
| 199546 | 2개월 전 | 305 | ||
| 199545 |
 스카이라이퍼 |
2개월 전 | 321 | |
| 199544 | 2개월 전 | 179 | ||
| 199543 |
 똥싼너구리 |
2개월 전 | 401 | |
| 199542 |
 김범수1002 |
2개월 전 | 189 | |
| 199541 | 2개월 전 | 307 | ||
| 199540 | 2개월 전 | 353 | ||
| 199539 | 2개월 전 | 253 |
댓글 작성
댓글을 작성하시려면 로그인이 필요합니다.
로그인하기