아랫글 보고 gpt-oss:120b 모델 사용해보기

120이면 H200 그래픽카드에서 적절하게 활동하고 2 GPU일때 원활하고 빠르게 작동할거같습니다.

물론 가격이 장난아니겠지만요.

오 컴퓨터 사양이 어떻게 되나요?

저는 메모리가 모자라서 실행 불가능했었습니다.

@똥싼너구리 96GB입니다.   올봄에 이 모델 구입했습니다.

https://www.minisforum.com/pages/ai-x1-pro
 

최근에 나온 이모델이 AI 하기엔 좋은 것 같은데..
https://www.bee-link.com/products/beelink-gtr9-pro-amd-ryzen-ai-max-395

다음번 컴퓨터는 맥으로 가야 될지..

@마젠토 오호 이런 피씨도 있었군요

비링크 꺼는 거의 맥스튜디오랑 비슷하네요

저는 요즘 요구사항이 제조업 같은 곳에 로컬 AI가 필요하게 되는 상황들이 생겨서

로컬로 AI를 돌려야 하는 상황이 가끔 생기는데

그때 일반 서버 납품 보다는

맥스튜디오 같은것도 한번 고려해 볼까 생각중입니다.

@똥싼너구리 vram 크기가 중요해요. 아니면 M시리즈 처럼 CPU와 GPU를 합쳐버리거나.