@Tak2님이 소개한 Groq(그록?) API을 이용해 llama3 모델을 돌려보는데 이게 그닥...

llama-3.3-70b-specdec 모델 또는 llama-3.3-70b-versatile이 제일 성능이 좋은 것 같습니다. llama3-8b-8192는 구버전이라 별로라고 느껴지실 수도 있어요.

제일 추천하는 것은

1. llama-3.3-70b-specdec / llama-3.3-70b-versatile

2. gemma2-9b-it

입니다. 나머지는 영..

@Tak2 그렇군요. 자고나서 바꿔 테스트를 해봐야겠습니다. 덕분에 라마를 간접체험해봅니다~!

@Gothrock 싼게 비지떡인 것 같습니다. 그래도 다양한 기능을 체험해볼 수 있다는게 좋은 것 같아요. (어서 주무시길..)

딥시크 소스를 내려받았는데 까보니 라마소스를 참고했다고 주석에 나와있네요.

유튜브 영상을 보니 14빌리언모델은 pc에서 그럭저럭 돌아간다고 하네요.

[code]

# Copied from transformers.models.llama.modeling_llama.LlamaLinearScalingRotaryEmbedding with Llama->DeepseekV3
class DeepseekV3LinearScalingRotaryEmbedding(DeepseekV3RotaryEmbedding):
    """DeepseekV3RotaryEmbedding extended with linear scaling. Credits to the Reddit user /u/kaiokendev"""

    def __init__(
        self,
        dim,
        max_position_embeddings=2048,
        base=10000,
        device=None,
        scaling_factor=1.0,
    ):
        self.scaling_factor = scaling_factor
        super().__init__(dim, max_position_embeddings, base, device)

    def _set_cos_sin_cache(self, seq_len, device, dtype):
        self.max_seq_len_cached = seq_len
        t = torch.arange(
            self.max_seq_len_cached, device=device, dtype=self.inv_freq.dtype
        )
        t = t / self.scaling_factor

        freqs = torch.outer(t, self.inv_freq)
        # Different from paper, but it uses a different permutation in order to obtain the same calculation
        emb = torch.cat((freqs, freqs), dim=-1)
        self.register_buffer("cos_cached", emb.cos().to(dtype), persistent=False)
        self.register_buffer("sin_cached", emb.sin().to(dtype), persistent=False)

[/code]

@수평선1203 라마나 다른, 오픈llm을 이용해 입찰 견적서를 자동으로 만들게 하고 싶은데 시간이 없네요. 사실 시간이 없다기 보다는 매일 매일이 치이다 보니 정신적인 여유가 없는 듯 합니다.

사용해 보고있는데 아직은 평을 어떻게 할지 잘 모르겠습니다.

@들레아빠 확실하게 유료와는 구별이 되는데 그렇다고 그렇게 어처구니 없는 답을 주는 건 아닌듯 합니다.