EXO Labs (@exolabs)
Kimi K2.5(1조 파라미터) 모델이 EXO를 이용해 4대의 Mac Studio에서 구동되고 있다는 트윗입니다. 1T급 대형 LLM이 비교적 소형 다수의 Mac Studio에서 실행되는 사례로, 분산 실행·추론 비용·배포 가능성 측면에서 관심을 끄는 내용입니다.
EXO Labs (@exolabs)
Kimi K2.5(1조 파라미터) 모델이 EXO를 이용해 4대의 Mac Studio에서 구동되고 있다는 트윗입니다. 1T급 대형 LLM이 비교적 소형 다수의 Mac Studio에서 실행되는 사례로, 분산 실행·추론 비용·배포 가능성 측면에서 관심을 끄는 내용입니다.
Q*Satoshi (@AiXsatoshi)
Kimi-k2.5는 파라미터가 매우 커서 4bit 상태로 그대로 실행하려면 Mac Studio 512GB 두 대가 필요하지만, IQ3_XXS는 415GB로 단일 Mac에서 동작한다. 작성자는 IQ3_XXS가 메인 모델이 될 것으로 보며, 두 대를 이용한 분산 추론은 아직 안정적이지 않다고 보고함.
Q*Satoshi (@AiXsatoshi)
Kimi-k2.5는 파라미터가 매우 커서 4bit 상태로 그대로 실행하려면 Mac Studio 512GB 두 대가 필요하지만, IQ3_XXS는 415GB로 단일 Mac에서 동작한다. 작성자는 IQ3_XXS가 메인 모델이 될 것으로 보며, 두 대를 이용한 분산 추론은 아직 안정적이지 않다고 보고함.
