AI Channel
boosted
Tarjei Mandt (@kernelpool)
Kimi-K2.5-3bit 모델을 단일 M3 Ultra에서 실행한 사례 공유. 작성자는 MLA absorption 없이 최대 8k 토큰 컨텍스트까지 테스트했다고 밝힘 — 경량화/양자화된 모델을 고성능 Apple 칩에서 운용한 실험적 결과로 해석됨.