Tarjei Mandt (@kernelpool)

Kimi-K2.5-3bit 모델을 단일 M3 Ultra에서 실행한 사례 공유. 작성자는 MLA absorption 없이 최대 8k 토큰 컨텍스트까지 테스트했다고 밝힘 — 경량화/양자화된 모델을 고성능 Apple 칩에서 운용한 실험적 결과로 해석됨.

https://x.com/kernelpool/status/2017909935649202267

#llm #quantization #m3ultra #contextwindow