Инференс LLM на 128 GB DDR5 6000 + RTX 5060 ti
GLM-4.7 Q2_K_L — 8,5 t/s Xiaomi MiMo V2 Flash Q3_K_S — 11,5 t/s MiniMax M2.1 MXFP4 — 13,5 t/s https://huggingface.co/noctrex — MXFP4 кванты. https://www.minimax.io/news/why-is-interleaved-thinking-important-for-m2 — немного про Interleaved Thinking от авторов MiniMax M2. https://www.abhik.ai/concepts/attention/sliding-window-attention — немного про SWA и гибрид с GA, как сделано в Xiaomi MiMo-V2-Flash.
GLM-4.7 Q2_K_L — 8,5 t/s Xiaomi MiMo V2 Flash Q3_K_S — 11,5 t/s MiniMax M2.1 MXFP4 — 13,5 t/s https://huggingface.co/noctrex — MXFP4 кванты. https://www.minimax.io/news/why-is-interleaved-thinking-important-for-m2 — немного про Interleaved Thinking от авторов MiniMax M2. https://www.abhik.ai/concepts/attention/sliding-window-attention — немного про SWA и гибрид с GA, как сделано в Xiaomi MiMo-V2-Flash.