UP主: 封面: 简介:Qwen3.5-35B-A3B Q4_K_M3060级别12G显卡24.8 token每秒编译llama.cpp后4倍提速,等全部代码:https://pan.baidu.com/s/1ug9aaiPSpDX06LWTkYgj1Q?pwd=jdb0禁用思考模式$env:...
赛博画师GZT的视频 12G显存30token每秒,编译llama.cpp跑Qwen3.5-35B-A3B-UD-IQ2_M量化的详细方法。 24.8 token每秒,3060级别12G显卡跑Qwen3.5-35B-A3B, Q4_K_M量化GGUF版,禁用思考模式,编译llama.cpp后4倍提速。