UP主: 封面: 简介:Qwen3.5-35B-A3B-UD-IQ2_M量化,12G显存 30 token每秒,A3000 Laptop 12G,约等于3060 12G,低端显卡,本地AI起飞。编译llama.cpp简单代码:https://pan.baidu.com/s/1aDpQ...
赛博画师GZT的视频 12G显存30token每秒,编译llama.cpp跑Qwen3.5-35B-A3B-UD-IQ2_M量化的详细方法。 24.8 token每秒,3060级别12G显卡跑Qwen3.5-35B-A3B, Q4_K_M量化GGUF版,禁用思考模式,编译llama.cpp后4倍提速。