本地模型测评

• 作者显存为12GB，近期不再追求模型速度，主要使用Q4-K-M量化权重。 — ✓ “我的显存12GB”
• 9b至12b模型的KV cache全部使用Q8精度以偏重精度调优。 — ✓ “权重主要用Q4-K-M”
• 35b模型的KV cache使用Q4精度。 — ✓ “更偏重精度调优”
• 淘汰了不会收口（绕路不走正途或重复唠叨）的模型。 — ✓ “9b-12b模型KV cache全部使用Q8精度”
• 推荐的无审查模型包括qwythos9b-mtp-1m。 — ✓ “35b模型使用Q4精度”
• 其他推荐模型包括ornith9b和qwen3.5-9b-deepseek-v4-flash蒸馏版。 — ✓ “淘汰了一些不会收口的模型”
• 推荐的较大模型包括qwen3.6-27b-mtp-q2xxs量化版。 — ✓ “qwythos9b-mtp-1m无审查”
• 推荐的35b级别模型包括qwopus-35b-a3b-mtp、qwen3.6-35b-a3b-dsv4pro-mtp和qwen3.6-35b-a3b-apex-mtp-i-nano。 — ✓ “ornith9b、qwen3.5-9b-deepseek-v4-flash蒸馏”
• 所有推荐模型默认均为Q4KM量化，且能很好配合agent工具写代码。 — ✓ “qwen3.6-27b-mtp-q2xxs量化”
• 终端截图显示总占用空间为314G，包含大量Qwen、Gemma、DeepSeek等模型文件。 — ✓ “qwopus-35b-a3b-mtp、qwen3.6-35b-a3b-dsv4pro-mtp”

• 我有32G内存，没显卡。给Hermes用什么模型，ollama环境 · 9 条回复
• 如果不是因为数据隐私问题 搞本地纯属吃了饭没事干 本地模型又慢又贵（硬件 电费） 用ds的api甚至比你的电费成本还要低 · 11 条回复
• qwythos9b编程能力如何 比qwen27b · 5 条回复
• 不如用35b apex质量，offload专家到cpu+内存就行[doge]，如果你是d5内存，对速度影响很小 · 5 条回复
• 请教一下，做合同评审这一类的用哪个好？做编程又用哪个呢？ · 5 条回复

• 读了 1 张图，每张都有描述
• 图上文字 41 行
• 没读到：comments: the top 5 of 110 read from the share page; the rest of the thread not read

样例，第 1 张图 — A photograph of a computer screen displaying a Linux terminal window with a purple background. The command 'ls -lhh /mnt' has been executed, listing numerous files and folders related to AI models (such as Qwen, Gemma, DeepSeek) and image generation tools (Diffusion, Flux, Wan). The bottom of the screen shows a taskbar with various application icons. 图上文字开头： “frankie@agent:~ frankie@agent:~$ ls -lhh /mnt total 314G drwxr-xr-x 1 frankie fr…”