工具实践
本地跑大模型:Ollama 上手与硬件选型
一条命令把模型跑在自己电脑上:量化等级怎么选、显存需要多少、什么时候该从 Ollama 换到 vLLM。
5 分钟
一条命令把模型跑在自己电脑上:量化等级怎么选、显存需要多少、什么时候该从 Ollama 换到 vLLM。
抛开框架看本质——Agent 就是「模型决定调哪个工具、你执行、把结果喂回去」的循环。附完整可跑的 Python 实现和四个必踩的坑。
LoRA 的低秩分解到底省了什么、r 和 alpha 怎么配、QLoRA 能省多少显存,以及微调之前你应该先确认的三件事。
能力、成本、上下文、可用性——一套可复用的选型框架,以及「只盯着排行榜选模型」为什么几乎总会翻车。
RAG 的五个环节怎么串起来、分块策略怎么选、什么时候该加重排、以及那些「Demo 很好用、上线就翻车」的典型原因。
结构化提示、少样本示例、思维链、XML 标签分隔、输出格式约束——把提示词当成接口来设计,而不是当成咒语来试。
从 QKV 的直觉、缩放点积注意力公式,到多头注意力和位置编码,用一段不到 40 行的 PyTorch 代码把 Transformer 的核心部件实现出来。
提示:RSS 是真正的订阅渠道。邮件按钮只是直接发信给我,并没有接订阅后端 —— 想做成邮件订阅列表的话,把这里换成你的邮件服务表单即可。