Shen AI

小模型部署、微调与学习工作台

这里用于记录和验证轻量开源模型的部署流程、推理表现、上下文行为与后续微调实验。 先从一枚很小的 Qwen 模型开始,把服务、会话、速度和资源占用都看清楚。

模型 Qwen2.5-0.5B-Instruct
参数量 0.5B
发行方 Alibaba Cloud / Qwen Team
运行时 llama.cpp · GGUF Q4_K_M