Shen AI
小模型部署、微调与学习工作台
这里用于记录和验证轻量开源模型的部署流程、推理表现、上下文行为与后续微调实验。 先从一枚很小的 Qwen 模型开始,把服务、会话、速度和资源占用都看清楚。
模型
Qwen2.5-0.5B-Instruct
参数量
0.5B
发行方
Alibaba Cloud / Qwen Team
运行时
llama.cpp · GGUF Q4_K_M