Sariel00/Ling-3.0-tiny-RKNN

这是面向 RK3588/RK3588S 的 Ling-3.0-tiny 专用推理引擎和 W4A8/W8A8 转换模型。 本仓库同时提供 C++ 源码、转换工具、校准数据、测试报告和可选的 .l3r 部署模型。 Ling-3.0-rknn 是在 RK3588/RK3588S 上的专用 C++ 推理工程。 引擎使用 A76 CPU 和三核 RKNPU，提供终端对话与 OpenAI 兼容的 Chat Completions 接口。 支持 KV cache 命中；非连续缓存命中仍属于实验功能。 端侧知识库方案另见 mindnano-ling3-compass，该项目仍在实验阶段。 推理不依赖 RKLLM、llama.cpp 或 Python 服务。模型为纯文本 MoE，约 7.9B 总参数、每 token 约 1.3B 激活参数，当前未启用 MTP。 在16K以内上下文在可用范畴内，32K256K均为测试，目前由于是专用推理引擎所以速度会随着上下文的增大而降低。 如果您有这方面的经验，或者可以优化这些请与我联系，非常感谢。 本项目把 Ling-3.0-tiny 转换为 RK3588/RK3588S 可运行的专用 C++ 推理程序。模型是纯文本 MoE；权重采用 W4A8/W8A8 混合量化，推理由 A76 CPU 与 RKNPU 协同完成。程序提供终端模式和 OpenAI 风格的 Chat Completions HTTP 接口。公开源码使用设备上从 Rockchip 官方仓库安装的 RKNPU2 runtime，不需要 Python、RKLLM 或 llama.cpp 才能运行。 这是面向单板验证和端侧优化的工程。当前默认路径是单请求、无鉴权、无 TLS；部分 NPU MLA、FP8/INT8 KV 和非连续缓存仍属于实验功能。性能、内存和质量会随 RKNPU 驱动、频率、散热、后台服务及上下文长度变化。 原始 BF16 模型不随本工作区保存。转换前请从上游仓库下载指定 revision；RKNN SDK/runtime 请从 Rockchip 官方仓库获取。发布模型时应同时提供 MODEL.json、SHA256SUMS.PUBLIC 和许可说明。 engine/source/ 是历史实验快照，不是第二个稳定入口；它包含板端探针和维护脚本，不能与根目录 src/ 混合编译，因此本公开仓库不包含该目录。部分历史性能报告引用当时使用的实验脚本；公开构建和测试入口以根目录 CMakeLists.txt、tools/ 和 tests/ 为准。 已实现的主要功能： 当前限制：一次只执行一个推理请求，忙时可能返回 429；接口没有用户鉴权和 TLS；KV 缓存是进程内资源，不是跨重启的持久聊天记录；128K/256K 只提供容量选项，尚未完成完整板端质量和性能认证；MTP 未启用。 下表来自 NanoPi M6（RK3588、16GB）2026-09-22 实测。CPU、NPU、DMC 测试期间固定最高频率；模型为 ling3-tiny-w4.l3r，BF16 KV，32K 初始化，关闭 thinking，temperature=0，每次冷启动会话输入后生成 64 tokens，未命中 KV 缓存。TTFT 不包括服务启动时间。 TTFT 随输入长度增加，解码速度也会因每个新 token 需要访问更长的历史 KV 而下降；因此 128/64 的结果不能代表长上下文表现。完整原始结果和测试环境见 BOARDBENCHMARKANDINT420260922.md。频率、散热和后台负载改变时应重新测量。 当前发布模型不是全 W4：部分线性层和专家使用 W4A8，其他指定投影使用 W8A8。默认 KV 为 BF16，KDA 状态保留…