Deepseek、Qwen等AI大模型移植部署到RK3588嵌入式主板

随着生成式 AI 技术的快速发展，Deepseek、Qwen 等大语言模型展现出强大的自然语言处理能力。而RK3588 作为瑞芯微旗舰级高性能芯片型号，凭借其多核异构、集成强大的CPU+6TOPS算力NPU，为大语言模型的边缘本地部署提供了理想的嵌入式平台。本文将探讨如何将 Deepseek、Qwen 等 AI 大模型移植并部署到定昌的RK3588 嵌入式主板上。

定昌的RK3588最强旗舰级 AI嵌入式开发板搭载6TAI加速算力NPU，最高可选配32GB+256GB的内存存储规格，建议移植大模型最小的内存要求是4GB，但是为了保证大模型运行的流畅性，建议选用8GB及以上的规格，需要注意的是跑7B以及以上的大模型，需要16GB内存，否则模型文件都无法加载上去，具体的内存规格可根据大模型的参数规模大小来选择（比如1.5B-16B）。

RK3588板卡支持多种AI大语言模型部署开发包括文心，豆包，通义，DeepSeek等，特别优化支持10B以内端侧高效部署的主流AI大模型，包括语言模型如：DeepSeek-R1-Distill、Qwen3、Qwen2.5-VL-3B-Instruct、Qwen2-VL、Qwen2-VL-2B-Instruct、LLAMA models、TinyLLAMA models、Qwen models、Phi models、ChatGLM3-6B、Gemma2、Gemma3、InternLM2 models、MiniCPM models、TeleChat models、MiniCPM-V-2_6、Janus-Pro-1B、InternVL2-1B，可开发AI语音交互，AIAG知识库等功能，定昌可为合作客户提供完整的技术部署服务支持，直到项目落地。

下面是部分的Deepseek-R1大模型移植部署到RK3588板端本地的流程示例代码：

1、部署过程主要使用到Rockchip NPU平台优化的大型语言模型工具包（RKLLM）中的两个工具，包括RKLLM-Toolkit和RKLLM Runtime，RKLLM-Toolkit将原始huggingface格式模型转换为RKLLM格式，RKLLM Runtime库将转化的模型部署到开发板，以及提供API进行模型推理。

2、搭建PC端 大模型推理基础环境以及RKLLM-toolkit大模型转换的量化环境，定昌已经将常见的AI大模型及算法相关文件和考法工具等集成到AI开发包SDK，可直接将开发包拷贝到板端，调用大模型的模型文件。

3、搭建激活RKLLM-Toolkit转换量化conda Python环境，需要注意PC端内存容量最好大于16GB，否则，在转换一些参数量大一点的模型时，会内存溢出

4、到huggingface官网下载原始大模型，RK3588跑的大模型，不宜高于8B，需要响应速度快并且运行流程的可以选0.5B左右大小。另外huggingface官网下载速度很慢，定昌可提供快速下载的资源，可咨询获取

5、然后使用RKLLM-Toolkit进行大模型量化转换，进入RKLLM-Toolkit环境，

从huggingface上下载的未量化好的模型，则可以运行以下命令，对模型进行量化成*.rknn模型

修改目录下的test.py文件，详细请参考官方文档：Rockchip_RKLLM_SDK_CN_1.1.0.pdf，然后在板端推理编译程序 （完整推理过程视频如下：）

6、部署完成运行大模型推理效果

上述只是定昌部署AI大模型的一小部分案例演示，想了解更多的移植细节及操作步骤欢迎致电咨询，也可以加入定昌技术交流群进行进一步咨询，欢迎随时与我们联系合作，定昌50+技术工程师团队将为您提供全面技术支持和详细的开发指导，竭诚为您服务。