RK3588 板端离线部署 Ollama + Qwen3:0.6B

RK3588 板端离线部署 Ollama + Qwen3:0.6B

（Ubuntu 24.04 / aarch64 / systemd）

适用于 RK3588 / RK3568 等64 位 ARM（aarch64）板卡
适合离线 / 内网环境

1️ 确认系统架构与系统版本

1.1 确认 CPU 架构

uname-m

期望输出：

aarch64

若不是aarch64，请不要继续，Ollama 二进制将无法运行，请选择对应的版本。

1.2 确认系统版本

cat/etc/os-release|head

示例输出：

PRETTY_NAME="Ubuntu 24.04.3 LTS" VERSION="24.04.3 LTS (Noble Numbat)" VERSION_CODENAME=noble

结论：

• 架构：aarch64（64 位 ARM）
• 系统：Ubuntu 24.04 LTS
• 需要使用ollama-linux-arm64.tgz

2️ 准备：下载并放置 Ollama 安装包

2.1 下载 Ollama（ARM64 版本）

注意：不要下载 amd64 版本

curl-fL-oollama-linux-arm64.tgz\https://ollama.com/download/ollama-linux-arm64.tgz

• 文件大小约2 GB
• 离线环境可在其他机器下载后拷贝到板子
• 在浏览器可以点击https://ollama.com/download/ollama-linux-arm64.tgz
  下载,再移动到板端对应目录。

2.2 创建目录并放置安装包

mkdir-p~/llmcd~/llmls-lh

确认能看到：

ollama-linux-arm64.tgz

3️ 安装 Ollama（二进制方式）

3.1 解压到系统目录/usr

cd~/llmsudotar-zxvfollama-linux-arm64.tgz-C/usr

3.2 校验 Ollama 是否可执行

ls-l/usr/bin/ollama /usr/bin/ollama--version

若看到版本号输出，说明二进制正常。

4️ 配置 systemd 服务（开机自启）

4.1 创建服务文件

sudovim/etc/systemd/system/ollama.service

填入以下内容：

[Unit] Description=Ollama Service After=network-online.target Wants=network-online.target [Service] Type=simple ExecStart=/usr/bin/ollama serve User=pi #替换为你的用户名 Group=adm #替换为你的用户组 Restart=always RestartSec=3 Environment=PATH=/usr/bin:/usr/local/bin [Install] WantedBy=multi-user.target

说明：

• User=pi：请确认该用户存在（RK 官方镜像通常为 pi）
• 若使用root，可改为User=root

4.2 启动并设置开机自启

sudosystemctl daemon-reloadsudosystemctlenable--nowollama

4.3 确认服务状态

systemctl status ollama

看到Active: active (running)即成功。

5️ 拉取并运行 Qwen3:0.6B（CPU 可跑）

5.1 拉模型

ollama pull qwen3:0.6b

首次拉取需联网
离线环境可提前在其他机器下载模型目录再拷贝

5.2 运行模型（交互模式）

ollama run qwen3:0.6b

进入交互后可直接对话，退出方式：

Ctrl + D

6 参考文献

• https://docs.ollama.com/linux#manual-install
• http://githubgithub.com/ollama/ollama