news 2026/5/10 23:36:11

如何使用 Ollama 打造你的本地 AI 助手

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
如何使用 Ollama 打造你的本地 AI 助手

这两年,大模型几乎成了每个技术人、内容创作者的标配工具
写代码、查资料、做总结、当助手,几乎无所不能。

但你有没有认真想过一件事——
这些能力,其实完全可以跑在你自己的电脑上。


为什么我要把大模型“搬回本地”?

大多数人使用大模型的方式都很相似:
打开一个网页,或者调用一个云端 API,把自己的问题、代码,甚至业务数据发送到远端服务器,然后等待返回结果。

这种方式确实方便,但代价也同样明显:

  • 对网络环境的强依赖
  • 数据与隐私不可控
  • 调用次数与 Token 成本
  • 对第三方平台的长期依赖

如果有一天网络不稳定、接口限流、账号被封,甚至服务直接下线,你会突然意识到一件事:

你“最聪明的助手”,其实并不在你自己手里。

直到我开始尝试——在本地运行大模型


Ollama:把大模型跑在你电脑上的最简单方式

借助Ollama,现在在一台普通的 Mac 或 PC 上,就可以非常轻松地拉取并运行主流开源大模型。

更重要的是:

Ollama 提供了标准化的本地接口
让这些模型可以被各种AI 助手、编辑器、自动化工具直接接入使用。

从使用体验上来说,和云端模型几乎没有区别,但数据完全掌握在自己手里

这一篇文章,我会从零开始,带你完成一次完整的本地大模型实践:

  • 👉 如何安装并运行 Ollama
  • 👉 如何下载并管理本地模型
  • 👉 如何把模型接入你熟悉的 AI 助手
  • 👉 以及,本地 AI 真正适合哪些场景

当 AI 真正跑在你自己电脑上的那一刻,你会发现,很多事情都不一样了。


一、安装 Ollama

官网地址:
👉 https://ollama.com/

官方对 Ollama 的定位很简单也很直接:

Ollama 是使用开放模型实现工作自动化的最简单方法,同时还能确保你的数据安全。

方式一:直接下载安装(推荐)

进入官网,根据你的系统(macOS / Windows / Linux)下载安装即可,安装完成后会自动启动本地服务。


方式二:使用 Docker 部署

如果你更习惯容器化部署,可以直接使用官方镜像:

/* by yours.tools - online tools website : yours.tools/zh/excel2json.html */ docker run \ -d \ --restart=always \ --name ollama \ --gpus=all \ -p 11434:11434 \ -v /home/data/ollama:/root/.ollama \ ollama/ollama
  • 11434:Ollama 默认服务端口
  • /root/.ollama:模型与配置存储目录
  • --gpus=all:如果你的机器支持 GPU,可直接启用

部署完成后,本地 Ollama 服务就已经就绪了。


二、下载并运行模型

模型仓库地址:
👉 https://ollama.com/library/qwen3

这里我选择的是目前开源模型中综合表现非常不错Qwen3,你可以根据自己电脑的配置选择不同参数规模的模型。

常用命令速览

/* by yours.tools - online tools website : yours.tools/zh/excel2json.html */ # 1. 查看已安装模型 ollama list # 2. 拉取模型 ollama pull [模型名称] # 3. 运行模型 ollama run [模型名称] # 4. 删除模型 ollama rm [模型名称] # 5. 查看帮助 ollama help

模型下载完成后,你已经可以在终端中直接与本地大模型进行交互了。


三、接入 AI 助手(不写代码也能用)

如果你不想额外安装客户端应用,一个非常简单的方式是:
👉使用浏览器扩展:Page Assist

配置 Ollama 本地链接

打开 Page Assist 的设置页面,找到模型配置,将 Ollama 的本地地址填入即可(默认是http://localhost:11434)。

配置完成后,选择一个你已经下载好的模型,就可以直接开始对话了。

从使用体验上来看,与常见的云端 AI 助手几乎一致,但所有请求都只在本地完成


写在最后

实际上,不止是 Page Assist。
现在已经有越来越多的 AI 工具、编辑器、自动化系统,都支持通过 Ollama 的本地接口接入模型。

一旦你搭建好了这层“本地大模型能力”,后续几乎可以:

  • 把 AI 接入到编辑器
  • 接入到自动化脚本
  • 接入到个人知识库
  • 甚至接入到你自己的应用中

模型在本地,能力可复用,数据不出门。

如果你之前一直在云端使用大模型,那么这次尝试一次本地部署,可能会成为你使用 AI 的一个重要转折点。


版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/30 2:28:22

端到端 NLP 加速:用 `cann-nlp-pipeline` 构建高性能文本服务

端到端 NLP 加速:用 cann-nlp-pipeline 构建高性能文本服务 cann组织链接:https://atomgit.com/cann ops-nn仓库链接:https://atomgit.com/cann/ops-nn 在工业级 NLP 应用中,延迟和吞吐是核心指标。然而,传统方案常将…

作者头像 李华
网站建设 2026/5/11 18:21:24

逆合成孔径雷达相位补偿:牛顿法、固定点与同时更新的探索

逆合成孔径雷达相位补偿,牛顿法最小熵相位补偿(NMEA)、固定点最小熵相位补偿(FPMEA)、同时更新相位补偿(SUMEA)在逆合成孔径雷达(ISAR)领域,相位补偿是个绕不开的关键话题。它就像给雷达数据戴上了一副精准…

作者头像 李华
网站建设 2026/5/10 21:51:47

基于CNN/LSTM/CNN-LSTM/Kmeans-CNN-LSTM的光伏功率预测附Matlab代码

✅作者简介:热爱科研的Matlab仿真开发者,擅长毕业设计辅导、数学建模、数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。🍎 往期回顾关注个人主页:Matlab科研工作室👇 关注我领取海量matlab电子书和…

作者头像 李华
网站建设 2026/5/10 9:23:16

TensorFlow小白科普

TensorFlow小白科普:从原理到实战,解锁AI的极简入门 引言 你是否曾好奇:手机相册能精准识别人脸、电商APP能猜中你想买的东西、银行能提前预警信用卡风险,这些智能功能背后到底靠什么实现?答案之一,就是今天…

作者头像 李华
网站建设 2026/5/10 21:52:02

YAW-100型微机控制电液伺服多功能加载试验系统

YAW-100型微机控制电液伺服多功能加载试验系统一、功能电液伺服多功能试验系统主要用于结构试验教学,也可以在加载框架内进行建筑结构的弯曲、压缩、拉伸、扭转等性能试验。试验对象包括柱、梁、墙、框架等。还可以将系统中的伺服油缸在加载框架内组合使用&#xff…

作者头像 李华
网站建设 2026/5/10 21:51:07

CANN ops-math Softmax数值稳定技术 溢出防护与log-sum-exp技巧详解

摘要 作为一名拥有13年实战经验的AI加速库老炮儿,今天咱们来扒一扒CANN项目中那个让人又爱又恨的Softmax算子。🦾 软最大函数作为深度学习中的“流量担当”,几乎出现在所有分类任务中,但其数值稳定性问题却让多少工程师深夜掉头发…

作者头像 李华