1.本地大模型的定义
本地⼤模型（ Local Large Model ）是指不依赖于云端计算资源，⽽是部署和运⾏在本地设备上的 ⼤规模⼈⼯智能模型。这些模型通常具有较强的计算能⼒和存储需求，因此通常在⾼性能的本地硬件 （如⾼性能计算机、专⽤服务器、甚⾄边缘设备）上运⾏。 与传统的云端⼤模型不同，本地⼤模型将数据处理和推理任务限制在本地，不依赖外部服务器或云平台。
2.优缺点
优点：
- 数据安全和隐私保护：本地⼤模型不需要将数据上传到云端，减少了数据泄露的⻛险。
- 减少依赖：不需要稳定的⽹络连接，适合⽹络环境较差的地区。
- 降低延迟：数据处理和推理在本地进⾏，减少了⽹络延迟。
缺点：
- 硬件要求⾼：本地⼤模型需要⾼性能的硬件⽀持，增加了部署成本。
- 维护复杂：需要专业的技术⽀持来安装、配置和优化模型，增加了维护难度。
- 资源占⽤⼤：本地⼤模型占⽤⼤量的计算资源和存储空间，可能对设备性能有较⾼要求。
本地部署意味着需要⼀次性投资于⾼性能的计算硬件。尽管这可能增加⼀些⽤户的经济成本，但它提 供了⻓期的成本效益，尤其是对于那些有持续⾼强度使⽤需求的⽤户。个⼈⽤户通过本地部署能够获 得更⼤的控制权和⾃定义能⼒，这可能对于研究⼈员或开发者特别有价值。然⽽，需要注意的是，本 地部署也意味着⽤户必须具备⼀定的技术能⼒来配置和维护系统。
3.应用场景
- 企业内部分析和决策⽀持：在企业内部部署本地⼤模型，⽤于数据分析、预测和市场趋势研究。
- 教育和科研：在实验室或研究机构内部署本地⼤模型，⽤于复杂的模拟和计算任务。
- 工业自动化：在⼯⼚或⽣产线上部署本地⼤模型，⽤于实时监控和优化⽣产过程。
4.硬件需求
本地⼤模型的推理性能和速度直接受限于个⼈或组织的硬件配置，如处理器、内存和存储空间等。要 保证速度，需要显卡和⾼速内存，⼀般⽽⾔，显卡是必须的。
具体内存来说：
- 对于70亿参数的模型，推荐⾄少配备 16GB 的系统内存（ RAM ）。
- 130亿参数的模型，建议使⽤ 32GB 内存。
- 对于700亿参数的模型，⼀般推荐使⽤ 64GB 内存，尽管有报告称 32GB 内存也能运⾏，但可 能会⾮常卡顿。
对于运算处理，更多的依赖 CPU 和 GPU ：
- CPU ：中央处理单元是通⽤计算的核⼼，设计⽤于处理多任务、逻辑性强的事物处理和串⾏ 计算。
- GPU ：图形处理单元包含成百上千个较⼩、更专⽤的处理核⼼，这使得它在执⾏并⾏任务时 更加⾼效，例如⼤规模数学计算和数据处理。量化后的模型显存需求：即使是经过量化的模型 （如 ChatGLM2-6B INT4 ），也需要⾄少 5GB 以上的显存。
这种并⾏处理能⼒使 GPU 特别适合于机器学习和深度学习模型训练，因为这些任务通常涉及⼤量的 矩阵运算和数据并⾏处理，⽽ CPU 在处理这类任务时会受到其串⾏计算限制的影响。以 MacOS 为 例，虽然 Mac 的 m 系列芯⽚集成了 CPU 和 GPU 的功能，但 GPU 的性能远不如独⽴显卡提供的性 能。所以对 Mac ⽽⾔，只适合做⼀些中轻量级的机器学习任务。
5.Ollama技术
5.1简介
Ollama 是⼀个强⼤的本地⼤语⾔模型运⾏框架，它让⽤户能够在本地设备上轻松运⾏和管理各种⼤ 语⾔模型。它⽀持多种编程语⾔（如 Python 、 Java 等）和框架（如 TensorFlow 、 PyTorch 等）。
能直接运⾏⼤模型，与⼤模型进行对话。
- ollama 命令具有管理⼤模型的能力。
- 利⽤ cpu 运⾏⼤模型。
- 本地⼤模型安全可靠。
- 终端直接开始聊天。
- 社区提供了⽀持 web api ⽅式访问 WebUI 。
Ollama 的主要特点包括： 简单易⽤， Ollama 提供了简洁的 API 和命令⾏⼯具，使得模型部署变 得简单快捷。
ollama是AI大模型的管理平台，大部分开源的大模型，我们可以在ollama上进行安装部署。
5.2ollama的安装
5.2.1下载
进入官网https://ollama.com/ 进行下载
下载后双击进行安装
默认安装到C盘，如果不想安装到C盘可以用命令安装
OllamaSetup.exe /DIR=E:\MySoftware\Ollama
5.3ollama指令
打开命令窗口输入：
ollama help会看到ollama的相关指令
serve Start ollama
create Create a model
show Show information for a model
run Run a model
stop Stop a running model
pull Pull a model from a registry
push Push a model to a registry
signin Sign in to ollama.com
signout Sign out from ollama.com
list List models
ps List running models
cp Copy a model
rm Remove a model
help Help about any command
5.4部署本地大模型
进⼊ Ollama 官⽹，找到 Models ，进去后就能看到：
将复制好的命令输入到命令窗口，即可进行安装（时间较长）
安装好后即可在命令行中进行对话，结束聊天
/bye
