AI 大模型的部署一直是一个技术门槛较高的问题,尤其是对于不懂代码的用户来说,更是难上加难。但是,现在有了一种新的解决方案,可以让不懂代码的用户也能轻松部署属于自己的 AI 大模型。
Ollama 的推出,让不懂代码的用户也能轻松部署属于自己的 AI 大模型。Ollama 是一款基于 Go 语言开发的 AI 大模型部署框架,它可以帮助用户快速部署自己的 AI 大模型,而且不需要任何代码基础。仅仅需简单的几条命令,就可以轻松部署属于自己的 AI 大模型。
Ollama 的安装
官网给出了多个平台的安装方式,这里以 Windows 为例:
点击下载链接 https://ollama.com/download 选择 Windows 版本,下载安装后,打开命令行工具,输入以下命令测试:
ollama -v
ollama version is 0.5.7
运行一个 AI 大模型
当前热度最高的莫非国产开源的 DeepSeek-R1 模型,我看根据自己的主机配置,选择一个适合的模型。
下面配置可供参考
型版本 | 参数量 | 特点 |
---|---|---|
deepseek-r1:1.5b | 1.5B | 轻量级模型,适合低配硬件,性能有限但运行速度快 |
deepseek-r1:7b | 7B | 平衡型模型,适合大多数任务,性能较好且硬件需求适中 |
deepseek-r1:8b | 8B | 略高于 7B 模型,性能稍强,适合需要更高精度的场景 |
deepseek-r1:14b | 14B | 高性能模型,适合复杂任务(如数学推理、代码生成),硬件需求较高 |
deepseek-r1:32b | 32B | 专业级模型,性能强大,适合研究和高精度任务,需高端硬件支持 |
deepseek-r1:70b | 70B | 顶级模型,性能最强,适合大规模计算和高复杂度任务,需专业级硬件支持 |
以运行 deepseek-r1:8b
为例:
ollama run deepseek-r1:8b
pulling manifest
pulling 6340dc3229b0... 1% ▕ ▏ 41 MB/4.9 GB 3.7 MB/s 21m51s
运行成功后会进入命令行交互界面:
(base) PS C:\Users\Admin\Desktop> ollama run deepseek-r1:8b
>>> 天空为什么是蓝色的 #输入简单的问题进行测试
<think>
嗯,天空为什么是蓝色的呢?这是一个挺有趣的问题。我记得小时候老师说过,天空的颜色和大气层有关,但具体细节我已经忘了。
所以,我想先从基础开始思考。
首先,大气层分为哪些部分呢?我记得有地面附近的大气层,然后逐渐向上变稀薄直到空间中的其他行层。这些不同的层可能会影响
光的散射情况。那为什么天空不是黑色的呢?如果地球是一个球体,遮挡住了太阳,理论上应该是黑色才对。
...
如上,一个属于自己的 AI 大模型就部署成功了。
搭配 ChatBox AI 食用更佳
Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。用户可以通过 API 与 DeepSeek 进行交互,获取 AI 模型的输出结果。
下载地址 https://chatboxai.app/zh/install?download=win64
安装后,打开 ChatBox 的设置菜单 –> 模型提供方 –> OLLAMA API –> 输入 http://127.0.0.1:11434
–> 模型选择 –> deepseek-r1:8b
–> 保存
这样就可以在 ChatBox 中使用 DeepSeek-R1 模型了。