不懂代码也能轻松部署属于自己的 AI 大模型

AI 大模型的部署一直是一个技术门槛较高的问题,尤其是对于不懂代码的用户来说,更是难上加难。但是,现在有了一种新的解决方案,可以让不懂代码的用户也能轻松部署属于自己的 AI 大模型。

Ollama 的推出,让不懂代码的用户也能轻松部署属于自己的 AI 大模型。Ollama 是一款基于 Go 语言开发的 AI 大模型部署框架,它可以帮助用户快速部署自己的 AI 大模型,而且不需要任何代码基础。仅仅需简单的几条命令,就可以轻松部署属于自己的 AI 大模型。

Ollama 的安装

官网给出了多个平台的安装方式,这里以 Windows 为例:

点击下载链接 https://ollama.com/download 选择 Windows 版本,下载安装后,打开命令行工具,输入以下命令测试:

ollama -v
ollama version is 0.5.7

运行一个 AI 大模型

当前热度最高的莫非国产开源的 DeepSeek-R1 模型,我看根据自己的主机配置,选择一个适合的模型。

下面配置可供参考

型版本 参数量 特点
deepseek-r1:1.5b 1.5B 轻量级模型,适合低配硬件,性能有限但运行速度快
deepseek-r1:7b 7B 平衡型模型,适合大多数任务,性能较好且硬件需求适中
deepseek-r1:8b 8B 略高于 7B 模型,性能稍强,适合需要更高精度的场景
deepseek-r1:14b 14B 高性能模型,适合复杂任务(如数学推理、代码生成),硬件需求较高
deepseek-r1:32b 32B 专业级模型,性能强大,适合研究和高精度任务,需高端硬件支持
deepseek-r1:70b 70B 顶级模型,性能最强,适合大规模计算和高复杂度任务,需专业级硬件支持

以运行 deepseek-r1:8b 为例:

ollama run deepseek-r1:8b
pulling manifest
pulling 6340dc3229b0...   1% ▕                                                        ▏  41 MB/4.9 GB  3.7 MB/s  21m51s 

运行成功后会进入命令行交互界面:

(base) PS C:\Users\Admin\Desktop> ollama run deepseek-r1:8b
>>> 天空为什么是蓝色的 #输入简单的问题进行测试
<think>
嗯,天空为什么是蓝色的呢?这是一个挺有趣的问题。我记得小时候老师说过,天空的颜色和大气层有关,但具体细节我已经忘了。
所以,我想先从基础开始思考。

首先,大气层分为哪些部分呢?我记得有地面附近的大气层,然后逐渐向上变稀薄直到空间中的其他行层。这些不同的层可能会影响
光的散射情况。那为什么天空不是黑色的呢?如果地球是一个球体,遮挡住了太阳,理论上应该是黑色才对。
...

如上,一个属于自己的 AI 大模型就部署成功了。

搭配 ChatBox AI 食用更佳

Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。用户可以通过 API 与 DeepSeek 进行交互,获取 AI 模型的输出结果。

下载地址 https://chatboxai.app/zh/install?download=win64

安装后,打开 ChatBox 的设置菜单 –> 模型提供方 –> OLLAMA API –> 输入 http://127.0.0.1:11434 –> 模型选择 –> deepseek-r1:8b –> 保存

这样就可以在 ChatBox 中使用 DeepSeek-R1 模型了。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注