探索无限可能：Ollama on Windows 唤醒大型语言模型的本地力量

什么是 Ollama？

Ollama 是一款革命性的人工智能（AI）和机器学习（ML）工具平台，极大地简化了 AI 模型的开发和使用过程。在技术社区中，AI 模型的硬件配置和环境搭建一直是个难题，而 Ollama 则致力于解决这一需求。

• 它提供了一系列直观高效的工具，不论你是专业人士还是新手，都能在 Ollama 上找到支持。
• Ollama 让先进的 AI 模型和计算资源的获取不再局限于少数人，推动了 AI 技术的普及，让更多人能够尝试和实践自己的 AI 创意。

为什么选择 Ollama？

在众多 AI 工具中，Ollama 有以下关键优势：

1. 自动硬件加速：Ollama 能自动识别并充分利用 Windows 系统中的最优硬件资源，确保 AI 模型高效运行，解放你的时间和精力。
2. 无需虚拟化：Ollama 让 AI 开发变得简单快捷，无需搭建复杂的虚拟机或软件环境。
3. 接入完整的 Ollama 模型库：拥有丰富的 AI 模型库，让你轻松应用各种开源模型，无需费时搜寻整合。
4. 常驻 API：Ollama 的常驻 API 简化了将 AI 功能整合到自己的应用中的过程，提升工作效率。

如何在 Windows 上使用 Ollama？

以下是使用 Ollama 的简单步骤和实用命令示例，确保你畅通无阻：

步骤 1：下载和安装

• 访问 Ollama Windows Preview 页面，下载 OllamaSetup.exe 安装程序。

• 双击文件，点击「Install」开始安装。

步骤 2：启动 Ollama 并获取模型

• 在「开始」菜单中点击 Ollama 图标，运行后会在任务栏托盘中驻留一个图标。
• win+R输入CMD回车打开命令行窗口。
• 执行命令ollama run gemma:2b，将自动加载模型。

• 这里整理了一下常用的模型，其中LLaVA为视觉模型可以识别图文，查看更多模型。

步骤 3：使用模型

• 基于文本的模型：加载文本模型后，直接在命令行输入文字与模型进行「对话」。

步骤 4：安装open-webui

• 如果 Ollama 在您的计算机上，请使用以下命令：

   

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

• 如果 Ollama 位于不同的服务器上，请使用以下命令：

• 要连接到另一台服务器上的 Ollama，请将 更改OLLAMA_BASE_URL为服务器的 URL：

   

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

• 安装完成后，您可以通过http://localhost:3000访问 Open WebUI 。享受！😄

步骤 5：连接到 Ollama API

• 默认地址和端口：Ollama API 的默认地址是 http://localhost:11434，可在安装 Ollama 的系统中直接调用。
• 修改 API 的侦听地址和端口：可根据需要修改 API 的侦听地址和端口。
• 右击点击任务栏图标，选择「Quit Ollama」退出后台运行。
• 使用Windows + R快捷键打开「运行」对话框，输出以下命令，然后按Ctrl + Shift + Enter以管理员权限启动「环境变量」。

C:\Windows\system32\rundll32.exe sysdm.cpl, EditEnvironmentVariables

• 要更改侦听地址和端口，可以添加以下环境变量：
• 变量名：OLLAMA_HOST
• 变量值（端口）：:8000

• 只填写端口号可以同时侦听（所有） IPv4 和 IPv6 的:8000端口。
• 如果安装了多个模型，可以通过OLLAMA_MODELS变量名来指定默认模型。
• 更改完之后，重新运行 Ollama。然后在浏览器中测试访问，验证更改是否成功。

Ollama 的常用命令有

# 查看 Ollama 版本
ollama -v 

# 查看已安装的模型
ollama list 

# 删除指定模型
ollama rm [modelname]

# 模型存储路径
# C:\Users\<username>\.ollama\models

最佳实践和技巧

• 检查硬件配置：确保设备满足 Ollama 的硬件要求，尤其是运行大型模型时。
• 更新驱动程序：保持显卡驱动程序为最新版本，以确保最佳性能。
• 释放系统资源：运行大型模型或执行复杂任务时，关闭不必要的程序，释放系统资源。
• 选择合适模型：根据任务需求选择合适的模型，以提高效率。

这些最佳实践和技巧将帮助你优化 Ollama 的性能，并解决一些常见问题，让你充分发挥 Ollama 在 Windows 上的潜力。