探索无限可能:Ollama on Windows 唤醒大型语言模型的本地力量

探索无限可能:Ollama on Windows 唤醒大型语言模型的本地力量

近期,OpenAI Translator 和 NextChat 纷纷支持 Ollama 在本地运行大型语言模型,为 AI 爱好者提供了全新的玩法。特别是 Ollama on Windows(预览版)的推出,彻底改变了在 Windows 设备上进行 AI 开发的方式,为 AI 探索者和新手提供了一条明确的路径。

什么是 Ollama?

Ollama 是一款革命性的人工智能(AI)和机器学习(ML)工具平台,极大地简化了 AI 模型的开发和使用过程。在技术社区中,AI 模型的硬件配置和环境搭建一直是个难题,而 Ollama 则致力于解决这一需求。

  • 它提供了一系列直观高效的工具,不论你是专业人士还是新手,都能在 Ollama 上找到支持。
  • Ollama 让先进的 AI 模型和计算资源的获取不再局限于少数人,推动了 AI 技术的普及,让更多人能够尝试和实践自己的 AI 创意。

为什么选择 Ollama?

在众多 AI 工具中,Ollama 有以下关键优势:

  1. 自动硬件加速:Ollama 能自动识别并充分利用 Windows 系统中的最优硬件资源,确保 AI 模型高效运行,解放你的时间和精力。
  2. 无需虚拟化:Ollama 让 AI 开发变得简单快捷,无需搭建复杂的虚拟机或软件环境。
  3. 接入完整的 Ollama 模型库:拥有丰富的 AI 模型库,让你轻松应用各种开源模型,无需费时搜寻整合。
  4. 常驻 API:Ollama 的常驻 API 简化了将 AI 功能整合到自己的应用中的过程,提升工作效率。

如何在 Windows 上使用 Ollama?

以下是使用 Ollama 的简单步骤和实用命令示例,确保你畅通无阻:

步骤 1:下载和安装

图片[1]-探索无限可能:Ollama on Windows 唤醒大型语言模型的本地力量 - 个人知识库-个人知识库

  • 双击文件,点击「Install」开始安装。

图片[2]-探索无限可能:Ollama on Windows 唤醒大型语言模型的本地力量 - 个人知识库-个人知识库

步骤 2:启动 Ollama 并获取模型

  • 在「开始」菜单中点击 Ollama 图标,运行后会在任务栏托盘中驻留一个图标。
  • win+R输入CMD回车打开命令行窗口。
  • 执行命令ollama run gemma:2b,将自动加载模型。

图片[3]-探索无限可能:Ollama on Windows 唤醒大型语言模型的本地力量 - 个人知识库-个人知识库

  • 这里整理了一下常用的模型,其中LLaVA为视觉模型可以识别图文,查看更多模型
模型 参数 大小 安装命令 发布组织
Llama 2 7B 3.8GB ollama run llama2 Meta
Code Llama 7B 3.8GB ollama run codellama Meta
Llama 2 13B 13B 7.3GB ollama run llama2:13b Meta
Llama 2 70B 70B 39GB ollama run llama2:70b Meta
Mistral 7B 4.1GB ollama run mistral Mistral AI
mixtral 8x7b 26GB ollama run mixtral:8x7b Mistral AI
Phi-2 2.7B 1.7GB ollama run phi Microsoft Research
LLaVA 7B 4.5GB ollama run llava Microsoft Research
Columbia University
Wisconsin
Gemma 2B 2B 1.4GB ollama run gemma:2b Google
Gemma 7B 7B 4.8GB ollama run gemma:7b Google
Qwen 4B 4B 2.3GB ollama run qwen:4b Alibaba
Qwen 7B 7B 4.5GB ollama run qwen:7b Alibaba
Qwen 14B 14B 8.2GB ollama run qwen:14b Alibaba

步骤 3:使用模型

  • 基于文本的模型:加载文本模型后,直接在命令行输入文字与模型进行「对话」。

图片[4]-探索无限可能:Ollama on Windows 唤醒大型语言模型的本地力量 - 个人知识库-个人知识库

步骤 4:安装open-webui

图片[5]-探索无限可能:Ollama on Windows 唤醒大型语言模型的本地力量 - 个人知识库-个人知识库

  • 如果 Ollama 在您的计算机上,请使用以下命令:

     
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  • 如果 Ollama 位于不同的服务器上,请使用以下命令:

  • 要连接到另一台服务器上的 Ollama,请将 更改OLLAMA_BASE_URL为服务器的 URL:

     
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

步骤 5:连接到 Ollama API

  • 默认地址和端口:Ollama API 的默认地址是 http://localhost:11434,可在安装 Ollama 的系统中直接调用。
  • 修改 API 的侦听地址和端口:可根据需要修改 API 的侦听地址和端口。
  • 右击点击任务栏图标,选择「Quit Ollama」退出后台运行。
  • 使用Windows + R快捷键打开「运行」对话框,输出以下命令,然后按Ctrl + Shift + Enter以管理员权限启动「环境变量」。
C:\Windows\system32\rundll32.exe sysdm.cpl, EditEnvironmentVariables
 
  • 要更改侦听地址和端口,可以添加以下环境变量:
  • 变量名:OLLAMA_HOST
  • 变量值(端口)::8000

图片[6]-探索无限可能:Ollama on Windows 唤醒大型语言模型的本地力量 - 个人知识库-个人知识库

  • 只填写端口号可以同时侦听(所有) IPv4 和 IPv6 的:8000端口。
  • 如果安装了多个模型,可以通过OLLAMA_MODELS变量名来指定默认模型。
  • 更改完之后,重新运行 Ollama。然后在浏览器中测试访问,验证更改是否成功。

Ollama 的常用命令有

# 查看 Ollama 版本
ollama -v 

# 查看已安装的模型
ollama list 

# 删除指定模型
ollama rm [modelname]

# 模型存储路径
# C:\Users\<username>\.ollama\models

最佳实践和技巧

  • 检查硬件配置:确保设备满足 Ollama 的硬件要求,尤其是运行大型模型时。
  • 更新驱动程序:保持显卡驱动程序为最新版本,以确保最佳性能。
  • 释放系统资源:运行大型模型或执行复杂任务时,关闭不必要的程序,释放系统资源。
  • 选择合适模型:根据任务需求选择合适的模型,以提高效率。

这些最佳实践和技巧将帮助你优化 Ollama 的性能,并解决一些常见问题,让你充分发挥 Ollama 在 Windows 上的潜力。

© 版权声明
THE END
喜欢就支持一下吧
点赞10赞赏 分享
评论 抢沙发

请登录后发表评论

    请登录后查看评论内容