ollama配置使用GPU的做法步骤实用指南
平时做技术实践时，很多问题不是概念不会，而是细节没串起来。拿“ollama配置采用GPU的做法步骤”来说，它看着像小点，放到项目里常会牵出环境、配置、兼容性和维护成本。下面按实际采用顺序，把思路、关键写法和容易踩坑的地方讲清楚，便于大家直接对照操作。
目录
- 第一步：查看自己显卡是否兼容
- 第二步：查看本机显卡参数
- 第三步：安装cuda toolkit
- 第四步：设置ollama 环境变量
- 第五步：验证是否采用gpu
- Ollama可设置环境变量
第一步：查看自己显卡是否兼容
第二步：查看本机显卡参数
命令：nvidia-smi
第三步：安装cuda toolkit
cuda toolkit下载地址：（链接已移除）
请记住流程安装选local而非network
安装完后验证是否安装成功，命令：nvcc --version
第四步：设置ollama 环境变量
添加以下环境变量：
- 变量名：OLLAMA_GPU_LAYER
- 变量值：cuda
指定特定的 GPU，能够添加以下环境变量：
- 变量名：CUDA_VISIBLE_DEVICES
- 变量值：GPU的UUID（方法如下所示）
GPU的UUID查看命令：nvidia-smi -L
第五步：验证是否采用gpu
运行大模型
随后再起一个命令行 输入 ollama ps 就能够看到 processor里面有cpu与gpu运行百分比
Ollama可设置环境变量
- OLLAMA_DEBUG: 显示额外的调试信息（比如：OLLAMA_DEBUG=1）。
- OLLAMA_HOST: Ollama 服务器的 IP 地址（默认值：127.0.0.1:11434）。
- OLLAMA_KEEP_ALIVE: 模型在内存中保持加载的时长（默认值：“5m”），设置为-1表示常驻内存运行。
- OLLAMA_MAX_LOADED_MODELS: 每个 GPU 上最大加载模型数量。
- OLLAMA_MAX_QUEUE: 请求队列的最大长度。
- OLLAMA_MODELS: 模型目录的路径。
- OLLAMA_NUM_PARALLEL: 最大同时行请求数。
- OLLAMA_NOPRUNE: 启动时不修剪模型 blob。
- OLLAMA_ORIGINS: 允许的源列表，采用逗号分隔。
- OLLAMA_SCHED_SPREAD: 始终跨所有 GPU 调度模型。
- OLLAMA_TMPDIR: 临时文件的位置。
- OLLAMA_FLASH_ATTENTION: 启用 Flash Attention。
- OLLAMA_LLM_LIBRARY: 设置 LLM 库以绕过自动检测。
windows系统上设置直接在环境变量中设置即可。
落到代码里，到此这篇关于ollama设置采用GPU的方法步骤的文章就介绍到这了,更多相关ollama设置GPU内容请搜索脚本之家以前的文章或继续浏览下面的相关文章，希望大家以后多多兼容脚本之家！
相关资讯
-
08.26
索尼克赛车交叉世界如何全红环收集
-
08.26
蛋仔派对x名侦探柯南联动第二弹上线了吗
-
08.26
燕云十六声众生野祠游火如何介绍
-
08.26
《绝区零》2.7版本英雄不死于往昔内容分享
-
08.26
烈焰觉醒圣装系统攻略
-
08.26
《月圆之夜》秘宝对决玩法说明
游戏推荐
推荐专题
热门阅读
-
-
-
- ollama配置使用GPU的做法步骤实用指南
- 08.26
-
- 第五人格角色时装图鉴
- 08.26
-
- 时空中的绘旅人七夕活动2025如何玩
- 08.26
-
- 《红色沙漠》龙坐骑铠甲解锁做法 深渊龙铠怎么获得
- 08.26
推荐下载
-
-
下载
- |
-
-
下载
- 《行尸走肉第一章》免安装中文汉化硬盘版下载
- 单机|436 MB
- 一款以动作冒险为主题的游戏
-
-
下载
- 《街头霸王X铁拳》免安装中文汉化硬盘版下载
- 单机|111MB
- 一款非常好玩的格斗游戏
-
-
下载
- |
-
-
下载
- 《暗黑破坏神3》免安装繁体中文正式版下载
- 单机|7630 MB
- 一款以角色扮演为主题的游戏
-
-
下载
- 《马克思佩恩3》免安装硬盘版下载
- 单机|27033 MB
- 一款以第三人称射击为主题的游戏