.md | 大模型本地部署指南

大家好，我是 Ai 学习的老章

OpenAI gpt-oss

OpenAI 扭扭捏捏的终于开源了

放出了 gpt-oss 系列大模型，一共两个：

gpt-oss-120b —— 适用于生产环境、通用目的和高推理需求的场景，可以在单个单 80GB GPU 比如 H100 GPU 上运行（117B 参数，其中 5.1B 激活参数）
gpt-oss-20b —— 适用于低延迟和本地或特定用途的场景（21B 参数，其中 3.6B 激活参数），推理性能接近 OpenAI o4 - mini；gpt - oss - 20b 能在 16GB 内存的边缘设备运行

亮点：

随便用：免费开源，商业用途也 OK，不怕侵权
算力自由：想快就快，想省就省，3 档可调
透明思考：模型怎么想的全能看，方便 debug
私人定制：支持微调，专属 AI 助手
全能选手：能上网、写代码、调工具、格式化输出
省钱神器：大模型单卡 H100 就能跑，小模型 16G 内存就够

官方测评数据，看起来很好。例如在竞争数学和健康相关查询任务中，gpt - oss - 120b 超越 o3 - mini 甚至在部分指标上优于 o4 - mini，gpt - oss - 20b 也在一些任务中超过 o3 - mini。

在线试用

OpenAI 官方提供了在线试用：https://gpt-oss.com/

可以选择是否显示思考过程，以及思考深度

简单试了，特别水！

提示词：创建一个带有基于画布的动画粒子背景的 HTML 页面。粒子应平滑移动并在靠近时连接。在画布上方添加居中的标题文本

20B 跑出来一坨大便，只有文本

120B 跑出来稍微好那么一丢丢，但也很水

对比之前我测试 Google Diffusion 和 MiniMax，差的不是一星半点

MiniMax ![[minimax-demo-UI Components Spotlight.mp4]]

Gemini Diffusion

![[Gemini Diffusion-particles.mp4]]

gpt-oss-20b 本地部署

有一点不得不夸，OpenAI 文档水平很高

比如上面的模型卡，模型简介，还有这个部署教程：介绍了多种运行 gpt - oss 模型的方式，例如借助 NVIDIA TensorRT - LLM 运行特定版本 gpt - oss - 20b，以及通过 Transformers、vLLM、Ollama 等不同工具在本地运行

Ollama

Ollama 用户比较省事，尤其是它刚刚更新了 app，我有过介绍：[[2025-08-01-Ollama's new app]]

bash

# gpt-oss-20b 
ollama pull gpt-oss:20b 
ollama run gpt-oss:20b

vLLM

我测试环境用的 vLLM

#下载模型
pip install modelscope
modelscope download --model openai-mirror/gpt-oss-20b

#安装vLLM https://cookbook.openai.com/articles/gpt-oss/run-vllm

uv pip install --pre vllm==0.10.1+gptoss \
    --extra-index-url https://wheels.vllm.ai/gpt-oss/ \
    --extra-index-url https://download.pytorch.org/whl/nightly/cu128 \
    --index-strategy unsafe-best-matchunsafe-best-match 
# 运行模型
vllm server . --server-model-name GPT-OSS-20B --port 3002

但是遭遇了大家都遇到的问题

ImportError: /lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.32' not found (required by /mnt/vllm-env/lib/python3.10/site-packages/vllm/_C.so)

直接升级 GLIBC 风险极高，不建议折腾，目前没有看到更好的解决方法，据说降级 torch 和一众依赖可行，没看到成功的，或许只有升级系统了

搭建完美的写作环境：工具篇（12 章）图解机器学习 - 中文版（72 张 PNG）ChatGPT、大模型系列研究报告（50 个 PDF）108 页 PDF 小册子：搭建机器学习开发环境及 Python 基础 116 页 PDF 小册子：机器学习中的概率论、统计学、线性代数史上最全！371 张速查表，涵盖 AI、ChatGPT、Python、R、深度学习、机器学习等

OpenAI gpt-oss ​

在线试用 ​

gpt-oss-20b 本地部署 ​

Ollama ​

vLLM ​

OpenAI gpt-oss

在线试用

gpt-oss-20b 本地部署

Ollama

vLLM