ubuntu 22安装vllm

一、安装基础依赖
sudo apt update
sudo apt install -y git curl wget vim tmux htop build-essential python3-pip python3-venv

检查 Python：

python3 --version

Ubuntu 22.04 一般是：

Python 3.10.x

没问题。

二、创建 vLLM 环境
cd ~
python3 -m venv vllm-env
source ~/vllm-env/bin/activate

激活后前面会有：

(vllm-env)

升级 pip：

pip install -U pip setuptools wheel

三、安装 vLLM
pip install torch==2.4.0+cu121 torchvision==0.19.0+cu121 torchaudio==2.4.0+cu121 --index-url https://download.pytorch.org/whl/cu121

三、安装 vLLM 0.6.2，并强制固定 transformers 版本

执行：

pip install transformers==4.45.2 tokenizers==0.20.3
pip install vllm==0.6.2

四、检查版本

执行：

python - <<'PY'
import torch
print("torch:", torch.__version__)
print("cuda available:", torch.cuda.is_available())
print("cuda version:", torch.version.cuda)
print("gpu count:", torch.cuda.device_count())

import transformers
print("transformers:", transformers.__version__)

import vllm
print("vllm:", vllm.__version__)
PY

你需要看到类似：

torch: 2.4.0+cu121
cuda available: True
cuda version: 12.1
gpu count: 2
transformers: 4.45.2
vllm: 0.6.2

五、设置模型缓存目录

你的硬盘只有 120GB，建议把模型统一放到 /data/hf-cache。

sudo mkdir -p /data/hf-cache
sudo chown -R $USER:$USER /data

写入环境变量：

echo 'export HF_HOME=/data/hf-cache' >> ~/.bashrc
echo 'export HUGGINGFACE_HUB_CACHE=/data/hf-cache/hub' >> ~/.bashrc
source ~/.bashrc

国内服务器建议加 Hugging Face 镜像：

echo 'export HF_ENDPOINT=https://hf-mirror.com' >> ~/.bashrc
source ~/.bashrc
六、先用小模型测试

不要一开始就跑 14B 或 32B，先测试 vLLM 是否正常。

vllm serve Qwen/Qwen2.5-1.5B-Instruct \
  --host 0.0.0.0 \
  --port 8000 \
  --dtype half \
  --trust-remote-code

如果能看到类似：

Uvicorn running on http://0.0.0.0:8000

说明服务启动成功。

然后新开一个 SSH 窗口测试：

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen2.5-1.5B-Instruct",
    "messages": [
      {"role": "user", "content": "你好，简单介绍一下你自己"}
    ],
    "max_tokens": 200
  }'

如果返回中文内容，说明 vLLM 安装没问题。

测试完按：

Ctrl + C

停止小模型。

这个报错不是模型问题，也不是 CUDA 问题，是 Python 依赖缺失：

ModuleNotFoundError: No module named 'pyairports'

原因是 vLLM 的 guided_decoding / outlines 功能加载时，需要 pyairports，但你当前环境里没装。

直接在 vllm-env 里执行：

source ~/vllm-env/bin/activate

git clone https://github.com/ozeliger/pyairports.git

cd pyairports
source ~/vllm-env/bin/activate
pip install .

然后重启 vLLM 服务。

ModuleNotFoundError: No module named 'pkg_resources'

python -m pip uninstall -y setuptools
python -m pip install --force-reinstall "setuptools<70" wheel -i https://pypi.org/simple

python -c "import pkg_resources; print('pkg_resources ok')"

如果还是不行，强制重装 setuptools：

source ~/vllm-env/bin/activate

python -m pip uninstall -y setuptools
python -m pip install --force-reinstall "setuptools<70" wheel -i https://pypi.org/simple

python -c "import pkg_resources; print('pkg_resources ok')"

正常输出应该是：

pkg_resources ok

本文由 admin 创作，采用知识共享署名4.0 国际许可协议进行许可。
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名。