ubuntu安装vllm

# 准备工作

# 1、下载模型

安装git

sudo apt update
apt install git
apt install git-lfs
git clone https://www.modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GPTQ-Int4.git

1
2
3
4

# 2、安装python

apt install python3.11

注：Python 3.11 可能不会直接包含在某些旧版本的 Ubuntu 或 Debian 仓库中。如果你的系统仓库没有 Python 3.11，你可以通过添加官方的 deadsnakes PPA 来获得较新版本的 Python。

sudo add-apt-repository ppa:deadsnakes/ppa
sudo apt update

1
2

python虚拟环境

 apt install python3.11-venv python3.11-dev
 apt install python3-pip
 python3.11 --version

1
2
3

如果你需要将 python 命令指向 Python 3.11，可以通过更新 alternatives 来实现：

sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.11 1
python3 --version

1
2

# 3、安装vllm

创建虚拟环境 
python3 -m venv venv
激活虚拟环境
source venv/bin/activate
下载源码
git clone https://github.com/vllm-project/vllm.git /home/ubuntu/vllm

1
2
3
4
5
6

参考官方文档cpu安装方式 (opens new window)

cpu运行
--------------
#首先，安装推荐的编译器。我们建议使用 gcc/g++ >= 12.3.0 作为默认编译器，以避免潜在问题。例如，在 Ubuntu 22.4 上，你可以运行：
sudo apt-get update  -y
sudo apt-get install -y gcc-12 g++-12 libnuma-dev
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-12 10 --slave /usr/bin/g++ g++ /usr/bin/g++-12
--------------
#其次，安装用于 vLLM CPU 后端构建的 Python 包
pip install --upgrade pip
pip install wheel packaging ninja "setuptools>=49.4.0" numpy
pip install -v -r requirements-cpu.txt --extra-index-url https://download.pytorch.org/whl/cpu

--------------
#从源代码构建并安装 oneDNN 库：
git clone -b rls-v3.5 https://github.com/oneapi-src/oneDNN.git
cmake -B ./oneDNN/build -S ./oneDNN -G Ninja -DONEDNN_LIBRARY_TYPE=STATIC \
cmake --build ./oneDNN/build --target install --config Release
--------------
#构建并安装 vLLM CPU 后端
VLLM_TARGET_DEVICE=cpu python setup.py install

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

# 4、启动模型

export VLLM_CPU_KVCACHE_SPACE=10
export VLLM_CPU_OMP_THREADS_BIND=0-13
vllm serve /data/Qwen2.5-3B-Instruct-GPTQ-Int4 \
--port 8284 \
--served-model-name qwen2.5:3b

1
2
3
4
5

# 安装过程中出现的问题

# 1、CMake

CMake Error at CMakeLists.txt:1 (cmake_minimum_required):
  CMake 3.26 or higher is required.  You are running version 3.22.1

1
2

手动安装 CMake

访问 CMake 的官方下载页面：https://cmake.org/download/
下载适合你系统的预编译二进制文件（例如 .tar.gz）。

解压并安装：

tar -zxvf cmake-<version>-linux-x86_64.tar.gz
sudo mv cmake-<version>-linux-x86_64 /opt/cmake
sudo ln -s /opt/cmake/bin/cmake /usr/local/bin/cmake

1
2
3

验证 CMake 安装：cmake --version

如果再虚拟环境中：

export PATH=/opt/cmake/bin:$PATH
cmake --version

1
2

# 2、pytorch

ERROR 12-25 10:31:55 engine.py:366] Please install intel_extension_for_pytorch>=2.5.0 via `pip install intel_extension_for_pytorch>=2.5.0` to use IPEX-AWQ linear method.

解决方式

pip install intel_extension_for_pytorch>=2.5.0
python -c "import intel_extension_for_pytorch"

1
2

然后重新执行方法

← Centos7安装caddy 、xui ubuntu安装vllm（docker）→