【PaddlePaddle】手把手教学：在Ubuntu22.04上配置CUDA12.2环境并源码编译PaddlePaddle

1. 环境准备Ubuntu 22.04基础配置在开始PaddlePaddle的源码编译之前我们需要先搭建好基础环境。Ubuntu 22.04 LTS作为长期支持版本提供了稳定的系统基础。我建议使用物理机直接安装Ubuntu系统这样能避免WSL可能带来的兼容性问题。如果你确实需要使用WSL可以参考微软官方文档进行配置但要注意选择WSL2以获得更好的性能。首先更新系统软件源是个好习惯。我习惯使用清华源速度稳定且更新及时。执行以下命令备份原有源配置sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak然后用vim或nano编辑sources.list文件替换为以下内容deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy main restricted universe multiverse deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-updates main restricted universe multiverse deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-backports main restricted universe multiverse deb http://security.ubuntu.com/ubuntu/ jammy-security main restricted universe multiverse更新软件包列表并升级现有软件sudo apt update sudo apt upgrade -y这个步骤可能需要10-20分钟取决于你的网络速度。完成后建议重启系统确保所有更新生效。我在实际配置中发现跳过这步有时会导致后续安装的依赖版本不匹配。2. 安装必备编译工具链PaddlePaddle的编译需要完整的工具链支持。根据官方文档要求我们需要准备以下组件GCC 8.2推荐11.4G 对应GCC版本CMake 3.27实测3.16会导致CUDA标准设置错误安装GCC和Gsudo apt install gcc-11 g-11 -y设置默认版本如果系统中有多个版本sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-11 100 sudo update-alternatives --install /usr/bin/g g /usr/bin/g-11 100验证安装gcc --version g --version对于CMakeUbuntu 22.04默认仓库中的版本较旧我们需要手动安装3.27版本wget https://cmake.org/files/v3.27/cmake-3.27.0-linux-x86_64.tar.gz tar -zxvf cmake-3.27.0-linux-x86_64.tar.gz sudo mv cmake-3.27.0-linux-x86_64 /opt/cmake-3.27.0 sudo ln -s /opt/cmake-3.27.0/bin/cmake /usr/local/bin/cmake检查CMake版本cmake --version我遇到过CMake路径问题导致编译失败的情况建议通过which cmake确认路径是否正确。如果出现问题可以尝试在.bashrc中添加PATH变量export PATH/opt/cmake-3.27.0/bin:$PATH3. CUDA 12.2与cuDNN安装配置PaddlePaddle的GPU版本需要CUDA和cuDNN支持。这里选择CUDA 12.2作为演示版本因为它提供了良好的兼容性和性能。首先安装CUDA Toolkitwget https://developer.download.nvidia.com/compute/cuda/12.2.2/local_installers/cuda_12.2.2_535.104.05_linux.run sudo sh cuda_12.2.2_535.104.05_linux.run安装时注意取消勾选NVIDIA驱动如果已安装最新驱动确保CUDA Toolkit被选中安装完成后会提示添加环境变量配置CUDA环境变量echo export PATH/usr/local/cuda-12.2/bin:$PATH ~/.bashrc echo export LD_LIBRARY_PATH/usr/local/cuda-12.2/lib64:$LD_LIBRARY_PATH ~/.bashrc source ~/.bashrc验证CUDA安装nvcc --version接下来安装cuDNN。需要先到NVIDIA官网下载对应版本这里使用8.9.4.25tar -xvf cudnn-linux-x86_64-8.9.4.25_cuda12-archive.tar.xz sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda/include/ sudo cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda/lib64/ sudo chmod ar /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*最后安装NCCL库sudo apt install -y libnccl22.18.3-1cuda12.2 libnccl-dev2.18.3-1cuda12.2我在实际安装过程中遇到过符号链接问题可以通过重建链接解决sudo ldconfig4. Python环境与依赖项配置虽然Ubuntu自带Python3但我推荐使用Anaconda管理Python环境这样可以避免系统Python被污染。下载并安装Anacondawget https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh bash Anaconda3-2023.09-0-Linux-x86_64.sh按照提示完成安装后创建专用环境conda create -n paddle python3.11 -y conda activate paddle安装必要的Python包pip install numpy protobuf wheel配置Python环境变量这是编译PaddlePaddle的关键步骤export PYTHON_INCLUDE_DIRS$(python -c from distutils.sysconfig import get_python_inc; print(get_python_inc())) export PYTHON_LIBRARY$(python -c import distutils.sysconfig as sysconfig; print(sysconfig.get_config_var(LIBDIR)))/libpython3.11.so export PATH$(dirname $(which python)):$PATH建议将这些变量添加到.bashrc中避免每次都需要重新设置。我曾在环境变量配置上浪费过不少时间特别是PYTHON_LIBRARY路径不正确会导致编译失败。5. 获取PaddlePaddle源码并编译现在我们可以开始获取PaddlePaddle源码并进行编译了。首先克隆仓库git clone https://github.com/PaddlePaddle/Paddle.git cd Paddle git checkout develop初始化子模块这步可能需要较长时间git submodule update --init --recursive创建构建目录并配置编译选项mkdir build cd build cmake .. -DPYTHON_EXECUTABLE$(which python) \ -DPYTHON_INCLUDE_DIR$PYTHON_INCLUDE_DIRS \ -DPYTHON_LIBRARY$PYTHON_LIBRARY \ -DWITH_GPUON \ -DWITH_TESTINGOFF \ -DCMAKE_BUILD_TYPERelease这里有几个关键点需要注意确保PYTHON相关路径正确指向conda环境中的路径WITH_GPUON表示启用GPU支持WITH_TESTINGOFF可以跳过测试以加快编译速度开始编译使用所有CPU核心make -j$(nproc)编译过程可能需要1-3小时取决于你的硬件配置。我建议在性能较好的机器上执行此操作16GB内存是基本要求32GB会更顺畅。如果遇到内存不足的问题可以减少并行编译任务数make -j4 # 使用4个核心编译完成后生成的whl包位于build/python/dist目录下pip install build/python/dist/paddlepaddle_gpu-0.0.0-cp311-cp311-linux_x86_64.whl验证安装import paddle paddle.utils.run_check()如果看到PaddlePaddle is installed successfully!的提示恭喜你完成了整个编译过程6. 常见问题与解决方案在实际编译过程中可能会遇到各种问题。这里分享几个我遇到过的典型问题及解决方法问题1git子模块更新失败解决方案手动修改.gitmodules文件将https协议改为git协议[submodule third_party/protobuf] path third_party/protobuf url gitgithub.com:protocolbuffers/protobuf.git然后执行git submodule sync git submodule update --init --recursive问题2编译时内存不足解决方法增加swap空间sudo fallocate -l 8G /swapfile sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile减少并行编译任务数make -j2问题3CUDA相关错误解决方法确认CUDA和cuDNN版本匹配检查环境变量是否正确设置确保GPU驱动版本支持CUDA 12.2问题4Python包导入错误解决方法确认安装的whl包与Python版本匹配检查conda环境是否激活尝试重新安装依赖项pip install -r requirements.txt在整个编译过程中保持耐心很重要。遇到问题时建议先查看错误日志通常会有明确的提示。PaddlePaddle的GitHub Issues区也是很好的问题解决资源。