体验 ROCm 和 Strix Halo：从系统设置到模型运行全流程分享！

又一个博客在这里我将分享我对 ROCm 和 Strix Halo 的初印象以及我是如何完成所有设置的。操作系统选择与驱动安装我习惯使用 Ubuntu 系统所以这次依旧选择了受支持的 24.04 LTS 版本并按官方安装说明进行了操作。BIOS 更新似乎不更新 BIOS 很多功能都无法正常使用比如 PyTorch 就找不到 GPU。不过在 BIOS 设置中更新很简单它能连接我的 Wifi 网络并自动下载更新。BIOS 设置与 Grub 修改同样在 BIOS 设置中要确保将预留的显存设置为较低的值并通过 GTT 让 CPU 和 GPU 共享内存预留内存最低可设为 512MB。相关影响如下CPU 无法使用 GPU 的预留内存。GPU 可以使用预留内存和 GTT 的总和但由于碎片化和寻址开销同时使用两者的效率可能不如使用一个大的 GTT 池。遗憾的是一些旧游戏或软件可能会将 GPU 内存识别为 512MB 并拒绝运行不过我目前还没遇到这种情况。然后我在 /etc/default/grub 文件中做了如下修改GRUB_CMDLINE_LINUX_DEFAULTquiet splash ttm.pages_limit32768000 amdgpu.gttsize114688接着运行 sudo update-grub 命令。需要注意的是amdgpu.gttsize 不应包含整个系统内存为保证 Linux 内核的稳定性应该给 CPU 预留一些内存建议是 4GB 到 12GB即总内存减去预留的 GPU 内存再减去 GTT 内存。支持 UV 的 PyTorch由于 PyTorch 复杂的依赖关系这一步有点棘手但最终我还是通过以下配置让它正常工作了[project] name myproject version 0.1.0 description 在此添加你的描述 readme README.md requires-python 3.13 dependencies [ torch2.11.0rocm7.2, triton-rocm, ] [tool.uv] environments [sys_platform linux] [[tool.uv.index]] name pytorch-rocm url https://download.pytorch.org/whl/rocm7.2 explicit true [tool.uv.sources] torch { index pytorch-rocm } torchvision { index pytorch-rocm } triton-rocm { index pytorch-rocm }你甚至可以将以下内容添加到 .bashrc 文件中alias pytorchuvx --extra-index-url https://download.pytorch.org/whl/rocm7.2 \ --index-strategy unsafe-best-match \ --with torch2.11.0rocm7.2,triton-rocm \ ipython -c import torch; print(f\ROCM: {torch.version.hip}\); \ print(f\GPU 可用: {torch.cuda.is_available()}\); import torch.nn as nn -i Llama.cpppodman run --rm -it --name qwen-coder --device /dev/kfd --device /dev/dri \ --security-opt labeldisable --group-add keep-groups -e HSA_OVERRIDE_GFX_VERSION11.5.0 \ -p 8080:8080 -v /some_path/models:/models:z ghcr.io/ggml-org/llama.cpp:server-rocm \ -m /models/qwen3.6/model.gguf -ngl 99 -c 327680 --host 0.0.0.0 --port 8080 \ --flash-attn on --no-mmap你可以通过以下命令轻松下载模型uvx hf download Qwen/Qwen3.6-35B-A3B --local-dir /some_path/models/qwen3.6然后使用 llama.cpp 仓库中的 convert_hf_to_gguf.py 脚本将其转换为 gguf 格式git clone https://github.com/ggerganov/llama.cpp.git /some_path/llama.cpp cd /some_path/models/qwen3.6 uvx --extra-index-url https://download.pytorch.org/whl/rocm7.2 \ --index-strategy unsafe-best-match \ --with torch2.11.0rocm7.2,triton-rocm,transformers \ ipython /some_path/llama.cpp/convert_hf_to_gguf.py \ -- . --outfile model.ggufOpencode我使用 Podman 来运行 Opencode。以下是让它与 Llama.cpp 配合使用的配置{ $schema: https://opencode.ai/config.json, provider: { local: { options: { baseURL: http://localhost:8080/v1, apiKey: 任意字符串, reasoningEffort: 自动, textVerbosity: 高, supportsToolCalls: true }, models: { qwen-coder-local: {} } } }, model: local/qwen-coder-local, permission: { *: 询问, read: { *: 允许, *.env: 拒绝, **/secrets/**: 拒绝 }, bash: 允许, edit: 允许, glob: 允许, grep: 允许, websearch: 允许, codesearch: 允许, webfetch: 允许 }, disabled_providers: [ opencode ]}总结正如我之前所说我的初印象是目前一切都还不错我能够使用 PyTorch 并在 llama.cpp 上以大上下文窗口运行 Qwen3.6。虽然过程中有些小问题但我认为还是很值得的。那么你是否也想尝试一下呢