VLLM 启动时卡在 vLLM is using nccl

26 2 月

第一次启动多卡的模型可以正常启动,但是模型退出之后,要再次启动,就会卡住。显卡利用率100%,不占用显存,CPU线程占满核心。

经查询资料,参考 https://huo.zai.meng.li/p/vllm%E5%90%AF%E5%8A%A8%E6%97%B6nccl%E9%81%87%E5%88%B0%E6%98%BE%E5%8D%A1p2p%E9%80%9A%E4%BF%A1%E9%97%AE%E9%A2%98/

将服务器BIOS的IOMMU关闭后解决

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注