第一次启动多卡的模型可以正常启动,但是模型退出之后,要再次启动,就会卡住。显卡利用率100%,不占用显存,CPU线程占满核心。
经查询资料,参考 https://huo.zai.meng.li/p/vllm%E5%90%AF%E5%8A%A8%E6%97%B6nccl%E9%81%87%E5%88%B0%E6%98%BE%E5%8D%A1p2p%E9%80%9A%E4%BF%A1%E9%97%AE%E9%A2%98/
将服务器BIOS的IOMMU关闭后解决
ACTom's Blog
第一次启动多卡的模型可以正常启动,但是模型退出之后,要再次启动,就会卡住。显卡利用率100%,不占用显存,CPU线程占满核心。
经查询资料,参考 https://huo.zai.meng.li/p/vllm%E5%90%AF%E5%8A%A8%E6%97%B6nccl%E9%81%87%E5%88%B0%E6%98%BE%E5%8D%A1p2p%E9%80%9A%E4%BF%A1%E9%97%AE%E9%A2%98/
将服务器BIOS的IOMMU关闭后解决