LocalLLaMA
两张显卡能不能同时跑两个 AI 模 型?一个真实用户案例揭示本地 部署的核心取舍
一位 拥有 RTX 3090(24GB)和 RTX 3060(12GB)双显卡的用户,在 Reddit 上提出了一个典型问题:两张规格不同的显卡,到 底该跑一个大模型还是同时跑两个?这个问题背 后,是越来越多人尝试在自己电脑上运行 AI 模型时都 会遇到的硬件资源分配难题。
找到 1 篇关于此标签的文章
一位 拥有 RTX 3090(24GB)和 RTX 3060(12GB)双显卡的用户,在 Reddit 上提出了一个典型问题:两张规格不同的显卡,到 底该跑一个大模型还是同时跑两个?这个问题背 后,是越来越多人尝试在自己电脑上运行 AI 模型时都 会遇到的硬件资源分配难题。