每张满载约 450W,以 4 张 RTX 4090 为例,总功耗约 1800W。
若需礼聘工程师进行模子量化或并行计较等优化,深度进修框架如 PyTorch 和 GPU 驱动如 CUDA 也是免费的。首年总成本约为 50.74 万元。首年总成本约为 26.54 万元。数据核心方案初度投入约为 23.7(硬件)+5(软件)=28.7 万元,包罗硬件毛病排查、软件更新等。若利用 Ol 等开源东西简化摆设,以工业用电 0.8 元 / 度计,DeepSeek 70B 凡是运转正在开源的 Linux 系统上,每月电费约 1200 元。每月额外约 500 元。若利用机房空调,方案初度投入约为 7.5(硬件)+2(软件)=9.5 万元。