机器之心原创云开体育
机器之机杼剪部
前些天，发布了一大堆东西，其中包括一款 AI 超等蓄意机Project DIGITS，机器之心也在第一技艺进行了报谈，参阅《RTX5090 颤动发布，国行 16499 元起，黄仁勋「好意思国队长」pose 亮翻全场》。在这篇著作的指摘区，一位读者的问题激发了不少争议。
天然该问题的最高赞复兴默示这是「英伟达被黑得最惨的一次」，但实质上使用 Mac Mini 手脚个东谈主的大模子运行平台并不是什么稀零操作。
Fast Company 以致觉得 M4 Mac Mini 是「测试 AI 的完好蓄意机」。
你也能在外交网络上找到好多用户分享的素质。
其实，上图中的这位 Alex Cheema 不单是是在 Mac Mini 上运行我方的个东谈主 LLM 集群，亦然在为自家公司 EXO Labs 作念看法考证。其在本年头秘书推出了 EXO Gym 竞赛，开动测试能否在较慢的互联网带宽上收场存效的低蔓延老师，而他们为此准备的 Mac Mini 数目更是多达 1000 台！是的，你莫得看错，不单是使用 Mac Mini 来实行推理，还使用它们来老师模子。
天然，这种作念法相同亦然极具争议，不外有风趣我方尝试的读者也可使用他们的开源软件库，当前该样式也曾成绩了朝上 1.84 万 star。
GitHub 地址：https://github.com/exo-explore/exo
总之，至少在运行推理方面，看起来使用 Mac Mini 照实可行。当前，咱们就来严肃地贪图一下这个问题：关于个东谈主用户而言，如若念念我方跑土产货大模子，Mac Mini 和英伟达 Project DIGITS 到底选哪个更好？
参数对比
相比谁更胜一筹的最直不雅门径是相比它们的参数。
价钱
领先来看价钱。
字据芯片、内存和硬盘的不同建树，M4 和 M4 Pro 芯片的国行版 Mac Mini 价钱从 4499 元到 35749 元东谈主民币不等，国外版则是从 599 好意思元到 4699 好意思元不等。
而 Project DIGITS 当前已知的起售价为 3000 好意思元。而这个 3000 好意思元版块的建树情况大略是 128GB 内存和高达 4TB 的 NVMe 存储。
而 64GB 内存和 4TB 硬盘的 M4 Pro 版 Mac Mini 的官方价钱就也曾达到了 3199 好意思元起，朝上了 Project DIGITS。
配备 12 核 CPU、16 核 GPU 和 16 核 Neural Engine 的 M4 Pro 芯片的 Mac Mini，当聘任 64GB 内存和 4TB 硬盘时，售价为 3199 好意思元
因此至少在价钱上，Project DIGITS 先拿下一分。
性能参数
当前，由于 Project DIGITS 还没上市，因此咱们天然无法获取其与 Mac Mini 的奏凯性能对比数据，但咱们不错通过一些基本的建树情况来进行最基础的评估。
领先是 CPU 和 GPU。Project DIGITS 采纳的蓄意中枢是 GB10 Superchip，由 Grace CPU 和 Blackwell GPU 构成。其中，Grace CPU 建树了 20 个采纳 Arm 架构构建的高能效中枢，GPU 则是先进的 Blackwell，采纳了最新一代 CUDA 中枢和第五代 Tensor Cores，可收场 1 PetaFLOP FP4 的 AI 蓄意。1 PetaFLOP！真实吓东谈主，不外这是 FP4 精度的。如若等价到 FP16 精度，则不错说是 250 TFLOPS（天然这种算法很不严谨）。
英伟达默示，借助这款超等蓄意机，开辟者不错运行多达 2000 亿参数的大型谈话模子，从而加快 AI 改造。此外，借助 NVIDIA ConnectX 网络，还可将两台 Project DIGITS AI 超等蓄意机聚拢起来，运行多达 4050 亿参数的模子。也即是说，足以运行 Llama 3.1 405B。
而 Apple M4 Pro 芯片的 CPU 则是 12 核，其中包含 8 个性能中枢与 4 个效果中枢；GPU 则是 16 核版块。而其在 FP16 精度下的速率为 17 TFLOPS 。
字据 Alex Cheema 的蓄意，Project DIGITS 不错说在各个层面王人碾压了 M4 Pro Mac Mini。
简便算算性价比：
Project DIGITS：250 TFLOPS / $3,000 ≈0.083 TFLOPS/好意思元M4 Pro Mac Mini：17 TFLOPS / $2,200 ≈0.0077 TFLOPS/好意思元
也即是说，用相同的钱，能从 Project DIGITS 得到朝上 M4 Pro Mac Mini 朝上 10 倍的算力！
不外知乎用户 Karminski - 牙医也指出了 Project DIGITS 的一大不足。他默示「它是合资内存，即 CPU 和 CPU 分享 LPDDR5X。它不是 GDDR6，也不是 HBM2 的。」
天然该建设的内存有 128 GB，「然而字据 Grace 架构 CPU 的 Product Brief，单 CPU 的内存带宽最大只消 512GB/s。是以如若用这个建设来运行大谈话模子，瓶颈就会酿成这个内存带宽。」
他也作念了一番蓄意，得出的论断是「在 512GB/s 的情况下，运行 70b-4bit 范围的模子，生成速率表面最大值是 512/40=12.8 token/s。如若念念要运行 200B 范围的模子 (200B4bit 量化大略是 114GB)，表面生成速率是 512/114≈4.5token/s」。
因此，Project DIGITS 可能也悄悄采纳了老黄擅长的刀法。
全体来看，读者 Thomas Copper 照实莫得说错，至少在 AI 蓄意任务上，Mac Mini 照实远远不足 Project DIGITS。但需要诠释，Mac Mini 并不是专为 AI 任务打造，也适用于多样普通和职责任务。
之前不少东谈主默示 Mac Mini 是收场 AI 进步化（democratize AI）的开动，但实质相比下来，或然真实的开动是英伟达 Project DIGITS！
不外也需指出，Project DIGITS 才刚刚露脸，瞻望要到 5 月份才上市，市集推崇究竟怎样还有待老师——毕竟咱们到时才能真实知谈「皮衣刀客」究竟刀了哪些方位。但至少从外交网络上的分享来看，也曾有不少东谈主准备好我方的钱包了。
对此，你有什么看法呢？
https://www.youtube.com/watch?v=GBR6pHZ68Ho
https://www.jeffgeerling.com/blog/2024/m4-mac-minis-efficiency-incredible
https://x.com/alexocheema/status/1876676954549620961
https://www.zhihu.com/question/8953765123/answer/73915191447