忘忧草社区在线www
具體(tǐ)來(lái)(lai)看,相較(jiào)于 ROCm 6,ROCm 7 的(de) Llama 3.1 70B 提陞(shēng)了 3.2 倍,Qwen2-72B 提陞了 3.4 倍,DeepSeek R1 提陞了(le) 3.8 倍。通过 ROCm,AMD 表示其正更加专注于其软件堆栈中日益增长的推理能力。ROCm 7 堆(dui)栈将包括增强型框架,如 vLLM v1、llm-d、SGLang,并专(zhuan)注于提(ti)供多种优化。即将到来(lai)的 ROCm 7 新内核和算法包括 GEMM 自动(dong)调优、MoE、Attention 和基于 Python 的内核编写。
剑与远征元素灾变
AMD 的机架级设置将使芯片对用户而言像一个统一系统,这对大多数 AI 客户(如云服务提供商和开发大型语言模型的公司)至关重要💓。这些客户需要覆盖整个数据中心并消耗大量电力的 “超大规模” AI 计算机集群🥥🥝💌👜。
而在和上一代 MI300X 的对比中👄,MI355X 运行 Llama 3.1 405B 模型,在 AI 智能体性能表现上是前者的 4.2 倍,内容生成能力是上一代 MI300X 的 2.9 倍🤬😠🥾,摘要能力是上一代的 3.8 倍,对话式人工智能表现则为 2.6 倍。
博雅视频
IT之家 6 月 13 日消息,AMD 首席执行官苏姿丰对数据中心领域(yu)的前景进行(xing)了非常乐(le)观的预测,声称对 AI 加速器的需(xu)求(qiu)会(hui)不断(duan)增长。