AMD Instinct MI325X 出货：288GB HBM3e 内存挑战 NVIDIA H200，助力 LLM 推理

AMD 已开始出货 Instinct MI325X 加速器，配备 288GB HBM3e 内存，比 NVIDIA H200 的 141GB 多出 36%。更大的内存可在无需量化的前提下服务更大规模的 LLM 批次，有望提升推理质量。AMD 的 ROCm 6.2 软件栈现已支持所有主流 ML 框架（PyTorch、JAX、TensorFlow），性能与 CUDA 相当。Microsoft Azure 已部署 MI325X 集群用于 Azure AI 服务，Oracle Cloud 也宣布了 MI325X 的可用性。AMD 声称 MI325X 在推理工作负载中能达到 H200 性能的 92%，成本仅为 80%。