作者 | ZeR0
芯东西4月22日报道，刚刚，谷歌出全新自研AI芯片——八代定制TPU，分别是面向训练的TPU 8t和面向理的TPU 8i。
TPU 8t和TPU8i是与Google DeepMind作设计的，旨在应对苛刻的AI工作负载，大规模适应不断演进的模型架构，从训练大模型到协调智能体集群，再到管理复杂的理任务。
这是谷歌次将训练芯片和理芯片分开。
谷歌在博客文章中解释说，两款芯片都能运行各 种工作负载，但业化可以显著提率并获得收益。
TPU 8t擅长处理大规模、计密集型的训练工作负载，以提供大的计吞吐量和强的可扩展带宽，旨在将前沿模型开发周期从数月缩短至数周。
TPU 8i则拥有的内存带宽，为对延迟为敏感的理工作负载而设计，旨在处理众多业智能体复杂、协作、迭代的工作。
这两款芯片次运行在谷歌自基于Arm的Axion CPU主机上，这使谷歌能够优化整个系统，以提能和率。
TPU 8t和TPU8i将于今年晚些时候正式上市，并可作为谷歌AI计机的部分使用。
谷歌造出个基于TPU 8t的系统广西保温护角专用胶价格，每个Pod的计能比上代产品提升近3倍。
单个TPU 8t芯片组现已可扩展至9600张芯片和2PB共享带宽内存，芯片间带宽是上代的2倍。该架构可提供121ExaFlops的计能力，并允许复杂的模型利用单个海量内存池。
TPU 8t还集成了速度提升多达10倍的存储访问，并结TPUDirect将数据直接拉入TPU，从而有助于确保端到端系统的大利用率。
谷歌全新的Virgo网络，结JAX和Pathways软件，意味着TPU 8t可以在单个逻辑集群中为多达100万张芯片提供近乎线扩展。
奥力斯 保温护角专用胶批发 联系人：王经理 手机：13903175735（微信同号） 地址：河北省任丘市北辛庄乡南代河工业区
此外，TPU 8t通过套的可靠、可用和可维护（RAS），力求实现过97的有吞吐量（衡量有计时间的指标）。
这些包括：对数万个芯片进行实时遥测，自动检测并绕过故障的ICI 链路（需中断作业），以及光路交换（OCS）技术，需人工干预即可在故障发生时重新配置硬件。
每次硬件故障、网络停滞或检查点重启都会致集群停止训练，而在前沿训练规模下，每个百分点都可能转化为数天的活跃训练时间。
TPU 8i采用分层式Boardfly拓扑结构，泡沫板橡塑板专用胶从4张连接的芯片构建而成，逐步扩展为8个连接的电路板组，36个这样的电路板组可以连接成个TPU 8i Pod。
谷歌通过4项关键创新重新设计了技术栈，以消除“等待室”应：
（1）突破“内存墙”：为了止处理器闲置，TPU 8i将288GB带宽内存与384MB片上SRAM相结， 多达上代的3倍。
（2）得益于Axion架构，率显著提升：每台服务器的物理CPU主机数量翻倍，并采用了其基于Axion Arm架构的定制CPU。通过使用非均匀内存架构（NUMA）进行隔离，谷歌优化了整个系统。
（3）扩展MoE模型：对于现代混（MoE）模型，谷歌将互连（ICI）带宽提了1倍，达到19.2Tb/s。其新的Boardfly架构将大网络直径减少了过50，确保系统作为个统、低延迟的单元运行。
（4）消除延迟：全新片上集体加速引擎（CAE）可卸载全局操作，将片上延迟降低至多5倍，从而大限度地减少延迟。
与上代产品相比，这些创新技术每美元的能提了80，使企业能够以相同成本服务近2倍的客户量。
八代TPU也是谷歌共同设计理念的新体现：
Boardfly拓扑结构是门为满足当今强大的理模型的通信需求而设计的。
TPU 8i中的SRAM容量是根据生产规模理模型的KV Cache占用空间来确定的。
Virgo Network架构的带宽目标源自万亿参数训练的并行要求。
两个平台都原生支持JAX、MaxText、PyTorch、SGLang和vLLM等开发者常用的框架，并提供裸机访问，让客户需虚拟化即可直接访问硬件。
MaxText参考实现、用于强化学习的Tunix等开源贡献，为从实现到生产部署提供了便捷的途径。
为了节省数据中心电力，谷歌优化了整个堆栈的率，并集成了电源管理，可根据实时需求动态调整功耗。
TPU 8t和TPU 8i的每瓦能可提升至上代产品Ironwood的2倍。
谷歌在硬件和软件面不断创新，使其数据中心单位电力下的计能力提到五年前的6倍。
TPU 8t和TPU 8i均采用谷歌四代液冷技术，能够维持风冷法实现的能密度。
通过掌控从Axion主机到加速器的全栈设计，谷歌实现了系统能的优化。
相关词条:罐体保温施工 异型材设备 锚索 玻璃棉 保温护角专用胶1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述广西保温护角专用胶价格，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。