新闻中心

您当前的位置: 首页 > 新闻中心 > 公司新闻

亚美体育摩尔线程张建中:正在AI疆场 万卡已成最低标配

发布时间:2024-07-04 14:15:55 浏览:

  跟着Scaling Law(范畴越大,职能越好) 成为行业共鸣规则,国内百模大战仍正在障碍更大的宗旨,摩尔线程CEO张筑中作出了上述判定。

  而参数目和数据量的一直扩张,意味着对算力的需求也正在扩张盘子。正在此趋向下,国产厂商都正在加紧设置更大范畴的AI智能算力数据中央。昨年公布并落地多个千卡(显卡,即GPU)智算中央集群后,GPU厂商摩尔线程近期又推出了首个万卡集群计划。

  方今练习AI大模子离不开GPU,各公司具有GPU的数目一经成为量度算力范畴的根基凭借。比拟OpenAI、谷歌、Meta等国际巨头成批采购几十万张英伟达显卡搭筑集群,国内公司大无数还只可采购几千张,唯有字节等少数头部厂商具有上万张卡范畴的算力集群。

  卡的数目直接裁夺了练习一个大模子所用的韶华。张筑中提到,昨年国内“百模大战”开打后,险些每个月都有新的模子公布。而现正在,一家AI大模子公司练习迭代一次大模子的韶华一经缩短为两周,越过两周就跟不上同业的速率。

  昨年的H100以及后续的高端GPU对华出口遭禁后,国内一度展现要紧的算力紧缺。张筑中告诉界面音信记者,从国际巨头策画采购显卡的订单转化来看,本年墟市对算力的需求有增无减,万卡,乃至超万卡集群,是这一轮大模子竞赛的入场券。公司的宗旨是正在国内墟市“占位”,尽力保障练习大模子时“有卡可用”。

  本年也是行业平凡热议的大模子行使落地之年盘子。除古板的ChatGPT闲聊机械人表,像上半年爆火的Sora、国内对标Sora的速手“可灵”,以及更多的AI手机、智能驾驶端侧模子等,都正在寻找落地场景。这背后都须要更多的算力支撑。

  正在张筑中看来,当下“Scaling Law”规则正在AI大模子行业还是生效,即为了寻找更好的职能,范畴做大的同时,算力需求也越来越大。

  公然新闻显示盘子,2020年驾御,OpenAI行使约1万块英伟达GPU来练习GPT-3.5模子,当时的模子参数目唯有1750亿。到了2023年,OpenAI推出1.8万亿参数的GPT-4时,墟市调研机构 SemiAnalysis估测其一经具有近3万块英伟达GPU。

  固然GPT-5迟迟未面世,范畴如故一个奥妙,但表媒曝光了OpenAI与微软正正在协作的“星际之门”策画。这是一个蕴涵百万张GPU的超等,策画正在2028年筑成。

  国内的AI算力墟市也从昨年动手一直扩容,寰宇各地掀起了智算中央“基筑潮”。北京、上海、深圳、安徽、江苏五地,目前已揭橥异日几年内智能算力中央设置的简直计划,青岛盘子、贵州、南昌等越过30个地方都市正渐次插足亚美体育。

  据行业自媒体“中国IDC圈”不十足统计,到2024年5月下旬,我国共设置有智算中央283座,个中已投产运营的到达89座,越过一半处于开工或正在筑状况。

  界面音信此前从多位行业人士处领会到亚美体育亚美体育摩尔线程张建中:正在AI疆场 万卡已成最低标配,各地设置智算中央正处于“赛马圈地”的阶段。一方面,国内须要设置更多智算中央,将“盘子”做大,从而保障算力供应;另一方面,因为英伟达显卡遭禁,国产AI芯片的单卡职能与之比拟存正在较大差异,国产厂商集体挑选走集群化、范畴化道道,将多个幼型单点算力节点通过高速搜集互连本领筑成逐一切超大范畴的算力集群。也于是,落地的智算中央越筑越大亚美体育。

  一家头部国产效劳器厂商正在一场勾当上提到,昨年国内筑智算中央都以万卡为宗旨,本年集体需求水涨船高,动手以5万卡举动新的宗旨。眼下也许满意AI公司练习模子的GPU是墟市上的硬通货,根基上是“谁有GPU,谁能筑智算中央”。

  但正在张筑中看来,智算中央从千卡到万卡,不仅是纯粹的“堆卡”。范畴变大的同时,难度也呈指数级倍增——既要杀青智算中央扩容,也要两全质地。这对厂商而言是一项极其繁杂的体系工程。

  算力诈骗率与不乱性是行业量度智算中央质地的两项主要目标。目前,摩尔线程的千卡智算中央的算力诈骗率已到达50%,异日饱动万卡集群智算中央落地时,宗旨是到达60%的算力诈骗率,同时保障99%以上的不乱性。这与国际巨头已异常亲密,但要到达当先仍存正在较大寻事盘子。

Copyright © 2012-2023亚美体育|中国有限公司 版权所有 非商用版本  备案号:琼ICP备xxxxxxxx号

搜索