（来源：上观新闻）
大模型训练🎢、长上下文推🗓🏔理都在无☠限放大内存需求🇮🇳。DeepSe🎫ek的首位员🦸♀️🕉工李宇琨，则🚋🥙是2023⛑🎠年从字节搜索👂团队跳🇬🇺🕡槽Dee🧐pSee🕦👛k🧘♀️。先来说说A📣MD，它的光芯⛎🎟片布局并不比英伟🇨🇽达慢多少🚔。这层金🏑属膜，就是芯👄➕片内部🔍😇的导线或电极🅰。目前LingB🐙ot-Map👨✈️🏫的模型和代码已👩🦰在Huggi🥂📄ng Fa🤚ce和🚣📈ModelSco🧔📲pe开源🐰。Credo是有源🙌✈电缆（AEC📆）技术的发明🌍者，其🐷🚯ZeroF🔤lap🦈🇵🇸光学收发👨❤️💋👨🐙器在A🆒📹I集群🔩😍领域已建立🇲🇬了稳定的客户基础🛒🏙。
包括研究者团队👲👀在内的☄很多团队都独立🇩🇯🦈地收敛到🍬了这个想法：谷歌🍺🇲🇾提出的 DCA、🇲🇪华为的MRLA🍜🛋、Hessian🕎.AI的 ⏭🦆Dreame👩👩👦👦r、Kimi🌞🐠的AttnR🗂es、以及研🧧🐙究者团队提出的F🏭lash Dep✡th Atten🇱🇺🧱tion &7️⃣🇬🇱 MoDA，大家*️⃣💪都尝试在层↩🍡间应用点积🇮🇨⬅注意力🖕🗼。
