当前标签:大模型推理
把记忆交给CPU,大模型会变快
行业最新趋势显示,将大模型推理的KV Cache缓存交由CPU托管,可大幅降低重复计算开销,提升推理效率,已成为AI优化领域的热门技术方向。
国内首个国产 GPU + 类脑芯片大模型异构混合推理系统发布,较同类国产 GPU 算力集群性价比提升一倍以上
国内首个国产GPU+类脑芯片大模型异构混合推理系统正式发布,该系统较同类国产GPU算力集群性价比提升一倍以上,为国产AI大模型规模化落地提供高性价比算力支撑。
让 32GB 内存能跑 GPT-OSS-120B:Nextorage 将推外接式 AI 加速硬件
一款名为Nextorage的外接式AI加速硬件即将问世,旨在让仅配备32GB内存的普通电脑流畅运行GPT-OSS-120B等百亿级大模型,通过专用硬件桥接与边缘计算优化,彻底打破AI算力的内存瓶颈。
256-bit 大位宽 LPDDR,江波龙发布 AIDIMM、AILPBGA 内存方案
江波龙发布基于LPDDR5/5x的AIDIMM与AILPBGA内存方案,单条AIDIMM达128GB容量、256bit位宽、307.2GB/s带宽,带宽为传统DDR5的3倍,为AI推理与训练提供大容量高带宽解决方案。
General Compute
General Compute 是全球最快的AI推理服务提供商,采用专用ASIC芯片提供极致性能。