ESP32-S3在仅有8MB PSRAM的硬件上成功运行2890万参数的大语言模型，推理速度达9.5 tok/s，完全离线，为嵌入式AI开辟了全新可能，甚至让人憧憬离线调配一杯完美咖啡。
牛马AI是本地化AI智能体平台，支持离线推理、低代码插件与私有知识库检索，节省90%云成本。