网友提问 :目前AI大模型在瑞芯微平台的落地情况如何?
2024-05-16 15:57:00
瑞芯微 (603893): 回答:随着生成式AI的快速发展,算力会根据应用场景在云、边、端之间形成合理分布,并推动模型的小型化、专业化,逐步发展出各种适合特定场景的端侧或边缘侧应用。公司产品应用方向主要为端侧、边缘侧的AIoT,高性能处理器如RK3588、RK3576带有6TOPs NPU处理单元,可以高效支持主流模型架构,针对端侧主流的2B参数数量级别的模型能达到每秒10 token以上,满足小模型在边、端侧部署的需求,赋能各种AIoT场景下端侧和边缘计算侧的产品应用。我们在2024年第八届瑞芯微开发者大会展出了基于端侧模型实现的图文搜索及特定目标智能搜索、基于图片对话式提取信息以及离线语音识别、翻译、总结、问答等功能,有效解决了不同AIoT场景的痛点,改善产品使用体验。
2024-05-16 16:13:00