网友提问 :Q:大模型终端侧对边缘计算的需求有哪些?
2024-04-15 00:00:00
富瀚微 (300613): 回答:A:大模型在终端侧对边缘计算的需求主要集中在对隐私保护、低延迟处理和特定场景下的智能化需求。例如,在家庭环境中,用户可能希望有一个家庭级别的大模型来处理私人数据,而不是将数据上传到云端。此外,移动设备端可能需要一个适合其能耗和性能要求的大模型。不同的应用场景和智能程度会带来对芯片需求的显著差异,包括算力、功耗等。目前,大模型在终端侧的落地还在探索阶段,需要根据实际应用方向和用户需求来确定最终的产品形态。
2024-04-15 00:00:00