就在前几天小米的年度演讲中，雷军提到小米的ai大模型能力，小爱同学正式升级为生成式大模型，现已经进入测试阶段。小米高管公式在8月17号表示，小米将会很快实现端侧ai模型能力。
01.端侧ai的优势
端侧也就是我们常说的边缘计算，这种模式可以更好的支持alot场景。也就是：ai+iot(internet of things 物联网)=aiot。边缘计算，是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。边缘计算也是一种分布式计算。它将数据资料的处理、应用程序的运行甚至一些功能服务的实现，由网络中心下放到网络边缘的节点上，以减少业务的多级传递，降低核心网和传输的负担。它的应用程序是在边缘侧发起，产生更快的网络服务相应。对物联网而言，边缘计算技术取得突破，意味着许多控制将通过本地设备实现而无需交由云端，处理过程将在本地边缘计算层完成。
端侧ai具有如下优点:
al 技术用于端侧可以第一时间对收集的数据进行处理，不需要通过网络上传到云侧的处理中心，极大加快了系统响应也减少了系统处理延迟;
端侧计算可以更高效的处理有价值的关键数据，其余的数据只是临时性的，在端侧结合 ai 能力，不仅可以更及时处理数据，而且减轻网络带宽的限制和缓解对中心侧数据存储的压力;
在端侧的 al 技术可以高效地对用户的源数据进行处理，将一些敏感的数据进行清洗和保护，端侧设备只将 al 处理后的结果上报云端。
端侧ai的技术难点：
硬件资源限制
存储、内存、计算资源
模型的版本管理、生命周期
终端的种类很多，不同硬件架构的适配和模型迁移成本过高
第三点同时导致了端侧ai应用复杂度增加
02.5g和端侧计算相辅相成
5g 是一项长期演进的技术，也许最开始，我们对它的感知只是手机网速更快、时延更低，但 5g 的意义远不止于此。随着 5g 标准从 rel-15、rel-16 到 rel-17 等的不断演进，5g 也将不断扩展到更多行业。数据显示，全球有200多家运营商已经部署了5g商用网络，另有将近300家运营商正在投资部署5g技术。在我国，目前已累计建成5g行业虚拟专网16000余个，应用案例涵盖交通、医疗、教育、智慧城市、农业等多个领域。
在5g网络在诞生之初，便定义了它的三大应用场景：embb(增强移动宽带)、mmtc (海量机器类通信)和 urllc(超可靠低时延通信)，相应的为满足高清视频、智慧城市、车联网等业务需求提供技术支持。
但值得关注的是，每个业务场景在发展过程中都有其自身所面临的一些挑战。例如，embb将对网络带宽产生数百gbps的超高需求，从而对回传网络造成巨大传输压力，单方面投资扩容汇聚与城域网络将大幅提高单位媒体流传输成本，无法实现投资收益；urllc需要端到端1ms级超低时延支撑，仅仅依赖无线与固网物理层与传输层技术进步，无法满足苛刻的时延需求；mmtc将产生海量数据，导致运营管理的巨大挑战，仅仅由云端集中统一监控无法支撑如此复杂的物联系统。
边缘计算恰好可以为这些问题带来解决方案。首先，边缘计算设备将为新的和现有的边缘设备提供连接和保护；其次，尽管5g将为基于云的应用程序提供更好的连接性和更低的延迟，但仍然存在处理和存储数据的成本，混合边缘计算/5g解决方案可以降低这些成本；最后，边缘计算可以让更多应用程序在边缘运行，例如分析，网络安全或合规性/监管应用程序，减短了由数据传输速度和带宽限制所带来的延时，并可对本地数据做初步分析，为云分担了一部分工作。
高通中国区研发负责人徐晧认为，面对当前ai技术取得重大突破，未来ai与5g-advanced融合发展，将对智能终端和ai应用发展带来非常深远的影响。在5g-advanced更大带宽、更低时延的网络能力支撑下，未来ai处理将通过“云-边-网-端”架构不断从云端向边缘、终端侧扩展，从而在手机、汽车、xr、无人机等多种形式的智能终端上催生出大量新兴ai应用。而多种形式的智能终端和丰富的ai应用又会反过来进一步促进5g-advanced繁荣发展。