8月16日,MediaTek(联发科)正式宣布与百度联合发起飞桨和文心大模型硬件生态共创计划,双方将共同推进MediaTek硬件平台与飞桨和文心大模型的适配。目前双方正在合作优化文心大模型在终端设备上的执行效果,将实现大模型在终端和云端的协同工作,为用户带来突破性的生成式AI应用体验。
作为推动AI进一步发展的先进技术,与单纯在云端部署生成式AI应用和服务相比,终端侧部署生成式AI在节约服务器成本、保护用户信息安全、提升实时性和实现个性化用户体验等方面具备明显优势。双方的合作将支持基于MediaTek芯片的智能手机、汽车、智能家居、物联网等终端设备上运行文心大模型,赋能终端设备提供更安全、可靠和差异化的使用体验。
MediaTek与百度合作已久,双方合作完成了Paddle Lite轻量化推理引擎基于MediaTek NeuroPilot人工智能通用软件平台的适配。
NeuroPilot是MediaTek为开发者提供的基于本地端侧的AI运算解决方案,它为内建CPU、GPU 和 APU(独立AI 处理器)等异构运算单元的MediaTek SoC平台提供完整且强大的软件解决方案。NeuroPilot支持开发者在现有和未来的MediaTek 硬件平台以及包括智能手机、汽车、智能家居、物联网等产品线实现“一次编写,全场景通用”,帮助开发者在MediaTek平台上高效开发和部署基于神经网络模型的AI应用程序。AI开发者可以使用主流的TensorFlow、Pytorch、TF Lite、Caffe、Caffe2以及其他自定义的第三方通用AI框架来构建神经网络模型,并接入到NeuroPilot系统,充分发挥MediaTek AI系统的强劲算力,显著提高模型运行在设备上的效率,并降低功耗和内存消耗。
飞桨(PaddlePaddle)是百度自主研发的中国首个开源开放、功能丰富的产业级深度学习平台,以百度多年的深度学习技术研究和业务应用为基础,集核心框架、基础模型库、端到端开发套件、丰富的工具组件、学习与实训社区于一体。
百度文心大模型源于产业、服务于产业,是产业级知识增强大模型。百度通过大模型与深度学习框架融合发展,打造了自主创新的AI底座,大幅降低了AI开发和应用的门槛,满足真实场景中的应用需求,真正发挥大模型驱动AI规模化应用的产业价值。文心大模型的一大特色是“知识增强”,即引入知识图谱,将数据与知识融合,提升了学习效率及可解释性。