新闻资讯

WAIC 2024圆满落幕,芯动力“小身材,大模型”赋能边缘大模型落地

2024年7月4日至7日,备受瞩目的“2024世界人工智能大会暨人工智能全球治理高级别会议”(WAIC 2024)在上海成功举办。此次大会由外交部、国家发展改革委、教育部等多个部门以及上海市政府联合主办,吸引了众多国内外顶尖企业和专家参与。珠海市芯动力科技有限公司作为参展商之一,携其芯片矩阵产品亮相WAIC,展示了诸多技术成果与案例演示,为端侧大模型部署落地装上了加速引擎。

 

在WAIC展区,芯动力以“赋能边缘大模型”为主题进行了成果展示,展区分为四个区域,分别是“六边形展示-RPP芯片架构解读”、“边缘大模型落地案例演示”、“泛安防实时监控演示”以及“智能驾驶/医疗影像等解决方案”。

 

RPP芯片架构解读:设计、流程与产品系列

 

在RPP架构区域,芯动力详细演示了其核心架构的设计与工作流程,并展示了其芯片系列产品。其中,基于可重构架构的GPGPU芯片RPP-R8尤为引人注目。这款芯片内含有1024个计算核,相比传统GPU架构,在同样的算力下占用更小的芯片面积,实现了低功耗和高能效的有效平衡。此外,RPP-R8从指令集开始完全兼容CUDA,具备通用编程性,面积效率比和能效比均远超同类产品。

 

在边缘大模型展区,芯动力科技已构建起一套完备的产品体系。在RPP架构的赋能下,AzureBlade K340l产品内嵌的AE7100芯片,面积仅为17mmx17mm,加速卡大约半张名片大小尺寸,便实现了高达32 TOPs的算力与60GB/s的内存带宽。目前这款加速卡已经可以支撑大模型在AI PC等设备上运行,并适配了Llama 3-8B、Stable Diffusion、通义千问等开源模型。

 

 

借助语言模型阿里云通义千问Qwen-7B的强大支持下,AzureBlade K340l仿佛赋予了设备超凡的智慧,能够流畅地进行复杂的人机对话,文字生成速度很快,并且准确,轻松处理各类查询和日常交流。其信息处理速度超过每秒11个tokens,响应迅速,同时功率消耗不足8瓦,既节能又高效。

 

 

在文生图演示中,现场基于加速卡适配的是Stable Diffusion模型,文生图的平均生成速度在12s左右。当输入“生成一张含有帅气男子的海报”时,模型仅用了将近10s的时间就消化了提示词中的元素,生成了令人满意的海报。

 

 

除了这些边缘大模型部署演示,芯动力科技在泛安防领域也实现了重要突破。其模型可以应用于养老院场景中,通过摄像头的姿态识别能力快速检测出是否有老人摔倒并联动采取措施。同时,泛安防还可广泛使用在智慧金融、智慧社区、自动化工业、平安校园、智慧仓储等等领域,为各行各业带来革新性的解决方案。在智慧金融,利用先进的信息技术,如大数据、人工智能等,来加强金融监管,提高金融服务的效率和安全性。在智慧社区场景中,来实现社区管理的精细化、智能化管理,比如通过安装高空监控设备,就可实时监测并预警高空抛物行为。在工业场景中,可以通过远程巡检、智能化工等手段,提高工业园区的安全管理水平,确保生产活动的顺利进行。

 

 

在机器视觉、信号处理以及医疗影像等前沿科技展示区域,芯动力以其卓越的性能和灵活的应用优势,吸引了众多目光。其技术不仅在这些领域内展现出强大的实力,更拥有广泛的应用场景。

在机器视觉领域,芯动力凭借其高精度的图像处理和识别能力,为智能制造、质量检测等领域提供了强有力的支持。无论是复杂的工业环境还是精细的产品检测,芯动力都能以出色的表现满足需求。

在信号处理领域,芯动力展示了其强大的数据处理和分析能力。不仅提升了信号处理的效率和质量,还为通信、音频、视频等多个领域带来了更加稳定、清晰、高效的信号传输和体验。

而在医疗影像方面,芯动力的技术更是发挥了巨大的作用。其高分辨率、高清晰度的影像处理能力,为医生提供了更加精准的诊断依据,助力医疗行业提升诊断效率和准确性。

 

 

在WAIC 2024上,芯动力科技以其出色的技术和产品吸引了众多目光。未来,随着技术的不断发展和创新,相信芯动力将为更多行业带来革新性的解决方案和更加美好的未来。