
详细描述
紫东太初:千亿参数全模态大模型与助手 背景与技术路线 紫东太初是由中国科学院自动化研究所和武汉人工智能研究院联合研发的全模态大模型,具有千亿参数的规模。
它的研发始于2019年,旨在探索通用人工智能的发展道路。
技术路线是长期坚持自研的跨模态多任务自监督学习的技术路线,从数据收集、清洗,到千卡分布式训练,算子和工具链适配,模型优化和加速等多方面开展工作。
发展历程 2021年7月,紫东太初1.0版正式发布,这是全球首个千亿参数的多模态大模型,实现了图像、文本、语音三类数据的相互生成。
经过近2年的迭代,紫东太初2.0版的能力得到大幅提升,除了读懂图文外,还能“看懂”来自现实世界的影像数据、力触觉、工业传感信号等物联数据,可以像“人”一样综合运用多种信号进行思考。
2024年上半年,紫东太初3.0版将发布,具备自主选择、使用工具的能力,满足更深层次的逻辑交互需要。
此外,紫东太初还将大幅缩短、优化智能驾驶的训练过程。
优点 紫东太初的优点在于其全模态理解能力、生成能力和关联能力。
它可以理解三维场景、信号等数字物联时代的重要信息,完成了音乐、图片和视频等数据之间的跨模态对齐,能够处理音乐视频分析、三维导航等多模态关联应用需求,并可实现音乐、视频等多模态内容理解和生成。
此外,紫东太初在法律咨询、医疗多模态鉴别诊断、交通违规图像研读等领域已经开始了一系列应用,展现出广阔的落地应用潜力。
产业应用前景 紫东太初大模型已在手语教学、法律咨询、交通出行、广电、医疗机器人、医学影像判读等数十个行业场景领域,展现出广阔的落地应用潜力。
例如,在法律咨询行业,紫东太初大模型仅用0.546秒就可对法律案件进行拆解、提取关键事件,在办公效率方面实现案件分析速度的百倍提升,可有效解决律师整体资源匮乏、服务成本高等问题。
在智慧交通领域,基于紫东太初大模型构建的数智平台,让道路通行率有效提升30%。
在医疗领域,基于紫东太初打造的MicroNeuro颅内微创手术机器人系统已完成国际首例深位颅内活检手术,支持视觉、触觉的跨模态融合。