最近一段时间,信也科技在上海的信也科技开放日首日展出9¾模型管理平台,给前来参展的大众带来眼前一亮的感觉。作为信也科技新研发的核心技术之一,9¾平台在信也科技强大的技术基础上被深入开发,以独特的人工智能模型为集团业务提供全链路一站式服务,帮助信也科技进行进一步的探索,赋能多方合作。
科技,让生活更美好
9¾模型管理平台:我从哪里来?
AI模型训练平台,基于核心模块和应用场景的不同,又可以称为深度学习平台、机器学习平台、人工智能平台。用户在AI平台能够使用不同的机器学习框架进行大规模的训练,对数据集与模型进行管理和迭代,同时通过API与本地部署等方式接入到具体业务场景中使用。
简单地说,AI平台=AI FAAS+(PAAS)+(IAAS)。业界不乏优秀的机器学习平台,如微软的Azure、亚马逊的AWS Machine Learning、阿里的PAI平台、百度的Paddle以及腾讯的TI平台。一般的平台产品基于基础的机器学习和深度学习计算框架进行二次开发,提供一站式的生态化服务,为用户提供从模型训练、模型评估、模型在线预测的全流程开发和部署支持,以期降低算法专家在工程化时的使用门槛。
9¾模型管理平台:我的解决方案
AI平台在搭建与落地的过程中,均会遇到机器学习门槛高、落地慢、实施周期长等问题。结合日常工作流程中遇到的问题,9¾平台提供了一系列的解决方案,以解决模型落地上的一系列难题。具体问题如下:
1、模型环境构建难,从模型到服务转化慢。2、多个模型共用一套环境,但模型需要独立更新,对环境的维护需格外谨慎,变更风险巨大。3、模型服务交付周期长,工程环节耗时长,人力投入大。4、模型服务回退慢,模型发布后,如发现有问题尝试退回到上一个版本需要数分钟,乃至数小时。5、模型服务扩容慢,面对突发流量时,响应延迟。
针对以上难题,9¾平台可提供详尽的解决方案,具体体现在以下五方面:
1、模型环境标准化描述,提供一套简单、统一、覆盖广的规范来定义模型环境,加快流程。2、将统一标准描述下的模型环境镜像化,支持模型容器化运行,提供模型环境隔离和模型运营隔离。3、工程环节代码采用自动生成技术,实现人力零投入,降低边际成本。4、模型发布环节采用蓝绿发布与金丝雀发布,提供操作简单的快速版本切换与流量切分。5、利用使用率、饱和度指标配合弹性伸缩算法,提供秒级的扩容,快速响应突发流量。
9¾模型管理平台:我的架构设计
根据企业不同的规模、资源及业务场景,AI平台往往有不一样的定位。例如AI和数据可同为一个中台、AI平台可视为业务中台的一部分、AI平台整合进技术中台或后台等。规模较小、资源有限的企业通常会选择使用第三方AI平台对业务进行服务,而非自建AI平台。但信也科技已有数据中台,因此信也科技的AI平台更多承担的是作为业务前台的模型算法供给角色,在数据中台的支持下,起到承载业务,对接数据与技术底层的作用。
信也科技9¾平台的架构设计
时下主流的AI平台有两种产品形态:一种是趋向AutoML,主要为非算法专家提供的可视化训练平台,通过拖拽、拉取等方式完成模型设计和训练中的组件排布,完成模型构建,例如Azure;另一种是为专业人士提供的模型设计和训练工具,将模型训练和管理通过工程化平台进行集成管理。也有集成两种方式的AI平台,例如阿里的PAI,为各种层次的人工智能工作者与爱好者提供不同专业程度的工具。
信也科技对AI平台的定位是能够快速解决问题、提高能效。因此,信也科技优先选择为算法和模型运维工程师提供针对模型生命周期管理的解决方案。
9¾平台加速了模型生成和服务化,可提供一整套从模型管理、模型训练到模型部署、模型监控的全生命周期解决方案。它不仅可帮助算法专家解决训练环境与训练过程中的保存管理问题,还可帮助解决在模型部署和上线时的各种问题,并提供线上部署模型的监控服务。
目前9¾模型管理平台已部署各类模型数百个,实现模型日服务量超过1000万;可在秒级内获取合适资源;能自动使用CPU、GPU资源,实现自动扩容,性能提升60%;模型上线仅需1分钟,大大节约了部署时间。
信也科技9¾平台的模型训练与线上服务
此外,9¾平台为模型训练提供了多套WorkSpace(工作区)容器。一个WorkSpace中包含多种模型开发时的工具,包括Jupyter、一些常用的IDE与一个终端界面。一个模型从准备到训练结束,产出代码均可在工作区内直接完成,在工作区内可安装各种依赖、尝试各种方法,甚至提交代码至Git,直至算法专家获得满意的模型。
针对模型的部署,信也科技独创了“流水线”的概念,模型的发布流水线只需4个步骤,一般发布一个模型不超过5分钟。
针对无需在实时场景下执行、或无法在实时调用场景下执行的耗时较久的模型,9¾提供了发布为Job任务的部署方式,用户可通过Job任务执行回溯任务或更新训练数据,整个过程非常游刃有余。
模型的代码和内部逻辑将作为一个黑盒,被打包为一个docker镜像,因此模型无论以何种方式发布,发布在何种环境内,都是绝对安全可靠的。通过管理模块与实际的服务模块,用户能够完成AI项目的管理和API、Job、镜像APP等上层应用的产出,整个过程无需任何运维人员、工程人员的干预,算法专家即可独立操作完成。
信也科技9¾平台的模型管理模块
9¾模型管理平台:未来,我去往何方?
信也科技于12月17日成功举办首届科技开放日,并于当日首次揭秘了自身的科技全景图,用图谱的形式直观展示了大数据、人工智能、智能决策产品等硬核科研成果。目前9¾平台可支持信也科技所有科技业务,覆盖多个业务场景,同时支持多家外部合作伙伴。未来,信也科技的人工智能平台将在增强模型评估功能、在线预测平台化、支持分布式训练等方面持续深入探索。
信也科技全景图
信也科技的9¾模型管理平台在上海信也科技开放日的首次亮相向大众展示了人工智能技术推动金融技术发展的多种优势。通过赋能金融行业,人工智能将为市场经济的发展带来更多可能性。信也科技作为人工智能技术在金融科技的首要推广者,也将在互联网金融发展中受益更多。
来源:正北方网