graviti
产品公开数据集应用市场解决方案知识库关于我们

自动化流程处理加速AI企业模型迭代

发布于2021-11-12

随着AI行业的不断发展并应用于各个领域,大量的非结构化数据在AI企业中快速积累,在自动驾驶公司中,只需要一天时间,各式各样的数据就能填满一块硬盘。同时,由于公司的进一步壮大和分化,这些数据也会随着组织架构变化以及管理方式调整分散到不同的部门中,从而形成大量数据孤岛,数据管理已然成为了当下的AI企业亟待处理的首要问题之一。
目前的企业大多数仍采用传统的数据存储方式,这种以硬盘和文件夹为存储和管理手段的存储方式使得企业在当下面临着如下两个痛点:

由于不了解企业内部各部门之间的数据内容,导致不同部门之间难以使用对方的数据资产,造成了巨大浪费。
即便知晓了所需数据的归属部门和存储位置,进入到数据跨部门传输和使用的过程中后,往往还需要数以月计的冗长准备工作,如处理脚本、调整格式等等。

这些问题成为了当下阻碍企业模型快速迭代的最重要原因。

洞察到该痛点,格物钛依托于自主研发的大数据处理引擎,推出了支持多云混合部署的数据平台。通过该平台,可以将使用公有云、私有云以及本地机器存储的所有数据统一管理,并一站式托管迭代过程中产生的标注、预测结果等数据,整合所有数据的流动,减少传统手工作业和不必要的数据冗余及格式处理时间。

除此之外,格物钛平台还提供了一套可灵活配置的自动化工具——Action。
使用Action功能, 用户可以自定义数据处理流程,例如将数据预标注、数据筛选等操作进行整合,基于数据的变更条件触发该流程并且自动化执行,从而更加便捷高效地处理数据。

相比起传统的工作流搭建,灵活操作是格物钛Action最大的特点。传统的工作流建立后,一般无法进行参数修改,频繁迭代后往往造成版本的重复与冗余。而Action 工作流支持参数编辑,让工作流灵活地适应执行需求的微变化。其次,格物钛Action提供多维度的任务追踪,可帮助用户快速查阅运行日志,以更加清晰的形式展示每个节点的运行状态,在发生异常情况时帮助用户快速定位目标节点,及时解决异常情况。

另外,格物钛提供了完善易用的SDK,帮助用户对数据集进行各类操作和使用,上传、读取数据集,用于与模型训练、模型评估等流程集成。