ibm于近期推出了全新无服务器的开源框架codeflare，帮助开发人员减少在混合云环境中部署ai模型所花费的时间，此框架目前已在github上开源。
使用codeflare后，减少94%机器学习模型pipeline执行时长
对于企业而言，训练出一个机器学习模型从来不是主要的瓶颈—那什么才是呢？
在生产环境中的持续运营、构建完整的人工智能系统，完成规模化落地，而且中间没有任何重大的断层，这才是真正的挑战。然而，企业为了随时应对新需求来部署机器学习九游会官网真人游戏第一品牌的解决方案，经常只能不断重写实验程序代码来迭代，但这种方法是模棱两可的，在不具备mlops的概念之下，成功几率更低。
据ibm表示，用户使用codeflare框架分析和优化大约100,000个用于训练机器学习模型的pipeline时，可将执行时长从原本的4小时大幅缩减到短短15分钟。
资料科学和机器学习分析，在各个垂直领域的需求正在激增，任务也变得越来越复杂。随着资料集越来越大，涉及的系统也变多，使得ai研究人员和开发人员得花更多时间配置在模型设置上，要创建一个机器学习模型，必须还得进行数据清洗、特征标准化、特征提取等耗时、耗力、多重的前置作业，才能进行训练优化。
而codeflare存在的目的，就是要简化ai迭代过程，让数据工作流程更容易规模化进行。codeflare框架主要是创建在ray之上—ray是加州大学伯克利分校rise实验室为ai应用程序开发的开源分布式计算系统，也是源自ibm集团的一个项目，通过该项目也创建出了世界上第一个原型2纳米芯片。
ibm框架codeflare接口基于python，具三大特点
ibm research混合云平台总监priya nagpurkar透露：“codeflare采用了简化机器学习的概念…更进一步把每个孤立的步骤串联起，将端到端pipeline与资料科学家熟悉的接口无缝集成—比如python，而不是容器（container）。codeflare使用了统一的runtime和程序接口，有助于简化pipeline集成和扩展的过程，展现与众不同的性能。”
具体来说，codeflare拥有以下三大特点：
1. 基于python的接口，可用于管理跨平台的pipeline，且pipeline可以在大多数计算环境中共享资源、进行平行化运算。通过转接器与其他云原生生态系统统集成和衔接，形成横向分布式工作流程，开发人员也不必为了维护管理而去学新的语言。
2. 触发器功能，使codeflare pipeline能够在发生某些特定事件（例如有新文件抵达）时被启动，同时，可从任何来源加载和分割资料，让pipeline能够有效去运用一系列数据源，包括文件系统、对象存储、数据湖和分布式文件系统。
3. 可以部署在任何云基础架构上，通过和red hat openshift和ibm cloud code engine的集成，实现了无服务器的体验，并供用户在任意平台创建工作流程，具备拓展无服务器服务的好处。
从广泛角度来看，codeflare的概念类似于amazon sagemaker pipelines，聚焦在从云仪表板自动化、组织机器学习pipeline的流程，而google、微软和hybernet labs则是分别在cloud ai platform pipelines、azure machine learning pipelines和galileo中提供了相似的服务。但ibm强调，codeflare结合了本地和云计算基础架构，是从本地端开始构建来支持混合云的。
“该框架背后的动机，是为了收拢工作流程，还有为了完美结合人工智能、机器学习、资料分析和建模”，nagpurkar表示，“我们看到了在runtime之下能大幅优化渠道的机会，可以有效管理和改善数据依赖性（data dependencies）、执行控制性（execution control）。”
codeflare已开源，降低企业ai部署混合云难度
目前codeflare已在github开源，ibm也提供了一系列有关其工作原理，以及开发人员入门所需的技术博客文章。预期未来，ibm计划继续发展codeflare，来支持更复杂的pipeline和功能，例如容错和一致性、外部资源的集成和数据管理，以及强化对可视化渠道的支持。
就目前的性能来看，codeflare已经可以将执行100,000个训练渠道的分析和优化时间，从4小时缩短到15分钟。此外，ibm正在与客户合作，将codeflare集成到他们的软件流程中，也在ibm自家的ai研究中使用此框架。
“实现一致性的体验，以将pipeline从笔记本扩展到小型集群（cluster）、再到云，是codeflare的一大关注点”，nagpurkar补充，“我们将codeflare视为我们混合云平台发展的关键下一步，对用户的价值方面，我们必须强调，通过显著提高效率，codeflare不仅可以节省成本和时间，而且还创造了机会来解决以前由于规模或复杂度等原因、而根本不切实际的新使用场景。”
有了像codeflare这种具备mlops优势的框架，开发人员就不必一直重复相同的工作，也不需要彻底理解pipeline的配置，用统一接口就可使用丰富的工具和api一致的进行操作，把更多宝贵的时间放在研究和实际应用上，简化配置和部署的复杂工作流程，更快速部署到混合云，开发和部署ai模型的过程，又会变得轻巧许多。