北京灵奥科技：助力企业拥抱数据力量，打通大模型落地最后一公里

随着科技的飞速发展，人工智能逐渐渗透到我们生活的方方面面，例如智能驾驶、医疗诊断以及投资决策等领域，并逐渐成为促进社会进步和经济发展的重要动力。作为人工智能技术实现和发展的基础，其三大核心要素包括算法、数据和算力，其中数据的质量很大程度上决定了人工智能特别是大模型的性能和效果，这也使得数据在近几年来受到的关注程度越来越高。

“目前，数据问题已成为企业落地大模型的核心挑战之一。”近日北京灵奥科技CEO厉启鹏在接受采访时表示。诚然，在基础模型相同的前提之下，要想构建更懂业务、更懂用户的生成式AI应用，数据无疑是最为关键的层面。

厉启鹏表示，数据问题在企业大模型落地中面临的挑战主要体现在四个方面：首先，模型需要深入理解企业多样化的业务数据，然而数据的类型繁多、格式杂乱且来源无法统一；其次，业务数据随着企业运营实时变化，模型需不断学习不同来源的、持续变化的业务信息；再次，数据隐私和大模型使用的安全合规是企业业务不能触碰的红线。企业既要让模型理解好数据，又需要做到安全合规；最后，不同大语言模型由于训练数据来源不同，侧重点有差异，导致模型会存在偏见。企业需要评估不同模型的能力以及为不同业务场景选择合适的模型。

作为一家成立于2021年底的初创公司，北京灵奥科技自成立以来就致力于推动生成式AI技术的普及，从而加速企业的商业成功，并先后推出了Vanus Connect、Vanus AI和VanChat三款帮助企业构建AI Agent的SaaS产品，累计服务全球30000+用户。

事实上，Vanus的定位正是介于大模型和应用之间的大模型中间件，可以有效帮助企业解决数据问题，打通大模型企业端落地最后一公里。在神经网络层，Vanus Connect可以连接企业不同的数据源，实时感知企业业务事件的变化，并推送给神经中枢，然后接收神经中枢的指令去做执行。而在神经中枢层，VanusAI结合知识库（向量数据库）和大模型，帮助企业做业务的决策。

不但如此，Vanus还可以将大模型优势和企业数据无缝结合，并提供Claude3等多模型选择，实现商品数据自动同步，包括商品数据自动更新、Shopify数据自动接入等，还可与网站、钉钉、飞书、企业微信等第三方应用无缝集成，助力企业灵活定制机器人，自定义聊天风格、欢迎词、外感颜色等等。

值得一提的是，Vanus整个平台都是基于亚马逊云科技构建的，并通过亚马逊云科技的基础云服务、大语言模型和数据存储三类云服务，为企业构建AIAgent平台。

在厉启鹏看来，亚马逊云科技为Vanus提供的显著优势包括如下几个层面：

第一是弹性可扩展。利用Amazon Elastic Kubernetes Service（Amazon EKS）基于网络流量的弹性扩展能力，Vanus AI构建的Agent可以根据用户业务流量平滑弹性伸缩。帮助企业平均成本降低30%，性价比提高20%。

第二是提高系统可用性。基于Amazon DocumentDB原生的3可用区、6副本的设计，Vanus平台的可用性和可靠性得到了显著提高，可以达到不低于99.99%正常运行时间的服务等级协议（SLA）。

第三是降低回复延时。借助Amazon Simple Storage Service（AmazonS3）及数据库高并发数据查询能力提高大模型上下文加载时间，同时借助亚马逊云科技全球网络节点加速能力，Vanus平台的Agent回复系统延时降低了40%。

最后是强劲的推理性能。通过Amazon Bedrock提供的Claude模型，Vanus平台的AI Agent具备了非常强大的语言理解和逻辑推理能力。

“亚马逊云科技诸多使用简单且功能强大的云服务是我们双方合作的基础，Vanus绝大部分的技术问题在亚马逊云科技上都能找到相关的云产品加以解决，这些产品能够增强性能、提升稳定性，为我们提供强有力的支撑。作为全球最大的一朵云，亚马逊云科技有着非常强大的运营经验，可以帮助我们更好地服务分布在不同区域和不同国家的客户。”厉启鹏补充道。

事实上，自北京灵奥科技成立之初，就加入了亚马逊云科技的合作伙伴网络（APN），一方面获得更多的客户资源，另一方面也能在第一时间体验到亚马逊云科技的创新服务，这些都使得北京灵奥科技能够以更快的速度将生成式AI产品推广到市场上。

在亚马逊云科技的赋能之下，北京灵奥科技的Vanus平台也积累了不少成功案例，例如为国内某ERP企业客服构建AI Copilot，由于该企业各部门沉淀大量内部数据，但是跨部门知识共享效率低，需花费大量时间对客服进行培训。同时，客服人员基于传统搜索方式获取知识，响应时间长，从而导致用户的投诉率较高。为此，Vanus基于Amazon S3、数据库等云服务，帮助用户从文档、数据库、SaaS软件等多个数据源中实时抽取数据，构建统一的企业知识库；并借助Amazon Bedrock等服务，为企业客服人员构建AICopilot，基于全域业务数据实时推理，为客服人员秒级提供回复建议，大大降低了客服响应时间，将问题回复时间从分钟级降低到了秒级。

“展望未来，北京灵奥科技希望深化对Amazon Document DB和Claude系列产品的使用，从而进一步增加我们处理数据的能力。”厉启鹏在最后表示。