向量数据库开拓者与GUP王者联手会擦出啥样的火花?
在GTC2024大会上,英伟达宣布全球首个GPU加速向量数据库诞生——中国公司Zilliz与英伟达携手发布了Milvus2.4版本。
向量数据库是一种专门用于处理向量数据的数据库系统,该类数据通经常使用于机器学习和 人工智能 应用中,如推荐系统、图像识别和自然语言处理等。GPU(图形处理单元)因其并行处理能力而成为加速复杂计算任务的梦 想选择,尤其是在处理大量数据时。
英伟达在GPU领域的地位不用多说,Zilliz的全称是上海徐毓智能科技有限公司,是诞生于中国本土的草创公司,建立于2016年,总部办公地位于上海。在向量数据库系统领域,Zilliz是开拓者,研发了面向AI生产全面的向量数据库系统。其技术和产品已经被全球超过1000家企业采用。
Milvus是Zilliz的主要产品,它提供了一个易于使用的界面,允许开发者和数据科学家快速部署和扩展向量搜索服务。该产品以其高性能和可扩展性而闻名,能够处理海量的向量数据,并提供毫秒级的查询响应时间,还支持多种编程语言的API,包含Python、Java、Go和C++。
Milvus2.4版本向量数据库的创新点在于,利用GPU的高速计算特性,能够快速执行向量相似性搜索和分析,支持更高的并发用户请求,同时降低延迟,提供更快的响应时间,使其成为支持实时决策和复杂数据分析的梦 想工具。
据介绍,它在业界第壹次采用了英伟达GPU的高效并行处理能力和RAPIDS cuVS库中新推出的CAGRA(CUDA-Accelerated Graph Index for Vector Retrieval)技术,提供基于GPU的向量索引和搜索加速能力。基准测试显示,与目前市场上最顶尖的基于CPU处理器的索引技术相比,新版GPU加速Milvus能提供高达50倍的向量搜索性能提升。
▌向量数据库——开发AI大模型的必备软件
向量数据库是专门用于存储和管理向量数据,其具备的快速检索、混合存储、向量嵌入等能力很好的解决了AI大模型技术中普遍存在的知识时效性低、输入能力有限、回答问题准确度低等诸多问题,因此被视作开发和应用AI大模型进程中的必备的软件基础设施。
从实际应用案例来看,向量数据库在AI大模型的练习和推理进程中降本增效的效果已经有所显现。ChatGPT Plugins外接向量数据库,不仅大大拓展了AI大模型交互信息的范畴,还保护了用户隐私。Qdrant向量数据库与Pienso合作,已经实现在开源AI大模型的条件上开发私域大模型。
广发证券 认为,在过去AI模型训练的数据量较小、数据类型单一的情景下,向量数据库可应用的场景较小。自2017年Transformer模型推出后,各科技厂商开始大语言模型的探索,对于向量数据库的切实需求才开始形陈规模。随着微软365Copilot和ChatGPT企业版等标杆产品的落地,AI应用的发展正逐步由点扩散到面,未来随着生成式AI大模型开发量和使用量的增长,向量数据库的应用有望快速增长。
目前在商业化方面,向量数据库行业还处于市场培育期,Zilliz、Pinecone和腾讯云均推出免费版本的产品给用户试用。以华为云和星环科技为代表的厂商在非结构化数据处理具有一定技术积累的条件上,也相继推出了向量数据库产品。
其中,星环科技是国内第壹批进入向量数据库领域的企业,已经与英特尔联合发布向量数据库解决方案。