随风今日头条今日热点资讯聚合 · 实时更新
实时 · 0.31s
首页 > 热点 > 正文
← 返回列表

LanceDB融资5750万美元,加速多模态AI模型训练

至顶科技 2026-11-18 23:00 评论 0 赞 0 原文

LanceDB融资5750万美元,加速多模态AI模型训练

LanceDB Inc. 是一家致力于加快人工智能模型训练速度的数据库技术开发商,该公司今日宣布完成5750万美元的早期融资,旨在为研究人员、模型开发者和平台团队打造多模态数据湖仓一体平台。

本轮B轮融资由Bessemer Venture Partners和Innovation Endeavors领投,其他参投方包括Theory Ventures、Dimension、Swift Ventures、CRV和Y Combinator,公司总融资额达到9850万美元。

人工智能的发展使得创建和解读日益复杂的数据形式变得更加容易,但这也带来了基础设施方面的问题。LanceDB正致力于解决这一问题,为研究人员、企业机构和AI智能体提供统一的多模态数据湖仓平台,使其能够访问、查找、准备数据并进行训练,而无需花费数周时间管理底层基础设施。

LanceDB联合创始人兼首席执行官常舍(Chang She)在接受SiliconANGLE采访时表示:"通常情况下,研究团队必须将数据集的不同部分存放在不同位置,最终为单次训练任务准备好完整训练数据集时,往往要耗费数周甚至数月时间。当前AI领域缺失一个数据层,而这正是我们正在构建的。"

LanceDB的技术建立在Lance之上,这是一种专为AI工作负载设计的开源数据格式,能够将结构化信息与图像、视频等大型文件相结合。与为处理整张数据表而优化的传统分析格式不同,Lance支持对单条记录的快速检索和修改,这使其在搜索和准备海量训练数据集方面尤为实用。

该公司将这种格式构建成一个大规模检索数据湖仓,这正是训练现代AI模型所需海量信息规模的必要条件。湖仓一体平台将数据湖的灵活性——能够存储海量原始信息——与数据库式的组织、查询和管理能力结合在一起。

常舍解释道:"多模态数据之所以更为复杂和困难,部分原因在于数据体量。"

通过将多模态能力引入湖仓一体格式,LanceDB将不同形式的AI训练数据汇聚到一个统一平台中,使开发者能够搜索、组织和准备数据集,而不必为每种数据类型维护独立系统。该平台可直接连接到客户现有的云存储(数据保留在原处),同时将计算工作负载分布到所需的处理基础设施中。

多模态数据给AI带来的挑战

多模态AI所涉及的内容不仅仅是文本、音频、图像和视频的组合。自动驾驶汽车、机器人技术和世界模型还涉及三维传感器信息、地理空间坐标、时间序列数据以及解释传感器检测内容的标注信息。

例如,自动驾驶汽车捕获的不仅仅是图像。其传感器可能生成周围环境的三维表示,随后需要将其与识别道路、行人、植被和其他物体的信息相关联。

在许多大型训练流程中,激光雷达三维点云、图像、视频、音频等数据的总量平均在单张数据表中可达10到20PB,有些甚至更大——可能接近80到100PB。研究人员和模型开发者可能需要在不同系统中维护庞大的数据池,因为传统平台的设计并未考虑多模态AI的需求。

研究人员随后必须组装、协调并存储训练数据集的不同组成部分,以对其进行丰富处理以用于训练。仅数据整理本身就可能需要数周甚至数月时间来完成数据迁移、准备和处理。LanceDB的解决方案是直接管理基础设施,而无需从企业或研究存储中复制或迁移数据,从而为用户提供单一的统一访问入口。

常舍解释说:"数据保持原位不动,它仍然归你所有,我们不需要进行复制。"

简而言之,LanceDB并非只是引入一种新的数据存储方式;其目标是提供一种减少数据访问频率的方法,无需通过网络基础设施进行复制、转换或迁移数据。这极大加快了常舍所称的"AI飞轮"——目前这一飞轮的驱动力在于尽可能快速地为AI模型提供优质数据,以铸就并推出这些模型。

常舍表示:"我们让这个飞轮转得越快,研究团队就能越快获得更高质量的模型,从而让我们能够打造更多有趣的AI应用。"

知名客户包括Runway AI Inc.,该公司随着其AI训练需求的增长而采用了LanceDB的企业级平台。Netflix Inc.基于该技术构建了用于内容创作的媒体数据湖。微软公司则将该平台用作数据层,训练涉及数百亿行图像和代码数据的模型。该平台使这些机构能够将数据管理、搜索、整理和特征工程整合到统一工作流程中,帮助研究人员以PB级规模准备训练数据集,而不必兼顾多个独立的基础设施系统。

Runway首席技术官卡米尔·辛迪(Kamil Sindi)表示:"在Runway,一个训练样本并非静止不变。它最初是一段视频和一个提示词,然后我们会添加嵌入向量、分辨率和时长元数据,视下一个实验的需求而定。我们从2024年开始使用Lance格式,因为它是当时唯一能够同时处理非结构化数据、列式追加、分布式读取和临时SQL查询的方案。此后我们已成为LanceDB企业版客户。"

常舍表示,LanceDB计划利用这笔新融资扩展其多模态数据平台,加快AI模型开发周期,尤其是通过改进大规模数据整理、特征工程和数据加载能力,以在训练期间高效地为数千个图形处理器供给数据。公司还将加大对新兴AI工作负载的支持力度,包括视频生成、世界模型和机器人技术等领域,这些领域的研究人员必须管理日益增长的第一人称传感器数据、合成数据及其他多模态信息。

评论 共 0 条 · 0.18s

暂无评论。