随风今日头条今日热点资讯聚合 · 实时更新
实时 · 0.25s
首页 > 热点 > 正文
← 返回列表

Tufa Labs推出tufazip:10亿字节维基百科数据无损压缩至105.39MB

宗熙先生 2026-11-21 20:19 评论 0 赞 3 原文
Tufa Labs推出tufazip:10亿字节维基百科数据无损压缩至105.39MB

Tufa Labs是一家总部位于瑞士苏黎世的独立人工智能研究机构,成立于2024年,主要从事基础人工智能研究,研究方向涵盖大型语言模型、强化学习、机器推理及自主学习等。团队由研究人员和工程师组成,注重通过大规模计算实验探索AI能力边界。

2026年11月19日,Tufa Labs宣布,其研究项目tufazip在大型文本压缩基准测试(Large Text Compression Benchmark)中取得新进展,成功将10亿字节的英文维基百科文本数据集enwik9无损压缩至105,388,353字节,约105.39MB。

Tufa Labs推出tufazip:10亿字节维基百科数据无损压缩至105.39MB

这一成绩使tufazip成为目前该基准中仅使用神经网络作为唯一预测模型的方案里压缩效果最好的项目。截至11月19日更新的排行榜,tufazip v2位列第13名。排名更靠前的方案则采用了Transformer与统计模型、人工设计预测器等相结合的混合架构。

该项目由研究员Tommy He主导开发,与传统压缩算法依赖预先设计的统计模型不同,tufazip的核心思路是利用Transformer对文本进行预测,并通过模型持续学习文本中的规律,从而提高压缩效率。

Tufa Labs推出tufazip:10亿字节维基百科数据无损压缩至105.39MB

其核心模型采用12层、约1.63亿参数的Decoder-only Transformer。在最终版本中,研究团队引入了一种紧凑的离线预训练初始化方案:预先训练两个Transformer模块,将其量化后存储,再在运行时复制并扩展为12个独立层。随后,各层通过在线学习逐渐调整参数,以适应正在处理的文本。

这套方案的关键在于,压缩端与解压端能够同步执行完全一致的学习过程。压缩程序首先根据当前模型预测下一个Token的概率,再利用算术编码将实际Token编码;完成编码后,模型根据已经处理的文本执行参数更新。解压程序则按照相同顺序进行预测、解码和参数更新,使双方始终保持一致。

Tufa Labs推出tufazip:10亿字节维基百科数据无损压缩至105.39MB

由于两个端点能够同步重建模型的学习过程,因此无需将在线训练完成后的全部模型权重写入压缩文件。最终只需要保存压缩数据、解压程序以及必要的预训练初始化权重,就能够恢复原始文本。

这也是tufazip能够将模型规模与最终压缩文件体积分开处理的重要原因,其4.33MB的预训练权重虽然需要计入最终压缩成本,却远小于完整模型的常规存储需求。

Tufa Labs推出tufazip:10亿字节维基百科数据无损压缩至105.39MB

在技术实现上,tufazip并不是完全抛弃传统压缩技术,而是将神经网络作为唯一的预测模型,并结合算术编码完成数据编码。其创新重点在于预测模型的构建、在线学习以及压缩与解压过程中的确定性同步。

实验结果还揭示了几个值得关注的现象。首先,词表规模并非越大越好,在相关对照实验中,4000 Token的词表取得了优于8000和16000 Token词表的压缩效果。研究团队还发现,专门针对维基百科XML标记设计的特殊Token并没有带来预期收益,反而使压缩效果下降。

Tufa Labs推出tufazip:10亿字节维基百科数据无损压缩至105.39MB

其次,模型参数量与压缩效果也并非简单的正相关关系。在相同词表及训练窗口的对照实验中,1.88亿参数模型的表现略优于2.67亿参数模型。研究人员认为,对于固定规模的文本数据,模型可能存在一个更合适的容量区间,继续增加参数不一定能够改善最终结果。

此外,扩大在线学习中的历史回放窗口能够进一步提高压缩率,但也会显著增加计算量。在一组对照实验中,将回放窗口从1500万Token扩大至3500万Token,压缩数据量减少约1.21%,但模型计算量增加约40%。

Tufa Labs推出tufazip:10亿字节维基百科数据无损压缩至105.39MB

硬件与时间成本则是目前tufazip最明显的局限,实验使用两块英伟达B200 GPU和两颗英特尔Xeon Platinum 8570处理器。按照公开的基准测试记录,压缩和解压分别耗时约631,548秒和645,748秒,其中压缩约7.3天、解压约7.5天(不含起始模型的离线训练时间)。峰值内存占用在压缩与解压期间分别约为68.5GB和73.7GB。

从最终成绩来看,tufazip v2的压缩数据本身约为100.96MB,加上4.33MB的解压程序及预训练权重,总计105.39MB。相较于此前完全依靠在线学习的105.98MB版本,最终文件进一步缩小了约0.59MB。

Tufa Labs推出tufazip:10亿字节维基百科数据无损压缩至105.39MB

值得注意的是,tufazip的研究价值并不只是将一份维基百科数据压缩得更小。它展示了一种不同于传统混合压缩架构的技术路径:让神经网络承担文本规律预测,并通过压缩端与解压端的同步学习,避免传输完整的训练后模型。

目前,tufazip仍处于研究和实验阶段,尚不具备面向普通用户的实用产品形态。其极高的计算成本也意味着,这项技术距离日常文件压缩应用还有相当距离。不过,它为神经网络在无损压缩领域的应用,以及在线学习与模型参数传输机制的研究,提供了新的探索方向。

小编将在第一时间分享更多相关最新动态和爆料,敬请关注。

评论 共 0 条 · 0.16s

暂无评论。