深入解析Apache Fury：高性能对象图序列化的核心实现机制

深入解析Apache Fury：高性能对象图序列化的核心实现机制

【免费下载链接】foryA blazingly fast multi-language serialization framework powered by JIT and zero-copy.项目地址: https://gitcode.com/gh_mirrors/fu/fory

Apache Fury是一个基于JIT和零拷贝技术的多语言序列化框架，它能够实现跨语言对象的高效序列化与反序列化，特别在处理复杂对象图时表现出色。本文将深入探讨Fury对象图序列化的核心实现机制，包括引用处理、类型系统和高效编码方式，帮助开发者理解其高性能背后的技术原理。

什么是对象图序列化？

在面向对象编程中，对象通常不是孤立存在的，而是通过引用关系形成复杂的对象图结构。对象图序列化就是将这种包含引用关系（包括循环引用和共享引用）的对象结构完整地转换为字节流的过程。

与简单的对象序列化相比，对象图序列化面临两大核心挑战：

• 循环引用处理：避免对象间循环引用导致的无限递归
• 共享引用处理：确保同一对象的多次引用在序列化后仍指向同一实例

Apache Fury通过高效的引用跟踪算法和紧凑的二进制格式，完美解决了这些挑战，同时保持了卓越的性能表现。

Fury的引用跟踪机制

Fury采用了高效的引用跟踪算法，能够智能处理对象图中的共享引用和循环引用，避免数据重复和无限递归问题。

引用标记与ID分配

Fury使用四种引用标记来跟踪对象状态：

• NULL FLAG (-3)：表示对象为空
• REF FLAG (-2)：表示对象已序列化，后跟引用ID
• NOT_NULL VALUE FLAG (-1)：表示对象非空但禁用引用跟踪
• REF VALUE FLAG (0)：表示对象首次出现，分配新引用ID

引用ID从0开始顺序分配，当对象首次被序列化时分配ID并记录到引用表中，后续遇到相同对象时只需写入引用ID即可。

图：Fury引用跟踪算法流程示意图，展示了对象序列化过程中的引用处理机制

引用跟踪算法实现

序列化过程：

function write_ref_or_null(buffer, obj): if obj is null: buffer.write_int8(NULL_FLAG) // -3 return true // done, no more data to write if reference_tracking_enabled: ref_id = lookup_written_objects(obj) if ref_id exists: buffer.write_int8(REF_FLAG) // -2 buffer.write_varuint32(ref_id) return true // done, reference written else: buffer.write_int8(REF_VALUE_FLAG) // 0 add_to_written_objects(obj, next_ref_id++) return false // continue to serialize object data else: buffer.write_int8(NOT_NULL_VALUE_FLAG) // -1 return false // continue to serialize object data

反序列化过程：

function read_ref_or_null(buffer): flag = buffer.read_int8() switch flag: case NULL_FLAG (-3): return (null, true) // null object, done case REF_FLAG (-2): ref_id = buffer.read_varuint32() obj = get_from_read_objects(ref_id) return (obj, true) // referenced object, done case NOT_NULL_VALUE_FLAG (-1): return (null, false) // non-null, continue reading case REF_VALUE_FLAG (0): reserve_ref_slot() // will be filled after reading return (null, false) // non-null, continue reading

Fury的类型系统与元数据处理

Fury定义了一套完整的跨语言类型系统，确保不同语言间的类型能够正确映射和转换。

数据类型分类

Fury支持多种数据类型，主要分为：

• 基本类型：bool、int8/16/32/64、uint8/16/32/64、float8/16/32/64等
• 复合类型：string、list、set、map、array等
• 用户自定义类型：enum、struct、union等

每种类型都有对应的类型ID，用于在序列化过程中标识数据类型。内部类型使用0~56的ID，用户自定义类型则使用更大的ID范围。

类型元数据编码

Fury采用紧凑的方式编码类型元数据，主要包括：

• 类型ID编码：使用varuint32编码类型ID，内部类型直接使用8位ID，用户类型则需要额外编码用户类型ID
• 类型定义(TypeDef)：描述结构体等复杂类型的元数据，包括字段信息、类型名称等
• 元字符串编码：对字段名、类型名等元数据字符串进行压缩编码，减少元数据开销

高效的元字符串编码

为了减少元数据开销，Fury对字符串元数据采用了多种压缩编码方式：

• LOWER_SPECIAL：5位/字符，适用于小写字母和特定符号
• LOWER_UPPER_DIGIT_SPECIAL：6位/字符，适用于大小写字母、数字和特定符号
• FIRST_TO_LOWER_SPECIAL：首字母大写，其余为小写字母和特定符号
• ALL_TO_LOWER_SPECIAL：支持包含多个大写字母的字符串

Fury会根据字符串内容自动选择最优编码方式，大幅减少元数据大小。

高效的对象图序列化格式

Fury的序列化格式整体分为四个部分：

| fory header | object ref meta | object type meta | object value data |

头部信息

Fury头部使用1字节位图标志：

• 位0：null标志
• 位1：xlang标志（跨语言模式）
• 位2：oob标志（带外数据）
• 位3-7：保留位

对象引用元数据

如前所述，处理对象引用关系，使用四种标志和引用ID。

对象类型元数据

包含类型ID和可能的类型定义信息，用于标识对象的数据类型。

对象值数据

根据不同数据类型采用不同的编码方式，优化存储效率和读写性能。

集合类型的优化序列化

Fury对常见集合类型（List、Map等）进行了特殊优化，大幅提升了序列化性能。

List序列化优化

List采用以下格式：

| varuint32: length | 1 byte elements header | [optional type info] | elements data |

元素头部字节包含以下信息：

• 位0：是否跟踪元素引用
• 位1：是否包含null元素
• 位2：元素是否为声明类型
• 位3：所有元素是否为同一类型

这种设计使得Fury能够针对不同类型的列表采用最优化的序列化策略，例如对于同一类型的非空元素列表，可以大幅减少类型信息的重复存储。

Map序列化优化

Map采用分块格式，每块包含最多255个键值对：

| varuint32: total_size | chunk_1 | chunk_2 | ... | chunk_n |

每个块包含：

| 1 byte KV header | 1 byte chunk size N | N key-value pairs |

KV头部字节编码了键和值的元数据特征，如是否跟踪引用、是否包含null等。这种分块设计特别适合大型Map的序列化，同时能够很好地处理键值对类型不一致的情况。

图：Fury与其他序列化框架在集合类型序列化吞吐量上的对比

结构体序列化与版本兼容

Fury支持两种结构体序列化模式：

模式一：Schema Consistent（元数据共享禁用）

格式：[optional 4-byte schema hash] | field values

当启用类版本检查时，会写入4字节的schema哈希，用于验证结构体定义是否一致。字段值按照Fury定义的顺序序列化。

模式二：Compatible Mode（元数据共享启用）

与Schema Consistent模式类似，但使用共享的TypeDef元数据。反序列化时通过TypeDef按名称或标签ID映射字段，支持 schema 演进，未知字段会被跳过。

字段排序规则

Fury定义了确定性的字段排序规则，确保跨语言一致性：

1. 按字段类型分组：基本类型 > 内置非容器类型 > 集合类型 > Map类型 > 其他类型
2. 组内按特定规则排序：
   • 基本类型组：按压缩类别、大小、类型ID排序
   • 其他组：按类型ID和字段标识符排序

实战应用：如何处理复杂对象图

在实际应用中，处理包含循环引用和共享引用的复杂对象图是常见需求。Fury通过以下方式简化这一过程：

启用引用跟踪

在Java中，可以通过注解启用引用跟踪：

@ForyObject(trackingRef = true) class MyClass { @ForyField(ref = true) private Object refField; }

处理循环引用

Fury自动检测并处理循环引用，无需额外配置：

class Node { String name; Node next; } // 创建循环引用 Node a = new Node(); Node b = new Node(); a.next = b; b.next = a; // 直接序列化，Fury会自动处理循环引用 byte[] data = Fury.serialize(a); Node deserialized = Fury.deserialize(data, Node.class);

跨语言对象图序列化

Fury支持跨语言对象图序列化，例如可以在Java中序列化包含复杂引用关系的对象，然后在Python中反序列化：

Java序列化：

List<Node> graph = createComplexGraph(); byte[] data = Fury.serialize(graph);

Python反序列化：

graph = fury.deserialize(data)

性能优势与应用场景

Fury的对象图序列化机制带来了显著的性能优势：

• 高性能：通过JIT优化和零拷贝技术，序列化速度比传统框架快5-10倍
• 小体积：紧凑的二进制格式和元数据压缩，减少网络传输和存储开销
• 跨语言兼容：支持Java、Python、C++、Rust等多种语言
• 低内存占用：高效的引用跟踪和内存管理

这些特性使Fury特别适合以下场景：

• 分布式系统中的对象传输
• 缓存系统中的对象存储
• 大数据处理中的数据序列化
• 跨语言服务调用

图：Fury与其他主流序列化框架在不同数据类型上的性能对比

总结

Apache Fury通过创新的引用跟踪算法、高效的类型元数据处理和优化的二进制格式，为复杂对象图序列化提供了高性能解决方案。其核心优势包括：

1. 智能处理共享引用和循环引用，避免数据重复和无限递归
2. 紧凑的类型元数据编码，减少序列化开销
3. 针对集合类型的特殊优化，提升常见数据结构的序列化性能
4. 支持schema演进，确保不同版本间的兼容性
5. 跨语言支持，实现多语言系统间的无缝数据交换

通过深入理解Fury的对象图序列化机制，开发者可以更好地利用这一强大工具，为高性能分布式系统构建高效的数据传输层。

官方文档：docs/specification/xlang_serialization_spec.md 核心实现代码：java/fory-core/src/main/java/org/apache/fory/

【免费下载链接】foryA blazingly fast multi-language serialization framework powered by JIT and zero-copy.项目地址: https://gitcode.com/gh_mirrors/fu/fory