博客
关于我
TFLite: flatbuffers
阅读量:766 次
发布时间:2019-03-23

本文共 2675 字,大约阅读时间需要 8 分钟。

FlatBuffers 是一个开源 序列化 库,提供与 Protocol Buffers、Thrift、Apache Avro 等类似的序列化格式。它由 Wouter van Oortmerssen 开发,后由 Google 开源,主要用于 Android 游戏和注重性能的应用。FlatBuffers 支持多种语言的端口,包括 C++、C#、C、Go、Java、PHP、Python 和 JavaScript。

FlatBuffers 的核心特点

FlatBuffers 是一个二进制 buffer,它通过 offset 组织嵌套对象(如 struct、table、vector 等),允许直接访问数据与传统指针方式类似。然而,大多数内存结构与 FlatBuffers不同,后者采用严格的对齐规则和字节顺序,以确保跨平台兼容。此外,table 对象支持前向/后向兼容性和 optional 字段,方便应对数据格式的演变。

FlatBuffers 的主要优势在于避免反序列化。通过定义二进制数据协议,FlatBuffers 将数据直接转换为二进制格式,无需额外的反序列化步骤。与传输 JSON 的流程相比,FlatBuffers 的二进制文件可以直接读取和解析,显著提高性能。

FlatBuffers 的数据类型

FlatBuffers 支持基本类型和复杂类型:

  • 基本类型

    • 8 位:byte、ubyte、bool
    • 16 位:short、ushort
    • 32 位:int、uint、float
    • 64 位:long、ulong、double
  • 特殊类型

    • SOffsetT(有符号 offset,size = 4)
    • UOffsetT(无符号 offset,size = 4)
    • VOffsetT(vtable 无符号 offset,size = 2)
  • 复杂类型

    • 数组(用 [type] 表示,不支持嵌套数组)
    • 字符串(支持 UTF-8 或 7-bit ASCII,可用 [byte] 或 [ubyte] 表示其他编码)
    • Struct(支持基本类型或嵌套 Struct)
    • Table(最灵活且最常用的类型,支持多种类型)

如何安装 FlatBuffers 工具

安装 flatc 工具需要以下步骤:

  • 安装 CMake:

    apt install cmake
  • 克隆 FlatBuffers 源码:

    git clone https://github.com/google/flatbuffers.git
  • 进入项目根目录,生成 Makefile 并编译:

    cmake -G "Unix Makefiles"  make  make install
  • 验证 flatc 版本:

    flatc --version
  • 测试 FlatBuffers 的示例代码

    以下是 FlatBuffers 的一个基本测试用例:

    #include "test_generated.h"  #include 
    #include
    using namespace std; using namespace TestApp; int main() { FlatBufferBuilder builder; vector
    vec; for (size_t i = 0; i < 10; ++i) { vec.push_back(i); } auto id = 123; auto name = builder.CreateString("name"); auto list = builder.CreateVector(vec); uint8_t flag = 1; KV kv(1, 1.0); auto mloc = CreateTestObj(builder, id, name, flag, list, &kv); builder.Finish(mloc); char* ptr = (char*)builder.GetBufferPointer(); uint64_t size = builder.GetSize(); auto obj = GetTestObj((uint8_t*)ptr); cout << obj->id() << endl; cout << obj->name()->c_str() << endl; cout << obj->flag() << endl; for (size_t i = 0; i < obj->list()->size(); ++i) { cout << obj->list()->Get(i) << endl; } return 0; }

    编译与运行

    g++ -std=c++11 ./test.cpp -I /home/ws/code/flatbuffers/include/  ./a.out

    输出结果:

    123  name  0  1  2  3  4  5  6  7  8  9  1  1

    生成的文件:test_generated.h

    #include "flatbuffers/flatbuffers.h"  namespace TestApp {      struct KV {          key: ulong;          value: double;      }      table TestObj {          id: ulong;          name: string;          flag: ubyte = 0;          list: [ulong];          kv: KV;      }      root_type TestObj;  }

    注意事项

    • 数据类型的默认值规则:标量类型可设默认值,非标量(如 string、vector、table)字段默认不存在时为 null。
    • table 最为灵活且常用,适合复杂数据结构。

    通过以上步骤,您可以成功使用 FlatBuffers 进行数据序列化与反序列化,优化应用的性能表现。

    转载地址:http://cjuzk.baihongyu.com/

    你可能感兴趣的文章
    MySQL 是怎样运行的 - InnoDB数据页结构
    查看>>
    mysql 更新子表_mysql 在update中实现子查询的方式
    查看>>
    MySQL 有什么优点?
    查看>>
    mysql 权限整理记录
    查看>>
    mysql 权限登录问题:ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: YES)
    查看>>
    MYSQL 查看最大连接数和修改最大连接数
    查看>>
    MySQL 查看有哪些表
    查看>>
    mysql 查看锁_阿里/美团/字节面试官必问的Mysql锁机制,你真的明白吗
    查看>>
    MySql 查询以逗号分隔的字符串的方法(正则)
    查看>>
    MySQL 查询优化:提速查询效率的13大秘籍(避免使用SELECT 、分页查询的优化、合理使用连接、子查询的优化)(上)
    查看>>
    mysql 查询数据库所有表的字段信息
    查看>>
    【Java基础】什么是面向对象?
    查看>>
    mysql 查询,正数降序排序,负数升序排序
    查看>>
    MySQL 树形结构 根据指定节点 获取其下属的所有子节点(包含路径上的枝干节点和叶子节点)...
    查看>>
    mysql 死锁 Deadlock found when trying to get lock; try restarting transaction
    查看>>
    mysql 死锁(先delete 后insert)日志分析
    查看>>
    MySQL 死锁了,怎么办?
    查看>>
    MySQL 深度分页性能急剧下降,该如何优化?
    查看>>
    MySQL 深度分页性能急剧下降,该如何优化?
    查看>>
    MySQL 添加列,修改列,删除列
    查看>>