postgresql 查询序列_PostgreSQL的Tuple内幕探索

大家好，我是讯享网，很高兴认识大家。

作者简介

刘阳明，数据库研发工程师，对数据库内核有浓厚兴趣；看好PostgreSQL的前景，希望有PostgreSQL被更多的人深入了解。

一、总体结构

PostgreSQL的堆表由多个页组成。业内结构如上图所示(代码readme中)，由5部分构成，如下。

模块	描述
页头	24字节长，包含页内的总体信息与空闲空间的位置。
行指针	每个行指针占4个字节，由两项信息构成(offset,length) ，指向实际的Tuple数据。
空闲空间	页内未分配的空间，如果FreeSpace剩下的空间放不下一个元组，那么该页就是满了。新的行指针从空闲空间的头部开始分配，相应的Tuple数据从空闲空间的尾部开始分配。
Tuple	实际的Tuple数据
特殊空间	如果是索引页，那么根据索引类型的不同存储的数据也不同。

Page Header

• LSN：在BufferManager中，为了保证WAL的原则(thou shalt write xlog before data)，对每个块标记了一个日志序列号(Log Sequence Number)。

• prune xid：PostgreSQL中有一个对页内空间进行整理的过程，该列记录了上一个对页进行整理的xid。

Item ID(行指针)

包括偏移和长度两个信心，另外还有一个标记位，标记该行指针的状态。为了节省空间，代码中多处Struct中标记了位域，如下，行指针只占4个字节了。

二、Tuple

Tuple Header

Tuple头部是由23byte固定大小的前缀和可选的NullBitMap构成。

postgres=# SELECT pg_column_size(row()); pg_column_size---------------- 24

讯享网

如上，一个空行的大小是24byte，说明最后一个byte被对齐了；

讯享网postgres=# SELECT pg_column_size(row(NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL)); pg_column_size---------------- 24

而一个有8个空值的行的长度也是24byte，说明最后一个byte当做了bitmap；

postgres=# SELECT pg_column_size(row(NULL, NULL, NULL, NULL, NULL, NULL, NULL, NULL,NULL)); pg_column_size---------------- 32

有超过8个空值后，那么就需要重新按照8字节对齐。在Tuple数据中，不会存储Null数据。

另外在tinfomask2和tinfomask中，存储了属性列的个数以及若干标记位，其中就包括HEAP_HASNULL(标识bitmap存不存在)，如下。

Tuple data

Tuple由多种类型构成。在PostgreSQL中，pg_type系统表中记录了各种类型的信息；通过如下查询，我们可以知道每个类型的传递方式(值or引用)，长度以及对齐方式(和C结构体对齐相似)。

讯享网postgres=# select typname,typbyval,typlen,typalign from pg_type limit 3; typname | typbyval | typlen | typalign---------+----------+--------+----------  bool    | t        |      1 | c bytea   | f        |     -1 | i char | t | 1 | c(3 rows)

长度列存在负数，负数是对应于变长类型。其中，-2对应的是cstring和unknown类型。-1对应的是其他变长类型。

类型对齐方式有几种取值，分别对应不同长度的对齐：

c(char，1)，s(short，2)，i(int，4)，d(double，8)

对齐存储

当你创建一个数据表时，通过检查pg_type中属性长度，合理安排属性顺序，可节省空间，如下例所示。

postgres=# CREATE TABLE t1 (a char , b int2 , c char , d int4 , e char , f int8);CREATE TABLEpostgres=# CREATE TABLE t2 (f int8 , d int4 , b int2 , a char , c char , e char);CREATE TABLEpostgres=# insert into t1 values ( 'a',1,'a',1,'a',1);INSERT 0 1 postgres=# insert into t2 values ( 1,1,1,'a','a','a');INSERT 0 1postgres=# create extension pageinspect ;CREATE EXTENSIONpostgres=# select lp, t_data from heap_page_items(get_raw_page('t1', 0)); lp | t_data----+---------------------------------------------------- 1 | \x000000000000000(1 row)postgres=# select lp, t_data from heap_page_items(get_raw_page('t2', 0)); lp | t_data----+-------------------------------------------- 1 | \x0000000(1 row)

变长属性列

每个PostgreSQL类型都有一个存储方式，如下查看test表的结构，其中表示了每个列的存储方式。

讯享网

可以看出来boolean类型的存储方式是plain，varchar的存储类型是extended。存储方式共有4种：

• PLAIN ：避免压缩和行外存储。

• EXTENDED ：先压缩，后行外存储。

• EXTERNAL ：允许行外存储，但不许压缩。

• MAIN ：允许压缩，尽量不使用行外存储更贴切。

那么，何时压缩数据？何时行外存储呢？

Tuple压缩：当Tuple大小超过大概2KB时，PostgreSQL会尝试基于LZ压缩算法进行压缩。

行外存储(TOAST)：toasted属性的本意是The Oversized-Attribute Storage Technique，对于某个超长的属性单独存储。当某行数据超过PostgreSQL页大小(8k)后，会将这个页放到系统命名空间pg_toast下的一个单独的表中，而在原表中存储一个TOAST pointer，如下。

typedef struct{ uint8 va_header; /* Always 0x80 or 0x01 */ uint8 va_tag; /* Type of datum */char va_data[FLEXIBLE_ARRAY_MEMBER]; /* Type-specific data */} varattrib_1b_e;typedef struct varatt_external{ int32 va_rawsize; /* Original data size (includes header) */ int32 va_extsize; /* External saved size (doesn't) */ Oid va_valueid; /* Unique ID of value within TOAST table */ Oid va_toastrelid; /* RelID of TOAST table containing it */} varatt_external;

三、启发

了解了PostgreSQL的Tuple细节，对我们使用PostgreSQL有什么启发呢？

• 如果没有NULL值且没有变长字段，那么Tuple的长度是可以估计的；

• 合理排列Tuple列，可以减少表占用空间。

– 首先是Not NULL固定长度的属性。

– 其次是合理排列固定长度的属性

– 将所有变长列放到右边

四、新书推荐

《PostgreSQL指南：内幕探索》出版了，该书为《The Internals of PostgreSQL for database administrators and system developers》一书的中文翻译书籍，作者为日本 PostgreSQL 数据库专家 SUZUKI，其中对数据库的集群、架构、SQL 处理、外部表接口、并发控制、垃圾回收、 HOT、堆表、索引存储结构、BUFFER 管理、WAL 日志、时间点恢复、流复制等原理进行了深入浅出的讲解。

PostgreSQL中文社区欢迎广大技术人员投稿

投稿邮箱：