Redis核心原理與實(shí)踐之字符串實(shí)現(xiàn)原理

本文分析Redis字符串的實(shí)現(xiàn)原理，內(nèi)容摘自新書(shū)《Redis核心原理與實(shí)踐》。這本書(shū)深入地分析了Redis常用特性的內(nèi)部機(jī)制與實(shí)現(xiàn)方式，內(nèi)容源自對(duì)Redis源碼的分析，并從中總結(jié)出設(shè)計(jì)思路、實(shí)現(xiàn)原理。通過(guò)閱讀本書(shū)，讀者可以快速、輕松地了解Redis的內(nèi)部運(yùn)行機(jī)制。

Redis是一個(gè)鍵值對(duì)數(shù)據(jù)庫(kù)（key-value DB），下面是一個(gè)簡(jiǎn)單的Redis的命令：

> SET msg "hello wolrd"

該命令將鍵“msg”、值“hello wolrd”這兩個(gè)字符串保存到Redis數(shù)據(jù)庫(kù)中。
本章分析Redis如何在內(nèi)存中保存這些字符串。

redisObject

Redis中的數(shù)據(jù)對(duì)象server.h/redisObject是Redis對(duì)內(nèi)部存儲(chǔ)的數(shù)據(jù)定義的抽象類(lèi)型，在深入分析Redis數(shù)據(jù)類(lèi)型前，我們先了解redisObject，它的定義如下：

typedef struct redisObject {
    unsigned type:4;
    unsigned encoding:4;
    unsigned lru:LRU_BITS;
    int refcount;
    void *ptr;
} robj;

• type：數(shù)據(jù)類(lèi)型。
• encoding：編碼格式，即存儲(chǔ)數(shù)據(jù)使用的數(shù)據(jù)結(jié)構(gòu)。同一個(gè)類(lèi)型的數(shù)據(jù)，Redis會(huì)根據(jù)數(shù)據(jù)量、占用內(nèi)存等情況使用不同的編碼，最大限度地節(jié)省內(nèi)存。
• refcount，引用計(jì)數(shù)，為了節(jié)省內(nèi)存，Redis會(huì)在多處引用同一個(gè)redisObject。
• ptr：指向?qū)嶋H的數(shù)據(jù)結(jié)構(gòu)，如sds，真正的數(shù)據(jù)存儲(chǔ)在該數(shù)據(jù)結(jié)構(gòu)中。
• lru：24位，LRU時(shí)間戳或LFU計(jì)數(shù)。

redisObject負(fù)責(zé)裝載Redis中的所有鍵和值。redisObject.ptr指向真正存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，redisObject .refcount、redisObject.lru等屬性則用于管理數(shù)據(jù)（數(shù)據(jù)共享、數(shù)據(jù)過(guò)期等）。

提示：type、encoding、lru使用了C語(yǔ)言中的位段定義，這3個(gè)屬性使用同一個(gè)unsigned int的不同bit位。這樣可以最大限度地節(jié)省內(nèi)存。

Redis定義了以下數(shù)據(jù)類(lèi)型和編碼，如表1-1所示。

本書(shū)第1部分會(huì)對(duì)表1-1中前五種數(shù)據(jù)類(lèi)型進(jìn)行分析，最后兩種數(shù)據(jù)類(lèi)型會(huì)在第5部分進(jìn)行分析。如果讀者現(xiàn)在對(duì)表1-1中內(nèi)容感到疑惑，則可以先帶著疑問(wèn)繼續(xù)閱讀本書(shū)。

sds

我們知道，C語(yǔ)言中將空字符結(jié)尾的字符數(shù)組作為字符串，而Redis對(duì)此做了擴(kuò)展，定義了字符串類(lèi)型sds（Simple Dynamic String）。
Redis鍵都是字符串類(lèi)型，Redis中最簡(jiǎn)單的值類(lèi)型也是字符串類(lèi)型，
字符串類(lèi)型的Redis值可用于很多場(chǎng)景，如緩存HTML片段、記錄用戶(hù)登錄信息等。

定義

提示：本節(jié)代碼如無(wú)特殊說(shuō)明，均在sds.h/sds.c中。
對(duì)于不同長(zhǎng)度的字符串，Redis定義了不同的sds結(jié)構(gòu)體：

typedef char *sds;

struct __attribute__ ((__packed__)) sdshdr5 {
    unsigned char flags; 
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr8 {
    uint8_t len; 
    uint8_t alloc;
    unsigned char flags;
    char buf[];
};
...

Redis還定義了sdshdr16、sdshdr32、sdshdr64結(jié)構(gòu)體。為了版面整潔，這里不展示sdshdr16、sdshdr32、sdshdr64 結(jié)構(gòu)體的代碼，它們與sdshdr8結(jié)構(gòu)體基本相同，只是len、alloc屬性使用了 uint16_t、uint32、uint64_t類(lèi)型。Redis定義不同sdshdr結(jié)構(gòu)體是為了針對(duì)不同長(zhǎng)度的字符串，使用合適的len、alloc屬性類(lèi)型，最大限度地節(jié)省內(nèi)存。

• len：已使用字節(jié)長(zhǎng)度，即字符串長(zhǎng)度。sdshdr5可存放的字符串長(zhǎng)度小于32（25），sdshdr8可存放的字符串長(zhǎng)度小于256（28），以此類(lèi)推。由于該屬性記錄了字符串長(zhǎng)度，所以sds可以在常數(shù)時(shí)間內(nèi)獲取字符串長(zhǎng)度。Redis限制了字符串的最大長(zhǎng)度不能超過(guò)512MB。
• alloc：已申請(qǐng)字節(jié)長(zhǎng)度，即sds總長(zhǎng)度。alloc-len為sds中的可用（空閑）空間。
• flag：低3位代表sdshdr的類(lèi)型，高5位只在sdshdr5中使用，表示字符串的長(zhǎng)度，所以sdshdr5中沒(méi)有l(wèi)en屬性。另外，由于Redis對(duì)sdshdr5的定義是常量字符串，不支持?jǐn)U容，所以不存在alloc屬性。
• buf：字符串內(nèi)容，sds遵循C語(yǔ)言字符串的規(guī)范，保存一個(gè)空字符作為buf的結(jié)尾，并且不計(jì)入len、alloc屬性。這樣可以直接使用C語(yǔ)言strcmp、strcpy等函數(shù)直接操作sds。

提示：sdshdr結(jié)構(gòu)體中的buf數(shù)組并沒(méi)有指定數(shù)組長(zhǎng)度，它是C99規(guī)范定義的柔性數(shù)組—結(jié)構(gòu)體中最后一個(gè)屬性可以被定義為一個(gè)大小可變的數(shù)組（該屬性前必須有其他屬性）。使用sizeof函數(shù)計(jì)算包含柔性數(shù)組的結(jié)構(gòu)體大小，返回結(jié)果不包括柔性數(shù)組占用的內(nèi)存。
另外，attribute((packed))關(guān)鍵字可以取消結(jié)構(gòu)體內(nèi)的字節(jié)對(duì)齊以節(jié)省內(nèi)存。

操作分析

接下來(lái)看一下sds構(gòu)建函數(shù)：

sds sdsnewlen(const void *init, size_t initlen) {
    void *sh;
    sds s;
    // [1]
    char type = sdsReqType(initlen);
    // [2]
    if (type == SDS_TYPE_5  initlen == 0) type = SDS_TYPE_8;
    // [3]
    int hdrlen = sdsHdrSize(type);
    unsigned char *fp; /* flags pointer. */

    sh = s_malloc(hdrlen+initlen+1);
    ...
    // [4]
    s = (char*)sh+hdrlen;
    fp = ((unsigned char*)s)-1;
    switch(type) {
        case SDS_TYPE_5: {
            *fp = type | (initlen  SDS_TYPE_BITS);
            break;
        }
        case SDS_TYPE_8: {
            SDS_HDR_VAR(8,s);
            sh->len = initlen;
            sh->alloc = initlen;
            *fp = type;
            break;
        }
        ...
    }
    if (initlen  init)
        memcpy(s, init, initlen);
    s[initlen] = '\0';
    // [5]
    return s;
}

參數(shù)說(shuō)明：

• init、initlen：字符串內(nèi)容、長(zhǎng)度。

【1】根據(jù)字符串長(zhǎng)度，判斷對(duì)應(yīng)的sdshdr類(lèi)型。
【2】長(zhǎng)度為0的字符串后續(xù)通常需要擴(kuò)容，不應(yīng)該使用sdshdr5，所以這里轉(zhuǎn)換為sdshdr8。
【3】sdsHdrSize函數(shù)負(fù)責(zé)查詢(xún)sdshdr結(jié)構(gòu)體的長(zhǎng)度，s_malloc函數(shù)負(fù)責(zé)申請(qǐng)內(nèi)存空間，申請(qǐng)的內(nèi)存空間長(zhǎng)度為hdrlen+initlen+1，其中hdrlen為sdshdr結(jié)構(gòu)體長(zhǎng)度（不包含buf屬性），initlen為字符串內(nèi)容長(zhǎng)度，最后一個(gè)字節(jié)用于存放空字符“\0”。s_malloc與C語(yǔ)言的malloc函數(shù)的作用相同，負(fù)責(zé)分配指定大小的內(nèi)存空間。
【4】給sdshdr屬性賦值。
SDS_HDR_VAR是一個(gè)宏，負(fù)責(zé)將sh指針轉(zhuǎn)化為對(duì)應(yīng)的sdshdr結(jié)構(gòu)體指針。
【5】注意，sds實(shí)際上就是char*的別名，這里返回的s指針指向sdshdr.buf屬性，即字符串內(nèi)容。Redis通過(guò)該指針可以直接讀/寫(xiě)字符串?dāng)?shù)據(jù)。

構(gòu)建一個(gè)內(nèi)容為“hello wolrd”的sds，其結(jié)構(gòu)如圖1-1所示。

sds的擴(kuò)容機(jī)制是一個(gè)很重要的功能。

sds sdsMakeRoomFor(sds s, size_t addlen) {
    void *sh, *newsh;
    // [1]
    size_t avail = sdsavail(s);
    size_t len, newlen;
    char type, oldtype = s[-1]  SDS_TYPE_MASK;
    int hdrlen;

    if (avail >= addlen) return s;
    // [2]
    len = sdslen(s);
    
    sh = (char*)s-sdsHdrSize(oldtype);
    newlen = (len+addlen);
    // [3]
    if (newlen  SDS_MAX_PREALLOC)
        newlen *= 2;
    else
        newlen += SDS_MAX_PREALLOC;

    // [4]    
    type = sdsReqType(newlen);
    if (type == SDS_TYPE_5) type = SDS_TYPE_8;
    // [5]
    hdrlen = sdsHdrSize(type);
    if (oldtype==type) {
        newsh = s_realloc(sh, hdrlen+newlen+1);
        if (newsh == NULL) return NULL;
        s = (char*)newsh+hdrlen;
    } else {
        newsh = s_malloc(hdrlen+newlen+1);
        if (newsh == NULL) return NULL;
        memcpy((char*)newsh+hdrlen, s, len+1);
        s_free(sh);
        s = (char*)newsh+hdrlen;
        s[-1] = type;
        sdssetlen(s, len);
    }
    // [6]
    sdssetalloc(s, newlen);
    return s;
}

參數(shù)說(shuō)明：
addlen：要求擴(kuò)容后可用長(zhǎng)度（alloc-len）大于該參數(shù)。
【1】獲取當(dāng)前可用空間長(zhǎng)度。如果當(dāng)前可用空間長(zhǎng)度滿(mǎn)足要求，則直接返回。
【2】sdslen負(fù)責(zé)獲取字符串長(zhǎng)度，由于sds.len中記錄了字符串長(zhǎng)度，該操作復(fù)雜度為O(1)。這里len變量為原sds字符串長(zhǎng)度，newlen變量為新sds長(zhǎng)度。sh指向原sds的sdshdr結(jié)構(gòu)體。
【3】預(yù)分配比參數(shù)要求多的內(nèi)存空間，避免每次擴(kuò)容都要進(jìn)行內(nèi)存拷貝操作。新sds長(zhǎng)度如果小于SDS_MAX_PREALLOC（默認(rèn)為1024×1024，單位為字節(jié)），則新sds長(zhǎng)度自動(dòng)擴(kuò)容為2倍。否則，新sds長(zhǎng)度自動(dòng)增加SDS_MAX_PREALLOC。
【4】sdsReqType(newlen)負(fù)責(zé)計(jì)算新的sdshdr類(lèi)型。注意，擴(kuò)容后的類(lèi)型不使用sdshdr5，該類(lèi)型不支持?jǐn)U容操作。
【5】如果擴(kuò)容后sds還是同一類(lèi)型，則使用s_realloc函數(shù)申請(qǐng)內(nèi)存。否則，由于sds結(jié)構(gòu)已經(jīng)變動(dòng)，必須移動(dòng)整個(gè)sds，直接分配新的內(nèi)存空間，并將原來(lái)的字符串內(nèi)容復(fù)制到新的內(nèi)存空間。s_realloc與C語(yǔ)言realloc函數(shù)的作用相同，負(fù)責(zé)為給定指針重新分配給定大小的內(nèi)存空間。它會(huì)嘗試在給定指針原地址空間上重新分配，如原地址空間無(wú)法滿(mǎn)足要求，則分配新內(nèi)存空間并復(fù)制內(nèi)容。
【6】更新sdshdr.alloc屬性。

對(duì)上面“hello wolrd”的sds調(diào)用sdsMakeRoomFor(sds,64)，則生成的sds如圖1-2所示。

從圖1-2中可以看到，使用len記錄字符串長(zhǎng)度后，字符串中可以存放空字符。Redis字符串支持二進(jìn)制安全，可以將用戶(hù)的輸入存儲(chǔ)為沒(méi)有任何特定格式意義的原始數(shù)據(jù)流，因此Redis字符串可以存儲(chǔ)任何數(shù)據(jù)，比如圖片數(shù)據(jù)流或序列化對(duì)象。C語(yǔ)言字符串將空字符作為字符串結(jié)尾的特定標(biāo)記字符，它不是二進(jìn)制安全的。
sds常用函數(shù)如表1-2所示。