当前位置

网站首页> 程序设计 > 开源项目 > 程序开发 > 浏览文章

Nginx关键数据结构分析(一) ngx_buf_t

作者:小梦 来源: 网络 时间: 2024-08-14 阅读:

在分析nginx的功能之前,首先看一下nginx使用的一些基础的数据结构及其用法,这样才能更好的理解以后的代码。

typedef struct ngx_buf_s  ngx_buf_t;typedef void *ngx_buf_tag_t;struct ngx_buf_s {    u_char          *pos;    u_char          *last;    off_tfile_pos;    off_tfile_last;    u_char          *start;         /* start of buffer */    u_char          *end;           /* end of buffer */    ngx_buf_tag_t    tag;           /* 表示当前缓冲区的类型,如果是哪个模块使用就为该模块的ngx_module_t变量的地址 */    ngx_file_t      *file;    ngx_buf_t       *shadow;    /* the buf's content could be changed */    /* 临时内存标志位,表示当前buf在内存中并且是可以修改的 */    unsigned         temporary:1;    /* buf在内存中并且是不可以修改的*/    unsigned         memory:1;    /* the buf's content is mmap()ed and must not be changed*/    /* buf的内存空间是由mmap生成的,不可以被修改*/    unsigned         mmap:1;    unsigned         recycled:1;    unsigned         in_file:1;    unsigned         flush:1;    unsigned         sync:1;    unsigned         last_buf:1;    unsigned         last_in_chain:1;    unsigned         last_shadow:1;    unsigned         temp_file:1;    /* STUB */ int   num;};typedef struct ngx_chain_s ngx_chain_t;struct ngx_chain_s {    ngx_buf_t    *buf;    ngx_chain_t  *next;};typedef struct {    ngx_int_t    num;    size_t       size;} ngx_bufs_t;

其中要注意的是shadow指针,该指针用于指向原有的内存空间从而减少了nginx的内存消耗,该技术使用起来很高端,在能力低端的时候不要使用
在结构体中了start、end表示的是该块指定的内存的开始和结束,而position和last则是提醒程序本次使用的内存空间只有这些。
而ngx_bufs_t则应该是起到一个管理的作用,用于说明当前使用的bufs的数量和每个buf的存储空间的大小

#define  NGX_ERROR      -1     // ngx_core.h#define NGX_CHAIN_ERROR     (ngx_chain_t *) NGX_ERROR#define ngx_buf_in_memory(b)        (b->temporary || b->memory || b->mmap)#define ngx_buf_in_memory_only(b)   (ngx_buf_in_memory(b) && !b->in_file)#define ngx_buf_special(b)           \    ((b->flush || b->last_buf || b->sync)        \     && !ngx_buf_in_memory(b) && !b->in_file)#define ngx_buf_sync_only(b)         \    (b->sync         \     && !ngx_buf_in_memory(b) && !b->in_file && !b->flush && !b->last_buf)#define ngx_buf_size(b)\    (ngx_buf_in_memory(b) ? (off_t) (b->last - b->pos):          \(b->file_last - b->file_pos))#define ngx_alloc_buf(pool)  ngx_palloc(pool, sizeof(ngx_buf_t))#define ngx_calloc_buf(pool) ngx_pcalloc(pool, sizeof(ngx_buf_t))#define ngx_free_chain(pool, cl)     \    cl->next = pool->chain;          \    pool->chain = clngx_buf_t *ngx_create_temp_buf(ngx_pool_t *pool, size_t size);ngx_chain_t *ngx_create_chain_of_bufs(ngx_pool_t *pool, ngx_bufs_t *bufs);ngx_chain_t *ngx_alloc_chain_link(ngx_pool_t *pool);ngx_buf_t *ngx_create_temp_buf(ngx_pool_t *pool, size_t size){    ngx_buf_t *b;    b = ngx_calloc_buf(pool);    if (b == NULL) {        return NULL;    }    b->start = ngx_palloc(pool, size);    if (b->start == NULL) {        return NULL;    }    b->pos = b->start;    b->last = b->start;    b->end = b->last + size;    b->temporary = 1;    return b;}

这段代码是表示怎样创建生成一个temp的buf,并且从代码中也可以看到一段buf的内存空间是怎样分配的,通过ngx_palloc这个函数来完成分配的,并且由于在初始创建buf结构体的时候使用的函数是ngx_calloc_buf,所以针对分配的内存实行了清零操作

ngx_chain_t *ngx_alloc_chain_link(ngx_pool_t *pool){    ngx_chain_t  *cl;    cl = pool->chain;    if (cl) {        pool->chain = cl->next;        return cl;    }    cl = ngx_palloc(pool, sizeof(ngx_chain_t));    if (cl == NULL) {        return NULL;    }    return cl;}

而这段代码则是表明在nginx中,chain是通过pool来生成的,而且每次通过在pool的开头提取的方式来完成的

ngx_create_chain_of_bufs(ngx_pool_t *pool, ngx_bufs_t *bufs){    u_char       *p;    ngx_int_t     i;    ngx_buf_t    *b;    ngx_chain_t  *chain, *cl, **ll;    p = ngx_palloc(pool, bufs->num * bufs->size);    if (p == NULL) {        return NULL;    }    ll = &chain;    for (i = 0; i < bufs->num; i++) {        b = ngx_calloc_buf(pool);        if (b == NULL) {return NULL;        }        b->pos = p;        b->last = p;        b->temporary = 1;        b->start = p;        p += bufs->size;        b->end = p;        cl = ngx_alloc_chain_link(pool);        if (cl == NULL) {return NULL;        }        cl->buf = b;        *ll = cl;        ll = &cl->next;    }    *ll = NULL;//到最后将生成的ngx_chain_t的next指针指向NULL,表明整个链表生成完毕。    return chain;}

这段代码则表明了ngx_bufs_t类型是怎样运用的,利用num 和 size来创建一段缓冲区,该缓冲区用于表示ngx_chain_t中的所有的节点中的buf都是从该段缓冲区中分配出来的,但是所有的cl都是从pool中的chain中分配下来重新利用的或者是重新创建的(详细情况查看ngx_alloc_chain_link函数。

从这里我们可以看到nginx的内存分配管理其实本质上或者说基础的方法和手段是利用ngx_pool_t结构体。所以说下一步需要对这个nginx中重要的内存分配管理的部分进行查看和分析。
然后还存在多个针对ngx_buf_t类型的基本操作(其实应该说是针对ngx_chain_t类型的基本操作
ngx_chain_add_copy

ngx_int_tngx_chain_add_copy(ngx_pool_t *pool, ngx_chain_t **chain, ngx_chain_t *in){    ngx_chain_t  *cl, **ll;    ll = chain;    /* 遍历chain,查找到chain的最后结尾 */    for (cl = *chain; cl; cl = cl->next) {        ll = &cl->next;    }    /* 遍历in,并且创建分配chain的基本节点,并将其buf指向in的部分 */    while (in) {        cl = ngx_alloc_chain_link(pool);        if (cl == NULL) {return NGX_ERROR;        }        cl->buf = in->buf;        *ll = cl;        ll = &cl->next;        in = in->next;    }    *ll = NULL;//最后将最后一个chain节点的next指向一个NULL指针    return NGX_OK;}

该函数是在现有的chain的基础上将一个链表“复制”连接到该chain后面,但是从操作中我们可以看到,这个过程虽然说是“复制”,但是针对buf中实际的内存的操作仅仅是将针对连接上罢了。

ngx_chain_t *ngx_chain_get_free_buf(ngx_pool_t *p, ngx_chain_t **free){    ngx_chain_t  *cl;    if (*free) {        cl = *free;        *free = cl->next;        cl->next = NULL;        return cl;    }    cl = ngx_alloc_chain_link(p);    if (cl == NULL) {        return NULL;    }    cl->buf = ngx_calloc_buf(p);    if (cl->buf == NULL) {        return NULL;    }    cl->next = NULL;    return cl;}

这段代码从名字上来看是获得一个free的buf,实际上是从一个free的链表中获得一个chain节点或者是重新分配一个chain节点
nginx中的链表操作很多都是头链表操作,即如果需要添加链表元素的话通常都将该元素添加到头上

voidngx_chain_update_chains(ngx_pool_t *p, ngx_chain_t **free, ngx_chain_t **busy,    ngx_chain_t **out, ngx_buf_tag_t tag){    ngx_chain_t  *cl;    if (*busy == NULL) {        *busy = *out;    } else {        for (cl = *busy; cl->next; cl = cl->next) { /* void */ }        cl->next = *out;    }    *out = NULL;    while (*busy) {        cl = *busy;        if (ngx_buf_size(cl->buf) != 0) {break;        }        if (cl->buf->tag != tag) {*busy = cl->next;ngx_free_chain(p, cl);continue;        }        cl->buf->pos = cl->buf->start;        cl->buf->last = cl->buf->start;        *busy = cl->next;        cl->next = *free;        *free = cl;    }}

需要处理的链表是out指针指向的链表,而free指向的应该就是当前存在的free链表,而busy链表则是当前存在的busy链表,该链表也是待处理的链表
所以开始的时候需要判断将out应该放到哪一个位置,如果busy当前就存在的话,那么就应该将out放置到busy的最后,如果当前busy链表不存在,那么处理就是
将其作为busy链表进行处理
而后面的操作则是说明从头对busy链表实行检查,如果busy链表中的buf还存在需要处理的内存空间,那么就需要停止处理,否则就将其置为空(即对last和pos进行处理)

ngx_chain_t *ngx_chain_update_sent(ngx_chain_t *in, off_t sent){    off_t  size;    for ( /* void */ ; in; in = in->next) {        if (ngx_buf_special(in->buf)) {continue;        }        if (sent == 0) {break;        }        size = ngx_buf_size(in->buf);        if (sent >= size) {sent -= size;if (ngx_buf_in_memory(in->buf)) {    in->buf->pos = in->buf->last;}if (in->buf->in_file) {    in->buf->file_pos = in->buf->file_last;}continue;        }        if (ngx_buf_in_memory(in->buf)) {in->buf->pos += (size_t) sent;        }        if (in->buf->in_file) {in->buf->file_pos += sent;        }        break;    }    return in;}

该函数处理的情况就更加的容易理解了,就是说当发送了sent字节之后需要对当前使用的缓冲区做处理,并返回当前仍未处理过的缓冲区指针。

热点阅读

网友最爱