詳解nginx請(qǐng)求頭數(shù)據(jù)讀取流程
在上一篇文章中,我們講解了nginx是如何讀取請(qǐng)求行的數(shù)據(jù),并且解析請(qǐng)求行的。本文我們則主要講解nginx是如何讀取客戶端發(fā)送來的請(qǐng)求頭的數(shù)據(jù),并且解析這些數(shù)據(jù)的。本質(zhì)上來講,請(qǐng)求行的數(shù)據(jù)和請(qǐng)求頭的數(shù)據(jù)讀取流程是基本一致的,因?yàn)槠涠济媾R著如何從間斷的數(shù)據(jù)流中讀取到數(shù)據(jù),也面臨著如何對(duì)數(shù)據(jù)進(jìn)行處理的問題。
1. 請(qǐng)求頭讀取主流程
在介紹請(qǐng)求頭的讀取流程之前,我們首先展示一個(gè)http請(qǐng)求報(bào)文的示例:
POST /web/book/read HTTP/1.1 Host: localhost Connection: keep-alive Content-Length: 365 Accept: application/json, text/plain, */*
示例中的第一行數(shù)據(jù)就是請(qǐng)求行,而后面的幾行都是請(qǐng)求頭。每一個(gè)請(qǐng)求頭都是以name: value的格式組裝的,并且每一個(gè)請(qǐng)求頭都占用一行。 在上一篇介紹請(qǐng)求行讀取流程的文章中,我們講到,一旦請(qǐng)求行讀取完成,nginx就會(huì)將當(dāng)前讀取事件的回調(diào)函數(shù)修改為ngx_http_process_request_headers()方法,并且直接調(diào)用該方法嘗試讀取請(qǐng)求頭數(shù)據(jù)。這個(gè)方法就是讀取請(qǐng)求行數(shù)據(jù)的主流程,如下是該方法的源碼:
/** * 解析客戶端發(fā)送來的header數(shù)據(jù) */ static void ngx_http_process_request_headers(ngx_event_t *rev) { u_char *p; size_t len; ssize_t n; ngx_int_t rc, rv; ngx_table_elt_t *h; ngx_connection_t *c; ngx_http_header_t *hh; ngx_http_request_t *r; ngx_http_core_srv_conf_t *cscf; ngx_http_core_main_conf_t *cmcf; c = rev->data; r = c->data; if (rev->timedout) { ngx_log_error(NGX_LOG_INFO, c->log, NGX_ETIMEDOUT, "client timed out"); c->timedout = 1; ngx_http_close_request(r, NGX_HTTP_REQUEST_TIME_OUT); return; } cmcf = ngx_http_get_module_main_conf(r, ngx_http_core_module); rc = NGX_AGAIN; for (;;) { if (rc == NGX_AGAIN) { // 如果當(dāng)前header緩沖區(qū)中沒有剩余空間,則申請(qǐng)新的空間 if (r->header_in->pos == r->header_in->end) { // 申請(qǐng)新的空間 rv = ngx_http_alloc_large_header_buffer(r, 0); if (rv == NGX_ERROR) { ngx_http_close_request(r, NGX_HTTP_INTERNAL_SERVER_ERROR); return; } // 客戶端發(fā)送的header太長,超出了large_client_header_buffers指定的最大大小 if (rv == NGX_DECLINED) { p = r->header_name_start; r->lingering_close = 1; if (p == NULL) { ngx_log_error(NGX_LOG_INFO, c->log, 0, "client sent too large request"); ngx_http_finalize_request(r, NGX_HTTP_REQUEST_HEADER_TOO_LARGE); return; } len = r->header_in->end - p; if (len > NGX_MAX_ERROR_STR - 300) { len = NGX_MAX_ERROR_STR - 300; } ngx_http_finalize_request(r, NGX_HTTP_REQUEST_HEADER_TOO_LARGE); return; } } // 嘗試讀取連接上客戶端新發(fā)送來的數(shù)據(jù) n = ngx_http_read_request_header(r); if (n == NGX_AGAIN || n == NGX_ERROR) { return; } } cscf = ngx_http_get_module_srv_conf(r, ngx_http_core_module); // 這里主要是對(duì)讀取到的數(shù)據(jù)進(jìn)行轉(zhuǎn)換 rc = ngx_http_parse_header_line(r, r->header_in, cscf->underscores_in_headers); // NGX_OK表示成功解析得到了一個(gè)header數(shù)據(jù) if (rc == NGX_OK) { r->request_length += r->header_in->pos - r->header_name_start; // 過濾無效的header if (r->invalid_header && cscf->ignore_invalid_headers) { continue; } // 創(chuàng)建一個(gè)存儲(chǔ)header的結(jié)構(gòu)體 h = ngx_list_push(&r->headers_in.headers); if (h == NULL) { ngx_http_close_request(r, NGX_HTTP_INTERNAL_SERVER_ERROR); return; } h->hash = r->header_hash; // 把header的name作為hash表的key h->key.len = r->header_name_end - r->header_name_start; h->key.data = r->header_name_start; h->key.data[h->key.len] = '\0'; // 把header的value作為hash表的value h->value.len = r->header_end - r->header_start; h->value.data = r->header_start; h->value.data[h->value.len] = '\0'; h->lowcase_key = ngx_pnalloc(r->pool, h->key.len); if (h->lowcase_key == NULL) { ngx_http_close_request(r, NGX_HTTP_INTERNAL_SERVER_ERROR); return; } if (h->key.len == r->lowcase_index) { ngx_memcpy(h->lowcase_key, r->lowcase_header, h->key.len); } else { ngx_strlow(h->lowcase_key, h->key.data, h->key.len); } // headers_in_hash中存儲(chǔ)了所有的header,這里是查找當(dāng)前客戶端傳的header是否為有效的header hh = ngx_hash_find(&cmcf->headers_in_hash, h->hash, h->lowcase_key, h->key.len); // 這里的handler是在ngx_http_headers_in中為每一個(gè)header定義的處理方法,經(jīng)過各個(gè)header的 // handler()方法處理后,客戶端傳來的header就都轉(zhuǎn)換到r->headers_in結(jié)構(gòu)體中的各個(gè)屬性中了 if (hh && hh->handler(r, h, hh->offset) != NGX_OK) { return; } continue; } // NGX_HTTP_PARSE_HEADER_DONE表示已經(jīng)將所有的header都處理完成了 if (rc == NGX_HTTP_PARSE_HEADER_DONE) { r->request_length += r->header_in->pos - r->header_name_start; r->http_state = NGX_HTTP_PROCESS_REQUEST_STATE; // 檢查客戶端發(fā)送來的header數(shù)據(jù)的合法性 rc = ngx_http_process_request_header(r); if (rc != NGX_OK) { return; } ngx_http_process_request(r); return; } // NGX_AGAIN表示讀取到的header行數(shù)據(jù)不完全,還需要繼續(xù)讀取 if (rc == NGX_AGAIN) { continue; } ngx_log_error(NGX_LOG_INFO, c->log, 0, "client sent invalid header line"); ngx_http_finalize_request(r, NGX_HTTP_BAD_REQUEST); return; } }
這里請(qǐng)求頭的讀取主要分為如下幾個(gè)步驟:
- 首先檢查當(dāng)前讀取事件是否已經(jīng)超時(shí),如果超時(shí)了,則直接關(guān)閉當(dāng)前連接;
- 判斷是否r->header_in->pos == r->header_in->end成立,這個(gè)主要是檢查當(dāng)前讀取緩沖區(qū)中是否有可以存儲(chǔ)新讀取的數(shù)據(jù)的內(nèi)存空間,如果沒有,則從內(nèi)存池中新申請(qǐng)一塊內(nèi)存空間;
- 調(diào)用ngx_http_read_request_header()方法讀取當(dāng)前連接句柄上的數(shù)據(jù),其返回值如果大于0,則表示讀取到的數(shù)據(jù)長度,如果等于0,則表示客戶端斷開了連接,如果為NGX_ERROR,則表示讀取發(fā)生了異常,如果為NGX_AGAIN,則此次沒有讀取到數(shù)據(jù),需要繼續(xù)讀取新的數(shù)據(jù)??梢钥吹?,這里首先判斷返回值是否為NGX_AGAIN,是則直接返回,而沒有做任何其他的處理,這主要是因?yàn)楫?dāng)前的讀事件的回調(diào)函數(shù)還是ngx_http_process_request_headers(),當(dāng)有新的讀事件觸發(fā)時(shí),其還是會(huì)調(diào)用到ngx_http_read_request_header()以再次讀取到數(shù)據(jù)。另一方面,在ngx_http_read_request_header()方法中,如果發(fā)現(xiàn)返回值為NGX_AGAIN,其會(huì)將當(dāng)前讀事件再次添加到事件隊(duì)列中,并且為當(dāng)前連接在epoll句柄上注冊(cè)讀事件;
- 調(diào)用ngx_http_parse_header_line()方法解析讀取到的請(qǐng)求頭數(shù)據(jù),需要注意的是,每次調(diào)用該方法都只會(huì)解析得到一個(gè)請(qǐng)求頭,不過經(jīng)過無限for循環(huán)和不停的事件觸發(fā)機(jī)制,最終所有的請(qǐng)求頭數(shù)據(jù)都會(huì)讀取到。
- 根據(jù)ngx_http_parse_header_line()方法的返回值,如果為NGX_OK,則將新讀取到的header存儲(chǔ)到r->headers_in.headers鏈表中;
- 如果ngx_http_parse_header_line()方法的返回值為NGX_HTTP_PARSE_HEADER_DONE,則表示讀取所有的header都成功了,此時(shí)首先會(huì)調(diào)用ngx_http_process_request_header()方法檢查讀取到的header的合法性,然后調(diào)用ngx_http_process_request()方法以啟動(dòng)nginx中http模塊的11個(gè)階段,這個(gè)方法的實(shí)現(xiàn)原理我們將會(huì)在后面的文章進(jìn)行講解。
2. 請(qǐng)求頭數(shù)據(jù)的讀取
可以看到,對(duì)請(qǐng)求頭的讀取主要有兩個(gè)方法:ngx_http_read_request_header()和ngx_http_parse_header_line()。這里的第二個(gè)方法比較長,但是其邏輯非常的簡單,主要就是解析讀取到的數(shù)據(jù)是否能組成一個(gè)完整的請(qǐng)求頭(name: value的形式,并且占用一行),如果是,則返回NGX_OK,否則返回NGX_AGAIN以期待繼續(xù)讀取數(shù)據(jù)。對(duì)于這個(gè)方法,我們這里不進(jìn)行講解,讀者可自行閱讀源碼,我們主要講解ngx_http_read_request_header()方法是如何讀取客戶端發(fā)送來的請(qǐng)求頭數(shù)據(jù)的:
static ssize_t ngx_http_read_request_header(ngx_http_request_t *r) { ssize_t n; ngx_event_t *rev; ngx_connection_t *c; ngx_http_core_srv_conf_t *cscf; c = r->connection; rev = c->read; // 計(jì)算當(dāng)前還有多少數(shù)據(jù)未處理 n = r->header_in->last - r->header_in->pos; // 如果n大于0,說明還有讀取到的數(shù)據(jù)未處理,則直接返回n if (n > 0) { return n; } // 走到這里,說明當(dāng)前讀取到的數(shù)據(jù)都已經(jīng)處理完了,因而這里會(huì)進(jìn)行判斷,如果當(dāng)前事件的ready參數(shù)為1, // 則表示當(dāng)前連接的句柄上存儲(chǔ)還未讀取的數(shù)據(jù),因而調(diào)用c->recv()方法讀取數(shù)據(jù),否則繼續(xù)將當(dāng)前事件添加到 // 事件隊(duì)列中,并且繼續(xù)監(jiān)聽當(dāng)前連接句柄的讀事件 if (rev->ready) { // 在連接文件描述符上讀取數(shù)據(jù) n = c->recv(c, r->header_in->last, r->header_in->end - r->header_in->last); } else { n = NGX_AGAIN; } // 如果n為NGX_AGAIN,則將當(dāng)前事件添加到事件監(jiān)聽器中,并且繼續(xù)監(jiān)聽當(dāng)前epoll句柄的讀事件 if (n == NGX_AGAIN) { if (!rev->timer_set) { cscf = ngx_http_get_module_srv_conf(r, ngx_http_core_module); ngx_add_timer(rev, cscf->client_header_timeout); } if (ngx_handle_read_event(rev, 0) != NGX_OK) { ngx_http_close_request(r, NGX_HTTP_INTERNAL_SERVER_ERROR); return NGX_ERROR; } return NGX_AGAIN; } // 如果n為0,說明客戶端關(guān)閉了連接 if (n == 0) { ngx_log_error(NGX_LOG_INFO, c->log, 0, "client prematurely closed connection"); } // 如果客戶端關(guān)閉了連接或者讀取異常,則回收當(dāng)前的request結(jié)構(gòu)體 if (n == 0 || n == NGX_ERROR) { c->error = 1; c->log->action = "reading client request headers"; ngx_http_finalize_request(r, NGX_HTTP_BAD_REQUEST); return NGX_ERROR; } // 更新當(dāng)前讀取到的數(shù)據(jù)指針 r->header_in->last += n; return n; }
這里請(qǐng)求頭數(shù)據(jù)的讀取主要分為如下幾個(gè)步驟:
- 判斷當(dāng)前緩沖區(qū)中是否存在還未處理的數(shù)據(jù),如果存在,則直接返回。存在還未讀取的數(shù)據(jù)的原因主要是在前面讀取請(qǐng)求行數(shù)據(jù)的過程中,可能會(huì)讀取一部分或者全部的請(qǐng)求頭數(shù)據(jù),因而這里會(huì)做檢查;
- 判斷當(dāng)前讀事件是否已經(jīng)準(zhǔn)備就緒,如果已經(jīng)就緒,則調(diào)用c->recv()方法讀取當(dāng)前連接句柄上的數(shù)據(jù);
- 如果當(dāng)前讀事件還未就緒,則將當(dāng)前的讀事件再次添加到事件隊(duì)列中,并且為當(dāng)前連接在epoll句柄上注冊(cè)讀事件;
- 對(duì)第二步的返回值進(jìn)行判斷,如果為0,則表示客戶端已經(jīng)斷開了連接,如果為NGX_ERROR,則表示讀取數(shù)據(jù)異常了,這兩種情況時(shí)都會(huì)關(guān)閉當(dāng)前連接,并且向客戶端返回400狀態(tài)碼。如果返回值NGX_AGAIN,則從事第三步中的步驟,以繼續(xù)監(jiān)聽讀事件。如果返回值大于0,則表示讀取成功,而這個(gè)大于0的值就表示讀取到的數(shù)據(jù)長度;
- 更新存儲(chǔ)讀取數(shù)據(jù)的緩沖區(qū)的指針數(shù)據(jù)。
3. 小結(jié)
本文主要對(duì)nginx是如何讀取并且解析請(qǐng)求頭的流程進(jìn)行了講解,并且著重講解了讀取數(shù)據(jù)的主流程代碼和讀取的詳細(xì)步驟。
到此這篇關(guān)于詳解nginx請(qǐng)求頭數(shù)據(jù)讀取流程的文章就介紹到這了,更多相關(guān)nginx請(qǐng)求頭數(shù)據(jù)讀取內(nèi)容請(qǐng)搜索本站以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持本站!
版權(quán)聲明:本站文章來源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有,歡迎引用、轉(zhuǎn)載,請(qǐng)保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站,禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像,否則將依法追究法律責(zé)任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來,僅供學(xué)習(xí)參考,不代表本站立場(chǎng),如有內(nèi)容涉嫌侵權(quán),請(qǐng)聯(lián)系alex-e#qq.com處理。