Nginx 作為常用的負(fù)載均衡網(wǎng)關(guān). 會(huì)產(chǎn)生大量的日志. 但是由于 Nginx 的配置文件是一種聲明式的編程范式, 不方便描述流程控制, 因此不能通過簡(jiǎn)單的指令實(shí)現(xiàn)日志的上報(bào).

通常 Nginx 的日志上報(bào)是需要寫一個(gè)shell腳本或其他語言的腳本來定時(shí)解析 Nginx 的 log 文件, 然后進(jìn)行上報(bào).

利用 NJS 模塊, 可以實(shí)現(xiàn)實(shí)時(shí)的日志上報(bào).

但是由于 NJS 模塊支持的指令的限制, 無法通過單一指令很好的實(shí)現(xiàn)日志上報(bào). 通過多個(gè)指令的組合可以實(shí)現(xiàn)非阻塞性的實(shí)時(shí)日志上報(bào).

該方案在 Nginx 中實(shí)現(xiàn), 不依賴Node, Python 等其他進(jìn)程

實(shí)現(xiàn)思路

Nginx 指令繁多, 以下為最近探索出的一種實(shí)現(xiàn)方式. 如果有更優(yōu)雅的實(shí)現(xiàn)方法, 歡迎留言交流.

雖然擁有了強(qiáng)大的 Njs 模塊可以寫 JS 腳本, 但是 NJS 模塊的指令有諸多限制, 并不像 Node 一樣可以實(shí)現(xiàn)任意的功能.

如果要實(shí)現(xiàn)日志的實(shí)時(shí)上報(bào), 需要滿足以下2個(gè)能力:

1. 每個(gè)請(qǐng)求都可以觸發(fā)
2. 后臺(tái)上報(bào), 不阻塞當(dāng)前請(qǐng)求的處理進(jìn)程

常用的 js_set 指令雖然可以在每個(gè)請(qǐng)求時(shí)都觸發(fā), 但是只支持同步的操作. 無法使用 fetch, subrequest 方法.

js_content 指令中可以使用 fetch 函數(shù). 但只能在 location 中使用. 因此可以利用其他指令將請(qǐng)求轉(zhuǎn)發(fā)到 js_content 的路徑中, 在該指令中完成日志的上報(bào).

而 http_auth_request_module 模塊的 auth_request 指令用于做請(qǐng)求的權(quán)限校驗(yàn), 如 jwt 校驗(yàn)等. 該指令在每個(gè)請(qǐng)求時(shí)都會(huì)觸發(fā), 創(chuàng)建一個(gè)子請(qǐng)求, 根據(jù)該請(qǐng)求的返回結(jié)果決定權(quán)限校驗(yàn)的結(jié)果.

因此可以結(jié)合這兩個(gè)模塊來實(shí)現(xiàn)日志的上報(bào).

實(shí)現(xiàn)步驟

1. 編譯 Nginx

實(shí)現(xiàn)該功能需要 Nginx 支持 ngx_http_js_module 和? ngx_http_auth_request_module 模塊.? 這2個(gè)模塊是默認(rèn)不安裝的. 需要自己編譯實(shí)現(xiàn)

1. NJS 模塊安裝可以參考 當(dāng)JS邂逅Nginx
2. http_auth_request_module 模塊只要在編譯時(shí)增加參數(shù) --with-http_auth_request_module 即可

編譯

./configure --add-module=[NJS 模塊路徑]/NJS/nginx --with-http_auth_request_module 
make && make install 

2. 配置文件如下

http {
    js_import  http.js;   # 引入 js 文件
   
    server {
        listen 80;
    
        auth_request /proxy_report; # 該指令對(duì)于每個(gè)請(qǐng)求開始時(shí)都會(huì)觸發(fā), 創(chuàng)建一個(gè)子請(qǐng)求轉(zhuǎn)發(fā)到 proxy_report 路徑上
        location / { 
            index  index.html index.htm;
        }
        
        location /proxy_report {
            internal; # 限制僅接受內(nèi)部請(qǐng)求
            # 把原請(qǐng)求的 uri 和 method 數(shù)據(jù)保存在 header 中. 因?yàn)閍uth_request 請(qǐng)求會(huì)修改這些數(shù)據(jù).            
            proxy_set_header X-Original-URI $request_uri;
            proxy_set_header X-Original-METHOD $request_method;
            # 轉(zhuǎn)發(fā)到另外一個(gè) server 上
            proxy_pass http://localhost:8080/report;
        }
    }
    
    server {
        listen 8080;
        # 上報(bào)接口放在另外一個(gè) server 中, 且該 server 中無 auth_request 指令, 避免循環(huán)觸發(fā)請(qǐng)求
        location /report {
            # 通過 js_content 指令引入一個(gè) js 處理腳本, 完成上報(bào)操作
            js_content http.report;
        }
    }
}

// http.js 文件
import qs from "querystring";
async function report (r) {
    let args = {
        // 從 header 中取原始的 uri 和 method 等請(qǐng)求數(shù)據(jù)
        uri: r.headersIn['X-Original-URI'],
        method: r.headersIn['X-Original-METHOD'],
        remoteAddress: r.remoteAddress,
        status: r.status,
        headersIn: JSON.stringifry(r.headersIn),
    }
    // 發(fā)出異步請(qǐng)求, 不阻塞當(dāng)前請(qǐng)求的進(jìn)程, 在后臺(tái)完成上報(bào)
    ngx.fetch(`http://[上報(bào)服務(wù)路徑]?${qs.stringify(args)}`, {
        method: 'GET',
    })
    // 返回200的狀態(tài)碼使校驗(yàn)指令成功
    r.return(200)
}
export default { report }

總結(jié)

到此這篇關(guān)于Nginx純配置實(shí)現(xiàn)日志實(shí)時(shí)上報(bào)的思路與方法的文章就介紹到這了,更多相關(guān)Nginx日志實(shí)時(shí)上報(bào)內(nèi)容請(qǐng)搜索本站以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持本站！

香港服務(wù)器租用

版權(quán)聲明：本站文章來源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請(qǐng)保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來，僅供學(xué)習(xí)參考，不代表本站立場(chǎng)，如有內(nèi)容涉嫌侵權(quán)，請(qǐng)聯(lián)系alex-e#qq.com處理。