一、文檔存儲的需求

很多的開發(fā)者都使用過mongodb，在mongodb中數(shù)據(jù)記錄是以文檔的形式存在的(類似于一種多級嵌套SQL的形式)。比如下面的JSON數(shù)據(jù)結(jié)構(gòu)：dev_ip表示某一臺服務(wù)器的ip、location字段存放經(jīng)緯度、meminfo.total和meminfo.userd分別代表內(nèi)存總量和使用量。

[{
  "dev_ip": "123.46.5.111",
  "location": [39.916527, 116.397128],
  "meminfo": {
    "total": 64,
    "used": 23.2
  }
},
{
  "dev_ip": "123.46.5.112",
  "location": [39.916144, 116.392582],
  "meminfo": {
    "total": 64,
    "used": 27.8
  }
}]

二、建表

存儲文檔需要使用到Map這種數(shù)據(jù)類型，在某些比較舊的版本中，Map數(shù)據(jù)類型還是實(shí)驗(yàn)性的，不能直接使用。如果想使用，需要執(zhí)行set allow_experimental_map_type = 1;。
然后我們可以按照J(rèn)SON的數(shù)據(jù)結(jié)構(gòu)來建表，location是數(shù)組Array數(shù)據(jù)類型，meminfo是Map數(shù)據(jù)類型。

CREATE TABLE dev_meminfo (
  dev_ip String,  
  location Array(Float64),
  meminfo Map(String, Float32)
)
ENGINE = MergeTree()
ORDER BY dev_ip;

clickhouse提供了數(shù)組類型Array(T)，數(shù)組類型由多個T元素組成。T可以是任意的基礎(chǔ)數(shù)據(jù)類型，或者也可以是數(shù)組類型。如果是數(shù)組類型就形成了多維數(shù)組，Cickhouse對多維數(shù)組的支持有限，所以不建議使用多維數(shù)組。數(shù)組里面所有的T元素的數(shù)據(jù)類型必須是一樣的，否則會拋出異常。

三、數(shù)據(jù)入庫

在linux環(huán)境下，我們可以將JSON數(shù)據(jù)保存為一個文檔，命名如：dev_meminfo.json。然后使用下面的命令行，完成文檔JSON數(shù)據(jù)的入庫。jq的作用是將JSON數(shù)組及Map從結(jié)構(gòu)中剝離出來，從而符合JSONEachRow要求的輸入格式。

cat dev_meminfo.json |jq -c .[] | clickhouse-client --database acaidb -m -u acai --password '<你的密碼>'  \
--query="INSERT INTO dev_meminfo FORMAT JSONEachRow"

或者我們可以直接使用INSERT語句來完成數(shù)據(jù)的單條插入，如下：

INSERT  INTO dev_meminfo FORMAT JSONEachRow {"dev_ip": "123.46.5.112", "location": [39.916144, 116.392582],"meminfo": {"total": 64,"used": 27.8}};

四、查詢數(shù)據(jù)

select * 的方式查詢數(shù)據(jù)：

#  clickhouse-client --database acaidb -m -u acai --password '4rfv$RFV'  --query="SELECT * FROM dev_meminfo"
123.46.5.111    [39.916527,116.397128]  {'total':64,'used':23.2}
123.46.5.112    [39.916144,116.392582]  {'total':64,'used':27.8}

使用字段名稱方式查詢數(shù)據(jù)，需要注意的是Ciickhouse的數(shù)組的下標(biāo)是從0開始的，這與我們傳統(tǒng)編程開發(fā)中的規(guī)范是不一致的。

# clickhouse-client --database acaidb -m -u acai --password '4rfv$RFV'  --query="SELECT dev_ip,location[1],location[2],meminfo['total'],meminfo['used'] FROM dev_meminfo"
123.46.5.111    39.916527       116.397128      64      23.2
123.46.5.112    39.916144       116.392582      64      27.8

五、總結(jié)

我們看到clickhouse可以代替mongodb進(jìn)行類JSON文檔數(shù)據(jù)的存儲，而且支持SQL查詢統(tǒng)計分析，這一點(diǎn)是比較吸引人的。我只是介紹了簡單的查詢，其實(shí)針對各種統(tǒng)計分析場景，clickhouse提供了超級多的統(tǒng)計分析函數(shù)、窗口函數(shù)等等，當(dāng)然針對數(shù)組的數(shù)據(jù)類型也有很多的統(tǒng)計分析函數(shù)。
更為值得注意的是：筆者看到一些測評文章，clickhouse的的統(tǒng)計分析性能是mongodb的近百倍之多(筆者自己尚未驗(yàn)證，請關(guān)注我的專欄后續(xù)文章)。但是也不是說clickhouse可以代替mongodb的所有應(yīng)用場景，至少面向用戶的并發(fā)請求的場景clickhouse是不滿足的，因?yàn)閏lickhouse的定位是數(shù)據(jù)倉庫，主要是面向數(shù)據(jù)分析OLAP場景，而不是面向用戶高并發(fā)的聯(lián)機(jī)事務(wù)處理OLTP。

到此這篇關(guān)于對標(biāo)mongodb存儲類JSON數(shù)據(jù)文檔統(tǒng)計分析的文章就介紹到這了,更多相關(guān)mongodb存儲類JSON數(shù)據(jù)文檔統(tǒng)計內(nèi)容請搜索本站以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持本站！

美國穩(wěn)定服務(wù)器

版權(quán)聲明：本站文章來源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來，僅供學(xué)習(xí)參考，不代表本站立場，如有內(nèi)容涉嫌侵權(quán)，請聯(lián)系alex-e#qq.com處理。