Go結(jié)構(gòu)體SliceHeader及StringHeader作用詳解
引言
在 Go 語言中總是有一些看上去奇奇怪怪的東西,咋一眼一看感覺很熟悉,但又不理解其在 Go 代碼中的實(shí)際意義,面試官卻愛問...
今天要給大家介紹的是 SliceHeader 和 StringHeader 結(jié)構(gòu)體,了解清楚他到底是什么,又有什么用,并且會在最后給大家介紹 0拷貝轉(zhuǎn)換的內(nèi)容。
一起愉快地開始吸魚之路。
SliceHeader
SliceHeader 如其名,Slice + Header,看上去很直觀,實(shí)際上是 Go Slice(切片)的運(yùn)行時表現(xiàn)。
SliceHeader 的定義如下:
type?SliceHeader?struct?{ ?Data?uintptr ?Len??int ?Cap??int }
- Data:指向具體的底層數(shù)組。
- Len:代表切片的長度。
- Cap:代表切片的容量。
既然知道了切片的運(yùn)行時表現(xiàn),那是不是就意味著我們可以自己造一個?
在日常程序中,可以利用標(biāo)準(zhǔn)庫reflect
提供的SliceHeader
結(jié)構(gòu)體造一個:
func?main()?{ ??//?初始化底層數(shù)組 ?s?:=?[4]string{"腦子",?"進(jìn)",?"煎魚",?"了"} ?s1?:=?s[0:1] ?s2?:=?s[:] ??//?構(gòu)造?SliceHeader ?sh1?:=?(*reflect.SliceHeader)(unsafe.Pointer(&s1)) ?sh2?:=?(*reflect.SliceHeader)(unsafe.Pointer(&s2)) ?fmt.Println(sh1.Len,?sh1.Cap,?sh1.Data) ?fmt.Println(sh2.Len,?sh2.Cap,?sh2.Data) }
你認(rèn)為輸出結(jié)果是什么,這兩個新切片會指向同一個底層數(shù)組的內(nèi)存地址嗎?
輸出結(jié)果:
14824634330936
44824634330936
兩個切片的 Data 屬性所指向的底層數(shù)組是一致的,Len 屬性的值不一樣,sh1 和 sh2 分別是兩個切片。
疑問
為什么兩個新切片所指向的 Data 是同一個地址的呢?
這其實(shí)是 Go 語言本身為了減少內(nèi)存占用,提高整體的性能才這么設(shè)計的。
將切片復(fù)制到任意函數(shù)的時候,對底層數(shù)組大小都不會影響。復(fù)制時只會復(fù)制切片本身(值傳遞),不會涉及底層數(shù)組。
也就是在函數(shù)間傳遞切片,其只拷貝 24 個字節(jié)(指針字段 8 個字節(jié),長度和容量分別需要 8 個字節(jié)),效率很高。
坑
這種設(shè)計也引出了新的問題,在平時通過s[i:j]
所生成的新切片,兩個切片底層指向的是同一個底層數(shù)組。
假設(shè)在沒有超過容量(cap)的情況下,對第二個切片操作會影響第一個切片。
這是很多 Go 開發(fā)常會碰到的一個大 “坑”,不清楚的排查了很久的都不得而終。
StringHeader
除了 SliceHeader 外,Go 語言中還有一個典型代表,那就是字符串(string)的運(yùn)行時表現(xiàn)。
StringHeader 的定義如下:
type?StringHeader?struct?{ ???Data?uintptr ???Len??int }
- Data:存放指針,其指向具體的存儲數(shù)據(jù)的內(nèi)存區(qū)域。
- Len:字符串的長度。
可得知 “Hello” 字符串的底層數(shù)據(jù)如下:
var?data?=?[...]byte{ ????'h',?'e',?'l',?'l',?'o', }
底層的存儲示意圖如下:
圖來自網(wǎng)絡(luò)
真實(shí)演示例子如下:
func?main()?{ ?s?:=?"腦子進(jìn)煎魚了" ?s1?:=?"腦子進(jìn)煎魚了" ?s2?:=?"腦子進(jìn)煎魚了"[7:] ?fmt.Printf("%d?\n",?(*reflect.StringHeader)(unsafe.Pointer(&s)).Data) ?fmt.Printf("%d?\n",?(*reflect.StringHeader)(unsafe.Pointer(&s1)).Data) ?fmt.Printf("%d?\n",?(*reflect.StringHeader)(unsafe.Pointer(&s2)).Data) }
你認(rèn)為輸出結(jié)果是什么,變量 s 和 s1、s2 會指向同一個底層內(nèi)存空間嗎?
輸出結(jié)果:
17608227
17608227
17608234
從輸出結(jié)果來看,變量 s 和 s1 指向同一個內(nèi)存地址。變量 s2 雖稍有偏差,但本質(zhì)上也是指向同一塊。
因?yàn)槠涫亲址那衅僮?,是從?7 位索引開始,因此正好的 17608234-17608227 = 7。也就是三個變量都是指向同一塊內(nèi)存空間,這是為什么呢?
這是因?yàn)樵?Go 語言中,字符串都是只讀的,為了節(jié)省內(nèi)存,相同字面量的字符串通常對應(yīng)于同一字符串常量,因此指向同一個底層數(shù)組。
0 拷貝轉(zhuǎn)換
為什么會有人關(guān)注到 SliceHeader、StringHeader 這類運(yùn)行時細(xì)節(jié)呢,一大部分原因是業(yè)內(nèi)會有開發(fā)者,希望利用其實(shí)現(xiàn)零拷貝的 string 到 bytes 的轉(zhuǎn)換。
常見轉(zhuǎn)換代碼如下:
func?string2bytes(s?string)?[]byte?{ ?stringHeader?:=?(*reflect.StringHeader)(unsafe.Pointer(&s)) ?bh?:=?reflect.SliceHeader{ ??Data:?stringHeader.Data, ??Len:??stringHeader.Len, ??Cap:??stringHeader.Len, ?} ?return?*(*[]byte)(unsafe.Pointer(&bh)) }
但這其實(shí)是錯誤的,官方明確表示:
the Data field is not sufficient to guarantee the data it references will not be garbage collected, so programs must keep a separate, correctly typed pointer to the underlying data.
SliceHeader、StringHeader 的 Data 字段是一個uintptr
類型。由于 Go 語言只有值傳遞。
因此在上述代碼中會出現(xiàn)將Data
作為值拷貝的情況,這就會導(dǎo)致無法保證它所引用的數(shù)據(jù)不會被垃圾回收(GC)。
應(yīng)該使用如下轉(zhuǎn)換方式:
func?main()?{ ?s?:=?"腦子進(jìn)煎魚了" ?v?:=?string2bytes1(s) ?fmt.Println(v) } func?string2bytes1(s?string)?[]byte?{ ?stringHeader?:=?(*reflect.StringHeader)(unsafe.Pointer(&s)) ?var?b?[]byte ?pbytes?:=?(*reflect.SliceHeader)(unsafe.Pointer(&b)) ?pbytes.Data?=?stringHeader.Data ?pbytes.Len?=?stringHeader.Len ?pbytes.Cap?=?stringHeader.Len ?return?b }
在程序必須保留一個單獨(dú)的、正確類型的指向底層數(shù)據(jù)的指針。
在性能方面,若只是期望單純的轉(zhuǎn)換,對容量(cap)等字段值不敏感,也可以使用以下方式:
func?string2bytes2(s?string)?[]byte?{ ?return?*(*[]byte)(unsafe.Pointer(&s)) }
性能對比:
string2bytes1-1000-4???3.746?ns/op??0?allocs/op string2bytes1-1000-4???3.713?ns/op??0?allocs/op string2bytes1-1000-4???3.969?ns/op??0?allocs/op string2bytes2-1000-4???2.445?ns/op??0?allocs/op string2bytes2-1000-4???2.451?ns/op??0?allocs/op string2bytes2-1000-4???2.455?ns/op??0?allocs/op
會相當(dāng)標(biāo)準(zhǔn)的轉(zhuǎn)換性能會稍快一些,這種強(qiáng)轉(zhuǎn)也會導(dǎo)致一個小問題。
代碼如下:
func?main()?{ ?s?:=?"腦子進(jìn)煎魚了" ?v?:=?string2bytes2(s) ?println(len(v),?cap(v)) } func?string2bytes2(s?string)?[]byte?{ ?return?*(*[]byte)(unsafe.Pointer(&s)) }
輸出結(jié)果:
18 824633927632
這種強(qiáng)轉(zhuǎn)其會導(dǎo)致 byte 的切片容量非常大,需要特別注意。一般還是推薦使用標(biāo)準(zhǔn)的 SliceHeader、StringHeader 方式就好了,也便于后來的維護(hù)者理解。
總結(jié)
在這篇文章中,我們介紹了字符串(string)和切片(slice)的兩個運(yùn)行時表現(xiàn),分別是 StringHeader 和 SliceHeader。
同時了解到其運(yùn)行時表現(xiàn)后,我們還針對其兩者的地址指向,常見坑進(jìn)行了說明。
最后我們進(jìn)一步深入,面向 0 拷貝轉(zhuǎn)換的場景進(jìn)行了介紹和性能分析。
參考
- Go語言slice的本質(zhì)-SliceHeader
- 數(shù)組、字符串和切片
- 零拷貝實(shí)現(xiàn)string 和bytes的轉(zhuǎn)換疑問
以上就是Go結(jié)構(gòu)體SliceHeader及StringHeader作用詳解的詳細(xì)內(nèi)容,更多關(guān)于Go結(jié)構(gòu)體SliceHeader StringHeader的資料請關(guān)注本站其它相關(guān)文章!
版權(quán)聲明:本站文章來源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有,歡迎引用、轉(zhuǎn)載,請保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站,禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像,否則將依法追究法律責(zé)任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來,僅供學(xué)習(xí)參考,不代表本站立場,如有內(nèi)容涉嫌侵權(quán),請聯(lián)系alex-e#qq.com處理。