當前位置:首頁 » 編程軟體 » 編譯中的拉鏈是什麼意思

編譯中的拉鏈是什麼意思

發布時間: 2024-12-20 02:54:43

『壹』 golang數據分析

(十一)golang內存分析

編寫過C語言程序的肯定知道通過malloc()方法動態申請內存,其中內存分配器使用的是glibc提供的ptmalloc2。除了glibc,業界比較出名的內存分配器有Google的tcmalloc和Facebook的jemalloc。二者在避免內存碎片和性能上均比glic有比較大的優勢,在多線程環境中效果更明顯。

Golang中也實現了內存分配器,原理與tcmalloc類似,簡單的說就是維護一塊大的全局內存,每個線程(Golang中為P)維護一塊小的私有內存,私有內存不足再從全局申請。另外,內存分配與GC(垃圾回收)關系密切,所以了解GC前有必要了解內存分配的原理。

為了方便自主管理內存,做法便是先向系統申請一塊內存,然後將內存切割成小塊,通過一定的內存分配演算法管理內存。以64位系統為例,Golang程序啟動時會向系統申請的內存如下圖所示:

預申請的內存劃分為spans、bitmap、arena三部分。其中arena即為所謂的堆區,應用中需要的內存從這里分配。其中spans和bitmap是為了管理arena區而存在的。

arena的大小為512G,為了方便管理把arena區域劃分成一個個的page,每個page為8KB,一共有512GB/8KB個頁;

spans區域存放span的指針,每個指針對應一個page,所以span區域的大小為(512GB/8KB)乘以指針大小8byte=512M

bitmap區域大小也是通過arena計算出來,不過主要用於GC。

span是用於管理arena頁的關鍵數據結構,每個span中包含1個或多個連續頁,為了滿足小對象分配,span中的一頁會劃分更小的粒度,而對於大對象比如超過頁大小,則通過多頁實現。

根據對象大小,劃分了一系列class,每個class都代表一個固定大小的對象,以及每個span的大小。如下表所示:

上表中每列含義如下:

class:classID,每個span結構中都有一個classID,表示該span可處理的對象類型

bytes/obj:該class代表對象的位元組數

bytes/span:每個span佔用堆的位元組數,也即頁數乘以頁大小

objects:每個span可分配的對象個數,也即(bytes/spans)/(bytes/obj)waste

bytes:每個span產生的內存碎片,也即(bytes/spans)%(bytes/obj)上表可見最大的對象是32K大小,超過32K大小的由特殊的class表示,該classID為0,每個class只包含一個對象。

span是內存管理的基本單位,每個span用於管理特定的class對象,跟據對象大小,span將一個或多個頁拆分成多個塊進行管理。src/runtime/mheap.go:mspan定義了其數據結構:

以class10為例,span和管理的內存如下圖所示:

spanclass為10,參照class表可得出npages=1,nelems=56,elemsize為144。其中startAddr是在span初始化時就指定了某個頁的地址。allocBits指向一個點陣圖,每位代表一個塊是否被分配,本例中有兩個塊已經被分配,其allocCount也為2。next和prev用於將多個span鏈接起來,這有利於管理多個span,接下來會進行說明。

有了管理內存的基本單位span,還要有個數據結構來管理span,這個數據結構叫mcentral,各線程需要內存時從mcentral管理的span中申請內存,為了避免多線程申請內存時不斷的加鎖,Golang為每個線程分配了span的緩存,這個緩存即是cache。src/runtime/mcache.go:mcache定義了cache的數據結構

alloc為mspan的指針數組,數組大小為class總數的2倍。數組中每個元素代表了一種class類型的span列表,每種class類型都有兩組span列表,第一組列表中所表示的對象中包含了指針,第二組列表中所表示的對象不含有指針,這么做是為了提高GC掃描性能,對於不包含指針的span列表,沒必要去掃描。根據對象是否包含指針,將對象分為noscan和scan兩類,其中noscan代表沒有指針,而scan則代表有指針,需要GC進行掃描。mcache和span的對應關系如下圖所示:

mchache在初始化時是沒有任何span的,在使用過程中會動態的從central中獲取並緩存下來,跟據使用情況,每種class的span個數也不相同。上圖所示,class0的span數比class1的要多,說明本線程中分配的小對象要多一些。

cache作為線程的私有資源為單個線程服務,而central則是全局資源,為多個線程服務,當某個線程內存不足時會向central申請,當某個線程釋放內存時又會回收進central。src/runtime/mcentral.go:mcentral定義了central數據結構:

lock:線程間互斥鎖,防止多線程讀寫沖突

spanclass:每個mcentral管理著一組有相同class的span列表

nonempty:指還有內存可用的span列表

empty:指沒有內存可用的span列表

nmalloc:指累計分配的對象個數線程從central獲取span步驟如下:

將span歸還步驟如下:

從mcentral數據結構可見,每個mcentral對象只管理特定的class規格的span。事實上每種class都會對應一個mcentral,這個mcentral的集合存放於mheap數據結構中。src/runtime/mheap.go:mheap定義了heap的數據結構:

lock:互斥鎖

spans:指向spans區域,用於映射span和page的關系

bitmap:bitmap的起始地址

arena_start:arena區域首地址

arena_used:當前arena已使用區域的最大地址

central:每種class對應的兩個mcentral

從數據結構可見,mheap管理著全部的內存,事實上Golang就是通過一個mheap類型的全局變數進行內存管理的。mheap內存管理示意圖如下:

系統預分配的內存分為spans、bitmap、arean三個區域,通過mheap管理起來。接下來看內存分配過程。

針對待分配對象的大小不同有不同的分配邏輯:

(0,16B)且不包含指針的對象:Tiny分配

(0,16B)包含指針的對象:正常分配

[16B,32KB]:正常分配

(32KB,-):大對象分配其中Tiny分配和大對象分配都屬於內存管理的優化范疇,這里暫時僅關注一般的分配方法。

以申請size為n的內存為例,分配步驟如下:

Golang內存分配是個相當復雜的過程,其中還摻雜了GC的處理,這里僅僅對其關鍵數據結構進行了說明,了解其原理而又不至於深陷實現細節。1、Golang程序啟動時申請一大塊內存並劃分成spans、bitmap、arena區域

2、arena區域按頁劃分成一個個小塊。

3、span管理一個或多個頁。

4、mcentral管理多個span供線程申請使用

5、mcache作為線程私有資源,資源來源於mcentral。

golang變數(二)——map和slice詳解

衍生類型,interface{},map,[],struct等

map類似於java的hashmap,python的dict,php的hasharray。

常規的for循環,可以用fork,v:=rangem{}.但在下面清空有一個坑注意:

著名的map[string]*struct副本問題

結果:

Go中不存在引用傳遞,所有的參數傳遞都是值傳遞,而map是等同於指針類型的,所以在把map變數傳遞給函數時,函數對map的修改,也會實質改變map的值。

slice類似於其他語言的數組(list,array),slice初始化和map一樣,這里不在重復

除了Pointer數組外,len表示使用長度,cap是總容量,make([]int,len,cap)可以預申請比較大的容量,這樣可以減少容量拓展的消耗,前提是要用到。

cap是計算切片容量,len是計算變數長度的,兩者不一樣。具體例子如下:

結果:

分析:cap是計算當前slice已分配的容量大小,採用的是預分配的夥伴演算法(當容量滿時,拓展分配一倍的容量)。

append是slice非常常用的函數,用於添加數據到slice中,但如果使用不好,會有下面的問題:

預期是[12345678910],[123456789101112],但實際結果是:

注意slice是值傳遞,修改一下:

輸出如下:

==只能用於判斷常規數據類型,無法使用用於slice和map判斷,用於判斷map和slice可以使用reflect.DeepEqual,這個函數用了遞歸來判斷每層的k,v是否一致。

當然還有其他方式,比如轉換成json,但小心有一些異常的bug,比如html編碼,具體這個json問題,待後面在分析。

Golangdatabase/sql源碼分析

Gorm是Go語言開發用的比較多的一個ORM。它的功能比較全:

但是這篇文章中並不會直接看Gorm的源碼,我們會先從database/sql分析。原因是Gorm也是基於這個包來封裝的一些功能。所以只有先了解了database/sql包才能更加好的理解Gorm源碼。

database/sql其實也是一個對於mysql驅動的上層封裝。」github.com/go-sql-driver/mysql」就是一個對於mysql的驅動,database/sql就是在這個基礎上做的基本封裝包含連接池的使用

下面這個是最基本的增刪改查操作

操作分下面幾個步驟:

因為Gorm的連接池就是使用database/sql包中的連接池,所以這里我們需要學習一下包里的連接池的源碼實現。其實所有連接池最重要的就是連接池對象、獲取函數、釋放函數下面來看一下database/sql中的連接池。

DB對象

獲取方法

釋放連接方法

連接池的實現有很多方法,在database/sql包中使用的是chan阻塞使用map記錄等待列表,等到有連接釋放的時候再把連接傳入等待列表中的chan不在阻塞返回連接。

之前我們看到的Redigo是使用一個chan來阻塞,然後釋放的時候放入空閑列表,在往這一個chan中傳入struct{}{},讓程序繼續獲取的時候再從空閑列表中獲取。並且使用的是鏈表的結構來存儲空閑列表。

database/sql是對於mysql驅動的封裝,然而Gorm則是對於database/sql的再次封裝。讓我們可以更加簡單的實現對於mysql資料庫的操作。

nodejsvsgolang哪個好

從大型工程的角度來說,go是完爆Node

的。性能,內存開銷,靜態類型,對非同步的處理,異常的處理,可調試性,系統穩定度,工具鏈的成熟度,等等,都是go占優。但是Node

在依賴處理方面更好,npm對依賴版本的管理(go的依賴不能指定版本,還需要藉助非官方的工具)非常優秀,另外Node社區的活躍度要比

go好,如果你想要快速做一個東西,npm上各種現成的包可以用。

Node在做網站這方面,尤其是需要直接面向用戶的http

伺服器這方面,有一個天然的優勢,那就是前後端的語言統一。一方面可以減少切換語言的腦力成本,提高開發者的效率,另一方面可以實現前後端共享模板,從而

實現首屏伺服器渲染,局部更新瀏覽器渲染的架構,提高首屏的載入速度。

如果你做的網站後台就是個簡單的CRUD應用,或者是做產品原型,或者你同時還想兼顧前端,Node會是更好的選擇;但如果你的後台很復雜,需要區分各種服務,搞數據分析,分布式集群等等,那絕對是選go。

最後,其實兩者結合起來用也是完全可以的,把Node作為面向用戶的大前端的一部分,專門負責頁面的生成,後端用go或者其他語言實現,前後端之間通過規范的數據介面通信。

六星教育:Python和go語言都很火,我要怎麼選?

python和go語言有區別:1、Python語法使用縮進來指示代碼塊;Go語法基於打開和關閉括弧;2、Python是基於面向對象編程的多範式語言;Go是基於並發編程範式的過程編程語言。3、Python是動態類型語言,Go是靜態類型語言。

Go語言(又稱Golang)是Google的RobertGriesemer,RobPike及KenThompson開發的一種靜態強類型、編譯型語言。Go語言語法與C相近,但功能上有:內存安全,GC(垃圾回收),結構形態以及CSP-style並發計算。

python是一種廣泛使用的具有動態語義的解釋型,面向對象的高級編程語言。

Python是一種面向對象的高級編程語言,具有集成的動態語義,主要用於Web和應用程序開發。它在快速應用程序開發領域極具吸引力,因為它提供動態類型和動態綁定選項。

Python是一種解釋型語言,這意味著用Python編寫的程序不需要事先編譯就可以運行,從而可以輕松地測試小段代碼並使用Python編寫的代碼更容易在平台之間移動。

python和go語言的區別:

1、語法

Python的語法使用縮進來指示代碼塊。Go的語法基於打開和關閉括弧。

2、範例

Python是一種基於面向對象編程的多範式,命令式和函數式編程語言。它堅持這樣一種觀點,即如果一種語言在某些情境中表現出某種特定的方式,理想情況下它應該在所有情境中都有相似的作用。但是,它又不是純粹的OOP語言,它不支持強封裝,這是OOP的主要原則之一。

Go是一種基於並發編程範式的過程編程語言,它與C具有表面相似性。實際上,Go更像是C的更新版本。

3、並發

Python沒有提供內置的並發機制,而Go有內置的並發機制。

4、類型化

Python是動態類型語言,而Go是一種靜態類型語言,它實際上有助於在編譯時捕獲錯誤,這可以進一步減少生產後期的嚴重錯誤。

5、安全性

Python是一種強類型語言,它是經過編譯的,因此增加了一層安全性。Go具有分配給每個變數的類型,因此,它提供了安全性。但是,如果發生任何錯誤,用戶需要自己運行整個代碼。

6、管理內存

Go允許程序員在很大程度上管理內存。而,Python中的內存管理完全自動化並由PythonVM管理;它不允許程序員對內存管理負責。

7、庫

與Go相比,Python提供的庫數量要大得多。然而,Go仍然是新的,並且還沒有取得很大進展。

8、速度:

Go的速度遠遠超過Python。

Python與Golang對比:

1、特點:

Golang

①靜態強類型、編譯型、並發型

靜態類型語言,但是有動態語言的感覺。(靜態類型的語言就是可以在編譯的時候檢查出來隱藏的大多數問題,動態語言的感覺就是有很多的包可以使用,寫起來的效率很高)

可直接編譯成機器碼,不依賴其他庫,glibc的版本有一定要求,部署就是扔一個文件上去就完成了。

語言層面支持並發,這個就是Go最大的特色,天生的支持並發。Go就是基因裡面支持的並發,可以充分地利用多核,很容易地使用並發。

②垃圾回收機制

內置runtime,支持垃圾回收,這屬於動態語言的特性之一吧,雖然目前來說GC(內存垃圾回收機制)不算完美,但是足以應付我們所能遇到的大多數情況,特別是Go1.1之後的GC。

③支持面向對象編程

有介面類型和實現類型的概念,但是用嵌入替代了繼承。

④豐富的標准庫

Go目前已經內置了大量的庫,特別是網路庫非常強大。

⑤內嵌C支持

Go裡面也可以直接包含C代碼,利用現有的豐富的C庫

Python

①解釋型語言

程序不需要在運行前編譯,在運行程序的時候才翻譯,專門的解釋器負責在每個語句執行的時候解釋程序代碼。這樣解釋型語言每執行一次就要翻譯一次,效率比較低。

②動態數據類型

支持重載運算符,也支持泛型設計。(運算符重載,就是對已有的運算符重新進行定義,賦予其另一種功能,以適應不同的數據類型。泛型設計就是定義的時候不需要指定類型,在客戶端使用的時候再去指定類型)

③完全面向對象的語言

函數,模塊,數字,字元串都是對象,在Python中,一切接對象

完全支持繼承,重載,多重繼承

④擁有強大的標准庫

Python語言的核心只包含數字,字元串,列表,元祖,字典,集合,文件等常見類型和函數,而由Python標准庫提供了系統管理,網路通信,文本處理,資料庫介面,圖形系統,XML處理等額外的功能。

⑤社區提供了大量第三方庫

Python社區提供了大量的第三方模塊,使用方式與標准庫類似。它們的功能覆蓋科學計算、人工智慧、機器學習、Web開發、資料庫介面、圖形系統多個領域。

2、應用

Python

①網路編程

web應用,網路爬蟲

②數據分析和機器學習

③自動化測試

④自動化運維

Golang

①伺服器編程

處理日誌、數據打包、虛擬機處理、文件系統等。

②分布式系統,資料庫代理器等

③網路編程

這一塊目前應用最廣,包括Web應用、API應用、下載應用。

④內存資料庫

如google開發的groupcache,couchbase的部分組件。

⑥雲平台

Go語言和Python學哪個好?

Python可以很好地集成到企業級應用中,可用於機器語言和AI應用。Go語言的特點表明它具備輕量級線程實現(Goroutine)、智能標准庫、強大的內置安全性,且可使用最簡語法進行編程。Go在大部分案例中領先,被認為是Python的有效替代方案。開發者在選擇編程語言時,應考慮開發項目的性質和規模,以及所需的技能組合。

放下個人偏見和喜好,從優點和功能的角度來評價兩種語言。不管選擇了哪種語言,Go和Python都在持續演進。盡管在大多數情況下Golang可能是更好的選擇,但Python語言也是不斷更新迭代的。以上就是本次分享的全部內容,如果你也想學習一門編程語言,可以考慮下六星教育,這里的課程體系,師資團隊以及售後服務,一定不會讓你失望!

golangmap源碼淺析

golang中map的實現結構為:哈希表+鏈表。其中鏈表,作用是當發生hash沖突時,拉鏈法生成的結點。

可以看到,[]bmap是一個hashtable,每一個bmap是我們常說的「桶」。經過hash函數計算出來相同的hash值,放到相同的桶中。一個bmap中可以存放8個元素,如果多出8個,則生成新的結點,尾接到隊尾。

以上是只是靜態文件src/runtime/map.go中的定義。實際上編譯期間會給它加料,動態地創建一個新的結構:

上圖就是bmap的內存模型,HOBHash指的就是tophash。注意到key和value是各自放在一起的,並不是key/value/key/value/...這樣的形式。源碼里說明這樣的好處是在某些情況下可以省略掉padding欄位,節省內存空間。

每個bmap設計成最多隻能放8個key-value對,如果有第9個key-value落入當前的bmap,那就需要再構建一個bmap,通過overflow指針連接起來。

map創建方法:

我們實際上是通過調用的makemap,來創建map的。實際工作只是初始化了hmap中的各種欄位,如:設置B的大小,設置hash種子hash0.

注意:

makemap返回是*hmap指針,即map是引用對象,對map的操作會影響到結構體內部。

使用方式

對應的是下面兩種方法

map的key的類型,實現了自己的hash方式。每種類型實現hash函數方式不一樣。

key經過哈希計算後得到hash值,共64個bit位。其中後B個bit位置,用來定位當前元素落在哪一個桶里,高8個bit為當前hash值的tophash。實際上定位key的過程是一個雙重循環的過程,外層循環遍歷所有的overflow,內層循環遍歷當前bmap中的8個元素。

舉例說明:如果當前B的值為5,那麼buckets的長度為2^5=32。假設有個key經過hash函數計算後,得到的hash結果為:

外層遍歷bucket中的鏈表

內層循環遍歷bmap中的8個cell

建議先不看此部分內容,看完後續修改map中元素-擴容操作後再回頭看此部分內容。

擴容前的數據:

等量擴容後的數據:

等量擴容後,查找方式和原本相同,不多做贅述。

兩倍擴容後的數據

兩倍擴容後,oldbuckets的元素,可能被分配成了兩部分。查找順序如下:

此處只分析mapaccess1,。mapaccess2相比mapaccess1多添加了是否找到的bool值,有興趣可自行看一下。

使用方式:

步驟如下:

擴容條件:

擴容的標識:h.oldbuckets!=nil

假設當前定位到了新的buckets的3號桶中,首先會判斷oldbuckets中的對應的桶有沒有被搬遷過。如果搬遷過了,不需要看原來的桶了,直接遍歷新的buckets的3號桶。

擴容前:

等量擴容結果

雙倍擴容會將oldbuckets上的元素分配到x,y兩個部key1B==0分配到x部分,key1B==1分配到y部分

注意:當前只對雙倍擴容描述,等量擴容只是重新填充了一下元素,相對位置沒有改變。

假設當前map的B==5,原本元素經過hash函數計算的hash值為:

因為雙倍擴容之後B=B+1,此時B==6。key1B==1,即當前元素rehash到高位,新b

『貳』 編譯原理中的拉鏈和回填到底什麼意思

回填技術是指控制語句中布爾表達式翻譯成四元式序列時,有的轉移地址不能在產生這些四元式的同時得知,需要在適當的時候回填這個地址。 拉鏈技術是指為了記錄需要回填地址的四元式,把需要回填E•ture的四元式拉成一條鏈,稱為「真鏈」;把需...

『叄』 編譯原理拉鏈回填技術是怎麼實現的啊

回填技術是指控制語句中布爾表達式翻譯成四元式序列時,有的轉移地址不能在產生這些四元式的同時得知,需要在適當的時候回填這個地址。
拉鏈技術是指為了記錄需要回填地址的四元式,把需要回填E•ture的四元式拉成一條鏈,稱為「真鏈」;把需要回填E•false的四元式拉成一條鏈,稱為「假」鏈;這就是拉鏈技術。

『肆』 如何比較兩個文件的異同

Beyond Compare這款軟體是專門為要對文件、文件夾進行對比、同步等操作的朋友而設計,當然只要是有比較需求的用戶,Beyond Compare軟體都可以滿足您的要求。在使用文件比較時有哪些小細節需要注意呢?本章教程來談談Beyond Compare文件比較的兩個小細節。

不同顏色顯示的文件代表什麼

文件顯示

比較文件顯示器採用顏色提示,來突出兩個基文件夾之間的差異。如下圖所示,文件右邊紅色表明它是不同的,中間的圖標欄顯示比較內容發現差異。如果一個文件被比較,內容比較結果可以覆蓋文件的顏色。如果內容比較確定為匹配的文件,上面的線將變成黑色的等號。


Beyond Compare瀏覽文件夾時使用配置檔瀏覽窗口圖例

以上就是Beyond Compare文件比較小細節的介紹,了解了文件比較的一些細節,這樣就不會犯那些低級的錯誤了,如果想要了解更多的關於Beyond Compare的使用技巧,可參考教程使用Beyond Compare如何生成文件比較報告。

熱點內容
24自動建群腳本 發布:2024-12-20 07:38:42 瀏覽:326
歐藍德哪個配置好看 發布:2024-12-20 07:32:01 瀏覽:734
五軸加工中心配置有哪些 發布:2024-12-20 07:25:01 瀏覽:825
雲伺服器ip訪問備案 發布:2024-12-20 07:20:43 瀏覽:44
ifnullphp 發布:2024-12-20 07:19:15 瀏覽:255
mplabc語言編譯器 發布:2024-12-20 07:05:07 瀏覽:403
通過php連接mysql 發布:2024-12-20 07:04:57 瀏覽:466
安卓消息怎麼看驗證碼 發布:2024-12-20 06:45:58 瀏覽:617
jsp編譯後在哪個目錄 發布:2024-12-20 06:45:57 瀏覽:950
解壓球模具廠 發布:2024-12-20 06:45:34 瀏覽:200