緩存io
1. java io 緩沖流疑問
是的。io 的緩存,可以實現批量數據的處理。
假如現在使用io讀取,不使用緩沖,意味著每獲取一個位元組或字元,都需要將其保存起來。比如string.append(c);如果1000個字元,那麼我就需要調用1000次append方法。如果是批量獲取那麼就減少了昂貴的函數之間的調用。
io。其實已經很老了。那麼有人為了解決這個問題。就出現了nio,io大家都知道是面向流編程,nio就是面向緩沖區.
面向緩存區還有個優點就是充分體現了緩沖的性質。想個問題。現在你要喝水,緩沖區是個水桶,原來沒有水桶,你需要去河裡喝水,你就只能人跑過去直接喝水了。在這期間往返是不能動的。現在緩沖區的出現,也就是水桶來了,有個人專門負責給你打水。你每天只要有空的時候去水桶里喝水就行了。
io是同步阻塞,nio是同步非阻塞,也就是這個意思
2. 硬碟I/O緩存設置
4000-8000 不會就0 自動配置
3. 在linux下關於C語言IO緩沖問題
程序1 和 程序2 區別就是如果是人輸入數據 就會多一個換行符
剛查了下資料
printf的緩存是屬於行緩存的,
「」由於printf函數是行緩沖的(因為它要往終端輸出數據),而且要列印的字元串不帶換行符,因此在它沒有遇到換行符或者沒有填滿緩沖區之前不會進行實際的IO操作「」
所以程序1 遇到人工輸入的換行符 就會sleep 然後
刷新緩存 輸出緩存的數據
4. Javaio緩沖區為什麼不直接開辟大空間
Javaio緩沖區不直接開辟大空間原因:有效地管理系統資源,方便用戶使用的程序集合。(操作系統是加在裸機上的第一層軟體,是用戶與計算機的介面)。
當BufferedReader在讀取文本文件時,會先盡量從文件中讀入字元數據並置入緩沖區,如果緩沖區數據不足,才會再從文件中讀取。這里的緩沖區應該是在硬碟中。
使用BufferedWriter時,寫入的數據並不會先輸出到目的地,而是先存儲至緩沖區中。如果緩沖區中的數據滿了,才會一次對目的地進行寫出。這里的緩存區應該在內存中。
原理:
Java把這些不同來源和目標的數據都統一抽象為數據流。Java語言的輸入輸出功能是十分強大而靈活的,美中不足的是看上去輸入輸出的代碼並不是很簡潔,因為你往往需要包裝許多不同的對象。
在Java類庫中,IO部分的內容是很龐大的,因為它涉及的領域很廣泛:標准輸入輸出,文件的操作,網路上的數據流,字元串流,對象流,zip文件流。
5. I/O 表示什麼其作用是什麼
如下:
I/O是 input/output的縮寫,即輸入輸出埠。每個設備都會有一個專用的I/O地址,用來處理自己的輸入輸出信息。
CPU與外部設備、存儲器的連接和數據交換都需要通過介面設備來實現,前者被稱為I/O介面,而後者則被稱為存儲器介面。
IO提高緩存:
衡量性能的幾個指標的計算中我們可以看到一個15k轉速的磁碟在隨機讀寫訪問的情況下IOPS竟然只有140左右,但在實際應用中我們卻能看到很多標有5000IOPS甚至更高的存儲系統,有這么大IOPS的存儲系統怎麼來的呢。
這就要歸結於各種存儲技術的使用了,在這些存儲技術中使用最廣的就是高速緩存(Cache)和磁碟冗餘陣列(RAID)了,本文就將探討緩存和磁碟陣列提高存儲IO性能的方法。
6. io操作中,通常使用什麼方法來強制清空緩存區
通過io流的flush函數進行IO緩沖區清空
在IO流中的字元流的使用時,會接觸到緩沖區這樣一個概念,什麼是緩沖區呢?
實際上它就是一個臨時的儲存室,會暫時的將一些數據放在裡面,當緩沖區的數據存滿之後,他就會向下一級發送數據(清空緩沖區)。
此時,如果緩沖區接受的文件並沒有裝滿,但是需要傳輸的數據已經發送完畢
7. 緩存是什麼意思
緩存就是數據交換的緩沖區(稱作Cache),是存貯數據(使用頻繁的數據)的臨時地方。當用戶查詢數據,首先在緩存中尋找,如果找到了則直接執行。如果找不到,則去資料庫中查找。
緩存的本質就是用空間換時間,犧牲數據的實時性,以伺服器內存中的數據暫時代替從資料庫讀取最新的數據,減少資料庫IO,減輕伺服器壓力,減少網路延遲,加快頁面打開速度。
工作原理
緩存的工作原理是當CPU要讀取一個數據時,首先從CPU緩存中查找,找到就立即讀取並送給CPU處理。
沒有找到,就從速率相對較慢的內存中讀取並送給CPU處理,同時把這個數據所在的數據塊調入緩存中,可以使得以後對整塊數據的讀取都從緩存中進行,不必再調用內存。
8. IO函數內部也有緩存嗎系統不是為打開的文件分配了一個緩存了嗎
肯定有緩存,flush函數就是刷新緩存寫入磁碟
9. IO的提高緩存
衡量性能的幾個指標的計算中我們可以看到一個15k轉速的磁碟在隨機讀寫訪問的情況下IOPS竟然只有140左右,但在實際應用中我們卻能看到很多標有5000IOPS甚至更高的存儲系統,有這么大IOPS的存儲系統怎麼來的呢?這就要歸結於各種存儲技術的使用了,在這些存儲技術中使用最廣的就是高速緩存(Cache)和磁碟冗餘陣列(RAID)了,本文就將探討緩存和磁碟陣列提高存儲IO性能的方法。 在當下的各種存儲產品中,按照速度從快到慢應該就是內存>快閃記憶體>磁碟>磁帶了,然而速度越快也就意味著價格越高,快閃記憶體雖然說是發展勢頭很好,磁碟的速度無疑是計算機系統中最大的瓶頸了,所以在必須使用磁碟而又想提高性能的情況下,人們想出了在磁碟中嵌入一塊高速的內存用來保存經常訪問的數據從而提高讀寫效率的方法來折中的解決,這塊嵌入的內存就被稱為高速緩存。
說到緩存,到操作系統層,再到磁碟控制器,還有CPU內部,單個磁碟的內部也都存在緩存,所有這些緩存存在的目的都是相同的,就是提高系統執行的效率。
當然在這里我們只提跟IO性能相關的緩存,與IO性能直接相關的幾個緩存分別是文件系統緩存(File SySTem Cache)、磁碟控制器緩存(Disk CONtroller Cache)和磁碟緩存(Disk Cache,也稱為Disk Buffer),不過當在計算一個磁碟系統性能的時候文件系統緩存也是不會考慮在內的,我們重點考察的就是磁碟控制器緩存和磁碟緩存。
不管是控制器緩存還是磁碟緩存,他們所起的作用主要是分為三部分:緩存數據、預讀(Read-ahead)和回寫(Write-back)。
緩存數據
首先是系統讀取過的數據會被緩存在高速緩存中,這樣下次再次需要讀取相同的數據的時候就不用在訪問磁碟,直接從緩存中取數據就可以了。當然使用過的數據也不可能在緩存中永久保留的,緩存的數據一般那是採取LRU演算法來進行管理,目的是將長時間不用的數據清除出緩存,那些經常被訪問的卻能一直保留在緩存中,直到緩存被清空。
預讀
預讀是指採用預讀演算法在沒有系統的IO請求的時候事先將數據從磁碟中讀入到緩存中,然後在系統發出讀IO請求的時候,就會實現去檢查看看緩存裡面是否存在要讀取的數據,如果存在(即命中)的話就直接將結果返回,這時候的磁碟不再需要定址、旋轉等待、讀取數據這一序列的操作了,這樣是能節省很多時間的;如果沒有命中則再發出真正的讀取磁碟的命令去取所需要的數據。
緩存的命中率跟緩存的大小有很大的關系,理論上是緩存越大的話,所能緩存的數據也就越多,這樣命中率也自然越高,當然緩存不可能太大,畢竟成本在那兒呢。如果一個容量很大的存儲系統配備了一個很小的讀緩存的話,這時候問題會比較大的,因為小緩存緩存的數據量非常小,相比整個存儲系統來說比例非常低,這樣隨機讀取(資料庫系統的大多數情況)的時候命中率也自然就很低,這樣的緩存不但不能提高效率(因為絕大部分讀IO都還要讀取磁碟),反而會因為每次去匹配緩存而浪費時間。
執行讀IO操作是讀取數據存在於緩存中的數量與全部要讀取數據的比值稱為緩存命中率(Read Cache Hit Radio),假設一個存儲系統在不使用緩存的情況下隨機小IO讀取能達到150IOPS,而它的緩存能提供10%的緩存命中率的話,那麼實際上它的IOPS可以達到150/(1-10%)=166。
回寫
要先說一下,用於回寫功能的那部分緩存被稱為寫緩存(Write Cache)。在一套寫緩存打開的存儲中,操作系統所發出的一系列寫IO命令並不會被挨個的執行,這些寫IO的命令會先寫入緩存中,然後再一次性的將緩存中的修改推到磁碟中,這就相當於將那些相同的多個IO合並成一個,多個連續操作的小IO合並成一個大的IO,還有就是將多個隨機的寫IO變成一組連續的寫IO,這樣就能減少磁碟定址等操作所消耗的時間,大大的提高磁碟寫入的效率。
讀緩存雖然對效率提高是很明顯的,但是它所帶來的問題也比較嚴重,因為緩存和普通內存一樣,掉電以後數據會全部丟失,當操作系統發出的寫IO命令寫入到緩存中後即被認為是寫入成功,而實際上數據是沒有被真正寫入磁碟的,此時如果掉電,緩存中的數據就會永遠的丟失了,這個對應用來說是災難性的,目前解決這個問題最好的方法就是給緩存配備電池了,保證存儲掉電之後緩存數據能如數保存下來。
和讀一樣,寫緩存也存在一個寫緩存命中率(Write Cache Hit Radio),不過和讀緩存命中情況不一樣的是,盡管緩存命中,也不能將實際的IO操作免掉,只是被合並了而已。
控制器緩存和磁碟緩存除了上面的作用之外還承當著其他的作用,比如磁碟緩存有保存IO命令隊列的功能,單個的磁碟一次只能處理一個IO命令,但卻能接收多個IO命令,這些進入到磁碟而未被處理的命令就保存在緩存中的IO隊列中。
RAID(Rendant ArrayOf Inexpensive Disks)
如果你是一位資料庫管理員或者經常接觸伺服器,那對RAID應該很熟悉了,作為最廉價的存儲解決方案,RAID早已在伺服器存儲中得到了普及。在RAID的各個級別中,應當以RAID10和RAID5(不過RAID5已經基本走到頭了,RAID6正在崛起中,看看這里了解下原因)應用最廣了。下面將就RAID0,RAID1,RAID5,RAID6,RAID10這幾種級別的RAID展開說一下磁碟陣列對於磁碟性能的影響,當然在閱讀下面的內容之前你必須對各個級別的RAID的結構和工作原理要熟悉才行,這樣才不至於滿頭霧水,推薦查看wikipedia上面的如下條目:RAID,Standard RAID levels,Nested RAID levels。 RAID0將數據條帶化(striping)將連續的數據分散在多個磁碟上進行存取,系統發出的IO命令(不管讀IO和寫IO都一樣)就可以在磁碟上被並行的執行,每個磁碟單獨執行自己的那一部分請求,這樣的並行的IO操作能大大的增強整個存儲系統的性能。假設一個RAID0陣列有n(n>=2)個磁碟組成,每個磁碟的隨機讀寫的IO能力都達到140的話,那麼整個磁碟陣列的IO能力將是140*n。同時如果在陣列匯流排的傳輸能力允許的話RAID0的吞吐率也將是單個磁碟的n倍。
其他RAID區域
· RAID1鏡像磁碟,使用2塊硬碟,一般做系統盤的鏡像,讀IO為一塊硬碟的IO,寫IO為2塊硬碟的IO。
RAID10既能增加IO的讀寫性能又能實現數據的冗餘,使用盤的數量為2的倍數且要大於等於4,且硬碟空間相同,這樣的缺點是要實現IO擴展就必須增加相應的硬碟數量,實現同樣的性能硬碟成本要成倍增長。允許不同硬碟數據的任何一塊丟失。
RAID3拿出單獨一塊盤做奇偶校驗盤,做到數據的冗餘
這種情況下允許一塊硬碟損壞。由於磁碟的任何數據發生改變都會重新對校驗盤進行改寫,所以過多的寫操作會成為整個系統的瓶頸,此種RAID級別只能用於對讀請求相對較高,寫請求不多的環境。RAID3已基本淘汰,一般用RAID5技術替代。
10. 求教無緩沖 IO 與緩沖 IO 的區別~
fopen與open的區別- -
1.緩沖文件系統
緩沖文件系統的特點是:在內存開辟一個「緩沖區」,為程序中的每一個文件使用,當執行讀文件的操作時,從磁碟文件將數據先讀入內存「緩沖區」,裝滿後再從內存「緩沖區」依此讀入接收的變數。執行寫文件的操作時,先將數據寫入內存「緩沖區」,待內存「緩沖區」裝滿後再寫入文件。由此可以看出,內存「緩沖區」的大小,影響著實際操作外存的次數,內存「緩沖區」越大,則操作外存的次數就少,執行速度就快、效率高。一般來說,文件「緩沖區」的大小隨機器而定。
fopen, fclose, fread, fwrite, fgetc, fgets, fputc, fputs, freopen, fseek, ftell, rewind等
2.非緩沖文件系統
緩沖文件系統是藉助文件結構體指針來對文件進行管理,通過文件指針來對文件進行訪問,既可以讀寫字元、字元串、格式化數據,也可以讀寫二進制數據。非緩沖文件系統依賴於操作系統,通過操作系統的功能對文件進行讀寫,是系統級的輸入輸出,它不設文件結構體指針,但效率高、速度快,由於ANSI標准不再包括非緩沖文件系統,因此建議大家最好不要選擇它。
open, close, read, write, getc, getchar, putc, putchar 等