oracle存儲原理
『壹』 請教下Oracle資料庫中的存儲過程為什麼第二次執行速度就快了,有誰能說下Oracle資料庫存儲過程的原理。
存儲過程第二次執行速度變快?如果是同樣的數據,同樣的處理,很可能的是原因是oracle對之前的查詢做了緩存,所以造成整體的執行時間減少,所以會感覺變快了,這種緩存其他資料庫也有。
『貳』 簡述Oracle資料庫RAC真實應用集群的工作原理
Oracle集群
Oracle集群,最早稱作OPS(Oracle Parallel Server)出現在Oracle 7版本中,從Oracle 9i開始正式改稱為Oracle RAC,RAC即Real Application Clusters的簡寫,譯為「真正應用集群」;RAC 是Oracle新版資料庫中採用的一項新技術,也是Oracle資料庫支持網格計算環境的核心技術。 10g以前的OPS或者RAC都依賴於第三方集群軟體(Vendor Clusterware)方能正常工作,在10g版本中Oracle推出了Oracle Clusterware集群軟體以及ASM自動存儲管理技術,換而言之10g以後版本的RAC不再依賴於第三方的集群軟體(譬如IBM的HACMP,Veritas的VCS等),但必須安裝Oracle自己的Clusterware集群軟體。 Oracle RAC主要支持Oracle9i、10g、11g版本,可以可以支持24 x 7 有效的資料庫應用 系統,在低成本伺服器上構建高可用性資料庫系統,並且自由部署應用,無需修改代碼。 在Oracle RAC環境下,Oracle集成提供了集群軟體和存儲管理軟體,為用戶降低了應用成本。當應用規模需要擴充時,用戶可以按需擴展系統,以保證系統的性能。 參考編輯本段Oracle集群參考文檔
Oracle RAC一般也可構建於大型SMP主機,IBM的AIX系列伺服器往往是其中高端平台,Intel Linux往往作為其低端平台。當AIX UNIX用來運行Oracle RAC作為大型資料庫系統平台時,其集群系統構建、實施、運維、高可用設置,有其平台特點。可以參照《Oracle大型資料庫系統在AIX/UNIX上的實戰詳解》,該書以AIX UNIX平台為主線,以其他UNIX系統為參照,描述了資料庫系統Oracle 10g、Oracle 11g的RAC的構架方法和過程。在Linux平台,則《大話OracleRAC集群、高可用性、備份與恢復》有著很好的論述。
『叄』 Oracle資料庫基礎的內容簡介
本書深入淺出地介紹了Oracle9i資料庫系統管理與開發的基礎知識,包括4篇共16章,內容涉及0racle9i資料庫伺服器安裝與配置、資料庫的創建、資料庫管理與開發工具的應用、資料庫體系結構與存儲空間管理、資料庫對象及其管理、資料庫安全性管理、資料庫備份與恢復管理,以及sql語言、PL/SQL程序設計等。全書理論與實踐相結合,包含大量應用實例,強調實際操作技能的培訓。為適合教學需要,各章末均配有習題,並配有電子課件。本書面向Oracle資料庫的初學者和入門級用戶,可以使讀者從Oracle知識零起點開始逐漸全面地了解Oracle資料庫的基本原理和相關應用開發,為將來深入學習Oracle資料庫奠定基礎。本書適合作為高等院校計算機相關號業的教材,也適合作為Oracle資料庫的初學者,以及初、中級資料庫管理與開發人員的培訓教材。
『肆』 oracle資料庫原理是什麼,是C/S
資料庫除了系統表外,平時運用的就是對日誌和數據文件的存儲。SQLSERVER和sybase存儲方式是一樣的,是利用存儲設備對日誌和數據文件進行存儲,oracle是利用表空間對日誌和數據文件進行存儲;無論是sqlserver,Sybase還是oracle都有伺服器端和客戶端的區分,客戶端訪問伺服器端,需要伺服器端監聽服務的正確開啟,需要sqlnet.ora,listener.ora和tnsnames.ora的正確配置。舉個簡單的例子,如果一台oracle客戶端機器訪問oracle伺服器端,需要配置監聽,同樣在oracle客戶端上配置odbc,讓excel可以讀到oracle伺服器端的數據,也需要配置監聽服務,各種資料庫的伺服器端和客戶端的工作模式是一樣的。
『伍』 oracle的存儲過程 存儲機制
Oracle儲存過程是預編譯機制,編譯後的過程以後調用就不需要解析了,就直接執行,所以效率是比較高的。
『陸』 oracle資料庫的工作原理是什麼
不知道你現在oracle是什麼水平,資料庫原理什麼的書看過沒,假如你這些都沒問題,想深鑽一下oracle的內部運行機制,我建議你可以打開oracle的10046事件,然後仔細閱讀trace文件,這些文件里記錄了oracle所有運行的實際內容,包括如何分析SQL語句,如何解析問題等
『柒』 Oracle資料庫和Sql server資料庫各有什麼優缺點
1.Oracle跨平台,SQL
Server只能運行在Windows上,而Windows能夠安裝的硬體是有限的,如Sun的Sparc伺服器不能安裝Windows,一些大型機、小型機也只能裝UNIX,在這些高端機器上就只能跑Oracle了,這註定了Oracle就是高端資料庫,而SQL
Server呢,中低端。
2.Oracle真正實現了行級鎖,SQL
Server也宣稱實現了行級鎖,但你實際去試,如果不加索引,其實是不行的。
3.Oracle因為有多版本數據的技術,讀寫操作不會相互等待,雖然SQL
Server
2005學習Oracle增加了snapshot機制,從而也引進了多版本數據(MySQL也有多版本數據機制,不能說一定是學習Oracle),但是實際效果感覺就是2個版本的數據,隔離級別為read
committed時候,讀寫不再相互等待,但是把隔離設置為Serializable還是會產生讀寫相互等待。
4.Oracle的事務日誌歸檔相當方便,而SQL
Server要用事務日誌備份來實現,而且還要配置自動作業,啟動agent服務。
5.Oracle的數據字典豐富,使得DBA容易判斷資料庫的各種情況,雖然SQL
Server
2005學習了Oracle的數據字典的特點,但從數量及方便程度上還是相差太多。個人感覺這是Oracle最人性化的地方。
6.Oracle的PL/SQL比SQL
Server的T-SQL功能強大很多。
7.Oracle的觸發器比SQL
Server的種類多幾種。
8.oracle的備份恢復原理相當簡單明了,備份就在操作系統上拷貝數據文件好了,恢復呢,再拷貝回來,數據是舊的,不怕,應用重做日誌好了。SQLServer呢,雖然原理在本質上還是這些,但操作起來麻煩多了,麻煩到讓你體會不到其本質。
9.Oracle資料庫啟動可以有多個階段,使得DBA可以在不同的情況下,通過啟動到特定的階段解決一些特殊問題,而SQLServer只要服務一啟動,所有資料庫就都打開了。
10.SQLServer給人的感覺是簡單易用,但是我要說,如果你繼續向前走,就會發現SQLServer的體系結構相當復雜(注意我這里是說的復雜),大體還是沿襲的Sybase的體系結構,這種復雜結構,估計很難有根本性的改變,而Oracle呢,時間越長你越會覺得其體系結構嚴謹,雖然開始會感覺很難。我的一個比喻,SQLServer是傻瓜相機(就是那些一兩千的小數碼),Oracle是單反相機(40D,5D,D300),如果你是入門者,那用傻瓜相機好了,在各種環境下拍攝,基本都過得去,用單反,光圈、快門都要自己設定,反倒不如傻瓜相機的效果,如果你是高手了,那傻瓜相機就很難得心應手了。
11.Oracle的書籍一般都比較深,隨便一說就是一大批,EpertOracle、PracticalOracle8i、Cost-basedOracle,SQLServer呢,恐怕只有那套InsideSQLServer了,雖然SQLServer的書籍數量比Oracle的多的多(特別是在國內),但多數都是stepbystep的入門書。
12.對比SQL*Plus與sqlcmd(或2000的osql,6.5的isql),sqlcmd的功能是太簡陋,差得太多了。
13.SQLServer的最大優點就是和Windows結合緊密,易用,但是要注意事情都是兩面的,這些優點可能導致其致命的缺點,例如易用,使得搞SQLServer的人可以不求甚解,有時候不求甚解是沒問題的,但是有時候不求甚解可能會造成災難,特別是對搞資料庫的人來說。不好意思,本來要說SQLServer的優點呢,最後也成了缺點了。
『捌』 我想知道oracle的執行原理,哪位大俠可以解答
first,我也不是大俠,
只是畢業三年,和oracle 打了3年的交道了,每天工作在玩sql,有一些個人的理解:
第一個問題,怎麼說,表數據不是說在你insert的時候,他會有一個size欄位在size++的,像c++裡面的一些vector這種數據結構,查詢他的size的時候直接返回一個值就可以了。
這個就和人口普查一樣,你想知道一個縣的人口總數的速度,肯定要比知道一個市的慢,當然前提是縣人口比市人口少的情況。
第2個問題,分區表就是一個表,那麼結合你的問題,我們怎麼理解分區表呢,可以這么裡面,
某個表我給他 一個10個空間1、2、3……10,如果我不分區的話,我要查某個數據,那麼他可能在1-10任何一個空間裡面,我要找他就要 10個空間都找,但是如果是分區表的話,我知道這個數據的分區,那麼我就只需要在一個空間裡面找,1/10的搜索范圍,速度提升是不言而喻的。
第3個問題,這個是在我司,資料庫專家給我們培訓資料庫調優的時候學習到的知識。
怎麼說了,在正常情況下來說,有分區肯定先走分區,再走分區索引。
但是 如果有分區,沒有索引,而我又不知道這個數據的分區的話,最後還是全表查找我要找的數據。
如果有索引,那就是全分區索引查找,理論上來說,查找索引的速度是比直接查表的速度要快。那還有,如果有分區,但是索引是全表索引的話,那麼oracle 會根據分區的大小和索引的辨識度來判斷應該使用誰。
另外某些時候,有索引也不會走索引的。我舉個不走索引的例子,你就能理解了。
那就是一個表裡面只有2個數據的時候,查索引,找到數據的實際地址再來找數據,的速度和開銷都是沒有直接查數據的速度快,這個時候oracle就會選擇不走索引了。
還有一種情況就是讓你理解索引的辨識度,比如表裡面有10個數據,某個欄位有索引,但是他的值只有1和0,平均情況是5個0和5個1,先找索引找到5個1,的地址之後去表裡面把數據取出來。這個和直接查表的數據我就不比較了,比較極端的情況,9個1,1個0,我從索引裡面找到9個1的地址,在去取數據。還不如我直接從表裡面查,全表掃描快多了。當然也有happy一點的就是我要找0那可能取一個數據的時間+間接定址的時間要小於從10個數據裡面找一個的數據了。但是就太人品了。
講了這些,相信你有了一些理解也有了一個疑惑。
那麼接下來就解決這個疑惑,oracle 怎麼知道 應該 怎麼選。
oracle雖然他沒有在我們insert的時候進行size++的操作,但是他有一個dbmanage操作,就是表數據統計收集,執行那個命令,他就會對某個表的size,分區size索引的辨識等涉及到 對這個表的 sql 執行 設計到的執行計劃相關的數據信息進行收集。
這樣,當我們要查詢這個表的時候,oracle對sql進行解析的時候就會一邊解析一邊生成 執行計劃,
之前數據收集越准確,執行sql的時候解析生成的執行計劃就越准確。
所以當dba發現某個表用得久了,查詢速度啥的效率越來月低了,他就會使用命令重新分析這個表,收集信息,讓之前生成的不準確的執行計劃,更加准確。
對於 索引的辨識度,我進行一個猜測,已做拋磚引玉,
比如我收集到這個表 一共有100w數據,但是某個索引欄位是5位數的number意味著什麼,
最多最多,是1w個數字,每個數字有100條記錄,
如果有另外一個索引,他是6位數,那麼這個索引的精度一般來說會更高。
這些都是經驗之談+一些優化培訓+一些猜想理解。歡迎追問。
實際正想弄明白,可以多看dba的書籍,資料庫管理,還有oracle原理,實現原理等等,
甚至,可以看一些開源資料庫的源代碼,sqlite,mysql都是開源的。
『玖』 探求Oracle資料庫怎樣存儲圖片
商品圖片,用戶上傳的頭像,其他方面的圖片。目前業界存儲圖片有兩種做法:
1、 把圖片直接以二進制形式存儲在資料庫中
一般資料庫提供一個二進制欄位來存儲二進制數據。比如MySQL中有個blob欄位。Oracle資料庫中是blob或bfile類型
2、 圖片存儲在磁碟上,資料庫欄位中保存的是圖片的路徑。
一、圖片以二進制形式直接存儲在資料庫中
第一種存儲實現(php語言):
大體思路:
1、將讀取到的圖片用php程序轉化成二進制形式。再結合insert into 語句插入數據表中的blob類型欄位中去。
3、 從資料庫取出圖片展示的時候。則是直接發送圖片內容
4、
$row=mysql_fetch_object($result);
Header( "Content-type: image/gif");
echo $row->this_image;
實現代碼如下:
$PicturePath = 『/tmp/xxxjgjgj.jpg』;//假設這是上傳的圖片,php放在一個臨時文件夾。腳本執行完畢後自動刪除了。
$imgStream = fread(fopen($PicturePath, "r");
$blob_img = fread(fopen($imgStream, "r"), filesize($PicturePath));
$sql =」 INSERT INTO Images (this_image) VALUES ($blob_img)";
註:this_image就是數據表中一個blob欄位類型的欄位
================取出展示圖片代碼
$result=mysql_query("SELECT * FROM Images WHERE PicNum=$PicNum") or die("Cant perform Query");
$row=mysql_fetch_object($result);
Header( "Content-type: image/gif");
echo $row-> this_image;
總結:處理代碼感覺還真比較麻煩。其實,我從來沒用過在資料庫中以二進制存儲圖片的做法。我們用得更多的是存儲圖片的路徑,實際圖片是在磁碟上保存的(圖片二進制放到資料庫,把資料庫的負擔弄重了)。
據我了解,互聯網環境中,大訪問量,資料庫速度和性能方面很重要。一般在資料庫存儲圖片的做法比較少,更多的是將圖片路徑存儲在資料庫中,展示圖片的時候只需要連接磁碟路徑把圖片載入進來即可。因為圖片是屬於大欄位。一張圖片可能1m到幾m。
有個原則:圖片盡量不要存儲在資料庫中(是指不要二進制形式保存到欄位,而只保存圖片的路徑)。這樣的大欄位數據會加重資料庫的負擔,拖慢資料庫。在大並發訪問的情況下很重要。這是一個經驗。去看看dba對資料庫性能調優方面的分析都能得到這個答案的:就是圖片不要存儲在資料庫中。
就像這個規則一樣:文章分為標題、作者、添加時間、更新時間、文章內容、文章關鍵字
文章內容一般是比較長的。經常使用text欄位去存儲。文章的內容就屬於大欄位。一般文章內容可以拆分到單獨一個表中去。不要與文章信息存儲在一張表裡面。
我理解的原理是:mysql中一張表的數據是全部在一個數據文件中的。如果大欄位的數據也存儲在裡面。程序展示列表,比如文章列表。這個時候根本不需要展示文章內容的。但是仍然會影響速度,資料庫查找數據其實就是掃描那個數據文件,文件容量越小,速度就會越快(為什麼單表的容量在1g-2g的時候基本上要分表了)。拆分出去到一張單獨的表,就是單獨的文件了。我覺得,舉一反三,相互獨立,分離的思想不僅在系統開發中用到,在現實生活中經常存在的。相互混合,就會造成相互影響。小巧,簡潔是一種思想。
可以看看這篇翻譯的文章,
http//developer.51cto.com/art/201211/364472.htm
作者建議,三種東西永遠不要放到資料庫里,圖片,文件,二進制數據。作者的理由是,
對資料庫的讀/寫的速度永遠都趕不上文件系統處理的速度
資料庫備份變的巨大,越來越耗時間
對文件的訪問需要穿越你的應用層和資料庫層
把圖片縮略圖存到資料庫里?很好,那你就不能使用nginx或其它類型的輕量級伺服器來處理它們了。
給自己行個方便吧,在資料庫里只簡單的存放一個磁碟上你的文件的相對路徑,或者使用S3(備註:亞馬遜雲服務)或CDN之類的服務。
============================================================
關於mysql中的blob類型
bolb像int型那樣,分為blob、MEDIUMBLOB、LONGBLOB。其實就是從小到大,
blob 容量為64KB ,MEDIUMBLOB 容量為16M,LONGBLOB 容量為4G。
說實話,圖片用這樣子存儲用得還真少。使用php函數serialize進行序列化的值,我看到有人存入這個欄位中去。
php手冊:serialize返回字元串,此字元串包含了表示 value 的位元組流,可以存儲於任何地方。
mysql中blob欄位存儲圖片有個通信大小的設置:
圖片要傳輸給mysql存儲起來,那麼需要涉及到數據通信。mysql中有個配置是限制通信數據大小的。
my.conf配置文件中的max_allowed_packet,mysql默認的值是1M。
好多圖片尤其是原始圖可能不止1m。傳輸的數據(也就是圖片)超過這個設置大小。結果就會出錯
呵呵,限制挺多。感覺好麻煩。這樣子明顯佔用與mysql交互的通信時間嘛。延長響應時長了。我直接丟個圖片路徑」images/xxxx」給mysql。沒這么耗費資源。
其實所謂的性能,最關鍵是資料庫性能。因為隨著資料庫數據量增大,大部分時間耗費是在php,java等語言等待資料庫返回數據的過程中耗費時間。
網站訪問量大了後,具體的語言不是瓶頸,瓶頸都在資料庫。用c,,php,java,net都能操作mysql資料庫獲取數據。語言之間可能存在速度執行差異,但是其實這種差別已經很小了。至少我覺得,給予用戶感覺不到明顯。執行相差0.0001秒用戶感覺並沒有明顯的區別。可能說,大並發(很多用戶同時訪問)的時候,就會體現到差別了。其實我覺得,大並發訪問是資料庫瓶頸。等待資料庫給予數據。沒達到一定級別實在體現不了差別。資料庫數據量達到一定級別。語言相差0.001s會給予用戶體驗上的差別。我想,這也是為什麼php很適合做web開發了。解析頁面速度快(解釋型語言,不需要編譯)。可以用java來與資料庫打交道獲取數據。php不直接操作資料庫,而是調用java提供的數據介面,獲取數據,馬上展示在頁面中。這是利用了php的頁面執行速度快的一個優勢。
備份圖片數據和遷移數據方便
圖片以二進制形式存儲在資料庫,有一個好處:備份的時候方便。直接備份資料庫,圖片也跟著備份。換句話說,遷移環境的時候是方便。
而圖片放在磁碟上的話,資料庫中存儲的只是圖片路徑。備份資料庫後。磁碟上的圖片也要跟著備份才行。
不過我覺得,備份這個好處不是很明顯。圖片在磁碟上,備份磁碟也沒很大的事情。打包壓縮也可以了。互聯網環境畢竟與傳統的軟體開發不同,web開發比較關注網站速度。也就是資料庫的速度。就像互聯網開發中,有時候為了速度,用空間換時間的做法比較普遍,所以往往在設計資料庫的時候並不一定遵循傳統資料庫設計三大範式。
資料庫中保存的是圖片路徑的話,在web開發環境下,其實有個更好處,就是cdn加速。就是下面要進行總結的地方。
二、資料庫中保存圖片路徑
一般是這樣子的:
按照年月日生成路徑。具體是按照年月日還是按照年月去生成路徑,根據自己需要(不一定是按照日期去生成)。
理解為什麼要分散到多個文件夾中去才是關鍵,涉及到一個原理就明白了:
操作系統對單個目錄的文件數量是有限制的。當文件數量很多的時候。從目錄中獲取文件的速度就會越來越慢。所以為了保持速度,才要按照固定規則去分散到多個目錄中去。
圖片分散到磁碟路徑中去。資料庫欄位中保存的是類似於這樣子的」images/2012/09/25/ 1343287394783.jpg」
原來上傳的圖片文件名稱會重新命名保存,比如按照時間戳來生成,1343287394783. jpg。這樣子是為了避免文件名重復,多個人往同一個目錄上傳圖片的時候會出現。
反正用什麼樣的規則命名圖片,只要做到圖片名稱的唯一性即可。
比如網站的並發訪問量大,目錄的生成分得月細越好。比如精確到小時,一個小時都可以是一個文件夾。同時0.001秒有兩個用戶同時在上傳圖片(因為那麼就會往同一個小時文件夾裡面存圖片)。因為時間戳是精確到秒的。為了做到圖片名稱唯一性而不至於覆蓋,生成可以在在時間戳後面繼續加毫秒微秒等。總結的規律是,並發訪問量越大。就越精確就好了。
我現在還沒碰到需要這么精細的。概率比較少。
有個方面總結一下:為什麼保存的磁碟路徑,是」images/2012/09/25/1343287394783.jpg」,而不是」 /images/2012/09/25/ 1343287394783.jpg」(最前面帶有斜杠)
我的理解:
連那個斜杠都不要。這里也是做到方便以後系統擴展。
在頁面中需要取出圖片路徑展示圖片的時候,如果是相對路徑,則可以使用」./」+」images/2012/09/25/1343287394783.jpg」進行組裝。
如果需要單獨的域名(比如做cdn加速的時候)域名,img1.xxx.com,img2.xxx.com這樣的域名,
直接組裝 「http//img1.xxx.com/」+」images/2012/09/25/1343287394783.jpg」
當然資料庫是可以在前面加斜杠/保存起來,/images/2012/09/25/ 1343287394783.jpg
其實不方便統一。比如相對路徑載入圖片的時候,則是」.」+」 /images/2012/09/25/ 1343287394783.jpg」
可能我還沒體會到壞處,以後會遇到問題的。不過,遵循慣例不加斜杠」 images/2012/09/25/ 1343287394783.jpg」就對了。
涉及到一個新問題:為什麼大部分系統都不會域名保存進去,像這樣子http//wwwxxx.com/images/2012/09/25/1343287394783.jpg保存到資料庫中
曾經與一個上海的網友聊天,他也是習慣不會把域名保存資料庫中過去。但當時我們兩聊的時候,他對」域名保存進去的做法」與」不保存域名進去」也沒有一個明確利弊。他就覺得,沒有什麼明顯的區別啊。
了解的知識越多,越有利於我們做決定。可能就是一個」感覺區別不是很大」的影響下,去做一個決定,反而對後面是比較大的影響的。至少是增加自己的工作量了。
其實把域名保存進去,也不是什麼滔天大罪的事情。但凡是經驗豐富的開發人員都不會這樣子做。這是一個經驗積累出來的,所以上海那個網友也對此並沒有明顯的概念很正常,他說他不知道cdn方面的(當然覺得存個域名進去沒什麼大不了的)。需要了解cdn知識,什麼情況下會用到cdn知識。
雖然是做開發人員,不需要關注運維和伺服器之類的知識。不過了解一些就有利於理解了。
這里涉及到cdn加速。
關於cdn原理(就是內容分發網路)
cdn,我理解其本質就是為了解決距離遠產生的速度問題,使用就近的服務。
從中國請求美國一台伺服器上的圖片。一般比較慢,因為距離這么遠,網路傳輸是存在損耗的,距離越遠,傳輸的時間就越長。一般會看到瀏覽器左下角顯示:「已響應,正在傳輸數據..」。這不是伺服器本身問題了。實際上伺服器早就響應請求,把數據發給客戶端,但是網路問題,就一直在傳輸,沒傳完了。
在中國,是南北距離遠的問題。南北還會涉及到跨網,南方用戶使用電信居多,北方用戶網通居多。兩個線路需要跨越,會有時間延遲。北京到廣州的距離,如果直接請求
cdn加速就是適應這個需求產生的:現在不請求美國的伺服器。直接在中國安放節點(節點是比較籠統的詞語,可以理解成一台伺服器,也可以理解成一個機房,就是一個點嘛),請求距離近的節點。這樣子就不需要那麼遠的距離了。
記得以前在長沙的網站,團購以城市分站的形式。北京和長沙用的是同一套程序。伺服器在長沙。北京用戶訪問北京站的時候,實際上需要遠距離訪問長沙的伺服器。速度怎麼都快不起來。跟伺服器性能完全沒關系。當時不懂這些。不清楚怎麼折騰。看那本《前端優化技巧》,想辦法去做js代碼壓縮,瀏覽器緩存之類的。實際上瞎折騰。不是說這些前端優化不重要,哲學上有主次矛盾之分,瓶頸在哪裡就去突破哪裡。沒解決主要矛盾,問題並不會迎刃而解。當時也不是資料庫瓶頸。如果去優化資料庫。也不會明顯改善。就那點數據量。根本就達不到瓶頸。哪裡談得上主要矛盾。隨著後來去其他公司工作,接觸一些東西,類似不找瓶頸的優化例子發生在身邊好幾次了,先沒找到瓶頸就瞎去優化。我的同事可能是抱著多多益善的心態去做的,但主要矛盾(技術上說是瓶頸)沒找到,也沒改善。
當時如果沒想到是距離問題。也就不會想到cdn,當時其實我根本不知道cdn服務。我只知道,google這些網站肯定在中國部署的伺服器,要不然,中國用戶還去訪問美國的伺服器,那再好的伺服器都會速度慢的。
由於自己搭建cdn環境和機房的資金比較大(需要大量的伺服器),也需要人力維護。反正一般的公司弄不起,其實根本不劃算。淘寶以前用商用的cdn服務,後來商用的扛不住了,就搭建了自己的cdn網。我不知道新浪有沒有自己搭建,但其實我覺得跟淘寶的特點有關,店鋪很多,無論是商品還是交易記錄總計起來商品很多的圖片,圖片都是靜態的部分,cdn本來就是用來做靜態的(圖片,css,js等)請求分發用的。
我之前在網上看到一句話,cdn網路不是一般的公司玩得起的。
一般的公司自己搭建cdn網路成本高,所以就有商業的cdn提供付費租用服務,這是一項很成熟的業務,很多這樣的公司,大部分全國性的互聯網公司都會使用到cdn。
總結:cdn服務。對於靜態內容是非常適合的。所以像商品圖片,隨著訪問量大了後,租用cdn服務,只需要把圖片上傳到他們的伺服器上去。
例子:北京訪問長沙伺服器,距離太遠。我完全可以把商品圖片,放到北京的雲服務(我覺得現在提供給網站使用的雲存儲其實就是cdn,給網站提供分流和就近訪問)上去。這樣子北京用戶訪問的時候,實際上圖片就是就近獲取。不需要很長距離的傳輸。
自己用一個域名img.xxxcom來載入圖片。這個域名解析到北京的雲服務上去。
做法:資料庫中保存的是」 images/2012/09/25/1343287394783.jpg」,
這些圖片實際上不存儲在web伺服器上。上傳到北京的cdn伺服器上去。
我從資料庫取出來,直接」img.xxxcom/」+」 images/2012/09/25/1343287394783.jpg」
比如如果還有多個,就命名img1.xxcom、img2.xxcom
反正可以隨便。所以如果把域名直接保存進去。就顯得很麻煩了。遷移麻煩。
像淘寶,凡客,亞馬遜這些電子商務網站,我們看到請求的時候,下面往往會有
img1.xxx.cdncom
img2.xxx.cdncom
其實他們保存在資料庫中的是相對路徑。有些是不需要在資料庫保存的,縮略圖可以實時訪問的時候用程序生成(節省很多存儲空間)
實際上,把域名保存在資料庫中,非常不利於系統遷移。一旦換個域名的話,原來保存在資料庫中的是「wwwabc.om/images/xxxxxx「,因為路徑都在資料庫中寫死了。下回換個域名就用不了了。那個時候自己去寫sql語句批量更新欄位吧。
幾個術語:
icp,Internet Content Provider,也就是網路內容提供者。聯想到我們運營一個網站需要icp備案了嗎?你自己運營網站,你就是icp服務商
IDC(Internet Data Center),互聯網數據中心。IDC的概念,目前還沒有一個統一的標准。通俗點,就是提供機房託管(伺服器租用和託管),域名注冊之類的。
關於淘寶的圖片存儲
了解到:淘寶以前使用了商用的存儲。但是沒法滿足需求。據說,到2010年,淘寶網後端保存著286億張圖片。商用的系統系統沒法滿足需求的時候。他們就自己開發了一個tfs。大規模的小文件在磁碟上讀取,需要磁碟磁頭頻繁的尋道和換道。大並發情況下和大量的操作確實很麻煩。其實借鑒了當時google公布的gfs設計論文。google有相冊服務。為每個用戶提供上傳圖片存儲。
估計,google是率先實現這種小文件網路存儲系統的。
有個觀點比較好:對於老闆們而言,往往覺得,用錢能解決的都不算問題。但問題在於,你遇到的問題,別人都沒遇到過。那這個時候你就沒有經驗可以參考或者直接拿來使用。只有自己參考一些思路去創造技術了。
三、關於圖片進行雲存儲(cdn加速)
曾經看過這個,這個是比較適合創業公司的。價格相對便宜
https//wwwupyun.com/
介紹提到,我們在全國各地部署了55個CDN節點,500多台伺服器,電信,聯通,移動和教育網的4線帶寬。
其實,現在的雲存儲本質就是一個cdn服務商。你把靜態的圖片上傳到他提供的伺服器上去(ftp方式上傳或者api形式編寫程序上傳)。他為你做就近節點訪問。
計費方式:按照流量付費,99元購買100g。怎麼算流量。每次訪問文件的大小累加,比如一個1m的文件,訪問一次流量就加1m。
我個人理解,對於圖片的量不大的情況下,使用這種雲服務,好處不是節省存儲空間。你自己的伺服器100g的空間可能創業型公司都沒用完,不是什麼存儲空間不夠用,然後去用雲存儲。以前我對cdn比較模糊,有這么點理解,或者以為是分散網站web伺服器流壓力,伺服器分流。這些好處是有的。但是,只要理解了cdn產生的背景和解決的關鍵問題後,就會明白雲存儲關鍵好處在於:給用戶就近節點訪問,加速。
我覺得,如果不是出於這個考慮,或者達不到這樣的目的。用其他方案也完全可以替代。何必使用雲存儲呢?就是你無非有實力做到全國多個節點去部署服務,才需要租用cdn來幫你,畢竟他們是規模產生的效益,專注於解決這個領域。
『拾』 oracle資料庫的存儲原理是什麼
表空間,oracle邏緝存儲結構,表空間下包含一個或者多個物理的文件存儲。
所有用戶對象存放在表空間中。
與系統有關的對象存放在系統表空間中。