大資料庫備份
1. 大資料庫如何備份
大資料庫備份直接用工具多備份搞定,海量文件,上T數據都不是事
2. mysql大資料庫備份什麼軟體好用
1.mysqlmp:最早,也是最成熟的邏輯備份工具,是 MySQL 原生的用來備份整個資料庫實例、單個資料庫、單張表的邏輯備份工具, 上手簡單,學習成本幾乎為 0。備份簡單,恢復也簡單。
比如導出單個資料庫 ytt: mysqlmp ytt > /tmp/ytt.sql;
恢復也非常簡單:mysql < /tmp/ytt.sql
缺點是備份速度慢。在整個備份過程中,是單線程運行;備份出來的數據集要恢復的話同樣也是單線程運行,恢復速度也慢。除非對同一時刻的所有表單獨備份出來,自己寫額外腳本進行多線程恢復。
2.mysqlpump:MySQL 5.7 GA 後推出的 mysqlmp工具的增強版。可以對同一個數據集多個線程並發備份,備份速度很快。
其他缺點和 mysqlmp 一樣。
3.MySQL Shell UTIL對象附帶的備份工具:隨 MySQL 8.0.21 最新版本捆綁發布,自帶多線程備份以及多線程恢復功能, 可以直接替代 mysqlmp/mysqlpump。
mp_instance/mpInstance 用來多線程備份 MySQL 整個單機實例
mp_schemas/mpSchemas 用來多線程備份 MySQL 單個資料庫
load_mp/loadDump 用來多線程恢復之前兩個工具導出的數據集文件
MySQL Shell UTIL 備份恢復工具具備如下特性:
2.數據集分塊導出,每塊 32M
3.默認導出存儲過程、存儲函數、觸發器、事件、用戶、視圖
4.默認 4 個線程導出
5.默認進度展示
6.默認字元集 utf8mb4
7.默認開啟一致性導出
8.默認表,視圖等定義導出為 SQL 語句
9.默認數據導出為 TSV 格式數據
3. 如果有一個100G大小的資料庫該如何做備份
100G 以上的庫,可以考慮用 xtranbackup 來做,備份速度明顯要比 mysqlmp 要快。一般是選擇一周一個全備,其餘每天進行增量備份,備份時間為業務低峰期。這是黑馬程序員老師的講解,希望能幫到你。
4. 如何備份資料庫
1、首先打開sql server管理系統工具,使用資料庫賬號登錄到數據管理系統。
5. 資料庫備份主要包括哪三種方式
應該是四種吧?
1、完全備份這是大多數人常用的方式,它可以備份整個資料庫,包含用戶表、系統表、索引、視圖和存儲過程等所有資料庫對象。但它需要花費更多的時間和空間,所以,一般推薦一周做一次完全備份。[1]2、事務日誌備份事務日誌是一個單獨的文件,它記錄資料庫的改變,備份的時候只需要復制自上次備份以來對資料庫所做的改變,所以只需要很少的時間。為了使資料庫具有魯棒性,推薦每小時甚至更頻繁的備份事務日誌。
3、差異備份也叫增量備份。它是只備份資料庫一部分的另一種方法,它不使用事務日誌,相反,它使用整個資料庫的一種新映象。它比最初的完全備份小,因為它只包含自上次完全備份以來所改變的資料庫。它的優點是存儲和恢復速度快。推薦每天做一次差異備份。
4、文件備份資料庫可以由硬碟上的許多文件構成。如果這個資料庫非常大,並且一個晚上也不能將它備份完,那麼可以使用文件備份每晚備份資料庫的一部分。由於一般情況下資料庫不會大到必須使用多個文件存儲,所以這種備份不是很常用。
6. 超大Oracle資料庫備份,沒有足夠的磁碟空間,怎麼備份
超大Oracle資料庫備份,沒有足夠的磁碟空間,怎麼備份?
那就不全部備份,而是分別備份。也就是數據分級。都是增量備份啊。如果是全部備份,本來空間就不夠,怎麼全部備份。
比如最重要的數據,每天備份,然後保留一個月。而且是在線備份。比如你的數據有10T,那麼最重要的數據不會超過10G,也就是千分之一。就算是千分之2,也就是20G,一個月大約600G,這點空間還是有的,大數量一般展示層面也就這個比例。
7. mysql資料庫太大了怎麼備份
命令:mysqlhot
這個命令會在拷貝文件之前會把表鎖住,並把數據同步到數據文件中,以避免拷貝到不完整的數據文件,是最安全快捷的備份方法。
命令的使用方法是:
mysqlhot -u root -p<rootpass> db1 db2 … dbn <output_dir>
如果需要備份全部資料庫,可以加上–regexp=」.*」參數。
Mysqlhot命令可自動完成數據鎖定工作,備份時不用關閉伺服器。
它還可以刷新日誌,使備份文件和日誌文件的檢查點能保持同步。
8. 資料庫如何備份
1、首先運行SQL。
9. SQL如何備份大容量資料庫
資料庫備份介紹
1、備份位置
在SQL Server上,有多種備份位置可以選擇,如本地磁碟,網路磁碟,遠程地址,磁帶等。
各種備份位置均有自己的優點和缺點。
2、邏輯備份設備
在SQL Server上,可以通過創建邏輯備份設備來完成備份。使用邏輯備份設備的好處是,當變更備份地址時,不需要更改備份腳本,只需要更改邏輯備份設備的定義即可。
創建邏輯備份設備的腳本如下:
SQL code EXEC sp_addmpdevice @devtype=』disk』,@logicalname=』MYBackup』,@physicalname=』D:\backup\mydb.bak』
刪除備份設備的腳本:
SQL code Sp_dropdevice @logicalname=』MYBackup』
上述腳本只是刪除邏輯備份設備的定義,下述腳本將同時刪除備份文件:
SQL code Sp_dropdevice @logicalname=』MYBackup』,@devfile=』DELFILE』
使用邏輯備份設備的方法如下:
SQL code Backup database mydb to MYBackup
當然,還可在邏輯備份設備上指定過期時間等備份屬性,如:
SQL code Backup database mydb to MYBackup WITH EXPIREDATE=』13/01/2010』
或:
SQL code BACKUP DATABASE mydb to MYBackup WITH RETAINDAYS=7
3、備份集與存儲集
每一份備份包含於一個備份集,而一個備份集包含於一個存儲集。通過系統GUI進行備份時,SQL Server會自動指定備份集和存儲集,目的則是為了簡化管理。用T-SQL顯示指定則用如下語法:
SQL code BACKUP DATABASE mydb to MYBackup WITH RETAINDAYS=7,
NAME=』FULL』,
MEDIANAME=』ALLBackups』
NAMEs是指備份集名稱,MEDIANAME是指存儲集名稱。
4、全備份
不管恢復模式是哪一個,所有的備份都必須要有一個全備份,特別是日誌備份和差異備份,如果沒有全備份的話,將無法進行恢復。
簡單的全備份腳本如下所示,也可以通過維護計劃來指定全備份:
SQL code BACKUP DATABASE mydb to DISK=』D:\Backup\mydb.bak』
但需要注意的是,上述命令是將資料庫備份附加到當前的存在的文件上,如果不存在則創建它,並不會覆蓋原有文件。要覆蓋同名的備份文件,需要指定INIT參數。
SQL code BACKUP DATABASE mydb to DISK=』D:\Backup\mydb.bak』 WITH INIT
5、日誌備份
在完全恢復模式或者大容量日誌恢復模式下,日誌備份不僅僅是恢復的需要,同時也是手工管理事務日誌文件的一種方式。如果從不進行備份的話,在完全恢復模式或者大容量恢復模式下,事務日誌將會持續增長,直至消耗完所在磁碟。
日誌備份的腳本如下:
SQL code BACKUP LOG mydb_log TO DISK=』D:\backup\mydb.trn』
需要養成使用.trn為日誌備份的擴展名的習慣。
每個在資料庫上的動作都會被安排一個Log Sequence Number (LSN)。如果需要還原到指定的時間點,需要有持續的LSN記錄。也就是說,在完全恢復模式或者大容量日誌模式下,一個不被打斷的事務日誌備份鏈是恢復資料庫的基本要求。
6、差異備份
使用日誌備份來恢復時,無疑是一個很慢的過程,特別是上一個全備份的歷史比較悠久時。使用差異備份,便能縮短恢復時間。事實上,差異備份只是BACKUP DATABASE的一個選項,如下:
SQL code BACKUP DATABASE mydb TO DISK=』D:\backup\mydb.dif』 WITH DIFFERENTIAL,INIT
進行資料庫恢復時,先恢復資料庫全備份,再恢復資料庫差異備份,最後才恢復日誌備份。
差 異備份是與上一次全備份緊密相連的,不管期間有多少次日誌備份和差異備份,差異備份還是會從上一次全備開始備份。因此,經常會遇到這樣的一種情況,在生產 庫上需要臨時使用資料庫時,便用BACKUP DATABASE … TO DISK=』..』進行了一個備份,下一次的差異備份便會以這回的全備為准,如果過後把這個臨時全備刪除掉後,後面的差異備份就沒用了。
差異備份並不意味著磁碟空間肯定會少,這取決於實際情況。當期間大量操作發生時,差異備份還是會變得很大。
7、錯誤檢測
在備份過程中,備份進程會同時驗證數據,或者校驗不完整頁(torn page),或者驗證校驗和(checksum)。要使用該功能,需要激活該選項。
不完整頁檢測(Torn-page dection)僅僅檢查每一個頁看是否已經寫完成。如果發現一個頁只有部分被寫入,那麼就將其標記為torn。
校驗和驗證(checksum validation)是一種新的頁驗證機制。它會為每個頁添加一個值來表明該頁實際的大小。雖然看起來是個代價很高影響性能的操作,但事實上,它的效率非常高,與torn-page差不多。
備份進程在備份資料庫時,會通過比較在資料庫里的和隨著備份頁寫入硬碟時這兩個之間的值來進行驗證。但是,這個驗證並不是自動完成的,需要顯示指定,在GUI頁面上是個選項。如果通過T-SQL來備份的話,語句如下:
SQL code BACKUP DATABASE mydb TO DISK=』D:\data\mydb.bak』 WITH CHECKSUM
如果備份過程中,發現了錯誤,SQL Server會錯誤信息寫入MSDB上的SUSPECT_PAGE表裡面。同時,在默認情況下,備份行為會停止的(STOP_ON_ERROR),以便管理員排查錯誤。
但 備份過程中的校驗和驗證還有另外一個選項(CONTINUE_ON_ERROR),也就是說,如果發現錯誤,備份過程並不會中斷,而是將錯誤頁信息記錄在 MSDB..SUSPECT_PAGE上而已。需要注意的是,SUSPECT_PAGE表是有行限制的,最多隻能達到1000行,如果達到了的話,備份同 樣會失敗。
激活校驗和驗證的話,很明顯會影響備份的性能。但還是很有必要的。
8、安全備份
完全備份和日誌備份語句還支持使用密碼屬性,如:
SQL code BACKUP DATABASE mydb TO DISK=』D:\mydb.bak』 WITH PASSWORD=』mydb』
所指定的密碼是很容易破解的。因此,如果確實需要對某些備份數據進行加密的話,可以將備份存放於加密的文件系統或者其它安全的存儲設備上。
同時,SQL Server還提供了對真實列進行加密的功能。該加密功能是工業標准。
9、條帶備份
有些情況下,單獨一個硬碟無法存儲一個完整的資料庫備份時,可以將資料庫備份分成多個部分存儲在不同的磁碟上,這種備份方式成為條帶備份。使用條帶備份的優點很明確,就是能很好的利用空間,但如果某部分備份丟失或者損壞,那整個備份將無效。
其語句如下:
SQL code BACKUP DATABASE mydb TO DISK=』D:\mydb.bak』,
DISK=』E:\mydb.bak』 WITH INIT,CHECKSUM,
CONTINUE_ON_ERROR
上述D盤和E盤上的備份是不可分割的。
10、鏡像備份
與條帶備份在多個磁碟上保留同一份備份不同的是,鏡像備份是在不同磁碟上保留多份備份。其語句如下:
SQL code BACKUP DATABASE mydb TO DISK=』D:\mydb.bak』
MIRROR TO DISK=』E:\mydb.bak』
WITH INIT,CHECKSUM,CONTINUE_ON_ERROR
在實際情況下,對日誌備份採取鏡像備份方式會比較合適。
11、COPY-ONLY 備份
在差異備份里曾提到過,差異備份是建立在上一個全備份的基礎上的。因此如果在一個事先安排好的備份計劃里,如果在全備份和差異備份之間再進行了一次全備份後,其差異備份會被打斷,如果把臨時全備份刪除掉後,就產生了數據丟失。
在SQL SERVER 2005以後,SQL SERVER提供了一個選項-only.使用-only選項進行的全備份便不會打算原先的備份計劃,語句如下:
SQL code BACKUP DATABASE mydb TO DISK=』D:\mydb.bak』
WITH INIT,CHECKSUM,COPY_ONLY
三、文件和文件組備份
在SQL SERVER 7.0以後,SQL Server提供了filegroup的概念。文件組不僅僅提供了一個邏輯的存儲地址,還允許將不同的表和索引放在不同的文件組上來提高性能和減少備份時間。
在數據存儲概述上,提到了資料庫有三類數據文件,一般來說,資料庫至少需要兩個(.mdf和.ldf)或者更多的文件。SQL Server不僅允許有多個文件存在(.ldf),還允許多個文件組存在。
一個文件組可以有多個文件,每個文件需要仔細規劃好初始大小及增量。
1、默認文件組
在創建對象時,如果未明確指定文件組,那麼該對象將會存放在默認的文件組上。在默認情況下,默認的文件組是primary,但由於primary文件組不僅可以包含用戶數據,同時還存儲著資料庫結構等技術信息,因此一般建議添加額外的一個文件組,並將其指定為默認文件組。
SQL Server只能有一個默認的文件組。
修改默認文件組的語句如下:
SQL code ALTER DATABASE mydb MODIFY FILEGROUP mydb DEFAULT;
2、為對象指定文件組
當創建表或者索引時,不管是用戶還是系統都需要將表或索引放在某個文件組上。如果在創建表或索引時指定文件組,那麼表或索引將會存儲在指定的文件組上,而不是默認的文件組。
其指定語句如下:
SQL code CREATE TABLE test( [id] int,[notes] text) on mydbdata
也可以通過GUI創建表的頁面來指定文件組。
3、將對象遷移至指定文件組
如果需要變更對象的存儲位置,最簡單的方式則是通過GUI屬性頁面來進行修改通過該方法,可以直觀的看到對象的遷移過程。
同時也可以通過T-SQL來修改,例如:
SQL code ALTER TABLE test drop constraint PK_test WITH (MOVE TO DATA)
4、備份數據文件
備份數據文件同樣可以通過BACKUP DATABASE語句來實現。如下:
SQL code BACKUP DATABASE mydb FILE=』D:\Data\mydb.ndf』 TO DISK=』E:\Backup\mydbdata.bak』
上述語句相當於數據文件級別的全備份,與資料庫級別的備份類似,文件級別上的備份也有差異備份,當然前提是要有相對應的文件全備份。
差異備份的語句如下:
SQL code BACKUP DATABASE mydb FILE=』D:\Data\mydb.ndf』
WITH DIFFERENTIAL
TO DISK=』E:\Backup\mydbdata_dif.bak』
5、備份文件組
與單獨備份文件類似,也可以對文件組進行類似的備份操作。備份文件組的方式也有兩種,一種是通過GUI界面指定,一種則是通過T-SQL。
T-SQL的語句如下:
SQL code BACKUP DATABASE mydb FILEGROUP=』PRIMARY』 TO DISK=』E:\Backup\mydbpri.bak』
6、不完全備份(partial backup)
在文件組備份上,不完全備份其實相當於完全備份,可以通過指定關鍵字READ_WRITE_FILEGROUPS來實現不完全備份。
語句如下:
SQL code BACKUP DATABASE mydb READ_WRITE_FILEGROUPS TO DISK=』D:\mydb.bak』
那不完全備份到底是什麼意思呢?什麼時候需要不完全備份?如果對一個文件組設置了只讀,而這只讀的文件組又需要進行一次備份,這時,可以不用BACKUP DATABASE語句進行備份,只需要挑個時間停止實例,然後執行不完全備份。