python與資料庫操作

A. python 進行 Oracle 與 Mysql 不同資料庫類型之間的數據 diff

項目工作中，可能會有 A 類型資料庫數據需要遷移到 B 類型的資料庫中的需求。 例如：假設現有一個資料庫的遷移需求，是將 Oracle 資料庫里的數據遷移至 Mysql 資料庫中。 常規的測試方法是人工去抽樣檢測數據進行 diff，因為數據量太大，人工不可能實現全量數據的肉眼 diff。

因此，為提高數據 diff 的正確性以及測試效率，編寫測試腳本進行全量遷移數據的 diff 是十分必要的。以下內容將會著重講解如何使信銀用 Python 編寫腳本來實現 Oracle 與 Mysql 這種不同類型資料庫之間數據的 diff。

1、連接oracle資料庫並獲取要提取的數據,並輸出列表裡面嵌入的字典類型的數據

2、連接mysql資料庫並獲滑閉宴取要提取的數據態態,並輸出列表裡面嵌入的字典類型的數據

3、Oracle 與 Mysql 資料庫進行 diff，直接調用上面兩個方法即可

4、執行後的輸出結果

B. 掌握Python 操作 MySQL 資料庫

本文Python 操作 MySQL 資料庫需要是使用到 PyMySQL 驅動

Python 操作 MySQL 前提是要安裝好 MySQL 資料庫並能正常連接使用，安裝步驟詳見下文。

注意： 安裝過程我們需要通過開啟管理員許可權來安裝，否則會由於許可權不足導致無法安裝。

首先需要先下載 MySQL 安裝包， 官網下載地址 下載對應版本即可,或直接在網上拉取並安裝：

許可權設置：

初始化 MySQL：

啟動 MySQL：

查看 MySQL 運行狀態：

Mysql安裝成功後，默認的root用戶密碼為空，你可以使用以下命令來創建root用戶的密碼：

登陸：

創建資料庫：

查看資料庫：

PyMySQL 模塊使用 pip命令進行安裝：

假如系統不支持 pip 命令，可以使用以下方式安裝：

pymysql .connect 函數：連接上資料庫

輸出結果顯示如下：表面資料庫連接成功

使用 pymysql 的 connect() 方法連接資料庫，connect 參數解釋如下：

conn.cursor():獲取游標

如果要操作資料庫，光連接數據是不夠的，咱們必須拿到操作資料庫的游標，才能進行後續的操作，游標的主要作用是用來接收資料庫操作後的返回結果，比如讀取數據、添加數據。通過獲取到的資料庫連接實例 conn 下的 cursor() 方法來創建游標，實例如下：

輸出結果為：

cursor 返回一個游標實例對象，其中包含了很多操作數據的方法，如執行sql語句，sql 執行命令： execute() 和 executemany()

execute(query,args=None):

executemany(query,args=None)：

其他游標對象如下表：

完整資料庫連接操作實例如下：

以上結果輸出為：

創建表代碼如下：

如下所示資料庫表創建成功：

插入數據實現代碼：

插入數據結果：

Python查詢Mysql使用 fetchone() 方法獲取單條數據, 使用fetchall() 方法獲取多條數據。

查詢數據代碼如下：

輸出結果：

DB API中定義了一些資料庫操作的錯誤及異常，下表列出了這些錯誤和異常:

本文給大家介紹 Python 如何連接 Mysql 進行數據的增刪改查操作，文章通過簡潔的代碼方式進行示例演示，給使用 Python 操作 Mysql 的工程師提供支撐。

C. 如何使用python對資料庫進行操作

你可以訪問Python資料庫介面及API查看詳細的支持資料庫列表。不同的資料庫你需要下載不同的DB API模塊，例如你需要訪問Oracle資料庫和Mysql數據，你需要下載Oracle和MySQL資料庫模塊。
DB-API 是一個規范. 它定義了一系列必須的對象和資料庫存取方式, 以便為各種各樣的底層資料庫系統和多種多樣的資料庫介面程序提供一致的訪問介面 。
Python的DB-API，為大多數的資料庫實現了介面，使用它連接各資料庫後，就可以用相同的方式操作各資料庫。
Python DB-API使用流程：

引入 API 模塊。
獲取與資料庫的連接。
執行SQL語句和存儲過程。
關閉資料庫連接。

什麼是MySQLdb?

MySQLdb 是用於Python鏈接Mysql資料庫的介面，它實現了 Python 資料庫 API 規范 V2.0，基於 MySQL C API 上建立的。

如何安裝MySQLdb?

為了用DB-API編寫MySQL腳本，必須確保已經安裝了MySQL。復制以下代碼，並執行：
#!/usr/bin/python
# -*- coding: UTF-8 -*-

import MySQLdb

如果執行後的輸出結果如下所示，意味著你沒有安裝 MySQLdb 模塊：
Traceback (most recent call last):
File "test.py", line 3, in <mole>
import MySQLdb
ImportError: No mole named MySQLdb

D. Python 操作 MySQL 的5種方式

1、MySQLdb

# 前置條件

sudo apt-get install python-dev libmysqlclient-dev # Ubuntu

sudo yum install python-devel mysql-devel # Red Hat / CentOS

# 安裝

pip install MySQL-python

Windows 直接通過下載 exe 文件安裝

#!/usr/bin/python

import MySQLdb

db = MySQLdb.connect(

host = "localhost", # 主機名

user = "root", # 用戶名

passwd = "pythontab.com", # 密碼

db = "testdb") # 資料庫名稱

# 查詢前，必須先獲取游標

cur = db.cursor()

# 執行的都是原生SQL語句

cur.execute("SELECT * FROM mytable")

for row in cur.fetchall():

print(row[0])

db.close()

2、mysqlclient

# Windows安裝

pip install some-package.whl

# linux 前置條件

sudo apt-get install python3-dev # debian / Ubuntu

sudo yum install python3-devel # Red Hat / CentOS

brew install mysql-connector-c # macOS (Homebrew)

pip install mysqlclient

3、PyMySQL

pip install PyMySQL

# 為了兼容mysqldb，只需要加入

pymysql.install_as_MySQLdb()

import pymysql

conn = pymysql.connect(host = 飗.0.0.1', user = 'root', passwd = "pythontab.com", db = 'testdb')

cur = conn.cursor()

cur.execute("SELECT Host,User FROM user")

for r in cur:

print(r)

cur.close()

conn.close()

4、peewee

pip install peewee

import peewee

from peewee import *

db = MySQLDatabase('testdb', user = 'root', passwd = 'pythontab.com')

class Book(peewee.Model):

author = peewee.CharField()

title = peewee.TextField()

class Meta:

database = db

Book.create_table()

book = Book(author = "pythontab", title = 'pythontab is good website')

book.save()

for book in Book.filter(author = "pythontab"):

print(book.title)

5、SQLAlchemy

from sqlalchemy import create_engine

from sqlalchemy.orm import sessionmaker

from sqlalchemy_declarative import Address, Base, Person

class Address(Base):

__tablename__ = 'address'

id = Column(Integer, primary_key = True)

street_name = Column(String(250))

engine = create_engine('sqlite:///sqlalchemy_example.db')

Base.metadata.bind = engine

DBSession = sessionmaker(bind = engine)

session = DBSession()

# Insert a Person in the person table

new_person = Person(name = 'new person')

session.add(new_person)

session.commit()