python導入sql
資料庫版本：Mysql
Python版本：3.5
之前用想用MySQLdb來著，後來發現py3.5版本不支持，現選擇pymysql
現在想將資料庫adidas中的表jd_comment讀取至python中的DataFrame，方便數據分析處理
import pymysql
import pandas as pd
import numpy as np
try:
conn = pymysql.connect(host='localhost', user='root', passwd='123456', db='adidas', charset='UTF8')
cur = conn.cursor()
cur.execute('select * from jd_comment')
rows = cur.fetchall() #獲取元組列表
cur.close()
conn.close()
except pymysql.Error as e:
print('Mysql Error %d: %s' %(e.args[0], e.args[1]))
cols = list(zip(*cur.description)) #可以看到列名(由元組構成)
#將資料庫中的數據保存為DataFrame(數據必須是字典或者數組，列表也必須是list或者數組)
adidas = pd.DataFrame(np.array(rows), columns=list(cols[0]))
『貳』 python pandas to_sql將excel數據導入到MySQL資料庫
其實吧， 一分鍾10W條數據不能算太快，10秒10W條還差不多。 可以研究一下線程+進程來處理， 或者協程+進程。處理速度肯定能讓你喊一聲「卧槽！」 哈哈。
言歸正傳， 你說的別的MySQL是不是遠程的，通過ip來連接的哈， 如果是的話那就可以理解了。 每次連接一次資料庫，都有一個網路延遲的，2台電腦之間距離越遠，這個延遲就越高，而每次導入數據的時間必須要加上這個延遲的時間的， 而本地測試的時候因為連接資料庫的時間延遲基本可以忽略不計，所以速度要比連接遠程資料庫要快很多很多。
最後， 如果想要解決這個問題的話，要麼把業務資料庫移到本地，去掉時間延遲。 要麼就用我上面說的線程+進程 或者 協程+進程的方式提高程序效率。如果無法把業務資料庫移到本地的話， 我非常推薦後者，成本也就是多學一點東西而已， 但以後可以省下非常多的時間， 效率為王嘛~
『叄』 怎麼用python導入SQL
訪問MYSQL的話使用，MySQLdb模塊
import os,sys
import MySQLdb
try:
conn=MySQLdb.connect(host='localhost',user='root',passwd="",db='YOURDB')
except Exception,e:
print e
sys.exit()
cursor=conn.cursor()
sql="insert into address(name,address) values (%s,%s)"
values=(("zhang","being"),("li","beijing"),("wang","beijing"))
try:
cursor.executemany(sql,values)#插入數條數據
except Exception , e:
print e
sql="select * from address"
cursor.execute(sql) #查詢
data=cursor.fetchall()
if data:
for x in data:
print x[0],x[1]
cursor.close()#關閉游標
conn.close()#關閉資料庫
『肆』 如何用python批量插入數據到mysql資料庫，用list
MySQL 的 Binlog 記錄著 MySQL 資料庫的所有變更信息，了解 Binlog 的結構可以幫助我們解析Binlog，甚至對 Binlog 進行一些修改，或者說是「篡改」，例如實現類似於 Oracle 的 flashback 的功能，恢復誤刪除的記錄，把 update 的記錄再還原回去等。本文將帶您探討一下這些神奇功能的實現，您會發現比您想像地要簡單得多。本文指的 Binlog 是 ROW 模式的 Binlog，這也是 MySQL 8 里的默認模式，STATEMENT 模式因為使用中有很多限制，現在用得越來越少了。
Binlog 由事件（event）組成，請注意是事件（event）不是事務（transaction），一個事務可以包含多個事件。事件描述對資料庫的修改內容。
現在我們已經了解了 Binlog 的結構，我們可以試著修改 Binlog 里的數據。例如前面舉例的 Binlog 刪除了一條記錄，我們可以試著把這條記錄恢復，Binlog 裡面有個刪除行（DELETE_ROWS_EVENT）的事件，就是這個事件刪除了記錄，這個事件和寫行（WRITE_ROWS_EVENT）的事件的數據結構是完全一樣的，只是刪除行事件的類型是 32，寫行事件的類型是 30，我們把對應的 Binlog 位置的謹汪 32 改成 30 即可把御晌瞎已經刪除的記錄再插入回去。從前面的 「show binlog events」 裡面可看到這個 DELETE_ROWS_EVENT 是從位置 378 開始的，這里的位置就是 Binlog 文件的實際位置（以位元組為單位）。從事件（event）的結構裡面可以看到 type_code 是在 event 的第 5 個位元組，我們寫個 Python 小程序把把第383（378+5=383）位元組改成 30 即可。當然您也可以用二進制編輯工具來改。
找出 Binlog 中的大事務
由於 ROW 模式的 Binlog 是每一個變更都記錄一條日誌，因此一個簡單的 SQL，在 Binlog 里可能會產生一個巨無霸的事務，例如一個不帶 where 的 update 或 delete 語句，修改了全表裡面的所有記錄，每條記錄都在 Binlog 裡面記錄一次，結果是一個巨大的事務記錄。這樣的大事務經常是產生麻煩的根源。我的一個客戶有一次向我抱怨，一個 Binlog 前滾，滾了兩天也沒有動靜，我把那個 Binlog 解析了一下，發現裡面有個事務產生了 1.4G 的鎮空記錄，修改了 66 萬條記錄！下面是一個簡單的找出 Binlog 中大事務的 Python 小程序，我們知道用 mysqlbinlog 解析的 Binlog，每個事務都是以 BEGIN 開頭，以 COMMIT 結束。我們找出 BENGIN 前面的 「# at」 的位置，檢查 COMMIT 後面的 「# at」 位置，這兩個位置相減即可計算出這個事務的大小，下面是這個 Python 程序的例子。
切割 Binlog 中的大事務
對於大的事務，MySQL 會把它分解成多個事件（注意一個是事務 TRANSACTION，另一個是事件 EVENT），事件的大小由參數 binlog-row-event-max-size 決定，這個參數默認是 8K。因此我們可以把若干個事件切割成一個單獨的略小的事務
ROW 模式下，即使我們只更新了一條記錄的其中某個欄位，也會記錄每個欄位變更前後的值，這個行為是 binlog_row_image 參數控制的，這個參數有 3 個值，默認為 FULL，也就是記錄列的所有修改，即使欄位沒有發生變更也會記錄。這樣我們就可以實現類似 Oracle 的 flashback 的功能，我個人估計 MySQL 未來的版本從可能會基於 Binlog 推出這樣的功能。
了解了 Binlog 的結構，再加上 Python 這把瑞士軍刀，我們還可以實現很多功能，例如我們可以統計哪個表被修改地最多？我們還可以把 Binlog 切割成一段一段的，然後再重組，可以靈活地進行 MySQL 資料庫的修改和遷移等工作。
『伍』 python中的sql參數化，想向sql中傳入一組參數，要怎麼寫
一般的處理思路是將資料庫操作的方法放在一個模塊中，比如connectsql.py：
import mysqldb
def execnonquery(sql):
conn = mysqldb.connect(host='xxxx',user='xxxx',passwd='xxxx',db='xxxx')
cur = conn.cursor()
cur.execute(sql)
conn.commit()
conn.close()那麼你的a.py代碼為：
from connectsql import *
def mysql_insert(i,data):
try:
execnonquery('insert into mytest values(%s,%s)' % (i,data))
except:
return 0你的b.py代碼不變。