python讀寫內存

㈠ python 文件寫入內存

BytesIO實現了在內存中讀寫bytes，我們創宴敬此建一個BytesIO，然後寫入一些bytes：

注意，寫入的不稿世是str，而是經過UTF-8編碼的晌迅bytes。

可以用一個bytes初始化BytesIO，然後，像讀文件一樣讀取：

和StringIO類似

㈡ python 文件的打開與讀寫

/python通過解釋器內置的open()函數打開一個文件,並實現該文件與一個程序變數的關聯,open()函數格式如下:

/open()函數包含有兩個參數:文件名和打開模式.當文件與執行文件在同一大廳文件夾中,直接輸入文件名,亦可輸入文件的完整路徑.打開模式是指以何種方式打開文件,python提供了7種打開模式.

/r/w/x/a模式與b/t/+模式可以組合使悉仿悄用,比如'rt'為文睜渣本只讀.'rb'為二級制只讀.

/文件使用結束後,需要使用close()關閉文件使用許可權,釋放內存.

/當文件使用文本格式打開時,讀寫按照字元串方式,採用計算機當前編碼或指定編碼.
/當文件以二進制方式打開時,讀寫按照位元組流方式.

/python本身將文件讀取為一個行序列.

㈢ Python讀取文件內容的方法有幾種

filename=open('i:\\install\\test.txt','r+')#讀取xx路徑xx文件;r+代表的是讀寫並存方式 print filename.read()#讀取所有的文件

㈣ Python文件讀寫

常見的讀寫操作：

Python內置了讀寫文件的函數，用法和C是兼容的。本節介紹內容大致有：文件的打開/關閉、文件對象、文件的讀寫等。僅示例介紹 TXT 類型文檔的讀寫，也就是最基礎的文件讀寫，也需要注意編碼問題；

open()   close()     with open(...) as ...

看以下示例就能了解 Python 的 open() 及 close() 函數。這邊調用 read()方法可以一次讀取文件的全部內容，Python把內容讀到內存，用一個str對象表示，具體使用參見下文。

在 E 盤 python_file 文件夾下新建一 a.txt，輸入隨意，如下：

Python 操作 打開及關閉方式 如下：

注意 open() 之後 一定要 close()。但由於文件讀寫時都可能產生IOError，為了保證無論是否出錯都能正確地關閉文件，我們用 try ... finally 來實現：

python 簡化了改寫法，即用 with open(...) as ...  ； 建議之後文件讀寫都用該寫法：

上面，你肯定注意到了參數 "r"；該參數決定了打開文件的模式：只讀，寫入，追加等。所有可取值見如下的完全列表。這個參數是非強制的，默認文件訪問模式為只讀(r)。

相關參數：

File 對象

file 為一對象，它有一些內置屬性，如下

file對象的屬性：

read()    read(size)   readline()   readlines()

之前的例子已經接觸到了 read() 函數，該函數會會一次性讀取文件的全部內容，如果能確保文件的大小，自然可以。但若文件過大，內存就爆了，所以，可以反復調用read(size)方法，每次最多讀取size個位元組的內容；也可調用 readline() 每次讀取一行內容；而調用readlines()可以一次讀取所有內容並按行返回list。總之，根據需求來。僅以 txt 文件為例，其他的文件讀取需要特殊處理；另外，文件的格式編碼方式也需要注意；這邊僅介紹讀取方法，其他的會出專題來學習。

在D:\python_file 下新建 poet.txt；示例如下，由於一個中文會佔多個位元組，故read(size) 部分會亂碼，如：

write()

寫文件和讀文件是一樣的，唯一區別是調用open()函數時，傳入標識符'w'或者'wb'表示寫文本文件或寫二進制文件；'a' 對應的表示追加等。

如下示例，由於 write.txt 文件不存在，創建該文件並寫入：

在上例基礎上，繼續，該文件被重寫：

繼續，這次使用追加，會在文件結尾追加：

https://blog.csdn.net/msspark/article/details/86745391

https://www.cnblogs.com/tianyiliang/p/8192703.html

https://www.cnblogs.com/camilla/p/7234657.html

https://blog.csdn.net/songlh1234/article/details/83316468

https://www.php.cn/python-tutorials-412484.html

https://blog.csdn.net/weay/article/details/80946152

https://blog.csdn.net/xc_zhou/article/details/81044836

㈤ Python 拿來直接用的7個os讀寫文件的操作！網友：建議收藏！

在學習真實案例之前，我們先來了解一下Python文件操作的一些基本概念~~

如何創建讀取和寫出的文件對象，open()方法來搞定

他有兩個參數，第一個就是讀取的文件名稱，第二個是可選的，指的是打開文件的模式，默認是讀取文件。

當我們獲取到讀取文件對象fin之後我們就可以讀取文件內容了，這里介紹兩種方式。

第一種是直接讀取文件內容，

第二種是按行讀取文件內容。

區別在於如果你的文件非常大，如果直接讀取效率會非常低下，甚至會撐爆內存。

所以按行讀取按行處理就不會因為文件過大而產生問題了

文件讀取完成之後寫出文件有如下方式：

'\n'的意思是我們手動換行

最後關閉文件有兩種方式

為什麼要關閉文件呢？

如果不關閉他就會持續打開狀態，瑣事其他進程後者線程要操作它的時候就會報錯

我們有時候寫入非常大的數據的時候打開文件後會發現數據不是最新的？

這是因為python在寫出文件是先寫到內存中，等到一定的事件之後或者文件到達一定的數量之後才會寫入到磁碟

所以我們如果想要看最新的數據，可直接調用如下方法

接下來我們使用數據進行測試

1. 文件讀操作

文件讀、寫操作比較常見。讀取文件，要先判斷文件是否存在。

若文件存在，再讀取；不存在，拋出文件不存在異常。

文件存在情況：

文件不存在情況：

open 後，務必要 close，這種寫法有些繁瑣，還容易出錯。藉助 with 語法，同時實現 open 和 close 功能，這是更常用的方法。

2.獲取文件的後綴名

如何優雅地獲取文件後綴名？os.path 模塊，splitext 能夠優雅地提取文件後綴。

3. 批量修改文件後綴名

修改之前

修改文件後綴名的文件方法如下：

從修改之後：

4. 獲取文件名

有時拿到一個文件名時，名字帶有路徑。這時，使用 os.path、split 方法實現路徑和文件的分離。

我們還可以直接使用使用os.path 模塊，splitext 提取文件後綴名。

5.獲取以指定後綴結尾的文件

當我們想要查詢某路徑下所有以固定後綴結尾的文件時，可以使用如下方法

6. 批量修改文件後綴名

後綴名批量修改，實現思路：

1. 遍歷目錄下的所有文件

2. 獲取文件的後綴名

3. 如果後綴名命中為 old_ext，rename 重命名

defbatch_rename(work_dir, old_ext, new_ext):

"""

傳遞當前目錄，原來後綴名，新的後綴名後，批量重命名後綴

7. 批量獲取文件修改時間

os.walk 生成文件樹結構，os.path.getmtime 返迴文件的最後一次修改時間：

㈥ python 一個文件太大+內存裝不下+怎麼讀取 mongo

Python 環境下文件的讀取問題，請參見拙文Python 基礎 —— 文件

這是一道著名的 Python 面試題，考察的問題是，Python 讀取大文件和一般規模的文件時的區別，也即哪些介面不適合讀取大文件。

1. read() 介面的問題

f = open(filename, 'rb')
f.read()12

我們來讀取 1 個 nginx 的日至文件，規模為 3Gb 大小。read() 方法執行的操作，是一次性全部讀入內存，顯然會造成：

MemoryError...12

也即會發生內存溢出。

2. 解決方案：轉換介面

• （1）readlines() ：讀取全部的行，構成一個 list，實踐表明還是會造成內存的問題；

  for line in f.reanlines(): ...
  

• 1

• 2

• （2）readline()：每次讀取一行，

  while True:
  line = f.readline() if not line: break
  

• 1

• 2

• 3

• 4

• （3）read(1024)：重載，指定每次讀取的長度

  while True: block = f.read(1024) if not block: break
  

• 1

• 2

• 3

• 4

3. 真正 Pythonic 的方法

真正 Pythonci 的方法，使用 with 結構：

• with open(filename, 'rb') as f: for line in f:


• <do something with the line>123



對可迭代對象 f，進行迭代遍歷：for line in f，會自動地使用緩沖IO（buffered IO）以及內存管理，而不必擔心任何大文件的問題。

There should be one – and preferably only one – obvious way to do it.

㈦ 如何用python快速讀取幾G以上的大文件

如果你沒那麼大的內存 解決方法有幾個：

1. 使用swap 一次性read()讀取

2. 系統層面分割大文件為數個小於系統內存的小文件，分別讀取

3. 使用python 按數據大小逐塊讀取，使用完數據即釋放該部分內存：

whileTrue:
chunk_data=file_object.read(chunk_size)
ifnotchunk_data:
break
yieldchunk_data

㈧ 使用 Python 讀寫文件

有些數據是臨時的，它們在應用程序運行時存儲在內存中，然後丟棄。但是有些數據是持久的。它們存儲在硬碟驅動器上供以後使用，而且它們通常是用戶最關心的東西。對於程序員來說，編寫代碼讀寫文件是很常見的，但每種語言處理該任務的方式都不同。本文演示了如何使用 Python 處理文件數據。

在 Linux 上，你可能已經安裝了 Python。如果沒有，你可以通過發行版軟體倉庫安裝它。例如，在 CentOS 或 RHEL 上：

在 macOS 上，你可以使用 MacPorts或Homebrew安裝。在 Windows 上，你可以使用Chocolatey安裝。

一旦安裝了 Python，打開你最喜歡的文本編輯器，准備好寫代碼吧。

如果你需要向一個文件中寫入數據，記住有三個步驟：

這與你在計算機上編碼、編輯照片或執行其他操作時使用的步驟完全相同。首先，打開要編輯的文檔，然後進行編輯，最後關閉文檔。

在 Python 中，過程是這樣的：

這個例子中，第一行以 寫 模式打開了一個文件，然後用變數 f 表示，我使用了 f 是因為它在 Python 代碼中很常見，使用其他任意有效變數名也能正常工作。

在打開文件時，有不同的模式：

第二行表示向文件中寫入數據，本例寫入的是純文本，但你可以寫入任意類型的數據。

最後一行關閉了文件。

對於快速的文件交互，常用有一種簡短的方法可以寫入數據。它不會使文件保持打開狀態，所以你不必記得調用 close 函數。相反，它使用 with 語法：

如果你或你的用戶需要通過應用程序需要向文件中寫入一些數據，然後你需要使用它們，那麼你就需要讀取文件了。與寫入類似，邏輯一樣：

同樣的，這個邏輯反映了你一開始使用計算機就已知的內容。閱讀文檔，你可以打開、閱讀，然後關閉。在計算機術語中，「打開」文件意味著將其載入到內存中。

實際上，一個文本文件內容肯定不止一行。例如，你需要讀取一個配置文件、 游戲 存檔或樂隊下一首歌曲的歌詞，正如你打開一本實體書時，你不可能立刻讀完整本書，代碼也只能解析已經載入到內存中的文件。因此，你可能需要遍歷文件的內容。

示例的第一行指明使用 讀 模式打開一個文件，然後文件交由變數 f 表示，但就像你寫數據一樣，變數名是任意的。 f 並沒有什麼特殊的，它只是單詞 「file」 的最簡表示，所以 Python 程序員會經常使用它。

在第二行，我們使用了 line ，另一個任意變數名，用來表示 f 的每一行。這告訴 Python 逐行迭代文件的內容，並將每一行的內容列印到輸出中（在本例中為終端或IDLE）。

就像寫入一樣，使用 with 語法是一種更簡短的方法讀取數據。即不需要調用 close 方法，方便地快速交互。

使用 Python 有很多方法向文件寫入數據，包括用 JSON、YAML、TOML等不同的格式寫入。還有一個非常好的內置方法用於創建和維護SQLite資料庫，以及許多庫來處理不同的文件格式，包括圖像、音頻和視頻等。

via: https://opensource.com/article/21/7/read-write-files-python

作者：Seth Kenlon選題：lujun9972譯者：MjSeven校對：turbokernel