選單

強!8個Python最佳化提速的小技巧!

作者丨張皓

https://zhuanlan。zhihu。com/p/143052860

Python 是一種指令碼語言,相比 C/C++ 這樣的編譯語言,在效率和效能方面存在一些不足。但是,有很多時候,Python 的效率並沒有想象中的那麼誇張。本文對一些 Python 程式碼加速執行的技巧進行整理。

0. 程式碼最佳化原則

本文會介紹不少的 Python 程式碼加速執行的技巧。在深入程式碼最佳化細節之前,需要了解一些程式碼最佳化基本原則。

第一個基本原則是不要過早最佳化。很多人一開始寫程式碼就奔著效能最佳化的目標,“讓正確的程式更快要比讓快速的程式正確容易得多”。因此,最佳化的前提是程式碼能正常工作。過早地進行最佳化可能會忽視對總體效能指標的把握,在得到全域性結果前不要主次顛倒。

第二個基本原則是權衡最佳化的代價。最佳化是有代價的,想解決所有效能的問題是幾乎不可能的。通常面臨的選擇是時間換空間或空間換時間。另外,開發代價也需要考慮。

第三個原則是不要最佳化那些無關緊要的部分。如果對程式碼的每一部分都去最佳化,這些修改會使程式碼難以閱讀和理解。如果你的程式碼執行速度很慢,首先要找到程式碼執行慢的位置,通常是內部迴圈,專注於執行慢的地方進行最佳化。在其他地方,一點時間上的損失沒有什麼影響。

1. 避免全域性變數

許多程式設計師剛開始會用 Python 語言寫一些簡單的指令碼,當編寫指令碼時,通常習慣了直接將其寫為全域性變數,例如上面的程式碼。但是,由於全域性變數和區域性變數實現方式不同,定義在全域性範圍內的程式碼執行速度會比定義在函式中的慢不少。透過將指令碼語句放入到函式中,通常可帶來 15% - 30% 的速度提升。

2. 避免.

2.1 避免模組和函式屬性訪問

每次使用(屬性訪問運算子時)會觸發特定的方法,如和,這些方法會進行字典操作,因此會帶來額外的時間開銷。透過語句,可以消除屬性訪問。

在第 1 節中我們講到,區域性變數的查詢會比全域性變數更快,因此對於頻繁訪問的變數,透過將其改為區域性變數可以加速執行。

除了外,函式中還有的存在,那就是呼叫的方法。透過將該方法賦值給一個區域性變數,可以徹底消除函式中迴圈內部的使用。

2.2 避免類內屬性訪問

避免的原則也適用於類內屬性,訪問的速度會比訪問一個區域性變數更慢一些。透過將需要頻繁訪問的類內屬性賦值給一個區域性變數,可以提升程式碼執行速度。

3. 避免不必要的抽象

任何時候當你使用額外的處理層(比如裝飾器、屬性訪問、描述器)去包裝程式碼時,都會讓程式碼變慢。大部分情況下,需要重新進行審視使用屬性訪問器的定義是否有必要,使用函式對屬性進行訪問通常是 C/C++ 程式設計師遺留下來的程式碼風格。如果真的沒有必要,就使用簡單屬性。

4. 避免資料複製

4.1 避免無意義的資料複製

上面的程式碼中完全沒有必要,這會建立不必要的資料結構或複製。

另外一種情況是對 Python 的資料共享機制過於偏執,並沒有很好地理解或信任 Python 的記憶體模型,濫用 之類的函式。通常在這些程式碼中是可以去掉複製操作的。

4.2 交換值時不使用中間變數

上面的程式碼在交換值時建立了一個臨時變數,如果不借助中間變數,程式碼更為簡潔、且執行速度更快。

4.3 字串拼接用join而不是+

當使用拼接字串時,由於 Python 中字串是不可變物件,其會申請一塊記憶體空間,將和分別複製到該新申請的記憶體空間中。因此,如果要拼接 n個字串,會產生 n-1 箇中間結果,每產生一箇中間結果都需要申請和複製一次記憶體,嚴重影響執行效率。而使用拼接字串時,會首先計算出需要申請的總的記憶體空間,然後一次性地申請所需記憶體,並將每個字串元素複製到該記憶體中去。

5. 利用if條件的短路特性

條件的短路特性是指對這樣的語句, 當為時將直接返回,不再計算;對於這樣的語句,當為時將直接返回,不再計算。因此, 為了節約執行時間,對於語句,應該將值為可能性比較高的變數寫在前,而應該推後。

6. 迴圈最佳化

6.1 用for迴圈代替while迴圈

Python 的迴圈比迴圈快不少。

6.2 使用隱式for迴圈代替顯式for迴圈

針對上面的例子,更進一步可以用隱式迴圈來替代顯式迴圈

6.3 減少內層for迴圈的計算

上面的程式碼中位於內側迴圈, 每次訓練過程中都會重新計算一次,增加了時間開銷。

7. 使用numba.jit

8. 選擇合適的資料結構

Python 內建的資料結構如, , , , 底層都是 C 實現的,速度非常快,自己實現新的資料結構想在效能上達到內建的速度幾乎是不可能的。

類似於 C++ 中的,是一種動態陣列。其會預分配一定記憶體空間,當預分配的記憶體空間用完,又繼續向其中新增元素時,會申請一塊更大的記憶體空間,然後將原有的所有元素都複製過去,之後銷燬之前的記憶體空間,再插入新元素。

刪除元素時操作類似,當已使用記憶體空間比預分配記憶體空間的一半還少時,會另外申請一塊小記憶體,做一次元素複製,之後銷燬原有大記憶體空間。

因此,如果有頻繁的新增、刪除操作,新增、刪除的元素數量又很多時,list的效率不高。此時,應該考慮使用。是雙端佇列,同時具備棧和佇列的特性,能夠在兩端進行 O(1) 複雜度的插入和刪除操作。

的查詢操作也非常耗時。當需要在頻繁查詢某些元素,或頻繁有序訪問這些元素時,可以使用維護物件有序並在其中進行二分查詢,提升查詢的效率。

另外一個常見需求是查詢極小值或極大值,此時可以使用模組將轉化為一個堆,使得獲取最小值的時間複雜度是 O(1)。

下面的網頁給出了常用的 Python 資料結構的各項操作的時間複雜度:https://wiki。python。org/moin/TimeComplexity

參考資料

David Beazley & Brian K。 Jones。 Python Cookbook, Third edition。 O‘Reilly Media, ISBN: 9781449340377, 2013。

張穎 & 賴勇浩。 編寫高質量程式碼:改善Python程式的91個建議。 機械工業出版社, ISBN: 9787111467045, 2014。