傳智播客博學谷
微訊號：
boxuegu-
get最新最全的IT技能
免費領取各種影片資料
連結：https：//segmentfault。com/a/1190000018737045
由於總結了太多的東西，所以篇幅有點長，這也是我“縫縫補補”總結了好久的東西。
Py2 VS Py3
print成為了函式，python2是關鍵字
不再有unicode物件，預設str就是unicode
python3除號返回浮點數
沒有了long型別
xrange不存在，range替代了xrange
可以使用中文定義函式名變數名
高階解包 和*解包
限定關鍵字引數 *後的變數必須加入名字=值
raise from
iteritems移除變成items（）
yield from 連結子生成器
asyncio，async/await原生協程支援非同步程式設計
新增enum，mock，ipaddress，concurrent。futures，asyncio urllib，selector
不同列舉類間不能進行比較
同一列舉類間只能進行相等的比較
列舉類的使用（編號預設從1開始）
為了避免列舉類中相同列舉值的出現，可以使用@unique裝飾列舉類
py2/3轉換工具
six模組：相容pyton2和pyton3的模組
2to3工具：改變程式碼語法版本
__future__：使用下一版本的功能
常用的庫
必須知道的collections
https：//segmentfault。com/a/1190000017385799
python排序操作及heapq模組
https：//segmentfault。com/a/1190000017383322
itertools模組超實用方法
https：//segmentfault。com/a/1190000017416590
不常用但很重要的庫
dis（程式碼位元組碼分析）
inspect（生成器狀態）
cProfile（效能分析）
bisect（維護有序列表）
fnmatch
fnmatch（string，“*。txt”） #win下不區分大小寫
fnmatch根據系統決定
fnmatchcase完全區分大小寫
timeit（程式碼執行時間）
contextlib
@contextlib。contextmanager使生成器函式變成一個上下文管理器
types（包含了標準直譯器定義的所有型別的型別物件，可以將生成器函式修飾為非同步模式）
html（實現對html的轉義）
mock（解決測試依賴）
concurrent（建立程序池河執行緒池）
selector（封裝select，使用者多路複用io程式設計）
asyncio
Python進階
程序間通訊：
Manager（內建了好多資料結構，可以實現多程序間記憶體共享）
Pipe（適用於兩個程序）
Queue（不能用於程序池，程序池間通訊需要使用Manager（）。Queue（））
程序池
sys模組幾個常用方法
argv 命令列引數list，第一個是程式本身的路徑
path 返回模組的搜尋路徑
modules。keys（） 返回已經匯入的所有模組的列表
exit（0） 退出程式
a in s or b in s or c in s簡寫
採用any方式：all（） 對於任何可迭代物件為空都會返回True
set集合運用
。issubset（）#判斷是否是其子集
。issuperset（）
{}。isdisjoint（{}）#判斷兩個set交集是否為空，是空集則為True
程式碼中中文匹配
［u4E00-u9FA5］匹配中文文字區間［一到龥］
檢視系統預設編碼格式
getattr VS getattribute
類變數是不會存入例項__dict__中的，只會存在於類的__dict__中
globals/locals（可以變相操作程式碼）
globals中儲存了當前模組中所有的變數屬性與值
locals中儲存了當前環境中的所有變數屬性與值
python變數名的解析機制（LEGB）
本地作用域（Local）
當前作用域被嵌入的本地作用域（Enclosing locals）
全域性/模組作用域（Global）
內建作用域（Built-in）
實現從1-100每三個為一組分組
什麼是元類？
即建立類的類，建立類的時候只需要將metaclass=元類，元類需要繼承type而不是object，因為type就是元類
什麼是鴨子型別（即：多型）？
Python在使用傳入引數的過程中不會預設判斷引數型別，只要引數具備執行條件就可以執行
深複製和淺複製
深複製複製內容，淺複製複製地址（增加引用計數）
copy模組實現神複製
單元測試
一般測試類繼承模組unittest下的TestCase
pytest模組快捷測試（方法以test_開頭/測試檔案以test_開頭/測試類以Test開頭，並且不能帶有 init 方法）
coverage統計測試覆蓋率
gil會根據執行的位元組碼行數以及時間片釋放gil，gil在遇到io的操作時候主動釋放
什麼是monkey patch？
猴子補丁，在執行的時候替換掉會阻塞的語法修改為非阻塞的方法
什麼是自省（Introspection）？
執行時判斷一個物件的型別的能力，id，type，isinstance
python是值傳遞還是引用傳遞？
都不是，python是共享傳參，預設引數在執行時只會執行一次
try-except-else-finally中else和finally的區別
else在不發生異常的時候執行，finally無論是否發生異常都會執行
except一次可以捕獲多個異常，但一般為了對不同異常進行不同處理，我們分次捕獲處理
GIL全域性直譯器鎖
同一時間只能有一個執行緒執行，CPython（IPython）的特點，其他直譯器不存在
cpu密集型：多程序+程序池
io密集型：多執行緒/協程
什麼是Cython
將python解釋成C程式碼工具
生成器和迭代器
可迭代物件只需要實現__iter__方法
實現__next__和__iter__方法的物件就是迭代器
使用生成器表示式或者yield的生成器函式（生成器是一種特殊的迭代器）
什麼是協程
yield
async-awiat
比執行緒更輕量的多工方式
實現方式
dict底層結構
為了支援快速查詢使用了雜湊表作為底層結構
雜湊表平均查詢時間複雜度為o（1）
CPython直譯器使用二次探查解決雜湊衝突問題
Hash擴容和Hash衝突解決方案
連結法
二次探查（開放定址法）：python使用
迴圈複製到新空間實現擴容
衝突解決：
判斷是否為生成器或者協程
斐波那契解決的問題及變形
獲取電腦設定的環境變數
垃圾回收機制
引用計數
標記清除
分代回收
True和False在程式碼中完全等價於1和0，可以直接和數字進行計算，inf表示無窮大
C10M/C10K
C10M：8核心cpu，64G記憶體，在10gbps的網路上保持1000萬併發連線
C10K：1GHz CPU，2G記憶體，1gbps網路環境下保持1萬個客戶端提供FTP服務
yield from與yield的區別：
yield from跟的是一個可迭代物件，而yield後面沒有限制
GeneratorExit生成器停止時觸發
單下劃線的幾種使用
在定義變數時，表示為私有變數
在解包時，表示捨棄無用的資料
在互動模式中表示上一次程式碼執行結果
可以做數字的拼接（111_222_333）
使用break就不會執行else
10進位制轉2進位制
list1 = ［‘A’， ‘B’， ‘C’， ‘D’］ 如何才能得到以list中元素命名的新列表 A=［］，B=［］，C=［］，D=［］呢
memoryview與bytearray$\color{#000}（不常用，只是看到了記載一下）$
Ellipsis型別
lazy惰性計算
遍歷檔案，傳入一個資料夾，將裡面所有檔案的路徑打印出來（遞迴）
檔案儲存時，檔名的處理
日期格式化
tuple使用+=奇怪的問題
__missing__你應該知道
+與+=
如何將一個可迭代物件的每個元素變成一個字典的所有鍵？
wireshark抓包軟體
網路知識
什麼是HTTPS？
安全的HTTP協議，https需要cs證書，資料加密，埠為443，安全，同一網站https seo排名會更高
常見響應狀態碼
http請求方法的冪等性及安全性
WSGI
RPC
CDN
SSL（Secure Sockets Layer 安全套接層），及其繼任者傳輸層安全（Transport Layer Security，TLS）是為網路通訊提供安全及資料完整性的一種安全協議。
SSH（安全外殼協議） 為 Secure Shell 的縮寫，由 IETF 的網路小組（Network Working Group）所制定；SSH 為建立在應用層基礎上的安全協議。SSH 是目前較可靠，專為遠端登入會話和其他網路服務提供安全性的協議。利用 SSH 協議可以有效防止遠端管理過程中的資訊洩露問題。SSH最初是UNIX系統上的一個程式，後來又迅速擴充套件到其他操作平臺。SSH在正確使用時可彌補網路中的漏洞。SSH客戶端適用於多種平臺。幾乎所有UNIX平臺—包括HP-UX、Linux、AIX、Solaris、Digital UNIX、Irix，以及其他平臺，都可執行SSH。
TCP/IP
TCP：面向連線/可靠/基於位元組流
UDP：無連線/不可靠/面向報文
三次握手四次揮手
三次握手（SYN/SYN+ACK/ACK）
四次揮手（FIN/ACK/FIN/ACK）
為什麼連線的時候是三次握手，關閉的時候卻是四次握手？
因為當Server端收到Client端的SYN連線請求報文後，可以直接傳送SYN+ACK報文。其中ACK報文是用來應答的，SYN報文是用來同步的。但是關閉連線時，當Server端收到FIN報文時，很可能並不會立即關閉SOCKET，所以只能先回復一個ACK報文，告訴Client端，“你發的FIN報文我收到了”。只有等到我Server端所有的報文都發送完了，我才能傳送FIN報文，因此不能一起傳送。故需要四步握手。
為什麼TIME_WAIT狀態需要經過2MSL（最大報文段生存時間）才能返回到CLOSE狀態？
雖然按道理，四個報文都發送完畢，我們可以直接進入CLOSE狀態了，但是我們必須假象網路是不可靠的，有可以最後一個ACK丟失。所以TIME_WAIT狀態就是用來重發可能丟失的ACK報文。
XSS/CSRF
HttpOnly禁止js指令碼訪問和操作Cookie，可以有效防止XSS
Mysql
索引改進過程
線性結構->二分查詢->hash->二叉查詢樹->平衡二叉樹->多路查詢樹->多路平衡查詢樹（B-Tree）
Mysql面試總結基礎篇
https：//segmentfault。com/a/1190000018371218
Mysql面試總結進階篇
https：//segmentfault。com/a/1190000018380324
深入淺出Mysql
http：//ningning。today/2017/02/13/database/深入淺出mysql/
清空整個表時，InnoDB是一行一行的刪除，而MyISAM則會從新刪除建表
text/blob資料型別不能有預設值，查詢時不存在大小寫轉換
什麼時候索引失效
以%開頭的like模糊查詢
出現隱士型別轉換
沒有滿足最左字首原則
對於多列索引，不是使用的第一部分，則不會使用索引
失效場景：
應儘量避免在 where 子句中使用 ！= 或 運算子，否則引擎將放棄使用索引而進行全表掃描
儘量避免在 where 子句中使用 or 來連線條件，否則將導致引擎放棄使用索引而進行全表掃描，即使其中有條件帶索引也不會使用，這也是為什麼儘量少用 or 的原因
如果列型別是字串，那一定要在條件中將資料使用引號引用起來，否則不會使用索引
應儘量避免在 where 子句中對欄位進行函式操作，這將導致引擎放棄使用索引而進行全表掃描
不要在 where 子句中的 “=” 左邊進行函式、算術運算或其他表示式運算，否則系統將可能無法正確使用索引
應儘量避免在 where 子句中對欄位進行表示式操作，這將導致引擎放棄使用索引而進行全表掃描
不適合鍵值較少的列（重複資料較多的列）比如：set enum列就不適合（列舉型別（enum）可以新增null，並且預設的值會自動過濾空格集合（set）和列舉類似，但只可以新增64個值）
如果MySQL估計使用全表掃描要比使用索引快，則不使用索引
什麼是聚集索引
B+Tree葉子節點儲存的是資料還是指標
MyISAM索引和資料分離，使用非聚集
InnoDB資料檔案就是索引檔案，主鍵索引就是聚集索引
Redis命令總結
為什麼這麼快？
基於記憶體，由C語言編寫
使用多路I/O複用模型，非阻塞IO
使用單執行緒減少執行緒間切換
因為Redis是基於記憶體的操作，CPU不是Redis的瓶頸，Redis的瓶頸最有可能是機器記憶體的大小或者網路頻寬。既然單執行緒容易實現，而且CPU不會成為瓶頸，那就順理成章地採用單執行緒的方案了（畢竟採用多執行緒會有很多麻煩！）。
資料結構簡單
自己構建了VM機制，減少呼叫系統函式的時間
優勢
效能高 – Redis能讀的速度是110000次/s，寫的速度是81000次/s
豐富的資料型別
原子 – Redis的所有操作都是原子性的，同時Redis還支援對幾個操作全並後的原子性執行
豐富的特性 – Redis還支援 publish/subscribe（釋出/訂閱）， 通知， key 過期等等特性
什麼是redis事務？
將多個請求打包，一次性、按序執行多個命令的機制
透過multi，exec，watch等命令實現事務功能
Python redis-py pipeline=conn。pipeline（transaction=True）
持久化方式
RDB（快照）
save（同步，可以保證資料一致性）
bgsave（非同步，shutdown時，無AOF則預設使用）
AOF（追加日誌）
怎麼實現佇列
push
rpop
常用的資料型別（Bitmaps，Hyperloglogs，範圍查詢等不常用）
String（字串）：計數器
整數或sds（Simple Dynamic String）
List（列表）：使用者的關注，粉絲列表
ziplist（連續記憶體塊，每個entry節點頭部儲存前後節點長度資訊實現雙向連結串列功能）或double linked list
Hash（雜湊）：
Set（集合）：使用者的關注者
intset或hashtable
Zset（有序集合）：實時資訊排行榜
skiplist（跳躍表）
與Memcached區別
Memcached只能儲存字串鍵
Memcached使用者只能透過APPEND的方式將資料新增到已有的字串的末尾，並將這個字串當做列表來使用。但是在刪除這些元素的時候，Memcached採用的是透過黑名單的方式來隱藏列表裡的元素，從而避免了對元素的讀取、更新、刪除等操作
Redis和Memcached都是將資料存放在記憶體中，都是記憶體資料庫。不過Memcached還可用於快取其他東西，例如圖片、影片等等
虛擬記憶體–Redis當物理記憶體用完時，可以將一些很久沒用到的Value 交換到磁碟
儲存資料安全–Memcached掛掉後，資料沒了；Redis可以定期儲存到磁碟（持久化）
應用場景不一樣：Redis出來作為NoSQL資料庫使用外，還能用做訊息佇列、資料堆疊和資料快取等；Memcached適合於快取SQL語句、資料集、使用者臨時性資料、延遲查詢資料和Session等
Redis實現分散式鎖
使用setnx實現加鎖，可以同時透過expire新增超時時間
鎖的value值可以是一個隨機的uuid或者特定的命名
釋放鎖的時候，透過uuid判斷是否是該鎖，是則執行delete釋放鎖
常見問題
快取雪崩
短時間內快取資料過期，大量請求訪問資料庫
快取穿透
請求訪問資料時，查詢快取中不存在，資料庫中也不存在
快取預熱
初始化專案，將部分常用資料加入快取
快取更新
資料過期，進行更新快取資料
快取降級
當訪問量劇增、服務出現問題（如響應時間慢或不響應）或非核心服務影響到核心流程的效能時，仍然需要保證服務還是可用的，即使是有損服務。系統可以根據一些關鍵資料進行自動降級，也可以配置開關實現人工降級
一致性Hash演算法
使用叢集的時候保證資料的一致性
基於redis實現一個分散式鎖，要求一個超時的引數
setnx
虛擬記憶體
記憶體抖動
Linux
Unix五種i/o模型
阻塞io
非阻塞io
多路複用io（Python下使用selectot實現io多路複用）
select
併發不高，連線數很活躍的情況下
poll
比select提高的並不多
epoll
訊號驅動io
非同步io（Gevent/Asyncio實現非同步）
比man更好使用的命令手冊
tldr：一個有命令示例的手冊
kill -9和-15的區別
-15：程式立刻停止/當程式釋放相應資源後再停止/程式可能仍然繼續執行
-9：由於-15的不確定性，所以直接使用-9立即殺死程序
分頁機制（邏輯地址和物理地址分離的記憶體分配管理方案）：
作業系統為了高效管理記憶體，減少碎片
程式的邏輯地址劃分為固定大小的頁
物理地址劃分為同樣大小的幀
透過頁表對應邏輯地址和物理地址
分段機制
為了滿足程式碼的一些邏輯需求
資料共享/資料保護/動態連結
每個段內部連續記憶體分配，段和段之間是離散分配的
檢視cpu記憶體使用情況？
top
free 檢視可用記憶體，排查記憶體洩漏問題
設計模式
單例模式
工廠模式
構造模式
資料結構和演算法內建資料結構和演算法
python實現各種資料結構
快速排序
選擇排序
插入排序
歸併排序
堆排序heapq模組
棧
佇列
二分查詢
面試加強題：
關於資料庫最佳化及設計
https：//segmentfault。com/a/1190000018426586
如何使用兩個棧實現一個佇列
反轉連結串列
合併兩個有序連結串列
刪除連結串列節點
反轉二叉樹
設計短網址服務？62進位制實現
設計一個秒殺系統（feed流）？
https：//www。jianshu。com/p/ea0259d109f9
為什麼mysql資料庫的主鍵使用自增的整數比較好？使用uuid可以嗎？為什麼？
如果InnoDB表的資料寫入順序能和B+樹索引的葉子節點順序一致的話，這時候存取效率是最高的。為了儲存和查詢效能應該使用自增長id做主鍵。
對於InnoDB的主索引，資料會按照主鍵進行排序，由於UUID的無序性，InnoDB會產生巨大的IO壓力，此時不適合使用UUID做物理主鍵，可以把它作為邏輯主鍵，物理主鍵依然使用自增ID。為了全域性的唯一性，應該用uuid做索引關聯其他表或做外來鍵
如果是分散式系統下我們怎麼生成資料庫的自增id呢？
使用redis
基於redis實現一個分散式鎖，要求一個超時的引數
setnx
setnx + expire
如果redis單個節點宕機了，如何處理？還有其他業界的方案實現分散式鎖碼？
使用hash一致演算法
快取演算法
LRU（least-recently-used）：替換最近最少使用的物件
LFU（Least frequently used）：最不經常使用，如果一個數據在最近一段時間內使用次數很少，那麼在將來一段時間內被使用的可能性也很小
服務端效能最佳化方向
使用資料結構和演算法
資料庫
索引最佳化
慢查詢消除
slow_query_log_file開啟並且查詢慢查詢日誌
透過explain排查索引問題
調整資料修改索引
批次操作，從而減少io操作
使用NoSQL：比如Redis
網路io
批次操作
pipeline
快取
Redis
非同步
Asyncio實現非同步操作
使用Celery減少io阻塞
併發
多執行緒
Gevent
免費資料
