python非同步程式設計之asyncio（百萬併發）

前言：python由於GIL（全域性鎖）的存在，不能發揮多核的優勢，其效能一直飽受詬病。然而在IO密集型的網路程式設計裡，非同步處理比同步處理能提升成百上千倍的效率，彌補了python效能方面的短板，如最新的微服務框架japronto，resquests per second可達百萬級。

python還有一個優勢是庫（第三方庫）極為豐富，運用十分方便。asyncio是python3。4版本引入到標準庫，python2x沒有加這個庫，畢竟python3x才是未來啊，哈哈！python3。5又加入了async/await特性。

在學習asyncio之前，我們先來理清楚

同步/非同步的概念

：

同步

是指完成事務的邏輯，先執行第一個事務，如果阻塞了，會一直等待，直到這個事務完成，再執行第二個事務，順序執行。。。

非同步

是和同步相對的，非同步是指在處理呼叫這個事務的之後，不會等待這個事務的處理結果，直接處理第二個事務去了，透過狀態、通知、回撥來通知呼叫者處理結果。

一、asyncio

下面透過舉例來對比

同步程式碼和非同步程式碼編寫方面的差異

，其次看下兩者效能上的差距，我們使用sleep（1）模擬耗時1秒的io操作。

同步程式碼：

import time

def hello（）：

time。sleep（1）

def run（）：

for i in range（5）：

hello（）

print（‘Hello World：%s’ % time。time（）） # 任何偉大的程式碼都是從Hello World 開始的！

if __name__ == ‘__main__’：

run（）

輸出：（間隔差不多是1s）

Hello World：1527595175。4728756

Hello World：1527595176。473001

Hello World：1527595177。473494

Hello World：1527595178。4739306

Hello World：1527595179。474482

非同步程式碼：

import time

import asyncio

# 定義非同步函式

async def hello（）：

asyncio。sleep（1）

print（‘Hello World：%s’ % time。time（））

def run（）：

for i in range（5）：

loop。run_until_complete（hello（））

loop = asyncio。get_event_loop（）

if __name__ ==‘__main__’：

run（）

輸出：

Hello World：1527595104。8338501

Hello World：1527595104。8338501

Hello World：1527595104。8338501

Hello World：1527595104。8338501

Hello World：1527595104。8338501

async def 用來定義非同步函式，其內部有非同步操作。每個執行緒有一個事件迴圈，主執行緒呼叫asyncio。get_event_loop（）時會建立事件迴圈，你需要把非同步的任務丟給這個迴圈的run_until_complete（）方法，事件迴圈會安排協同程式的執行。

二、aiohttp

如果需要併發http請求怎麼辦呢，通常是用requests，但requests是同步的庫，如果想非同步的話需要引入aiohttp。

這裡引入一個類，from aiohttp import ClientSession，首先要建立一個session物件，然後用session物件去開啟網頁

。session可以進行多項操作，比如post， get， put， head等。

基本用法：

async with ClientSession（） as session：

async with session。get（url） as response：

aiohttp非同步實現的例子：

import asyncio

from aiohttp import ClientSession

tasks = ［］

url = “

https：//www。

baidu。com/

{}”

async def hello（url）：

async with ClientSession（） as session：

async with session。get（url） as response：

response = await response。read（）

print（response）

if __name__ == ‘__main__’：

loop = asyncio。get_event_loop（）

loop。run_until_complete（hello（url））

首先async def 關鍵字定義了這是個非同步函式，await 關鍵字加在需要等待的操作前面，response。read（）等待request響應，是個耗IO操作。然後使用ClientSession類發起http請求。

多連結非同步訪問

如果我們需要請求多個URL該怎麼辦呢，同步的做法訪問多個URL只需要加個for迴圈就可以了。但非同步的實現方式並沒那麼容易，

在之前的基礎上需要將hello()包裝在asyncio的Future物件中，然後將Future物件列表作為任務傳遞給事件迴圈

。

import time

import asyncio

from aiohttp import ClientSession

tasks = ［］

url = “

https：//www。

baidu。com/

{}”

async def hello（url）：

async with ClientSession（） as session：

async with session。get（url） as response：

response = await response。read（）

# print（response）

print（‘Hello World：%s’ % time。time（））

def run（）：

for i in range（5）：

task = asyncio。ensure_future（hello（url。format（i）））

tasks。append（task）

if __name__ == ‘__main__’：

loop = asyncio。get_event_loop（）

run（）

loop。run_until_complete（asyncio。wait（tasks））

輸出：

Hello World：1527754874。8915546

Hello World：1527754874。899039

Hello World：1527754874。90004

Hello World：1527754874。9095392

Hello World：1527754874。9190395

收集http響應

好了，上面介紹了訪問不同連結的非同步實現方式，但是我們只是發出了請求，如果要把響應一一收集到一個列表中，最後儲存到本地或者打印出來要怎麼實現呢，

可透過asyncio.gather(*tasks)將響應全部收集起來

，具體透過下面例項來演示。

import time

import asyncio

from aiohttp import ClientSession

tasks = ［］

url = “

https：//www。

baidu。com/

{}”

async def hello（url）：

async with ClientSession（） as session：

async with session。get（url） as response：

# print（response）

print（‘Hello World：%s’ % time。time（））

return await response。read（）

def run（）：

for i in range（5）：

task = asyncio。ensure_future（hello（url。format（i）））

tasks。append（task）

result = loop。run_until_complete（asyncio。gather（*tasks））

print（result）

if __name__ == ‘__main__’：

loop = asyncio。get_event_loop（）

run（）

輸出：

Hello World：1527765369。0785167

Hello World：1527765369。0845182

Hello World：1527765369。0910277

Hello World：1527765369。0920424

Hello World：1527765369。097017

［b‘<！DOCTYPE html>\r\n<！——STATUS OK——>\r\n\r\n\r\n……

異常解決

假如你的併發達到1000個，程式會報錯：ValueError： too many file descriptors in select（）。這個報錯的原因是因為 Python 調取的 select 對開啟的檔案字元有最大長度限制。這裡我們有

兩種方法解決

這個問題：

1.我們可以需要限制併發數量

。一次不要塞那麼多工，或者限制最大併發數量。

2.我們可以使用回撥的方式

。這裡個人推薦限制併發數的方法，設定併發數為500或者600，處理速度更快。

```

#coding：utf-8

import time，asyncio，aiohttp

url = ’

https：//www。

baidu。com/

‘

async def hello（url，semaphore）：

async with semaphore：

async with aiohttp。ClientSession（） as session：

async with session。get（url） as response：

return await response。read（）

async def run（）：

semaphore = asyncio。Semaphore（500） # 限制併發量為500

to_get = ［hello（url。format（），semaphore） for _ in range（1000）］ #總共1000任務

await asyncio。wait（to_get）

if __name__ == ’__main__‘：

# now=lambda ：time。time（）

loop = asyncio。get_event_loop（）

loop。run_until_complete（run（））

loop。close（）

```