Python異步調用命令行工具

來源：懂視網責編：小采時間：2020-11-27 14:27:53

Python異步調用命令行工具

Python異步調用命令行工具:當你在自己的 Python 程序中采用了基于事件循環的異步編程方法之后，你就會發現自己不自覺地被其牢牢吸引住，并不是說這一方法多么棒，而是因為你不得不想辦法保證程序中的任意環節都不能是阻塞的! 例如當前的場景是希望從 MongoDB 中讀取每一條未處理過的數

推薦度：

點擊下載本文 文檔為doc格式

導讀Python異步調用命令行工具:當你在自己的 Python 程序中采用了基于事件循環的異步編程方法之后，你就會發現自己不自覺地被其牢牢吸引住，并不是說這一方法多么棒，而是因為你不得不想辦法保證程序中的任意環節都不能是阻塞的! 例如當前的場景是希望從 MongoDB 中讀取每一條未處理過的數

　　當你在自己的 Python 程序中采用了基于事件循環的異步編程方法之后，你就會發現自己不自覺地被其牢牢吸引住，并不是說這一方法多么棒，而是因為你不得不想辦法保證程序中的任意環節都不能是阻塞的!

　　例如當前的場景是希望從 MongoDB 中讀取每一條未處理過的數據，下載并保存其中的圖片信息，然后更新數據庫的內容。Python 常用的 MongoDB 異步驅動是 Motor:

　結合 asyncio 使用方法如下：　

import motor.motor_asyncio
　　import asyncio
　　client = motor.motor_asyncio.AsyncIOMotorClient()
　　db = client.test_database
　　async def run():
　　async for mm in db.test_database.find({"status": 0}):
　　print(mm['img_src'])
　　# Download Image Here
　　# dl_img(mm['img_src'])
　　await db.test_database.update({"_id": mm['_id']}, {"$set": {"status":1}})
　　loop = asyncio.get_event_loop()
　　loop.run_until_complete(run())

此時如果 dl_img() 處的操作是阻塞的，那么異步處理就沒有意義了。當然這里依然可以借助異步網絡請求庫 aiohttp 來實現圖片下載：

　　async with session.get(img) as resp:
　　with open(img.split("/")[-1], 'wb') as fd:
　　while True:
　　chunk = await resp.content.read(1024)
　　if not chunk:
　　break
　　fd.write(chunk)

當然也可以不需要自己動手下載，直接調用系統命令行工具(例如 wget)來完成下載任務。Python 通過 subprocess 標準庫實現系統命令調用(取代舊的os.system(cmd))，執行下載任務只需要：

import subprocess as sb
sb.run(['wget', img], shell=True)

但是這種調用方式是無法直接在asyncio的事件循環中使用的，但是asyncio提供了對應的 subprocess接口：

asyncio.create_subprocess_exec(*args, ...)
asyncio.create_subprocess_shell(cmd, ...)

這兩個方法均返回一個 asyncio.subprocess.Process 實例，而它的接口設計完全模仿了 subprocess.Popen(上面提到 subprocess.run()的底層實現)，因此很容易將其用法移植到事件循環中：　　

async def dl_img(src):
　　dl = await asyncio.create_subprocess_shell('wget {} -O {}'.format(src, src.split("/")[-1])
　　await dl.wait()

除了上面場景中的用法，也可以直接將命令行的執行作為任務放入事件循環：

　　loop = asyncio.get_event_loop()
　　sb = asyncio.create_subprocess_shell('exit 7', loop=loop)
　　proc = loop.run_until_complete(sb)
　　exitcode = loop.run_until_complete(proc.wait())

小結

在 Python 異步編程的意義就在于不要讓 CPU 堵在 IO 上，因此需要在每一處涉及到阻塞的操作都需要注意使用正確的異步方法，而一旦這些操作被封裝成異步的 Task 之后，其后續的調度執行就無需再顧慮了。

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com

Python異步調用命令行工具

推薦度：

點擊下載本文 文檔為doc格式

標簽：命令命令行調用

熱門焦點

Python異步調用命令行工具

Python異步調用命令行工具

Python異步調用命令行工具

最新推薦

猜你喜歡

熱門推薦