七個非常實用的Python工具包總結
一、Faker
生產(chǎn)環(huán)境通常具有實時數(shù)據(jù)。把它放到測試環(huán)境中并不容易。我們必須對從生產(chǎn)到測試環(huán)境的數(shù)據(jù)進行標記化,這通常會將數(shù)據(jù)轉換為亂碼。
此外,在欺詐行業(yè),我們需要找出欺詐身份。為了生成假PII(個人可識別信息),我使用了一個名為Faker的包,這是一個很酷的軟件包,可以讓你創(chuàng)建一個帶有地址、名字等的假PII。
以上是一些虛假數(shù)據(jù)的例子。帶有 GAN 假圖像的假數(shù)據(jù)可以給出一個真實的人。
二、Pywebio
我們知道 Flask 適用于 Python 端的表單、UI 和 restapi。然而,如果想要一個簡單的表單,F(xiàn)lask就不太適用了。通常用 Pywebio 來創(chuàng)建,它會創(chuàng)建了一個簡單、干凈的UI。所有的代碼都是用普通的python編寫的,并且我們不用額外學新東西!
# A simple script to calculate BMI from pywebio.input import input, FLOAT from pywebio.output import put_text def bmi(): height = input("Input your height(cm):", type=FLOAT) weight = input("Input your weight(kg):", type=FLOAT) BMI = weight / (height / 100) ** 2 top_status = [(16, 'Severely underweight'), (18.5, 'Underweight'), (25, 'Normal'), (30, 'Overweight'), (35, 'Moderately obese'), (float('inf'), 'Severely obese')] for top, status in top_status: if BMI <= top: put_text('Your BMI: %.1f. Category: %s' % (BMI, status)) break if __name__ == '__main__': bmi()
在幾秒鐘內(nèi),它轉換為一個前端 UI 網(wǎng)頁。我們還可以編寫一些會話并處理輸入和輸出,查看他們的文檔以獲取詳細信息。
三、Airflow
Airflow 是我最喜歡的軟件包之一,它是一種工作流管理工具,在 MLOPS 中經(jīng)常被低估和較少使用,它還可以用于特定的執(zhí)行間隔、重新訓練模型、批處理、網(wǎng)站抓取、投資組合跟蹤、自定義新聞提要等。
在工作流程方面,選項是無限的,它還可以連接到特定服務的云服務商。代碼可以用 python 寫,在 UI 上可以看到執(zhí)行,非常棒。工作流也可以按特定時間間隔進行安排。
四、Loguru
Logger 是我討厭但又不得不使用的工具,它是調(diào)試應用程序的最佳方法之一。但是,logger 里面的日志太多了,讓人比較煩。而 Loguru 在某種程度上就比較友好,它雖不能解決所有挑戰(zhàn),但是它很容易添加日志語句并為其添加更多調(diào)試。
from loguru import logger logger.debug("That's it, beautiful and simple logging!")
它還有助于拆分文件并執(zhí)行清理,因此我們不需要查看所有歷史日志。
logger.add("file_1.log", rotation="500 MB") # Automatically rotate too big file logger.add("file_2.log", rotation="12:00") # New file is created each day at noon logger.add("file_3.log", rotation="1 week") # Once the file is too old, it's rotated logger.add("file_X.log", retention="10 days") # Cleanup after some time logger.add("file_Y.log", compression="zip") # Save some loved space
你還可以使用參數(shù) backtrace 來回溯執(zhí)行。
簡而言之,在生產(chǎn)環(huán)境中使用這個包來調(diào)試應用程序或 AI 模型訓練是值得的。
五、Pydash
通常在數(shù)據(jù)清洗或處理中,我們要處理大量的數(shù)據(jù)清洗。這些是一些較小的項目,需要時間。例如,如何展平列表?當然,你可以寫一個清單,但是如果有一個快速功能來執(zhí)行這些操作呢?
這就是Pydash閃耀的地方,它成為了我的快速轉到庫,其中包含一系列python實用程序。
以上只是一個小例子,它包含很多功能,絕對值得一看。
六、Weights & Biases
WANDB是跟蹤和可視化機器學習管道最有用的包之一,我最喜歡的部分是他們的central dashboard,它類似于記錄器,但可以做更多的事情。
它易于使用,并集成了最流行的庫,如 Tensorflow、PyTorch、fastai、huggingface 等。但是,在商業(yè)領域使用它時有一些限制,你必須付費訂閱。除此之外,它是一個很棒的庫。
七、PyCaret
在R中我最喜歡的一個包是caret 包,當我看到 PyCaret 包時,我很興奮。因為它簡化了許多編碼,當你想快速做某件事情時可以使用。這個包有很多關于默認參數(shù)的選項,可以用不同的度量點運行不同的模型。
Summary
正如本文所說的,我們看到在應用程序開發(fā)或數(shù)據(jù)分析中使用了不同的包,這并不是一份詳盡的清單,我會繼續(xù)為大家分享更多的實用的工具包。
到此這篇關于你肯定不知道這7個非常實用的Python工具包的文章就介紹到這了,更多相關Python工具包內(nèi)容請搜索本站以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持本站!
版權聲明:本站文章來源標注為YINGSOO的內(nèi)容版權均為本站所有,歡迎引用、轉載,請保持原文完整并注明來源及原文鏈接。禁止復制或仿造本網(wǎng)站,禁止在非www.sddonglingsh.com所屬的服務器上建立鏡像,否則將依法追究法律責任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來,僅供學習參考,不代表本站立場,如有內(nèi)容涉嫌侵權,請聯(lián)系alex-e#qq.com處理。