Ebben a cikkben néhány kevéssé ismert, de nagyon hasznos python könyvtárat látunk:
Bár sok könyvtár elérhető Piton A DateTime esetében a Pendulum könnyen használható bármilyen dátumművelethez. Az inga a kedvenc könyvespolcom mindennapi munkámhoz. Kibővíti a beépített Python datetime modult, és egy intuitívabb API-t ad hozzá az időzónák kezeléséhez, valamint dátum- és időműveletek végrehajtásához, például időintervallumok hozzáadásához, dátumok kivonásához és időzónák közötti átalakításhoz. Egyszerű és intuitív API-t biztosít a dátumok és időpontok formázásához.
!pip install pendulum
# import library
import pendulum
dt = pendulum.datetime(2023, 1, 31)
print(dt)
#local() creates datetime instance with local timezone
local = pendulum.local(2023, 1, 31)
print("Local Time:", local)
print("Local Time Zone:", local.timezone.name)
# Printing UTC time
utc = pendulum.now('UTC')
print("Current UTC time:", utc)
# Converting UTC timezone into Europe/Paris time
europe = utc.in_timezone('Europe/Paris')
print("Current time in Paris:", europe)
Találkoztál már olyan esettel, amikor az idegen nyelv nem megfelelően jelenik meg az adatokban? Ezt hívják Mojibake-nek. A Mojibake kifejezés a kódolási vagy dekódolási problémák következtében fellépő elrontott vagy összezavart szöveg leírására szolgál. Általában akkor fordul elő, ha az egy karakterkódolással írt szöveget helytelenül dekódolják más kódolással. Az ftfy python könyvtár segít a Mojibake javításában, ami nagyon hasznos az NLP használati esetekben.
!pip install ftfy
print(ftfy.fix_text('Javítsa ki a mondatot az “ftfyâ€\x9d.')) print(ftfy.fix_text('✔ Nincs probléma a szöveggel')) print(ftfy.fix_text('à perturber la rèflexion '))
A Mojibake mellett az ftfy javítja a rossz kódolásokat, a rossz sorvégződéseket és a rossz idézőjeleket. megértheti a következő kódolások egyikével dekódolt szöveget:
A Sketch egy egyedülálló mesterséges intelligencia-kódoló asszisztens, amelyet kifejezetten a Python pandas könyvtárával dolgozó felhasználók számára terveztek. Gépi tanulási algoritmusokat használ a felhasználói adatok kontextusának megértéséhez, és releváns kódjavaslatokat kínál az adatkezelési és -elemzési feladatok egyszerűbbé és hatékonyabbá tételéhez. A Sketch nem követeli meg a felhasználóktól, hogy további beépülő modulokat telepítsenek az IDE-be, így gyorsan és egyszerűen használható. Ez jelentősen csökkentheti az adatokkal kapcsolatos feladatokhoz szükséges időt és erőfeszítést, és segíthet a felhasználóknak jobb, hatékonyabb kód írásában.
!pip telepítési vázlat
A könyvtár használatához hozzá kell adnunk egy .sketch kiterjesztést a pandas adatkerethez.
kérdez a Sketch olyan funkciója, amely lehetővé teszi a felhasználók számára, hogy természetes nyelvi formátumban tegyenek fel kérdéseket adataikkal kapcsolatban. Szövegalapú választ ad a felhasználó lekérdezésére.
# Könyvtárak importálása vázlatok importálása pandák importálása pd-ként # Adatok beolvasása (példaként a Twitter-adatok felhasználásával) df = pd.read_csv("tweets.csv") print(df)
# A kategória típusú oszlopok megkérdezése df.sketch.ask("Melyik oszlopok kategória típusúak?")
# Az adatkeret alakjának megkereséséhez df.sketch.ask("Mi az adatkeret alakja")
.vázlat.hogyan
howto egy olyan szolgáltatás, amely egy kódblokkot biztosít, amely különböző adatokkal kapcsolatos feladatok kezdő- vagy végpontjaként használható. Kérhetünk kódrészleteket adataik normalizálásához, új funkciók létrehozásához, adatok nyomon követéséhez és akár modellek készítéséhez. Ez időt takarít meg, és megkönnyíti a kód másolását és beillesztését; nem kell a semmiből kézzel megírni a kódot.
# Az érzelmek megjelenítéséhez kivágott kód kérése df.sketch.howto("Vizualizálja az érzelmeket")
.vázolni.alkalmazni
Az .apply függvény segít új funkciók létrehozásában, mezők elemzésében és egyéb adatmanipulációk végrehajtásában. A funkció használatához OpenAI-fiókkal kell rendelkeznünk, és az API-kulcsot kell használnunk a feladatok végrehajtásához. Ezt a funkciót nem próbáltam.
Különösen élveztem ezt a könyvtárat hogyan működik, és hasznosnak találom.
A „pgeocode” egy kiváló könyvtár, amelybe nemrég bukkantam, és hihetetlenül hasznos volt a térelemzési projektjeimhez. Lehetővé teszi például a két irányítószám közötti távolság meghatározását, és földrajzi információkat szolgáltat az ország és az irányítószám megadásával.
!pip install pgeocode
Szerezzen földrajzi információkat adott irányítószámokhoz
# "India" ország ellenőrzése nomi = pgeocode.Nominatim('In') # Földrajzi adatok megszerzése irányítószámok átadásával nomi.query_postal_code(["620018", "620017", "620012"])
A „pgeocode” kiszámítja a két irányítószám közötti távolságot az ország és az irányítószámok bevitelével. Az eredményt kilométerben fejezzük ki.
# Távolság keresése két irányítószám között távolság = pgeocode.GeoDistance('In') distance.query_postal_code("620018", "620012")
A rembg egy másik hasznos könyvtár, amely könnyen eltávolítja a hátteret a képekről.
!pip install rembg
# Könyvtárak importálása
from rembg import remove import cv2 # bemeneti kép elérési útja (saját fájl: image.jpeg) input_path = 'image.jpeg' # elérési út a kimeneti kép mentéséhez és kimenetként való mentéshez.jpeg output_path = 'output.jpeg' # A bemenet olvasása image input = cv2.imread(bemeneti_útvonal) # Háttérkimenet eltávolítása = remove(input) # Fájl mentése cv2.imwrite(output_path, output)
Lehet, hogy már ismeri ezeket a könyvtárakat, de számomra a Sketch, a Pendulum, a pgeocode és az ftfy nélkülözhetetlenek az adatmérnöki munkámhoz. A projektjeim során sokat számítok rájuk.
Humanize” egyszerű, könnyen olvasható karakterláncformázást biztosít számokhoz, dátumokhoz és időpontokhoz. A könyvtár célja az adatok átvétele és felhasználóbarátabbá tétele, például úgy, hogy néhány másodpercet egy olvashatóbb karaktersorozattá konvertál, például "2 perccel ezelőtt". A könyvtár sokféle módon formázhatja az adatokat, beleértve a számok vesszővel történő formázását, az időbélyegek relatív időké alakítását stb.
Gyakran használok egész számokat és időbélyegeket adatmérnöki projektjeimhez.
!pip install humanize
# Könyvtár importálása humanize import datetime as dt # Számok formázása vesszővel a = humanize.intcomma(951009) # számok konvertálása szavakká b = humanize.intword(10046328394) #printing print(a) print(b)
import humanize import datetime as dt a = humanize.naturaldate(dt.date(2012, 6, 5)) b = humanize.naturalday(dt.date(2012, 6, 5)) print(a) print(b)
Ercole Palmeri
A finom motoros készségek színezéssel történő fejlesztése felkészíti a gyerekeket olyan összetettebb készségekre, mint az írás. Kiszínezni…
A haditengerészeti szektor igazi világgazdasági hatalom, amely egy 150 milliárdos piac felé navigált...
Múlt hétfőn a Financial Times bejelentette, hogy megállapodást köt az OpenAI-val. Az FT engedélyezi világszínvonalú újságírását…
Emberek milliói fizetnek a streaming szolgáltatásokért, havi előfizetési díjat fizetve. Általános vélemény, hogy Ön…