അതിശയകരവും എന്നാൽ അധികം അറിയപ്പെടാത്തതുമായ പൈത്തൺ ലൈബ്രറികൾ

പൈത്തൺ പ്രോഗ്രാമർ എപ്പോഴും പുതിയ ലൈബ്രറികൾക്കായി തിരയുന്നു, ഇത് ഡാറ്റാ എഞ്ചിനീയറിംഗ്, ബിസിനസ് ഇന്റലിജൻസ് പ്രോജക്റ്റുകളുടെ പ്രവർത്തനം മെച്ചപ്പെടുത്താൻ കഴിയും.

ഈ ലേഖനത്തിൽ നമ്മൾ കുറച്ച് അറിയപ്പെടുന്നതും എന്നാൽ വളരെ ഉപയോഗപ്രദവുമായ ചില പൈത്തൺ ലൈബ്രറികൾ കാണുന്നു:

1. പെൻഡുലം

ധാരാളം ലൈബ്രറികൾ ലഭ്യമാണെങ്കിലും പൈത്തൺ DateTime-ന്, ഏത് തീയതി പ്രവർത്തനത്തിലും പെൻഡുലം ഉപയോഗിക്കാൻ എളുപ്പമാണെന്ന് ഞാൻ കാണുന്നു. ജോലിസ്ഥലത്ത് എന്റെ ദൈനംദിന ഉപയോഗത്തിന് ഒരു പെൻഡുലം എന്റെ പ്രിയപ്പെട്ട പുസ്തകക്കെട്ടാണ്. ബിൽറ്റ്-ഇൻ പൈത്തൺ ഡേറ്റ്‌ടൈം മൊഡ്യൂൾ വിപുലീകരിക്കുന്നു, സമയ മേഖലകൾ നിയന്ത്രിക്കുന്നതിനും സമയ ഇടവേളകൾ ചേർക്കുന്നതിനും തീയതികൾ കുറയ്ക്കുന്നതിനും സമയ മേഖലകൾക്കിടയിൽ പരിവർത്തനം ചെയ്യുന്നതിനുമുള്ള തീയതിയും സമയ പ്രവർത്തനങ്ങളും നിർവഹിക്കുന്നതിന് കൂടുതൽ അവബോധജന്യമായ API ചേർക്കുന്നു. തീയതികളും സമയങ്ങളും ഫോർമാറ്റ് ചെയ്യുന്നതിന് ലളിതവും അവബോധജന്യവുമായ API നൽകുന്നു.

ഇൻസ്റ്റാളസിയോൺ

!pip install pendulum

ഉദാഹരണം

# import library

import pendulum
dt = pendulum.datetime(2023, 1, 31)
print(dt)
 
#local() creates datetime instance with local timezone

local = pendulum.local(2023, 1, 31)
print("Local Time:", local)
print("Local Time Zone:", local.timezone.name)

# Printing UTC time

utc = pendulum.now('UTC')
print("Current UTC time:", utc)
 
# Converting UTC timezone into Europe/Paris time

europe = utc.in_timezone('Europe/Paris')
print("Current time in Paris:", europe)

ഔട്ട്പുട്ട്

2. ftfy

ഡാറ്റയിലെ വിദേശ ഭാഷ ശരിയായി ദൃശ്യമാകാത്തപ്പോൾ നിങ്ങൾ നേരിട്ടിട്ടുണ്ടോ? ഇതിനെ മോജിബേക്ക് എന്ന് വിളിക്കുന്നു. എൻകോഡിംഗ് അല്ലെങ്കിൽ ഡീകോഡിംഗ് പ്രശ്നങ്ങളുടെ ഫലമായി സംഭവിക്കുന്ന ഗാർബിൾഡ് അല്ലെങ്കിൽ സ്ക്രാംബിൾഡ് ടെക്സ്റ്റിനെ വിവരിക്കാൻ ഉപയോഗിക്കുന്ന പദമാണ് മോജിബേക്ക്. ഒരു പ്രതീക എൻകോഡിംഗ് ഉപയോഗിച്ച് എഴുതിയ ടെക്സ്റ്റ് മറ്റൊരു എൻകോഡിംഗ് ഉപയോഗിച്ച് തെറ്റായി ഡീകോഡ് ചെയ്യുമ്പോൾ ഇത് സാധാരണയായി സംഭവിക്കുന്നു. NLP ഉപയോഗ കേസുകളിൽ വളരെ ഉപയോഗപ്രദമായ Mojibake ശരിയാക്കാൻ ftfy python ലൈബ്രറി നിങ്ങളെ സഹായിക്കും.

ഇൻസ്റ്റാളസിയോൺ

!പിപ്പ് ഇൻസ്റ്റാൾ ftfy

ഉദാഹരണം

print(ftfy.fix_text('വാചകം “ftfyâ€\x9d.' ഉപയോഗിച്ച് ശരിയാക്കുക.)) പ്രിന്റ്(ftfy.fix_text('âœ" ടെക്‌സ്‌റ്റിൽ പ്രശ്‌നങ്ങളൊന്നുമില്ല')) പ്രിന്റ്(ftfy.fix_text('ഇത് പ്രതിഫലനത്തെ ശല്യപ്പെടുത്തും ' ))

ഔട്ട്പുട്ട്

Mojibake കൂടാതെ, ftfy തെറ്റായ എൻകോഡിംഗുകൾ, തെറ്റായ വരി അവസാനങ്ങൾ, തെറ്റായ ഉദ്ധരണികൾ എന്നിവ പരിഹരിക്കും. ഇനിപ്പറയുന്ന എൻകോഡിംഗുകളിലൊന്നായി ഡീകോഡ് ചെയ്ത ടെക്സ്റ്റ് മനസ്സിലാക്കാൻ കഴിയും:

• ലാറ്റിൻ-1 (ISO-8859–1)
• Windows-1252 (cp1252 — Microsoft ഉൽപ്പന്നങ്ങളിൽ ഉപയോഗിക്കുന്നു)
• Windows-1251 (cp1251 — cp1252 ന്റെ റഷ്യൻ പതിപ്പ്)
• Windows-1250 (cp1250 — cp1252 ന്റെ കിഴക്കൻ യൂറോപ്യൻ പതിപ്പ്)
• ISO-8859–2 (ഇത് വിൻഡോസ്-1250 ന് സമാനമല്ല)
• MacRoman (Mac OS 9-ലും അതിനു മുമ്പും ഉപയോഗിച്ചത്)
• cp437 (MS-DOS-ലും വിൻഡോസ് കമാൻഡ് പ്രോംപ്റ്റിന്റെ ചില പതിപ്പുകളിലും ഉപയോഗിക്കുന്നു)

3. സ്കെച്ച്

പൈത്തണിലെ പാണ്ടസ് ലൈബ്രറിയിൽ പ്രവർത്തിക്കുന്ന ഉപയോക്താക്കൾക്കായി പ്രത്യേകം രൂപകൽപ്പന ചെയ്ത ഒരു തനതായ AI കോഡിംഗ് അസിസ്റ്റന്റാണ് സ്കെച്ച്. ഉപയോക്തൃ ഡാറ്റയുടെ സന്ദർഭം മനസിലാക്കാൻ ഇത് മെഷീൻ ലേണിംഗ് അൽഗോരിതങ്ങൾ ഉപയോഗിക്കുന്നു കൂടാതെ ഡാറ്റ കൃത്രിമത്വവും വിശകലന ജോലികളും എളുപ്പവും കാര്യക്ഷമവുമാക്കുന്നതിന് പ്രസക്തമായ കോഡ് നിർദ്ദേശങ്ങൾ നൽകുന്നു. സ്കെച്ചിന് ഉപയോക്താക്കൾ അവരുടെ IDE-യിൽ അധിക പ്ലഗ്-ഇന്നുകൾ ഇൻസ്റ്റാൾ ചെയ്യേണ്ട ആവശ്യമില്ല, ഇത് വേഗത്തിലും എളുപ്പത്തിലും ഉപയോഗിക്കാൻ കഴിയും. ഇത് ഡാറ്റയുമായി ബന്ധപ്പെട്ട ജോലികൾക്ക് ആവശ്യമായ സമയവും പരിശ്രമവും ഗണ്യമായി കുറയ്ക്കുകയും മികച്ചതും കൂടുതൽ കാര്യക്ഷമവുമായ കോഡ് എഴുതാൻ ഉപയോക്താക്കളെ സഹായിക്കുകയും ചെയ്യും.

ഇൻസ്റ്റാളസിയോൺ

!പിപ്പ് ഇൻസ്റ്റാൾ സ്കെച്ച്

ഉദാഹരണം

ഈ ലൈബ്രറി ഉപയോഗിക്കുന്നതിന് നമുക്ക് പാണ്ടാസ് ഡാറ്റാഫ്രെയിമിലേക്ക് ഒരു .സ്കെച്ച് എക്സ്റ്റൻഷൻ ചേർക്കേണ്ടതുണ്ട്.

.sketch.ask

ചോദിക്കൂ എന്നത് സ്കെച്ചിലെ ഒരു സവിശേഷതയാണ്, ഇത് സ്വാഭാവിക ഭാഷാ ഫോർമാറ്റിൽ അവരുടെ ഡാറ്റയെക്കുറിച്ച് ചോദ്യങ്ങൾ ചോദിക്കാൻ ഉപയോക്താക്കളെ അനുവദിക്കുന്നു. ഉപയോക്താവിന്റെ ചോദ്യത്തിന് ടെക്സ്റ്റ് അടിസ്ഥാനമാക്കിയുള്ള പ്രതികരണം നൽകുന്നു.

# ലൈബ്രറികൾ ഇറക്കുമതി ചെയ്യുന്നത് സ്കെച്ച് ഇംപോർട്ട് പാണ്ടകളെ pd ആയി ഇറക്കുമതി ചെയ്യുന്നു # ഡാറ്റ റീഡിംഗ് (ഉദാഹരണമായി ട്വിറ്റർ ഡാറ്റ ഉപയോഗിച്ച്) df = pd.read_csv("tweets.csv") print(df)

# ഏത് കോളങ്ങളാണ് കാറ്റഗറി ടൈപ്പ് എന്ന് ചോദിക്കുന്നത് df.sketch.ask("ഏത് കോളങ്ങളാണ് കാറ്റഗറി തരം?")

ഔട്ട്പുട്ട്

# ഡാറ്റാഫ്രെയിമിന്റെ ആകൃതി കണ്ടെത്താൻ df.sketch.ask("ഡാറ്റാഫ്രെയിമിന്റെ ആകൃതി എന്താണ്")

.sketch.howto

എങ്ങിനെ ഡാറ്റയുമായി ബന്ധപ്പെട്ട വിവിധ ജോലികൾക്കായി ഒരു ആരംഭ പോയിന്റായി ഉപയോഗിക്കാവുന്ന ഒരു ബ്ലോക്ക് കോഡ് നൽകുന്ന ഒരു സവിശേഷതയാണ്. അവരുടെ ഡാറ്റ നോർമലൈസ് ചെയ്യുന്നതിനും പുതിയ ഫീച്ചറുകൾ സൃഷ്ടിക്കുന്നതിനും ഡാറ്റ ട്രാക്ക് ചെയ്യുന്നതിനും മോഡലുകൾ നിർമ്മിക്കുന്നതിനും കോഡിന്റെ സ്‌നിപ്പെറ്റുകൾ ആവശ്യപ്പെടാം. ഇത് സമയം ലാഭിക്കുകയും കോഡ് പകർത്തി ഒട്ടിക്കുന്നത് എളുപ്പമാക്കുകയും ചെയ്യും; നിങ്ങൾ ആദ്യം മുതൽ സ്വമേധയാ കോഡ് എഴുതേണ്ടതില്ല.

# വികാരങ്ങൾ ദൃശ്യവൽക്കരിക്കുന്നതിന് കോഡ് സ്നിപ്പ് ചെയ്യാൻ ആവശ്യപ്പെടുന്നു df.sketch.howto("വികാരങ്ങളെ ദൃശ്യവൽക്കരിക്കുക")

ഔട്ട്പുട്ട്

.sketch.apply

The .apply ഫംഗ്‌ഷൻ പുതിയ സവിശേഷതകൾ സൃഷ്ടിക്കുന്നതിനും ഫീൽഡുകൾ വിശകലനം ചെയ്യുന്നതിനും മറ്റ് ഡാറ്റ കൃത്രിമങ്ങൾ നടത്തുന്നതിനും സഹായിക്കുന്നു. ഈ സവിശേഷത ഉപയോഗിക്കുന്നതിന്, ഞങ്ങൾക്ക് ഒരു OpenAI അക്കൗണ്ട് ഉണ്ടായിരിക്കുകയും ടാസ്‌ക്കുകൾ നിർവഹിക്കുന്നതിന് API കീ ഉപയോഗിക്കുകയും വേണം. ഞാൻ ഈ ഫീച്ചർ പരീക്ഷിച്ചിട്ടില്ല.

ഈ ലൈബ്രറി ഉപയോഗിക്കുന്നത് ഞാൻ ആസ്വദിച്ചു, പ്രത്യേകിച്ച് വരുക ഇത് പ്രവർത്തിക്കുന്നു, എനിക്ക് ഇത് ഉപയോഗപ്രദമാണെന്ന് തോന്നുന്നു.

4. പിജിയോകോഡ്

"pgeocode" എന്നത് എന്റെ സ്പേഷ്യൽ വിശകലന പ്രോജക്റ്റുകൾക്ക് അവിശ്വസനീയമാംവിധം ഉപയോഗപ്രദമായ ഒരു മികച്ച ലൈബ്രറിയാണ്. ഉദാഹരണത്തിന്, രണ്ട് തപാൽ കോഡുകൾ തമ്മിലുള്ള ദൂരം കണ്ടെത്താൻ ഇത് നിങ്ങളെ അനുവദിക്കുന്നു കൂടാതെ ഒരു രാജ്യവും തപാൽ കോഡും ഇൻപുട്ടായി എടുത്ത് ഭൂമിശാസ്ത്രപരമായ വിവരങ്ങൾ നൽകുന്നു.

ഇൻസ്റ്റാളസിയോൺ

!പിപ്പ് ഇൻസ്റ്റോൾ pgecode

ഉദാഹരണം

നിർദ്ദിഷ്ട പോസ്റ്റ്കോഡുകൾക്കായി ഭൂമിശാസ്ത്രപരമായ വിവരങ്ങൾ നേടുക

# "ഇന്ത്യ" നോമി = pgeocode. നോമിനറ്റിം('ഇൻ') എന്ന രാജ്യം പരിശോധിക്കുന്നു # nomi.query_postal_code(["620018", "620017", "620012"]) പോസ്റ്റ്‌കോഡുകൾ പാസാക്കി ജിയോ വിവരങ്ങൾ നേടുന്നു

ഔട്ട്പുട്ട്

"pgeocode" രാജ്യവും പിൻകോഡുകളും ഇൻപുട്ടായി എടുത്ത് രണ്ട് പോസ്റ്റ്കോഡുകൾ തമ്മിലുള്ള ദൂരം കണക്കാക്കുന്നു. ഫലം കിലോമീറ്ററുകളിൽ പ്രകടിപ്പിക്കുന്നു.

# രണ്ട് പിൻകോഡുകൾ തമ്മിലുള്ള ദൂരം കണ്ടെത്തുന്നു ദൂരം = pgeocode.GeoDistance('In') ദൂരം.query_postal_code("620018", "620012")

ഔട്ട്പുട്ട്

5. rembg

ചിത്രങ്ങളിൽ നിന്ന് പശ്ചാത്തലം എളുപ്പത്തിൽ നീക്കം ചെയ്യുന്ന മറ്റൊരു ഉപയോഗപ്രദമായ ലൈബ്രറിയാണ് rembg.

ഇൻസ്റ്റാളസിയോൺ

!പിപ്പ് ഇൻസ്റ്റാൾ rembg

ഉദാഹരണം

# ലൈബ്രറികൾ ഇറക്കുമതി ചെയ്യുന്നു

rembg ഇറക്കുമതിയിൽ നിന്ന് ഇറക്കുമതി നീക്കം ചെയ്യുക cv2 # പാത്ത് ഇൻപുട്ട് ഇമേജ് (എന്റെ ഫയൽ: image.jpeg) input_path = 'image.jpeg' # ഔട്ട്‌പുട്ട് ഇമേജ് സംരക്ഷിക്കുന്നതിനും output ആയി സംരക്ഷിക്കുന്നതിനുമുള്ള പാത്ത്.jpeg output_path = 'output.jpeg' # ഇൻപുട്ട് വായിക്കുന്നു ഇമേജ് ഇൻപുട്ട് = cv2.imread(input_path) # പശ്ചാത്തല ഔട്ട്‌പുട്ട് നീക്കംചെയ്യുന്നു = നീക്കം ചെയ്യുക(ഇൻപുട്ട്) # ഫയൽ സംരക്ഷിക്കുന്നു cv2.imwrite(output_path, output)

ഔട്ട്പുട്ട്

ഈ ലൈബ്രറികളിൽ ചിലത് നിങ്ങൾക്ക് ഇതിനകം പരിചിതമായിരിക്കാം, എന്നാൽ എനിക്ക് സ്കെച്ച്, പെൻഡുലം, pgecode, ftfy എന്നിവ എന്റെ ഡാറ്റാ എഞ്ചിനീയറിംഗ് ജോലികൾക്ക് ഒഴിച്ചുകൂടാനാവാത്തതാണ്. എന്റെ പ്രോജക്ടുകൾക്കായി ഞാൻ അവരെ വളരെയധികം ആശ്രയിക്കുന്നു.

6. മാനുഷികമാക്കുക

അക്കങ്ങൾ, തീയതികൾ, സമയം എന്നിവയ്‌ക്കായുള്ള ലളിതവും വായിക്കാൻ എളുപ്പമുള്ളതുമായ സ്‌ട്രിംഗ് ഫോർമാറ്റിംഗ് ഹ്യൂമനൈസ്” നൽകുന്നു. ലൈബ്രറിയുടെ ലക്ഷ്യം ഡാറ്റ എടുത്ത് കൂടുതൽ ഉപയോക്തൃ-സൗഹൃദമാക്കുക എന്നതാണ്, ഉദാഹരണത്തിന്, "2 മിനിറ്റ് മുമ്പ്" പോലെയുള്ള കൂടുതൽ വായിക്കാനാകുന്ന സ്ട്രിംഗിലേക്ക് കുറച്ച് സെക്കൻഡുകൾ പരിവർത്തനം ചെയ്യുക. കോമകൾ ഉപയോഗിച്ച് നമ്പറുകൾ ഫോർമാറ്റ് ചെയ്യുക, ടൈംസ്റ്റാമ്പുകൾ ആപേക്ഷിക സമയങ്ങളിലേക്ക് പരിവർത്തനം ചെയ്യുക എന്നിവയും അതിലേറെയും ഉൾപ്പെടെ വിവിധ രീതികളിൽ ലൈബ്രറിക്ക് ഡാറ്റ ഫോർമാറ്റ് ചെയ്യാൻ കഴിയും.

എന്റെ ഡാറ്റാ എഞ്ചിനീയറിംഗ് പ്രോജക്റ്റുകൾക്കായി ഞാൻ പലപ്പോഴും പൂർണ്ണസംഖ്യകളും ടൈംസ്റ്റാമ്പുകളും ഉപയോഗിക്കുന്നു.

ഇൻസ്റ്റാളസിയോൺ

!പിപ്പ് ഇൻസ്റ്റാൾ ഹ്യൂമനിസ്

ഉദാഹരണം (മുഴുവൻ സംഖ്യകൾ)

# ലൈബ്രറി ഇറക്കുമതി ഹ്യൂമലൈസ് ഇറക്കുമതി തീയതി സമയം dt ആയി ഇംപോർട്ട് ചെയ്യുന്നു # കോമ ഉപയോഗിച്ച് നമ്പറുകൾ ഫോർമാറ്റിംഗ് ചെയ്യുന്നു a = humanize.intcomma(951009) # നമ്പറുകളെ വാക്കുകളാക്കി മാറ്റുന്നു b = humanize.intword(10046328394) #printing print(a) print(b)

ഔട്ട്പുട്ട്

ഉദാഹരണം (തീയതിയും സമയവും)

dt a = humanize.naturaldate(dt.date(2012, 6, 5)) b = humanize.naturalday(dt.date(2012, 6, 5)) പ്രിന്റ്(എ) പ്രിന്റ്(ബി)

Ercole Palmeri