Cvičenie

Klasifikácia algoritmov strojového učenia: lineárna regresia, klasifikácia a zoskupovanie

Strojové učenie má veľkú podobnosť s matematickou optimalizáciou, ktorá poskytuje metódy, teórie a aplikačné domény. 

Strojové učenie je formulované ako „problémy s minimalizáciou“ stratovej funkcie oproti danému súboru príkladov (školiaca súprava). Táto funkcia vyjadruje nesúlad medzi hodnotami predpovedanými školeným modelom a očakávanými hodnotami pre každý príklad. 

Konečným cieľom je naučiť model schopnosť správne predpovedať na súbore prípadov, ktoré nie sú prítomné v tréningovom súbore.

Metóda, podľa ktorej je možné rozlíšiť rôzne kategórie algoritmov, je typ výstupu očakávaný od určitého systému strojové učenie

Medzi hlavné kategórie nájdeme:

  • La klasifikácia: vstupy sú rozdelené do dvoch alebo viacerých tried a vzdelávací systém musí vytvoriť model schopný priradiť jednu alebo viac tried k tým, ktoré sú k dispozícii pre vstup.Tieto typy úloh sa zvyčajne riešia pomocou kontrolovaných učebných techník. 

    Príkladom klasifikácie je priradenie jedného alebo viacerých štítkov k obrázku na základe predmetov alebo predmetov v ňom obsiahnutých;

  • La regresia: koncepčne podobné klasifikácii s tým rozdielom, že výstup má spojitú a nespojitú doménu.Spravidla sa riadi učením pod dohľadom. 

    Príkladom regresie je odhad hĺbky scény z jej zobrazenia vo forme farebného obrázka. 

    V skutočnosti je doména príslušného výstupu prakticky nekonečná a neobmedzuje sa na určitý diskrétny súbor možností;

  • Il clustering: kde to je súbor údajov je rozdelený do skupín, ktoré však na rozdiel od klasifikácie nie sú a priori známe.Samotná povaha problémov, ktoré patria do tejto kategórie, z nich spravidla robí nedohľadávané vzdelávacie úlohy.
Jednoduchý lineárny regresný model

Lineárna regresia je amširoko používaný model používaný na odhad skutočných hodnôt, ako napríklad:

  • náklady na domy,
  • počet hovorov,
  • celkový predaj na osobu,

a dodržiava kritérium spojitých premenných:

  • metrov štvorcových,
  • predplatné na bežný účet,
  • vzdelanie osoby

V lineárnej regresii je vzťah medzi nezávislými premennými a závislými premennými sledovaný čiarou, ktorá zvyčajne predstavuje vzťah medzi týmito dvoma premennými.

Prispôsobovacia čiara je známa ako regresná čiara a je predstavovaná lineárnou rovnicou typu Y = a * X + b.

Vzorec je založený na interpolovaných údajoch, ktoré navzájom spájajú dve alebo viac charakteristík. Keď zadáte algoritmu vstupnú charakteristiku, regresia vráti druhú charakteristiku.

Viacnásobný lineárny regresný model

Ak máme viac ako jednu nezávislú premennú, hovoríme o viacnásobnej lineárnej regresii, pričom sa predpokladá model ako je tento:


y=b0 + b1x1 + b2x2 +… + Bnxn

  • y je odozva na hodnoty, tj predstavuje výsledok predpovedaný modelom
  • b0 je priesečník, to je hodnota y, keď xi všetky sú rovné 0;
  • prvá charakteristika b1 je koeficient x1;
  • ďalšia vlastnosť bn je koeficient xn;
  • x1,x2,…, Xn sú nezávislé premenné modelu.

V praxi táto rovnica vysvetľuje vzťah medzi spojitou závislou premennou (y) a dvoma alebo viacerými nezávislými premennými (x1, x2, x3…). 

Napríklad, ak sme chceli odhadnúť emisie CO2 z automobilu (závislá premenná y) vzhľadom na výkon motora, počet valcov a spotrebu paliva. Týmito poslednými faktormi sú nezávislé premenné x1, x2 a x3. Konštanty bi sú reálne čísla a nazývajú sa odhadované regresné koeficienty modelu. Y je spojitá závislá premenná, t. J. Je súčet b0, bl, x1, b1 x2 atď. y bude skutočné číslo.

Viacnásobná regresná analýza je metóda použitá na identifikáciu účinku nezávislých premenných na závislú premennú.

Pochopenie toho, ako sa závislá premenná mení ako zmena nezávislých premenných, nám umožňuje predvídať účinky alebo dopady zmien v reálnych situáciách.

Použitím viacnásobnej lineárnej regresie je možné pochopiť, ako sa mení krvný tlak, keď sa mení index telesnej hmotnosti, berúc do úvahy faktory ako vek, pohlavie atď., Čím sa predpokladá, čo by sa mohlo stať.

S viacnásobnou regresiou môžeme získať odhady cenových trendov, ako je napríklad budúci trend ropy alebo zlata.

A nakoniec, viacnásobná lineárna regresia má väčší záujem v oblasti strojového učenia a umelej inteligencie, pretože umožňuje získať výkonné vzdelávacie modely aj v prípade veľkého počtu analyzovaných záznamov.

Logistický regresný model

Logistická regresia je štatistický nástroj, ktorého cieľom je modelovať binomický výsledok s jednou alebo viacerými vysvetľujúcimi premennými.

Všeobecne sa používa na binárne problémy, kde existujú iba dve triedy, napríklad áno alebo nie, 0 alebo 1, muž alebo žena atď.

Týmto spôsobom je možné opísať údaje a vysvetliť vzťah medzi binárnou závislou premennou a jednou alebo viacerými nominálnymi alebo poradovými nezávislými premennými.

Výsledok sa určí vďaka použitiu logistickej funkcie, ktorá odhadne pravdepodobnosť a potom defikončí trieda, ktorá je najbližšia (kladná alebo záporná) k získanej hodnote pravdepodobnosti.

Logistickú regresiu môžeme považovať za metódu klasifikácie rodiny algoritmy učenia pod dohľadom.

Logistická regresia umožňuje pomocou štatistických metód vygenerovať výsledok, ktorý v skutočnosti predstavuje pravdepodobnosť, že daná vstupná hodnota patrí do danej triedy.

Pri problémoch binomickej logistickej regresie bude pravdepodobnosť, že výstup patrí do jednej triedy, P, zatiaľ čo bude patriť do druhej triedy 1-P (kde P je číslo medzi 0 a 1, pretože vyjadruje pravdepodobnosť).

Binomická logistická regresia funguje dobre vo všetkých prípadoch, v ktorých je premenná, ktorú sa snažíme predpovedať, binárna, to znamená, že môže predpokladať iba dve hodnoty: hodnotu 1, ktorá predstavuje pozitívnu triedu, alebo hodnotu 0, ktorá predstavuje negatívnu triedu.

Príklady problémov, ktoré možno vyriešiť logistickou regresiou, sú:

  • e-mail je spam alebo nie;
  • online nákup je podvodný alebo nie, hodnotiaci podmienky nákupu;
  • pacient má zlomeninu, hodnotiac jej polomery.

S logistickou regresiou môžeme urobiť prediktívnu analýzu, zmerať vzťah medzi tým, čo chceme predpovedať (závislá premenná) a jednou alebo viacerými nezávislými premennými, t. J. Charakteristikami. Odhad pravdepodobnosti sa vykonáva pomocou logistickej funkcie.

Pravdepodobnosti sa následne transformujú na binárne hodnoty a aby sa prognóza stala skutočnosťou, je tento výsledok priradený k triede, do ktorej patrí, na základe toho, či je alebo nie je blízko k samotnej triede.

Napríklad ak aplikácia logistickej funkcie vráti 0,85, znamená to, že vstup vygeneroval pozitívnu triedu jej priradením do triedy 1. Naopak, ak získal hodnotu ako 0,4 alebo všeobecnejšie <0,5 ..

Inovačný bulletin
Nenechajte si ujsť najdôležitejšie novinky o inováciách. Prihláste sa na ich odber e-mailom.

Logistická regresia využíva logistickú funkciu na vyhodnotenie klasifikácie vstupných hodnôt.

Logistická funkcia, tiež nazývaná sigmoid, je krivka schopná vziať akýkoľvek počet skutočných hodnôt a mapovať ich na hodnotu medzi 0 a 1, bez extrémov. Funkcia je:

kde:

  • e: základ prirodzených logaritmov (Eulerovo číslo alebo excelová funkcia exp ())
  • b0 + b1 * x: je skutočná číselná hodnota, ktorú chcete transformovať.

Reprezentácia použitá na logistickú regresiu

Logistická regresia používa rovnicu ako reprezentáciu, podobne ako lineárna regresia

Vstupné hodnoty (x) sa lineárne kombinujú pomocou váh alebo koeficientov, aby sa predpovedala výstupná hodnota (y). Kľúčový rozdiel od lineárnej regresie spočíva v tom, že modelová výstupná hodnota je binárna hodnota (0 alebo 1), nie číselná hodnota.

Tu je príklad logistickej regresnej rovnice:

y = e ^ (b + b0 * x) / (1 + e ^ (b + b1 * x))

Kde:

  • y je závislá premenná, t. j. predpokladaná hodnota;
  • b0 je polarizačný alebo zachytávací člen;
  • b1 je koeficient pre jednu vstupnú hodnotu (x).

Každý stĺpec vo vstupných údajoch má priradený koeficient b (konštantná reálna hodnota), ktorý sa musí zistiť z údajov o výcviku.

Skutočná reprezentácia modelu, ktorý by ste uložili do pamäte alebo do súboru, sú koeficienty v rovnici (hodnota beta alebo b).

Logistická regresia predpovedá pravdepodobnosti (technický rozsah)

Logistická regresia modeluje pravdepodobnosť predvolenej triedy.

Predpokladajme napríklad, že modelujeme pohlavie ľudí ako mužov alebo žien z ich výšky, prvou triedou by mohol byť muž a logistický regresný model by sa dal písať ako pravdepodobnosť mužstva vzhľadom na výšku osoby alebo viac. formálne:

P (sex = muž | výška)

Inak povedané, modelujeme pravdepodobnosť, že vstup (X) patrí do triedy predefinite (Y = 1), môžeme to zapísať ako:

P(X) = P(Y = 1 | X)

Predikcia pravdepodobnosti sa musí transformovať na binárne hodnoty (0 alebo 1), aby sa mohla skutočne predpovedať pravdepodobnosť.

Logistická regresia je lineárna metóda, ale predpovede sa transformujú pomocou logistickej funkcie. Dôsledkom toho je, že už nedokážeme chápať predikcie ako lineárnu kombináciu vstupov, ako môžeme s lineárnou regresiou, napríklad pri pokračovaní zhora sa model dá vyjadriť ako:

p (X) = e ^ (b + b0 * X) / (1 + e ^ (b + b1 * X))

Teraz môžeme túto rovnicu zvrátiť nasledujúcim spôsobom. Ak ju chcete zvrátiť, môžeme pokračovať odstránením e na jednej strane pridaním prirodzeného logaritmu na druhej strane.

ln (p (X) / 1 - p (X)) = b + b0 * X

Týmto spôsobom získame skutočnosť, že výpočet výstupu vpravo je opäť lineárny (rovnako ako lineárna regresia) a vstup vľavo je logaritmus pravdepodobnosti predvolenej triedy.

Pravdepodobnosti sa počítajú ako pomer pravdepodobnosti udalosti delený pravdepodobnosťou, že nedochádza k žiadnym udalostiam, napr. 0,8 / (1-0,8), ktorých výsledok je 4. Takže by sme mohli namiesto toho napísať:

ln (kurz) = b0 + b1 * X

Pretože pravdepodobnosti sú transformované logom, nazývame to ľavostranné log-kurzy alebo pravdepodobnosti.

Exponent môžeme vrátiť doprava a napísať ho takto:

pravdepodobnosť = e ^ (b0 + b1 * X)

To všetko nám pomáha pochopiť, že model je skutočne stále lineárnou kombináciou vstupov, ale že táto lineárna kombinácia sa vzťahuje na logaritmické pravdepodobnosti predtriedy.definita.

Naučenie sa modelu logistickej regresie

Koeficienty (hodnoty beta alebo b) algoritmu logistickej regresie sa odhadujú vo fáze učenia. Na tento účel používame odhad maximálnej pravdepodobnosti.

Odhad maximálnej pravdepodobnosti je algoritmus učenia, ktorý používa niekoľko algoritmov strojového učenia. Koeficienty vyplývajúce z modelu predpovedajú hodnotu veľmi blízku 1 (napr. muž) pre predškolskú triedudefinite a hodnota veľmi blízka 0 (napr. žena) pre druhú triedu. Maximálna pravdepodobnosť logistickej regresie je postup hľadania hodnôt pre koeficienty (hodnoty Beta alebo ob), ktoré minimalizujú chybu v pravdepodobnostiach predpovedaných modelom vo vzťahu k pravdepodobnostiam v údajoch (napr. pravdepodobnosť 1, ak sú údaje primárnou triedou) .

Na optimalizáciu najlepších hodnôt koeficientov pre údaje o tréningu použijeme algoritmus minimalizácie. Toto sa v praxi často implementuje pomocou efektívneho algoritmu numerickej optimalizácie.

Ercole Palmeri


Inovačný bulletin
Nenechajte si ujsť najdôležitejšie novinky o inováciách. Prihláste sa na ich odber e-mailom.

Nedávne články

Výhody farebných stránok pre deti - svet mágie pre všetky vekové kategórie

Rozvíjanie jemnej motoriky pomocou vyfarbovania pripravuje deti na zložitejšie zručnosti, ako je písanie. Na farbenie…

2 mája 2024

Budúcnosť je tu: Ako námorný priemysel prináša revolúciu do globálnej ekonomiky

Námorný sektor je skutočnou globálnou ekonomickou veľmocou, ktorá smerovala k 150 miliardovému trhu...

1 mája 2024

Vydavatelia a OpenAI podpisujú dohody o regulácii toku informácií spracovávaných umelou inteligenciou

Minulý pondelok Financial Times oznámili dohodu s OpenAI. FT licencuje svoju žurnalistiku svetovej triedy…

Apríla 30 2024

Online platby: Takto budete vďaka streamovacím službám platiť navždy

Milióny ľudí platia za streamovacie služby a platia mesačné predplatné. Je bežný názor, že si…

Apríla 29 2024