Tutorial

Klasifikacija algoritama strojnog učenja: linearna regresija, klasifikacija i grupiranje

Strojno učenje ima velike sličnosti s matematičkom optimizacijom koja pruža metode, teorije i domene aplikacija.

Strojno učenje formulirano je kao "minimiziranje problema" gubitničke funkcije naspram zadanog skupa primjera (skup treninga). Ova značajka izražava odstupanje između vrijednosti predviđenih modelom koji se obučava i očekivanih vrijednosti za svaku primjeru primjera.

Krajnji je cilj naučiti model sposobnosti ispravnog predviđanja na skupu slučajeva koji nisu prisutni u setu treninga.

Metoda prema kojoj je moguće razlikovati različite kategorije algoritama je tip izlaza koji se očekuje od određenog sustava stroj za učenje.

Među glavnim kategorijama nalazimo:

La klasifikacija: ulazi se dijele na dva ili više klasa i sustav učenja mora proizvesti model koji može dodijeliti jednu ili više klasa među onima koji su dostupni ulazu.Ove se vrste zadataka obično rješavaju pomoću nadziranih tehnika učenja.
Primjer klasifikacije je dodjeljivanje jedne ili više oznaka slici na temelju predmeta ili predmeta sadržanih u njoj;
La regresija: konceptualno slična klasifikaciji s tom razlikom da izlaz ima kontinuiranu i ne diskretnu domenu.Obično se upravlja pod nadzorom učenja.
Primjer regresije je procjena dubine scene od prikaza u obliku slike u boji.

Zapravo, domena dotičnog izlaza je gotovo beskonačna i nije ograničena na određeni diskretni skup mogućnosti;
Il grupiranje: gdje je skup podataka podijeljen je u skupine koje, međutim, za razliku od klasifikacije, nisu a priori poznate.Sama priroda problema koji pripadaju ovoj kategoriji obično ih čini nenadziranim zadacima učenja.

Jednostavan model linearne regresije

Linearna regresija je amširoko korišten model koji se koristi za procjenu stvarnih vrijednosti kao što su:

troškovi kuća,
broj poziva,
ukupna prodaja po osobi,

i slijedi kriterij kontinuiranih varijabli:

četvornih metara,
pretplata na tekući račun,
obrazovanje osobe

U linearnoj regresiji slijedi odnos između neovisnih i ovisnih varijabli kroz liniju koja obično predstavlja odnos između dvije varijable.

Podesna linija poznata je kao regresijska linija i predstavljena je linearnom jednadžbom tipa Y = a * X + b.

Formula se temelji na interpoliranju podataka kako bi se dvije ili više karakteristika povezale jedna s drugom. Kad algoritam date unosnu karakteristiku, regresija vraća drugu karakteristiku.

Model višestruke linearne regresije

Kad imamo više od jedne nezavisne varijable, tada govorimo o višestrukoj linearnoj regresiji, pretpostavljajući model poput sljedećeg:

y=b₀ + B₁x₁ + B₂x₂ +… + B_nx_n

y je odgovor na vrijednosti, to jest, predstavlja rezultat predviđen modelom;
b₀ je presretanje, to je vrijednost y kad je x_isvi su jednaki 0;
prva karakteristika b₁ je koeficijent x₁;
još jedna značajka b_n je koeficijent x_n;
x₁,x₂,…, X_n su neovisne varijable modela.

U osnovi, jednadžba objašnjava odnos kontinuirane ovisne varijable (y) i dvije ili više neovisnih varijabli (x1, x2, x3…).

Na primjer, ako smo htjeli procijeniti emisiju CO2 automobila (ovisna varijabla y) s obzirom na snagu motora, broj cilindara i potrošnju goriva. Ovi potonji faktori su neovisne varijable x1, x2 i x3. Konstante bi su stvarni brojevi i zovu se procijenjeni regresijski koeficijenti modela, Y je kontinuirana ovisna varijabla, tj. Suma b0, b1 x1, b2 x2 itd. y će biti pravi broj.

Analiza višestruke regresije metoda je koja se koristi za prepoznavanje učinka koji neovisne varijable imaju na zavisnu varijablu.

Razumijevanje načina na koji se ovisna varijabla mijenja kao promjena neovisnih varijabli omogućava nam predviđanje učinaka ili utjecaja promjena u stvarnim situacijama.

Pomoću višestruke linearne regresije moguće je razumjeti kako se mijenja krvni tlak kako se mijenja indeks tjelesne mase uzimajući u obzir čimbenike kao što su dob, spol itd., Pretpostavljajući što bi se moglo dogoditi.

Višestrukom regresijom možemo dobiti procjene kretanja cijena, poput budućeg trenda nafte ili zlata.

Konačno, višestruka linearna regresija doživljava veći interes za područje strojnog učenja i umjetne inteligencije jer omogućava dobivanje izvedbenih modela učenja čak i u slučaju velikog broja zapisa koji se analiziraju.

Logistički regresijski model

Logistička regresija je statistički alat koji ima za cilj modelirati binomni rezultat s jednom ili više objašnjivih varijabli.

Obično se koristi za binarne probleme, gdje postoje samo dvije klase, na primjer Da ili Ne, 0 ili 1, muški ili ženski itd. ...

Na ovaj je način moguće opisati podatke i objasniti odnos između binarno ovisne varijable i jedne ili više nominalnih ili ordinalnih neovisnih varijabli.

Rezultat se utvrđuje korištenjem logističke funkcije, koja procjenjuje vjerojatnost, a zatim defizavršava najbližu klasu (pozitivnu ili negativnu) dobivenoj vrijednosti vjerojatnosti.

Logističku regresiju možemo smatrati metodom klasifikacije obitelji nadzirani algoritmi učenja.

Pomoću statističkih metoda, logistička regresija omogućuje generiranje rezultata koji, u stvari, predstavlja vjerojatnost da danoj ulaznoj vrijednosti pripada određenoj klasi.

U problemima binomne logističke regresije vjerojatnost da izlaz pripada jednoj klasi bit će P, dok drugoj skupini 1-P pripada (gdje je P broj između 0 i 1 jer izražava vjerojatnost).

Binomna logistička regresija djeluje dobro u svim onim slučajevima u kojima je varijabla koju pokušavamo predvidjeti binarna, to jest, može pretpostaviti samo dvije vrijednosti: vrijednost 1 koja predstavlja pozitivnu klasu, ili vrijednost 0 koja predstavlja negativnu klasu.

Primjeri problema koji se mogu riješiti logističkom regresijom su:

e-pošta je neželjena pošta ili ne;
kupnja na mreži je lažna ili ne, ocjenjujući uvjete kupnje;
pacijent ima lom, procjenjujući njegove polumjere.

Pomoću logističke regresije možemo napraviti prediktivnu analizu, mjereći odnos između onoga što želimo predvidjeti (ovisne varijable) i jedne ili više neovisnih varijabli, tj. Karakteristika. Procjena vjerojatnosti vrši se pomoću logističke funkcije.

Vjerojatnosti se naknadno pretvaraju u binarne vrijednosti, a kako bi se predviđanje ostvarilo, ovaj se rezultat dodjeljuje klasi kojoj pripada, na temelju toga je li ili ne u blizini same klase.

Na primjer, ako primjena logističke funkcije vraća 0,85, to znači da je ulaz generirao pozitivnu klasu dodjeljivanjem klasi 1. Obrnuto, ako je dobio vrijednost kao što je 0,4 ili općenito <0,5 ..

Logistička regresija koristi logističku funkciju za procjenu klasifikacije ulaznih vrijednosti.

Logistička funkcija, koja se naziva i sigmoidna, krivulja je sposobna uzeti bilo koji broj stvarne vrijednosti i preslikati je na vrijednost između 0 i 1, isključujući krajnosti. Funkcija je:

gdje je:

e: baza prirodnih logaritama (Eulerov broj ili excel funkcija exp ())
b0 + b1 * x: stvarna je brojčana vrijednost koju želite transformirati.

Zastupljenost koja se koristi za logističku regresiju

Logistička regresija koristi jednačinu kao reprezentaciju, slično kao linearna regresija

Ulazne vrijednosti (x) linearno se kombiniraju pomoću utega ili vrijednosti koeficijenta za predviđanje izlazne vrijednosti (y). Ključna razlika od linearne regresije je u tome što je modelirana izlazna vrijednost binarna vrijednost (0 ili 1), a ne numerička vrijednost.

Evo primjera jednadžbe logističke regresije:

y = e^(b0 + b1 * x) / (1 + e^(b0 + b1 * x))

Gdje:

y je ovisna varijabla, tj. predviđena vrijednost;
b0 je izraz polarizacije ili presretanja;
b1 je koeficijent za pojedinačnu ulaznu vrijednost (x).

Svaki stupac u ulaznim podacima ima pridruženi b koeficijent (konstantna stvarna vrijednost) koji se mora naučiti iz podataka o treningu.

Stvarni prikaz modela koji ćete pohraniti u memoriju ili datoteku jesu koeficijenti u jednadžbi (beta ili b vrijednost).

Logistička regresija predviđa vjerojatnosti (tehnički raspon)

Logistička regresija modelira vjerojatnost zadane klase.

Kao primjer, pretpostavimo da modeliramo spol ljudi muško ili žensko od njihove visine, prvi razred bi mogao biti muški, a logistički regresijski model mogao bi se napisati kao vjerojatnost da su muškarci s obzirom na visinu osobe ili više. formalno:

P (spol = muškarac | visina)

Na drugi način, modeliramo vjerojatnost da ulaz (X) pripada klasi predefikonačno (Y = 1), možemo to napisati kao:

P(X) = P(Y = 1 | X)

Predviđanje vjerojatnosti mora se pretvoriti u binarne vrijednosti (0 ili 1) da bi se stvarno predvidjelo vjerojatnost.

Logistička regresija linearna je metoda, ali predviđanja se transformišu pomoću logističke funkcije. Utjecaj toga je što više ne možemo shvatiti predviđanja kao linearnu kombinaciju ulaza, kao što možemo s linearnom regresijom, na primjer, nastavljajući se odozgo, model se može izraziti kao:

p(X) = e ^ (b0 + b1 * X) / (1 + e ^ (b0 + b1 * X))

Sada jednadžbu možemo preokrenuti na sljedeći način. Da bismo je preokrenuli, možemo nastaviti uklanjanjem e na jednoj strani dodavanjem prirodnog logaritma na drugoj strani.

ln (p (X) / 1 - p (X)) = b0 + b1 * X

Na ovaj način dobivamo činjenicu da je izračunavanje izlaza s desne strane opet linearno (baš kao i linearna regresija), a ulaz s lijeve strane je logaritam vjerojatnosti zadane klase.

Vjerojatnosti se izračunavaju kao omjer vjerojatnosti događaja podijeljen s vjerojatnošću da nema događaja, npr. 0,8 / (1-0,8) čiji je rezultat 4. Stoga bismo umjesto toga mogli napisati:

ln (izgledi) = b0 + b1 * X

Budući da se vjerojatnosti pretvaraju u zapisnik, to nazivamo lijevim jednostranim zapisnicima ili probitom.

Možemo vratiti eksponent udesno i napisati ga kao:

vjerojatnost = e ^ (b0 + b1 * X)

Sve nam ovo pomaže da shvatimo da je model doista još uvijek linearna kombinacija ulaza, ali da se ta linearna kombinacija odnosi na logaritamske vjerojatnosti pretklasedefinita.

Učenje modela logističke regresije

Koeficijenti (beta ili b vrijednosti) algoritma logističke regresije procjenjuju se u fazi učenja. Da bismo to učinili, koristimo maksimalnu procjenu vjerojatnosti.

Procjena maksimalne vjerojatnosti je algoritam učenja koji koristi nekoliko algoritama strojnog učenja. Koeficijenti koji proizlaze iz modela predviđaju vrijednost vrlo blizu 1 (npr. Muški) za pretklasudefinite i vrijednost vrlo blizu 0 (npr. žensko) za drugu klasu. Maksimalna vjerojatnost za logističku regresiju je postupak pronalaženja vrijednosti za koeficijente (Beta ili ob vrijednosti) koji minimiziraju pogrešku u vjerojatnostima predviđenim modelom u odnosu na one u podacima (npr. vjerojatnost 1 ako je podatak primarna klasa) .

Koristit ćemo algoritam minimiziranja za optimizaciju najboljih vrijednosti koeficijenta za podatke o treningu. To se često primjenjuje u praksi koristeći učinkovit algoritam numeričke optimizacije.

Ercole Palmeri