Ταξινόμηση αλγορίθμων μηχανικής μάθησης: Γραμμική παλινδρόμηση, ταξινόμηση και ομαδοποίηση

Η Μηχανική Μάθηση έχει μεγάλες ομοιότητες με τη μαθηματική βελτιστοποίηση, η οποία παρέχει μεθόδους, θεωρίες και τομείς εφαρμογών. 

Η μηχανική εκμάθηση διατυπώνεται ως «προβλήματα ελαχιστοποίησης» μιας λειτουργίας απώλειας έναντι ενός δεδομένου συνόλου παραδειγμάτων (σετ εκπαίδευσης). Αυτή η συνάρτηση εκφράζει την απόκλιση μεταξύ των τιμών που προβλέπονται από το μοντέλο που εκπαιδεύεται και των αναμενόμενων τιμών για κάθε παράδειγμα. 

Ο απώτερος στόχος είναι να διδάξει στο μοντέλο την ικανότητα να προβλέπει σωστά σε ένα σύνολο περιπτώσεων που δεν υπάρχουν στο σετ προπόνησης.

Μια μέθοδος σύμφωνα με την οποία είναι δυνατή η διάκριση διαφορετικών κατηγοριών αλγορίθμων είναι ο τύπος της εξόδου που αναμένεται από ένα συγκεκριμένο σύστημα μάθηση μηχανής. 

Μεταξύ των κύριων κατηγοριών που βρίσκουμε:

• La ταξινόμηση: Οι είσοδοι χωρίζονται σε δύο ή περισσότερες τάξεις και το σύστημα μάθησης πρέπει να παράγει ένα μοντέλο ικανό να εκχωρήσει μία ή περισσότερες τάξεις μεταξύ εκείνων που είναι διαθέσιμες σε μια είσοδο.Αυτοί οι τύποι εργασιών αντιμετωπίζονται συνήθως χρησιμοποιώντας εποπτευόμενες τεχνικές μάθησης. 

  Ένα παράδειγμα ταξινόμησης είναι η εκχώρηση μιας ή περισσότερων ετικετών σε μια εικόνα που βασίζεται στα αντικείμενα ή τα θέματα που περιέχονται σε αυτήν.

• La οπισθοδρόμηση: εννοιολογικά παρόμοια με την ταξινόμηση με τη διαφορά ότι η έξοδος έχει συνεχή και μη διακριτή περιοχή.Διαχειρίζεται συνήθως με εποπτευόμενη μάθηση. 

  Ένα παράδειγμα παλινδρόμησης είναι η εκτίμηση του βάθους μιας σκηνής από την αναπαράστασή της με τη μορφή έγχρωμης εικόνας. 

  Στην πραγματικότητα, ο τομέας της εν λόγω παραγωγής είναι ουσιαστικά άπειρος και δεν περιορίζεται σε ένα συγκεκριμένο διακριτό σύνολο δυνατοτήτων.

• Il ομαδοποίηση: που είναι ένα σύνολο δεδομένων χωρίζεται σε ομάδες οι οποίες, ωστόσο, σε αντίθεση με την ταξινόμηση, δεν είναι γνωστές a priori.Η ίδια η φύση των προβλημάτων που ανήκουν σε αυτήν την κατηγορία τα καθιστά συνήθως μη επιτηρούμενα μαθησιακά καθήκοντα.

Απλό μοντέλο γραμμικής παλινδρόμησης

Η γραμμική παλινδρόμηση είναι amευρέως χρησιμοποιούμενο μοντέλο που χρησιμοποιείται για την εκτίμηση πραγματικών τιμών όπως:

• κόστος σπιτιών,
• αριθμός κλήσεων,
• συνολικές πωλήσεις ανά άτομο,

και ακολουθεί το κριτήριο των συνεχών μεταβλητών:

• τετραγωνικά μέτρα,
• εγγραφή σε τρέχοντα λογαριασμό,
• εκπαίδευση του ατόμου

Στη γραμμική παλινδρόμηση, μια σχέση μεταξύ ανεξάρτητων μεταβλητών και εξαρτημένων μεταβλητών ακολουθείται από μια γραμμή που συνήθως αντιπροσωπεύει τη σχέση μεταξύ των δύο μεταβλητών.

Η γραμμή προσαρμογής είναι γνωστή ως γραμμή παλινδρόμησης και αντιπροσωπεύεται από μια γραμμική εξίσωση του τύπου Y = a * X + b.

Ο τύπος βασίζεται σε δεδομένα παρεμβολής για να συσχετίσουν δύο ή περισσότερα χαρακτηριστικά μεταξύ τους. Όταν δίνετε στον αλγόριθμο ένα χαρακτηριστικό εισόδου, η παλινδρόμηση επιστρέφει το άλλο χαρακτηριστικό.

Μοντέλο πολλαπλής γραμμικής παλινδρόμησης

Όταν έχουμε περισσότερες από μία ανεξάρτητες μεταβλητές, τότε μιλάμε για πολλαπλή γραμμική παλινδρόμηση, υποθέτοντας ένα μοντέλο όπως το ακόλουθο:

y = β₀ + β₁x₁ + β₂x₂ +… + Β_nx_n

• y είναι η απόκριση στις τιμές, δηλαδή αντιπροσωπεύει το αποτέλεσμα που προβλέπει το μοντέλο.
• b₀ είναι η αναχαίτιση, δηλαδή η τιμή του y όταν x_i είναι όλοι ίσοι με 0;
• το πρώτο χαρακτηριστικό β₁ είναι ο συντελεστής x₁;
• ένα ακόμη χαρακτηριστικό β_n είναι ο συντελεστής x_n;
• x₁,x₂,…, Χ_n είναι οι ανεξάρτητες μεταβλητές του μοντέλου.

Στην πράξη, η εξίσωση εξηγεί τη σχέση μεταξύ μιας συνεχούς εξαρτώμενης μεταβλητής (y) και δύο ή περισσότερων ανεξάρτητων μεταβλητών (x1, x2, x3…). 

Για παράδειγμα, αν θέλαμε να εκτιμήσουμε την εκπομπή CO2 ενός αυτοκινήτου (εξαρτώμενη μεταβλητή y) λαμβάνοντας υπόψη την ισχύ του κινητήρα, τον αριθμό των κυλίνδρων και την κατανάλωση καυσίμου. Αυτοί οι τελευταίοι παράγοντες είναι οι ανεξάρτητες μεταβλητές x1, x2 και x3. Οι σταθερές bi είναι πραγματικοί αριθμοί και ονομάζονται εκτιμώμενοι συντελεστές παλινδρόμησης του μοντέλου. Το Y είναι η συνεχής εξαρτώμενη μεταβλητή, δηλαδή είναι το άθροισμα των b0, b1 x1, b2 x2 κ.λπ. θα είναι ένας πραγματικός αριθμός.

Η ανάλυση πολλαπλής παλινδρόμησης είναι μια μέθοδος που χρησιμοποιείται για τον προσδιορισμό της επίδρασης που έχουν οι ανεξάρτητες μεταβλητές σε μια εξαρτημένη μεταβλητή.

Η κατανόηση του τρόπου με τον οποίο αλλάζει η εξαρτημένη μεταβλητή καθώς οι ανεξάρτητες μεταβλητές αλλάζουν μας επιτρέπει να προβλέψουμε τα αποτελέσματα ή τις επιπτώσεις των αλλαγών σε πραγματικές καταστάσεις.

Χρησιμοποιώντας πολλαπλή γραμμική παλινδρόμηση είναι δυνατόν να κατανοήσουμε πώς αλλάζει η αρτηριακή πίεση καθώς ο δείκτης μάζας σώματος αλλάζει λαμβάνοντας υπόψη παράγοντες όπως η ηλικία, το φύλο κ.λπ., υποθέτοντας έτσι τι θα μπορούσε να συμβεί.

Με πολλαπλή παλινδρόμηση μπορούμε να λάβουμε εκτιμήσεις σχετικά με τις τάσεις των τιμών, όπως η μελλοντική τάση για το πετρέλαιο ή το χρυσό.

Τέλος, η πολλαπλή γραμμική παλινδρόμηση αντιμετωπίζει μεγαλύτερο ενδιαφέρον στον τομέα της μηχανικής μάθησης και της τεχνητής νοημοσύνης, καθώς επιτρέπει την απόκτηση μοντέλων μάθησης που εκτελούν ακόμη και στην περίπτωση μεγάλου αριθμού εγγραφών προς ανάλυση.

Λογιστικό παλινδρομικό μοντέλο

Η λογιστική παλινδρόμηση είναι ένα στατιστικό εργαλείο που στοχεύει στη μοντελοποίηση ενός διωνυμικού αποτελέσματος με μία ή περισσότερες επεξηγηματικές μεταβλητές.

Χρησιμοποιείται γενικά για δυαδικά προβλήματα, όπου υπάρχουν μόνο δύο τάξεις, για παράδειγμα Ναι ή Όχι, 0 ή 1, άνδρες ή γυναίκες κ.λπ.

Με αυτόν τον τρόπο είναι δυνατή η περιγραφή των δεδομένων και η εξήγηση της σχέσης μεταξύ μιας δυαδικής εξαρτώμενης μεταβλητής και μιας ή περισσότερων ανεξάρτητων ονομαστικών ή κανονικών μεταβλητών.

Το αποτέλεσμα καθορίζεται χάρη στη χρήση μιας λογιστικής συνάρτησης, η οποία εκτιμά μια πιθανότητα και στη συνέχεια defiτελειώνει την πλησιέστερη κλάση (θετική ή αρνητική) στην τιμή πιθανότητας που προκύπτει.

Μπορούμε να θεωρήσουμε τη λογιστική παλινδρόμηση ως μέθοδο ταξινόμησης της οικογένειας του εποπτευόμενοι αλγόριθμοι μάθησης.

Χρησιμοποιώντας στατιστικές μεθόδους, η λογιστική παλινδρόμηση επιτρέπει τη δημιουργία ενός αποτελέσματος το οποίο, στην πραγματικότητα, αντιπροσωπεύει την πιθανότητα ότι μια δεδομένη τιμή εισόδου ανήκει σε μια δεδομένη κατηγορία.

Σε προβλήματα διωνυμικής λογιστικής παλινδρόμησης, η πιθανότητα ότι η έξοδος ανήκει σε μια κατηγορία θα είναι P, ενώ αυτή ανήκει στην άλλη κλάση 1-P (όπου το P είναι ένας αριθμός μεταξύ 0 και 1 επειδή εκφράζει πιθανότητα).

Η διωνυμική λογιστική παλινδρόμηση λειτουργεί καλά σε όλες τις περιπτώσεις στις οποίες η μεταβλητή που προσπαθούμε να προβλέψουμε είναι δυαδική, δηλαδή μπορεί να πάρει μόνο δύο τιμές: την τιμή 1 που αντιπροσωπεύει τη θετική τάξη ή την τιμή 0 που αντιπροσωπεύει την αρνητική τάξη.

Παραδείγματα προβλημάτων που μπορούν να επιλυθούν με υλικοτεχνική παλινδρόμηση είναι:

• ένα e-mail είναι ανεπιθύμητο ή όχι.
• μια διαδικτυακή αγορά είναι δόλια ή όχι, αξιολογώντας τους όρους αγοράς ·
• ένας ασθενής έχει κάταγμα αξιολογώντας τις ακτίνες.

Με τη λογιστική παλινδρόμηση μπορούμε να κάνουμε προγνωστική ανάλυση, μετρώντας τη σχέση ανάμεσα σε αυτό που θέλουμε να προβλέψουμε (εξαρτώμενη μεταβλητή) και μία ή περισσότερες ανεξάρτητες μεταβλητές, δηλαδή χαρακτηριστικά. Η εκτίμηση πιθανότητας γίνεται μέσω λογιστικής συνάρτησης.

Οι πιθανότητες μετατρέπονται στη συνέχεια σε δυαδικές τιμές και για να γίνει πραγματική η πρόβλεψη, αυτό το αποτέλεσμα ανατίθεται στην κλάση στην οποία ανήκει, ανάλογα με το αν είναι ή όχι κοντά στην ίδια την κλάση.

Για παράδειγμα, εάν η εφαρμογή της συνάρτησης λογιστικής επιστρέφει 0,85, τότε σημαίνει ότι η είσοδος έχει δημιουργήσει μια θετική τάξη εκχωρώντας την στην τάξη 1. Αντίστροφα εάν είχε λάβει μια τιμή όπως 0,4 ή γενικότερα <0,5 ..

Η λογιστική παλινδρόμηση χρησιμοποιεί τη λογιστική συνάρτηση για να αξιολογήσει την ταξινόμηση των τιμών εισαγωγής.

Η λογιστική συνάρτηση, που ονομάζεται επίσης σιγμοειδής, είναι μια καμπύλη ικανή να λαμβάνει οποιονδήποτε αριθμό πραγματικής αξίας και να τη χαρτογραφεί σε μια τιμή μεταξύ 0 και 1, εξαιρουμένων των άκρων. Η λειτουργία είναι:

όπου:

• ε: βάση φυσικών λογαρίθμων (αριθμός Euler ή συνάρτηση excel exp ())
• b0 + b1 * x: είναι η πραγματική αριθμητική τιμή που θέλετε να μεταμορφώσετε.

Αναπαράσταση που χρησιμοποιείται για λογιστική παλινδρόμηση

Η λογιστική παλινδρόμηση χρησιμοποιεί μια εξίσωση ως αναπαράσταση, σαν γραμμική παλινδρόμηση

Οι τιμές εισόδου (x) συνδυάζονται γραμμικά χρησιμοποιώντας βάρη ή τιμές συντελεστή, για να προβλέψουν μια τιμή εξόδου (y). Μια βασική διαφορά από τη γραμμική παλινδρόμηση είναι ότι η μοντελοποιημένη τιμή εξόδου είναι μια δυαδική τιμή (0 ή 1) και όχι μια αριθμητική τιμή.

Ακολουθεί ένα παράδειγμα εξίσωσης λογιστικής παλινδρόμησης:

y = e^(b0 + b1 * x) / (1 + e^(b0 + b1 * x))

όπου:

• y είναι η εξαρτημένη μεταβλητή, δηλαδή η προβλεπόμενη τιμή.
• b0 είναι ο όρος πόλωσης ή αναχαίτισης.
• b1 είναι ο συντελεστής για την τιμή μίας εισόδου (x).

Κάθε στήλη στα δεδομένα εισαγωγής έχει έναν σχετικό συντελεστή b (μια σταθερή πραγματική τιμή) που πρέπει να μάθει από τα δεδομένα εκπαίδευσης.

Η πραγματική αναπαράσταση του μοντέλου που θα αποθηκεύατε στη μνήμη ή ένα αρχείο είναι οι συντελεστές στην εξίσωση (η τιμή beta ή b).

Η λογιστική παλινδρόμηση προβλέπει πιθανότητες (τεχνικό εύρος)

Η λογιστική παλινδρόμηση διαμορφώνει την πιθανότητα της προεπιλεγμένης κλάσης.

Για παράδειγμα, ας υποθέσουμε ότι μοντελοποιούμε το φύλο των ανθρώπων ως άνδρες ή γυναίκες από το ύψος τους, η πρώτη τάξη θα μπορούσε να είναι αρσενική και το μοντέλο λογιστικής παλινδρόμησης θα μπορούσε να γραφτεί ως η πιθανότητα να είσαι άνδρας δεδομένου του ύψους ενός ατόμου ή περισσότερο. επίσημα:

P (σεξ = αρσενικό | ύψος)

Γραπτά με άλλο τρόπο, μοντελοποιούμε την πιθανότητα ότι μια είσοδος (X) ανήκει στην κλάση predefinite (Y = 1), μπορούμε να το γράψουμε ως:

P(X) = P(Y = 1 | X)

Η πρόβλεψη πιθανότητας πρέπει να μετατραπεί σε δυαδικές τιμές (0 ή 1) προκειμένου να γίνει πραγματικά μια πρόβλεψη πιθανότητας.

Η λογιστική παλινδρόμηση είναι μια γραμμική μέθοδος, αλλά οι προβλέψεις μετατρέπονται χρησιμοποιώντας τη λογιστική συνάρτηση. Ο αντίκτυπος αυτού είναι ότι δεν μπορούμε πλέον να κατανοήσουμε τις προβλέψεις ως γραμμικό συνδυασμό εισόδων όπως μπορούμε με γραμμική παλινδρόμηση, για παράδειγμα, συνεχίζοντας από ψηλά, το μοντέλο μπορεί να εκφραστεί ως:

p(X) = e ^ (b0 + b1 * X) / (1 + e ^ (b0 + b1 * X))

Τώρα μπορούμε να αντιστρέψουμε την εξίσωση ως εξής. Για να το αντιστρέψουμε μπορούμε να προχωρήσουμε αφαιρώντας το e από τη μία πλευρά προσθέτοντας έναν φυσικό λογάριθμο στην άλλη πλευρά.

ln (p (X) / 1 - p (X)) = b0 + b1 * X

Με αυτόν τον τρόπο παίρνουμε το γεγονός ότι ο υπολογισμός της εξόδου στα δεξιά είναι πάλι γραμμικός (όπως και η γραμμική παλινδρόμηση) και η είσοδος στα αριστερά είναι ένας λογάριθμος της πιθανότητας της προεπιλεγμένης κλάσης.

Οι πιθανότητες υπολογίζονται ως αναλογία της πιθανότητας του συμβάντος διαιρούμενη με την πιθανότητα μη συμβάντος, π.χ. 0,8 / (1-0,8) του οποίου το αποτέλεσμα είναι 4. Έτσι θα μπορούσαμε να γράψουμε:

ln (πιθανότητες) = b0 + b1 * X

Δεδομένου ότι οι πιθανότητες μεταμορφώνονται σε log, ονομάζουμε αυτήν την αριστερή πλευρά log-odds ή probit.

Μπορούμε να επιστρέψουμε τον εκθέτη στα δεξιά και να το γράψουμε ως:

πιθανότητα = e ^ (b0 + b1 * X)

Όλα αυτά μας βοηθούν να καταλάβουμε ότι πράγματι το μοντέλο εξακολουθεί να είναι ένας γραμμικός συνδυασμός των εισόδων, αλλά ότι αυτός ο γραμμικός συνδυασμός αναφέρεται στις πιθανότητες καταγραφής της προκλάσηςdefiνίτα.

Μαθαίνοντας το μοντέλο λογιστικής παλινδρόμησης

Οι συντελεστές (τιμές beta ή b) του αλγόριθμου λογιστικής παλινδρόμησης υπολογίζονται στη φάση της μάθησης. Για να το κάνουμε αυτό, χρησιμοποιούμε εκτίμηση μέγιστης πιθανότητας.

Η εκτίμηση μέγιστης πιθανότητας είναι ένας αλγόριθμος εκμάθησης που χρησιμοποιείται από αρκετούς αλγόριθμους μηχανικής μάθησης. Οι συντελεστές που προκύπτουν από το μοντέλο προβλέπουν μια τιμή πολύ κοντά στο 1 (π.χ. άνδρας) για την προσχολική τάξηdefinite και μια τιμή πολύ κοντά στο 0 (π.χ. θηλυκό) για την άλλη κατηγορία. Η μέγιστη πιθανότητα για λογιστική παλινδρόμηση είναι μια διαδικασία εύρεσης τιμών για συντελεστές (τιμές Beta ή ob) που ελαχιστοποιούν το σφάλμα στις πιθανότητες που προβλέπονται από το μοντέλο σε σχέση με αυτές στα δεδομένα (π.χ. πιθανότητα 1 εάν τα δεδομένα είναι η κύρια κλάση). .

Θα χρησιμοποιήσουμε έναν αλγόριθμο ελαχιστοποίησης για να βελτιστοποιήσουμε τις καλύτερες τιμές συντελεστή για τα δεδομένα εκπαίδευσης. Αυτό εφαρμόζεται συχνά στην πράξη χρησιμοποιώντας έναν αποτελεσματικό αλγόριθμο αριθμητικής βελτιστοποίησης.

Ercole Palmeri

---