La regressione lineare multipla si differenzia dalla regressione lineare semplice perchè viene applicata a molteplici features, invece che a una sola. In questo esempio di machine learning andremo a vedere una regressione lineare multipla, quindi con più feature in input.
Prima di procedere, vi consiglio di leggere tre brevi articoli, dove troverete diverse definizioni:
- Che cos’è il Machine Learning, di cosa si occupa e obiettivi
- Tipologie di Machine Learning
- Esempio di Machine Learning con Python: la Regressione lineare semplice
Visto che useremo Python, se non lo avete ancora sul vostro PC, leggete anche Come installare Python in ambiente Microsoft Windows
Anche per la regressione lineare multipla useremo la scikit-learn, in quanto estremamente flessibile rendendo tutto valido quello che abbiamo visto nell’esempio della Regressione lineare semplice.
Avremo quindi a disposizione il metodo fit per l’addestramento e il metodo predict per la predizione. Inoltre useremo ancora la classe Linear-Regression.
Inoltre con la funzione make_regression andremo a costruire un Data Set di prova in base ai parametri che gli forniremo. In questo modo la struttura di base è già pronta per fare la Regressione lineare. Richiameremo la make_regression sfruttando l’assegnazione multipla caratteristica di Python, come segue:
x, y = make_regression(n_samples=500, n_features=5, noise=10)
Quindi il dataset avrà le seguenti caratteristiche: 500 valori, organizzati in 5 features, e aggiungiamo un rumore, uno scarto di errore di 10 per non far sembrare il dataset troppo regolare.
Provvediamo ora a suddividere il dataset in una parte utile al training e una parte utile al test. Potremmo pensare a 80 campioni per il test e il restante per il training. Per farlo utilizziamo la funzione train_test_split che ci suddivide le due liste x e y in x_train, y_train e x_test, y_test
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=80)
come risultato avremo
((420, 5), (80, 5), (420, ), (80, ))
Ora procediamo alla regressione che avviene in modo totalmente analogo alla regressione lineare semplice, ma senza il reshape perchè in questo caso ci ha pensato la make_regression.
from sklearn.linear_model import LinearRegression
model = LinearRegression()
model.fit(x_train, y_train)
Qui di seguito abbiamo i parametri calcolati per la regressione, insieme ai coefficienti e l’intercetta
model.coef_ assume il seguente valore
array([90.65, 23.45, 66.43, 42.54, 24.35])
model.intercept_ assume il seguente valore
-0.4564
Con il modello addestrato possiamo effettuare la previsione sui dati di test e valutarla con alcune metriche:
previsione = model.predict(x_test)
mean_absolute_error(y_test, previsione)
6.964857
re_score(y_test, previsione)
0.9876
Pur avendo usato dati a scopo didattico, i risultati dimostrano che il nostro modello funziona. E’ stato istruito, è in grado di eseguire previsioni e ha registrato anche un valore per la metrica R quadro praticamente al livello massimo.
Ercole Palmeri: Innovation addicted