Πώς μπορώ να ερμηνεύσω τη διαφορά μεταξύ της επικύρωσης και της ακρίβειας της δοκιμής;


Απάντηση 1:

Για την ακρίβεια A, νομίζω ότι το μοντέλο σας λειτουργεί καλά. Υποθέτω ότι χρησιμοποιήσατε δεδομένα επικύρωσης για να εκπαιδεύσετε το μοντέλο Α ​​και να ελέγξετε τα δεδομένα για να το αξιολογήσετε. Δεδομένου ότι η ακρίβεια επικύρωσης και η ακρίβεια δοκιμής είναι και τα δύο υψηλά, μπορεί να ειπωθεί ότι το μοντέλο έχει εκπαιδευτεί σωστά. Ωστόσο, έχω δύο ανησυχίες.

  1. Εάν χρειάζεστε ένα μοντέλο με μεγαλύτερη ακρίβεια, θα πρέπει να συντονίσετε τα υπερπαραμετρικά για να πάρετε καλύτερα. Η επίβλεψη της μάθησης δεν αφορά στην ακρίβεια. Εάν πρόκειται για δύο δυαδικές ταξινομήσεις, θα πρέπει να πάρετε την περιοχή ROC κάτω από την καμπύλη για να δείτε αν έχει πρόβλημα να ταξινομήσει ψευδώς θετική. Αν έχετε υψηλό ψευδώς θετικό, το μοντέλο είναι άχρηστο.

Για τον Β, νομίζω ότι είναι υπερβολική. Η υπερφόρτωση σημαίνει ότι το μοντέλο σας λειτουργεί καλά μόνο σε δεδομένα εκπαίδευσης και επικύρωσης και όχι για δεδομένα δοκιμών ή νέα άγνωστα δεδομένα. Είστε σίγουροι ότι θέλετε πιο γενικευμένο μοντέλο. Πρέπει να μάθετε γιατί είναι υπερβολική. Πρέπει επίσης να αξιολογήσετε την περιοχή ROC κάτω από την καμπύλη.

http: //gim.unmc.edu/dxtests/roc3 ...

Υπερθέρμανση και υποκορισμοί με αλγόριθμους μηχανικής μάθησης - μάθηση μάθησης μηχανών