Ich trainierte Daten von 500 Geräten, um ihre Leistung vorherzusagen. Dann wandte ich mein trainiertes Modell auf einen Testdatensatz für weitere 500 Geräte an und zeigte ziemlich gute Vorhersageergebnisse. Jetzt wollen meine Führungskräfte, dass dieses Modell auf einer Million Geräten, nicht nur auf 500, gut funktioniert. Offensichtlich haben wir keine Daten für eine Million Geräte. Und wenn das Modell nicht zuverlässig ist, möchte ich, dass ich die erforderliche Menge an Zugdaten entdecke, um eine zuverlässige Vorhersage für eine Million Geräte zu treffen. Wie soll ich mit diesen Führungskräften umgehen, die keinen Hintergrund in der statistischen Analyse und Modellierung haben? Irgendwelche Vorschläge? DankeWie kann man Führungskräften die Zuverlässigkeit eines Vorhersagemodells nachweisen?
Antwort
Ich habe vorgeschlagen, @cep, um seinen Kommentar als Antwort zu schreiben - einschließlich der Bereitstellung der variance und bias Berechnungen. In jedem Fall könnte es
hinzugefügt werden „nicht schnell sein Execs anzunehmen, im Wesentlichen nicht in der Lage sind, in Bezug auf die technischen oder mathematischen Konzepte“
Zwar gibt es Dilbert Manager sein kann aus .. Irgendwo Ich habe einige von ihnen selbst gesehen. Häufiger kommen Manager durch harte Arbeit zu ihren Positionen. Sie sind wahrscheinlich eingerostet - aber die Fähigkeiten sind wahrscheinlich noch da.
In diesem Fall, ob sie einen "Hintergrund in der statistischen Analyse und Modellierung" haben oder nicht, wenden sie gesunden Menschenverstand an.
Als Erstes können Sie den richtigen Kontext und die richtige Terminologie angeben. für die Bereitstellung von konkreten Werten: @cel hat etwas davon erwähnt
- Annahmen
- welche Annahmen Sie über die Daten.
- welcher Grundlage ist es Extrapolation der begrenzten Daten zu berücksichtigen
- warum das sollte auf die 99,5% der nicht getesteten Daten anzuwenden
- Datenverteilung
- Grund deskriptiven Statistiken extrapoated Ergebnisse trauen
- Ihre Annahme der Apriori-Verteilung der Daten.Begründen Sie, warum Sie es wählte
- Modellierung
- die Modelle/Ansätze in Betracht gezogen wurden und warum
- das Modell, das Sie tatsächlich wählte und warum
- wie kamen Sie auf die Hyper
- , wie Sie trainierte das Modell
- Ergebnisse
- statistischen Maßnahmen der Anpassung und Fehlerrate
- 1. Wie kann man nachweisen, dass die Zeitüberschreitung der Socket-Verbindung innerhalb von 60 Sekunden auftritt?
- 2. Wie kann ich die Zuverlässigkeit meiner Veins-Simulationen testen?
- 3. Prozessor Zuverlässigkeit
- 4. Sequenz-ID für die Handhabung Zuverlässigkeit
- 5. Zuverlässigkeit und WCF
- 6. EJB Timer und Zuverlässigkeit
- 7. R - Wie wird eine bestimmte Anzahl von PCA-Komponenten zum Trainieren eines Vorhersagemodells festgelegt?
- 8. Echte Benutzerüberwachung: Standards für Zuverlässigkeit
- 9. Zuverlässigkeit von UDP auf localhost
- 10. S3 Hochverfügbarkeit + Zuverlässigkeit für Backups
- 11. Zuverlässigkeit der Dateiverriegelung für Netzwerkdateien
- 12. Wie kann ich die Zuverlässigkeit meines eigenen (kleinen) Embedded-Betriebssystems testen?
- 13. Wie kann man die Geschwindigkeit eines Android-Geräts bestimmen?
- 14. Wie kann man die Länge eines Post Ajax Calls erhöhen?
- 15. Wie kann man die Gesamtgröße des Arbeitsspeichers eines Computers ermitteln?
- 16. Wie kann man Benutzereingaben für die Größe eines Vektors akzeptieren?
- 17. Wie kann man die Ausgabe eines Ruby `pp` Calls begrenzen?
- 18. Wie kann man die Länge eines Arrays bestimmen?
- 19. Wie kann man die Sichtbarkeit eines Script-Tags ändern?
- 20. Wie kann man die Transparenz eines PrimeFaces-Dialogs aufgeben?
- 21. Wie kann man die Chips eines eckigen Materials zählen?
- 22. Wie kann man die geografische Zugriffszeit eines Webhosting messen?
- 23. Wie kann man die Erstellungszeit eines Flash-Projekts minimieren?
- 24. Wie kann man die Koordinate eines Grapheninteraktivators interaktiv gestalten?
- 25. Design-Maßnahmen (außer Backups), um die Zuverlässigkeit und Integrität eines Dateisystems zu gewährleisten?
- 26. IIS 7 Zuverlässigkeit und Leistung Monitor
- 27. Wie kann ich das Konzept "Six Degrees of Separation" programmatisch nachweisen?
- 28. Wie kann ich nachweisen, dass ich IPFS zu einem bestimmten Zeitpunkt einen Ordner hinzugefügt habe?
- 29. Wie man die ID eines altbeacon iteriert?
- 30. Wie kann man Winkel eines Vektors begrenzen?
Ich vermute, dass es statistische Modelle für diese sein wird, aber ich vermute auch, erfordern sie viel spezifischere Daten. Ich weiß nicht viel über maschinelles Lernen, also könnte es leicht meine Schuld sein, aber Ihre Beschreibung scheint mir sehr vage zu sein. – biziclop
Dies ist kein Problem der Führungskräfte, die nicht über maschinelles Lernen wissen. Ihr Punkt ist gültig. Es ist möglich, dass Ihr Trainings- und Testset nicht repräsentativ für Ihren gesamten Datenraum ist und dass Ihr Modell nur für diese voreingenommene Teilmenge funktioniert, aber nicht für alle Daten verallgemeinert werden kann. Sie müssen ihnen zeigen, dass der kleine Datensatz, den Sie abgetastet haben, unverzerrt ist. Das Problem ist einfach zu verstehen. Betrachten wir z.B. dass das Trainings- und Testset nur männliche Kunden enthält. Selbst wenn das Modell gut funktioniert, kann es bei einem echten Datensatz mit männlichen und weiblichen Kunden schlecht funktionieren. – cel
@cel Vielen Dank für Ihre Antwort. Ihr Punkt ist absolut gültig. Gibt es eine Korrelation zwischen der Größe des Zuges und der Zuverlässigkeit des Modells? Denn im nächsten Schritt muss ich ihnen zeigen, dass der zufällig ausgewählte Zugsatz groß genug ist, um ein zuverlässiges Modell zu bauen. – Mohammad