In dieser Lektion geht es vorrangig um die Fragen, die Sie sich zu Ihren Daten stellen sollten.
und Modell in Produktionssystemen.
Sind die einzelnen Funktionen hilfreich?
Sie sollten Ihr Modell kontinuierlich beobachten, um Features zu entfernen, die einen Beitrag zur
die Vorhersagefähigkeit des Modells beeinflussen. Wenn die Eingabedaten für
die sich abrupt ändern, kann auch das Verhalten Ihres Modells abrupt
auf unerwünschte Weise verändern.
Berücksichtigen Sie auch die folgende verwandte Frage:
- Werden durch die Nützlichkeit der Funktion die Kosten dafür gerecht?
Es ist immer verlockend, dem Modell weitere Funktionen hinzuzufügen. Beispiel:
Angenommen, Sie finden ein neues Feature, dessen Addition die Vorhersagen Ihres Modells bildet.
etwas besser. Etwas bessere Vorhersagen scheinen auf jeden Fall besser zu sein als
etwas schlechtere Vorhersagen Die zusätzliche Funktion trägt jedoch
Wartungsaufwand.
Ist Ihre Datenquelle zuverlässig?
Einige Fragen, die Sie sich zur Verlässlichkeit Ihrer Eingabedaten stellen sollten:
- Ist das Signal immer verfügbar oder stammt es von einem
unzuverlässige Quelle? Beispiel:
- Stammt das Signal von einem Server, der unter hoher Last abstürzt?
- Kommt das Signal von Menschen, die jeden August in Urlaub fahren?
- Ändert sich das System, das die Eingabedaten Ihres Modells berechnet, jemals? Falls ja:
<ph type="x-smartling-placeholder">
</ph>
- Wie oft?
- Woher wissen Sie, wann sich das System ändert?
Erstellen Sie gegebenenfalls eine eigene Kopie der Daten, die Sie vom
vorgelagerte Prozesse. Fahren Sie dann nur mit der nächsten Version des Upstreams fort.
wenn Sie sicher sind, dass dies sicher ist.
Ist Ihr Modell Teil einer Feedbackschleife?
Manchmal kann sich ein Modell auf seine eigenen Trainingsdaten auswirken. Beispiel: Der Parameter
Ergebnisse aus einigen Modellen wiederum werden (direkt oder indirekt)
Funktionen zum gleichen Modell hinzufügen.
Manchmal kann sich ein Modell auf ein anderes Modell auswirken. Nehmen wir zum Beispiel zwei
Modelle zur Vorhersage von Aktienkursen:
- Modell A ist ein schlechtes Vorhersagemodell.
- Modell B.
Da Modell A fehlerhaft ist, entscheidet er sich fälschlicherweise dafür, Aktien von Stock X zu kaufen.
Diese Käufe erhöhen den Preis von Aktie X. Modell B verwendet den Preis
von Aktie X als Eingabemerkmal verwendet, sodass Modell B falsch werden kann,
Schlussfolgerungen über den Wert von Aktie X. Modell B könnte daher
Kauf oder Verkauf von Aktien X basierend auf dem fehlerhaften Verhalten von Modell A.
Das Verhalten von Modell B wiederum kann sich auf Modell A auswirken und möglicherweise
Tulpenwahn oder Slide-in
Aktien von Unternehmen X.
Übung: Wissenstest
Welche drei der folgenden Modelle sind anfällig für
Feedbackschleife?
Ein Modell zur Verkehrsprognose, das Staus an Autobahnausgängen vorhersagt
in der Nähe des Strandes, was unter anderem die Größe des Strandes nutzt.
Manche Strandbesucher stützen ihre Pläne wahrscheinlich auf den Traffic.
vorhersagen können. Wenn am Strand viele Menschenmengen sind und der Verkehr laut Prognose
aber viele Menschen machen
andere Pläne. Das kann am Strand deprimierend wirken
sodass die Verkehrslage geringer ist,
die Anwesenheit zu steigern, und der Zyklus wiederholt sich.
Buchempfehlungsmodell, das Romanen vorschlägt, die den Nutzern gefallen könnten
basierend auf ihrer Beliebtheit (d.h. der Häufigkeit, mit der die Bücher
gekauft).
Buchempfehlungen führen mit hoher Wahrscheinlichkeit zu mehr Käufen.
zusätzliche Umsätze wieder
in das Modell eingespeist werden,
Dadurch wird die Wahrscheinlichkeit erhöht,
dass Sie dieselben Bücher in der
in der Zukunft.
Modell für das Ranking von Universitäten, bei dem Schulen zum Teil nach ihrem
Selektivität: der Prozentsatz der Lernenden, die sich beworben haben,
zugelassen sind.
Die Rankings des Modells können das Interesse an den Top-Bewertungen steigern.
Bildungseinrichtungen. Dadurch steigt die Zahl der Bewerbungen, die sie erhalten. Wenn diese
Bildungseinrichtungen die gleiche Anzahl an Lernenden zulassen, wird die Selektion
erhöhen (der Prozentsatz der zugelassenen Schüler sinkt). Dieses
wird die Leistung dieser Bildungseinrichtungen Rankings, die sich weiter erhöhen werden,
Interessen der Lernenden usw.
Ein Wahlergebnismodell, das den Gewinner eines
Bürgermeisterwahl, indem nach Ende der Wahllokale 2% der Wähler befragt wurden.
Wenn die Prognose des Modells erst veröffentlicht wird, nachdem
geschlossen haben, können sich die Vorhersagen nicht auf den Wähler auswirken
verhalten.
Ein Immobilienwertmodell, das Immobilienpreise anhand
Größe (Fläche in Quadratmetern), Anzahl der Schlafzimmer und geografischer Standort
als Merkmale.
Es ist nicht möglich, den Standort eines Hauses
Größe oder Anzahl der Schlafzimmer als Reaktion auf Preisprognosen
wodurch eine Feedbackschleife unwahrscheinlich ist. Es gibt jedoch möglicherweise
Korrelation zwischen Größe und Anzahl der Schlafzimmer (größere Häuser und
wahrscheinlich mehr Räume haben, die möglicherweise auseinandergerissen werden müssen.
Modell mit Gesichterattributen, das erkennt, ob eine Person lächelt
auf einem Foto, das regelmäßig anhand einer Datenbank mit Stockfotos trainiert wird
die monatlich automatisch aktualisiert wird.
Es gibt hier keine Feedbackschleife, da Modellvorhersagen
Auswirkungen auf die Fotodatenbank. Die Versionierung der Eingabe
ein Problem darstellen, da die monatlichen Aktualisierungen
unvorhergesehene Auswirkungen auf das Modell haben.
