Ich habe ein Programm zur Automatisierung und Statistikgenerierung durch eine Reihe schneller Prototypen entwickelt, um festzustellen, ob die Lizenzkosten einer API eine gute Kapitalrendite generieren. Der begrenzte Zeitrahmen und meine eigenen begrenzten Erfahrungen haben zu einem nützlichen Tool geführt, das keine automatisierten Qualitäts- oder Korrektheitstests und -metriken enthält.So automatisieren Sie Tests, bei denen die Qualität der Ergebnisse weitgehend subjektiv ist
Das Programm behandelt den Lokalisierungsprozess für PDF-Dokumente. Insbesondere erzeugt es einen Bericht über einige Inhalte der Dateien (etwa Wortanzahl, Bildanzahl usw.) und verfügt über einige Funktionen zur Extraktion und Verarbeitung von Inhalten. Es wird hauptsächlich verwendet, um den Zeit- und Kostenaufwand für die Bewertung der Kosten eines PDF-Lokalisierungsprojekts zu reduzieren.
Die Anwendung wurde nun für einen formaleren Entwicklungsprozess zugelassen, einschließlich einer Anfrage nach einem Fehlerverfolgungssystem und einem vorläufigen Test-, Release- und Feedback-Zyklus. Die Frage ist dann, wie würden Sie QA und Tests in dieser Art von Anwendung gehen, wo die Zahlen sind oft eine beste Schätzung basierend auf einigen Heuristiken und die verarbeitete Ausgabe ist nicht immer nützlich, aufgrund der schrecklichen Konstruktion des Internet Explorer Quelldokumente? Ich plane, dem Bericht Warnungen hinzuzufügen, wenn die Zahlen offensichtlich verrückt sind, aber was kann sonst getan werden, um Qualität zu garantieren?
Die bisher ausgereifteste Lösung ist, die Ergebnisse einiger Hilfsmethoden durch Assertion Testing in der Build-Umgebung zu garantieren und eine Reihe von traditionellen Testfällen zu schreiben (die ich lieber vermeiden würde).
Wie testen Sie auf subjektive Qualitätsmaße?
Ich arbeite in C#, aber ich bevorzuge eine allgemeine Best Practices Antwort über alles zu Framework-spezifisch.
Sieht so aus, als ob wir dabei sind, Dinge auf altmodische Art und Weise zu tun. – IanGilham