Checkliste für Testtreiber-Güte
Testautomatisierer berücksichtigen i.A. viel zu wenig, dass Testtreiber für Black Box Test folgende Eigenschaften haben sollten:- Der Code zum Treiben der Anwendung einerseits und der für SOLL/IST-Vergleich andererseits sei stets in unabhängig voneinander aufrufbaren Programmen realisiert.
Vorteile:- Der Test braucht nicht neu ablaufen, wenn SOLL/IST-Vergleich korrigiert oder erweitert werden soll.
- Den SOLL/IST-Vergleich nachträglich zu verstehen, wird wesentlich einfacher.
- Der Treiber erzeuge automatisch einen Testreport in HTML.
Vorteile:- Auch sehr komplexe Testergebnisse lassen sich so übersichtlich und einfach einsehbar darstellen.
- Sie lassen sich so allen interessierten Personen leicht zugäglich zu machen.
- Die Reports einzelner Testtreiber sind mühelos zusammenfügbar zu einem übersichtlichen, vom Groben ins Detail gehenden Report ganzer Testsuiten.
- Der Testreport spezifiziere die Leistung des Testtreibers (nach SOLL und IST).
hinsichtlich- vorgenommener Prüfungen
- und eigener Funktionsfähigkeit (genauer: Falls der Test vorzeitig abbrach, muss der Testreport das klar und deutlich mit als Fehler beschreiben).
- Der Testreport abstrahiere, so dass auch Revisoren und Manager ihn gerne lesen.
Erreichbar ist das durch entsprechend plakative Gestaltung. Nur Auszüge aus dem Log File des Testtreibers oder der Anwendung zu zeigen reicht auf keinen Fall.
- Der Testtreiber selbst verwalte alle durch ihn erstellten Test Reports.
- Er verwalte sie als datierte Versionen.
- Schon der Dateiname jeder solchen Version sollte sagen, wann der Test gefahren wurde und wie viele Fehler er entdeckt hat.
- Ein Anhang zum Testreport sollte die Test-Eingabe-Daten enthalten.
Merke: Es ist verdammenswert ...
- den Code zum Treiben der Anwendung im selben Programm zu haben wie den für SOLL/IST-Vergleich.
- In diesem Fall müsste dann nämlich — wenn SOLL/IST-Vergleich verfeinert oder korrigiert werden soll — der gesamte Test neu ablaufen. Es gibt Situationen, in denen das gar nicht mehr möglich ist (man denke z.B. an Data Warehouse Test).
- Man wird so zudem nur schwer nachprüfen können, was denn nun eigentlich genau getestet wurde.
Sie auch:
stw5073TTIST — Testtreiber . Testreport . IST — News?
Mehr + B G E + S H A + More