mini|Proband in einem Usability-Labor bei Siemens in München-Neuperlach (2000) Ein Usability-Test wird durchgeführt, um die Gebrauchstauglichkeit einer Software oder Hardware mit den potenziellen Benutzern zu überprüfen. Er gehört zu den Techniken der empirischen Softwareevaluation, im Gegensatz zu analytischen Verfahren wie dem Cognitive Walkthrough.
Innerhalb eines Entwicklungsprozesses, zum Beispiel einer Webpräsenz-Gestaltung, werden klassische Usability-Tests vor allem dann durchgeführt, wenn Klick-Dummys oder Beta-Versionen erstellt wurden. Im Vordergrund steht die Detail-Optimierung von Interaktionsprozessen (wie zum Beispiel dem Bestellprozess bei einem Online-Shop).
Abgrenzung des Begriffs Das einfache Sammeln von Meinungen zu einem Objekt oder Dokument wird zur Marktforschung oder qualitativen Forschung gezählt und nicht als Usability-Test bezeichnet. Usability-Tests umfassen in der Regel eine systematische Beobachtung unter kontrollierten Bedingungen, um festzustellen, wie gut die Anwender das Produkt nutzen können. Oft werden jedoch sowohl qualitative Tests als auch Usability-Tests in Kombination eingesetzt, um neben den Handlungen der Nutzer auch deren Motivationen/Wahrnehmungen besser zu verstehen.
Anstatt den Benutzern einen groben Entwurf zu zeigen und sie zu fragen: "Verstehen Sie das?", beinhaltet das Usability-Testing die Beobachtung von Menschen, die versuchen, etwas für den beabsichtigten Zweck zu verwenden. Wenn zum Beispiel Anleitungen zum Zusammenbau eines Spielzeugs getestet werden, sollten die Testpersonen die Anleitung und eine Schachtel mit Teilen erhalten. Anstatt gebeten zu werden, die Teile und Materialien zu kommentieren, werden sie gebeten, das Spielzeug zusammenzubauen. Die Formulierung der Anleitungen, die Qualität der Illustrationen und das Design des Spielzeugs beeinflussen den Zusammenbau des Spielzeugs.
Testvarianten Neben szenariobasierten Usability-Tests im Labor gibt es weitere Testvarianten, zum Beispiel, die im Entwicklungsprozess für unterschiedliche Frage- bzw. Problemstellungen geeignet sind: expertenbasierte Usability-Evaluationen On-Site-Befragungen (inkl. Benchmarking) Abbrecheranalysen mit Hilfe von Nutzerverfolgungs-Werkzeugen und (eventbezogene) On-Site-Befragungen Konzept-/Design-Tests (on- und offline) Online-Usability-Tests über taskbasierte Online-Befragungen und Tracking des Klickverhaltens.
Vorgehensweise Bei einem Usability-Test werden Versuchspersonen veranlasst, typische Aufgaben mit dem Testobjekt zu lösen, die sie später in ähnlicher Form mit diesem Produkt erledigen würden. Dabei wird geprüft, an welchen Stellen Schwierigkeiten bei der Benutzung auftreten.
Die Versuchspersonen werden zum Lauten Denken aufgefordert, damit der Beobachter erfährt, wonach die Person gerade sucht und was sie sich unter den angebotenen Optionen vorstellt.
Ein Entwickler übersieht leicht Schwachstellen im eigenen Produkt und neigt dazu, es zu verteidigen. Auch andere Mitarbeiter des Unternehmens sind als Probanden befangen, weil sie Vorwissen über die Struktur des Unternehmens und die Namen und Zwecke seiner Produkte und Leistungen besitzen; Wissen, das einem von außen kommenden Besucher fehlt. Daher sollten Entwickler beim Usability-Test weder als Proband noch als Testleiter auftreten, andere Mitarbeiter des Unternehmens sollten ebenfalls nicht als Probanden auftreten. Stattdessen empfehlen Usability-Experten, ein unabhängiges Evaluationsteam einzusetzen. Wenn eine Anleitung der Probanden durch das Testpersonal erforderlich ist, muss Vorsorge getroffen werden, dass die Probanden dadurch keine Tipps zum Umgang mit der Software oder der Website bekommen, was die Testergebnisse verfälschen würde.
Vor und nach dem Test können Befragungen stattfinden. Eine erste Befragung kann der Auswahl geeigneter Testpersonen dienen. Vor dem Usability-Test wird das Vorwissen des Probanden, zum Beispiel Erfahrung mit ähnlichen Produkten, abgefragt. Manchmal werden dazu Card-Sorting-Techniken oder Wording-Tests verwendet. Verschiedene andere Testinstrumente wie schriftliche Anweisungen, Papierprototypen und Fragebögen vor und nach dem Test werden ebenfalls verwendet, um Feedback zum getesteten Produkt zu sammeln.
Nach dem Test werden Informationen zum untersuchten Produkt erfragt. Dazu finden halbstrukturierte Interviews statt. Deren Durchführung stellt hohe Anforderungen an den Interviewer. Im Rahmen dieser Befragungen werden häufig auch Vergleiche mit anderen Produkten angestellt. Dazu fragt man die Testpersonen, welche Vor- und Nachteile gegenüber ähnlichen Produkten bestehen. Da klassische, szenariobasierte Tests in der Regel mit einer kleinen Stichprobe durchgeführt werden (5Jakob Nielsen: Why You Only Need to Test With 5 Users. Alertbox, 19. März 2000, abgerufen am 29. Oktober 2015. bis maximal 30 Probanden), können die Ergebnisse solcher Vergleiche nur erste Tendenzen in Bezug auf gegebenenfalls vorliegende Bewertungsunterschiede aufzeigen.
Nach dem Usability-Test werden die Schwachstellen analysiert und das Produkt so optimiert, dass es von möglichst vielen Personen als einfach zu bedienen empfunden wird und so die Benutzerfreundlichkeit verbessert wird.
Aufzeichnung Um Usability-Tests und letztlich mögliche Schwachstellen möglichst genau protokollieren zu können, werden verschiedene Formen der Aufzeichnung genutzt:
Ton- und Video- sowie Bildschirmaufzeichnung Tracking-Software, um zum Beispiel Mausbewegungen, Mausklicks, Tastatureingaben und besuchte Webseiten (beim Web-Usability) des Benutzers aufzuzeichnen Blickbewegungsregistrierung Beobachtung
Nach dem Test werden alle Protokolle (Textprotokolle, Video, Blickbewegungsdaten) ausgewertet.
Anwendungen Usability-Tests können prinzipiell immer dann durchgeführt werden, wenn etwas einer Mensch-Maschine-Interaktion unterliegt. Dabei ist sowohl Software als auch ein reeller Gegenstand ein mögliches Untersuchungsobjekt.
Beispielhaft sind zu nennen: Mobiltelefone jegliche Software, die der Bedienung durch Menschen unterliegt Videorekorder Webseiten Telefonische Fahrplanauskünfte Automaten Spielzeug Technische Dokumentation (Bedienungsanleitungen etc.) Medizinprodukte
Weitere Testmethoden Usability-Tests können auch als Benchmark-Tests durchgeführt werden, zum Beispiel um herauszufinden, ob ein Produkt bereits ausreichend gut bedienbar ist. Zum Beispiel könnte ein Usability-Ziel sein, eine Web-Anwendung zur Buchung eines Fluges solange zu verbessern, bis ein User es schafft, einen Flug innerhalb von drei Minuten zu buchen. Beim Usability-Test wird in diesem Fall die Zeit für diese Aufgabe gemessen und auf lautes Denken verzichtet. Der Usability-Test steuert den Prototyping-Prozess.
Weiterhin werden Usability-Tests auch als Vergleichstests durchgeführt, zum Beispiel beim Software-Ankauf. Es wird getestet, welches Produkt die bessere Usability hat.
Die Durchführung erfolgt oft in Usability-Laboren. Mittlerweile gibt es aber auch Anbieter die „Remote-Usability-Tests“ bzw. „Crowd-Usability-Tests“ anbieten. Hierbei werden die Tester nicht in ein Labor eingeladen, sondern testen von zu Hause. Da für die Tests kein Labor notwendig ist und die Tester von zu Hause arbeiten, lassen sich über diese Methode deutliche Kosteneinsparungen erzielen. Deutsche Messe Interactive - Director's Brief. März 2013. (PDF; 780 kB)
Eyetracking in der Usability-Forschung mini|Auswertung von Eyetracking-Daten nach einem Usability-Test
Eyetracking oder Blickbewegungsregistrierung wird u. a. in Usability- und Konzepttests eingesetzt, um die Blickbewegungen von Probanden aufzuzeichnen. Dadurch kann ermittelt werden, welche Bereiche eines Bildschirms der Benutzer betrachtet hat und wie intensiv er sich diese angesehen hat. Zudem ist es möglich Bereiche bzw. Elemente zu identifizieren, die überhaupt nicht oder kaum Beachtung erhalten haben. Daten aus Eyetracking-/Blickverlaufsstudien liefern wertvolle Erkenntnisse zur Optimierung von Layouts und Entwürfen. Somit wird Eyetracking auch immer öfter in frühen Phasen eines Entwicklungsprozesses (auf Designs und Prototypen) sowie iterativ in mehreren Stufen eingesetzt. Dies wird unterstützt durch das Aufkommen günstiger Eye-Tracking-Hardware und alternative Aufnahmeformen wie beispielsweise in Remote-Usability-Tests über die Webcam.
Eyetracking liefert Hinweise dazu Auf welche Elemente des Bildschirms der User seine Aufmerksamkeit richtet Welche Elemente ein User sieht, welche nicht Wie wichtig ein Bereich für einen User ist Ob ein User orientiert oder desorientiert ist Ob ein Text durchgelesen wird
In-Store-Tests, Remote-Tests, Proxy-Verfahren Testverfahren im Usability-Labor, bei denen Teilnehmer vor Ort beobachtet und befragt werden, erfordern in der Regel Budgets, die für kleine Website-Projekte nicht in Frage kommen. Deshalb werden in solchen Fällen sparsame Verfahren wie In-Store-Tests, Remote-Usability-Tests oder das Proxy-Verfahren eingesetzt.
Beim In-Store-Test nach Jakob Nielsen testet der Testleiter im Ladengeschäft des Kunden einen Papierprototypen oder Klick-Dummy der Website mit fünf zufällig anwesenden Kunden als Probanden.Jakob Nielsen: Usability for $200. Alertbox, 2. Juni 2003, abgerufen am 29. Oktober 2015.
Bei Remote-Usability-Tests wird der gesamte Prozess des Usability-Tests online abgewickelt. Man verzichtet darauf, Probanden lokal zu rekrutieren und diese in ein Labor oder das eigene Büro einzuladen. In der Regel werden diese Tests über einen spezialisierten Anbieter durchgeführt, der ein eigenes Probanden-Panel stellt, aus dem auf Basis verschiedener Kriterien wie Alter, Geschlecht, Interneterfahrung, Einkaufsverhalten etc. Personen rekrutiert werden können. Die Laufzeit eines solchen Tests variiert nach Zielgruppe zwischen wenigen Stunden und mehreren Tagen. Eine der neueren Methoden, die für die Durchführung eines synchronen Remote-Usability-Tests entwickelt wurden, ist die Verwendung von Virtual Reality Umgebungen.
Beim Proxy-Verfahren werden die Nutzerzugriffe auf eine Website über einen Proxy-Server umgeleitet. Dieser speichert Aufrufreihenfolge und Betrachtungszeit der einzelnen Seiten sowie alle Nutzereingaben. Stellt man dem Nutzer nun Aufgaben, zum Beispiel sich über das Angebot der jeweiligen Seite zu informieren, kann man anhand der gespeicherten Daten sowohl die Übersichtlichkeit des Layouts als auch die Verständlichkeit der Texte beurteilen. Von Vorteil ist, dass weder der Code der Seite verändert werden muss, noch deren Funktionalität beeinträchtigt wird. Die Ursprünge dieses Verfahrens reichen bis in die späten 90er Jahre zurück. Als Vorreiter gelten das 1999 von AT&T entwickelte Web-event logging-tool WETM. Etgen, J. Cantor: What does getting WET (Web Event-logging Tool) mean for Web Usability? in CHI '06 extended abstracts on Human factors in computing systems und das 2001 entwickelte WebQuilt.J. I. Hong, J. Heer, S. Waterson, J. A. Landay: WebQuilt: A proxy-based approach to remote web usability testing. In: ACM Transactions on Information Systems. 19, Nr. 3, 2001, S. 263–285.
Besonderheiten bei medizinischen Geräten mini|Gebrauchstauglichkeitstest im Experimental-OP Tübingen