Usability tests

mogelijke kritieke problemen van een interface (deze problemen moeten adhv tests blootgelegd worden):
* ontbreken van functionaliteiten om een bepaalde taak te kunnen uitvoeren
* uitvoeren van een taak faalt ("Kan een testgebruiker een opgelegde taak tot een goed einde brengen?") bij meerdere gebruikers
* interface wordt niet geapprecieerd door meerdere gebruikers (subjectieve voldoening)

manier van testen:
* enkel observeren: de testgebruiker probeert een taak uit te voeren en de designer van de interface observeert enkel wat de tester doet. Deze aanpak werkt enkel goed bij een volledig functioneel prototype, maar is wel handig om de tijd, nodig om de taak uit te voeren, te meten
* think-aloud test: een testgebruiker laten interageren met een paper mock-up terwijl hij hardop nadenkt en zegt wat hij verwacht hoe de applicatie gaat reageren.
* cooperation: 2 testgebruikers werken samen aan eenzelfde taak en worden gevraagd om in discussie te gaan tijdens het uitvoeren van de taak

Opstellen van testscenario's
Aan welke criteria moet een testscenario voldoen?
* het moet een realistische taak zijn die typisch vaak uitgevoerd wordt met het systeem
* een gesloten taak: een taak waarmee de gebruiker op het einde echt iets bereikt (bv het toevoegen van een nieuw instrument aan de sequencer)
* geen hints over hoe een taak uitgevoerd moet worden

Testscenario's voor de tabletop
eerst enkele gemakkelijke taken:
1) De compositie van de vierde muzikant is momenteel niet hoorbaar. Pas dit aan zodanig dat de compositie van deze persoon maximaal hoorbaar wordt. (Deze test moet duidelijk maken of de plaatsing van de volumes onder de 'Settings'-knop logisch is en hoe snel de gebruiker de link settings-volume legt. Bij deze test is de eerste reactie heel belangrijk: waar verwacht de tester deze aanpassing te kunnen doen?)
2) U als muzikant hebt zojuist een bepaalde compositie gemaakt en zou deze graag eens laten lopen om te horen wat u er van gemaakt hebt. (Hier wordt gekeken of de gebruiker onmiddellijk naar de startknop in het midden van het scherm gaat grijpen of ergens anders gaat zoeken)
3) Er is een bepaalde compositie gemaakt met verschillende instrumenten, maar alle hihats zouden verwijderd moeten worden uit deze compositie. Probeer dit uit te voeren. (Testen hoe de testgebruiker verwacht de instrumenten te kunnen verwijderen. Gaat hij expliciet op zoek naar een verwijderknop, verwacht hij de instrumenten ergens naar toe te kunnen slepen of ziet hij het nog anders?)
meer geavanceerd:
4) U bent van plan om een compositie te maken van 4 kicks, dus 1 kick op elke tel. Probeer dit uit te voeren op de tabletop en start de gemaakte compositie. (Nagaan of het logisch is om instrumenten vanuit de instrumentenlijst te slepen naar de sequencer en hoe de gebruiker de instrumenten op meerdere plaatsen op de sequencer gaat zetten. Kiest hij om elke kopie van het instrument vanuit het instrumentenpanel in de sequencer te slepen of gaat hij eerder proberen om het vanaf de sequencer te kopiëren? Dit laatste is de beoogde manier van werken, maar tests zullen uitwijzen of dit wel de beste manier is.)
5) Er is een bepaalde compositie gemaakt met shakers en kicks. De geluidseigenschappen van de shakers zouden aangepast moeten worden (toon aan hoe deze eigenschappen volgens u gemanipuleerd kunnen worden) en het volume van de shakers zou gehalveerd moeten worden. Probeer dit uit te voeren op de tabletop. (Waar gaat de gebruiker het effectenvenster zoeken? Is het logisch dat het venster verschijnt als er op een instrument geduwd wordt? Verder wordt er gecontroleerd dat het voorstellen van de envelope intuïtief genoeg is. Normaal is het de bedoeling de envelope te manipuleren door de curve te verslepen.)

enkele vragen achteraf:
Welk gevoel geeft het werken met deze applicatie? Zit het systeem van werken vreemd in mekaar of is het eerder logisch?
Op welke punten kan de interface nog verbeterd worden? Is het uitvoeren van bepaalde taken soms te omslachtig?
Er moet nog een manier gevonden worden om de BPM aan te passen. Welke manier lijkt volgens u het meest aangeraden? 1) via een slider 2) een draaiknop 3) door nummers te tekenen op het scherm die dan herkend worden door de applicatie

Welke instructies krijgen de testgebruikers op voorhand?
Belangrijk is te weten tot welke categorie de testgebruikers behoren (veel of weinig/geen voorkennis van het producen van muziek). Mensen met echt helemaal geen voorkennis (worst case) krijgen eerst een introductie over de concepten 'sequencer', virtuele instrumenten, effecten en filters zonder hierbij al de link te leggen naar de applicatie op de tabletop. Personen met enige voorkennis krijgen een minimale opfrissing van deze concepten.

Hoeveel testgebruikers?
Sommige CHI-experts zeggen ten minste 10 testgebruikers om statistische significantie te hebben, maar dit vraagt veel tijd. Anderen zeggen dan weer dat 3 testgebruikers ook al volstaan om usability problemen te ontdekken.