Belangrijkste conclusies per getest scenario:
1) De step sequencer zou nog duidelijker moeten gemaakt worden. Dit door bv. ergens de gebruikte maat te vermelden en aan te geven waar elke tel begint. Ook moet er sowieso een mogelijkheid voorzien worden om instrumenten snel te kopiëren.
Om de verschillende instrumenten beter uit elkaar te kunnen houden is het beter dat de naam van elk instrument vermeld wordt.
Het instellingenvenster met het mastervolume zou maar 1 keer geopend mogen worden. Daarenboven wordt de positie best zo gekozen dat het venster de andere gebruikers niet hindert.
2) De toetsen moeten in de eerste plaats groter en er moet een knop toegevoegd worden om de gekozen noot te bevestigen. De huidige implementatie blijkt te onlogisch op dat gebied.
Er moet ook een manier toegevoegd worden om instrumenten te kunnen voorbeluisteren, evt. via een kleine play-button.
3) Het effectenvenster moet makkelijker te vinden zijn. Daarom moet er eventueel een boodschap toegevoegd worden die zegt dat het effectenvenster opgeroepen kan worden en hoe dit mogelijk is. Ook moet in het venster zelf de naam van het gekozen instrument vermeld worden, evenals de namen van de parameters die aangepast kunnen worden. Tenslotte zou er bij de draaiknoppen nog een begin- en eindpunt geplaatst moeten worden.
4) Instrumenten zouden ook definitief verwijderd moeten kunnen worden. Dit zou moeten kunnen door ofwel de instrumenten naar een 'vuilbak' te slepen of gewoon helemaal van de tafel te slepen.
5) Er zou nog een basisinstrument (klaps) toegevoegd moeten worden. Verder is het misschien interessant om instrumenten die lang doorklinken sneller af te kappen, waardoor ze meer gaan gebruikt worden omdat ze dan niet meer als langdurig en irritant beschouwd worden. Een andere toevoeging die zeker de moeite waard is, is het inladen van meerdere instrumenten (een bepaalde compositie) tegelijkertijd. Het bespaart tijd en zet de gebruiker direct op weg naar een eerste muziekstuk.
Posts tonen met het label usability. Alle posts tonen
Posts tonen met het label usability. Alle posts tonen
zaterdag 27 maart 2010
zaterdag 20 maart 2010
Usability tests met v0.9
Welke scenario's moeten er getest worden? Wat moet er geconcludeerd kunnen worden uit de tests?
Enkele belangrijke punten:
- Zijn de iconen groot genoeg of juist te groot?
- Is er genoeg ruimte op de display? Zijn de vensters van de juiste grootte? Neemt de step sequencer niet te veel plaats in ten koste van werkruimte voor de gebruikers?
- Is het eenvoudig genoeg om dingen te verslepen, om sliders en draaiknoppen te bedienen? Maw genoeg gebruiksgemak?
- Is de plaatsing van de elementen in de grafische interface duidelijk genoeg? Logisch/intuïtief of niet?
- Laat de huidige interface toe om een behoorlijk muziekstuk te maken? Kan de applicatie snel genoeg bediend worden zodanig dat het gebruik van 1 maat op de step sequencer voldoende is?
- Moet er een visuele scheiding gemaakt worden tussen drum en melodie?
- Kan de vorm van de step sequencer optimaler?
- Is de instrumentenverzameling goed gekozen of ontbreken er nog belangrijke instrumenten?
Wie zijn de gebruikers?
In de eerste plaats is het niet de bedoeling dat de gebruiker een professional is in het maken/produceren van muziek. Verder zijn de professionele artiesten niet het doelpubliek van de applicatie, maar dat neemt niet weg dat gebruikers enige voorkennis van muzieksoftware zoals Ableton/Reason kunnen hebben. Het doelpubliek is dus wel het publiek dat eenvoudige muziek wil maken als vrijetijdsbesteding in samenwerking met andere personen en zonder hierbij professionele bedoelingen te hebben.
Testscenario's voor v0.9 (voor telkens 2 gebruikers die samenwerken)
- van gemakkelijk naar moeilijk:
1) Er moet een willekeurige compositie gemaakt worden van 4 shakers. Gebruiker 1 maakt deze compositie en laat deze afspelen. Ondertussen zet gebruiker 2 het globale volume zachter.
(Uit dit eenvoudig scenario kan afgeleid worden of het duidelijk is waar de instrumenten te vinden zijn, of het slepen van een instrument naar de sequencer duidelijk is, of dit snel genoeg gaat. Hetzelfde voor gebruiker 2: Is het duidelijk waar het volume gevonden kan worden? Kan de slider gemakkelijk bediend worden?)
2) Gebruiker 2 maakt nu een compositie van 4 keer een snare hit van noot G3 op elke tel. Ondertussen zet gebruiker 1 een bell juist na elke snare hit van gebruiker 2. Als dat klaar is, past gebruiker 2 het tempo aan tot 130 bpm.
(Hiermee kan nagegaan worden of het samenwerken zonder problemen verloopt (vooral het aanwezig zijn op dezelfde plaats op de tabletop tegelijkertijd). Verder wordt er ook duidelijk of het concept van de step sequencer duidelijk is voor de gebruiker. Vervolgens de slider van de bpm: Kan deze voldoende nauwkeurig en snel bediend worden? Is het meteen duidelijk dat deze op het midden van het scherm staat?)
3) Er is een compositie gemaakt van een shaker en een 8ball bass. Gebruiker 1 zet de frequentie van de filter van de shakers naar een hoger niveau terwijl gebruiker 2 hetzelfde doet voor de 8ball bass.
(Dit scenario moet duidelijk maken of het eenvoudig is het effectenvenster te vinden, of de draaiknoppen gemakkelijk bediend kunnen worden en hoe de samenwerking verloopt)
4) Er is een compositie gemaakt van shakers en kicks. Gebruiker 1 moet de kicks verwijderen. Gebruiker 2 wordt gevraagd op dezelfde moment de effecten van de shakers te tunen.
(Testen of gebruiker 1 weet hoe instrumenten verwijderd kunnen worden en of gebruiker 2 duidelijk weet hoe de effecten aangepast kunnen worden)
5) In dit scenario is het de bedoeling om een muziekstuk te maken gedurende 200 loops van de step sequencer. De gebruikers mogen zelf kiezen welke instrumenten ze gebruiken, hoe de volumes van de instrumenten ingesteld worden, de parameters van de effecten, enz. Het is ook toegelaten om instrumenten van de andere gebruiker te wijzigen of te verwijderen.
(Vooral observatie van de gebruikers is belangrijk bij deze test: Welke elementen van de applicatie worden gebruikt? Zijn er elementen die nog efficiënter gemaakt kunnen worden? Daarnaast moet de test vooral duidelijk maken of het effectief mogelijk is om op een korte termijn een degelijk muziekstuk te maken. Het muziekstuk kan opgenomen worden om later te vergelijken met andere gebruikers, om te controleren welke features gebruikt worden en waar eventueel de applicatie nog tekort schiet om effectief iets degelijk te produceren. Verder kan dit scenario een volledig beeld geven of de samenwerking tussen beide gebruikers vlot verloopt, vooral qua gebruik van ruimte).
Enkele belangrijke punten:
- Zijn de iconen groot genoeg of juist te groot?
- Is er genoeg ruimte op de display? Zijn de vensters van de juiste grootte? Neemt de step sequencer niet te veel plaats in ten koste van werkruimte voor de gebruikers?
- Is het eenvoudig genoeg om dingen te verslepen, om sliders en draaiknoppen te bedienen? Maw genoeg gebruiksgemak?
- Is de plaatsing van de elementen in de grafische interface duidelijk genoeg? Logisch/intuïtief of niet?
- Laat de huidige interface toe om een behoorlijk muziekstuk te maken? Kan de applicatie snel genoeg bediend worden zodanig dat het gebruik van 1 maat op de step sequencer voldoende is?
- Moet er een visuele scheiding gemaakt worden tussen drum en melodie?
- Kan de vorm van de step sequencer optimaler?
- Is de instrumentenverzameling goed gekozen of ontbreken er nog belangrijke instrumenten?
Wie zijn de gebruikers?
In de eerste plaats is het niet de bedoeling dat de gebruiker een professional is in het maken/produceren van muziek. Verder zijn de professionele artiesten niet het doelpubliek van de applicatie, maar dat neemt niet weg dat gebruikers enige voorkennis van muzieksoftware zoals Ableton/Reason kunnen hebben. Het doelpubliek is dus wel het publiek dat eenvoudige muziek wil maken als vrijetijdsbesteding in samenwerking met andere personen en zonder hierbij professionele bedoelingen te hebben.
Testscenario's voor v0.9 (voor telkens 2 gebruikers die samenwerken)
- van gemakkelijk naar moeilijk:
1) Er moet een willekeurige compositie gemaakt worden van 4 shakers. Gebruiker 1 maakt deze compositie en laat deze afspelen. Ondertussen zet gebruiker 2 het globale volume zachter.
(Uit dit eenvoudig scenario kan afgeleid worden of het duidelijk is waar de instrumenten te vinden zijn, of het slepen van een instrument naar de sequencer duidelijk is, of dit snel genoeg gaat. Hetzelfde voor gebruiker 2: Is het duidelijk waar het volume gevonden kan worden? Kan de slider gemakkelijk bediend worden?)
2) Gebruiker 2 maakt nu een compositie van 4 keer een snare hit van noot G3 op elke tel. Ondertussen zet gebruiker 1 een bell juist na elke snare hit van gebruiker 2. Als dat klaar is, past gebruiker 2 het tempo aan tot 130 bpm.
(Hiermee kan nagegaan worden of het samenwerken zonder problemen verloopt (vooral het aanwezig zijn op dezelfde plaats op de tabletop tegelijkertijd). Verder wordt er ook duidelijk of het concept van de step sequencer duidelijk is voor de gebruiker. Vervolgens de slider van de bpm: Kan deze voldoende nauwkeurig en snel bediend worden? Is het meteen duidelijk dat deze op het midden van het scherm staat?)
3) Er is een compositie gemaakt van een shaker en een 8ball bass. Gebruiker 1 zet de frequentie van de filter van de shakers naar een hoger niveau terwijl gebruiker 2 hetzelfde doet voor de 8ball bass.
(Dit scenario moet duidelijk maken of het eenvoudig is het effectenvenster te vinden, of de draaiknoppen gemakkelijk bediend kunnen worden en hoe de samenwerking verloopt)
4) Er is een compositie gemaakt van shakers en kicks. Gebruiker 1 moet de kicks verwijderen. Gebruiker 2 wordt gevraagd op dezelfde moment de effecten van de shakers te tunen.
(Testen of gebruiker 1 weet hoe instrumenten verwijderd kunnen worden en of gebruiker 2 duidelijk weet hoe de effecten aangepast kunnen worden)
5) In dit scenario is het de bedoeling om een muziekstuk te maken gedurende 200 loops van de step sequencer. De gebruikers mogen zelf kiezen welke instrumenten ze gebruiken, hoe de volumes van de instrumenten ingesteld worden, de parameters van de effecten, enz. Het is ook toegelaten om instrumenten van de andere gebruiker te wijzigen of te verwijderen.
(Vooral observatie van de gebruikers is belangrijk bij deze test: Welke elementen van de applicatie worden gebruikt? Zijn er elementen die nog efficiënter gemaakt kunnen worden? Daarnaast moet de test vooral duidelijk maken of het effectief mogelijk is om op een korte termijn een degelijk muziekstuk te maken. Het muziekstuk kan opgenomen worden om later te vergelijken met andere gebruikers, om te controleren welke features gebruikt worden en waar eventueel de applicatie nog tekort schiet om effectief iets degelijk te produceren. Verder kan dit scenario een volledig beeld geven of de samenwerking tussen beide gebruikers vlot verloopt, vooral qua gebruik van ruimte).
woensdag 16 december 2009
Resultaten usability tests
Gebruiker 1
heeft brede IT-kennis en heeft al met Ableton gewerkt
testscenario's:
1) De gebruiker grijpt meteen naar de Settings-knop en past daar de slider van muzikant 4 aan. Test wordt helemaal tot een goed einde gebracht.
2) De gebruiker legt onmiddellijk de link tussen de startknop en de sequencer die rond het middenpanel gebouwd is. De plaatsing van deze knoppen op de huidige positie lijkt dus eerder logisch voor deze persoon.
3) Hij probeert de hihats te verwijderen door ze aan te raken. Dit was niet de voorziene actie om instrumenten te verwijderen (bij aanraken zou het effectenvenster verschijnen). Zijn argument was vooral de snelheid van handelen: het is belangrijk, zeker bij een live performance, om snel instrumenten te kunnen verwijderen en toevoegen.
Daarop heb ik dan nog de vraag gesteld of het gemakkelijk zou werken wanneer een instrument telkens naar een vuilbakicoon gesleept moet worden om het te verwijderen. Het antwoord was negatief: het duurt te lang en er zou telkens naar 1 bepaald punten gesleept moeten worden, wat niet altijd vlot gaat wanneer er meerdere mensen op dezelfde plaats moeten samenwerken.
4) Dit probleem werd door de gebruiker als volgt aangepakt. Hij koos eerst voor het instrumentenvenster en raakte dan het instrument aan dat hij wou plaatsen op de sequencer. Daarna koos hij de posities op de sequencer door die aan te raken. Na het plaatsen tikt hij opnieuw het instrument aan om aan te geven dat het plaatsen voorbij is. Dit is een totaal andere manier van werken dan de beoogde wijze, maar is wel efficiënter. Het probleem bij deze aanpak zijn de andere muzikanten. Als 2 muzikanten tegelijkertijd een instrument kiezen om op de sequencer te plaatsen, dan is het bijna onmogelijk om te weten welk instrument er geplaatst moet worden in de sequencer wanneer 1 muzikant een positie kiest.
5) Bij dit scenario is de werkwijze volledig duidelijk. Het effectenvenster wordt onmiddellijk gevonden door een instrument aan te raken. De bediening van de elementen is ook intuïtief.
vragen achteraf:
Een eerste opmerking van deze testgebruiker gaat over de taken van elke muzikant. Volgens hem is het misschien beter om vooraf onderling rollen af te spreken (bv. muzikant die zich bezig houdt met de drums, andere dan weer met melodie, ...)
Een tweede opmerking gaat over de scheiding drums-melodie. Het zou beter zijn volgens hem om deze twee gescheiden te houden en elke gebruiker eventueel een synth te geven gekoppeld aan een sequencer om de melodielijn te bepalen. Volgens mij is het uit elkaar halen van drums-melodie slechts gedeeltelijk mogelijk, omdat het eigenlijk niet de bedoeling is de sequencer meerdere keren te kopiëren. Dit zou teveel overhead geven en de beschikbare ruimte om andere dingen te doen beperken. Een mogelijk compromis is het tonen van een uitgebreide synth wanneer de effecten opgevraagd worden van bv. een synth bass op de sequencer.
Gebruiker 2
brede IT-kennis en enige ervaring met Fruity Loops
testscenario's:
1) De Settings-knop wordt na enige aarzeling gevonden en de testgebruiker past daarna zonder moeite het volume aan via de slider. Test geslaagd.
2) Dit scenario wordt heel snel uitgevoerd. De gebruiker verwachtte zelfs dat het middenstuk gedraaid kon worden in zijn richting, wat ook volledig de bedoeling is.
3) De gebruiker verwacht een instrument te kunnen wegslepen van de sequencer en dat deze dan buiten de cirkel ergens blijven 'zweven' zodat ze later nog opnieuw gebruikt kunnen worden als ze opnieuw nodig zijn. Dit is niet zoals de applicatie zich op dit moment gedraagt. Test gefaald in principe, maar deze manier van werken lijkt nog wel een te overwegen alternatief. Hoewel in dit geval er wel een andere manier moet voorzien worden om instrumenten effectief van de tabletop te verwijderen.
4) De gebruiker kiest voor het instrumentenmenu en probeert elke kick apart naar de sequencer te slepen. Dit is een mogelijke manier om het aan te pakken, maar dan wordt er voor elke kick een aparte effectenmodule gemaakt en dat maakt het toepassen van effecten omslachtiger. In een volledig functionele en werkelijke opstelling zou dit apart toevoegen van elke kick ook niet efficiënt genoeg werken.
5) Het oproepen van het effectenvenster wordt gedaan door tweemaal snel het gewenste instrument aan te raken ('dubbelklikken'). Het gebruik van de verschillende elementen van de effectenmodule verloopt volledig volgens het geplande scenario.
heeft brede IT-kennis en heeft al met Ableton gewerkt
testscenario's:
1) De gebruiker grijpt meteen naar de Settings-knop en past daar de slider van muzikant 4 aan. Test wordt helemaal tot een goed einde gebracht.
2) De gebruiker legt onmiddellijk de link tussen de startknop en de sequencer die rond het middenpanel gebouwd is. De plaatsing van deze knoppen op de huidige positie lijkt dus eerder logisch voor deze persoon.
3) Hij probeert de hihats te verwijderen door ze aan te raken. Dit was niet de voorziene actie om instrumenten te verwijderen (bij aanraken zou het effectenvenster verschijnen). Zijn argument was vooral de snelheid van handelen: het is belangrijk, zeker bij een live performance, om snel instrumenten te kunnen verwijderen en toevoegen.
Daarop heb ik dan nog de vraag gesteld of het gemakkelijk zou werken wanneer een instrument telkens naar een vuilbakicoon gesleept moet worden om het te verwijderen. Het antwoord was negatief: het duurt te lang en er zou telkens naar 1 bepaald punten gesleept moeten worden, wat niet altijd vlot gaat wanneer er meerdere mensen op dezelfde plaats moeten samenwerken.
4) Dit probleem werd door de gebruiker als volgt aangepakt. Hij koos eerst voor het instrumentenvenster en raakte dan het instrument aan dat hij wou plaatsen op de sequencer. Daarna koos hij de posities op de sequencer door die aan te raken. Na het plaatsen tikt hij opnieuw het instrument aan om aan te geven dat het plaatsen voorbij is. Dit is een totaal andere manier van werken dan de beoogde wijze, maar is wel efficiënter. Het probleem bij deze aanpak zijn de andere muzikanten. Als 2 muzikanten tegelijkertijd een instrument kiezen om op de sequencer te plaatsen, dan is het bijna onmogelijk om te weten welk instrument er geplaatst moet worden in de sequencer wanneer 1 muzikant een positie kiest.
5) Bij dit scenario is de werkwijze volledig duidelijk. Het effectenvenster wordt onmiddellijk gevonden door een instrument aan te raken. De bediening van de elementen is ook intuïtief.
vragen achteraf:
Een eerste opmerking van deze testgebruiker gaat over de taken van elke muzikant. Volgens hem is het misschien beter om vooraf onderling rollen af te spreken (bv. muzikant die zich bezig houdt met de drums, andere dan weer met melodie, ...)
Een tweede opmerking gaat over de scheiding drums-melodie. Het zou beter zijn volgens hem om deze twee gescheiden te houden en elke gebruiker eventueel een synth te geven gekoppeld aan een sequencer om de melodielijn te bepalen. Volgens mij is het uit elkaar halen van drums-melodie slechts gedeeltelijk mogelijk, omdat het eigenlijk niet de bedoeling is de sequencer meerdere keren te kopiëren. Dit zou teveel overhead geven en de beschikbare ruimte om andere dingen te doen beperken. Een mogelijk compromis is het tonen van een uitgebreide synth wanneer de effecten opgevraagd worden van bv. een synth bass op de sequencer.
Gebruiker 2
brede IT-kennis en enige ervaring met Fruity Loops
testscenario's:
1) De Settings-knop wordt na enige aarzeling gevonden en de testgebruiker past daarna zonder moeite het volume aan via de slider. Test geslaagd.
2) Dit scenario wordt heel snel uitgevoerd. De gebruiker verwachtte zelfs dat het middenstuk gedraaid kon worden in zijn richting, wat ook volledig de bedoeling is.
3) De gebruiker verwacht een instrument te kunnen wegslepen van de sequencer en dat deze dan buiten de cirkel ergens blijven 'zweven' zodat ze later nog opnieuw gebruikt kunnen worden als ze opnieuw nodig zijn. Dit is niet zoals de applicatie zich op dit moment gedraagt. Test gefaald in principe, maar deze manier van werken lijkt nog wel een te overwegen alternatief. Hoewel in dit geval er wel een andere manier moet voorzien worden om instrumenten effectief van de tabletop te verwijderen.
4) De gebruiker kiest voor het instrumentenmenu en probeert elke kick apart naar de sequencer te slepen. Dit is een mogelijke manier om het aan te pakken, maar dan wordt er voor elke kick een aparte effectenmodule gemaakt en dat maakt het toepassen van effecten omslachtiger. In een volledig functionele en werkelijke opstelling zou dit apart toevoegen van elke kick ook niet efficiënt genoeg werken.
5) Het oproepen van het effectenvenster wordt gedaan door tweemaal snel het gewenste instrument aan te raken ('dubbelklikken'). Het gebruik van de verschillende elementen van de effectenmodule verloopt volledig volgens het geplande scenario.
zondag 13 december 2009
Usability tests
mogelijke kritieke problemen van een interface (deze problemen moeten adhv tests blootgelegd worden):
* ontbreken van functionaliteiten om een bepaalde taak te kunnen uitvoeren
* uitvoeren van een taak faalt ("Kan een testgebruiker een opgelegde taak tot een goed einde brengen?") bij meerdere gebruikers
* interface wordt niet geapprecieerd door meerdere gebruikers (subjectieve voldoening)
manier van testen:
* enkel observeren: de testgebruiker probeert een taak uit te voeren en de designer van de interface observeert enkel wat de tester doet. Deze aanpak werkt enkel goed bij een volledig functioneel prototype, maar is wel handig om de tijd, nodig om de taak uit te voeren, te meten
* think-aloud test: een testgebruiker laten interageren met een paper mock-up terwijl hij hardop nadenkt en zegt wat hij verwacht hoe de applicatie gaat reageren.
* cooperation: 2 testgebruikers werken samen aan eenzelfde taak en worden gevraagd om in discussie te gaan tijdens het uitvoeren van de taak
Opstellen van testscenario's
Aan welke criteria moet een testscenario voldoen?
* het moet een realistische taak zijn die typisch vaak uitgevoerd wordt met het systeem
* een gesloten taak: een taak waarmee de gebruiker op het einde echt iets bereikt (bv het toevoegen van een nieuw instrument aan de sequencer)
* geen hints over hoe een taak uitgevoerd moet worden
Testscenario's voor de tabletop
eerst enkele gemakkelijke taken:
1) De compositie van de vierde muzikant is momenteel niet hoorbaar. Pas dit aan zodanig dat de compositie van deze persoon maximaal hoorbaar wordt. (Deze test moet duidelijk maken of de plaatsing van de volumes onder de 'Settings'-knop logisch is en hoe snel de gebruiker de link settings-volume legt. Bij deze test is de eerste reactie heel belangrijk: waar verwacht de tester deze aanpassing te kunnen doen?)
2) U als muzikant hebt zojuist een bepaalde compositie gemaakt en zou deze graag eens laten lopen om te horen wat u er van gemaakt hebt. (Hier wordt gekeken of de gebruiker onmiddellijk naar de startknop in het midden van het scherm gaat grijpen of ergens anders gaat zoeken)
3) Er is een bepaalde compositie gemaakt met verschillende instrumenten, maar alle hihats zouden verwijderd moeten worden uit deze compositie. Probeer dit uit te voeren. (Testen hoe de testgebruiker verwacht de instrumenten te kunnen verwijderen. Gaat hij expliciet op zoek naar een verwijderknop, verwacht hij de instrumenten ergens naar toe te kunnen slepen of ziet hij het nog anders?)
meer geavanceerd:
4) U bent van plan om een compositie te maken van 4 kicks, dus 1 kick op elke tel. Probeer dit uit te voeren op de tabletop en start de gemaakte compositie. (Nagaan of het logisch is om instrumenten vanuit de instrumentenlijst te slepen naar de sequencer en hoe de gebruiker de instrumenten op meerdere plaatsen op de sequencer gaat zetten. Kiest hij om elke kopie van het instrument vanuit het instrumentenpanel in de sequencer te slepen of gaat hij eerder proberen om het vanaf de sequencer te kopiëren? Dit laatste is de beoogde manier van werken, maar tests zullen uitwijzen of dit wel de beste manier is.)
5) Er is een bepaalde compositie gemaakt met shakers en kicks. De geluidseigenschappen van de shakers zouden aangepast moeten worden (toon aan hoe deze eigenschappen volgens u gemanipuleerd kunnen worden) en het volume van de shakers zou gehalveerd moeten worden. Probeer dit uit te voeren op de tabletop. (Waar gaat de gebruiker het effectenvenster zoeken? Is het logisch dat het venster verschijnt als er op een instrument geduwd wordt? Verder wordt er gecontroleerd dat het voorstellen van de envelope intuïtief genoeg is. Normaal is het de bedoeling de envelope te manipuleren door de curve te verslepen.)
enkele vragen achteraf:
Welk gevoel geeft het werken met deze applicatie? Zit het systeem van werken vreemd in mekaar of is het eerder logisch?
Op welke punten kan de interface nog verbeterd worden? Is het uitvoeren van bepaalde taken soms te omslachtig?
Er moet nog een manier gevonden worden om de BPM aan te passen. Welke manier lijkt volgens u het meest aangeraden? 1) via een slider 2) een draaiknop 3) door nummers te tekenen op het scherm die dan herkend worden door de applicatie
Welke instructies krijgen de testgebruikers op voorhand?
Belangrijk is te weten tot welke categorie de testgebruikers behoren (veel of weinig/geen voorkennis van het producen van muziek). Mensen met echt helemaal geen voorkennis (worst case) krijgen eerst een introductie over de concepten 'sequencer', virtuele instrumenten, effecten en filters zonder hierbij al de link te leggen naar de applicatie op de tabletop. Personen met enige voorkennis krijgen een minimale opfrissing van deze concepten.
Hoeveel testgebruikers?
Sommige CHI-experts zeggen ten minste 10 testgebruikers om statistische significantie te hebben, maar dit vraagt veel tijd. Anderen zeggen dan weer dat 3 testgebruikers ook al volstaan om usability problemen te ontdekken.
* ontbreken van functionaliteiten om een bepaalde taak te kunnen uitvoeren
* uitvoeren van een taak faalt ("Kan een testgebruiker een opgelegde taak tot een goed einde brengen?") bij meerdere gebruikers
* interface wordt niet geapprecieerd door meerdere gebruikers (subjectieve voldoening)
manier van testen:
* enkel observeren: de testgebruiker probeert een taak uit te voeren en de designer van de interface observeert enkel wat de tester doet. Deze aanpak werkt enkel goed bij een volledig functioneel prototype, maar is wel handig om de tijd, nodig om de taak uit te voeren, te meten
* think-aloud test: een testgebruiker laten interageren met een paper mock-up terwijl hij hardop nadenkt en zegt wat hij verwacht hoe de applicatie gaat reageren.
* cooperation: 2 testgebruikers werken samen aan eenzelfde taak en worden gevraagd om in discussie te gaan tijdens het uitvoeren van de taak
Opstellen van testscenario's
Aan welke criteria moet een testscenario voldoen?
* het moet een realistische taak zijn die typisch vaak uitgevoerd wordt met het systeem
* een gesloten taak: een taak waarmee de gebruiker op het einde echt iets bereikt (bv het toevoegen van een nieuw instrument aan de sequencer)
* geen hints over hoe een taak uitgevoerd moet worden
Testscenario's voor de tabletop
eerst enkele gemakkelijke taken:
1) De compositie van de vierde muzikant is momenteel niet hoorbaar. Pas dit aan zodanig dat de compositie van deze persoon maximaal hoorbaar wordt. (Deze test moet duidelijk maken of de plaatsing van de volumes onder de 'Settings'-knop logisch is en hoe snel de gebruiker de link settings-volume legt. Bij deze test is de eerste reactie heel belangrijk: waar verwacht de tester deze aanpassing te kunnen doen?)
2) U als muzikant hebt zojuist een bepaalde compositie gemaakt en zou deze graag eens laten lopen om te horen wat u er van gemaakt hebt. (Hier wordt gekeken of de gebruiker onmiddellijk naar de startknop in het midden van het scherm gaat grijpen of ergens anders gaat zoeken)
3) Er is een bepaalde compositie gemaakt met verschillende instrumenten, maar alle hihats zouden verwijderd moeten worden uit deze compositie. Probeer dit uit te voeren. (Testen hoe de testgebruiker verwacht de instrumenten te kunnen verwijderen. Gaat hij expliciet op zoek naar een verwijderknop, verwacht hij de instrumenten ergens naar toe te kunnen slepen of ziet hij het nog anders?)
meer geavanceerd:
4) U bent van plan om een compositie te maken van 4 kicks, dus 1 kick op elke tel. Probeer dit uit te voeren op de tabletop en start de gemaakte compositie. (Nagaan of het logisch is om instrumenten vanuit de instrumentenlijst te slepen naar de sequencer en hoe de gebruiker de instrumenten op meerdere plaatsen op de sequencer gaat zetten. Kiest hij om elke kopie van het instrument vanuit het instrumentenpanel in de sequencer te slepen of gaat hij eerder proberen om het vanaf de sequencer te kopiëren? Dit laatste is de beoogde manier van werken, maar tests zullen uitwijzen of dit wel de beste manier is.)
5) Er is een bepaalde compositie gemaakt met shakers en kicks. De geluidseigenschappen van de shakers zouden aangepast moeten worden (toon aan hoe deze eigenschappen volgens u gemanipuleerd kunnen worden) en het volume van de shakers zou gehalveerd moeten worden. Probeer dit uit te voeren op de tabletop. (Waar gaat de gebruiker het effectenvenster zoeken? Is het logisch dat het venster verschijnt als er op een instrument geduwd wordt? Verder wordt er gecontroleerd dat het voorstellen van de envelope intuïtief genoeg is. Normaal is het de bedoeling de envelope te manipuleren door de curve te verslepen.)
enkele vragen achteraf:
Welk gevoel geeft het werken met deze applicatie? Zit het systeem van werken vreemd in mekaar of is het eerder logisch?
Op welke punten kan de interface nog verbeterd worden? Is het uitvoeren van bepaalde taken soms te omslachtig?
Er moet nog een manier gevonden worden om de BPM aan te passen. Welke manier lijkt volgens u het meest aangeraden? 1) via een slider 2) een draaiknop 3) door nummers te tekenen op het scherm die dan herkend worden door de applicatie
Welke instructies krijgen de testgebruikers op voorhand?
Belangrijk is te weten tot welke categorie de testgebruikers behoren (veel of weinig/geen voorkennis van het producen van muziek). Mensen met echt helemaal geen voorkennis (worst case) krijgen eerst een introductie over de concepten 'sequencer', virtuele instrumenten, effecten en filters zonder hierbij al de link te leggen naar de applicatie op de tabletop. Personen met enige voorkennis krijgen een minimale opfrissing van deze concepten.
Hoeveel testgebruikers?
Sommige CHI-experts zeggen ten minste 10 testgebruikers om statistische significantie te hebben, maar dit vraagt veel tijd. Anderen zeggen dan weer dat 3 testgebruikers ook al volstaan om usability problemen te ontdekken.
Abonneren op:
Posts (Atom)