Presentatie december

presentatie van 17 december 2009: ppt pdf

Resultaten usability tests

Gebruiker 1
heeft brede IT-kennis en heeft al met Ableton gewerkt
testscenario's:
1) De gebruiker grijpt meteen naar de Settings-knop en past daar de slider van muzikant 4 aan. Test wordt helemaal tot een goed einde gebracht.
2) De gebruiker legt onmiddellijk de link tussen de startknop en de sequencer die rond het middenpanel gebouwd is. De plaatsing van deze knoppen op de huidige positie lijkt dus eerder logisch voor deze persoon.
3) Hij probeert de hihats te verwijderen door ze aan te raken. Dit was niet de voorziene actie om instrumenten te verwijderen (bij aanraken zou het effectenvenster verschijnen). Zijn argument was vooral de snelheid van handelen: het is belangrijk, zeker bij een live performance, om snel instrumenten te kunnen verwijderen en toevoegen.
Daarop heb ik dan nog de vraag gesteld of het gemakkelijk zou werken wanneer een instrument telkens naar een vuilbakicoon gesleept moet worden om het te verwijderen. Het antwoord was negatief: het duurt te lang en er zou telkens naar 1 bepaald punten gesleept moeten worden, wat niet altijd vlot gaat wanneer er meerdere mensen op dezelfde plaats moeten samenwerken.
4) Dit probleem werd door de gebruiker als volgt aangepakt. Hij koos eerst voor het instrumentenvenster en raakte dan het instrument aan dat hij wou plaatsen op de sequencer. Daarna koos hij de posities op de sequencer door die aan te raken. Na het plaatsen tikt hij opnieuw het instrument aan om aan te geven dat het plaatsen voorbij is. Dit is een totaal andere manier van werken dan de beoogde wijze, maar is wel efficiënter. Het probleem bij deze aanpak zijn de andere muzikanten. Als 2 muzikanten tegelijkertijd een instrument kiezen om op de sequencer te plaatsen, dan is het bijna onmogelijk om te weten welk instrument er geplaatst moet worden in de sequencer wanneer 1 muzikant een positie kiest.
5) Bij dit scenario is de werkwijze volledig duidelijk. Het effectenvenster wordt onmiddellijk gevonden door een instrument aan te raken. De bediening van de elementen is ook intuïtief.

vragen achteraf:
Een eerste opmerking van deze testgebruiker gaat over de taken van elke muzikant. Volgens hem is het misschien beter om vooraf onderling rollen af te spreken (bv. muzikant die zich bezig houdt met de drums, andere dan weer met melodie, ...)
Een tweede opmerking gaat over de scheiding drums-melodie. Het zou beter zijn volgens hem om deze twee gescheiden te houden en elke gebruiker eventueel een synth te geven gekoppeld aan een sequencer om de melodielijn te bepalen. Volgens mij is het uit elkaar halen van drums-melodie slechts gedeeltelijk mogelijk, omdat het eigenlijk niet de bedoeling is de sequencer meerdere keren te kopiëren. Dit zou teveel overhead geven en de beschikbare ruimte om andere dingen te doen beperken. Een mogelijk compromis is het tonen van een uitgebreide synth wanneer de effecten opgevraagd worden van bv. een synth bass op de sequencer.

Gebruiker 2
brede IT-kennis en enige ervaring met Fruity Loops
testscenario's:
1) De Settings-knop wordt na enige aarzeling gevonden en de testgebruiker past daarna zonder moeite het volume aan via de slider. Test geslaagd.
2) Dit scenario wordt heel snel uitgevoerd. De gebruiker verwachtte zelfs dat het middenstuk gedraaid kon worden in zijn richting, wat ook volledig de bedoeling is.
3) De gebruiker verwacht een instrument te kunnen wegslepen van de sequencer en dat deze dan buiten de cirkel ergens blijven 'zweven' zodat ze later nog opnieuw gebruikt kunnen worden als ze opnieuw nodig zijn. Dit is niet zoals de applicatie zich op dit moment gedraagt. Test gefaald in principe, maar deze manier van werken lijkt nog wel een te overwegen alternatief. Hoewel in dit geval er wel een andere manier moet voorzien worden om instrumenten effectief van de tabletop te verwijderen.
4) De gebruiker kiest voor het instrumentenmenu en probeert elke kick apart naar de sequencer te slepen. Dit is een mogelijke manier om het aan te pakken, maar dan wordt er voor elke kick een aparte effectenmodule gemaakt en dat maakt het toepassen van effecten omslachtiger. In een volledig functionele en werkelijke opstelling zou dit apart toevoegen van elke kick ook niet efficiënt genoeg werken.
5) Het oproepen van het effectenvenster wordt gedaan door tweemaal snel het gewenste instrument aan te raken ('dubbelklikken'). Het gebruik van de verschillende elementen van de effectenmodule verloopt volledig volgens het geplande scenario.

Usability tests

mogelijke kritieke problemen van een interface (deze problemen moeten adhv tests blootgelegd worden):
* ontbreken van functionaliteiten om een bepaalde taak te kunnen uitvoeren
* uitvoeren van een taak faalt ("Kan een testgebruiker een opgelegde taak tot een goed einde brengen?") bij meerdere gebruikers
* interface wordt niet geapprecieerd door meerdere gebruikers (subjectieve voldoening)

manier van testen:
* enkel observeren: de testgebruiker probeert een taak uit te voeren en de designer van de interface observeert enkel wat de tester doet. Deze aanpak werkt enkel goed bij een volledig functioneel prototype, maar is wel handig om de tijd, nodig om de taak uit te voeren, te meten
* think-aloud test: een testgebruiker laten interageren met een paper mock-up terwijl hij hardop nadenkt en zegt wat hij verwacht hoe de applicatie gaat reageren.
* cooperation: 2 testgebruikers werken samen aan eenzelfde taak en worden gevraagd om in discussie te gaan tijdens het uitvoeren van de taak

Opstellen van testscenario's
Aan welke criteria moet een testscenario voldoen?
* het moet een realistische taak zijn die typisch vaak uitgevoerd wordt met het systeem
* een gesloten taak: een taak waarmee de gebruiker op het einde echt iets bereikt (bv het toevoegen van een nieuw instrument aan de sequencer)
* geen hints over hoe een taak uitgevoerd moet worden

Testscenario's voor de tabletop
eerst enkele gemakkelijke taken:
1) De compositie van de vierde muzikant is momenteel niet hoorbaar. Pas dit aan zodanig dat de compositie van deze persoon maximaal hoorbaar wordt. (Deze test moet duidelijk maken of de plaatsing van de volumes onder de 'Settings'-knop logisch is en hoe snel de gebruiker de link settings-volume legt. Bij deze test is de eerste reactie heel belangrijk: waar verwacht de tester deze aanpassing te kunnen doen?)
2) U als muzikant hebt zojuist een bepaalde compositie gemaakt en zou deze graag eens laten lopen om te horen wat u er van gemaakt hebt. (Hier wordt gekeken of de gebruiker onmiddellijk naar de startknop in het midden van het scherm gaat grijpen of ergens anders gaat zoeken)
3) Er is een bepaalde compositie gemaakt met verschillende instrumenten, maar alle hihats zouden verwijderd moeten worden uit deze compositie. Probeer dit uit te voeren. (Testen hoe de testgebruiker verwacht de instrumenten te kunnen verwijderen. Gaat hij expliciet op zoek naar een verwijderknop, verwacht hij de instrumenten ergens naar toe te kunnen slepen of ziet hij het nog anders?)
meer geavanceerd:
4) U bent van plan om een compositie te maken van 4 kicks, dus 1 kick op elke tel. Probeer dit uit te voeren op de tabletop en start de gemaakte compositie. (Nagaan of het logisch is om instrumenten vanuit de instrumentenlijst te slepen naar de sequencer en hoe de gebruiker de instrumenten op meerdere plaatsen op de sequencer gaat zetten. Kiest hij om elke kopie van het instrument vanuit het instrumentenpanel in de sequencer te slepen of gaat hij eerder proberen om het vanaf de sequencer te kopiëren? Dit laatste is de beoogde manier van werken, maar tests zullen uitwijzen of dit wel de beste manier is.)
5) Er is een bepaalde compositie gemaakt met shakers en kicks. De geluidseigenschappen van de shakers zouden aangepast moeten worden (toon aan hoe deze eigenschappen volgens u gemanipuleerd kunnen worden) en het volume van de shakers zou gehalveerd moeten worden. Probeer dit uit te voeren op de tabletop. (Waar gaat de gebruiker het effectenvenster zoeken? Is het logisch dat het venster verschijnt als er op een instrument geduwd wordt? Verder wordt er gecontroleerd dat het voorstellen van de envelope intuïtief genoeg is. Normaal is het de bedoeling de envelope te manipuleren door de curve te verslepen.)

enkele vragen achteraf:
Welk gevoel geeft het werken met deze applicatie? Zit het systeem van werken vreemd in mekaar of is het eerder logisch?
Op welke punten kan de interface nog verbeterd worden? Is het uitvoeren van bepaalde taken soms te omslachtig?
Er moet nog een manier gevonden worden om de BPM aan te passen. Welke manier lijkt volgens u het meest aangeraden? 1) via een slider 2) een draaiknop 3) door nummers te tekenen op het scherm die dan herkend worden door de applicatie

Welke instructies krijgen de testgebruikers op voorhand?
Belangrijk is te weten tot welke categorie de testgebruikers behoren (veel of weinig/geen voorkennis van het producen van muziek). Mensen met echt helemaal geen voorkennis (worst case) krijgen eerst een introductie over de concepten 'sequencer', virtuele instrumenten, effecten en filters zonder hierbij al de link te leggen naar de applicatie op de tabletop. Personen met enige voorkennis krijgen een minimale opfrissing van deze concepten.

Hoeveel testgebruikers?
Sommige CHI-experts zeggen ten minste 10 testgebruikers om statistische significantie te hebben, maar dit vraagt veel tijd. Anderen zeggen dan weer dat 3 testgebruikers ook al volstaan om usability problemen te ontdekken.

Gebruikers- en takenprofiel

Gebruikers:
De gebruikers zijn typisch DJ's of personen met enige kennis van het producen van muziek (= personen met domein- en IT-kennis). Anderzijds zijn er ook gebruikers met weinig of geen voorkennis van het produceren van muziek (= personen met enkel IT-kennis), die bv. willen werken met de tabletop omwille van het multitouch-aspect. Het ontwerp van de interface moet dus uitgaan van deze laatste groep als worst case scenario. De interface moet ofwel eenvoudig blijven ofwel uitgebreid gedocumenteerd worden op niet-triviale punten (bv. het venster waarin de effecten gekozen worden kan voor een leek ingewikkeld lijken, terwijl dit voor een doorwinterde Ableton-gebruiker eerder vertrouwd en eenvoudig oogt). Met IT-kennis wordt een zeer beperkte ervaring met GUIs bedoeld.

Taken:
* algemene instellingen:
-- veranderen van globaal volume: de gebruiker moet in staat zijn om het globale muziekvolume aan te passen
-- veranderen van eigen volume relatief tov de anderen: de gebruiker kan er voor kiezen om het volume van zijn instrumenten te dempen of om de compositie van andere gebruikers zachter te laten doorklinken
-- instellen van het tempo: op een centrale plaats moet de gebruiker het tempo van het muziekstuk kunnen instellen

* sequencer
-- starten van de sequencer: de sequencer kan gestart worden op 1 centrale plaats op de tabletop waardoor de sequencer begint te lopen op de aangegeven plaats
-- stoppen van de sequencer: de sequencer kan gestopt worden op 1 centrale plaats op de tabletop
-- toevoegen van een muziekinstrument aan de sequencer: de gebruiker moet in staat zijn om een bepaald muziekinstrument te kiezen en dit op een bepaalde plaats in de sequencer in te voegen
-- kopiëren van instrumenten naar meerdere plaatsen in de sequencer: het moet mogelijk zijn om snel instrumenten te kopiëren in de sequencer zonder ze te selecteren in een bepaalde instrumentenlijst
-- verwijderen van een muziekinstrument: bezette plaatsen in de sequencer moeten snel leeggemaakt kunnen worden

* effecten
-- filter toepassen op een muziekbron: er kunnen 3 soorten filters toegepast worden op een virtuele muziekbron (high, low of bandpass filter) waarbij frequentie en resonantie ingesteld kunnen worden
-- envelope en oscillator aanpassen van de muziekbron
-- frequentie aanpassen van een muziekbron
-- instrumentvolume instellen: elk muziekinstrument afzonderlijk heeft een bepaald volume dat ingesteld kan worden ten opzichte van het volume van andere instrumenten

Ontwerpbeslissingen schets & paper mock-up

Eerste schets
De eerste schets werd gemaakt aan de hand van de functionele vereisten van de applicatie. De gebruiker moet in staat zijn instrumenten te kiezen waarmee hij wil werken. Verder moet er ergens een mogelijkheid zijn om een tijdsaspect te koppelen aan een instrument (op welk punt in de compositie moet het instrument hoorbaar zijn?) Hiervoor werd er initieel gedacht aan een tijdslijn. Daarnaast moet het mogelijk zijn om een globaal volume in te stellen en moet er een optie zijn om relatief gezien volumes in te stellen. Deze 3 aspecten worden gegroepeerd onder 3 verschillende knoppen op de tabletop die altijd zichtbaar blijven. Groot genoeg zodanig dat ze goed zichtbaar zijn (het zijn namelijk de hoofdknoppen) en dat ze gemakkelijk met een vinger geselecteerd kunnen worden.
De eerst knop groepeert de algemene instellingen (namen van de artiesten, BPM,...) en toont bijgevolg een venster waarin deze dingen veranderd kunnen worden.
De tweede button zorgt ervoor dat de tijdslijn verschijnt. Deze tijdslijn is er voor elke artiest en is eigenlijk een window dat een lijn bevat die begint bij seconde 0 en tot 60 seconden gaat. Het is hierbij de bedoeling dat de artiest een instrument kiest en deze koppelt aan de tijdslijn door ze vanuit het instrumentenvenster naar de tijdslijn te slepen. Waarom slepen? Het lijkt zeer logisch en intuïtief zeer gemakkelijk in te zien om op een tabletop de objecten zelf te slepen naar de locatie waar ze nodig zijn, eerder dan zoals in een muisgebaseerde omgeving alles met klikken te doen. Het verwijderen kan dan gebeuren door een instrument vast te nemen en het buiten het venster te slepen. Tests zullen moeten uitwijzen of dit logisch lijkt in de ogen van de gebruikers.
De derde button staat in voor de instrumenten. Bij het aanraken verschijnt er een scherm waarin de gebruiker kan scrollen om het gewenste instrument te zien. Dat instrument kan dan op de tijdslijn gesleept worden. Wanneer er een instrument op de tijdslijn gezet wordt, wordt het bijhorende icoon ook automatisch onderaan in de buttonlijst met de 3 buttons gezet.
Het effectenvenster kan opgeroepen worden door een instrument aan te raken in de buttonlijst onderaan. Dit venster bevat 4 onderdelen: een plaats waar de envelope en oscillatie aangepast kan worden, een draaiknop voor de frequentie van het instrument, een sectie waar de filter ingesteld kan worden aan de hand van draaiknoppen en een slider om het volume van het instrument in te stellen. Het manipuleren is in de eerste plaats gewoon gebaseerd op hoe dit in Ableton gebeurd, bv om de envelope in Ableton te veranderen volstaat het om een curve met de muis te verslepen. In het eerste ontwerp wordt hier dus gekozen om een curve met de vinger te verslepen. Voor Abletongebruikers komt dit zeer vertrouwd over en vermindert deze gelijkaardige aanpak de tijd om de applicatie te leren. Ook voor de sliders en draaiknoppen wordt in eerste instantie gekozen om deze op plaatsen te gebruiken waar dat ook bij Ableton het geval was. Usability tests moeten ook hier weer aantonen voor elk element of het gebruik ervan wel geschikt is op een tabletop.

Paper mock-up
De bedoeling van de paper mock-up is een papieren versie op ware grootte te maken van de applicatie waardoor de verhoudingen tussen vensters en widgets meteen duidelijk worden en er in zekere mate al geëxperimenteerd en getest kan worden. Na het bekijken van de eerste schets werden er al meteen enkele dingen aangepast:
1) de tijdslijn: wanneer er gewerkt wordt met de tijdslijn moet die zeer snel en efficiënt gaan. Dit kan niet wanneer de tijdslijn 1 minuut lang is en er voortdurend gescrolled en gezoomed moet worden. Na het zoomen moet dan weer op zoek gegaan worden naar de juiste positie om een instrument te kunnen plaatsen of verwijderen. Dit neemt allemaal te veel tijd in. Een mogelijke oplossing hiervoor: de tijdslijn korter maken en niet meer spreken over een minuut, maar slechts een maat. Een ander probleem met de tijdslijn is de redundantie op het scherm. Elke gebruiker heeft dezelfde tijdslijn nodig aangezien ze aan dezelfde compositie werken. Logischer zou zijn dat er maar 1 tijdslijn is die gebruikt kan worden door alle muzikanten tegelijkertijd. Bij deze oplossing is de oriëntatie nog een probleem. Hoe kan een venster getoond worden dat gemakkelijk werkt en leesbaar is voor alle gebruikers? De ideale oplossing hiervoor is een cirkel. Al deze ideeën samenbrengen leidt tot het totaal nieuwe ontwerp voor de tijdslijn dat nu eigenlijk een sequencer is geworden met 16 posities (maat van 1/16). Waarom 16 posities? 4 of 8 posities is te weinig, dit zou te veel lege ruimte laten in de cirkel ofwel ruimte verspillen door de iconen te groot te maken. De keuze ligt dan tussen 16 en 32 (enkel machten van 2) waarbij 16 de voorkeur krijgt omdat de sequencer dan nog altijd overzichtelijk blijft. Bij 32 posities zou het zoeken naar een instrument bv. niet meer efficiënt genoeg zijn, waardoor een muzikant zich snel gaat frustreren. Als we voor elke positie de mogelijkheid voorzien om 4 instrumenten te plaatsen, krijgen we 64 posities die opgevuld kunnen worden, maar dit zal zelfs in het worst case scenario niet het geval zijn. Rekening houdend met de 4 instrumenten per positie, de breedte van de tabletop en de grootte van de iconen op de sequencer lijkt de keuze voor 16 posities het meest aangewezen. Een mogelijk probleem hierbij is het fysieke aspect: wanneer meerdere gebruikers op dezelfde ruimte moeten samenwerken kan dit problemen geven doordat personen in de weg staan of bepaalde posities op de sequencer niet bereikt kunnen worden, maar dit kan enkel aangetoond worden door realistische tests.
2) instrumentenmenu: vanaf nu wordt er niet meer gekozen om een lijst van instrumenten te tonen waarin gescrolled kan worden. Opnieuw zou dit tijdverlies opleveren en aangezien er maar een beperkt aantal instrumenten gebruikt gaat worden, is het beter om direct de volledige lijst te tonen. Het scherm is hiervoor groot genoeg.
3) buttonslijst onderaan: de knop voor de tijdslijn verdwijnt aangezien de tijdslijn altijd zichtbaar blijft voor iedereen en het concept van 'lijst van buttons' verdwijnt ook. Wanneer er een instrument wordt toegevoegd aan de sequencer wordt dit niet langer expliciet vermeld onderaan. Een lijst van instrumenten zou opnieuw impliceren dat er gescrolled moeten worden om een bepaald instrument te tonen. Het effectenvenster kan vanaf nu opgeroepen worden door gewoon een instrument in de sequencer aan te raken.
4) algemene instellingen: dit venster wordt niet langer in het midden van het scherm getoond, aangezien daar de sequencer nu staat. Het venster kan maar op 1 plaats opgeroepen worden aangezien het globale instellingen bevat die voor iedereen hetzelfde zijn. De ronde vorm blijft behouden en het venster kan ook gedraaid worden zodanig dat iedereen de oriëntatie kan aanpassen naar eigen wens.
5) starten en stoppen vd sequencer: Dit gebeurt voortaan in het midden van de sequencer omdat dit eerder bij de sequencer hoort dan bij de algemene instellingen. Ook wordt hier het aantal BPM aangegeven.

Aangezien de paper mock-up op ware grootte wordt getekend, kan de grootte van de vensters al vastgelegd worden en kan er nagegaan worden of die grootte wel optimaal is als er effectief 4 gebruikers tegelijkertijd bezig zijn. Het voorlopige ontwerp is getest geweest met een worst case scenario van vensters. De tabletop werd volledig vol gelegd met vensters om te kijken wat er in dat geval allemaal mogelijk is van combinaties. Zo is het bv mogelijk dat ze tegelijkertijd een instrument kiezen of effecten van verschillende instrumenten op dezelfde moment instellen. Elk venster op zich lijkt voldoende ruimte te geven om de taken binnen dat venster uit te voeren, maar om zekerheid te hebben zou dit effectief softwarematig getest moeten worden. Ook de grootte van de te verslepen iconen in het instrumentenvenster is normaal groot genoeg om geen last te hebben van het fat finger probleem, maar ook hier weer zal een test uitsluitsel moeten brengen. In het geval dat dit toch problemen zou geven volstaat het om de grootte een beetje aan te passen. Dit mag geen onoverkomelijke problemen opleveren.
Voorlopig is er nog geen rekening gehouden met het draaien van vensters; enkel de ronde vensters kunnen gedraaid worden. De rechthoekige vensters kunnen versleept worden waarbij de oriëntatie dezelfde blijft.

Verslag meeting 3/12

aanwezigen: Bram Vandeputte, Nik Corthaut, Jef Hermans
onderwerpen:
* voorstelling paper mockup: uitleg over de werking van de applicatie aan de hand van een papieren prototype, volledig op schaal getekend. Deze uitleg gebeurde aan de hand van een analoog voorbeeld in Ableton Live. De applicatie werd op een aantal punten veranderd ten opzichte van de eerste schets. De ontwerpbeslissingen die genomen werden, worden nog gepost op deze blog.
Belangrijk is nu scenario's op te stellen en voor te leggen aan enkele testgebruikers. Op basis van de ondervindingen kan de paper mockup aangepast worden waar nodig.
* planning: Er zou een gedetailleerde en concrete planning, voorzien van milestones, opgesteld moeten worden voor de komende weken. Op 16 en 17 december zijn er opnieuw thesispresentaties voorzien met aandacht voor planning en de stand van zaken, aangevuld met een demo.
* tabletop: De tabletop staat bijna volledig op punt. Een eerste korte test van de tabletop werd door Bram voorgesteld aan de hand van een filmpje. Er zijn nog een paar kleine onvolmaaktheden (o.a. gebruik van een te kleine spiegel), maar deze kunnen snel opgelost worden. Ondertussen kunnen al wel de eerste testapplicaties geïmplementeerd en getest worden op de tabletop zelf.