Inhaltsverzeichnis

  1. Usability Tests
    1. Erster Usability Walkthrough
    2. Fragebogen – Post Session Interview
    3. Emo-Cards
  2. Der SUS-Fragebogen
    1. Auswertung
    2. SUS-Fragebogen Test 1
    3. Zweiter Usability Walkthrough
    4. Fragebogen - Post Session Interview
    5. Emo-Cards
    6. SUS Fragebogen Steffi
    7. Befunde nach beiden Tests
    8. Tag 5

Usability Tests

Erster Usability Walkthrough

Die ersten beiden Tests werden mit dem LowFi Prototyp durchgeführt. Das visuelle Erscheinungbild ist hier noch nicht relevant. Die Person liest sich zuerst das Briefing durch und wir führen sie danach durch unsere vorbereiteten Aufgaben. Im ersten Testing haben wir die Person bzw. die Benutzung des Prototypen gefilmt, um zusätzliche Beobachtungen festzuhalten. Für die Dokumentation haben wir das Video auf relevante Sequenzen geschnitten.

Angaben zur Testperson 1

Name
Nils
Beruf
UX/UI Designer
Alter
25
Geschlecht
Männlich
Erfahrung
Keine

Aufgabe 1

Lese die Push Notification und klicke dich zur ersten Frage. Beantworte eine Frage. Für den Flow gehen wir davon aus, dass du 4 von 5 Fragen richtig beantwortet hast. Du kannst dann die Fragen abschliessen.

Beobachtungen

Er stellt Rückfragen zum Briefing. Als er die erste Frage erreicht findet er selber heraus, dass er sie beantworten muss. Die Farben Rot und Grün stehen für richtig und falsch. Er versteht deshalb, ob er die Frage richtig oder falsch beantwortet hat. Er meint, dass das Feedback auch ein Button ist weil es farblich gleich wie die Antwort ist. Ihm ist zu wenig klar dass es über das Feedback zur nächsten Frage geht. Das Feedback sowie ein «Weiter-Button» sollen separat sein. Es sind momentan zu viele Infos in einem Element. Danach kommt er auf die Statistiken von einem Modul. Die Lernkurve versteht er und die Smileys zeigen wie oft er schlecht gewesen ist. Es zeigt wie viele Fragen er noch bearbeiten muss.

Aufgabe 2

Du steigst direkt in App ein und gelangst auf die Startseite. Wie sieht deine Statistik für das Modul St.Galler Management aus? Repetiere das Modul.

Beobachtungen

Er kommt auf die Übersicht und versteht nicht, dass es hier kein Fragescreen ist, bzw. er meint, dass es auch eine Aufgabe ist, die man lösen muss, da die Seite ähnlich aufgebaut ist. Die 3 Buttons verwirren. Diese könnten auch Antworten sein. Er klickt auf repetieren.

Aufgabe 3

Gehe auf die Übersicht wo die Module aufgelistet sind. Finde deinen aktuellen Level.

Beobachtungen

Er gelangt auf die Übersicht und nimmt an das Taco-Icon steht für sein Profilicon. Er weiss nicht wie klar das ist, aber er meint, dass es nunmal das einzig mögliche Icon ist. Auf der Levelseite hat er keine möglichkeit den Gesamtlevel anzusehen. Er meint es wäre spannender eine Gesamtübersicht über das Modul anzuzeigen und nicht nur das Level. Die Punktezusammensetzung ist ihm nicht klar. «Wie erreiche ich die Punkte?», fragt er sich. Er weiss es nicht. Die Punkte setzen sich aus der Lernkurve zusammen. Resultieren aus den 5 Fragen ebenfalls 5 Punkte?

Aufgabe 4

Starte beim Übersichtsscreen und schau ob du offene Benachrichtigungen hast. Falls ja, lese sie.

Beobachtungen

Er nimmt an, dass die Benachrichtigungen beim Icon mit der Glocke zu finden sind. Er liest die Benachrichtigungen durch. Er ist sich nicht sicher, ob jetzt nur die 5 Fragen auf der jeweiligen Benachrichtigung zu finden sind oder alle ungelösten. Auf dem Repetieren-Button erwartet er, dass er alle Fragen repetieren muss, also auch diese, die er bereits richtig beantwortet hat.


Fragebogen – Post Session Interview

Was war positiv?

Die Fragestellung war sehr intuitiv.

Was war negativ?

Inkonsistenz: Es war nicht klar, dass die Übersicht die Module zeigt. Bei den Fragen ist das Feedback verwirrend.

Was hat ihnen gefehlt?

Eine Gruppierung der Module und eine Angabe des Dozenten. Es ist nicht klar wer die Fragen macht.

Was haben Sie für einen Gesamteindruck dieser App?

Sie ist aufgeräumt aber Gleiches soll auch Gleiches machen, Unterschiedliches soll sich auch anders verhalten.

Was hat gefallen?

Sehr simpel und ufgeräumt. Es gibt keine unnötigen Infos und der Usecase ist auf das nötigste reduziert.

Verbesserungen?

Modulstatistiken sind noch nicht klar. Es macht keinen Sinn das Level zu verstecken.

War das Menu klar?

Die Icons sollen nicht oben stehen sondern nach unten, da man sie oben schlecht klicken kann und swipen könnte man auch unten. Den Aufbau müsste man ändern, wenn icons nach unten kommen. Es sollte mit mehr Ebenen gearbeitet werden und nicht alles versuchen mit swipen zu lösen.

Gegenfragen:

Wer macht fragen bereit? Gibt es einen Login? Inhalt noch etwas mehr gliedern: Bei welchem Dozent habe ich was, wie sind die Module aufgeteilt? Braucht es ein Archiv, das die abgeschlossenen Fächer zeigt?


Emo-Cards

Man legt Karten mit diversen Adjektiven auf den Tisch aus und Testperson wählt drei Karten, welche er findet passt am besten zum Produkt. Wichtig ist, was der Tester zu den Karten sagt.

Gewählte Karten


Der SUS-Fragebogen

Mithilfe eines einfachen Fragebogens (System Usability Scale), der aus insgesamt zehn Fragen, auf Basis von Likert-Skalen mit je fünf Optionen besteht, kann ermittelt werden, wie nutzerfreundlich eine Software wahrgenommen wird. Der SUS-Fragebogen enthält fünf positiv und fünf negativ formulierte Aussagen zur Usability des zu bewertenden Systems.

Auswertung

  • Immer die gleichen 10 Fragen.
  • Am Schluss gibt eine Note zwischen 1-4.
  • Bei ungraden Fragen jeweils Antwort - 1.
  • Bei graden Fragen jeweils 5(max Punkte)-Antwort.
  • Alle Punkte zusammenzählen und mit 2,5 multiplizieren, ergibt Punktzahl von 100. Am Schluss bekommt man einen Wert, der keine Prozente angibt.
  • 60 bis 80 ist grenzwärtig. Wenn man +80 erhält, ist man auf einem guten Weg.

SUS-Fragebogen Test 1

  1. Ich kann mir sehr gut vorstellen, das System regelmäßig zu nutzen. 4 von 5 → 3 Punkte

  2. Ich empfinde das System als unnötig komplex. 2 von 5 → 3 Punkte

  3. Ich empfinde das System als einfach zu nutzen. 3 von 5 → 2 Punkte

  4. Ich denke, dass ich technischen Support brauchen würde, um das System zu nutzen. 1 von 5 → 4 Punkte

  5. Ich finde, dass die verschiedenen Funktionen des Systems gut integriert sind. 3 von 5 → 2 Punkte

  6. Ich finde, dass es im System zu viele Inkonsistenzen gibt. 2 von 5 → 3 Punkte

  7. Ich kann mir vorstellen, dass die meisten Leute das System schnell zu beherrschen lernen. 5 von 5 → 4 Punkte

  8. Ich empfinde die Bedienung als sehr umständlich. 3 von 5 → 2 Punkte

  9. Ich habe mich bei der Nutzung des Systems sehr sicher gefühlt. 5 von 5 → 4 Punkte

  10. Ich musste eine Menge Dinge lernen, bevor ich mit dem System arbeiten konnte. 1 von 5 → 4 Punkte

Punktzahl Total: 31 * 2,5 = 77,5


Zweiter Usability Walkthrough

Angaben zur Testperson 2

Name
Stefanie
Beruf
UX/UI Designer
Alter
33
Geschlecht
Weiblich
Erfahrung
Keine

Aufgabe 1

Lese die Push Notification und klicke dich zur ersten Frage. Beantworte eine Frage. Für den Flow gehen wir davon aus, dass du 4 von 5 Fragen richtig beantwortet hast. Du kannst dann die Fragen abschliessen.

Beobachtungen

Sie klickt sich zum Logo und weiss von da nicht ob sie weiter muss. Sie kommt zu den Fragen und ihr ist klar, dass es 5 Fragen gibt. Sie fragt sich ob es nur 3 Antworten sind? Sie weiss nicht ob der Button sie zur nächsten Frage bringt. Muss sie scrollen oder bringt es sie automatisch weiter? Da der Button auch rot ist würde sie nicht draufklicken. Wir fragen sie ob es mit einem Pfeil klarer ist. Sie meint ja aber es wäre irritierend mit zwei roten Buttons. Sie findet es verwirrend dass wir bei falscher Eingabe 3 unterschiedliche Farben anzeigen. «Was soll der Taco? Kann ich da etwas essen?»

Aufgabe 2

Du steigst direkt in App ein und gelangst auf die Startseite. Wie sieht deine Statistik für das Modul St.Galler Management aus? Repetiere das Modul.

Beobachtungen

Sie versteht dass die Kreise ganze Module darstellen. Sie klickt direkt in das Modul St.Galler Management Modell. Bei der Statistik des Lernverlaufs fragt sie wie man erkennt wie viel man gelernt hat? Sie denkt es ist der Zeitraum wann ich wieviel gelernt habe. Ihr fehlt aber die y-Achse. Es ist ihr klar, dass man das Modul über den entsprechenden Button repetieren kann. Sie fragt: wird der letzte Push repetiert? Sie fände es besser wenn sie auswählen kann was genau sie repetiert. Es wäre cool, wenn man nur Fragen, die man noch nicht beantwortet hat zuerst beantworten kann.

Aufgabe 3

Gehe auf die Übersicht wo die Module aufgelistet sind. Finde deinen aktuellen Level.

Beobachtungen

Sie klickt auf das Homeicon. Die Menu-Platzierung oben stört sie nicht. Sie findet die Levels nicht. Sie klickt irgendwann auf das Level-Icon, da sie nicht weiss wo sie sonst klicken soll. Ihrer Ansicht nach muss das Levelsystem erklärt werden. Levelsystem mit Icons im Foodbereich sind verwirrend, da die App nichts mit Essen zu tun hat. Sie findet, dass ein Profilbutton klarer wäre. Zurück swipen oder ein Homebutton um auf die Übersicht zu gelangen wäre wünschenswert.

Aufgabe 4

Starte beim Übersichtsscreen und schau ob du offene Benachrichtigungen hast. Falls ja, lese sie.

Beobachtungen

Der Übersichtscreen war ihr klar, da sie ihn erwartet hat. Sie sieht die 2 offenen Mitteilungen. Sie fragt sich was geklickt werden muss um nur diese Fragen zu repetieren. Sie denkt, dass direkt auf den Benachrichtigungen nur die Fragen kommen, die man repetieren sollte und wenn man auf den Repetieren-Buton klickt, kommt alles was noch offen ist.


Fragebogen - Post Session Interview

Was war positiv?

Die Fragestellung war sehr intuitiv.

Was war negativ?

Man kann nicht zurück, um nochmals zur letzten Frage zu gehen. Sie hätte etwas mehr erwartet.

Was hat ihnen gefehlt?

Eine Übersicht der Fragen wäre spannend. Es wäre spannend die Fragen für die Prüfung nochmals durchgehen zu können und eine Art Fehlerrate angezeigt bekommt.

Was haben Sie für einen Gesamteindruck dieser App?

Der Anfang der Fragen war klar. Man könnte aber noch etwas mehr machen. Sie hätte erwartet, dass sie noch mehr repetieren kann.


Emo-Cards

Gewählte Karten


SUS Fragebogen Steffi

  1. Ich kann mir sehr gut vorstellen, das System regelmäßig zu nutzen. 5 von 5 → 4 Punkte

  2. Ich empfinde das System als unnötig komplex. 1 von 5 → 4 Punkte

  3. Ich empfinde das System als einfach zu nutzen. 4 von 5 → 3 Punkte

  4. Ich denke, dass ich technischen Support brauchen würde, um das System zu nutzen. 3 von 5 → 2 Punkte

  5. Ich finde, dass die verschiedenen Funktionen des Systems gut integriert sind. 5 von 5 → 4 Punkte

  6. Ich finde, dass es im System zu viele Inkonsistenzen gibt. 3 von 5 → 2 Punkte

  7. Ich kann mir vorstellen, dass die meisten Leute das System schnell zu beherrschen lernen. 5 von 5 → 4 Punkte

  8. Ich empfinde die Bedienung als sehr umständlich. 2 von 5 → 3 Punkte

  9. Ich habe mich bei der Nutzung des Systems sehr sicher gefühlt. 4 von 5 → 3 Punkte

  10. Ich musste eine Menge Dinge lernen, bevor ich mit dem System arbeiten konnte. 1 von 5 → 4 Punkte

Punktzahl Total: 33 * 2,5 = 82,5


Befunde nach beiden Tests

  • Menu: Platzierung überdenken, Level im Onboarding erklären
  • Oboarding mit den wichtigsten Funktionen erstellen
  • Repetieren-Button: Wording nicht dem Use-Case entsprechend. Anderes Wording → eventuell Textbox «Du hast noch X Fragen falsch oder noch nicht beantwortet, hole das HIER nach →»
  • Feedback bei Fragen soll klarer sein, Feedback von Weiter Button trennen. optisch von Antwort abheben
  • Lernverlauf: Statistik-Page muss klarer sein. Was wird gezeigt, wie wird es gezeigt.
  • Level nicht in Detailansicht zeigen → zeigt ja Fotschritt über alle Module

Verbesserte Screens des LowFi Prototyp

Übersichtsscreen angepasst mit «Modul hinzufügen» Button, Levelseite angepasst:

Mitteilungen zusammengefasst, Feedback bei Fragen vereinfacht, Modulübersicht Repetierbuttons neu:

Onboarding mit den wichtigsten 4 Features:


Superlearner-Facts

Tag 5

Was haben wir gelernt?

Auch wenn einem das Produkt super einfach vorkommt, merkt man durch die Interviews, was man alles vergessen hat oder doch nicht so gut durchdacht.

Was war das Highlight?

Es war total spannend zu sehen was die Testpersonen zu unserem Produkt für Feedback gaben. Hat uns auf jedenfall geholfen uns selber nochmals gewisse Fragen zu stellen und alles aus einem anderen Blickwinkel zu betrachten.

Was war schwierig?

Bei den Interviews nicht anfangen der Testperson zu helfen sondern immer Gegenfragen stellen, um so noch mehr über die Denkweise der User zu erhalten.

Was war das Lowlight?

Zu merken dass Features der App die wir toll fanden von den Probanden einfach nicht verstanden oder für unnötig empfunden wurden. Ein Beispiel wäre das Levelsystem welches meist nur verwirrte. Dabei ist der Gamification Aspekt ein grosser Teil unserer Idee.

Zum HiFi-Design