Remote Usability Testing Beyond Screen Sharing: A Comparative Study of Assisted and Traditional Think-Aloud Methods
(2026) MAMM01 20261Ergonomics and Aerosol Technology
Certec - Rehabilitation Engineering and Design
- Abstract
- When user interfaces are embedded in physical systems and cannot be accessed through conventional screen sharing, remote usability testing becomes challenging. This is increasingly relevant as products are developed for global markets, where remote evaluation is often necessary despite limited user interface access. This study investigates how alternative testing methods can be used and how they influence usability evaluation outcomes.
Four methods were compared in a controlled 2×2 study, varying in physical co-presence (on-site vs. remote) and interaction execution (direct think-aloud vs. proxy interaction), using a door control panel as a test case (n = 20). Participants completed scenario-based tasks, either through direct... (More) - When user interfaces are embedded in physical systems and cannot be accessed through conventional screen sharing, remote usability testing becomes challenging. This is increasingly relevant as products are developed for global markets, where remote evaluation is often necessary despite limited user interface access. This study investigates how alternative testing methods can be used and how they influence usability evaluation outcomes.
Four methods were compared in a controlled 2×2 study, varying in physical co-presence (on-site vs. remote) and interaction execution (direct think-aloud vs. proxy interaction), using a door control panel as a test case (n = 20). Participants completed scenario-based tasks, either through direct interaction or by instructing a moderator, while qualitative and quantitative data were collected, complemented by moderator reflections.
The results show that while task performance and perceived usability were similar across methods, clear differences emerged in interaction and identified usability problems. Direct interaction primarily revealed functional and physical issues, whereas proxy interaction highlighted problems related to interpretation and system logic, generating richer verbal data but increasing cognitive load.
The moderator played a central role, particularly in proxy and remote settings, where interaction became distributed between participant and moderator. This shifted the moderator from observer to active interpreter and executor, making usability issues partly dependent on how interaction was communicated. The findings show that methods enabling remote testing are not neutral substitutes for in-person testing, but reshape both interaction and outcomes.
This suggests that usability testing approaches should not be selected merely to enable access, but designed with an understanding of how they shape the insights produced. (Less) - Popular Abstract (Swedish)
- När användaren inte får trycka själv
Hur testar man en produkt på distans när den inte går att dela över ett videosamtal? Studien jämför olika sätt att testa fysiska system och visar hur testupplägget förändrar både hur människor använder dem och vilka problem som upptäcks.
Föreställ dig ett test där man undersöker hur människor använder ett fysiskt system. I en variant använder personen produkten själv. I en annan sitter användaren i ett annat land och ser systemet genom en kamera. Det finns bara en hake: användaren kan inte längre trycka själv utan behöver istället instruera testledaren vad som ska göras.
Varje handling måste därför beskrivas: vilken knapp som ska tryckas på och när något blivit fel.
Samma användargränssnitt... (More) - När användaren inte får trycka själv
Hur testar man en produkt på distans när den inte går att dela över ett videosamtal? Studien jämför olika sätt att testa fysiska system och visar hur testupplägget förändrar både hur människor använder dem och vilka problem som upptäcks.
Föreställ dig ett test där man undersöker hur människor använder ett fysiskt system. I en variant använder personen produkten själv. I en annan sitter användaren i ett annat land och ser systemet genom en kamera. Det finns bara en hake: användaren kan inte längre trycka själv utan behöver istället instruera testledaren vad som ska göras.
Varje handling måste därför beskrivas: vilken knapp som ska tryckas på och när något blivit fel.
Samma användargränssnitt testas – men sättet människor använder systemet förändras helt. Plötsligt handlar testet inte bara om produkten, utan också om kommunikationen mellan två människor.
Många liknande system går inte att dela över t.ex. ett videosamtal på samma sätt som vanliga appar eller webbsidor. Istället sitter användargränssnittet fast i fysisk hårdvara, som dörrsystem och industrimaskiner. Samtidigt kan användarna sitta på andra sidan jorden. Kan man då testa hur produkten faktiskt fungerar i verkligheten och samtidigt få trovärdiga resultat?
Det är just den frågan som står i centrum för studien. Och resultaten visar att själva testupplägget förändrar vad som blir synligt. Det är inte bara produkten som testas, utan hela situationen runt omkring den. Testmetoden påverkar vilka problem som upptäcks och därmed också vilka beslut som tas i utvecklingen av framtidens produkter.
Studien jämför fyra sätt att testa fysiska produkter. I två av testerna använder deltagarna produkten själva. I de andra behöver de istället beskriva vad som ska göras medan testledaren utför handlingarna åt dem, ungefär som att guida någon genom ett datorspel utan att själv hålla i kontrollen. Testerna genomförs både på plats och på distans för att jämföra skillnaderna.
När människor får använda systemen själva trycker de ofta snabbt, testar sig fram och reagerar direkt på det som händer. Men när varje knapptryck först behöver beskrivas högt förändras beteendet. Användarna börjar tänka efter mer innan något händer, vilket gör deras resonemang tydligare. Plötsligt blir det lättare att upptäcka när symboler och menyer misstolkas eftersom deltagarna behöver förklara vad de tror ska hända innan någon ens rör systemet.
När användaren inte längre håller i produkten missas dock sådant som känns i kroppen. Ger knappen någon respons? Är det lätt att råka trycka fel? Den typen av problem syns nästan bara när människor använder systemet själva.
Samtidigt förändras också testledarens roll. Istället för att bara observera blir testledaren en aktiv del av samspelet. Små missförstånd kan förändra hur produkten används och förstås.
Distansen gör skillnaden ännu tydligare. När deltagare och testledare inte längre är i samma rum blir kommunikationen avgörande och otydliga instruktioner får större betydelse.
Distansbaserade och instruktionsbaserade tester är dock inte nödvändigtvis sämre – bara annorlunda. Olika testmetoder fungerar lite som olika kameravinklar. Vissa fångar fysisk användning och spontana reaktioner, medan andra gör det lättare att förstå hur människor tolkar symboler och menyer. De instruktionsbaserade testerna gör användarnas resonemang tydligare, medan tester där de får utforska systemet själva ger en bättre bild av hur de faktiskt beter sig i praktiken. (Less)
Please use this url to cite or link to this publication:
https://lup.lub.lu.se/student-papers/record/9229097
- author
- Larsson Takman, Frida LU
- supervisor
- organization
- course
- MAMM01 20261
- year
- 2026
- type
- H2 - Master's Degree (Two Years)
- subject
- keywords
- Usability Testing, Remote Usability Testing, Proxy Interaction, Think-Aloud Method, Moderator Role
- language
- English
- id
- 9229097
- date added to LUP
- 2026-06-01 12:25:33
- date last changed
- 2026-06-01 12:25:33
@misc{9229097,
abstract = {{When user interfaces are embedded in physical systems and cannot be accessed through conventional screen sharing, remote usability testing becomes challenging. This is increasingly relevant as products are developed for global markets, where remote evaluation is often necessary despite limited user interface access. This study investigates how alternative testing methods can be used and how they influence usability evaluation outcomes.
Four methods were compared in a controlled 2×2 study, varying in physical co-presence (on-site vs. remote) and interaction execution (direct think-aloud vs. proxy interaction), using a door control panel as a test case (n = 20). Participants completed scenario-based tasks, either through direct interaction or by instructing a moderator, while qualitative and quantitative data were collected, complemented by moderator reflections.
The results show that while task performance and perceived usability were similar across methods, clear differences emerged in interaction and identified usability problems. Direct interaction primarily revealed functional and physical issues, whereas proxy interaction highlighted problems related to interpretation and system logic, generating richer verbal data but increasing cognitive load.
The moderator played a central role, particularly in proxy and remote settings, where interaction became distributed between participant and moderator. This shifted the moderator from observer to active interpreter and executor, making usability issues partly dependent on how interaction was communicated. The findings show that methods enabling remote testing are not neutral substitutes for in-person testing, but reshape both interaction and outcomes.
This suggests that usability testing approaches should not be selected merely to enable access, but designed with an understanding of how they shape the insights produced.}},
author = {{Larsson Takman, Frida}},
language = {{eng}},
note = {{Student Paper}},
title = {{Remote Usability Testing Beyond Screen Sharing: A Comparative Study of Assisted and Traditional Think-Aloud Methods}},
year = {{2026}},
}