Skip to main content

LUP Student Papers

LUND UNIVERSITY LIBRARIES

Dynamic VR: Machine Learning, Color, and Comprehension

Krysén, Erik LU and Sun, John LU (2025) MAMM20 20251
Department of Design Sciences
Abstract
This thesis investigates the use of real-time environment generation in virtual reality (VR) as a way to enhance learner comprehension and knowledge retention. Using an iterative design process, a speech-to-text (STT) model was integrated into VR with a keyword-extraction algorithm, first as a prototype in pilot tests, refined with feedback then finally used in a user study. The study compared three presentation modes: static VR, Machine Learning (ML) driven color adaptation, and randomly generated colors, measured using immediate comprehension and two-day knowledge retention via surveys.
The results indicate that dynamic color changes in VR does not significantly enhance comprehension or retention. While randomly generated colors... (More)
This thesis investigates the use of real-time environment generation in virtual reality (VR) as a way to enhance learner comprehension and knowledge retention. Using an iterative design process, a speech-to-text (STT) model was integrated into VR with a keyword-extraction algorithm, first as a prototype in pilot tests, refined with feedback then finally used in a user study. The study compared three presentation modes: static VR, Machine Learning (ML) driven color adaptation, and randomly generated colors, measured using immediate comprehension and two-day knowledge retention via surveys.
The results indicate that dynamic color changes in VR does not significantly enhance comprehension or retention. While randomly generated colors performed slightly better in retention surveys, possibly due to helping the participant encode the memory better, the ML-driven color adaptations did not show improvements compared to without it. In some cases, they may have introduced cognitive overload. (Less)
Abstract (Swedish)
Det här arbetet undersöker användningen av realtidsgenererade miljöer i virtuell verklighet (VR) som ett sätt att förbättra förståelse och bibehållandet av kunskap hos användare. Genom en iterativ designprocess integrerades en tal-till-text-modell i VR tillsammans med en algoritm för att hämta ut nyckelord. Systemet testades först i pilotstudier som prototyper, förbättrades genom feedback och användes därefter i en användarstudie. Studien jämförde tre olika presentationslägen: statisk VR, färganpassningar drivna av maskininlärning (ML), och slumpmässigt genererade färger. Effekterna mättes med hjälp av enkäter som utvärderade både omedelbar förståelse och bibehållandet av kunskap efter två dagar. Resultaten visar att dynamiska... (More)
Det här arbetet undersöker användningen av realtidsgenererade miljöer i virtuell verklighet (VR) som ett sätt att förbättra förståelse och bibehållandet av kunskap hos användare. Genom en iterativ designprocess integrerades en tal-till-text-modell i VR tillsammans med en algoritm för att hämta ut nyckelord. Systemet testades först i pilotstudier som prototyper, förbättrades genom feedback och användes därefter i en användarstudie. Studien jämförde tre olika presentationslägen: statisk VR, färganpassningar drivna av maskininlärning (ML), och slumpmässigt genererade färger. Effekterna mättes med hjälp av enkäter som utvärderade både omedelbar förståelse och bibehållandet av kunskap efter två dagar. Resultaten visar att dynamiska färgförändringar i VR inte leder till någon märkbar förbättring av förståelse eller bibehållande av kunskap. Slumpmässigt genererade färger presterade något bättre i bibehållandet av kunskap, möjligen eftersom de hjälpte deltagarna att bättre koda in minnen. Färganpassningar baserade på maskininlärning visade däremot inga förbättringar jämfört med statiska miljöer, och i vissa fall kan de ha bidragit till kognitiv överbelastning. (Less)
Popular Abstract (Swedish)
Virtuell verklighet (VR) erbjuder nya möjligheter inom utbildning och träning genom att skapa interaktiva, engagerande miljöer. I detta arbete utforskas det hur VR och dynamiska miljöer kan användas för att förbättra förståelse och bibehållande av kunskap med hjälp av maskininlärning (ML).
Please use this url to cite or link to this publication:
author
Krysén, Erik LU and Sun, John LU
supervisor
organization
course
MAMM20 20251
year
type
H2 - Master's Degree (Two Years)
subject
keywords
Virtual Reality (VR), Machine Learning (ML), Real Time Environment Generation, Color Theory, Education, Virtuell Verklighet (VR), Maskininlärning (ML), Realtidsmiljögenerering, Färgteori, Utbildning
language
English
id
9191126
date added to LUP
2025-06-02 16:57:05
date last changed
2025-06-02 16:57:05
@misc{9191126,
  abstract     = {{This thesis investigates the use of real-time environment generation in virtual reality (VR) as a way to enhance learner comprehension and knowledge retention. Using an iterative design process, a speech-to-text (STT) model was integrated into VR with a keyword-extraction algorithm, first as a prototype in pilot tests, refined with feedback then finally used in a user study. The study compared three presentation modes: static VR, Machine Learning (ML) driven color adaptation, and randomly generated colors, measured using immediate comprehension and two-day knowledge retention via surveys.
The results indicate that dynamic color changes in VR does not significantly enhance comprehension or retention. While randomly generated colors performed slightly better in retention surveys, possibly due to helping the participant encode the memory better, the ML-driven color adaptations did not show improvements compared to without it. In some cases, they may have introduced cognitive overload.}},
  author       = {{Krysén, Erik and Sun, John}},
  language     = {{eng}},
  note         = {{Student Paper}},
  title        = {{Dynamic VR: Machine Learning, Color, and Comprehension}},
  year         = {{2025}},
}