AI-Driven Performance and Configuration Analysis to Predict User Experience in Tactel’s Configurable IFE system

Abstract (Swedish)

Konfigurerbara system, såsom Tactels Android-baserade In-Flight Entertainment lösning, erbjuder stor flexibilitet men utgör samtidigt en utmaning för användartestning på grund av det oändliga antalet möjliga konfigurationer. För att säkerställa en bra användarupplevelse undersöker detta arbete möjligheten att använda Artificiell Intelligens, mer specifikt maskininlärning, för att förutspå användares upplevelse utifrån applikationens prestanda och konfiguration. Det undersöks även vilken prestanda parameter och vilken del i konfigurationen som påverkar användarupplevelsen mest. Två interaktinoer, scrollning och navigering, analyserades och användarbetyg samlades in på en betygsskala från 1 till 5. Två typer av modeller tränades med användarbetyg som utparameter: en med prestandadata som inparametrar och med konfigurationsdata som inparametrar. Modeller som Linjär Regression, Neurala Nätverk och Random Forest testades.

Resultaten visar att den bästa modellen för att förutspå scrollningsupplevelsen var modellen som tränades med prestandadata som inparametrar. Den modellen var en Random Forest model som hade ett medelfel på 0,2634, på en skala 1 till 5. Användarbetyget visade sig vara starkt påverkat av förekomsten av krascher. För navigering var konfigurationsbaserade modellen något bättre, med bästa modellen som också var Random Forest med ett medelfel på 0,8674, på en skala 1 till 5, där "Myflight"-widgeten visade sig vara den mest inflytelserika faktorn.

Det finns dock begränsningar: användarupplevelsen kan skilja sig markant i en faktisk flygmiljö, vilket stöds av både litteratur och intervjuer, vilket kan göra modellernas prediktioner mindre trovärdiga. Framtida arbete bör fokusera på att samla in mer data till modellerna, utöka antalet inparametrar, samt utveckla ett användargränssnitt för att göra systemet mer tillgängligt för utvecklare.

Abstract

Configurable systems, such as Tactel’s Android-based In-Flight Entertainment solution, offer great flexibility but also present a challenge for usability testing due to the infinite number of possible configurations. To ensure a good user experience for each configuration, this study explores the possibility of using Artificial Intelligence, more specifically machine learning, to predict users’ experience based on the application's performance and configuration. It also examines which application performance feature and which part of the configuration affects the user experience the most. Two interactions, scrolling and navigation, was analyzed and user experience grades were collected on a scale from 1 to 5. Two types of models were trained with the user grades as output: one with application performance data as input and one with configuration data as input. Models such as Linear Regression, Neural Network, and Random Forest were tested.

The result show that the best model for predicting the scrolling experience was the model trained with application performance data as input. This model was a Random Forest model, with a mean squared error of 0.2634, on a scale from 1 to 5. The user grade was strongly influenced by the occurrence of crashes. For navigation, the configuration-based model was slightly better, with the best model also being Random Forest with a mean squared error of 0.8674, on a scale from 1 to 5, where the "Myflight” widget proved to be the most influential factor.

However, there are limitations: the user experience can differ significantly in a real flight environment, as supported by both literature and interviews, which may make the model's predictions less reliable. Future work should focus on collecting more data for the models, expanding the number of input features, and developing a user interface to make the tool more accessible for developers.

Popular Abstract (Swedish)

Hur irriterad blir en passagerare när underhållningssystemet börjar lagga – på 10.000 meters höjd? Med hjälp av AI har vi visat att det går att förutspå vilket kan hjälpa flygbolag att förbättra sina system redan innan problemen uppstår.

• author: Tottie, Alice and Rygård, Maja
• supervisor: Joakim Eriksson
• organization: Ergonomics and Aerosol Technology
• course: MAMM01 20251
• year: 2025
• type: H2 - Master's Degree (Two Years)
• subject: Technology and Engineering
• keywords: User Experience, Performance, Configurable Applications, Machine Learning, In-flight Entertainment System
• language: English
• id: 9192691
• date added to LUP: 2025-06-05 10:06:53
• date last changed: 2025-06-05 10:06:53