AI Agent for User Data Analysis in Quality Assurance for Mobile Applications
(2026) EITL05 20252Department of Electrical and Information Technology
- Abstract (Swedish)
- Att skriva SQL-satser för att hämta användardata är ofta en ansträngande uppgift som kräver god kännedom om hur datainsamlingen fungerar, och hur användare interagerar med applikationen. För utvecklare som endast skriver SQL ibland innebär det mycket kontextväxling och tid som går åt till att åter bekanta sig med dataanalyseringsarbetet.
För att lösa detta problemet utvecklades en intern AI-agent som omvandlar naturligt språk till projektspecifika SQL-satser för BigQuery databser. Därmed reduceras eller elimineras behovet av att manuellt skriva SQL-satser. Denna automation låter istället utvecklare fokusera på att analysera och dra slutsatser från resultatet gällande användarbeteenden.
Genom att analysera applikationens källkod och... (More) - Att skriva SQL-satser för att hämta användardata är ofta en ansträngande uppgift som kräver god kännedom om hur datainsamlingen fungerar, och hur användare interagerar med applikationen. För utvecklare som endast skriver SQL ibland innebär det mycket kontextväxling och tid som går åt till att åter bekanta sig med dataanalyseringsarbetet.
För att lösa detta problemet utvecklades en intern AI-agent som omvandlar naturligt språk till projektspecifika SQL-satser för BigQuery databser. Därmed reduceras eller elimineras behovet av att manuellt skriva SQL-satser. Denna automation låter istället utvecklare fokusera på att analysera och dra slutsatser från resultatet gällande användarbeteenden.
Genom att analysera applikationens källkod och intervjua utvecklare med diverse erfarenhetsnivåer, kunde flera hinder för effektiva datadrivna beslut identifieras. Den komplexa databasstrukturen och avsaknad av detaljerad dokumentation över datainsamlingen var båda två tydliga hinder som stoppade utvecklare från att effektivt skriva SQL-satser, vilket kan mitigeras genom AI-assistans.
Resultatet blev en prototyp av en AI-agent, utvecklad med AutoGen-ramverket, som är tillgänglig både via text- och grafiska gränssnitt. Denna prototyp kan anpassas och konfigureras för nyttjade i olika teams och projekt, och därmed gynna för en enklare och snabbare dataanlys. Prototypen har projekt- och domänspecifik kunskap för data som samlas in genom inbyggd dokumentation i agentens \textit{tool}, vilket används för att agenten ska se strukturen över databasen.
Tester visade att sex av åtta tidigare skrivna SQL-satser kunde återskapas med naturligt språk under fem försök, med en genomsnittlig exekveringstid på drygt trettio sekunder från start till hämtat dataresultat. Resultaten visar att AI-assisterad SQL-generering potentiellt kan effektivisera kvalitetsarbetet inom utveckling av mobilapplikationer. (Less) - Abstract
- Writing SQL to extract usage data is a strenuous task that requires extensive knowledge of logging practices and user interactions within an application. For engineers and developers who write SQL only intermittently, the resulting context switching and re-familiarization can consume valuable work hours.
To address this challenge, an internal AI agent was developed to transform natural language into project specific SQL queries for BigQuery databases, reducing or eliminating the need for manual query writing. This automation allows engineers to focus on analyzing user interactions and deriving insights.
By analyzing the application source code and interviewing engineers of varying expertise, obstacles to efficient data-driven... (More) - Writing SQL to extract usage data is a strenuous task that requires extensive knowledge of logging practices and user interactions within an application. For engineers and developers who write SQL only intermittently, the resulting context switching and re-familiarization can consume valuable work hours.
To address this challenge, an internal AI agent was developed to transform natural language into project specific SQL queries for BigQuery databases, reducing or eliminating the need for manual query writing. This automation allows engineers to focus on analyzing user interactions and deriving insights.
By analyzing the application source code and interviewing engineers of varying expertise, obstacles to efficient data-driven decision-making were identified. The complex table structure in BigQuery and the lack of detailed documentation on logging behavior were two major obstacles to efficient query writing that could benefit from AI assistance.
The result is a prototype of an AI agent, using the AutoGen framework, available through both terminal and visual interfaces that can be configured for different teams and projects, facilitating easier and faster data analysis. The agent incorporates domain- and project specific knowledge of what is logged and why it is logged through the use of descriptors in a custom tool to view the database schema.
Testing showed that six out of eight existing queries written by experienced engineers could be reproduced using natural language prompts in less than five attempts, with an average execution time of just over half a minute from submission to data retrieval. These results highlight the potential of using AI assisted query generation in quality assurance work for the development of mobile applications. (Less)
Please use this url to cite or link to this publication:
http://lup.lub.lu.se/student-papers/record/9217953
- author
- Kanakis, André LU and Engvall, Frida LU
- supervisor
- organization
- course
- EITL05 20252
- year
- 2026
- type
- M2 - Bachelor Degree
- subject
- keywords
- Agent, AI, AutoGen, BigQuery, Data analysis, LLM, Mobile Applications, NLP, QA, Quality assurance, SQL
- report number
- LU/LTH-EIT 2026-1108
- language
- English
- id
- 9217953
- date added to LUP
- 2026-01-12 13:15:25
- date last changed
- 2026-01-12 13:15:25
@misc{9217953,
abstract = {{Writing SQL to extract usage data is a strenuous task that requires extensive knowledge of logging practices and user interactions within an application. For engineers and developers who write SQL only intermittently, the resulting context switching and re-familiarization can consume valuable work hours.
To address this challenge, an internal AI agent was developed to transform natural language into project specific SQL queries for BigQuery databases, reducing or eliminating the need for manual query writing. This automation allows engineers to focus on analyzing user interactions and deriving insights.
By analyzing the application source code and interviewing engineers of varying expertise, obstacles to efficient data-driven decision-making were identified. The complex table structure in BigQuery and the lack of detailed documentation on logging behavior were two major obstacles to efficient query writing that could benefit from AI assistance.
The result is a prototype of an AI agent, using the AutoGen framework, available through both terminal and visual interfaces that can be configured for different teams and projects, facilitating easier and faster data analysis. The agent incorporates domain- and project specific knowledge of what is logged and why it is logged through the use of descriptors in a custom tool to view the database schema.
Testing showed that six out of eight existing queries written by experienced engineers could be reproduced using natural language prompts in less than five attempts, with an average execution time of just over half a minute from submission to data retrieval. These results highlight the potential of using AI assisted query generation in quality assurance work for the development of mobile applications.}},
author = {{Kanakis, André and Engvall, Frida}},
language = {{eng}},
note = {{Student Paper}},
title = {{AI Agent for User Data Analysis in Quality Assurance for Mobile Applications}},
year = {{2026}},
}