Förbättra Intelligent Survey: använda brute-force metod för att förbättra diagnostisering av depression och ångest med AI

Abstract (Swedish)

Projektet Intelligent Survey (IS) utvecklades för att predicera depression och ångest från naturligt språk genom att översätta individers kvalitativa svar från elva öppna frågor till kvantitativa värden som jämförs och prediceras mot skalorna; Patient Health Questionnaire (PHQ-9), Generalized Anxiety Disorder scale (GAD-7), Harmony in Life scale (HILS) och Satisfaction With Life Scale (SWLS). I samarbete med det pågående projektet var denna studies syfte att minimera mean square error (MSE) i IS genom att modifiera frågeordningen för att få så mycket information som möjligt med så få frågor som möjligt. Metoden som valdes var en brute-force metod som testade alla möjliga utgångspunkter för att hitta den optimala första frågan. IS tränades med svar från 883 deltagare. Brute-force koden resulterade i 11x4 modeller med olika utgångspunkter för IS. Mellanskillnader beräknades för att identifiera trender av förändring i MSE och för att urskilja och implementera den bästa utgångspunkten för IS. Två beroende t-test utfördes för att med större säkerhet kunna undersöka om, och med vilken effektstyrka den nya koden minskat MSE i IS. Första t-testet mätte genomsnittlig MSE över ordningen på frågorna och visade statistiskt signifikans med relativt höga effektstyrkor för alla skalor utom SWLS. Däremot antogs en skepticism av resultaten då enbart PHQ-9 visade statistisk signifikans i det andra t-testet som mätte genomsnittlig MSE över deltagare. Brute-force metoden innebar en huvudsaklig minskning av MSE och visade sig lämplig för att undersöka olika utgångspunkter för IS. Potentiellt kan brute-force metoden utnyttjas för att förbättra andra liknande AI-system inom diagnostisering.

Abstract

The project Intelligent Survey (IS) was developed to predict depression and anxiety from natural language by translating individuals' qualitative answers from eleven open-ended questions to quantitative values, which are compared and predicted against the scales; Patient Health Questionnaire (PHQ-9), Generalized Anxiety Disorder scale (GAD -7), Harmony in Life scale (HILS) and Satisfaction With Life Scale (SWLS). In collaboration with the ongoing project, the aim of this study was to minimize the mean square error (MSE) in IS by modifying the question order, in order to obtain as much information as possible, with as few questions as possible. The method chosen was a brute-force method that tested all possible starting points to find the optimal first question. IS was trained with responses from 883 participants. The brute-force code resulted in 11x4 models with different starting points for IS. Differences were calculated to identify trends of change in MSE and to identify and implement the best starting point for IS. Two dependent t-tests were performed to be able to investigate with greater certainty whether, and to what extent, the new code reduced MSE in IS. The first t-test measured average MSE over the order of the questions and showed statistical significance with relatively high effect size for all scales except SWLS. However, a skepticism of the results was assumed as only PHQ-9 showed statistical significance in the second t-test that measured average MSE over participants. The brute-force method entailed a major reduction in MSE and proved suitable for examining different starting points for IS. Potentially, the brute-force method can be used to improve other similar AI systems in diagnostics.

• author: Vikner, Joel ; Jonasson, Sofia and Lind, Jacob
• supervisor: Sverker Sikström
• organization: Department of Psychology
• course: PSYK11 20221
• year: 2022
• type: M2 - Bachelor Degree
• subject: Social Sciences
• keywords: depression, anxiety, artificial intelligence, mental health, brute-force method, ångest, mental hälsa, brute-Force metod
• language: Swedish
• id: 9082816
• date added to LUP: 2022-06-14 09:19:24
• date last changed: 2022-06-14 09:19:24