Skip to main content

Lund University Publications

LUND UNIVERSITY LIBRARIES

Understanding and Improving Continuous Experimentation : From A/B Testing to Continuous Software Optimization

Ros, Rasmus LU (2022) In LU-CS-DISS 2022-22 Dissertation 68, 2022.
Abstract
Controlled experiments (i.e. A/B tests) are used by many companies with user-intensive products to improve their software with user data. Some companies adopt an experiment-driven approach to software development with continuous experimentation (CE). With CE, every user-affecting software change is evaluated in an experiment and specialized roles seek out opportunities to experiment with functionality.

The goal of the thesis is to describe current practice and support CE in industry. The main contributions are threefold. First, a review of the CE literature on: infrastructure and processes, the problem-solution pairs applied in industry practice, and the benefits and challenges of the practice. Second, a multi-case study with 12... (More)
Controlled experiments (i.e. A/B tests) are used by many companies with user-intensive products to improve their software with user data. Some companies adopt an experiment-driven approach to software development with continuous experimentation (CE). With CE, every user-affecting software change is evaluated in an experiment and specialized roles seek out opportunities to experiment with functionality.

The goal of the thesis is to describe current practice and support CE in industry. The main contributions are threefold. First, a review of the CE literature on: infrastructure and processes, the problem-solution pairs applied in industry practice, and the benefits and challenges of the practice. Second, a multi-case study with 12 companies to analyze how experimentation is used and why some companies fail to fully realize the benefits of CE. A theory for Factors Affecting Continuous Experimentation (FACE) is constructed to realize this goal. Finally, a toolkit called Constraint Oriented Multi-variate Bandit Optimization (COMBO) is developed for supporting automated experimentation with many variables simultaneously, live in a production environment.

The research in the thesis is conducted under the design science paradigm using empirical research methods, with simulation experiments of tool proposals and a multi-case study on company usage of CE. Other research methods include systematic literature review and theory building.

From FACE we derive three factors that explain CE utility: (1) investments in data infrastructure, (2) user problem complexity, and (3) incentive structures for experimentation. Guidelines are provided on how to strive towards state-of-the-art CE based on company factors. All three factors are relevant for companies wanting to use CE, in particular, for those companies wanting to apply algorithms such as those in COMBO to support personalization of software to users' context in a process of continuous optimization. (Less)
Abstract (Swedish)
Kontrollerade experiment (t.ex. A/B test) används av många företag med användarintensiva produkter för att förbättra mjukvara med hjälp av användardata. Några företag anammar ett experimentdrivet tillvägagångssätt för mjukvaruutveckling med kontinuerliga experiment (KE). Med KE så utvärderas alla förändringar som påverkar användare med ett experiment och det finns specialiserade roller som aktivt letar efter möjligheter för att experimentera med funktionalitet.

Målet med avhandlingen är att beskriva och stödja utövandet av KE i industri. Det ingår tre huvudsakliga bidrag. För det första, en recension av publikationer inom KE om: infrastruktur och processer, problem-lösnings par som applicerats i praktiken, och fördelar och... (More)
Kontrollerade experiment (t.ex. A/B test) används av många företag med användarintensiva produkter för att förbättra mjukvara med hjälp av användardata. Några företag anammar ett experimentdrivet tillvägagångssätt för mjukvaruutveckling med kontinuerliga experiment (KE). Med KE så utvärderas alla förändringar som påverkar användare med ett experiment och det finns specialiserade roller som aktivt letar efter möjligheter för att experimentera med funktionalitet.

Målet med avhandlingen är att beskriva och stödja utövandet av KE i industri. Det ingår tre huvudsakliga bidrag. För det första, en recension av publikationer inom KE om: infrastruktur och processer, problem-lösnings par som applicerats i praktiken, och fördelar och nackdelar med KE. För det andra, en multipel fallstudie med 12 företag för att analysera hur experimentering används och varför vissa företag inte till fullo drar nytta av fördelarna med KE. En teori om vilka faktorer som påverkar KE (FACE) konstrueras för att verkställa målet. Slutligen, ett verktyg för bandit optimering med villkor kallat COMBO tas fram för att stödja automatiserade experiment med många variabler samtidigt, i realtid i en produktionsmiljö.

Forskningen i avhandling är utförd inom paradigmen av designvetenskap och med empiriska forskningsmetoder: simuleringsexperiment av verktygsförslag och fallstudier. Andra forskningsmetoder inkluderar systematisk recension och teoribyggnad.

Från FACE tas tre faktorer fram som förklarar nyttan med KE: (1) investeringar i datainfrastruktur, (2) komplexiteten i problemområdet, och (3) incitamentsstrukturer för experimentering. Riktlinjer förses om hur företag kan sträva mot att nå bättre KE baserat på dess faktorer. Alla tre faktorer är relevanta för företag som vill tillämpa KE, speciellt för de företag som vill tillämpa algoritmer så som de i COMBO för att stödja personalisering av mjukvara till användares kontext i en process av kontinuerlig optimering. (Less)
Please use this url to cite or link to this publication:
author
supervisor
opponent
  • Dr. Stol, Klaas-Jan, University college Cork, Ireland.
organization
alternative title
Förstå och Förbättra Kontinuerlig Experimentering : Från A/B Testning till Kontinuerlig Mjukvaru Optimering
publishing date
type
Thesis
publication status
published
subject
in
LU-CS-DISS 2022-22
volume
Dissertation 68, 2022
pages
225 pages
publisher
Department of Computer Science, Lund University
defense location
Lecture hall E:A, building E, Ole Römers väg 3, Faculty of Engineering LTH, Lund University, Lund.
defense date
2022-03-04 13:15:00
ISSN
1404-1219
ISBN
978-91-8039-178-8
978-91-8039-177-1
language
English
LU publication?
yes
id
ab3676cc-bb8a-41c6-98f0-8b5c8380b404
date added to LUP
2022-02-05 23:56:59
date last changed
2023-03-06 12:19:31
@phdthesis{ab3676cc-bb8a-41c6-98f0-8b5c8380b404,
  abstract     = {{Controlled experiments (i.e. A/B tests) are used by many companies with user-intensive products to improve their software with user data. Some companies adopt an experiment-driven approach to software development with continuous experimentation (CE). With CE, every user-affecting software change is evaluated in an experiment and specialized roles seek out opportunities to experiment with functionality. <br/><br/>The goal of the thesis is to describe current practice and support CE in industry. The main contributions are threefold. First, a review of the CE literature on: infrastructure and processes, the problem-solution pairs applied in industry practice, and the benefits and challenges of the practice. Second, a multi-case study with 12 companies to analyze how experimentation is used and why some companies fail to fully realize the benefits of CE. A theory for Factors Affecting Continuous Experimentation (FACE) is constructed to realize this goal. Finally, a toolkit called Constraint Oriented Multi-variate Bandit Optimization (COMBO) is developed for supporting automated experimentation with many variables simultaneously, live in a production environment.<br/><br/>The research in the thesis is conducted under the design science paradigm using empirical research methods, with simulation experiments of tool proposals and a multi-case study on company usage of CE. Other research methods include systematic literature review and theory building.<br/><br/>From FACE we derive three factors that explain CE utility: (1) investments in data infrastructure, (2) user problem complexity, and (3) incentive structures for experimentation. Guidelines are provided on how to strive towards state-of-the-art CE based on company factors. All three factors are relevant for companies wanting to use CE, in particular, for those companies wanting to apply algorithms such as those in COMBO to support personalization of software to users' context in a process of continuous optimization.}},
  author       = {{Ros, Rasmus}},
  isbn         = {{978-91-8039-178-8}},
  issn         = {{1404-1219}},
  language     = {{eng}},
  publisher    = {{Department of Computer Science, Lund University}},
  school       = {{Lund University}},
  series       = {{LU-CS-DISS 2022-22}},
  title        = {{Understanding and Improving Continuous Experimentation : From A/B Testing to Continuous Software Optimization}},
  url          = {{https://lup.lub.lu.se/search/files/113738030/Thesis_Rasmus_Ros.pdf}},
  volume       = {{Dissertation 68, 2022}},
  year         = {{2022}},
}