Assessing Continuity in Agentic Development Across Multiple Development Cycles

Abstract

Large Language Models (LLMs) are increasingly being used as a key technology in agent-based systems for software-related tasks. These systems are intended to support long-term tasks and may consist of multiple interacting agents working towards shared goals. In these scenarios, agents are expected to work on the same codebase over multiple sessions and development cycles. In long-term software development tasks, maintaining continuity across multiple development cycles remains a significant challenge. Due to limited context windows, agents often treat development sessions independently, leading to a loss of understanding in important architectural decisions over time.

This thesis evaluates five combinations of context engineering strategies across two development cycles in order to analyze how differing strategies affect the agent's continuity. These strategies were tested using a mock web development project, where the agent was tasked with initializing and further developing the codebase while adhering to specific architectural and stylistic decisions (referred to as mid-session decisions) made in previous development cycles. The thesis benchmarks the effectiveness of these strategies based on requirement compliance, decision consistency, time- and token efficiency.

The results indicate that implementing any form of persistent context management significantly improves the agent's ability to adhere to mid-session decisions compared to a baseline of no strategies. Among the tested methods, decision 2 (decision log) proved to be the most effective in maintaining continuity, resulting in the highest decision consistency while remaining cost-effective and time-efficient. This finding suggests that for sustainable agentic development, context management strategies should prioritize the preservation of specific architectural decisions over general documentation of finished tasks.

Abstract (Swedish)

Stora språkmodeller (LLM:er) används i allt större utsträckning som en viktig teknologi i agentbaserade system för mjukvarurelaterade uppgifter. Dessa system är avsedda för att kunna hantera långsiktiga uppgifter och kan bestå av ett flertal interagerande agenter som arbetar mot gemensamma mål. I dessa scenarier förväntas agenterna arbeta med samma kodbas över flera sessioner och utvecklingscykler. I långvariga mjukvaruutvecklingsprojekt är det fortfarande en stor utmaning att upprätthålla kontinuiteten över flera utvecklingscykler. På grund av begränsade kontextfönster så behandlar agenterna ofta utvecklingssessionerna som fristående. Detta leder med tiden till att förståelsen för viktiga arkitektoniska beslut riskerar att glömmas bort.

Denna rapport utvärderar fem kombinationer av strategier för kontexthantering över två utvecklingscykler, i syfte att analysera hur olika strategier påverkar agentens kontinuitet. Dessa strategier testades genom att använda ett mock webbutvecklings projekt, där agenten hade i uppgift att initiera och vidareutveckla kodbasen, samtidigt som den skulle följa specifika arkitektoniska beslut (benämnt som sessionsbeslut) som fattats i tidigare sessioner och utvecklingscyklar. I rapporten jämförs strategiernas effektivitet utifrån upprätthållning av krav och sessionsbeslut, samt tid- och kostnadseffektivitet.

Resultaten visar att agentens förmåga att följa sessionsbeslut ökar markant när någon form av kontexthanteringsstrategi implementeras, jämfört med en utgångspunkt utan strategier. Bland de prövade metoderna så visade sig strategi 2 (beslutslogg) vara den mest effektiva strategin för att upprätthålla kontinuitet. Denna strategin resulterade i den högsta upprätthållningen av sessionsbeslut, samtidigt som den förblivit kostnads- och tidseffektiv. Detta resultatet tyder på att, för hållbar agentisk utveckling, så borde kontexthanteringsstrategier prioritera att bevara specifika arkitektoniska beslut över generell dokumentation av avslutade uppgifter.

• author: Jonsäter, Teo and Svensson, Anna
• supervisor: Christin Swahn
• organization: Department of Electrical and Information Technology
• alternative title: En Utvärdering av Kontinuitet i Agentisk Utveckling Över Flera Utvecklingscykler
• course: EITL05 20261
• year: 2026
• type: M2 - Bachelor Degree
• subject: Technology and Engineering
• keywords: Agentic development, AI, Context management, Context strategies, Continuity
• report number: LU/LTH-EIT 2026-1137
• language: English
• id: 9235472
• date added to LUP: 2026-06-11 11:24:49
• date last changed: 2026-06-11 11:24:49