Safeguarding Citizens' Rights in the Age of Artificial Intelligence – Whose Responsibility? Examining Fundamental Rights Provisions in the EU AI Act

Abstract

AI systems are increasingly integrated across numerous sectors. While AI systems can bring efficiency gains, AI systems can also entail risks to fundamental rights of citizens. The EU AI Act tries to solve this through a risk-based approach which introduces legal obligations for providers and deployers of high-risk AI systems. This thesis explores the provisions for AI providers and deployers which require these actors to assess how AI systems affect fundamental rights. Specifically, it analyses the risk management system for providers, as well as the governance and monitoring requirements, and the fundamental rights impact assessment for deployers. The thesis examines and compares the scope of the provisions and what the different assessments encompass.

The obligation to establish a risk management system applies to all providers of the so-called high-risk AI systems. Similarly, the governance and monitoring requirements apply to all deployers of high-risk AI systems. However, the requirement to perform a fundamental rights impact assessment only applies to bodies governed by public law, private entities providing public services, as well as banking and insurance service providers. The purpose of this was to reduce compliance costs for small and medium enterprises and not hinder innovation. The EU legislator wants the EU to reap the benefits of AI and compete with other global actors. Yet, this limited scope is problematic as private actors may also have significant impact on fundamental rights of citizens. Moreover, the relevant provisions are vague and leave a too big margin of discretion for private actors. Thus, the AI Act has been criticised for introducing fundamental rights provisions with a too limited scope and letting private actors decide themselves whether they comply with the AI Act.

The EU legislator has justified the limited scope with the fact that the AI Act is complementary to other frameworks. These include fundamental rights frameworks, product safety regulations (GPSR and PLD), the General Data Protection Regulation (GDPR) and the Digital Services Act (DSA). Thus, the thesis assesses the extent to which these frameworks fill in the gaps where the AI Act is either not applicable or lacking in its protection of fundamental rights.

The study finds that the purpose of the product safety regulations is not to protect fundamental rights on a general level, and do not properly safeguard rights apart from consumer protection. The GDPR is a comprehensive framework which aims to protect the right to personal data and could fill in some of the gaps where the AI Act is not applicable. The DSA aims to protect fundamental rights in the online setting. While there are shortcomings, the DSA is a step towards ensuring accountability for platforms that implement AI systems.

The thesis also assesses the room for Member States to pass their own AI legislation to protect fundamental rights in relation to AI. As the AI Act is a regulation which aims to ensure harmonisation, there is limited room for Member States. Nevertheless, the AI Act allows for Member States to pass legislation to a certain extent in limited areas.

Abstract (Swedish)

AI-system integreras alltmer inom en mängd olika sektorer. AI-system kan medföra effektivisering, men kan också innebära risker för medborgerliga fri- och rättigheter. EU:s AI-förordning försöker lösa detta genom en riskbaserad metod som inför rättsliga skyldigheter för leverantörer och tillhandahållare av AI-system med hög risk. Uppsatsen analyserar AI-förordningens bestämmelser för leverantörer och tillhandahållare av AI-system som kräver att dessa aktörer bedömer hur AI-system påverkar mänskliga rättigheter. Specifikt analyseras kravet på att leverantörer ska etablera ett riskhanteringssystem, samt kraven på styrning, övervakning, och konsekvensbedömning gällande mänskliga rättigheter för tillhandahållare av AI-system. Uppsatsen analyserar och jämför bestämmelsernas omfång och vad de olika bedömningarna innebär.

Kravet att etablera ett riskhanteringssystem gäller för alla leverantörer av så kallade AI-system med hög risk. På samma sätt gäller kraven på styrning och övervakning för alla tillhandahållare av AI-system med hög risk. Kravet att genomföra en konsekvensbedömning av mänskliga rättigheter gäller dock endast offentligrättsliga organ, privata enheter som tillhandahåller offentliga tjänster, samt tillhandahållare som arbetar med kreditgivning och liv- och sjukförsäkring. Syftet med att endast vissa aktörer omfattas av kravet på konsekvensbedömning var att minska efterlevnadskostnaderna för små och medelstora företag och därmed inte hindra innovation. EU-lagstiftaren vill att EU ska ta del av AI:s fördelar och kunna konkurrera med andra globala aktörer. Dock är det begränsade omfånget problematiskt då även privata aktörer kan ha inverkan på mänskliga rättigheter. Vidare är vissa av bestämmelserna vaga och lämnar för stor bedömningsmarginal till privata aktörer. På grund av detta har AI-förordningen kritiserats för att införa bestämmelser med för snävt omfång och som låter privata aktörer bestämma själva om AI-systemen är i överensstämmelse med AI-förordningen.

EU-lagstiftaren har legitimerat det begränsade omfånget med att andra regelverk fortsatt är tillämpliga, som regelverk för mänskliga rättigheter, regelverk för produktsäkerhet (GPSR och PLD), dataskyddsförordningen (GDPR) och förordningen om digitala tjänster (DSA). Därav analyserar uppsatsen i vilken utsträckning som dessa regelverk fyller i luckorna där AI-förordningen antingen inte är tillämplig eller inte tillhandahåller ett tillräckligt skydd för mänskliga rättigheter.

Uppsatsen konstaterar att produktsäkerhetsregelverkens syfte inte är att skydda mänskliga rättigheter på en övergripande nivå, och skyddar inte rättigheter förutom konsumentskydd. GDPR är ett omfattande regelverk som är ägnat att skydda rätten till skydd för personuppgifter, och som till viss del kan komplettera AI-förordningen där den inte är tillämplig. Vidare finns det brister med DSA, men regelverket är ett steg för att säkerställa ansvar för digitala plattformar som tillämpar AI-system.

Slutligen analyserar uppsatsen utrymmet för medlemsstaterna att införa nationell AI-lagstiftning för att skydda mänskliga rättigheter i förhållande till AI-system. AI-förordningen är ägnad att säkerställa harmonisering, men det finns visst utrymme för medlemsstaterna att införa egen lagstiftning inom vissa avgränsade områden.

• author: Liljeblad, Ebba
• supervisor: Ana Nordberg
• organization: Faculty of Law; Department of Law
• course: JURM02 20251
• year: 2025
• type: H3 - Professional qualifications (4 Years - )
• subject: Law and Political Science
• keywords: EU-rätt, EU Law, IT-rätt, Artificial Intelligence Law, Human Rights Law
• language: English
• id: 9189254
• date added to LUP: 2025-06-10 09:32:40
• date last changed: 2025-06-10 09:32:40