AI, algoritmer och diskriminering - Rättsliga utmaningar och framtida lösningar ur ett svenskt perspektiv

Abstract

AI and algorithms are predicted to revolutionize large sections of society. The rapid technical development has already reached working life and is increasingly used by employers to recruit staff, exercise management and make important work-related decisions. In the gig economy and platform companies the use is particularly widespread and algorithms are used for purposes ranging from managing the workforce to deciding which salaries are to be paid. The use of algorithms is thought to be an effective and neutral solution for employers, who can save in on staff costs and reduce the risk of human bias influencing decisions. The aim of this thesis is to investigate the legal challenges that arise when discrimination law meets new technology in the form of AI and algorithms and to analyze whether the current Swedish discrimination law, in cooperation with EU law, is sufficient to handle these challenges or if other solutions are needed.

The investigation shows that the use of AI and algorithms does not eliminate the risk of human bias in decision-making processes. On the contrary, AI and algorithms can lead to risks of discrimination depending on how the algorithms are programmed, trained, developed and used and to what extent the algorithms are transparent. For example, a recruitment algorithm, in which the employer's previous employment history is used as input data, may discriminate against groups that have been underrepresented in the specific workplace or industry. Technology thus risks maintaining historical patterns of discrimination and exclusion from the labor market. Furthermore, the more advanced the algorithm, the greater the autonomy it has in the selection and analysis of data. This means that there may be little or no transparency regarding which factors the algorithm has taken into account and the result that the algorithm has produced.

Discrimination law contains tools for dealing with algorithmic discrimination, but the complex characteristics within the technology entail a number of challenges. The challenges can be divided into two categories. First, the technology challenges the personal and material scope of discrimination law. The technology challenges the interpretation of the existing discrimination grounds and the relevance of the prohibitions against direct and indirect discrimination. Secondly, regarding compliance with the prohibitions on discrimination, in the form of problems with transparency, access to information and questions about the burden of proof and responsibility. Regarding the solution to these challenges, the thesis concludes that these should be sought within the framework of the current right to discrimination and not through a new layer of regulation that risks eroding the existing one.

Abstract (Swedish)

AI och algoritmer förutspås revolutionera stora delar av samhället. Den snabba tekniska utvecklingen har redan idag nått arbetslivet och används i allt större utsträckning av arbetsgivare för att rekrytera personal, utöva arbetsledning och fatta viktiga arbetsrelaterade beslut. I gig-ekonomin och plattformsföretagen är användningen särskilt utbredd och algoritmer används för allt från att administrera arbetskraften till att besluta om vilka löner som ska utbetalas. Användningen har framhållits som en effektiv och neutral lösning för arbetsgivare, som kan spara in på personalkostnader och minska riskerna för att mänskliga fördomar påverkar besluten. Uppsatsen syftar till att utreda vilka rättsliga utmaningar som uppstår då diskrimineringsskyddet möter ny teknik i form av AI och algoritmer samt att analysera huruvida den gällande svenska diskrimineringsrätten, i samspel med EU-rätten, är tillräcklig för att hantera dessa utmaningar eller om det krävs andra lösningar.

Utredningen visar att användningen av AI och algoritmer inte medför att risken för mänskliga fördomar i beslutsprocesserna elimineras. Tvärtom kan AI och algoritmer komma att medföra risker för diskriminering beroende på hur algoritmerna programmeras, tränas, utvecklas och används samt vilken möjlighet till insyn som finns. Exempelvis kan en rekryteringsalgoritm, i vilken arbetsgivarens tidigare anställningshistorik används som indata, komma att diskriminera grupper som tidigare har varit underrepresenterade på den specifika arbetsplatsen eller branschen. Tekniken riskerar således att upprätthålla historiska mönster av diskriminering och utestängning från arbetsmarknaden. Vidare får algoritmen, ju mer avancerad den är, större autonomi i val och analys av data. Detta medför att det kan finnas lite eller ingen transparens gällande vilka faktorer som algoritmen har beaktat och det resultat som algoritmen har producerat.

Den gällande rätten innehåller verktyg för att hantera algoritmisk diskriminering, samtidigt som teknikens komplexa egenskaper medför ett antal betydande utmaningar för gällande rätt. Utmaningarna kan delas upp i två kategorier. För det första utmanar tekniken det personella och materiella tillämpningsområdet för diskrimineringsrätten. Dels gällande tolkningen av de befintliga diskrimineringsgrunderna, dels tillämpligheten hos förbuden mot direkt respektive indirekt diskriminering vid algoritmisk diskriminering. För det andra gällande efterlevnaden av diskrimineringsförbuden, i form av problem med insyn, tillgång till information och frågor om bevisbörda och ansvar. Beträffande lösningen på dessa utmaningar konstaterar uppsatsen att dessa bör sökas inom ramen för den gällande diskrimineringsrätten och inte genom ett nytt lager av reglering som riskerar att urholka den befintliga.

• author: Borgcrantz, Matilda
• supervisor: Mia Rönnmar
• organization: Department of Law; Faculty of Law
• alternative title: AI, algorithms and discrimination - Legal challenges and future solutions from a Swedish perspective
• course: JURM02 20212
• year: 2021
• type: H3 - Professional qualifications (4 Years - )
• subject: Law and Political Science
• keywords: Arbetsrätt, Labour law, EU-rätt, EU law
• language: Swedish
• id: 9070457
• date added to LUP: 2022-01-25 11:33:41
• date last changed: 2022-01-25 11:33:41