Validation Based Cascade-Correlation Training of Artificial Neural Networks

Abstract

The Cascade-Correlation learning algorithm, Cascor, is a self-constructive learning algorithm introduced by Fahlman in 1990, which builds the networks one node at the time based on the errors of the network. Cascor has been criticized for creating excessively deep networks and easily overfit. This thesis investigates a few methods that use an internal validation set to add nodes that perform better on unseen data. The goal is to improve the generalization of the networks and examine how these methods affect the network architecture. It is shown that the investigated methods are all able to reduce the depths of the networks and decrease the overfitting of large networks.

Popular Abstract (Swedish)

Tänk om Apples Siri kunde fylla i en blankett åt dig på jobbet. Eller om Google Assistant planerade veckans inköpslista. Tänk om alla banala sysslor som du utför rutinmässigt utan någon djupare åtanke kunde skötas automatiskt av en artificiell intelligens, AI. Hur underhållande detta scenario än får vara så är en framtid där alla har en personlig universell assistent fortfarande långt borta. Men även om en universell AI är svår att skapa så är det relativt enkelt att skapa AI som är specialiserade på enskilda uppgifter. Med andra ord, vi har kanske snart tillgång till en personlig arbetsstyrka av specialiserade virtuella assistenter som kan underlätta alla banala sysslor så att vi har mer tid för aktiviteter som vi gillar.

En enkel AI är uppbyggd av vad som kallas ett artificiellt neuron nätverk, eller ANN. Ett ANN liknar en digital hjärna med digitala neuroner som är ihopkopplade med digitala axoner. Och som en mänsklig hjärna kan den hantera information och komma med en slutsats. Det kan till exempel vara att försöka förutsäga vädret om en timme baserad på hur vädret är för tillfället. I likhet med en bebis föds en ANN helt ovetande om sin omvärld. Det vet inte att en katt är en katt om den inte blir tillsagd, och då kommer det kanske förväxla en hund med en katt om den ingen berättar vad som är skillnaden. För att ANN ska vara användbara måste de lära sig genom exempel. Men till skillnad från en människa kan ANN lära sig 'för bra' genom att fixera sig för mycket på exemplen så att de inte kan använda det de har lärt sig på nya scenarier. En liknelse skulle vara om en människa skulle lära sig att förstå brittisk engelska men sen inte kunna förstå amerikansk engelska på grund av att de skiljer sig i uttal.

Om vi återvänder till idén om en arbetsstyrka av AI så är problemet med att göra en sådan arbetsstyrka är att alla har olika behov. En AI som betygsätter gymnasieuppsatser behöver fortfarande vara väldigt avancerad för att kunna hantera uppsatser om alla ämnen och från alla gymnasier. Det bästa lösningen skulle vara att ha en AI för varje uppgift. Det är där problemets kärna ligger, vi kan ännu inte massproducera AI. Än så länge så måste de flesta AI designas manuellt, och det kräver både expertis och tid, vilket betyder att uppgiftsspecifika AI är begränsade till dem som är villiga att investera pengarna som behövs för att producera dem. För tillfället gäller det för det mesta för tech-företag och medicinsk forskning.

En vanlig del i den manuella designen är att bestämma storleken på sitt ANN. The Cascade-Correlation Learning Algorithm, eller Cascor, försöker ta över den uppgiften genom att lägga till neuroner medan den lär sig. Dock så riskerar även Cascor att fixera sig på träningsexemplerna. Det finns metoder för traditionellt designade nätverk som kan motarbeta denna fixering, och dessa kan i bland användas även till Cascor.

I denna uppsats ska vi försöka motarbeta fixeringen på träningsdata genom att skapa en ny metod som väljer ut neuroner som är bäst för tidigare osedd data istället för träningsdata. Målet med denna uppsats är att undersöka en sådan metod kan förbättra ANN som är byggda med Cascor. Förhoppningsvis kommer det leda att vi kan producera funktionsdugliga nätverk som är lätta att använda och göra simpla AI mer tillgängliga för allmänheten.

• author: Ringdahl, John
• supervisor: Patrik Edén
• organization: Computational Biology and Biological Physics - Undergoing reorganization
• course: FYTK02 20191
• year: 2020
• type: M2 - Bachelor Degree
• subject: Physics and Astronomy
• keywords: Machine learning, Artificial Neural Networks, Constructive, Cascade-Correlation, Validation Based
• language: English
• id: 9007642
• date added to LUP: 2020-04-14 18:27:08
• date last changed: 2020-04-14 18:28:28