Fundamentals of Deep Learning

Om die vraag te kunnen beantwoorden, moeten we eerst de term artificiële intelligentie ontleden. Die term omvat vandaag zoveel verschillende concepten, waardoor we vaak het bos door de bomen niet meer zien.

Neem bijvoorbeeld een auto die geprogrammeerd werd om altijd naar rechts te sturen. Strikt genomen valt dit nog steeds onder artificiële intelligentie, maar het mist een eigenschap die mensen doorgaans met intelligentie associëren: het vermogen om te leren. Zo'n systeem zal nooit zelfstandig ontdekken dat het soms ook een andere richting moet kiezen.

Leren is dus een centraal concept. Daarom moeten we kijken naar een belangrijkere subcategorie: machine learning. Een formele manier om machine learning te beschrijven is als functiebenadering. We vertrekken vanuit de veronderstelling dat er een functie bestaat die een input omzet in een output. ‍

Dat kan iets eenvoudigs zijn, zoals het verdubbelen van een getal, maar ook een complexere relatie, bijvoorbeeld tussen de omtrek van een cilinder en het gewicht ervan.
‍

Curve-fit

Wanneer we vermoeden dat er een verband bestaat, proberen we een functie te vinden die dat verband zo goed mogelijk benadert. Een eenvoudige manier om dit te doen is via een curve-fit in Excel. Je hebt dit waarschijnlijk al eens gebruikt. We vertrekken van een set concrete datapunten gesampled uit de realiteit en zoeken vervolgens naar de parameters van een functie die deze gegevens zo nauwkeurig mogelijk beschrijft. Het resultaat is een model dat niet alleen de bestaande datapunten kan verklaren, maar ook waarden tussen die punten kan schatten. Met andere woorden: het model leert een benadering van het onderliggende verband en kan die kennis gebruiken om voorspellingen te doen voor nieuwe situaties.

‍

Helaas heeft curve fitting twee belangrijke beperkingen. Ten eerste moet je reeds weten wat voor verband je zoekt, in Excel moet je dit namelijk expliciet aanduiden. Dat is lang niet altijd evident.

We weten bijvoorbeeld dat er een verband bestaat tussen de individuele pixels van een foto en de interpretatie die mensen ervan maken. Kunnen we echter met zekerheid zeggen dat dit verband logaritmisch is? Meestal niet.

Ten tweede schalen klassieke parameter-algoritmen niet efficiënt met de hoeveelheid data. Een vereenvoudigde vuistregel is dat wanneer je (N) keer meer datapunten hebt, de benodigde hoeveelheid rekenwerk vaak kwadratisch toeneemt. Goede Machine Learning technieken bieden oplossingen voor beide problemen.
‍

Machine Learning technieken

1. Backpropagation

Het eerste relevante algoritme is backpropagation. Hierbij definieer je eerst een metriek die bepaalt wat een goede benadering is. Dit is vergelijkbaar met een (R^2)-score in Excel. Het probleem wordt geformuleerd als een optimalisatie- of minimalisatieprobleem. Om dit efficiënt op te lossen, moet de benaderende functie afleidbaar zijn naar haar vrije parameters. Afgeleiden geven namelijk informatie over hoe de parameters aangepast moeten worden om de optimalisatieproblemen efficiënt aan te pakken.

Backpropagation berekent deze afgeleiden door de kettingregel uit de differentiaalrekening toe te passen. Vervolgens worden optimalisatie-algoritmen zoals gradient descent of varianten daarvan gebruikt om stapsgewijs richting een minimum van de verliesfunctie te bewegen. Zonder deze technieken zou het rechtstreeks berekenen van optimale parameters voor grote modellen onhaalbaar zijn.

2. Neurale Netwerken

Deze werden oorspronkelijk ontworpen als een sterk vereenvoudigd model van biologische neuronen, al zijn moderne neurale netwerken nog slechts los geïnspireerd door de werking van het menselijke brein. Hun kracht ligt vooral in een aantal interessante eigenschappen:

• Keuze van het aantal inputs,
• Keuze van het aantal outputs
• Keuze van het aantal vrije parameters,
• Volledige afleidbaarheid naar de vrije parameters.

Doordat het aantal inputs en outputs vrij gekozen kan worden, kan vrijwel elk probleem worden geformuleerd als een functie die door een neuraal netwerk wordt benaderd.

Voor iedere pixel van een foto is er bijvoorbeeld een input, en voor elk object dat we zouden kunnen zien is er een output. Wanneer een bepaald object wordt gedetecteerd, zal de corresponderende output een hoge waarde aannemen, terwijl de andere outputs laag blijven.

De flexibiliteit in het aantal parameters maakt het mogelijk om steeds complexere relaties te modelleren. Hierdoor kan een neuraal netwerk worden afgestemd op de moeilijkheidsgraad en aard van het probleem. Omdat alle parameters bovendien afleidbaar zijn, vormen neurale netwerken een ideale combinatie met backpropagation.
‍

Deep Learning

Deze combinatie van neurale netwerken en backpropagation vormt de basis van wat we vandaag Deep Learning noemen.

Hetzelfde fundament ligt aan de basis van moderne Large Language Models (LLM's). Hoewel deze technologie vandaag zeer actueel lijkt, zijn de onderliggende concepten al tientallen jaren oud en werden de eerste neurale netwerken al in de vorige eeuw ontwikkeld.

Wat de recente doorbraak mogelijk heeft gemaakt, zijn voornamelijk deze drie ontwikkelingen:

• De ontwikkeling van nieuwe neurale netwerkarchitecturen die efficiënter gebruikmaken van moderne hardware, met name GPU's. De belangrijkste innovatie hier is de Transformer-architectuur, die met minder parameters complexere relaties kan modelleren.
  ‍
• Verfijning van de backpropagation algoritmes. Hierdoor kunnen modellen sneller convergeren en beter omgaan met uitdagingen zoals lokale minima en instabiele trainingsprocessen.
  ‍
• De toegenomen rekenkracht. Het trainen van de grootste LLM's vereist gigantische datacenters met gespecialiseerde processors. Tegelijkertijd zijn computers veel efficiënter geworden. Voor veel domeinspecifieke toepassingen kunnen getrainde deep-learningmodellen tegenwoordig zelfs probleemloos op een gewone CPU worden uitgevoerd.
  ‍

Fundering

Hoewel de moderne AI-systemen steeds indrukwekkender worden, steunen ze nog altijd op dezelfde kernideeën: functiebenadering, neurale netwerken en optimalisatie via backpropagation. Wie deze fundamenten begrijpt, kijkt voorbij de magie en begrijpt beter wat AI vandaag kan — en wat niet.