In 2001 zijn op de volgende data bijeenkomsten gehouden:

• 17 november 2001
  lezing "Multi-agent reinforcement learning voor verkeerslicht-controle", door Dr. Marco Wiering (Universiteit van Utrecht)
• 27 oktober 2001
  Extra Algemene Ledenvergadering (ALV), over de resultaten van de gehouden enquete, het beleidsplan en het werkplan.
  lezing "Van webcam tot beeldverwerker", door R. van de Bogaard (Universiteit van Amsterdam). In deze voordracht, die een wat workshop-achtig karakter zal hebben, zal het onderwerp worden ingeleid, en tevens worden uiteengezet hoe je zelf een neuraal netwerk voor dit doel kunt schrijven.
• 22 september 2001
  presentatie over het gebruik van Kennistechnologie door Ard Roelvink en Rob van Ginkel van het computer bedrijf VEGA
  lezing "Neurale netwerken voor Nano-electronica", door Ir. E. Rouw (faculteit ITS, vakgroep electronica, van de TH in Delft)
• 23 juni 2001
  presentatie over het Wator 2001 programma, door de werkgroep Ecologie
  lezing "Embodied cognitive science en neuro-ethologie", door Drs. L.J. Kortman
• 26 mei 2001
  presentatie over het project Ant-Maze, mieren in een doolhof, door G. Vriens en P. Molenaar
  lezing "Een grondslagenstrijd in de wiskunde en de computer", door Henk Palstra (AIgg)
• 28 april 2001
  demonstratie van zelfgebouwde robots door Abraham Vreugdenhil (AIgg). Abraham heeft uit handen van minister Hermans een prijs gekregen voor zijn originele constructies.
  lezing "NeuroFuzzy", door dr. R. Pijlgroms (HvA)
• 24 maart 2001
  Algemene Ledenvergadering (ALV)
  lezing "Robosail, een zelflerend zeiljacht", door Prof. Dr. P. Adriaans (Perot systems)
• 24 februari 2001
  lezing "Neurale netwerken voor datavisualisatie" door dr. M. van Wezel (Leiden Institute of Advanced Computer Science - LIACS)

(Het is niet bekend of er in januari een bijeenkomst is gehouden. In juli en augustus was er geen bijeenkomst wegens vakanties, en in december wegens de feestdagen — de bijeenkomsten waren toen nog op de derde zaterdag van de maand.)

Toelichting op de lezing "Multi-agent reinforcement learning voor verkeerslicht-controle", door Dr.Marco Wiering (Universiteit van Utrecht)

Stoplichten kunnen efficiënter het verkeer regelen als zij worden aangestuurd met behulp van Reinforcement Learning, een leertechniek waarbij de computer beloond wordt voor goede vondsten. Dit is de uitkomst van een recente studie van Marco Wiering, onderzoeker op het gebied van Machine Learning aan de Rijksuniversiteit Utrecht. Hij zal aanstaande zaterdag op de AIgg-bijeenkomst computersimulaties demonstreren waarin de methode wordt toegepast op realistische verkeersnetwerken, en uitleggen hoe een dergelijk systeem thuis op de PC nagebouwd kan worden.

Reinforcement Learning stelt AI-machines niet alleen in staat om in hun omgeving te handelen, maar ook om er achter te komen in hoeverre zijn acties zinvol zijn - een voor agents (robots, webrobots, etc.) zeer welkome eigenschap. Reinforcement Learning (RL) is ontleend aan het leren via trial-and-error bij mensen en proefdieren. Er is geen sprake meer van een passief systeem dat blindelings responsen op de toestanden van de omgeving (input) aanleert. Het systeem kan zelf aan de weet komen volgens welke 'decision policy' op de toestanden (states) gereageerd moet worden (actions) om het gewenste effect (reward) te vergroten. Het leert de hoeveelheid beloning-op-lange-termijn te verwachten voor zijn acties in de verschillende toestanden van de omgeving (beloning voor toestand-actie paren); die verwachting kan worden uitgedrukt in een 'value function'. (Overigens, de agent verandert de toestand van zijn omgeving voortdurend, en in veel gevallen is het handig om al de mogelijke toestanden van de omgeving te ordenen volgens een z.g. Markov Decision Process, waarin een 'transition function' de kans weergeeft op de overgang van een oude toestand naar een nieuwe toestand via een gekozen actie.)

De varianten van Reinforcement Learning weerspiegelen het groeiend aantal toepassingsgebieden. Enerzijds leent Reinforcement Learning zich natuurlijkerwijs voor implementatie in neurale netwerken, en dat heeft niet alleen geleid tot TD-backgammon spelende computers (plus natuurlijk het bekende karretje dat een bezemsteel laat balanceren) e.d.; het heeft ook belangrijk inzicht opgeleverd in de werking van natuurlijke intelligentie. Anderzijds kan Reinforcement Learning uitstekend onafhankelijk van neurale netwerken toegepast worden en geheel andere technieken inlijven. In deze brede categorie hoort de stoplicht-studie thuis.

Bekende varianten naast het klassieke temporal difference (TD) learning zijn: Monte Carlo sampling, Q-learning, en Model-Based Reinforcement Learning. Deze methoden kunnen eveneens worden toegepast in systemen die bestaan uit meerdere agents (in dit geval stoplichten en auto's). Hoewel ook in multi-agent systemen Q-learning momenteel de meest gebruikte variant is, breekt Marco Wiering een lans voor de toepassing van de Model-Based variant (de te verwachten wachttijden van auto's kunnen daarmee sneller worden geleerd).

Het artikel van de spreker over dit onderwerp, 'Multi-Agent Reinforcement Learning for Traffic Light Control', is te downloaden van www.cs.uu.nl/people/marco/publications.html. De sheets bij zijn college Machine Learning omvatten een aantal AI-onderwerpen, en zijn te vinden op www.cs.uu.nl/docs/vakken/lem/index.html; de sheets van de laatste drie colleges ('Optimal Control' en verder) handelen over Reinforcement Learning. (De teksten zijn in Postscript-formaat. Deze kunnen worden gelezen met GSview, dat samen met Ghostscript geïnstalleerd moet zijn; beide programma's kunnen gratis worden gedownload via http://www.cs.wisc.edu/~ghost/doc/AFPL/get700.htm).

Toelichting op de presentatie over het Wator 2001 programma, door de werkgroep Ecologie

Wator is een eenvoudig computermodel van een ruimte die bevolkt wordt door vissen en haaien. De ruimte is gevisualiseerd als een rechthoekig ruitjespatroon. In ieder hokje (ruitje) kan een vis of een haai zitten. Een haai kan naar een naburig hokje zwemmen en een daar aanwezige vis opeten. Haaien kunnen zich voortplanten als ze genoeg vissen gegeten hebben, of sterven (verhongeren) als ze geen vissen vinden. Vissen kunnen ook zwemmen. Afhankelijk van de instellingen van modelparameters kunnen de aantallen vissen en haaien op de meest vreemde manieren fluctueren (figuur). Het model laat zien hoe een eenvoudig systeem tot complex gedrag in staat is.

Het Wator 2001 programma is een verder uitgewerkte versie van het Alife programma Wator 1999, dat op de HCC dagen gedemonstreerd is. In deze versie is meer "intelligentie" ingebouwd, hetgeen tot uiting komt in de waarnemings-, voortbewegings- en jachtroutines van de verschillende vissen. Tevens zijn de verschijningsvorm en het gedrag van de vissen meer realistisch gemaakt. Het ligt in de bedoeling het programma ook op de komende HCC dagen te demonstreren.

Figuur: Ontwikkeling van de aantallen (dichtheden) vissen en haaien binnen de Wator wereld bij bepaalde instellingen van de modelparameters. Ieder puntje geeft de aantallen vissen en haaien op een bepaald tijdstip weer. Een tijdstip later wordt het aantal vissen en haaien weergegeven door het volgende puntje. De buitenste kring is een limiet kring. Bij veel beginomstandigheden zullen de dichtheden uiteindelijk rondjes draaien (linksom) over de limietcyclus. Niet bij alle beginomstandigheden: bijvoorbeeld het punt (1,0), overal vissen, haaien uitgestorven, is een stabiel punt, waarbij de dichtheden niet meer variëren. (Bron: R. Durret, http://www.math.cornell.edu/~durrett/wator/)

Toelichting op de lezing "Embodied cognitive science en neuro-ethologie", door Drs.L.J.Kortman

Voor deze lezing voorzag de spreker ons van zowel een Engelstalige toelichting (in cursief schrift), als een Nederlandstalige (in normaal schrift).

The talk provides an introduction to the field of embodied cognitive science from a biological and behavioural perspective. I show how the field of neuro-ethology can help transform cognitive science and artificial intelligence from a representational to an embodied perspective. The transformation is necessary to introduce a bottom-up approach to understanding cognition in order to resolve some of the fundamental problems with classical cognitive science and traditional artificial intelligence. I shall give examples of current research by which I shall characterise the key idea of embodied cognitive science: study cognition by starting with the low-level behaviour of simple animals.

Selected references: Clark, A. (1996). Being there - putting the brain, body, and world together again. MIT-Press, Cambridge. Pfeifer, R. and Scheier, Ch. (1999). Understanding intelligence. MIT-Press, Cambridge.

Embodied cognitive science is een antwoord op de traditionele opvatting dat intelligentie en gedrag is gebaseerd op de toepassing van logische operaties op symbolen. In de robotica doet zich het probleem voor dat de werkelijke wereld te complex is voor kunstmatige intelligentie die uitgaat van deze opvatting. Dieren en mensen hebben geen moeite om met de complexiteit van hun omgeving om te gaan. De hogere cognitieve processen staan hier niet voorop, maar ontstaan natuurlijkerwijs uit de interacties van het individu met de omgeving.

De ethologie bestudeert het gedrag van dieren, en mensen, in hun alledaagse omgeving; de neuro-ethologie bestudeert wat er in het zenuwstelsel gebeurt tijdens de interactie met de omgeving. Het is vooral de neuro-ethologie die relevante inzichten kan aanleveren. Daarbij komt dat neuro-ethologen niet zelden robots bouwen om de informatieverwerking van dieren te simuleren. Hier ontmoeten robotica en gedragswetenschappen elkaar in een vakgebied dat groeiende belangstelling geniet, de studie van belichaamde cognitie: embodied cognitive science.

Korte toelichting op de lezing "Een grondslagen strijd in de wiskunde en de computer", door Henk Palstra (AIgg)

Henk zal een inleiding geven over het meningsverschil tussen de wiskundigen D.Hilbert en L.E.J.Brouwer.Die discussie komt in een nieuw licht te staan door de komst van de computer en de mogelijkheid om daarmee een zichzelf wijzigend programma te maken via een Do statement met string expressie.

Toelichting op de lezing "NeuroFuzzy", door dr. R. Pijlgroms (HvA)

In de praktijk van de kunstmatige intelligentie zijn combinaties van technieken gangbaar. Zo worden, bijvoorbeeld, fuzzy systemen of neurale netwerken vaak met behulp van genetische algoritmen afgeregeld. Voor de aandachtige gebruiker van AI zijn zulke combinaties eens te meer interessant omdat ze de mogelijkheid bieden om meerdere gebieden van de kunstmatige intelligentie tegelijkertijd in het oog te houden. De combinatie van fuzzy logic met neurale netwerken geniet zelfs een welhaast woekerend aanzien, getuige de huidige populariteit en betekenisverwatering van de term neurofuzzy.

Een standaard neurofuzzy systeem is evenals een gewoon fuzzy systeem op "als ... dan"-regels gebaseerd, doch het beschikt over het vermogen om zelf, via een neuraal leerproces, regels te genereren. Anders dan bij een normaal neuraal netwerk kan de gebruiker hier precies nagaan hoe het systeem tot zijn beslissingen komt. Bovendien kan hij beter ingrijpen in het systeem, bijvoorbeeld door vooraf regels in te bouwen. Het toepassingsgebied reikt van business tot engineering.

Toelichting op de lezing "Robosail, een zelflerend zeiljacht", door Prof. Dr. P. Adriaans (Perot systems)

Figure 1: Het robot-bestuurde zeilschip Syllogics onder zeil

Het oude probleem met een nieuw scheepstype is dat de beproevingen zich pas aandienen als de proefvaart achter de rug is. Het jacht 'Robosail' in klasse IV, waarmee Pieter Adriaans in de STAR 2000 vanaf de zevende dag in moeilijkheden raakt, is inderdaad nieuw. Niet alleen heeft dit zeiljacht ongewone kenmerken zoals een kantelbare mast en draaibare kiel; het schip zal na een trainingsfase zelfstandig besluiten kunnen nemen.

Deze vorm van toenadering tussen sport en robotica kon niet uitblijven. De autopilot waarop een solozeiler terugvalt als hij slaapt, of andere bezigheden heeft, stuurt de boot blindelings van punt A naar punt B. Een autopilot die daarentegen net als de zeiler zijn beslissingen kan afstemmen op wind, getijden, en golven, zou een snelheidsverbetering kunnen opleveren in de grote solo-races. Een dergelijke super-autopilot zou dan ook kunnen waarschuwen als hij vindt dat de schipper een verkeerde beslissing neemt. In de toekomst zal een geperfectioneerde versie misschien betrouwbaardere, betere besluiten kunnen nemen dan de mens. In elk geval zal die verbeterde autopilot — het brein van het schip mag een notebook computer zijn — in verbinding moeten staan met weerstations, het global positioning system, en de nodige sensors. Blijft over de vraag, hoe de super-autopilot aan zijn kennis van de zeilkunst moet komen. Tot dusver ontwikkelde modellen en vuistregels schieten te kort om het handelen van de mens en de complexiteit van zijn omgeving in een apparaat te vangen.

Adriaans, filosoof en informaticus, slaagde erin een oplossing te vinden. Zijn systeem, samengesteld uit software-agents, registreert tijdens een trainingsfase handelingen van de schipper en bijbehorende omstandigheden, slaat de records op in z.g. datawarehouses, en komt vervolgens via datamining-technieken aan de weet hoe het moet sturen en plannen. Hiermee — het is natuurlijk niet het hele AI-verhaal — is gezegd dat het systeem weet heeft van het menselijk handelen. Het schip kan met de schipper "meedenken".

Een onderdeel van de training van Robosail de superpilot was het deelnemen aan een transantlantische solo-race, de STAR. De race was dus in de eerste plaats een test van de robuustheid van de innovaties. Deze bleken bestand tegen de aanhoudende stormen. Voordat de race begon is er al gedacht aan een tweede generatie software voor het testvaartuig.

Dit jaar zal het Robosail-project weer van zich doen spreken, om te beginnen op de HISWA in Amsterdam. Bijzonderheden over het experimentele schip, dat ook bekend staat als ``Syllogic Sailing Lab'', zijn te vinden op www.robosail.com. Op die site is ook Vuiks artikel in Computer!Totaal (juli/augustus 2000) over het jacht nog eens na te lezen.

De oplossingen die Adriaans voor Robosail ontwikkelt hebben uiteraard een breder toepassinggebied dan zeilen. En in de ontwikkelde oplossingen zijn, op hun beurt, elementen terug te vinden van de lerende en anticiperende software die Adriaans ontwikkelde voor andere toepassingsgebieden, zoals netwerkbeheer, luchtvaart en muziek. De voordracht van Adriaans zal dus ook een breder gebied bestrijken dan Robosail.

Toelichting op de lezing "Neurale netwerken voor datavisualisatie" door dr. M. van Wezel (Leiden Institute of Advanced Computer Science - LIACS)

Neurale netwerken kunnen gebruikt worden om inzicht te krijgen in de structuur van gegevensverzamelingen. Banken en verzekeringen willen bijvoorbeeld weten of er in hun klantenbestand groepen te onderscheiden zijn van klanten die veel op elkaar lijken. Zulke groepen ("huisvaders", "welgestelde gepensioneerden") kunnen aantrekkelijke doelwitten zijn voor gerichte marketing. Van Wezel heeft met anderen een computerprogramma, Neural Vision, gemaakt, dat helpt om zulke gegevensverzameling "met het oog" te onderzoeken. Dit computerprogramma kreeg in 1999 de eerste prijs op een congres van de Belgisch-Nederlandse vereniging voor artificiële intelligentie omdat het het meest toepasbare systeem was dat daar werd gepresenteerd.

GV 07-03-2012