Kunstmatige intelligentie (AI) verovert de wereld. Het transformeert elke levenswandel en roept daarbij grote ethische zorgen op voor de samenleving en de toekomst van de mensheid. ChatGPT, dat de sociale media domineert, is een AI-aangedreven chatbot ontwikkeld door OpenAI. Het is een subset van machinaal leren en is afhankelijk van zogenaamde grote taalmodellen die mensachtige reacties kunnen genereren. De potentiële toepassing voor dergelijke technologie is inderdaad enorm, en daarom gaan er al oproepen om AI zoals ChatGPT te reguleren.
Kan AI de mens te slim af zijn? Vormt het een publieke bedreiging? Kan AI inderdaad een existentiële bedreiging worden? De meest vooraanstaande taalkundige ter wereld Noam Chomsky, en een van de meest gewaardeerde publieke intellectuelen aller tijden, wiens intellectuele status is vergeleken met die van Galileo, Newton en Descartes, behandelt deze lastige vragen in het volgende interview.
CJ Polychroniou: Als wetenschappelijke discipline dateert kunstmatige intelligentie (AI) uit de jaren vijftig, maar de afgelopen decennia heeft het zijn intrede gedaan op allerlei terreinen, waaronder het bankwezen, verzekeringen, autoproductie, muziek en defensie. In sommige gevallen is zelfs aangetoond dat het gebruik van AI-technieken de menselijke capaciteiten overtreft, zoals bij een schaakspel. Is het waarschijnlijk dat machines slimmer worden dan mensen?
Noam Chomsky: Om de terminologie te verduidelijken: de term ‘machine’ betekent hier: programma, eigenlijk een theorie geschreven in een notatie die door een computer kan worden uitgevoerd - en een ongebruikelijk soort theorie op interessante manieren die we hier terzijde kunnen schuiven.
We kunnen grofweg een onderscheid maken tussen pure techniek en wetenschap. Er is geen scherpe grens, maar het is een bruikbare eerste benadering. Pure techniek streeft ernaar een product te produceren dat van enig nut kan zijn. Wetenschap zoekt begrip. Als het onderwerp menselijke intelligentie is, of de cognitieve capaciteiten van andere organismen, zoekt de wetenschap naar inzicht in deze biologische systemen.
Zoals ik ze begrijp, beschouwden de grondleggers van AI – Alan Turing, Herbert Simon, Marvin Minsky en anderen – het als wetenschap, onderdeel van de toen opkomende cognitieve wetenschappen, die gebruik maakten van nieuwe technologieën en ontdekkingen in de wiskundige theorie van berekeningen om begrip vooraf. In de loop der jaren zijn deze zorgen vervaagd en grotendeels verdrongen door een technische oriëntatie. De eerdere zorgen worden nu algemeen, soms neerbuigend, afgedaan als GOFAI: ouderwetse AI.
Om verder te gaan met de vraag: is het waarschijnlijk dat er programma’s zullen worden bedacht die de menselijke capaciteiten te boven gaan? We moeten voorzichtig zijn met het woord 'capaciteiten', om redenen waarop ik nog terugkom. Maar als we de term gebruiken om te verwijzen naar menselijke prestaties, dan is het antwoord: absoluut ja. Sterker nog, ze bestaan al lang: de rekenmachine in een laptop bijvoorbeeld. Het kan veel groter zijn dan wat mensen kunnen doen, al was het maar vanwege een gebrek aan tijd en geheugen. Voor gesloten systemen zoals schaken werd in de jaren vijftig goed begrepen dat vroeg of laat, met de vooruitgang van enorme computercapaciteiten en een lange voorbereidingsperiode, een programma kon worden bedacht om een grootmeester te verslaan die met een beperkt geheugen speelt. en tijd. De prestatie jaren later was vrijwel PR voor IBM. Veel biologische organismen overtreffen de menselijke cognitieve capaciteiten op veel diepere manieren. De woestijnmieren in mijn achtertuin hebben minuscule hersenen, maar overtreffen in principe de menselijke navigatiecapaciteiten, en niet alleen de prestaties. Er is geen Grote Keten van Zijn met mensen aan de top.
De producten van AI-engineering worden op veel gebieden gebruikt, ten goede of ten kwade. Zelfs eenvoudige en bekende kunnen behoorlijk nuttig zijn: op taalgebied zijn er programma's als automatisch aanvullen, live transcriptie, Google Translate, onder andere. Met een veel grotere rekenkracht en geavanceerdere programmering zouden er andere nuttige toepassingen moeten zijn, ook in de wetenschappen. Er zijn er al een paar geweest: het assisteren bij het onderzoek naar de vouwing van eiwitten is een recent geval waarin grootschalige en snelle zoektechnologie wetenschappers heeft geholpen een kritisch en recalcitrant probleem aan te pakken.
Technische projecten kunnen nuttig of schadelijk zijn. Beide vragen rijzen in het geval van technische AI. Het huidige werk met Large Language Models (LLM's), waaronder chatbots, biedt hulpmiddelen voor desinformatie, laster en het misleiden van ongeïnformeerden. De bedreigingen worden versterkt wanneer ze worden gecombineerd met kunstmatige beelden en replicatie van stem. Met verschillende zorgen in gedachten hebben tienduizenden AI-onderzoekers dit de laatste tijd gedaan Dit betekent dat we onszelf en onze geliefden praktisch vergiftigen. voor een moratorium op ontwikkeling vanwege de potentiële gevaren die zij waarnemen.
Zoals altijd moeten de mogelijke voordelen van technologie worden afgewogen tegen de potentiële kosten.
Er rijzen heel andere vragen als we ons wenden tot AI en wetenschap. Hier is voorzichtigheid geboden vanwege exorbitante en roekeloze beweringen, die vaak in de media worden uitvergroot. Laten we, om de kwesties te verduidelijken, gevallen bekijken, sommige hypothetisch, sommige reëel.
Ik noemde insectennavigatie, wat een verbazingwekkende prestatie is. Insectwetenschappers hebben veel vooruitgang geboekt bij het bestuderen van de manier waarop dit wordt bereikt, hoewel de neurofysiologie, een zeer moeilijke kwestie, ongrijpbaar blijft, evenals de evolutie van de systemen. Hetzelfde geldt voor de verbazingwekkende prestaties van vogels en zeeschildpadden die duizenden kilometers afleggen en feilloos terugkeren naar de plaats van herkomst.
Stel dat Tom Jones, een voorstander van technische AI, langskomt en zegt: “Jullie werk is allemaal weerlegd. Het probleem is opgelost. Commerciële piloten behalen steeds dezelfde of zelfs betere resultaten.”
Als we zelfs maar de moeite zouden nemen om te reageren, zouden we lachen.
Neem het geval van de zeevarende heldendaden van Polynesiërs, die nog steeds leven onder inheemse stammen, waarbij ze sterren, wind en stroming gebruiken om hun kano's op een aangewezen plek honderden kilometers verderop te laten landen. Ook dit is het onderwerp geweest van veel onderzoek om erachter te komen hoe ze het doen. Tom Jones heeft het antwoord: “Stop met het verspillen van je tijd; marineschepen doen het voortdurend.”
Zelfde reactie.
Laten we nu eens kijken naar een echt geval: taalverwerving. Het is de afgelopen jaren het onderwerp geweest van uitgebreid en zeer verhelderend onderzoek, waaruit blijkt dat baby's een zeer rijke kennis hebben van de omgevingstaal (of -talen), die veel verder gaat dan wat ze tijdens de uitvoering tentoonspreiden. Dit wordt bereikt met weinig bewijs, en in sommige cruciale gevallen zelfs helemaal niet. In het beste geval zijn de beschikbare gegevens, zoals zorgvuldige statistische studies hebben aangetoond, schaars, vooral als rekening wordt gehouden met de rangfrequentie (“de wet van Zipf”).
Enter Tom Jones: “Je bent weerlegd. Zonder aandacht te besteden aan uw ontdekkingen kunnen LLM's die astronomische hoeveelheden gegevens scannen, statistische regelmatigheden vinden die het mogelijk maken de gegevens waarop ze zijn getraind te simuleren, waardoor iets ontstaat dat vrijwel op normaal menselijk gedrag lijkt. Chatbots.”
Dit geval verschilt van de andere. Ten eerste is het echt. Ten tweede lachen mensen niet; Sterker nog, velen zijn onder de indruk. Ten derde zijn de werkelijke resultaten, in tegenstelling tot de hypothetische gevallen, verre van wat wordt beweerd.
Deze overwegingen brengen een klein probleem met het huidige LLM-enthousiasme naar voren: de totale absurditeit ervan, zoals in de hypothetische gevallen waarin we het meteen herkennen. Maar er zijn veel ernstiger problemen dan absurditeit.
Eén daarvan is dat de LLM-systemen zo zijn ontworpen dat ze ons niets kunnen vertellen over taal, leren of andere aspecten van cognitie, een principiële kwestie die onherstelbaar is. Verdubbel de terabytes aan gescande gegevens, voeg nog eens een biljoen parameters toe, gebruik nog meer van de energie van Californië, en de simulatie van gedrag zal verbeteren, terwijl duidelijker zal worden onthuld dat de aanpak in principe faalt om enig begrip op te leveren. De reden is elementair: de systemen werken net zo goed met onmogelijke talen die kinderen niet kunnen verwerven als met talen die ze snel en vrijwel reflexmatig verwerven.
Het is alsof een bioloog zou zeggen: “Ik heb een geweldige nieuwe theorie over organismen. Er staan er veel in die bestaan en veel die onmogelijk kunnen bestaan, en ik kan je niets vertellen over het onderscheid.”
Nogmaals, we zouden lachen. Of zou moeten.
Niet Tom Jones – nu verwijzend naar feitelijke gevallen. Tom Jones blijft volharden in zijn radicale afwijking van de wetenschap en antwoordt: “Hoe weet je dit allemaal totdat je alle talen hebt onderzocht?” Op dit punt wordt het verlaten van de normale wetenschap zelfs nog duidelijker. Volgens dezelfde argumenten kunnen we de genetica en de moleculaire biologie, de evolutietheorie en de rest van de biologische wetenschappen, die niet meer dan een klein deel van de organismen hebben bemonsterd, buiten beschouwing laten. En voor de goede orde: we kunnen de hele natuurkunde buiten beschouwing laten. Waarom geloven in de wetten van beweging? Hoeveel objecten zijn daadwerkelijk in beweging waargenomen?
Bovendien is er nog de kleine kwestie van de bewijslast. Degenen die een theorie voorstellen, hebben de verantwoordelijkheid om aan te tonen dat deze enige zin heeft, in dit geval door aan te tonen dat deze faalt voor onmogelijke talen. Het is niet de verantwoordelijkheid van anderen om het voorstel te weerleggen, hoewel het in dit geval gemakkelijk genoeg lijkt om dat wel te doen.
Laten we de aandacht verleggen naar de normale wetenschap, waar zaken interessant worden. Zelfs een enkel voorbeeld van taalverwerving kan een rijk inzicht opleveren in het onderscheid tussen mogelijke en onmogelijke talen.
De redenen zijn eenvoudig en bekend. Alle groei en ontwikkeling, inclusief wat ‘leren’ wordt genoemd, is een proces dat begint met een toestand van het organisme en dit stap voor stap transformeert naar latere stadia.
Taalverwerving is zo'n proces. De begintoestand is de biologische gave van het taalvermogen, dat duidelijk bestaat, ook al is het, zoals sommigen geloven, een bepaalde combinatie van andere capaciteiten. Dat is hoogst onwaarschijnlijk om redenen die al lang bekend zijn, maar het is niet relevant voor onze zorgen hier, dus we kunnen het terzijde schuiven. Het is duidelijk dat er een biologische gave bestaat voor het menselijke taalvermogen. De kleinste waarheid.
De transitie verloopt naar een relatief stabiele toestand, die slechts oppervlakkig is veranderd: kennis van de taal. Externe data triggeren en geven gedeeltelijk vorm aan het proces. Door de bereikte staat (kennis van de taal) en de externe gegevens te bestuderen, kunnen we verreikende conclusies trekken over de initiële staat, de biologische gave die taalverwerving mogelijk maakt. De conclusies over de begintoestand leggen een onderscheid op tussen mogelijke en onmogelijke talen. Het onderscheid geldt voor iedereen die de begintoestand deelt: alle mensen, voor zover bekend; er lijkt geen verschil te zijn in het vermogen om taal te verwerven tussen bestaande menselijke groepen.
Dit is allemaal normale wetenschap en heeft veel resultaten opgeleverd.
Uit experimenten is gebleken dat de stabiele toestand vrijwel al heel vroeg, rond de leeftijd van drie tot vier jaar, wordt bereikt. Het is ook algemeen bekend dat het taalvermogen fundamentele eigenschappen heeft die specifiek zijn voor mensen, en daarom is het een echte soorteigenschap: gemeenschappelijk voor menselijke groepen en in fundamentele opzichten een uniek menselijk kenmerk.
In dit schematische verslag wordt veel weggelaten, met name de rol van de natuurwetten in groei en ontwikkeling: in het geval van een computersysteem als taal: principes van rekenefficiëntie. Maar dit is de essentie van de zaak. Nogmaals, normale wetenschap.
Het is belangrijk om duidelijk te zijn over Aristoteles' onderscheid tussen bezit van kennis en gebruik van kennis (in hedendaagse terminologie: competentie en prestatie). In het geval van de taal is de verkregen stabiele toestand het bezit van kennis, gecodeerd in de hersenen. Het interne systeem bepaalt een onbegrensde reeks gestructureerde uitdrukkingen, die we allemaal kunnen beschouwen als het formuleren van een gedachte, die allemaal externaliseerbaar zijn in een of ander sensomotorisch systeem, meestal klinkend, hoewel het een teken of zelfs (met moeite) aanraking kan zijn.
Het intern gecodeerde systeem wordt benaderd met behulp van kennis (prestatie). Prestatie omvat het interne gebruik van taal in het denken: reflectie, planning, herinnering en nog veel meer. Statistisch gezien is dat veruit het overweldigende taalgebruik. Het is ontoegankelijk voor introspectie, hoewel we er metaforisch gesproken veel over kunnen leren via de normale wetenschappelijke methoden, van ‘buitenaf’. Wat ‘innerlijke spraak’ wordt genoemd, zijn in feite fragmenten van geëxternaliseerde taal waarvan het articulatieapparaat is gedempt. Het is slechts een afstandelijke weerspiegeling van het interne taalgebruik; belangrijke zaken kan ik hier niet bespreken.
Andere vormen van taalgebruik zijn perceptie (parsing) en productie, waarbij bij laatstgenoemde eigenschappen van cruciaal belang zijn die voor ons vandaag de dag nog steeds even mysterieus zijn als toen ze door Galileo en zijn tijdgenoten aan het begin van de moderne wetenschap met ontzag en verbazing werden beschouwd.
Het voornaamste doel van de wetenschap is het ontdekken van het interne systeem, zowel in zijn oorspronkelijke staat van het menselijk taalvermogen als in de specifieke vormen die het bij de verwerving ervan aanneemt. Voor zover dit interne systeem wordt begrepen, kunnen we verder onderzoeken hoe het een rol speelt in de prestaties, in wisselwerking met vele andere factoren die een rol spelen in het taalgebruik.
Prestatiegegevens leveren bewijs over de aard van het interne systeem, vooral wanneer ze door experimenten worden verfijnd, zoals bij standaard veldwerk. Maar zelfs de grootste verzameling gegevens is noodzakelijkerwijs op cruciale manieren misleidend. Het houdt zich bezig met wat normaal gesproken wordt geproduceerd, en niet met de kennis van de taal die in de hersenen is gecodeerd, het voornaamste object dat wordt onderzocht voor degenen die de aard van taal en het gebruik ervan willen begrijpen. Dat interne object bepaalt oneindig veel mogelijkheden van een soort die niet zullen worden gebruikt bij normaal gedrag vanwege factoren die niet relevant zijn voor de taal, zoals beperkingen van het kortetermijngeheugen, onderwerpen die zestig jaar geleden zijn bestudeerd. Waargenomen gegevens zullen ook veel omvatten dat buiten het in de hersenen gecodeerde systeem ligt, vaak bewust gebruik van taal op manieren die de regels voor retorische doeleinden schenden. Dit zijn waarheden die bekend zijn bij alle veldwerkers, die vertrouwen op elicitatietechnieken met informanten, feitelijk experimenten, om een verfijnd corpus op te leveren dat irrelevante beperkingen en afwijkende uitdrukkingen uitsluit. Hetzelfde geldt wanneer taalkundigen zichzelf als informant gebruiken, een volkomen verstandige en normale procedure, die tot op heden gebruikelijk is in de geschiedenis van de psychologie.
Als we verder gaan met de normale wetenschap, ontdekken we dat de interne processen en elementen van de taal niet kunnen worden gedetecteerd door inspectie van waargenomen verschijnselen. Vaak komen deze elementen niet eens voor in spraak (of schrift), hoewel hun vaak subtiele effecten wel waarneembaar zijn. Dat is nog een reden waarom de beperking tot waargenomen verschijnselen, zoals bij LLM-benaderingen, het begrip van de interne processen die de kernobjecten zijn van onderzoek naar de aard van taal, de verwerving en het gebruik ervan, scherp beperkt. Maar dat is niet relevant als de zorg voor wetenschap en begrip is opgegeven ten gunste van andere doelen.
Meer in het algemeen worden in de wetenschappen duizenden jaren lang conclusies getrokken door experimenten – vaak gedachte-experimenten – die elk een radicale abstractie van verschijnselen waren. Experimenten zijn theoriegestuurd en proberen de ontelbare irrelevante factoren die een rol spelen bij waargenomen verschijnselen, zoals taalprestaties, te verwerpen. Dit alles is zo elementair dat er zelden over wordt gesproken. En vertrouwd. Zoals opgemerkt gaat het fundamentele onderscheid terug op het onderscheid van Aristoteles tussen het bezit van kennis en het gebruik van kennis. De eerste is het centrale studieobject. Secundaire (en behoorlijk serieuze) onderzoeken onderzoeken hoe het intern opgeslagen kennissysteem wordt gebruikt bij prestaties, samen met de vele niet-linguïstische factoren die ingaan op wat direct wordt waargenomen.
We kunnen ons ook een observatie herinneren van evolutiebioloog Theodosius Dobzhansky, vooral beroemd vanwege zijn werk met Drosophila: elke soort is uniek, en mensen zijn de uniekste van allemaal. Als we geïnteresseerd zijn in het begrijpen wat voor soort wezens we zijn – in navolging van het bevel van het Delphisch Orakel 2,500 jaar geleden – zullen we ons in de eerste plaats bezighouden met wat de mens tot het uniekste van allemaal maakt, in de eerste plaats taal en denken, nauw met elkaar verweven, zoals erkend in een rijke traditie die teruggaat tot het klassieke Griekenland en India. Het meeste gedrag is redelijk routinematig en dus tot op zekere hoogte voorspelbaar. Wat ons echt inzicht geeft in wat ons uniek maakt, is wat geen routine is, wat we wel ontdekken, soms door experiment, soms door observatie, van normale kinderen tot grote kunstenaars en wetenschappers.
Nog een laatste opmerking in dit verband. De samenleving wordt al een eeuw lang geplaagd door massale bedrijfscampagnes om minachting voor de wetenschap aan te moedigen, onderwerpen die onder andere Naomi Oreskes goed hebben bestudeerd. Het begon met bedrijven waarvan de producten moorddadig zijn: lood, tabak, asbest en later fossiele brandstoffen. Hun motieven zijn begrijpelijk. Het doel van een bedrijf in een kapitalistische samenleving is winst, niet het menselijk welzijn. Dat is een institutioneel feit: speel het spel niet en je ligt eruit, vervangen door iemand die dat wel wil.
De PR-afdelingen van het bedrijfsleven erkenden al vroeg dat het een vergissing zou zijn om het toenemende wetenschappelijke bewijs van de dodelijke effecten van hun producten te ontkennen. Dat zou gemakkelijk weerlegd kunnen worden. Het is beter om twijfel te zaaien, onzekerheid en minachting aan te moedigen voor deze puntige pakken die nog nooit een huis hebben geschilderd, maar uit Washington zijn gekomen om mij te vertellen geen loodverf te gebruiken, waardoor mijn bedrijf kapot gaat (een reëel geval, gemakkelijk te vermenigvuldigen). Dat heeft maar al te goed gewerkt. Op dit moment leidt het ons op een pad naar de vernietiging van het georganiseerde menselijke leven op aarde.
In intellectuele kringen zijn vergelijkbare effecten teweeggebracht door de postmoderne kritiek op de wetenschap, ontmanteld door Jean Bricmont en Alan Sokal, maar in sommige kringen nog steeds springlevend.
Het is misschien onaardig om deze vraag te stellen, maar ik denk dat het eerlijk is om te vragen of de Tom Joneses en degenen die kritiekloos hun onzorgvuldige uitspraken herhalen en zelfs versterken, bijdragen aan dezelfde onheilspellende tendensen.
CJP: ChatGPT is een natuurlijke taalgestuurde chatbot die kunstmatige intelligentie gebruikt om mensachtige gesprekken mogelijk te maken. In een recent artikel in The New York TimesSamen met twee andere auteurs schakel je de nieuwe chatbots als hype uit, omdat ze simpelweg niet kunnen tippen aan de taalvaardigheid van mensen. Is het echter niet mogelijk dat toekomstige innovaties op het gebied van AI technische projecten kunnen opleveren die de menselijke capaciteiten evenaren en misschien zelfs overtreffen?
NC: De eer voor het artikel moet worden gegeven aan de eigenlijke auteur, Jeffrey Watumull, een voortreffelijke wiskundige, taalkundige en filosoof. De twee genoemde co-auteurs waren adviseurs, die het eens waren met het artikel, maar het niet hebben geschreven.
Het is waar dat chatbots in principe de taalvaardigheid van mensen niet kunnen evenaren, om de hierboven herhaalde redenen. Hun basisontwerp verhindert dat ze de minimale voorwaarde van geschiktheid voor een theorie over de menselijke taal bereiken: het onderscheiden van mogelijke van onmogelijke talen. Omdat dat een eigenschap van het ontwerp is, kan dit niet worden ondervangen door toekomstige innovaties in dit soort AI. Het is echter heel goed mogelijk dat toekomstige technische projecten de menselijke capaciteiten zullen evenaren en zelfs overtreffen, als we het menselijk vermogen om te handelen, prestaties, bedoelen. Zoals hierboven vermeld, doen sommigen dit al lang: automatische rekenmachines bijvoorbeeld. Interessanter is dat, zoals gezegd, insecten met minuscule hersenen de menselijke capaciteiten, opgevat als competentie, overtreffen.
CJP: In het bovengenoemde artikel werd ook opgemerkt dat de huidige AI-projecten geen menselijk moreel vermogen bezitten. Maakt dit voor de hand liggende feit AI-robots minder een bedreiging voor de mensheid? Ik denk dat het argument kan zijn dat het ze misschien zelfs nog meer maakt.
NC: Het is inderdaad een voor de hand liggend feit dat we ‘moreel vermogen’ breed opvatten. Tenzij zorgvuldig gecontroleerd, kan AI-engineering ernstige bedreigingen vormen. Stel bijvoorbeeld dat de zorg voor patiënten geautomatiseerd zou worden. De onvermijdelijke fouten die door het menselijk oordeel zouden worden overwonnen, zouden een horrorverhaal kunnen opleveren. Of stel dat mensen werden uitgesloten van de evaluatie van de dreigingen die door geautomatiseerde raketverdedigingssystemen werden vastgesteld. Als een schokkend historisch record informeert ons, dat zou het einde van de menselijke beschaving betekenen.
Tenzij zorgvuldig gecontroleerd, kan AI-engineering ernstige bedreigingen vormen.
CJP: Regelgevers en wetshandhavingsinstanties in Europa uiten hun bezorgdheid over de verspreiding van ChatGPT, terwijl een onlangs ingediend stuk wetgeving van de Europese Unie probeert om te gaan met AI door dergelijke hulpmiddelen te classificeren op basis van het waargenomen risiconiveau. Bent u het eens met degenen die bezorgd zijn dat ChatGPT een ernstige publieke bedreiging vormt? Denkt u bovendien werkelijk dat de verdere ontwikkeling van AI-instrumenten kan worden stopgezet totdat er waarborgen kunnen worden ingevoerd?
NC: Ik kan gemakkelijk sympathiseren met pogingen om de bedreigingen van geavanceerde technologie onder controle te krijgen, inclusief deze zaak. Ik ben echter sceptisch over de mogelijkheid daartoe. Ik vermoed dat de geest uit de fles is. Kwaadwillende actoren – institutioneel of individueel – kunnen waarschijnlijk manieren vinden om waarborgen te omzeilen. Dergelijke vermoedens zijn uiteraard geen reden om het niet te proberen en waakzaam te zijn.
ZNetwork wordt uitsluitend gefinancierd door de vrijgevigheid van zijn lezers.
Doneren