[Muziek]
Goedemiddag,
hartelijk welkom allemaal bij dit ICTU Café on screen. Het derde uit een drieluik.
De eerste was medio november met Joost Broekens van de Universiteit Leiden,
die ons iets vertelde over humanoid robots. Met name de toepassing in de zorg en het onderwijs.
In december gevolgd door Marlies van Steenbergen van de Hogeschool Utrecht.
Die ons heeft meegenomen in ontwerpen vanuit menselijke waarden en
iets heeft laten zien over de ethische matrix die daar ontwikkeld is en toegepast.
En vandaag hebben we bij ons te gast als spreker: Jeroen van den Hoven van de Universiteit van Delft.
Hoogleraar ethiek en technologie. En ook nog een heleboel andere dingen.
Hoofdredacteur van een tijdschrift over ethiek en technologie en lid van een Europese groep over ethiek van de Europese commissie.
En hij gaat ons iets vertellen over ontwerpen vanuit publieke waarden en ethiek
en hoe dat zorgt voor een betere samenleving en een betere overheid.
Jeroen, mag ik jou het woord geven, hartelijk welkom.
Ja, dank voor de uitnodiging. Leuk om iets te mogen vertellen over dat onderwerp dat
ons in Delft zeer na aan het hart ligt, ethiek en technologie en in het bijzonder
informatietechnologie. Ik ga proberen mijn presentatie met jullie te delen en
dan zien we meteen waar we aan toe zijn en wat voor vlees we in de kuip hebben.
Een paar van die dingen even ter introductie. Het kabinet heeft een digitaal beraad ingesteld,
het demissionaire kabinet. Komt nog één keer bij elkaar denk ik, onder leiding van Knops,
Keijzer en Grapperhaus. En ik adviseer inderdaad ook de Europese Commissie op het gebied van
innovatie en ethiek. In de komende 25 minuten wil ik jullie graag even meenemen in een kleine tour
de raison, ik zou er een jaar college over kunnen geven, over hoe we nu met ethiek moeten omgaan en
de vorige spreekster bij de vorige gelegenheid heeft ook al een klein beetje in die richting
gedacht, maar dat is een beetje wat er op dit moment, niet alleen aan technische universiteiten,
maar overal. Hoe er over ethiek wordt gedacht en hoe het wordt gepraktiseerd, in praktijk wordt
gebracht, daar ga ik ook wat voorbeelden van geven. En dat is een beetje the state of play
en the best practice. Nederland heeft daar een bijzondere rol in gespeeld. De vier technische
universiteiten met name, in het verder uitwerken van deze opvatting van ethiek.
Er is geen gebrek aan onderwerpen. Links zie je de technologieën staan, met name digitaal.
En rechts zie je de waarden staan, of de problemen. En ik zeg wel eens tegen studenten: als je op zoek bent naar
een leuk onderwerp voor een scriptie, combineer dan een term uit het linker rijtje met die uit
het rechter rijtje en dan heb je wel een mooi scriptie-onderwerp. AI en human dignity of deep
learning en acountability, big data en privacy. En het lijkt alsof, dit zijn een rijtje fundamentele
en filosofische begrippen. Wat is vriendschap? Wat is een persoon? Wat is intelligentie?
Dat was al heel lastig voor ons om er chocola van te maken, dat is alleen maar lastiger geworden door
digitale technologie, want nu spreken we over een cyber community over een net friendship,
een virtual property, een internet crime, digital democracy. En het lijkt net alsof, als je die
mooie termen hebt, in dit geval samengesteld, dat je ook weet waar je het over hebt,
maar dat is bedrieglijk, dat is niet helemaal waar. Het is eigenlijk een soort voorschot wat je neemt,
op een analyse die je nog moet leveren. Wat is dat eigenlijk precies? We hebbend de term al, maar het
begrip ontberen we nog. Als je ‘cyber community’ zegt of je zegt ‘blockchain organisation’ of je
zegt ‘algoritmic fairness. Wat je dan eigenlijk zegt is: het is een soort fairness, het is niet
wat we kennen van vroeger van het schoolplein of van de traditionele omgevingen. Het is iets anders
en wat weten we nog niet precies. Je zit eigenlijk in een conceptueel vacuüm te werken en dat is niet
zo erg als je een filosofische discussie hebt, maar dat is natuurlijk wel vervelend als je
beleid moet maken of wetten en regelgeving en het is nog veel vervelender als je iets moet maken of ontwerpen.
Want daarvoor moet je heel precies weten wat je wilt maken en hoe dat moet.
Wat de specs zijn, vandaar de titel, de ondertitel van het verhaal: where are the moral specs.
Dus je moet als het ware van een nieuw begrip, daar moet je precisie in gaan aanbrengen.
Als je kijkt naar zo’n term als: algorithmic fairness, dit is een Amerikaanse collega, die heeft dus
geturfd hoeveel verschillende definities van algorithmic fairness er in omloop zijn.
Hij komt heel ver, boven de 20 in ieder geval. En dan moet je meer precies gaan maken welke van
die definities je kiest, waarom en hoe je dat verder gaat uitwerken. Er wordt weleens een
onderscheid gemaakt tussen een concept van iets, van fairness bijvoorbeeld en specific
conception of fairness. Dus dan heb je al gekozen voor een hele specifieke invulling daarvan.
Datzelfde zullen we voor al die termen moeten doen die ik daar in dat rijtje had staan.
Kort ga ik twee ideeën met jullie doornemen die belangrijk zijn in die nieuwe opvatting van ethiek
in het digitale tijdperk. In de eerste plaats: values can and will shape our designs.
En ten tweede: soms kun je conflicten tussen die waardes, spanningen tussen bijvoorbeeld openbaarheid of
transparantie en aan de andere kant privacy. Of efficiency en privacy, die kun je oplossen
met een design oplossing. Dat is een belangrijke bron voor innovaties. Daar wil ik mee afsluiten.
Dus het is niet zoals wel vaker wordt gedacht: oh, dan moeten we weer ethiek gaan doen,
studenten reageren ook wel eens zo: we moesten al aan duurzaamheid, we moesten dit en dat en
nu moeten we ook nog al die ethische dingen erbij, dat wordt erg ingewikkeld.
Soms kan het werken als een trigger voor innovatie. Eerste plaats: het idee van waarde en de
relatie tussen waarden en ontwerpen. Dit is een klassiek tekstboek voorbeeld.
En dat is een artikel uit de jaren 80 van de vorige eeuw en dat artikel heet: do artefacts have politics?
De auteur, je ziet hem hier links, Langdon Winner, die laat daarin zien dat sommige hele simpele,
grofstoffelijke technologieën zoals dit soort overpasses, bruggetjes. Die bevatten als het ware
de opvattingen van de maker, van de ingenieur of van de planner. In dit geval is het verhaal
dat degene die deze dingen ontworpen heeft, een hele ringweg van overpasses in Brooklyn,
New York. Die had, hebben wij later uitgevonden, racistische ideeën, die heeft deze dingen zo laag
gemaakt dat ze de bussen verhinderden om uit de zwarte, arme wijken naar de stranden voor
de witte middenklasse te worden gerouteerd door het openbaar vervoerbedrijf. Dus het is
een racistisch viaduct. Het is opzettelijk zo gemaakt dat er, in de weekenden, minder zwarte
mensen op het strand bij New York zouden komen. En als je dit patroon eenmaal gezien hebt dan
begrijp je natuurlijk: dit is overal het geval. Je kunt je idee over hoe de wereld eruit zou
moeten zien, hoe mensen zich zouden moeten gedragen. Dat kun je als het ware inbouwen,
in-ontwerpen in hele simpele technologie. Maar dus ook in hele ingewikkelde technologie, dit is het
voorbeeld van een risico-inschattings-algoritme, dat in alle financiële planningssoftware van
banken en financials in New York kwam, voor de financiële crisis. Daarna hebben we wel
uitgevonden dat het iets te rooskleurig was, de risico’s iets te rooskleurig inschatten.
En dat is: the formula that killed Wall Street. Het was een model, dat vervolgens een algoritme werd,
dat vervolgens in de software kwam en vervolgens de beslissingen van heel veel mensen heeft beïnvloed.
Er zit bias in search engines, er zit algorithmic bias in news feeds. We kunnen websites zo maken
dat ze verslavend zijn, net zoals we die fruitautomaten verslavend maken. We kunnen
ervoor zorgen dat onze telefoons iets minder goed werken op het moment dat we een nieuwe IPhone
gaan invoeren, pieken van de searches: waarom is mijn telefoon toch zo langzaam valt steeds
samen met de introductie van een nieuwe IPhone. We weten dat we een lampje kunnen maken dat 100
jaar brandt, dit is hem bijvoorbeeld, brandt 100 jaar. Maar we maken hem zodat hij wat eerder
kapotgaat en er wat meer van verkocht wordt. U kent die koepelgevangenissen, dit is een
filosoof uit de 18e eeuw, Jeremy Bentham. En die zei al: als we nu een koepelgevangenis
maken dan heb ik maar één bewaker nodig die in een torentje in het midden zit. Strikt genomen hoeft
er niemand in dat torentje te zitten zelfs. Als mensen maar denken dat er iemand in zit.
Simpel idee in architecture, zei hij. En het werkt. We zien dat aan het nudgen bijvoorbeeld. Er wordt
genudged, er worden keuze-architecturen gemaakt. Denk aan eenvoudig computermenu, dat is een manier
om de keuzes zo neer te zetten dat het gedrag van mensen daardoor mogelijkerwijs wordt beïnvloed.
Dit beïnvloedt het gedrag van mensen, dit beïnvloedt het gedrag van mensen, dit beïnvloedt
het gedrag van mensen. Gewoon door een ontwerp van de omgeving waarin mensen zich begeven.
Framing is een goed voorbeeld, daar doe je het met taal. Wil je liever een halfvol glas of een halfleeg glas?
Veel mensen willen gewoon liever een halfvol glas. Dark patterns op het internet, dit is een
roach-motel, een kakerlakkenmotel, maar een vlieg- of een wespenval doet hetzelfde. Heel
simpel om in te kruipen, heel moeilijk om uit te gaan. Op het internet heb je, als je eenmaal een
account gemaakt hebt bij Amazon of bij Facebook, probeer hem er dan maar weer eens af te halen.
Je zit erin, maar je komt er niet meer uit. En dat zijn gedrag veranderende ontwerppatronen die
gebruikt worden. Je ziet het ook bijvoorbeeld, het is een heel sprekend voorbeeld, je kunt een
abonnement nemen op de economist voor 59 online, je kunt een printversie nemen voor 125 of je kunt
de online versie plus de print nemen voor 125. 80% van de mensen zegt: ik neem ze allebei voor 125.
Maar een alternatieve keuze architectuur zit onder dit rechter rode blok. En daar zien we:
je kunt de online versie nemen voor 59 of de print en de web voor 125. En nu vergelijk je
59 met 125 en denk je: nou, laat dat papier maar zitten en ik neem alleen de online versie.
Je ziet dat de linker versie waarin je de drie keuzes zo naast elkaar hebt gezet, dwingt mensen de derde te
nemen en hier zullen mensen die eerste nemen. Dus, de manier waarop je dingen arrangeert is
bepalend voor hoe mensen zich zullen gedragen. Als je moet kiezen tussen een appartement dicht
bij de universiteit, met een hogere rent A, een hogere huur A. Of verder van de campus,
maar met een lagere huur B. Dan zijn er mensen die zeggen, het is mij eigenlijk om het even.
Maar creëer je dan een artificiële optie C, die verder van de campus is en ook nog eens duurder is dan B,
dan dwing je mensen om B te kiezen, want mensen gaan nu B en C met elkaar vergelijken.
En dat is wat er constant gebeurt en dat is nudging. Degene die nudging groot heeft gemaakt. De voormalig
adviseur van Obama, de hoogleraar Cass Sunstein zegt: het is zelfs mogelijk, het is possible that
companies provide clear, simple products would do poorly in the marketplace, because they are
nog taking advantage of people’s propensity to blunder. In de manier waarop die waarden
als het ware in de producten en diensten worden ingebouwd kun je het je gewoon niet permitteren
om de domheid of naïviteit van mensen niet te exploiteren. We vinden die keuze architecturen
overal. Overal zitten waarden ingebouwd, net als in het laaghangende viaduct. Goede ideetjes,
slechte ideetjes en verwerpelijke ideeën. Dus dit idee, dat de waarden uitgedrukt worden in welke
architectuur en welke technologie dan ook must be used responsibly, accountably, transparantly,
systematically, continuously and agile. Dat is wat er moet gebeuren. Alles in onze
omgeving is van A tot Z ontworpen. Overal zitten de keuzes in, wat wij zien aan technologie.
Of het digitaal is of niet digitaal is de geconsolideerde hoeveelheid keuzes die anderen
voor ons hebben gemaakt. En die vervolgens ons mogelijkheden geven, maar ook dingen onmogelijk maken.
Dat is heel belangrijk. Het is waar wat Churchill zei: we shape our buildings
and then our buildings shape us. We bouwen het huis, we gaan erin wonen en we worden een beetje
zoals het huis dat we ontworpen hebben. En dat is natuurlijk in de informatietechnologie par
excellence het geval. Op al deze niveaus worden keuzes gemaakt. En het systeem,
of de infrastructuur of waar we dan ook maar mee werken, is de optelsom van alle keuzes die gemaakt zijn.
Soms is het triviaal en doet het er niet toe en soms is het superbelangrijk en vallen er
kabinetten op zoals we onlangs hebben gezien.
[Hans] Er is een vraag die wordt gesteld. Je gaf net aan als je twee keuzes hebt is het duidelijk welk keuze.
Als het drie worden gemaakt de eerste niet meer in overweging wordt genomen.
Dan wordt de vraag gesteld: hoe komt dat? Hoe werkt dat?
[Jeroen] Dat de eerste waarde of eerste overweging wordt overruled ofzo?
[Hans] Precies. [Jeroen] Voor een deel heeft dat allerlei
praktische en hele triviale verklaringen en dat is dat mensen kort van memorie zijn en dat is ook wat
we kennen uit de psychologie en availability bias. Een availability bias is dat het laatste
wat je gehoord hebt of dat boek wat op je tafel ligt is top of mind. Je was even vergeten dat je
gisteren iets heel anders belangrijk vond. Maar in een goede analyse, en dat zal ik zo laten zien, is
het zo dat je constant een score keeping hebt van: welke dingen doen er nu toe voor mijn ontwerp.
Dus je gaat niet dingen vergeten omdat het even out of fashion is. Kijk, als menselijke waardigheid
een jaar geleden belangrijk is, dan is het morgen ook belangrijk, tenzij je een zwaarwegender reden
hebt om het wat minder belangrijk te vinden in een bepaalde context. Ethisch gezien zijn alle dingen
belangrijk, tenzij je een overruling considiration hebt. Laat zien dat het niet belangrijk is.
Dat is het probleem waarmee we moeten werken. Constant, dagdagelijks en niet één keer per jaar of één keer
in the livecycle van een groot project. Maar constant, er zijn waarden, dat is de linker
wereld van waarden, normen, idealen, principes en de ethiek. En er staan een paar voorbeelden,
maar er zijn er veel meer. Hoeveel waarden zijn er? 123, 780? Ik weet het niet. Maar we herkennen een
morele waarde wel. Dat is een enorme filosofische discussie, hier kun je makkelijk op afstuderen of
promoveren en dat gaan we nu niet doen. En die waarden die moeten dus geïmplementeerd worden
en tot uitdrukking worden gebracht in de techniek en in de engineering. Of dat nu olietankers zijn
of ziekenhuisinformatiesystemen. En vervolgens moet je kunnen laten zien en rechtvaardigen dat
je de goede waarde op de goede manier hebt geborgd in de dingen die je hebt gemaakt.
Dit cirkeltje moet je constant maken. Dat is eigenlijk de structuur van het waardegevoelig ontwerpen.
We hebben een handboek, dat moet u niet aanschaffen, dat is veel te duur.
ICTU kan het misschien wel aanschaffen voor iedereen. We werken aan een open access versie hiervan.
700 pagina’s met heel veel voorbeelden over hoe je dat doet. Designing voor privacy, security,
inclusion etc. etc. Designing for x. En x ranged over alle waarden die je van belang vindt.
En wij doen dat zo, en het is inmiddels wel ingeburgerd aan het raken, deze manier van denken.
Je begint met een hoog niveau van abstractie. Een waarde of een non-functional requirement of een high
level suprafunctional requirement, en die ga je decomponeren en specificeren in normen, policies,
mechanisms and protocols en uiteindelijk in de onderste laag van design requirements.
En hier zie je ook zo’n breakdown. Privacy, wat bedoel je? Nou risk mitigation, accounability,
data quality, security. Wat bedoel je met risk mitigation? Data clustering, coarse graining the
data, pseudonymization. Dit doen we in projecten en met studenten. En ook met steeds meer met
partijen van buiten. Uit de private sector en de publieke sector. Je begint met democratie,
ja hartstikke leuk democratie, online. Maar wat voor soort? Wat is je conceptie van democratie?
Je hebt een vaag concept van democratie waar we het allemaal over hebben.
Maar als je dan vervolgens de definitie moet geven van democratie dan kom je toch van: nou, dat is een politiek
arrangement waarin burgers met elkaar kunnen delibereren. Oké, dan heb je een deliberatieve
conceptie van democratie. En dat betekent dus dat diversiteit, volg dat pijltje even naar rechts,
dat diversiteit heel erg belangrijk is, want als we het allemaal met elkaar eens zijn en we zitten
in dezelfde echokamer of filterbubbel of fabeltjesfuik dan kan de democratie niet
werken. En dat betekent misschien dat je tools moet ontwerpen, dat is de witte categorie,
modellen of tools moet ontwikkelen om ervoor te zorgen dat die diversiteit er is, zodanig dat
de deliberatie in dat democratische proces kan plaatsvinden. Maar contestation, representatie,
participatie, stemmen, dat zijn allemaal componenten daarvan, dus je moet daaruit kiezen.
Dat wordt, om even bij dit voorbeeld te blijven, dat wordt steeds belangrijker.
Als je democratie belangrijk vindt, dan zul je ervoor moeten ontwerpen.
Het gaat niet meer vanzelf gebeuren. Het is niet zo dat we morgen wakker worden en denken: oh, die online
democratie is helemaal prima geregeld. Alles moet nauwgezet worden ontworpen.
Dus als je een fatsoenlijke discussie wilt aanmoedigen online, dan zie je zo’n initiatief als ceasefire.net.
Dan zorg je ervoor, net als bij Wikipedia, dat je gemodereerde discussies hebt en dat je,
your flagging hostility of onbeleefdheid. Dat is op zichzelf al lastig genoeg. Maar als je het wilt
dan zul je ervoor moeten ontwerpen. Hier zijn een aantal andere voorbeelden. Je kunt de constitutie
van IJsland crowdsourcen, je kunt deliberative assemblies hebben. Je kunt in de lawmaking proces
kun je dingen doen. In Barcelona wordt zeer veel geëxperimenteerd met deliberatie tussen burgers en
bestuurders online, Decidem bijvoorbeeld. Je kunt ook denken aan grootschalige en wat meer
structurele architecturele benaderingen zoals van de founding father of the world wide web
Tim Berners. We moeten opnieuw het web gaan decentraliseren, re-decentralizing het web.
Er is te veel monopolisering van macht en van middelen. Dat betekent dat iedereen een digitaal
kluisje moet, zoals wij in Nederland ook al eens gezegd hebben, maar dan 20 jaar geleden.
En dat is het Solid initiatief. Er is nog een voorbeeld. Wat je nu krijgt in de ethiek is een soort empirische
cyclus die we wel uit de empirische wetenschappen kennen. Je begint met een bepaalde hypothese,
of een bepaald startpunt. Gelijkheid, equality. Je zegt dan: als we gelijkheid
willen bevorderen in de samenleving heb je democratie nodig. Wat is democratie,
dat kun je specificeren in een aantal dingen maar deliberatie is er één van. Die vervolgens
moet gedecomponeerd worden in requirements, voor het ontwerp van online deliberaties.
En vervolgens kun je daar ervaringen mee opdoen. Je kunt zeggen: werkt dit nu werkelijk?
Vinden mensen dit fijn? Leidt dit tot meer participatie en inclusie. En vervolgens is dat een validatie of
een falsificatie van je startpunt wat je had over gelijkheid en wat je kunt verbeteren.
Dit is iets wat je agile, iteratief moet doen. Maar nu doe je het dus niet met functional requirements, maar met
non-functional, namelijk moral requirements. Ik heb nog 7 minuten zie ik. En dat heb ik ook
echt nodig, want dit klinkt natuurlijk heel mooi. Je hebt al die waarden.
We lijden aan value pluralism. We leven in een pluralistische samenleving. Al die waarden
worden vertegenwoordigd en belangrijk gevonden door verschillende stakeholders, die vanuit
verschillende perspectieven kijken. En je kunt niet zeggen dat het ene belangrijker is dan het andere.
We moeten al deze dingen tegelijkertijd doen. Dat leidt natuurlijk onvermijdelijk tot
conflicten en dilemma’s, spanningen tussen deze waarden. We zijn dus constant overloaded.
We moeten en aan de duurzaamheid denken en aan de veiligheid denken, en aan de privacy denken en aan
de autonomie en de accountability. We bevinden ons in de situatie van de morele overbelasting.
En, en, en. Het is de logica van en, en, en, en niet van of, of, of. Dus innovatie kan daarbij helpen,
dat is mijn handreiking. Dus het is niet allemaal slecht nieuws. Dit is een voorbeeld van zoals het
dus niet moet. Dit is een duurzame, maar onveilige bus. Helemaal geoptimaliseerd voor duurzaamheid,
dus heel licht materiaal, plastic en aluminium. En vloeibaar gas. Die moet je natuurlijk wel veilig
maken, want anders heb je niet wat je wil. Je wil namelijk een duurzame en een veilige bus.
Hetzelfde met een patiëntendossier. Afgeschoten door de Eerste Kamer vanwege
privacy-tekortkomingen. Je wil alle voordelen van een elektronisch patiëntendossier, maar je wil
tegelijkertijd de privacy ook bedienen. Hetzelfde voor smart meters, je wil CO2-reductie en je wil
een smartifided grid, dus je introduceert een slimme meter, totdat je erachter komt dat het
een spionnetje is in je huis en dan heb je een privacyprobleem. Dus die privacy-requirements,
die non-functional requirements, die moeten in het ontwerp en in de architectuur, van dat smart
grid komen te zitten. En als je dat niet doet is het een recipe voor disaster. Wat is de structuur
van het probleem? De structuur van het probleem is als volgt: je wil je duurzaamheid en je wil je privacy.
En denk aan de eeuwige cameradiscussie, aan face recognition. Je wil je privacy en je wil
je security op straat. Dat is met elkaar op gespannen voet. En dit de structuur van het
probleem van morele overbelasting. Je wil al die non-functionals, al die morele waarden, meenemen
en een plek geven. Dus je wil je security boven en bepaalde drempelwaarde en je wil je privacy boven
een bepaalde drempelwaarde. Dus dan zit je voor je ideale oplossingen rechtsboven in dat witte
vierkant. Wat doe je aan beide waarden boven een bepaalde drempelwaarde? Maar je voelt hem al
aankomen. Je zit vaak met een soort 1.0, eerste houtje-touwtje-camerasysteem. Dat geeft noch
security, noch privacy. Dus het geeft haarscherpe beelden van onschuldige burgers en vage beelden
van de boeven. Ja, dan heb je dus niet wat je wil. Of je hebt een veel beter systeem en dat hang je
overal op en dan het je hartstikke veel security, maar heb je weer geen privacy. Of je hangt het dan
maar niet overal op en dan heb je veel privacy, maar geen security. Je voelt hem al aankomen.
Je wil een derde, echt slim camerasysteem. Wat je bedoelt met slim hier, is dat je beide waarden
kunt realiseren. Hier zit je rechtsboven en het is door de innovatie dat je in staat wordt gesteld om
precies ‘to have your cake and eat it’. En dat is een principe dat we kennen uit de ethiek.
Dat als je een verplichting hebt om A en B te doen, dat je dan ook een verplichting hebt om ervoor te zorgen
dat je A en B kan doen. En dat is het principe dat hier werkt. Als je vandaag de wereld kan
veranderen door innovatie, zodat je morgen meer van je verantwoordelijkheden en verplichtingen
kan voldoen, moet je vandaag al innoveren. Want dan zorg je ervoor dat je morgen aan meer van je
verplichtingen kan voldoen. Dan kan je privacy en duurzaamheid en veiligheid realiseren.
Kunnen alle problemen op deze manier worden opgelost? Nee, maar sommige belangrijke wel. Dus bijvoorbeeld
privacy by design is eigenlijk iets wat aan dit principe voldoet. Waarom is het dan belangrijk
om dat principe te onderscheiden? Dat is belangrijk, omdat we het kunnen gebruiken,
productief kunnen gebruiken. Dat we niet toevallig stuiten op een innovatie. Dat we zeggen: hee,
hier kunnen we de ict-functionaliteit hebben en tegelijkertijd de privacy dienen. Dat zou
een patroon moeten worden, dat we iets moeten zijn wat we constant voor ogen hebben en beogen
te realiseren. Dus dat is natuurlijk in het geval van privacy by design gelukt. Dat is een tak van
sport geworden. Dat is ook een bloeiende vorm van research & development geworden, waarvoor
veel mensen uit de wereld naar Europa komen, omdat we daar natuurlijk al heel lang mee bezig zijn.
En dat komt omdat we het belangrijk vonden. Als je deze mensen wil tellen.
Dat is je taak, je requirement. Maar je wil niet hun identiteit op geven. You can ‘core-strain the data’.
Dat is gewoon het aantal pixels verminderen. Dat is gewoon een simpel voorbeeld, maar er
zijn veel meer sophisticated technologieën. Core-straining through clustering. k-anonimity,
differential privacy, homomorphic encryption for privacy-preserving machine learning.
Dit zijn allemaal technische specificaties van uiteindelijk een uitgangspunt:
We willen de privacy, tegelijkertijd willen we de voordelen van de functionaliteit die de
technologie te bieden heeft. Je ziet: dat leidt tot dit soort innovaties. Als je van tevoren niet
zo enthousiast was over al die dingen en niet onverkort wilde vasthouden aan die waarden,
zou je niet zo snel, of misschien helemaal niet op dit soort innovaties gekomen zijn.
Die innovaties zijn het resultaat van het feit dat je al die waarden wilt bedienen.
En ook ex post facto het in ontwerpen vooraf, maar ook achteraf, discriminatiedetectie bijvoorbeeld,
ook door big data en statistiekgebruik. En je ziet dat patroon op allerlei plaatsen terug.
Bijvoorbeeld: hier is de Nederlandse ethical fairphone. Je ziet blauwe labels hier. En die blauwe labels
wijzen op maatschappelijke of ethische voordelen, dingen waarvan we zeggen: nou, dat is mooi zeg,
dat het dat heeft. Het heeft ook een replaceable battery, het heeft allerlei componenten.
Je hoeft het niet meteen in de vuilnisbak te gooien als er een onderdeel kapot is.
Er is een e-waste program. Het is gemaakt van spullen die niet uit dictatoriale landen komen waar alleen de dictator
er wijzer van wordt. Je betaalt de mensen een fatsoenlijk geld. Het heeft dual sim, etcetera.
Dus de phone is in feite de realisering van zes dingen tegelijkertijd. Dus dat patroon zien we
bij veel innovaties. We hebben daar uitvoerig naar gekeken. Dat zien we steeds terugkomen.
Je hebt een eenvoudig bushokje. En dan denk je: hee, maar wacht even, er zit gras op het dak, het
houdt het regenwater vast, er bloeien bloemetjes op, dat is goed voor de insecten. Het reduceert de
hittestress in betonnen steden. Het is gemaakt van duurzaam materiaal. Het is open gemaakt,
zodat mensen zich er veilig in voelen. Die hele lijst van requirements zijn eigenlijk sociale of
morele eisen die je hebt en het bushokje voldoet daaraan. Het heeft ook behoorlijk wat impact gehad.
Het strikes you as smart. Why is het smart? Niet dat het er zo glimmend en glanzend uitziet,
maar omdat het er in slaagt om al die dingen die we eigenlijk willen, de non-functionals,
dat het dat realiseert in een keer. Een ander voorbeeld uit een hele andere tak van sport.
Je ziet dat patroon steeds terugkomen. Je wil een 3D-printed nano-POR-hub-prothese maken.
En de onderzoekers die dit in Delft doen zijn constant op zoek naar eigenschappen die eigenlijk moreel zijn.
Dus bijvoorbeeld: ze willen heel snel bloedvaten weer laten groeien rond de plaats
van de chirurgische operatie. Ze willen heel snel botgroei weer bevorderen. Maar ze willen
tegelijkertijd bacteriën, die mogelijkerwijs bij de operatie zijn achtergebleven, doden.
Nu hebben ze een combinatie van materialen en van printen van die materialen gevonden
die al deze drie dingen realiseert. En daarmee brengen ze de statistieken van de mortaliteit,
de complicaties na de operatie, dramatisch naar beneden. Dat is in feite hun inspiratie,
dat is hun doel. Ze willen zoveel mogelijk goed doen. En dat heeft er drie moeilijke, medische
termen voor. Maar ze willen zoveel mogelijk goed doen en hun innovaties helpen hen om dat te
realiseren. Dus u ziet het patroon hier. Je hebt een aantal morele waarden en die waarden die kun
je kwijt in je innovaties. Sterker nog, dat is de reden waarom je over die innovatie was begonnen.
Design of new functionality that allows us to expand the set of obligations that
we can satisfy. En dat kan je alleen maar doen omdat je heel helder en scherp voor ogen hebt
wat de waarden zijn, de publieke waarden zijn, die je wilt bedienen en hoe je die als het ware
in het ontwerp kunt binnenbrengen. En dan het liefst zoveel mogelijk tegelijkertijd.
Dat is even wat ik in eerste termijn te zeggen had. Ik heb nog een derde idee,
maar ik ben een beetje over de tijd heen dus dat hou ik even achter de hand voor
als daar vragen over komen. Hier wilde ik het even bij laten in eerste instantie.
[Hans] Jeroen, er was nog één vraag tijdens de presentatie. Toen jij alle waarde aspecten in een
boom liet zien, die je allemaal kon uiteenrafelen, een soort van requirements. Was de vraag:
moet deze dan niet worden meegenomen in het begrip van digitale democratie? En hoe kijk jij
daar dan tegenaan hoe je dat zou kunnen doen? [Jeroen] Zeker, dat is een heel goed punt.
Nu ben ik bijna geneigd om toch nog eventjes dat derde luikje te openen, het derde idee.
Ik heb gezegd het gaat over twee ideeën. Ik heb het wel genoemd, maar misschien met onvoldoende
nadruk. Dat is belangrijk, er is een relatie met democratie, omdat al die waarden, die pluraliteit
aan waarden. Er zijn mensen die die waarden als het ware claimen of een bijzondere affiniteit mee
hebben. Er zijn NGO’s, consumentenorganisaties, er is een burgerbeweging, er zijn patiënten.
Er is ook industrie, er is ook VNO-NCW. Er is een ministerie en dergelijke. Je ziet dat die veelheid
aan waarden, die spelen een belangrijke rol in een specifiek perspectief van een gebruikersgroep
of van een stakeholder. En dat betekent dus ook dat het heel belangrijk is bij dat ontwerp, om al
die partijen in een democratisch arrangement bij elkaar te hebben in een heel vroegtijdig stadium,
zodat je geen dingen mist. Niet lijdt aan blinde vlekken en dat je denkt van: oh, wacht even, daar
hebben we niet aan gedacht. Dus inclusiviteit, participatie, democratie is denk ik, zeker nu
die digitale technologie zo ongelooflijk centraal is en zulke enorme consequenties kan hebben, super
belangrijk. Dus ja, goede vraag. Ik hoop dat ik hem hier een beetje mee in context hebt geplaatst.
[Hans] Ja, dat denk ik zeker. Dat waren de vragen die ik hier heb gezien.
Ik heb zelf een vraag die hier wel aan verbonden is. In feite ook bij de overheid. We leggen onszelf
beperkingen op, zeker als je naar toekomstige samenlevingen kijkt. Ethiek gaat daar ook over.
En je hebt er een paar keer tegenaan geschuurd. Er wordt ook wel gezegd: beperkingen die beperken ook
wel de innovatie en de innovatiekracht. Maar in jouw verhaal heb ik ook gehoord dat je eigenlijk
daarmee de innovatie nieuw leven inblaast door op een andere manier naar binnen te kijken.
[Jeroen] Precies, dat is zeker waar, omdat je naarmate je meer van die waarden toelaat,
meer perspectieven. Ook meer stakeholders aan tafel hebt, heb je een rijker beeld
van de werkelijkheid. Onze werkelijkheid is nu eenmaal moreel geladen en op het moment dat je
je daarvoor af zou sluiten, dan neem je die nieuwe mogelijkheden niet waar. Het is eigenlijk waar,
dat Duitse spreekwoord: in de beperking toont zich de meester. Door het jezelf moeilijker te maken
creëer je als het ware nieuwe mogelijkheden. Oh, daar had ik niet aan gedacht, nee daar
had je niet aan gedacht omdat je het jezelf makkelijk hebt gemaakt. Dus dat is het punt.
[Hans] Ik zie iemand gelijk reageren: in hoeverre beperkt de vrije markt in feite het
bewerkstelligen van die responsible innovation? Het met elkaar afstemmen van alle waarden?
[Jeroen] Nou, heel erg. En daarom zijn we er de afgelopen jaren steeds meer achter gekomen dat
die ongebreidelde privatisering, daarmee hebben we onszelf eigenlijk uitgeleverd aan de dominante
waarde die in dat marktsysteem werken. Waarin er maar heel weinig ruimte is voor andere waarden,
omdat het geen geld oplevert. En vandaar dat de goedwillende marktpartijen tegen
de overheid zeggen: maar leg ons alsjeblieft beperkingen op. Help ons om onszelf te helpen.
Zorg er voor dat je CO2 beprijst, maar op een faire manier zodanig, dat soort vragen,
grote bedrijven met name vragen vaak om wet- en regelgeving, zodanig dat ze het beter kunnen doen.
Maar die markt zelf, die gaat dat niet doen. We worden dagelijks geconfronteerd met het feit dat
marktdenken, laat het maar aan Facebook en Google en Amazon over, dan komt het vanzelf
goed. Er is geen virtuele digitale hand die die publieke waarden bedient. Die is er gewoon niet.
[Hans] Je zit nu met overheidsmensen met name hier in de digitale ruimte.
Wat zou je advies voor ons zijn in dit kader? [Jeroen] Laten zien hoe dit kan werken.
Dat is altijd heel erg belangrijk. Ook in de discussie over: hoe pakken we nu die big tech aan?
En hoe zorgen we ervoor dat we iets van die publieke ruimte en die publieke waarden terug claimen?
Dat is aan de ene kant, die marktmacht, daar moet iets aan gebeuren. Ook moet je gewoon op dagelijkse
basis kijken wat ze fout doen. En meteen ook corrigeren. Als iets misgaat op zo’n medium of
op zo’n platform, je zegt dan: wacht even, dit moet je even aanpakken. Dus A, op de achtergrond
de marktmacht aanpakken, B: dagelijks controleren of het goed gaat. Maar nu komt het derde punt,
vanavond in de NRC staat er ook een artikel over, daar heb ik hetzelfde gezegd.
Ten derde, dat is voor jullie denk ik belangrijk, ook laten zien dat er positieve voorbeelden zijn.
Dus, hoe doe je het dan wel? Dus niet alsmaar zeggen: zo moet het niet, zo moet het niet.
Nee, we moeten ook iets gaan bouwen met zijn allen en ik denk dat dat heel erg op het bord van
ICTU ligt, als ik mij niet vergis, om ook gewoon positieve voorbeelden te laten zien van: wat zijn
de publieke versies van al deze dolgedraaide commerciële ICT-diensten en -producten?
Dus we zijn ooit, honderden jaren geleden, gekomen op het idee van een openbare bibliotheek.
Of een openbare school. Hoe zijn we op dat idee gekomen? Omdat we natuurlijk wel begrepen dat als je mensen de kans
wilde geven om een boek te lezen, die het niet konden betalen, en onder condities van gelijkheid,
of iedereen de kans moest geven om naar school te gaan, dan moest je dat openbaar doen.
Dan moest je dat initiatief terugtrekken naar de samenleving. En uit de handen van marktpartijen
nemen. Ik denk dat we weer er aan toe zijn om te denken over de publieke versies van die dingen die
nu zo ongelooflijk belangrijk zijn geworden in de samenleving. Die te belangrijk zijn geworden
om aan mensen over te laten die alleen maar aan de korte e-wrap-news te denken. Dat is vragen om
moeilijkheden, net zo goed als dat vragen om moeilijkheden was waar het ging over climate
change, klimaatveranderingen en de aanpassingen daaraan en de vermindering daarvan. De markt gaat
dat zelf niet doen. Er is een onverbiddelijke marktlogica die ze een andere kant op drijft.
Dat is ook heel begrijpelijk, alleen we moeten wel durven onderkennen en er ook naar handelen.
[Hans] Nou ja, in ieder geval bedankt voor deze boodschap. Herkenbaar en
ook inspirerend denk ik. Dat waren de vragen. [Jeroen] Goed, nou, mooi. Ik weet niet of we het
hiermee afsluiten. Of zal ik nog een derde luik openen? Ik laat me helemaal door jullie raden.
[Wiepke] Ik zag in de chat heel veel nieuwsgierigheid naar het derde luik Jeroen.
Wat mij betreft pakken we daar nog even een paar minuten voor.
[Jeroen] Dan doen we dat. Dat derde luik, wat ik in eerste instantie heb gezegd: als je ethiek in de digital age wil snappen
gaat het dus over waarden die je als het ware moet specificeren, specs van maken,
requirements van maken. Waarden zijn gewoon non-functionals. Non-functional requirements
en die moeten van meet af aan meegenomen worden in het ontwerp. Of het nu een smart meter is,
of een elektronisch patiëntendossier, wat jullie ook maar maken, of waar jullie ook aan werken,
dat is heel belangrijk. En die waarden, dat zijn er heel erg veel. Van human dignity, zoals het
ook in jullie documenten staat, compassion, al deze dingen die mensen belangrijk vinden. En die hebben
consequenties voor het design. En als je niet bereid bent om die consequenties voor het ontwerp
te nemen, dan ben je eigenlijk een beetje aan het luchtfietsen. Dus in de 21e eeuw betekent waarden
noemen, waarden belangrijk vinden, ook meteen B zeggen en zeggen van: oké, maar hoe gaan we dat
dan ook implementeren in ontwerp? Anders is het heel gratuit. Tweede en het optimistische punt is:
als je al die waarden, mensen worden dus inderdaad op de vraagplek vermoeid en zeggen van: ja, maar
nog meer van die waarden enzo. Hopeloos. Dan kan je soms beloond worden. Niet altijd, maar
soms wel, met een innovatie. Iets waaraan niemand anders heeft gedacht, omdat die andere personen
het zichzelf makkelijk hebben gemaakt, in plaats van moeilijk. En het derde idee is eigenlijk,
de voorbeelden die ik heb gegeven zoomen in op het artefact, op de software, op de techniek. Dat moet
breder worden gezien. Vandaar dat wij in Delft nu ook spreken, door alle faculteiten heen, over
comprehensive engineering. Dat is een soort brede, alomvattende kijk op de engineering-uitdaging die
je hebt. En dat zal ik even toelichten. [Hans] Je hebt nog een paar presentaties,
maar je moet de presentatie weer aanzetten. [Jeroen] Oh, ik moet de presentatie aanzetten?
Oké. Dat ga ik nu doen. Dus opnieuw sharen hè? Dan zou die dit nu moeten doen. Zie je hem nu?
[Hans] Nee, we zien hem niet. [Jeroen] Je ziet hem niet? Dan zou
ik er weer uit moeten. Dus dat ga ik niet doen. Ik ga het wel even noemen. Dus dat
comprehensive engineering is een soort bredere opvatting. En ik geef een voorbeeld, een simpel
voorbeeld. Als je bijvoorbeeld de vraagt stelt: is nucleaire energie veilig? Moeten we dat gaan
doen? Dan is het eerste waar de meeste mensen aan denken, die zien dan zo’n reactorvat voor zich,
met blauw water erin, koelvloeistof. Hoe dik zijn de muren? En hoe warm wordt het koelwater?
Dan zoom je als het ware in, dat heb je met AI ook. AI, is dat oké of niet? Dan gaan mensen meteen
over algoritmes beginnen. En dat zijn natuurlijk de componenten, de subcomponenten in een heel
systeem. Je moet dus eigenlijk veel breder kijken, want net als bij die nucleaire installatie,
de training van het veiligheidspersoneel is net zo belangrijk als de temperatuur van de
koelvloeistof, de integriteit van de supply chains van het nucleaire materiaal net zo belangrijk als
de wet- en regelgeving, of de kalibratie van de meters waarmee je het radioactieve stralingsniveau
meet. Dus je ziet, dit is een enorm systeem. En dat heb je ook bij de self-driving car.
De self-driving car gaat niet alleen over de sensor in de auto, niet alleen over de AI,
ook over het gedrag van iemand die op de achterbank zit. Kan iemand heel snel op het
laatste moment ingrijpen als de auto iets verkeerd doet? De interactie met een intelligente omgeving,
de APK-keuring voor een autonomous car. Rijbewijs, dat mensen moeten halen, hoe dat
veranderd moet worden. Dus als je de vraag stelt naar self-driving car, dan is een can of worms:
al deze dingen moet je dan in beschouwing betrekken. En als je dat niet als een geheel
ontwerpt, zowel met de incentive structures, de insurance, de liability, de software. Als je dat
niet als één geheel ziet dan kom je bedrogen uit. Dus dat is eigenlijk een belangrijke voetnoot bij
wat ik eerder heb verteld. Dat je moet kijken naar het socio-technische systeem.
En dat ook echt als een systeem zien, waarvan de componenten samen moeten werken om uiteindelijk die publieke
waarde te genereren. De veiligheid, het gemak van de self-driving car en de reductie van CO2
uitstoot, dat wordt alleen maar bereikt als al die dingen goed met elkaar samenwerken.
Dus dat is een groter geheel, gaat dus niet alleen over het algoritmetje of een
stukje code. Het gaat over al die dingen samen. Een andere belangrijke opmerking daarbij is dat,
ik zie een vraag komen daar moet je me zo maar even bij helpen, is dat dit vaak sector-specifiek is.
Wat er geldt voor de introductie van AI op de weg is weer anders dan in het juridische
systeem. Of de introductie van AI in robotica in de mijnindustrie is weer anders dan voor de
scheepvaart. En zo hebben we natuurlijk wet- en regelgeving ook. En governance ideeën ontwikkeld,
die specifiek zijn voor al die sectoren. Dus er is niet een soort pasklaar antwoord wat universeel is
voor AI, of data of digitale innovaties voor al die sectoren. Dat zul je moeten kijken naar de
specifieke eisen van een bepaalde sector. Dat is trouwens ook de route waarop de Europese Commissie
zich begeeft in het vormgeven van nieuwe wet- en regelgeving. Die zal ook sector-specifiek zijn.
Een ander belangrijk ding is het ontwerpen van, we moeten niet vergeten dat voedselveiligheid,
medicijnveiligheid, transportveiligheid, veiligheid in de luchtvaart en in de
geneeskunde. Dat hebben we over periodes van vaak eeuwen, door schade en schande,
moeten leren. Nu hebben we inderdaad een voedsel- en warenautoriteit, nu hebben we inspecties,
nu hebben we wet- en regelgeving, standaarden en kwaliteitseisen. Maar in de digitale wereld
moeten we dat allemaal heel snel gaan creëren om het inderdaad tot een hoogwaardige omgeving
te maken die in die voorgenoemde sectoren ook al speelt. Dus dit is een soort uitzoomende voetnoot.
Ik heb een beetje ingezoomd op die waarden als non-functional requirement,
die je kunt specificeren en precicieren en waarvoor je kunt ontwerpen op een aantoonbare,
transparante en op een agile manier. Dus cyclisch, kort-cyclisch, prototype maken, kijken hoe dat
bevalt etc. Maar je zult ook moeten uitzoomen en zien: wat voor soort rol gaat dat nu spelen?
In de context of use. Hoe zullen gebruikers het gaan gebruiken? Is er al wet- en regelgeving?
Zijn er al protocollen? Is er governance denken ver genoeg ontwikkeld. Dat was even mijn derde luikje.
Zou er bij dat derde luikje Jeroen, digitale middelen kunnen helpen?
Als je zo’n social-technisch systeem hebt. Ik denk bijvoorbeeld aan digital-twin-achtige
toepassingen. Zou dat een oplossing kunnen zijn voor die complexiteit?
Absoluut, zeker. Dat is ook precies, zoals je het nu insteekt, de manier van denken die we
meer zouden moeten hebben. Dat je die digitale technologie inzet om een maatschappelijk of
moreel probleem te adresseren. Niet gewoon om de IPhone 7, 8, 9, 10, 11 incrementele winst
aan functionaliteit, nee. Kijken hoe je die technologie kan gebruiken. En dit voorbeeld
wat jij noemt is denk ik heel goed. Dus het beter in de hand krijgen van die complexiteit.
Zo’n digital-twin, die zien we natuurlijk al op veel plaatsen in gebruik. Brengt ook weer eigen
problemen met zich mee, maar zeker heel goed om mensen zich te laten realiseren hoe complex dingen zijn.
Voor elk complex probleem is een simpel antwoord en het is fout. Je oplossing zal dezelfde
soort complexiteit moeten hebben als het probleem. En zeker kunnen digitale middelen daarbij helpen.
Ik wou het hierbij eindigen. Zeer bedankt voor deze boeiende lezing.
Ik zag in de chat heel veel complimenten en mensen vonden het een zeer boeiend betoog.
Dus dank je wel. Graag gedaan.
Hiermee zijn we aan het eind gekomen van deze drieluik, die food for thought was over:
hoe kunnen we met behulp van digitalisering, grotere maatschappelijke vraagstukken helpen oplossen?
Dat is een complex vraagstuk dus we hebben ook geen panklaar antwoord
wat simpel is. En gelukkig maar, want dat antwoord was fout geweest. [Gelach]
Ik wens jullie heel veel wijsheid bij deze dingen en graag bereid om de helpende hand uit te steken,
daar waar dat dienstig zou kunnen zijn.
Dank je wel, we hadden al jarenlang jou op onze sprekerswenslijst staan.
Ik vind het heel erg leuk dat het vandaag gelukt is en het smaakte naar meer.
Dank je wel. Oké, super, veel succes!