Tech in tijden van corona - Deel 5: Gevangen in een gekleurde QR-code

Elke keer als ik weer een paar maanden in China ben besef ik wat een enorm veelzijdig hulpmiddel QR-codes zijn en hoe makkelijk ze het dagelijkse leven maken. Mobiel betalen, inloggen op websites, snel contactgegevens delen, miniprogramma’s downloaden en opstarten, de menukaart op je telefoon laden en niet meer hoeven te wachten op een serveerster. De mogelijkheden lijken vrijwel onbegrensd en bij thuiskomst verbaas ik me steeds weer waarom wij er in Nederland zo weinig gebruik van maken.

Maar zo nu en dan zijn er ook toepassingen waarbij je je eens achter de oren moet krabben. Het nieuwe ‘National Health Code rating system’ is er daar een van. Zoals we in een eerder artikel gezien hebben zijn er in de strijd tegen het coronavirus diverse apps ontwikkeld die het publiek voorzien van informatie. Er zijn echter ook apps als de Meituan Smart Travel Code verschenen, die burgers in Shenyang, in het noordoosten van China, dienen te gebruiken om te registreren van welk openbaar vervoer en taxi’s ze gebruik hebben gemaakt. De weken na de komst van Meituan’s app zijn er meer van dit soort programma’s gelanceerd die nauwkeurig proberen bij te houden waar de burger allemaal heeft uitgehangen. Een aantal van die apps bepaalt op basis van deze en andere informatie of je een gezondheidsrisico bent. Met alle gevolgen van dien…

“Hangzhou Health Code. Voorkomen en beheersen van de epidemie is eenieders verantwoordelijkheid.“

Gekleurde QR-code

Ant Financial, de Fintech tak van de Alibaba Group, ontwikkelde voor de Chinese overheid de National Health Code (Jiang Kang Ma). Hangzhou, de thuisbasis van Alibaba, was de eerste stad die het systeem op 11 februari invoerde. Gebruikers dienen zich allereerst in het programma, dat beschikbaar is in de Alipay mobiele betaalapp, te registreren met hun ID- en telefoonnummer. Door middel van koppelingen met databases worden de gegevens van de gebruiker verrijkt, b.v. met de naam van diens werkgever.

Op basis van de reisinformatie van de gebruiker en informatie over zijn gezondheid, die daarna dient te worden ingevoerd, genereert de app een QR-code met een bepaalde kleur. Bij groen kun je gaan en staan waar je wil, bij geel moet je 7 dagen in zelf-quarantaine en bij rood moet je zelfs 14 dagen binnen blijven. Bij zowel geel als rood moet je dagelijks inloggen en je gegevens bijwerken.

In China komt nu het sociale leven langzaamaan weer op gang en veel arbeiders, vooral die in de fabrieken (die veelal nog maar op halve capaciteit of minder draaien), wordt gevraagd weer terug te keren naar hun werkplek. Dat levert natuurlijk opnieuw het risico op van verspreiding van het virus en de National Health Code zou dat moeten beperken door risicogevallen te identificeren en te isoleren. Maar gebruikers lijken soms door de arbitraire stukjes data en de black box van de algoritmes die de kleuren bepalen gevangen gezet te worden.

Van de 7,25 miljoen burgers die zich in de eerste dagen registreerden kregen 316.000 een rode en 200.000 een gele code. Ter vergelijking; Hangzhou heeft 10,4 miljoen inwoners en rond die tijd waren er zo’n 19.000 coronabesmettingen in de gehele, 58 miljoen inwoners tellende, provincie Zhejiang, waar Hangzhou de hoofdstad van is. In Hangzhou identificeerde de app dus 27 keer meer risicogevallen dan er daadwerkelijke besmettingen waren in de gehele provincie.

Desondanks had op 24 februari 90% van de provincie zich al geregistreerd. Een verklaring voor het hoge aantal gebruikers van de app is dat het mensen met een groene QR-code meer bewegingsvrijheid gaf na een periode waarin iedereen binnen moest blijven. De bedoeling is dat het systeem snel naar heel China wordt uitgerold.

Na eenmaal geregistreerd te zijn wordt gebruikers gevraagd om op verschillende plekken hun QR-code te tonen. Zo zien supermarkten, woongemeenschappen, scholen, openbaar vervoer, restaurants, openbare gebouwen, winkelcentra of bedrijven de kleur van de QR-code en kunnen op basis daarvan eventueel de toegang weigeren.

Effectively, the app is required now to do anything in many places. Here's what it looks like trying to get onto the subway in Hangzhou. Overnight the city went from lockdown to relying on the app. If your code is green, you can ride. If you're given yellow or red, you're stuck. pic.twitter.com/rettbnhbWW
— Paul Mozur 孟建国 (@paulmozur) March 2, 2020

Voorspellingsmodel

Ik ben vele jaren werkzaam geweest als database marketeer en CRM-specialist. Bij veel van mijn projecten liet ik zogenaamde predictive models, voorspellingsmodellen, ontwikkelen waarmee we de meest veelbelovende klanten in onze databases konden vinden. Met de hulp van statistische experts speurden we in de vele stukjes data die we beschikbaar hadden naar die gegevens die een hoge voorspellende waarde hadden. Kopen vrouwen eerder dan mannen? Hebben bepaalde steden of postcodes een hogere conversie? Is de manier waarop men contact heeft opgenomen (telefoon, e-mail, webformulier) van invloed? Uiteindelijk resulteerde dit in een zogenaamd scoringsmodel, waarbij aan alle data met voorspellende waarde een wegingsfactor toegekend werd. Als al die scores vervolgens bij elkaar opgeteld werden kwam daar een eindscore uit die we vaak weer categoriseerden naar klanten met een hoge, gemiddelde of lage potentie. We richtten onze marketingactiviteiten vervolgens vooral op de klanten met de hoogste potentie, want daar was volgens het model de slagingskans het hoogste.

Ant Financial’s National Health Code werkt waarschijnlijk op een soortgelijke manier, alhoewel methoden voor predictive modeling op basis van big data en AI de laatste jaren wel een stuk geavanceerder zijn geworden. Maar ze zijn daarmee vaak ook moeilijker te doorgronden. Daar waar onze modellen de uitkomst voor een klant makkelijk konden verklaren aan de hand van de individuele scores en optelsom is dat bij nieuwere methoden vaak niet het geval. Het algoritme bepaalt, niet de menselijke logica. Onze ‘oude’ modellen zaten er natuurlijk ook vaak naast, want bij een aankoopbeslissing spelen ook vele andere factoren, die we niet konden voorzien op basis van de klantendata, een rol. Iemand zou volledig kunnen voldoen aan ons ideale klantprofiel, maar door een ons niet bekende financiële tegenvaller voorlopig even geen aankopen kunnen doen. Of iemand die helemaal niet overeenkwam met onze gemiddelde klant zou opeens de loterij kunnen winnen.

Alibaba Group heeft veel ervaring met dit soort scoremodellen. Haar kredietwaardigheidsapp Sesame Credit (niet te verwarren met China’s sociaal kredietsysteem) zal ook op basis van grote hoeveelheden data een waarschijnlijkheidsscore berekenen. En als e-commercebedrijf met enorme hoeveelheden transactie- en gedragsdata over haar klanten heeft ze ongetwijfeld nog vele andere predictive models waar we niet eens van weten. Maar ook Ant Financial’s National Health Code zal er dus geregeld naast zitten. Op basis van data zou afgeleid kunnen worden dat je in de buurt ben geweest van een besmet persoon, maar dat wil nog niet zeggen dat je ook daadwerkelijk besmet bent. Maar als je door die nabijheid een hoge score krijgt op dat stukje data en vervolgens bij je gezondheidsenquête, die je regelmatig moet invullen, antwoordt dat je wat vermoeid bent die dag kan de optelsom over de veilige grens heen schieten. En opeens is je QR-code dan geel, of erger nog, rood. Terwijl er mogelijk niets aan de hand is.

Volgens de autoriteiten wordt de score bepaald door 3 factoren: de reishistorie, de tijd dat de gebruiker in een risicogebied geweest is en de relatie met potentieel besmette personen. Overigens geeft Ant Financial aan dat het bedrijf op geen enkele manier verantwoordelijk is voor de dataverzameling; de app is de verantwoordelijkheid van de overheid en het bedrijf helpt enkel bij de ontwikkeling en het onderhoud van het platform. De New York Times analyseerde waar naartoe precies data verzonden wordt door de app en heeft het vermoeden dat er ook gegevens met de politie worden gedeeld. Zo gauw de gebruiker de app toegang geeft tot persoonlijke gegevens wordt een deel van het programma gestart dat “reportInfoAndLocationToPolice” heet en wordt locatie, plaatsnaam en ID-code naar een server verzonden. Elke keer als een QR-code gescand wordt deelt de app opnieuw de locatie van de gebruiker, wat erop wijst dat deze data mogelijk een deel van het predictive model is.

Missers en misbruik

Abacus, SMCP, New York Times en Technode hebben allen uitvoerig geschreven over probleemgevallen met de National Health Code waarbij gebruikers met gele of rode codes, maar zonder ook maar één gezondheidsprobleem, beperkt worden in hun bewegingsvrijheid. Sommigen komen hun woonplaats niet meer in, worden onterecht geweigerd voor vluchten, zien de kleur van hun codes om onbekende redenen veranderen of hebben andere kleuren dan hun gezinsleden, ondanks wekenlange gezamenlijke quarantaine. Wijziging in een van de gegevens in het predictive model kan opeens leiden tot verandering van de kleur.

En die onduidelijkheid en onzekerheid leidt tot misbruik van de app. Gebruikers maken een screenshot van een scherm waarop ze een groene code hebben en laten die zien in plaats van hun daadwerkelijke code. Anderen die in de gaten krijgen dat het beantwoorden van bepaalde vragen wel eens zou kunnen leiden tot quarantaine besluiten om maar even niet te melden dat ze een loopneus of spierpijn hebben. Gebruikers met rode codes verzamelden zich in WeChat-groepen om te brainstormen over hoe ze van de codes af kunnen komen, b.v. door het gebruiken van andermans account.

In veel van deze gevallen blijkt het lastig om de incorrecte code te laten corrigeren. Volgens de overheid van Hangzhou sturen ze bij klachten iemand langs om de gegevens te verifiëren en zal het algoritme verder afgesteld worden. Maar als mensen willen bellen om hun beklag te doen blijkt de klantenservice meestal in gesprek…

In meer dan 200 steden zijn inmiddels verschillende National Health Code-apps uitgerold. Net als bij het sociaal kredietsysteem met al z’n lokale pilots en experimenten is er echter een wildgroei ontstaan aan vergelijkbare apps. Volgens Ant Financial mogen lokale overheden bovendien zelf beslissen of ze haar systeem of een ander systeem implementeren. Het State Information Center (SIC) lanceerde samen met Tencent, het bedrijf achter WeChat, in verschillende steden en provincies bijvoorbeeld de ‘Tencent Healtcare Code’. Ook zijn er op verschillende plaatsen meerdere apps in gebruik. Inmiddels werken diverse steden en provincies aan het erkennen van elkaars National Health Codes.

Naast in het eerdergenoemde Shenyang wordt ook in steeds meer andere steden gevraagd of de burger gebruik van het openbaar vervoer wil registreren in een app. Daarmee kunnen niet alleen, zoals voorheen de verplaatsingen tussen steden en provincies gemonitord worden, maar ook binnen steden. In Shenzhen en Ningbo wordt reizigers in een door Tencent ontwikkelde app gevraagd een QR-code te scannen alvorens het voertuig (taxi, metro of bus) te betreden. De eerste keer dat ze dat doen wordt hen gevraagd zich te identificeren.

Zorg voor de veiligheid van reizigers tijdens de epidemie. Scan a.u.b. de QR-code om je reisinformatie te registreren. 1) Open Alipay, Gaode of WeChat en scan 2) vul de informatie in 3) bevestig dat de registratie succesvol is. Alipay en Gaode worden aanbevolen. Scan de QR-code voor een veilige rit.

Een inventarisatie van Technode wijst uit dat veel van de apps weinig waarde hebben als er geen mensen aan te pas komen om het gebruik te handhaven en af te dwingen. En dat vereist de inzet van behoorlijk wat mankracht voor controles. In veel steden in de zwaarst getroffen provincie Hubei heeft de National Health Code zelfs helemaal geen zin, omdat iedereen nog binnen moet blijven, ongeacht de kleur van je code.

In Hangzhou wordt het systeem het meest strikt en serieus gebruikt, en propagandabanners helpen mensen eraan te denken, mochten ze het vergeten. Maar ook daar vraagt niet elke winkel of restaurant om een QR-check-in. Buiten Hangzhou worden de apps nog veel minder consequent gebruikt. In sommige steden worden de apps zelfs totaal genegeerd. De bergen zijn hoog en de keizer is ver…

En iedereen die tijdens het spitsuur de metro wel eens heeft genomen in steden als Shanghai en Beijing weet hoe slecht er gecontroleerd wordt tijdens drukte. De metaaldetector wordt soms enkel even nonchalant voor je kruis gezwaaid, waarna je mag doorlopen. Paul Mozur, journalist bij de New York Times, deelde op Twitter een filmpje dat laat zien hoe diverse mensen de controle omzeilen.

Watch the guy in the teal backpack. He dutifully got the guard’s help setting it up, but got annoyed and walked through the checkpoint. She runs him down, but in the process others pass her unchecked. And traffic was light, when it's more full, there will be more problems. pic.twitter.com/ECGBp9fv3v
— Paul Mozur 孟建国 (@paulmozur) March 2, 2020

In Shanghai wordt passagiers sinds eind februari gevraagd om in de metrowagons de QR-codes die op de ramen te vinden zijn te scannen. Het probleem is hier dat dit niet verplicht is; de toegang tot de wagon wordt niet ontzegd, dus veel passagiers scannen niet. Ook zijn er klachten dat de QR-codes door de plaatsing in het midden van de wagon lastig te bereiken zijn. De Shanghai Municipal Transport Commission wil desalniettemin 6.000 wagons uitrusten met QR-codes.

Kortom, een nieuwe tool met veel problemen en tekortkomingen, waarvan velen zich afvragen in hoeverre de overheid dit soort extra toezicht zal blijven gebruiken als de coronacrisis eenmaal achter ons ligt…