Aerius nog onnauwkeuriger dan gedacht

Het gaat om vier validatiestudies van het OPS-model die op 28 maart zijn vrijgegeven door het ministerie van Volksgezondheid, Welzijn en Sport, na een beroep op de Wet openbaarheid van bestuur door Jan Cees Vogelaar. Het OPS-model is het rekenhart van Aerius, waarop het stikstofbeleid is gebaseerd. De validatietesten zijn gebruikt om te bepalen hoe nauwkeurig het OPS-model is.

Kincaid-test

Eén van de studies is de Kincaid-test uit 2015. In deze test is geprobeerd om de uitkomsten uit een eerdere validatietest na te bootsen. Het betreft een validatietest uit 2004 van J.A. van Jaarsveld van het RIVM. De conclusie is dat de uitkomsten uit het onderzoek van 2004 niet zijn te herhalen. De onderzoekers schrijven: „De gemodelleerde concentraties (versie OPS-Pro4 en v1.20E) voor de twee gerapporteerde perioden zijn niet reproduceerbaar met de momenteel gebruikte versies. Tijdens de eerste periode zijn de waarnemingen aan de zuidkant lager dan aan de noordkant. In de tweede periode is dit net andersom. De modelresultaten van Van Jaarsveld laten een soortgelijk effect zien. In de berekeningen met huidige versies van OPS zijn de concentraties aan de zuidkant in beide perioden het hoogst.”

RIVM-onderzoek

Het onderzoek van Van Jaarsveld is mogelijk nog interessanter dan het Kincaid-onderzoek. Uit dit onderzoek uitgevoerd door het RIVM blijkt namelijk dat de afwijking tussen het model en de metingen op lokaal niveau 100 procent is. „Voor een ecosysteem dat verspreid ligt over Nederland komt deze onzekerheid uit op 20, 25 en 30% voor respectievelijk SOx, NOy en NHx. Voor een specifiek ecosysteem (afmeting: 500 x 500m tot 5000 x 5000m) zijn de onzekerheden veel groter: 50, 60, 100% voor respectievelijk SOx, NOy en NHx.”

Het onderzoek van Van Jaarsveld was nieuw voor Jan Cees Vogelaar die goed ingevoerd is in deze materie. Maar dit onderzoek ontbreekt ook in de literatuurlijst die door de Commissie Hordijk is bekeken. Zowel Jan Cees Vogelaar als Evert Mouw, deskundige op het gebied van modellering, geven aan dat uit deze onderzoeken blijkt dat de onzekerheden voor het lokaal gebruiken van Aerius nog groter blijken te zijn dan we tot nu toe wisten.

Openbaarheid rapporten

In een toelichting van het ministerie bij de publicatie van de WOB-stukken wordt verklaart waarom de rapporten niet eerder openbaar zijn gemaakt: „De rapporten van deze studies zijn interne testrapporten en zijn niet geschreven om te publiceren. Er is nog een aantal punten die niet helemaal uitgewerkt zijn. De testrapporten zijn resp. uit 2015, 2014, 2014 en 2017. Er is voor gekozen om de betreffende stukken wel als “intern rapport” te benoemen, omdat ze relevante informatie bevatten die anders niet benoemd zou kunnen worden.”

Evert Mouw vindt de verklaring niet passen bij de maatschappelijke rol van het RIVM. „Dit formeel onafhankelijke instituut blijkt zeer afhankelijk van ministeriële opdrachtgevers. Dat gaat ten koste van de moderne wetenschappelijke transparantie die voor een onafhankelijk instituut in een democratische samenleving wenselijk is.”

Koonstra

Jan Cees Vogelaar kende tot nu toe maar twee onderzoeken uitgevoerd in Nederland die zijn gebruikt als basis voor Aerius/OPS. Bij die onderzoeken zijn volgens hem bovendien grote vraagtekens te zetten. Het eerste onderzoek is van Koonstra dat in 1991 en 1992 werd gehouden op proefboerderij De Vijf Roeden in Duiven. „Ik ken die locatie goed. Het ging om drie stalletjes met tien droge koeien, waarbij lucht gecontroleerd naar binnen en naar buiten ging. Om de omstandigheden vergelijkbaar te krijgen met melkgevende koeien werd het rantsoen enorm met eiwit opgeschroeft. Het is totaal iets anders dan een modern melkveebedrijf met 100 of 200 melkgevende koeien. Op een echt melkveebedrijf is veel meer variatie en zijn de omstandigheden heel anders. Die cijfers extrapoleren naar gewone melkveebedrijven kan wetenschappelijk gezien niet, maar daar is OPS wel op gebouwd. Dit is ook de reden dat het Mesdagfonds nu onderzoek laat doen op twee melkveebedrijven op twee verschillende locaties. Op basis van de huidige onderzoeken kan de overheid ook nooit hard maken wie een piekbelaster is en weg zou moeten.”

Selectief shoppen

Het tweede onderzoek betreft een strooiselproef in een leghennenstal. Hier is twaalf weken lang met verschillende soorten strooisel gemeten hoeveel emissie er is. Naast deze twee proeven heeft het RIVM volgens Vogelaar uit heel veel beschikbaar onderzoek selectief gekeken naar andere onderzoeken. „Er is veel meer onderzoek gedaan maar de uitkomsten daarvan wijken teveel af van het OPS-model. Daarom gebuikt OPS buitenlandse onderzoeken. En daaruit blijkt nu dat er grote afwijkingen zijn. Het RIVM heeft daarbij geselecteerd op onderzoek die dicht bij de uitkomsten liggen van OPS, maar er zijn ook tal van onderzoeken waarvan de uitkomsten een ander beeld geven.”

Reactie RIVM

De redactie heeft het RIVM om een reactie gevraagd:

„De genoemde validatierapporten werpen geen nieuw licht op de onzekerheden in OPS-LT. De beschreven onzekerheden zijn namelijk al bekend en worden beschreven in rapporten op onze website. Bovendien zijn testresultaten niet 1-op-1 te vertalen naar OPS-LT. In de toelichting bij het WOB-verzoek noemen we daarvoor drie redenen. In eerste plaats bevatte de versie van OPS-LT die bij de testen is gebruikt, nog geen correctie voor de invloed van gebouwen. De huidige versie van OPS-LT bevat die correctie wel. Ten tweede gaan de validaties over een korte tijdsperiode. Juist tijdens die korte tijd kan de verspreiding van de emissies, bijvoorbeeld door het actuele weer, grillig zijn. Door die grilligheid kunnen grote verschillen ontstaan tussen een modelberekening en een testmeting. In OPS-LT maken we gebruik van jaarcijfers. De grilligheden worden daarbij uitgemiddeld. Een derde reden waarom testresultaten niet 1-op-1 zijn te vertalen naar OPS-LT, is een niet geheel duidelijke testopzet. Hebben de testers alle emissiebronnen meegenomen, of alleen een selectie? En op welke manier laten de testers de emissies precies vrijkomen? Komt dat overeen met de werkelijke situatie? Al deze kanttekeningen bij validatierapporten leiden ertoe dat de testresultaten niet 1-op-1 te vertalen zijn naar de onzekerheid van OPS-LT zoals die wordt gebruikt in AERIUS."

Op de vraag of het klopt dat het rapport van Van Jaarsveld niet is voorgelegd aan de Commissie Hordijk gaf het RIVM geen antwoord.