Wie weleens discussieert over het klimaat merkt dat men vooral aan de zijde der alarmisten graag verwijst naar ‘peer reviewed’ onderzoek. Dat betekent dat een wetenschapper zijn stukjes niet zo maar in een wetenschappelijk tijdschrift mag plaatsen, maar dat eerst andere wetenschappers (de ‘peers’, er kritisch naar kijken. Een nuchter mens zou dit beschouwen als een weinig spectaculaire vorm van kwaliteitscontrole - wel heel nuttig, maar geen garantie - maar in de klimaatdiscussies kom je weinig nuchtere mensen tegen en wordt de ‘peer review’ op een lijn gesteld met de finale waarheid. Robert Higgs, hoogleraar aan diverse universiteiten en decennia lang ervaring met het peer review-systeem wordt er niet vrolijk van.
Als volger van het klimaatdebat word ik regelmatig geconfronteerd met bepaalde zeer problematische overtuigingen. Veel auteurs, zelf geen wetenschappers, baseren zich in hun uitingen op het prestige van de wetenschap en de autoriteit van de wetenschappers. Ze verwijzen naar "peer-reviewed onderzoek" en naar een veronderstelde "wetenschappelijke consensus" alsof ze daarmee hun tegenstanders in het debat knock-out slaan. Toch heb ik de indruk dat veel van deze mensen niet weten hoe de wetenschap, als zoektocht naar kennis, en wetenschappers als individuele professionals werken, vooral nu de nationale regeringen, met name de Amerikaanse een hele grote rol spelen bij de financiering van wetenschappelijk onderzoek en dus ook bepalen wie van die wetenschappers nasar de top zal stijgen en wie uit de boot zal vallen.
Ik pretendeer geen deskundigheid op het gebied van klimatologie of een van de verwante fysische wetenschappen, dus niets wat ik zeg over strikt klimatologische of fysiek-wetenschappelijke kwesties heeft enig gewicht. Ik heb echter negenendertig jaar beroepservaring - zesentwintig als hoogleraar aan een universiteit, waarvan vijftien aan een grote onderzoeksuniversiteit, en dertien als onderzoeker, schrijver en redacteur, in nauw contact met mensen uit de biologische en fysische wetenschappen en veel in de sociale wetenschappen en demografie. Ik heb gewerkt als peer-reviewer voor meer dan dertig professionele tijdschriften en als beoordelaar van onderzoeksvoorstellen van de National Science Foundation, de National Institutes of Health, en een aantal grote private stichtingen. Ik was hoofdonderzoeker van een groot door het NSF gefinancierd project op het gebied van demografie. Dus ik denk dat ik enige benul heb van hoe het systeem werkt. En dat is anders dan buitenstaanders denken.
‘Peer review’ (intercollegiale toetsing), voor leken een heel gewichtige zaak, varieert van een belangrijke controle door een competente en verantwoordelijke redactie tot een complete farce. Het is niet verrassend dat het er doorgaans ergens tussenin zit, meer dan een grap, maar minder dan het bijna Olympische en feilloze systeem van toetsing dat buitenstaanders denken dat het is. Iedere redacteur die om welke reden dan ook publicatie van een bepaald artikel wil voorkomen kan eenvoudig zijn zin krijgen door referees (de reviewers oftewel de beoordelaars) te kiezen waarvan hij bij voorbaat weet dat ze negatief op het stuk zullen reageren. Indien gewenst kan hij zo ook zorgen voor positieve beoordelingen. De jongeren die ik adviseerde nadat een stuk van hen schijnbaar onterecht was afgewezen, heb ik altijd verteld dat het peer review-systeem riskant en onzeker is. Persoonlijke vendetta’s, ideologische conflicten, jaloezie, methodologische meningsverschillen, onversneden zelfpromotie, incompetentie en gebrek aan verantwoordelijkheid zijn niet onbekend in de wetenschappelijke wereld; integendeel, wetenschappers zijn gewone mensen. Peer reviewbiedt geen enkele garantie dat het onderzoek juist is uitgevoerd of dat de conclusies kloppen. De geschiedenis van iedere wetenschap is een lange opsomming van fouten en vergissingen. In sommige wetenschappen worden deze fouten ontdekt en gecorrigeerd maar in andere houden misvattingen veel langer stand en in sommige wetenschappen, zoals economie is feitelijk sprake van een generaties lange achteruitgang (ook al wordt deze als vooruitgang gepresenteerd).
Op een gegeven moment kan er in een bepaalde wetenschap een consensus bestaan over allerlei zaken. Achteraf blijkt echter vaak dat de consensus er naast zat. Recent, in het midden van de jaren 1970, bestond er bijvoorbeeld een wetenschappelijke consensus tussen de klimatologen en wetenschappers in verwante gebieden, dat de aarde voor een nieuwe ijstijd stond. Drastische voorstellen werden gedaan, zoals het laten exploderen van waterstofbommen boven de poolkappen (zodat ze zouden smelten) of het afdammen van de Beringstraat (ter voorkoming van de instroom van koud Arctische water in de Stille Oceaan), om deze dreigende ramp te voorkomen. Het waren wetenschappers van naam en geen mafkezen die deze voorstellen indienden. De mens is kort van memorie.
Onderzoekers die onorthodoxe methodes of theoretische kaders hanteren hebben in het huidige systeem grote moeite om hun bevindingen in de "beste" tijdschriften of überhaupt gepubliceerd te krijgen. Wetenschappelijke vernieuwers of creatieve excentriekelingen worden door de meerderheid van vakgenoten als geschift gezien - tot hun bevindingen niet meer ontkend kunnen worden, hetgeen vaak pas gebeurt als er een generatie peer reviewers is gestorven. Wetenschap is een vreemd bedrijf: iedereen streeft naar de volgende doorbraak, maar de wetenschapper die mogelijk voor die doorbaaak zorgt wordt behandeld alsof hij besmet is met het Ebola-virus. Te veel mensen hebben te veel geïnvesteerd in de heersende opvattingen; voor die mensen is een erkenning van het failliet van hun ideeën hetzelfde als toegeven dat ze hun leven vergooid hebben. Vaak, misschien om cognitieve dissonantie te vermijden geven ze helemaal niet toe dat ze er naast zaten. Net als elders is het in de wetenschap van groot belang om samen te werken als je verder wilt komen.
De top van de verschillende onderzoekswerelden is vrij klein. Toonaangevende onderzoekers kennen alle belangrijke spelers en weten wat iedereen doet. Ze bezoeken dezelfde conferenties, behoren tot dezelfde verenigingen, sturen hun afgestudeerden voor postdocs naar elkaars laboratoria en bespreken elkaars werk voor de NSF, NIH, of een andere overheidsorganisatie die beslist over financiering van onderzoek. Als u niet tot deze gesloten broederschap behoort wordt het uiterst moeilijk om aandacht voor je werk te krijgen, te publiceren in een "top" tijdschrift, subsidie te verwerven, een uitnodiging voor een wetenschappelijke bijeenkomst te krijgen of je studenten ergens te plaatsen. Het is een zeer incestueus systeem, de onderlinge verbindingen zijn talrijk, stevig en ontoegankelijk.
In deze context moet een slimme jonge onderzoeker omzichtig met de orthodoxie om gaan en geen opschudding verwekken door zaken ter discussie te stellen die populair zijn bij de commissies van de NSF, NIH, en andere organisaties die beslissen over onderzoeksfondsen. De moderne biologische en fysische wetenschappen zijn in overweldigende mate van overheidsfinanciering afhankelijk. Als je werk, om welke reden dan ook niet in de smaak valt van de bureaucratische en academische review-commissies dan kunt je het vergeten om geld te krijgen voor je onderzoeksvoorstel. De menselijke zwakheden die ik eerder noemen spelen net zo goed een rol in bij de financiering van wetenschappelijk onderzoek als bij de publicatie ervan. Ze zijn zelfs nauw verbonden: zonder financiering kom je nooit tot een publicabel artikel en zonder zo’n artikel krijg je ook geen verdere financiering.
Wanneer je onderzoek tot de conclusie leidt dat overheidsmaatregelen nodig zijn om een dreigende ramp te voorkomen of een ernstig bestaand probleem te verkleinen zullen overheidsbureaucraten en wetgevers geneigd zijn dit goed te keuren. Als de NSF, NIH, en andere financieringsinstanties grote sommen geld zouden geven aan onderzoek dat tot de conclusie leidt dat er geen rampen dreigen of dat grote problemen meevallen of dat overheidsmaatregelen wellicht zelfs averechts zouden werken dan zou het parlement al ras besluiten om minder geld aan deze overheidsinstelling te geven, met alle negatieve gevolgen daarvan voor het ambtelijk apparaat. Niemand hoeft dit uit te leggen aan de betrokken partijen, men is niet gek en weet heel goed hoe de hazen lopen.
Tot slot moeten we een veel scherper gevoel ontwikkelen wanneer een wetenschapper wel en wanneer hij niet gekwalificeerd is om ergens over te praten. Klimatologen bijvoorbeeld zijn gekwalificeerd over de wetenschap van de klimatologie (hoewel zij onderworpen blijven aan alle reeds genoemde zaken die de zuivere wetenschap in de weg staan). Zij zijn niet gekwalificeerd om te roepen ‘we moeten nu in actie komen’ door de overheid "oplossingen" op te dringen.. Zij zijn niet opgeleid om te bepalen welke risico’s mensen wel of niet zouden moeten nemen, alleen de mensen die dat risico zelf lopen kunnen die beslissing nemen, het gaat hier om persoonlijke voorkeuren, niet om wetenschappelijke feiten. Klimatologen weten niets over de kosten / batenoverwegingen, de meeste mainstream economen zijn overigens ook het spoor bijster over dergelijke zaken. Klimaatwetenschappers zijn de best gekwalificeerde mensen om over het klimaat te praten, maar niet over het beleid, de wet, individuele waarden, gewenste mate van risicovermijding. Als ze zich uitlaten over de acties die de overheid zou moeten nemen, klinken ze als idioten of charlatans. Helaas blijven ze dat doen, ook steeds tegen journalisten die op zoek zijn naar een rampverhaal.
In dit verband mogen we niet vergeten dat de Verenigde Naties (en de commissies en bureaus die daaronder vallen) net zo min een wetenschappelijke organisatie is als het Amerikaanse Congres (en de commissies en bureaus die daaronder vallen) . Beslissingen en uitspraken van deze politieke organisaties moeten behandeld worden als politiek. Politici zijn niet dom - wel slecht, maar niet dom. Als er iets is dat ze beter kunnen dan wie dan ook is dat wel het opjutten van hordes mensen om slechte overheidsacties te accepteren die een hoge tol zullen eisen van de welvaart en op termijn ook van hun vrijheid.
Met grote instemming heb ik het artikel van Robert Higgs gelezen. Eerlijk gezegd ben ik ook sceptisch over de waarde van peer reviewing. Ik heb enige ervaring met het beoordelen van wetenschappelijke artikelen (voor tijdschriften en congressen) en van aanvragen voor subsidie van NWO en STW (op het gebied van de chemie en de chemische technologie).
Het grootste bezwaar van het systeem van peer reviewing is dat de stem van het wetenschappelijk “establishment” in een bepaald gebied der wetenschap te zwaar weegt, waardoor echt nieuwe ontwikkelingen dikwijls worden tegengehouden. Het establishment is immers conservatief per definitie.
Een tweede bezwaar is, dat vaak onbedoeld, vriendjespolitiek een te grote rol speelt. Ik heb bijvoorbeeld een hoge pet op van mijn collega X, dus ik zal de aanvragen/artikelen van zijn medewerker Y graag goedkeuren. Ook de negatieve variant komt voor, je zou dat “vijandjespolitiek” kunnen noemen. Ik ben het bijvoorbeeld niet eens met de wetenschappelijke opvattingen van mijn collega V, dus ik zal de artikelen of aanvragen van zijn medewerker W het liefst afkeuren.
Ik heb hier wel een paar aardige ervaringen mee opgedaan:
Ik kreeg een artikel ter beoordeling, van de auteurs A, B en C. De laatste is een beroemde professor die zeer hoog staat aangeschreven. Ik vond het artikel slecht en heb het afgekeurd. Vier maanden later kreeg ik een herziene versie, die ik erg goed vond. Wat bleek? Ten tijde van de eerste aanvrage was C met vakantie en het artikel was geschreven door de onervaren A, zonder dat C het zelfs gezien had. Terug van vakantie had C het artikel door A laten herschrijven. Hier werkte het systeem dus. Maar sommige van mijn collega’s hadden de eerste versie ongezien goedgekeurd vanwege de reputatie van C.
Ander geval: Ik kreeg een artikel te beoordelen van een zekere P, dat ingezonden was voor een congres, waarvan ik in het bestuur zat. Ik vond het artikel niet goed en heb dat de schrijver meegedeeld (met redenen omkleed). Toen schreef de chef van P (een beroemde professor) een woedende brief aan de voorzitter van het congres. Deze zette mij onder druk om het artikel van P alsnog goed te keuren. Voor de lieve vrede heb ik dat gedaan. Nu, 30 jaar later, schaam ik mij niet zo erg meer.
Alles bijeengenomen vind ik het gangbare systeem van peer reviewing niet goed werken, ondanks de goede bedoelingen. Ik heb ook wel een suggestie om het te verbeteren:
Laat de beoordelingen niet uitvoeren door “peers”, collega’s die op hetzelfde terrein werken, maar door meer fundamenteel georiënteerde wetenschappers die veel verder van de materie afstaan. Laat bijvoorbeeld artikelen op het gebied der klimaatwetenschap niet beoordelen door klimaatwetenschappers maar door fysici, chemici, geologen of wiskundigen. Het gaat immers om meer om het toetsen van de wetenschappelijke methode dan om het controleren van feitenkennis. En dat gaat juist beter als je wat verder van de materie af staat. Je moet wel goed zijn in de basiswetenschappen.
Een prachtig artikel! Mooi voorbeeld uit de praktijk is de tegenwerking van de publicatie van McIntyre en Mckitrick die kritiek leverden op de statistische methoden die Mann c.s. hadden gehanteerd bij het maken van de bekende hockeystickgrafiek. Peer reviewer Mann heeft toch geruime tijd publicatie van het gewraakte artikel kunnen tegenhouden.
In 2006 heeft het Amerikaanse congres aan 3 topstatistici (Wegman, George Mason University, Scott, Rice University, en Said, Johns Hopkins University) verzocht hun licht over de kwestie te laten schijnen.Dit zogenaamde Wegman Report laat weinig heel van de gevolgde statistische methoden van Mann, en vormde het begin van het einde van de hockeystickgrafiek.
Interessant in dit verband is dat Wegman c.s. in hoofdstuk 5, genaamd “Social Network Analyses of Authorships in Temperature Reconstructions”, het sociale netwerk van publicerende klimatologen ontrafelden, met Mann als dikke spin in het centrum van het web.
Wegman c.s concludeerden: “The politicization of academic scholarly work leads to confusing public debates. Scholarly papers published in peer reviewed journals are considered the archival record of research. There is usually no requirement to archive supplemental material such as code and data. Consequently, the supplementary material for academic work is often
poorly documented and archived and is not sufficiently robust to withstand intense public debate. In the present example there was too much reliance on peer review, which seemed not to be sufficiently independent.”
Hun aanbeveling laat aan duidelijkheid niets te wensen over: " Especially when massive amounts of public monies and human lives are at stake, academic work should have a more intense level of scrutiny and review. It is especially the case that authors of policy-related documents like the IPCC
report, Climate Change 2001: The Scientific Basis, should not be the same people as those that constructed the academic papers "
Het Wegman Report is te vinden op: http://www.climateaudit.org/pdf/others/07142006_Wegman_Report.pdf
lees mijn perikelen in de peer reviewed climate bladen.
http://home.casema.nl/errenwijlens/co2/Wat_is_er_aan_de_hand_met_het_klimaatonderzoek.pdf
Op 6 Januari 2006 verscheen een nieuwe compilatie van de temperatuurgeschiedenis van Stuttgart-Hohenheim waarvan wordt geclaimd dat de serie homogeen is en vrij van het Urban Heat Island effect. Omdat lange homogene tijdreeksen in Europa schaars zijn en ik al enige jaren met het onderwerp bezig ben besloot ik de claims die in het artikel werden gedaan aan nader onderzoek te onderwerpen. De door mij gebruikte tijdreeksen maken deel uit van het GHCN, in een gebruikersvriendelijk format is de data beschikbaar via de GISS website. Aangezien de Hohenheimdata niet publiekelijk gearchiveerd was schreef ik de auteur en na wat aandringen kreeg ik de data, onder de vreemde conditie dat ik niets mocht publiceren zonder voorafgaande toestemming. Afijn, binnen vijf minuten na ontvangst van de data bleek al dat er een enorme discrepantie bestond tussen Hohenheim en de Labrijnreeks en tussen Hohenheim en de Hohenpeissenbergreeks terwijl tussen Labrijn en Hohenpeissenberg goede overeenkomst heerst, in feite correleren alle jaargemiddelden in het gebied tussen Wenen en Nederland nog vrij aardig
Ik schreef een korte technische comment en bood die aan het tijdschrift aan die tot mijn stomme verbazing werd afgewezen. Na vergeefs nog wat andere tijdschriften te hebben geprobeerd, die afwezen omdat het een comment op een ander tijdschrift betrof, werd tenslotte mijn manuscript geaccepteerd voor publicatie in Energy and Environment, verwachte publicatiedatum: Januari 2007. Al met al een heel jaar voor een eenvoudige technische comment. Het moet gezegd worden dat de review standaard van Energy and Environment niet hoog is, er zijn controversiële artikelen gepubliceerd die stellen dat het broeikaseffect
een gevolg is van de massa van de atmosfeer en dat de recente toename van de mondiale CO2
een gevolg is van temperatuurtoename en niet van fossiele brandstof . Dit merkwaardige standpunt, dat strijdig is met diffusiefysica, wordt ook ingenomen door de Noorse geochemicus Tom Segalstad . Daarentegen zijn er wel goede artikelen verschenen over de klimaatreconstructies en economische aannamen die aan de basis liggen van de klimaatmodellen.
Ben ik een uitzondering in klimaatland? Helaas niet, het is inmiddels bekend dat de tijdschriften Nature en Science een behoorlijke veer hebben gelaten voor wat hun geloofwaardigheid met betrekking tot publicaties op het gebied van klimaatwetenschap. Als het maar onheilspellend is, wordt er al snel tot publicatie overgegaan.
ref:
Hans Erren, 2007, Comment on the climate station of the University of Hohenheim: Analysis of air temperature and precipitation time series since 1878, Energy and Environment 2007, volume 18, number 6, p797-800
@peter Klein
Nee hoor Bob Carter zegt enkel dat de huidige opwarming (zowel in grootte als snelheid) helemaal niet exceptioneel is. Thoenes, Rörsch en Courtney (ia) beweren "dat niet bewezen is" dat de huidige waargenomen toename van co2 niet door de mens veroorzaakt is; als je zoiets concludeert uit de meetreeksen, geef je blijk geen verstand te hebben van diffusiefysica.
… en zelfs als je door de peer review heenkomt is er nog geen garantie dat het waar is wat je schrijft.
http://www.plosmedicine.org/article/info:doi/10.1371/journal.pmed.0020124
"..beweren "dat niet bewezen is" dat de huidige waargenomen toename van co2 niet door de mens veroorzaakt is.."
Een dubbele ontkenning, ik denk dat je dat niet bedoelde Hans? Maar wel goed om hierop te wijzen.
Het grote gevaar van het systeem van peer reviewing in de wetenschap wordt toegelicht in een artikel van Nicholas Wade in de NYTimes van 23/7. Het gaat over psychologisch onderzoek naar de effecten van “groupthink”. Zie www.dagelijksestandaard.nl/2009/07/24/een-miljoen-lemmingen-kunnen-toch-geen-ongelijk-hebben
http://www.nu.nl/wetenschap/2050168/komende-jaren-brengen-nieuwe-warmterecords.html
Ehm, wat is dit dan?
@Anoniem 13.27: Dit is een voorspelling, niet meer dan dat. In 2007 voorspelde NASA ook al dat dat jaar een nieuw warmterecord gevestigd zou worden i.v.m. toegenomen zonne-activiteit en een krachtige El nino. De zon bleef relatief inactief en de El Nino
zette niet door. En het IPCC
voorspelde eind jaren ‘90 voor de gehele periode 2000 - 2010 een versnelde temperatuurstijging, die niet heeft plaatsgevonden.
Het IPCC heeft steeds meer stoplappen nodig om de voorspellingen die uit hun modellen rollen aan te passen aan wat er in de werkelijkheid plaats vindt. Een model met veel stoplappen heet in normaal Nederlands een slecht model.
Dank je voor je snelle reactie, ik was alweer in paniek. Ja, geef toe dat ik daar gevoelig voor ben. PTSS enzo, maar dat neemt niet weg dat ik geef om de natuur en daarom zo bezorgd ben daar we de dubbele agenda’s van de heren politici niet weten.
Hopelijk veranderd er ooit iets aan deze machtswellustelingen. Ik bedoel, men beseft vaak niet eens hoe mooi de wereld is. En dat we waarschijnlijk de enige zover wij weten in ons stelsel alleen zijn. Dat maakt het extra wrang.
Och, er gebeurd zoveel Fred.
Daar heb je waarschijnlijk wel gelijk in, maar anderzijds is niets voor eeuwig, hetgeen mij ook weer een geruststellend gevoel geeft. En ook al zou de mensheid tot in in het oneindige kunnen voortbestaan, dan betekent dat voor mij ook weer een geruststelling. Hier kunnen wij nog heel lang over filosoferen, maar waar ik mij aan erger is dat men de mensheid ergert met een vorm van massahysterie, ook wel door de mens veroorzaakte opwarming van de aarde genoemd.
Als het de walvissen het op hun geweten hadden gehad, die opwarming, dan hadden we ze allemaal afgeschoten, om over runderen nog maar niet te praten!
Zeker, peer review en consensus zijn geen garantie voor "de waarheid". En ja, sterke druk van buitenaf, zoals publieke en derde geldstromen, politieke druk en economische belangen verzieken de wetenschap.
Wetenschap werkt alleen als er een goed samenwerkende wetenschappelijke gemeenschap is, die volgens de aloude simpele regels werken. Die bijvoorbeeld bereid zijn hypotheses af te wijzen als hun onderzoekgegevens op iets anders lijken te wijzen. Dat kan niet als je betaald wordt om te bewijzen dat je opdrachtgever (of dat nu de VN of Exxon is) gelijk heeft. Maar ook als je wel deugdelijk onderzoek doet kan de discussie verziekt worden omdat jouw conclusie het onderzoek van die anderen die zulke grote belangen hebben in de weg staat. Ondanks het feit dat het goed onderzoek is met significante resultaten wordt het genegeerd of weggewuifd.
Maar verder verandert het niets. Ondanks het feit dat er homeopatische artsen bestaan wijst het merendeel der geneeskundigen hun theoriën af, het feit dat er creationisten zijn betekent niet dat de evolutietheorie serieus ter discussie staat. Het paradigma wordt gevormd door de meest invloedrijke groep en nergens anders door.
Het huidige wetenschappelijke milieu maakt klimaatonderzoek minder interessant. Wat je uitkomsten ook zijn je krijgt so-wie-so bijval van kamp A en wordt verguisd door kamp B. De kwaliteit doet haast niet ter zake.
Het slachtoffer is de wetenschap, onder dergelijke omstandigheden is het amper mogelijk om fatsoenlijk onderzoek te doen.
@Dick Thoenes (15): Misschien komt er geen commentaar op uw voorstel, omdat men het ermee eens is. Ik denk overigens dat veel mensen nog moet worden uitgelegd wat peer review inhoudt. Mogelijk dat velen (niet wetenschappelijke geïnteresseerde leken) dit verwarren met de herhaling van een onderzoek om te controleren of het dezelfde uitkomst geeft als het oorspronkelijke onderzoek. Het zou mij niet verbazen dat dit laatste zelden gebeurt in de (jonge) klimaatwetenschap.
Als wetenschapper heb ik ook veel te maken met peer review. zowel voor artikels van mezelf als het reviewen van artikels van anderen. Mijn ervaring is dat dit zeker geen perfect systeem is maar dat het toch een zekere kwaliteitscontrole is. Dat minder goede artikels soms toch gepubliceerd worden zal occasioneel zeker wel gebeuren, maar beweren dat controversiele artikels niet gepubliceerd zouden worden of nieuwe inzichten systematisch tegengehouden is onzin en wordt meestalals excuus aangehaald wanneer ondermaatse studies geweigerd worden. Indien een artikel wetenschappelijk goed in elkaar zit en wetenschappelijk correct is, zal het zeker aanvaard worden (misschien niet onmiddellijk, er zijn steeds naijverige of starre wetenschappers); of het nu controversieel is of niet. Publicaties laten reviewen door niet-experts is geen goed idee. Het is dan zeer moeilijk of onmogelijk om te beoordelen of bepaalde gebruikte technieken wel de juiste, meest recente etc. zijn. Ik denk niet dat een kernfysicus bvb een biologische gedragsstudie kan beoordelen of een fundamenteel wiskundige een klimaatstudie om maar twee voorbeelden te noemen.
Nieuwe reactie inzenden