Kunnen technieken als machine learning en computationele tekstanalyse onderzoekers helpen om grote aantallen documenten, zoals evaluatierapporten van ontwikkelingshulpprojecten die teruggaan tot de jaren ’70, te begrijpen? Dit is een vraag die Dr. Ruth Carlitz, universitair docent Political Science aan de Universiteit van Amsterdam, probeert te beantwoorden in haar onderzoek naar hoe de politiek de effectiviteit van initiatieven voor buitenlandse hulp beïnvloedt. Om een beter begrip te krijgen van de onderzoeksmethoden die haar subsidievoorstellen en toekomstige projecten zouden kunnen verfijnen, nam Carlitz contact op met het ODISSEI Social Data Science (SoDa) Team. Waar het team al veel onderzoekers hulp heeft geboden met praktische computationele hulp, kan expertise van het team ook ingezet worden om een breed scala aan onderzoeksvragen te adresseren.
Carlitz is een politicoloog met expertise in de politieke economie van internationale ontwikkeling. Ze heeft een speciale interesse in landen die afhankelijk zijn van buitenlandse hulp. Op dit moment richt Carlitz zich voornamelijk op kwesties rond reproductieve en maternale gezondheidszorg en de invloed van politiek, niet alleen in de ontvangende landen, maar ook in de donerende landen. Carlitz begon hier vijftien jaar geleden over na te denken toen ze in Tanzania woonde en werkte: “Het was heel duidelijk dat er een verband was tussen politiek en politieke standpunten die in de Verenigde Staten werden ingenomen en de hulp die mensen in Tanzania daadwerkelijk kregen.”
De uitdaging bij het evalueren van initiatieven voor buitenlandse hulp
Hoewel de meeste initiatieven voor buitenlandse hulp rapporten schrijven om de effectiviteit van dergelijke programma’s te beoordelen, is het niet gemakkelijk om deze evaluaties met elkaar te vergelijken. Carlitz wijst op het verschil tussen Amerikaanse en Europese instanties. “De VS als donor van buitenlandse hulp werken niet zo vaak samen met internationale projecten, en dat betekent dat de resultaten anders worden geëvalueerd dan bij Europese projecten. De Europese aanpak is om naar gegevens te kijken en deze op numerieke wijze te evalueren, terwijl de United States Agency for International Development (USAID) het evaluatieproces uitbesteedt aan de particuliere sector, wat het moeilijk maakt voor onderzoekers om die gegevens te analyseren.” Een van de manieren waarop computationele methoden Carlitz kunnen helpen bij het begrijpen van gegevensbronnen zoals evaluatiebestanden van ontwikkelingsprojecten is het gebruik van machine learning of computationele tekstanalyse op evaluatierapporten uit de afgelopen vijftig jaar.
Interdisciplinariteit in Computationele Methoden
Een collega van de Universiteit van Amsterdam (Dr. Eelke Heemskerk) raadde Carlitz aan om contact op te nemen met het SoDa team voor een consult. “Het eerste consult was geweldig. Ik heb onderzoeken gelezen waarin gebruik wordt gemaakt van machine learning technieken en ik begrijp op een conceptueel niveau wat ze doen, maar zag niet goed voor me wat er daadwerkelijk komt kijken bij de implementatie van deze technieken. Je moet de data echt doorgronden en begrijpen om succesvolle machine learning applicaties te kunnen draaien.” Omdat Carlitz werkt aan een subsidieaanvraag waarbij ze bepaalde machine learning technieken of automatische tekstanalyse op grootschalige datasets wil toepassen, was de hulp van het SoDa team zeer nuttig.
Het eerste consult inspireerde Carlitz om na te denken over andere manieren waarop ze computationele methodes kan toepassen in toekomstige projecten. “Ik wil graag nadenken over hoe ik vergelijkbare technieken kan toepassen om toewijzingen van initiatieven met betrekking tot ‘klimaatfinanciering’ te traceren, zoals hulp die landen in het Mondiale Zuiden ontvangen om zich aan te passen aan klimaatverandering en de gevolgen hiervan te verminderen.” Carlitz zou haar expertise vooral willen gebruiken om een conceptuele bijdrage te leveren aan computationele methodes, niet zo zeer een technische. “Het is niet mijn ambitie om een expert te worden in machine learning, maar ik zou het heel graag beter begrijpen zodat ik studenten die het willen toepassen in hun onderzoek beter kan begeleiden. Om te kunnen zeggen: ‘oh, voor dit probleem zou je deze methode kunnen gebruiken.’” Naarmate meer interdisciplinaire onderzoekers zoals Carlitz de waarde erkennen van het gebruik van computationele methoden voor hun projecten en hulp zoeken van experts op het gebied, krijgen de sociale wetenschappen toegang tot genuanceerde en data-gedreven inzichten, wat de weg vrijmaakt voor impactvol onderzoek en praktische toepassingen.
Relevante links
- Dr. Ruth Carlitz
- Over SoDa
- Artikel: First Aid for Data Questions: how SoDa can help develop web scrapers and AI models
- Volg SoDa op Twitter
Foto door Bernd Klutsch op Unsplash