Field Experiments in Economics: History and Methodology / Tatu Nuotio / Book review

Book Review: Field Experiments in Economics: History and Methodology. Judith Favereau and Michiru Nagatsu. Publisher: Routledge 2025

Field Experiments in Economics: History and Methodology by Judith Favereau and Michiru Nagatsu is a concise book that does two things. First, it provides an overview and analysis of field experimental practices in economics, both from a philosophical and historical perspective. Second, it proposes ways to improve said practices by combining their existing methodologies and importing resources from non-experimental and participatory approaches. The book as a whole is an essential read for those wishing to familiarize themselves with field experiments and their methodological and philosophical questions, while the original proposals invite those already well versed in the subject matter to consider how field experiments could better serve the epistemic goals of researchers and the political goals of stakeholders alike.

After an introduction, the book kicks things off with a general overview of experimental economics. This second chapter is filled with illustrative examples of different traditions and paradigms – from theory-testers to institution-builders and from the lab to the field – and it explores their distinctive characters from a philosophy of science perspective. The chapter is very comprehensive as such, and the numerous references provide an excellent bibliography for those looking for an even more thorough understanding of the topic.

In the third chapter, a distinction is introduced between two strands of field experiments, which much of the book is organized around. The first strand, “lab-in-the-field” experiments (LFEs), originate from traditional laboratory experiments, and they are characterized by attempts to systematically relax the experimenters’ control over some contextual features to make them more faithful to economic behavior as it occurs outside the lab. The second strand, “Randomized Field Experiments” (RFEs), have their origins in the evaluation of large-scale development programs and public policies, and their main goal is to produce evidence about which interventions are successful in alleviating policy-relevant social issues such as poverty.

LFEs and RFEs differ from each other on multiple dimensions, but the most central notion used to characterize their differences is that of control. According to the authors, LFEs are associated with direct control. This refers to the control of the laboratory, where the experimenter chooses the location, writes the instructions to elicit a certain framing of the situation, establishes the incentives, and so on, in order to exclude the influence of disturbing factors. RFEs, in contrast, are characterized by indirect control. As the name suggests, this is obtained most notably by randomizing the subjects into treatment and control groups, so that the observed difference in the outcome variable can be attributed to the intervention.

The fourth chapter ties these two strands and different forms of control to the issue of external validity. This too, it is argued, comes in two forms. The worry of artificiality is associated with direct control exerted in LFEs, where the threat is that the results are confined to the relatively “unnatural” context created by the experimenter. RFEs, on the other hand, have to deal with generalizability. Because RFEs purposefully level the influence of contextual factors in order to identify the effect of the policy under evaluation, it may be difficult to make the further inference that similar effects will be obtained when the policy is implemented in a different context. Both strands thus face different issues of external validity, and in many ways, the history of these strands is the history of trying to address these issues. In LFEs, the purposeful loosening of direct control represents an effort to reintroduce some of the natural contextual variation of the economic phenomena outside the lab. As for RFEs, the authors review different suggested as well as actual steps taken to improve the generalizability of their results, ranging from the use of machine learning algorithms to the theoretical modelling of hypothesized mechanisms.

The last two chapters are devoted to the authors’ own proposals for improving the generalizability and thus policy relevance of field experiments in economics. The first suggestion is to combine RFEs with LFEs to benefit from the high degree of direct control associated with the latter. Because LFEs are able to reproduce theoretically interesting results, such as cooperation in collective action problems or hyperbolic discounting, their experimental setups can serve as portable ways to measure the related constructs, such as levels of trust or present bias. Accordingly, the authors envision that when RFEs first identify a policy-relevant problem, such as underinvestment in preventive health care products, LFEs could then be conducted to investigate the causal mechanisms at play, e.g. present biasness of the individuals, and subsequent RFEs would then test whether a proposed solution based on this knowledge is effective in practice. The authors also argue that field experiments could benefit from utilizing non-experimental and qualitative methods to collect facts about the population, which could guide the design of experiments and interventions to better address heterogeneity and population-specific features. Given the increased awareness of the need to address heterogeneity in applied behavioral science more generally, this suggestion is particularly compelling (see Bryan et al. 2021).

However, the perhaps more radical suggestion is that field experiments in economics should lean more into the subjects themselves as authors of relevant knowledge by incorporating participatory methods. Epistemically, involving the subjects in designing and implementing experiments is useful because they are often in a privileged position to know which resources they need and which obstacles they face trying to access them, as well as why an intervention may have failed to have the intended effect on their behavior. Participatory involvement serves also the political goal of empowering the subjects: when evaluating policies intended to improve people’s lives, those people should have a say in what counts as an improvement to their lives in the first place.

On a more practical level, the authors draw from Sabina Alkire’s (2005) work among others and envision participatory field experiments as a joint effort between the researcher, local field partners, and members of the target population. The design of the experiment would center around public discussion between the participants, facilitated by the field partner and observed by the experimenter, where the relevant needs and obstacles, as well as possible solutions, would be identified. Rather than being someone who asks the questions and answers them too, the researcher would thus be one who listens and uses their methodological expertise to help implement the experiment designed jointly with the participants.

At this point, an objection may come to the mind of many readers, which is that in allowing the subjects and other stakeholders to take part in planning and implementing the experiment, the researcher sacrifices their control over it, compromising the validity of the inferences that can be made. However, the authors elegantly argue that this is not the case, precisely because what is relevant is not control in the agential sense as the exercise of power. For the authors, experimental control is at its core an inferential notion, “an epistemic ideal and achievement”, and direct and indirect control are both ultimately just different ways to make causal inferences sound and secure. The question of how much control the experimenter has is thus different from whether they are able to manipulate the “data-generating processes” at will, or whether they have to isolate the relevant influences through statistical means instead.Even in the most directly controlled experimental setups, the subjects may bring interpretations and framings that differ from what the experimenter intended; at the same time, statistical methods can sometimes yield valid causal inferences even in naturally occurring data with no intervention at all by the researcher.

Overall, Field Experiments in Economics: History and Methodology offers a comprehensive look at field experiments in economics, their methodological differences and historical origins. It is intended for a wide audience, and I agree that many different readers should find it worthwhile. The earlier chapters are admittedly more on the educational side and quite densely packed with various typologies and concepts, but given the book’s short length, this extra attention to detail can hardly be objected. For those already familiar with the topic, however, the forward-looking discussion of the last two chapters should be especially exciting.

At a conference this summer, I asked a behavioral economist if they ever gather qualitative data about subjects’ experiences in lab experiments. Referring to a broader sentiment in the field, the colleague replied half-jokingly that “we economists don’t seem to really trust our subjects”. Now, while prioritizing incentivized behavioral measures can arguably often be justified in a lab setting, I take the present book to make a convincing case that people’s experiences, opinions, and beliefs as expressed by themselves constitute evidence that should not be ignored, at least in field experiments aiming to improve the lives of those people. In fact, I was delighted to note that in two subsequent conferences, many presentations discussed participatory methods from both practical and theoretical perspectives, including one which directly referenced this very book by Judith Favereau and Michiru Nagatsu. In conclusion, it is safe to say that Field Experiments in Economics: History and Methodology not only offers an excellent analysis of the past and present of field experimental practices in economics, but also contributes to their future development.

The book is available in print, and an open access version can be read online through its publisher Routledge.

Tatu Nuotio is a doctoral researcher at the University of Helsinki and a member of TINT – Centre for Philosophy of Social Science. His PhD research focuses on theories of social norms and how they are applied in behavior change interventions and behavioral public policy. The project is funded by the Kone Foundation.

References

Alkire, S. (2005). Valuing freedoms: Sen’s capability approach and poverty reduction. Oxford and New York: Oxford University Press.

Bryan, C. J., Tipton, E., & Yeager, D. S. (2021). Behavioural science is unlikely to change the world without a heterogeneity revolution. Nature Human Behaviour, 5, 980–989.

Maailma muuttuu, miten taloustiede vastaa? / Anita Välikangas

Taloustieteilijöillä on paljon valtaa yhteiskunnassa. Mutta millaista taloustieteellinen asiantuntijuus on? Millaisen palveluksen taloustiede tekee yhteiskunnalle? Lähdimme selvittämään asiaa viime vuoden 2023 alussa alkaneessa ReSES-hankkeessa. Nyt on tullut väliyhteenvedon paikka.  

Taloustieteilijöitä tarvitaan usein yhteiskunnallisissa tehtävissä. Kun hallitus suunnittelee budjettia, taloustieteilijät ovat usein paikalla. He arvioivat päätösten taloudellisia vaikutuksia ja ehdottavat säästö- ja investointikohteita. Heidän näkemyksiään kuunnellaan terveydenhoitoa tai koulutusta uudistettaessa. Eivätkä taloustieteilijät vain arvioi ja kuvaa, vaan he myös suunnittelevat uusia markkinoita. Heidän kädenjälkensä näkyy esimerkiksi päästökaupan, sähkömarkkinoiden, rahoitusinstrumenttien ja alustatalouden suunnittelussa. 

Viimeisten vuosikymmenten aikana monet ihmiset ovat alkaneet kuitenkin kysyä, miksi kuuntelemme yhteiskunnallisessa päätöksenteossa nimenomaan taloustieteilijöitä. Miksi juuri heidän tuottamansa tieto koetaan tarpeellisena? Ja millä tavoin meidän tulisi suhtautua taloustieteelliseen tietoon ja sen rajoitteisiin? Suomessakin on keskusteltu siitä, millä tavoin taloustieteilijöiden taustayhteisö vaikuttaa ja saa vaikuttaa heidän tekemiinsä arvioihin ja ehdotuksiin. On ruodittu myös valtiovarainministeriön ekonomistien roolia. Jos ministeriön ekonomistien esittämät näkemykset suhdanteista poikkeavat merkittävästi muiden taloustieteilijöiden esittämistä arvioista, keitä meidän tulisi uskoa?  

On kuitenkin hyvä muistaa, ettei taloustiedettä ole kuitenkaan valettu yhdestä muotista. Myös taloustieteilijät käyvät kriittistä keskustelua tieteenalan keskeisistä tehtävistä, menetelmistä ja päämääristä.  

Lähdimme tutustumaan näihin teemoihin vuoden 2023 alussa alkaneessa ReSES – Rethinking the serviceability of economics to society –hankkeessa. Järjestimme parisenkymmentä erilaista esitelmää ja keskustelutilaisuutta sekä yhden vierailijaluentojen varaan rakentuneen kesäkurssin. Näissä tilaisuuksissa puheenvuoron saivat usein ihmiset, jotka uskoivat taloustieteen voimaan ja merkityksellisyyteen, puhuen tieteenalasta ja sen tulevaisuudesta.  

Idealismia ja yhteiskunnallisiin ongelmiin pureutumista 

Yksi ReSES:in lähtökohdista oli ajatus siitä, että taloustieteen asema on parhaillaan murroksessa. Ihmisille ei nykyisin riitä, että ekonomisti tulee kertomaan heille talouden toiminnasta, saati siitä kuinka heidän olisi soveliasta toimia. Suuret yhteiskunnalliset haasteet, kuten koronapandemia ja Ukrainan sota, asettavat isoja haasteita talouspoliittiselle päätöksenteolle.  

Haastava maailmantilanne on saanut monet tutkijat puhumaan poliittisen mielikuvituksen tärkeydestä ja siitä, että myös taloustieteilijöiden tulisi kyetä avartamaan ihmisten mahdollisia horisontteja. Monet taloustieteilijät pyrkivätkin tukemaan erilaisia yhteiskunnallisia muutoksia. Esimerkiksi vuonna 2023 taloustieteen Nobel myönnettiin Claudia Goldinille, joka tutkii sukupuolten välistä taloudellista tasa-arvoa. Reilu vuosi sitten julkaistu Dasgupta-raportti pureutuu yhteiskunta- ja talousjärjestelmiemme ongelmiin, jotka aiheuttavat luonnon monimuotoisuuden häviämistä.  

Vuoden aikana tuli osoitetuksi moneen kertaan, että se että henkilö on ekonomisti, ei tarkoita sitä, että hänen näkökulmansa olisivat väistämättä samankaltaisia elinkeinoelämän intressien kanssa. 

Törmäsin myös yllättävän usein idealismiin. Se ei tullut aina tullut esille puheiden aikana, vaan osana kahvipöytäkeskusteluja. Monet heistä puhuivat siitä, mitä he olivat opiskelijoina toivoneet taloustieteen oikein olevan. Miten he olivat toivoneet, että taloustiede voisi tehdä myös yhteiskunnassa hyviä asioita – lisätä yhteiskunnallista tasa-arvoa, auttaa omaa maataan nousemaan köyhyydestä, antaa keinoja ilmastonmuutoksen ratkaisemiseen. Monet opiskelijat esittivät myös tällaisia näkemyksiä kesäkurssimme aikana. Näissä keskusteluissa kuului usein usko taloustieteen ja koulutuksen tarjoamiin mahdollisuuksiin. Usko siihen, että taloustieteellä voitaisiin tehdä hyvää. 

Toisinaan puhuttiin myös siitä, että tieteellinen keskustelukulttuuri on ylipäätään muuttunut viimeisten vuosikymmenten aikana. Taloustieteessä, samoin kuin monilla muilla tieteenaloilla, on tehty paljon töitä inklusiivisuuden edistämiseksi. Esimerkkinä tällaisesta pyrkimyksestä käy esimerkiksi Wendy Carlinin ja Samuel Bowlesin luoma CORE Econ –hanke, jossa taloustiedettä opetetaan laajalle joukolle ihmisiä avoimesti saatavilla olevalla materiaalilla. Ihmisten lähtökohtien moninaisuus vaikuttaa suotuisasti myös tieteenalan kehitykseen.  

Oman etunsa rationalisoijia vai luotettavan tiedon tarjoajia?   

Kutsumamme puhujat tarjosivat monia näkökulmia taloustieteen moniäänisyyteen. Ha-Joon Chang piti aiheesta inspiroivan yleisöluennon, erottaen taloustieteen sisältä ainakin kahdeksan erillistä koulukuntaa. Nämä koulukunnat painottavat eri asioita ja antavat myös erilaisia politiikkasuosituksia. Mary Morgan analysoi sitä, millaisia taloudelliset indikaattorit ovat, ja miten niitä voidaan käyttää demokratian edistämisessä. Hän korosti, että tarvitsemme tietoa taloudesta, jotta voimme arvioida hallituksen tekemien poliittisten päätösten vaikutusta. Dani Rodrik puhui puolestaan uudesta teollisuus- ja elinkeinopolitiikasta ja siitä, kuinka yhteiskunnallinen vakaus vaatii sitä, että ihmisille on tarjolla hyviä työpaikkoja. 

ReSESin tapahtumat vetivät sekä lavalle että yleisöön monia ihmisiä, jotka olivat kiinnostuneita taloustieteen moniäänisyyden lisäämisestä. Joissain tilanteissa tuli kuitenkin esille, etteivät kaikki taloustieteilijät kokeneet tällaista vuoropuheluun osallistumista kovinkaan relevanttina. Toisinaan myös kulttuuriset erot taloustieteen ja muiden yhteiskuntatieteilijöiden välillä tuntuivat aika suurilta.  

Yksi syy näihin kulttuurisiin eroihin voi olla siinä, että jo taloustieteisiin valitut opiskelijat poikkeavat profiililtaan muista valtiotieteellisen opiskelijoista. Esimerkiksi joulukuussa 2023 Helsingin yliopiston valtiotieteellinen tiedekunta julkaisi hakijakyselynsä tuloksia. Siinä, missä valtiotieteellisen tiedekunnan opiskelijoista 58 prosenttia koki tärkeänä syynä, että ”tällä alalla voin tehdä hyvää yhteiskunnan eteen”, oli tällä tavalla vastanneiden määrä taloustieteessä vain 33 prosenttia. Tulokset ovat linjassa sen kanssa, miten Uskali Mäki kuvasi homo economicus -käsitteen keskeisyyttä taloustieteessä: tutkimusten perusteella jo taloustieteiden opiskelijat mieltävät itsensä omaa etuaan rationalisoivina ihmisinä muita opiskelijoita todennäköisemmin. Mäki kuitenkin lisäsi myös, ettei ole selvää, ajattelevatko opiskelijat näin luontaisesti, vai onko se jotain, minkä he omaksuvat opintojensa alkuvaiheessa. 

Taloustieteen opiskelijoitakin on kuitenkin monenlaisia. Osa heistä voi kertoa hakeutuneensa alalle idealistisin perustein, kun taas osa kertoo, että raha ja työllistyminen ovat vaikuttaneet vahvasti heidän ainevalintaansa. Tällöin on tärkeä esittää jatkokysymys: millaista taloustieteen opettamisen tulisi olla? Millaisiin asioihin tulisi kiinnittää huomiota, jos toiveena on yhteiskunnallisen hyvän edistäminen? Tämä voi olla joskus haastava kysymys tieteenalalle, jonka lähtökohdissa viitataan usein omaa etuaan maksimoiviin yksilöihin. 
 
Tieteenalojen välillä on eroja 

Keskusteluyhteyden luominen nosti esille myös toisen hankalan kysymyksen tieteellisten kulttuurien välisistä eroista. Monet taloustieteilijät – ja myös sen opiskelijat – kokevat taloustieteen poikkeavan radikaalilla muista yhteiskuntatieteistä. Silloin on mahdollista päätyä tilanteisiin, joissa todetaan vain kohteliaasti, että kyllä, historian tuntemisella tai vaikkapa feministisen talousajattelun tuntemisella on yleissivistävää arvoa. Mutta kun keskustelu on ohi, opiskelijat ja tutkijat jatkavat työtään eteenpäin kuten aina ennenkin. 

Jokainen tieteenala käyttää omanlaistaan kieltä ja käsitteistöään. ReSESissä nämä teemat tulivat esille erityisesti tapahtumassa, jonka järjestimme kotihoidontuesta. Siinä kysyttiin, millä tavoin meidän tulisi suhtautua taloustieteiden ja muiden tieteenalojen tarjoamaan tietoon tehdessämme päätöksiä kotihoidontuesta. Keskustelussa korostui, että taloustieteen tulokulma oli usein hyvin erilainen kuin niillä tutkijoilla, joiden tutkimusasetelmassa keskitytään enemmän ihmisten omien kokemusten tutkimiseen.  

Kysymys erilaisten näkökulmien huomioimisesta on sidoksissa myös tiedepolitiikan kanssa. Eri tieteenalojen julkaisukulttuurit poikkeavat paljon toisistaan. Taloustieteilijöillä on perinteisesti ollut varsin yhteneväiset näkemykset siitä, mikä muodostaa tieteellisen erinomaisuuden.  

On myös tärkeää tunnistaa, että osa tiedejulkaisuista suosii toisia enemmän moninaisista lähtökohdista ammentavien tutkimuksen julkaisemista. Jos tutkimusorganisaatioissa tutkijoita kannustetaan julkaisemaan ensisijaisesti vain JUFO3-tason lehdissä, saattaa tarkoituksenmukaisiksi koettujen aiheiden ja menetelmien kirjo kaventua suppeammaksi kuin jos tutkijoiden sallitaan julkaisevan monipuolisesti alansa eri lehdissä.  

Monta asiantuntijaa on parempi kuin yksi 

Hyvin monet henkilöt ovat kiinnostuneita taloudesta ja sen toiminnasta. Ja koska talous on keskeisessä roolissa yhteisöissä, on ihmisillä myös hyvin erilaisia tulokulmia sen ymmärtämiseen.  

Demokraattisen päätöksenteon näkökulmasta olisi tärkeää ymmärtää ainakin jonkin verran sitä, miksi tietoa tuotetaan niin kuin sitä tuotetaan ja jääkö jotain olennaista tämän tuotetun tiedon ulkopuolelle. Esimerkiksi feminististen taloustieteilijöiden korostama hoiva ja sen merkitys on yksi tällainen teema. 

Uskon itse siihen, että monista lähtökohdista kumpuava tutkimustieto tekee tutkimuksesta vahvempaa, murentamatta liiaksi sen uskottavuutta. Kun tutkimuksessa yhtä aihetta lähestytään eri näkökulmista, voivat ihmiset ymmärtää paremmin, että asiat ovat monimutkaisia. Taloustiede voi tuoda selkeyttä päätöksentekoon ja auttaa suunnittelutyössä. Toisinaan taas monimutkaisten asioiden esittäminen yksinkertaisena voi johtaa kuitenkin myös epätoivottuihin seurauksiin. Siksi asiantuntijuuteen kuuluu myös omien rajojen tunnustaminen.  

Taloustietelijöiden silmät loistavat siinä missä kaikkien muidenkin, kun he pääsevät puhumaan aiheista, joihin he itse uskovat. Joskus on hyvin kiehtovaa seurata, miten ihmiset koittavat löytää keskustelun avulla yhteistä tietä kohti parempaa tulevaisuutta. Minulle tämä asia tuntui voimaannuttavalta huomata. Se tuntui täysin erilaiselta kuin aggressiiviset some-nokittelut ja suljettujen ovien takana laaditut poliittiset leikkauslistat. Ne valoivat uskoa siihen, että tieto tekee maailmasta paremman paikan.  

Anita Välikangas on tohtorikoulutettava TINT:issä ja työskenteli ReSES-tutkimushankkeessa koordinaattorina. Kaikkien ReSES-tapahtumien tallenteet löytyvät täältä. 
Toimittaneet: Jani Raerinne ja Teemu Lari 

20.11 Mariana Mazzucato: Industrial Strategy | ReSES AD Lecture

Date: 20.11.2024
Time: 16:00 (EET, Helsinki time)
Place: Online
Zoom link

ARGUMENTA DISTINGUISHED LECTURE

A New Approach to Industrial strategy:
Directing the economy toward an inclusive and sustainable future
Mariana Mazzucato

The ReSES project is happy to announce an upcoming online public lecture titled “A New Approach to Industrial Strategy” to be delivered by Mariana Mazzucato. This event is part of the Argumenta Distinguished Lectures series organized by ReSES at the Faculty of Social Sciences at the University of Helsinki.

Industrial strategy is experiencing a renaissance. Getting the details right matter. Mission-oriented industrial strategy needs to be more than words if we want to avoid missions becoming part of the problem, not the solution. During this lecture, Professor Mariana Mazzucato will offer insights gained from work with governments around the world – on opportunities ranging from healthy and sustainable housing estates in our local Camden Council to the ecological transition in Brazil – that are advancing new approaches to bring economic, social, and environmental policy goals into alignment at the centre of their growth strategies. She will explore what it takes for governments to design, implement, and govern new industrial strategies and examine the tools, institutions, partnerships, and capabilities governments need to deliver transformative change.

Mariana Mazzucato (PhD) is Professor in the Economics of Innovation and Public Value at University College London (UCL), where she is Founding Director of the UCL Institute for Innovation & Public Purpose. She is winner of international prizes including the Grande Ufficiale Ordine al Merito della Repubblica Italiana in 2021, Italy’s highest civilian honour, the 2020 John von Neumann Award, the 2019 All European Academies Madame de Staël Prize for Cultural Values, and 2018 Leontief Prize for Advancing the Frontiers of Economic Thought. Most recently, Pope Francis appointed her to the Pontifical Academy for Life for bringing ‘more humanity’ to the world.

As well as The Entrepreneurial State: debunking public vs. private sector myths (2013), she is the author of The Value of Everything: Making and Taking in the Global Economy (2018), Mission Economy: A Moonshot Guide to Changing Capitalism (2021), and most recently The Big Con: How the Consulting Industry Weakens our Businesses, Infantilizes our Governments and Warps our Economies (2023). She advises policymakers around the world on innovation-led inclusive and sustainable growth. Her roles have included for example Chair of the World Health Organization’s Council on the Economics of Health for All, Co-Chair of the Global Commission on the Economics of Water, a member of the South African President’s Economic Advisory Council, and the Co-Chair of the Group of Experts to the G20 Task Force for the Global Mobilization against Climate Change.

Funded by the Finnish Cultural Foundation, the ReSES project aims to rethink how economics can better serve society. The project’s Argumenta Distinguished Lectures series provides a platform for leading experts to present ideas that challenge conventional economic thought and promote societal well-being. Professor Mazzucato’s lecture, “A New Approach to Industrial Strategy” is a significant addition to this series.

The lecture is free and open to the public, reflecting the ReSES project’s dedication to making scholarly discussions accessible to a broad audience.

You can join the Zoom webinar via this link