La setmana passada publicàvem un primer apunt sobre el pla pilot de la RBU a Catalunya, on explicàvem les característiques bàsiques del pilot i què vol aportar. Aquí n’expliquem amb més detall el disseny metodològic, fruit de la col·laboració entre l’Oficina del Pla Pilot per a la implantació de la Renda Bàsica Universal i Ivàlua[1], una proposta innovadora i rigorosa que permet testar aspectes per als quals l’evidència és encara escassa o poc conclusiva.
La proposta metodològica: un doble pilot
Testar la implementació d’una RBU és un exercici interessant que pot contribuir al debat sobre la seva implementació, però que planteja diversos reptes metodològics. Per capturar-ne de manera rigorosa els efectes és necessari considerar els seus impactes en termes individuals i de llar i explorar els seus efectes agregats. Quan la mostra és limitada els experiments aleatoritzats permeten testar els primers, però són insuficients per testar els segons.
Amb l’objectiu de dissenyar un pilot que donades les limitacions de mostra permetés mesurar els efectes de la RBU de manera rigorosa s’ha dissenyat un doble pilot que combina un experiment aleatoritzat controlat a nivell de domicili i un experiment sintètic a nivell de municipi.
L’experiment aleatoritzat controlat
L’objectiu d’aquest experiment és entendre quins són els efectes d’atorgar una RBU sobre els comportaments, les decisions i el benestar de les persones que la reben i de les seves llars.
S’atorgaria la RBU a unes 2.500 persones escollides de manera aleatòria entre totes les persones elegibles de Catalunya que es compararien amb 2.500 persones més també escollides de forma totalment aleatòria. Com que l’únic factor que determinaria la percepció de la RBU és l’atzar, els dos grups serien comparables i si hi ha diferències entre ambdós aquestes es podrien atribuir a l’efecte del tractament.
El disseny s’ha pensat per simular una renda bàsica i individual. Per seleccionar les persones participants s’utilitzaria el registre de població de Catalunya. L’assignació al tractament seria per domicili, però la prestació s’atorgaria a nivell individual, és a dir, la quantia seria la mateixa per a tots els participants del grup de tractament (800€ per a adults i 300€ per a menors), independentment de la seva situació de convivència i tots els individus d’un domicili que fossin elegibles la percebrien.
Aleatoritzar a nivell de domicili però assignar la RBU a nivell individual garantiria que la RBU es percebés individualment i que en general mantindria la seva quantia bàsica, en reduir els casos on només una persona de la llar la rebria i la compartiria amb la resta. Alhora permetria analitzar els efectes de la RBU en les decisions a nivell individual i de llar en una situació en què tots els membres elegibles del domicili percebrien la prestació.
L’experiment sintètic
L’objectiu de l’experiment sintètic és testar quins són els efectes agregats d’atorgar una RBU a tota una comunitat sobre l’economia local, la participació i cohesió social, el funcionament dels serveis públics d’aquesta comunitat i els comportaments de les persones que hi viuen.
Un experiment sintètic és una metodologia que permet estimar efectes causals quan hi ha poques unitats tractades i testar efectes agregats al nivell de la unitat tractada. En un experiment sintètic, en lloc de tractar una gran quantitat d’unitats, es busca una combinació convexa de poques unitats (per exemple, pobles) que replica la mitjana de la població objectiu abans de rebre el tractament. Paral·lelament, es construeix un poble de control sintètic que recrea el poble sintètic de tractament, però que no rebrà el tractament. Comparant els valors del tractament sintètic i del control sintètic després de la intervenció podem estimar l’efecte del tractament.
En el marc de l’experiment sintètic, s’atorgaria la RBU en dos municipis de Catalunya de 1.200-1.400 habitants amb la idea que la RBU acabés arribant a unes 2.500 persones més. En aquest cas, els resultats es compararien amb els resultats d’un conjunt de municipis que conformarien el control sintètic, els habitants dels quals no rebrien la RBU.
Per dissenyar experiments sintètics amb múltiples variables, Vives-i-Bastida (2023) ha adaptat l’algoritme proposat per Abadie i Zhao (2021). Per a la selecció dels municipis hem considerat tres àrees en què ens interessa particularment que els dos grups sintètics reprodueixin bé les tendències pretractament dels municipis de Catalunya de menys de 50.000 habitants: el mercat laboral (taxa d’atur), el sistema sanitari (taxa d’hospitalitzacions) i els serveis socials (taxa d’utilització).
Amb les dades hem creat dos períodes temporals: un període d’entrenament (2012-2018) i un període en “blanc” (2018-2022). El període d’entrenament s’utilitza per trobar la combinació de municipis candidats que recrea més bé la mitjana dels municipis no urbans de Catalunya per a cada variable d’interès i la combinació de municipis (excloent els escollits a tractar) que conforma el millor control sintètic. El tractament s’administra al final del període en blanc.
Figura 1: Municipis de tractament i de control sintètics
La figura 1 mostra els valors per a les variables d’interès per la mitjana de la població (excloent-ne les ciutats grans), el municipi sintètic (que combina dos municipis) i el control sintètic (basat en cinc altres municipis). La línia discontínua denota la fi del període d’entrenament del model i el començament del període en blanc. La validesa del mètode recau en el fet que les tres línies siguin molt similars en el període d’entrenament (que es pugui replicar la població amb els municipis sintètics) i que les diferències en el període en blanc no siguin grans. En el cas del pla pilot és així per a les tres variables (figura 1) i podem concloure que tenim un contrafactual plausible per a l’estimació dels efectes agregats de la RBU en municipis de menys de 50.000 habitants.
La inferència estadística es basa a comparar els efectes observats un cop administrat el tractament amb els efectes observats en el període en blanc. Com que no s’utilitzen els valors del període en blanc per generar els municipis sintètics i tampoc hi ha tractament, les discrepàncies observades entre controls i tractament venen donades per errors idiosincràtics. Comparant els efectes observats posttractament amb els efectes del període en blanc podem determinar la probabilitat que els efectes observats siguin donats per l’atzar en lloc de pel tractament. L’avantatge dels experiments sintètics és poder determinar aquesta probabilitat sense necessitat de tractar gaires municipis.
Què permet testar aquest disseny?
El pilot no podrà considerar com es finançarà la RBU i com s’integrarà al sistema de benestar existent. Tanmateix, conjuntament els dos experiments podrien aportar llum sobre els efectes d’una transferència no focalitzada i de quantia bàsica. L’experiment aleatoritzat controlat hauria d’ajudar a entendre quines decisions prenen els individus a conseqüència d’estar rebent aquesta prestació durant dos anys. L’experiment sintètic hauria de permetre entendre què passa a nivell agregat quan en un territori gairebé totes les persones en són beneficiàries. Així, la metodologia proposada assegura una avaluació d’impacte rigorosa i útil.
L’informe del disseny, l’assessorament amb les recomanacions, la revisió d’evidència i els fonaments teòrics de l’experiment sintètic es poden trobar al web d’Ivàlua.
[1] L’equip d’Ivàlua està format per Mireia Borrell Porta, Júlia de Quintana Medina, Anna Segura Lladó i els col·laboradors externs Gianmarco León-Ciliotta (UPF, BSE y IPEG), Xavier Ramos (UAB), i Jaume Vives-i-Bastida (MIT).
