Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
Revista ELectrónica de Investigación
y EValuación Educativa
e-Journal of Educational Research,
Assessment and Evaluation
ISSN: 1134-4032
Revisitando las revisiones sistemáticas desde la perspectiva
metodológica
Revisiting systematic reviews from a methodological perspective
Revisitando as revisões sistemáticas numa perspetiva metodológica
从方法论的视角对系统综述进行综述
مراجعة المراجعات المنهجية من منظور منهجي
M. Teresa Anguera
Universidad de Barcelona, España.
Resumen
La veloz expansión de las revisiones sistemáticas en los últimos años ha dado lugar a un crecimiento que en muchas
ocasiones ha adolecido del necesario control. Prácticamente en todos los ámbitos y subámbitos del conocimiento se han
realizado multitud de revisiones sistemáticas, a lo cual ha influido el movimiento de la práctica basada en la evidencia y
la facilidad de acceso a un amplio abanico de fuentes bibliográficas. Sin embargo, se hace necesario resituarlas desde una
perspectiva metodológica, y por diversas razones, como estar alerta sobre un uso no siempre correcto de la terminología y
los conceptos procedimentales, definir los objetivos y enfoque en cuanto a estrategia, plantear una estructura adecuada,
dotar a las revisiones sistemáticas de una amplitud, profundidad y extensión idóneas, y evaluar la calidad metodológica de
los documentos primarios, que en la actualidad recomendamos dimensionar desde un planteamiento mixed methods
considerado como continuum, frente a la polarización anterior en las vertientes cualitativa y cuantitativa.
Palabras clave: Síntesis, mixed methods, revisiones agregativas y configurativas, calidad metodológica, diagrama
PRISMA.
Abstract
The rapid expansion of systematic reviews in recent years has led to growth that has often lacked the required oversight.
A large number of systematic reviews have been performed in practically all contexts and sub-contexts of knowledge. This
has influenced the movement towards evidence-based practice and ease of access to a wide array of bibliographic sources.
Nonetheless, this also makes it necessary to reposition systematic reviews from a methodological perspective. Alongside
this, for various reasons, such as being alert to the often-incorrect use of terminology and procedural concepts, it will be
necessary to redefine their aims and approach regarding strategy, propose an appropriate structure, bestow them with
optimal breadth, depth and coverage, and evaluate the methodological quality of the primary documents on which they are
based. In the present context, it is urged to structure such reviews from a mixed methods approach, which offers a
continuum between the qualitative at one end and the quantitative at the other.
Keywords: Synthesis, mixed methods, aggregative and configurative reviews, methodological quality, PRISMA
diagram.
Received/Recibido
Mar 31, 2023
Approved /Aprobado
Apr 17, 2023
Published/Publicado
Jun 29, 2023
Corresponding author / Autor de contacto: M. Teresa Anguera. Facultad de Psicología. Universidad de Barcelona.
Pº. Vall d'Hebron, 171; 08035 Barcelona (España); correo-e: mtanguera@gmail.com
│1
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
Resumo
A rápida expansão das revisões sistemáticas nos últimos anos levou a um crescimento que, muitas vezes, não teve o
controlo necessário. Foram efetuadas inúmeras revisões sistemáticas em praticamente todos os domínios e subdomínios
do conhecimento, influenciadas pelo movimento da prática baseada na evidência e na facilidade de acesso a um vasto
leque de fontes bibliográficas. No entanto, é necessário reposicioná-las numa perspetiva metodológica, e por diversas
razões, tais como estar atento ao uso nem sempre correto da terminologia e dos conceitos processuais, definir os objetivos
e a abordagem em termos de estratégia, propor uma estrutura adequada, dar às revisões sistemáticas uma amplitude,
profundidade e extensão ideais, e avaliar a qualidade metodológica dos documentos primários, que, atualmente,
recomendamos dimensionar a partir de uma abordagem de mixed methods considerada como um continuum, em oposição
à polarização anterior nas vertentes qualitativa e quantitativa.
Palavras-chave: Síntese, mixed methods, revisões agregativas e configurativas, qualidade metodológica, diagrama
PRISMA.
摘要
近年来系统综述发展迅速，但很多情况下这样的快速增长背后缺乏必要的控制。几乎在所有的知识领域和子领
域都已开展了数量众多的系统综述，这也积极地推动了循证实践的发展，为丰富的书目查阅和引用提供了极大
的便利。然而，我们认为有必要从方法论的视角对系统综述重新定位。促使我们提出该建议的原因众多，如：
术语及相关概念的用法不正确；在定义综述目的和方法中，策略和结构的选用并不合适；系统综述的广度、深
度和拓展度并不理想；历史资料评估的方法学质量差强人意。因此，我们建议从连续统这样的混合方法的角度
出发，解决前文提到的定量与定性两极分化的问题。
关键词: 综合、混合方法、合成性和布局性综述、方法学质量、PRISMA 流程图（系统综述和 meta 分析首选报
告流程图）
ملخص
عمليا في جميع المجاالت. أدى التوسع السريع في المراجعات المنهجية في السنوات األخيرة إلى ظهور نمو افتقر في كثير من األحيان إلى السيطرة الالزمة
والتي تأثرت بحركة الممارسة القائمة على األدلة وسهولة الوصول إلى مجموعة واسعة, تم إجراء العديد من المراجعات المنهجية, والمجاالت الفرعية للمعرفة
مثل التنبيه إلى االستخدام غير الصحيح للمصطلحات والمفاهيم, وألسباب مختلفة, من الضروري نقلها من منظور منهجي, ومع ذلك. من المصادر الببليوغرافية
وتقييم الجودة, واقتراح هيكل مناسبتقديم مراجعات منهجية مع اتساع وعمق وامتداد مناسبين, وتحديد األهداف والنهج من حيث االستراتيجية, اإلجرائية
على عكس االستقطاب السابق فيالجوانب, والتي نوصي حاليًا بأبعادها من نهج طرق مختلطة يعتبر سلسلة متصلة, المنهجية للوثائق األولية
مخطط بريسما, الجودة المنهجية, المراجعات التجميعية والتكوينية, طرق مختلطة, توليف:الكلمات الدالة
1.- Revisiones sistemáticas: desarrollo
y relevancia
En la última década, y en buena medida
también recientemente por influencia de la
pandemia, en cualquier ámbito científico se
constata el interés por recopilar datos de forma
transparente, comunicar sus conclusiones, y
compartirlos a través de redes de colaboración,
de acuerdo con los principios fundamentales
de la ciencia abierta (Vicente-Sáez &
Martínez-Fuentes, 2018). En estrecha relación
se halla el movimiento de acceso abierto, que
promueve la libre disponibilidad de los
resultados de la investigación. Tanto la ciencia
RELIEVE
abierta como el acceso abierto pretenden
mejorar la calidad de la investigación, la
integridad de los datos de investigación, la
eficiencia en su uso, el impacto social y la
aplicación de la investigación académica
(Munafo et al., 2018; Tennant et al., 2016). En
definitiva, favorecen la realización de estudios
de síntesis, en su amplia variabilidad.
La historia de las revisiones sistemáticas es
relativamente reciente (Bohlin, 2012;
Chalmers et al., 2002), y en los últimos veinte
años se han desarrollado enfoques diversos,
focalizados principalmente en la consideración
de documentos primarios cualitativos y
│2
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
cuantitativos, o en el papel central de la teoría
para sintetizar la información existente
(Pawson, 2006), o en la comprensión de la
investigación en su contexto social y
paradigmático (Greenhalgh et al., 2005).
En los estudios de síntesis, y en concreto en
las revisiones sistemáticas, mientras las tablas
y figuras proporcionaban gran parte del
atractivo en investigaciones cuantitativas, los
cuadros de experiencias y figuras retóricas lo
aportaban en investigaciones cualitativas.
Como dice Sandelowski (2007), whether you as a reviewer- judge a set of research findings
as vivid or lifeless, coherent or confusing,
novel or pedestrian, or as ringing true or false,
you are ultimately making, not just a
communal judgement, but also a uniquely
personal and aesthetic one (p. xix).
Dada la explosión de conocimiento y la
facilidad de acceso a un amplísimo abanico de
fuentes en la última década, se hacía imposible
abarcar la información en un subámbito
determinado. El rápido crecimiento de las
revisiones sistemáticas, según Gough (2015),
se debe a varias razones: (1) Se ha difundido
ampliamente la formación que se requiere; (2)
ha aumentado la capacidad de realización; (3)
se trabaja con una transparencia máxima; y (4)
se ha fortalecido metodológicamente.
La polarización metodológica cualitativocuantitativo ha pesado de forma determinante
en la estructuración y desarrollo de la revisión
sistemática en el último cuarto de siglo, dando
lugar a que esta figura de síntesis, la revisión
sistemática, se considere cualitativa por gran
parte de la comunidad científica. Además, a
diferencia de revisiones de carácter
cuantitativo, se constata (Lockwood et al.,
2020) que los rasgos normativos atribuidos a
las revisiones sistemáticas de datos cualitativos
han sido cuestionados, adoptados, rechazados
o transpuestos en diversa medida a conceptos
y métodos análogos, ajustándose a los matices
de los paradigmas de investigación,
especialmente de carácter crítico e
interpretativo.
La revisión sistemática se ha considerado
tradicionalmente como qualitative evidence, y
RELIEVE
tiene su origen en el análisis de la complejidad
de fenómenos humanos en marcos naturales o
habituales y desde una perspectiva holística
(Ailinger, 2003). Las metodologías utilizadas
en
los
documentos
primarios
son
habitualmente entrevistas y observación
(directa e indirecta) (Lockwood et al., 2020),
aunque hay que matizar que se adopta un
planteamiento no actualizado de carácter
cualitativo.
La lógica de las revisiones sistemáticas es
muy sencilla. Se utilizan enfoques
transparentes y rigurosos que requieren la
previa selección de documentos primarios con
el fin de integrar los resultados de los distintos
estudios para responder a una pregunta de
investigación (síntesis de la investigación). Sin
embargo, el desarrollo metodológico no ha ido
acompañado por una tipología clara de
revisiones sistemáticas, dando lugar a una
terminología frecuentemente alambicada que
nada ha contribuido a clarificar y optimizar
este trabajo de síntesis (Gough, 2007),
pudiendo dar lugar a generalizaciones
excesivas, simplificaciones injustificadas,
suposiciones sobre diferencias que solamente
se aplican a determinadas fases. Además, se
han producido debates altamente polarizados
sobre la utilidad y relevancia de los diferentes
paradigmas de investigación en los que se
ubiquen diferentes documentos primarios a
sintetizar. De ahí que el conocimiento de la
naturaleza y los puntos fuertes de diferentes
formas de revisión es necesario para una
adecuada toma de decisión acerca de la forma
de llevar a cabo la revisión sistemática.
2.- Estrategias de
revisiones sistemáticas
síntesis
en
Las propuestas de estrategias de síntesis de
diferentes autores se “entrecruzan” con los
clásicos enfoques cualitativos / cuantitativos no
siempre
coincidentes
entre
sí(Sandelowski, Voils, Leeman, et al., 2011), al
que se ha añadido el enfoque mixed methods,
que nos interesa de forma especial. El
“binario” cualitativo-cuantitativo ha sido útil
en determinados aspectos, pero especialmente
conflictivo en otros, y Allwood (2011) lo
│3
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
considera un impedimento importante para el
avance metodológico, con lo cual estamos de
acuerdo.
Sandelowski et al. (2006) dieron el nombre
de mixed research synthesis al “type of
systematic review aimed at the integration of
results from both qualitative and quantitative
studies in a shared domain of empirical
research” (p. 29), a lo cual hay que añadir que
también estudios mixed methods están en la
actualidad formando parte de revisiones
sistemáticas como documentos primarios
(Gough, 2015; Pluye, 2015; Pluye & Gough,
2014).
Por supuesto, contrasta con los estudios
primarios mixed methods en los cuales, el
conjunto de datos disponibles para la
investigación proceden de entrevistas,
observación
sistemática,
cuestionarios,
medidas
fisiológicas,
etc.,
obtenidos
directamente de los participantes en los
respectivos estudios seleccionados para la
revisión sistemática, mientras que los datos en
la mixed research synthesis son los hallazgos
obtenidos en los estudios primarios.
El foco de la mixed research synthesis se
halla en la integración por parte de los
investigadores de sus datos, o de los resultados
que comunican. Los productos de la mixed
methods synthesis son la integración por parte
de otros investigadores de estos resultados para
“resumir” lo que se sabe sobre un fenómeno
concreto, orientando tanto la práctica como la
investigación futura (Sandelowski et al.,
2006).
El ímpetu con el que surgió la mixed
research synthesis es el resultado de la
convergencia entre la practica basada en la
evidencia y el surgimiento de la investigación
cualitativa (Sandelowski et al., 2006).
Respecto a la primera, en diferentes disciplinas
(medicina, educación, trabajo social, etc.) se
consideraba como la utilización consciente,
explícita y judiciosa de la información para
servir de base para la práctica (Trinder, 2000;
Trinder & Reynolds, 2000), lo cual tenía un
gran potencial para incrementar la utilidad de
la investigación y la efectividad de la práctica.
RELIEVE
Y en cuanto a la segunda, el surgimiento de la
investigación cualitativa en los últimos 40 años
dio lugar a un incremento exponencial de
publicaciones y una creciente preocupación
por su infrautilización, lo cual, en un contexto
de renovado interés por mejorar la utilidad de
la
investigación
mediante
revisiones
sistemáticas de la misma, despertaron el interés
por realizar síntesis de la investigación
cualitativa (Sandelowski, 2004). Cientos de
estudios de síntesis se han publicado en los
ámbitos educativo, psicológico, sociológico,
etc., y es una realidad que las investigaciones
cualitativas se hallan en la cresta de la ola de
popularidad (Morse, 1994).
Los avances en las síntesis cualitativas y
cuantitativas y la creciente importancia de los
mixed methods como “tercer paradigma de
investigación” (Johnson & Onwuegbuzie,
2004) han contribuido al interés por la mixed
research synthesis. Pero para que avance la
mixed research synthesis se requiere que los
investigadores resuelvan los problemas
generados por la diversidad metodológica
dentro y entre estudios cualitativos y
cuantitativos, y no es fácil. Hubo mucho
desaliento (Sandelowski et al., 2006),
originado por la complejidad de los problemas
y también por las contradicciones. Un pequeño
ejemplo lo puede ilustrar: ¿qué hacer cuando
confluían estudios cualitativos de un solo
participante (por ejemplo, una historia de vida)
con un estudio también de un solo participante,
pero de carácter experimental y N=1? (Eisner,
1991; Owens & Ferron, 2012).
Los investigadores cualitativos han instado
el desarrollo de métodos de síntesis propios de
la investigación cualitativa y han advertido
contra la dependencia de la síntesis de la
investigación cuantitativa como modelo para la
síntesis de la investigación cualitativa
(Barbour & Barbour, 2003; Jones, 2004). Sin
embargo, el debate ha continuado, desde
numerosos aspectos derivados (terminología,
recuperación de todos los informes de un
determinado ámbito o solamente una muestra
de ellos, uso de criterios de calidad para
evaluar estudios cualitativos, metas de la
│4
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
síntesis
cualitativa,
resultados, etc.).
interpretación
de
En la síntesis de estudios cuantitativos el
problema esencial es la diversidad
metodológica entre estudios observacionales y
experimentales, con lo que significa de
contraste el estudio de fenómenos “reales” y
diferencias “artefactuales” (Glasziou &
Sanders, 2002), además de heterogeneidad
interna en cada uno de estos grupos. Las
numerosas técnicas estadísticas utilizadas en el
metaanálisis -que se identifica en buena
medida con la síntesis de estudios
cuantitativos- continúan generando debate.
La mixed research synthesis implica
“mezclar” las diferencias que caracterizan los
esfuerzos por integrar los resultados de
investigaciones cualitativas con los esfuerzos
por integrar los resultados de investigaciones
cuantitativas (Sandelowski et al., 2006).
Sandelowski et al. (2006) propusieron tres
diseños para la mixed research synthesis:
segregated design, integrated design,
contingent design.
El segregated design mantiene la
convencional
distinción
binaria
entre
investigación cualitativa y cuantitativa, y se
basa en las siguientes suposiciones: (1) los
estudios cualitativos y cuantitativos son
totalmente diferentes, y por tanto deben
tratarse por separado; (2) los estudios
cualitativos y cuantitativos pueden distinguirse
fácilmente unos de otros; (3) las diferencias
entre ellos justifican análisis separados y
síntesis de los resultados; (4) las síntesis de
conclusiones cualitativas requieren “métodos”
(en nuestra terminología, serían “estrategias”)
desarrollados únicamente para sintetizar
conclusiones cualitativas; y (5) las síntesis de
conclusiones
cuantitativas
requieren
“métodos” (en nuestra terminología, serían
“estrategias”) desarrollados únicamente para
sintetizar
conclusiones
cuantitativas
(Sandelowski et al. 2006).
Este diseño resulta adecuado cuando las
respectivas conclusiones cualitativas y
cuantitativas se ven como complementarias como ejemplo, ver Maxwell (2004a, 2004b)-,
RELIEVE
y también cuando la síntesis se concibe como
configuración (relación entre conceptos,
ordenación temporal de eventos, etc.) -como
ejemplo, ver Greenhalgh et al. (2005) o Pound
et al. (2005)- entendida como opuesta a
asimilación.
En el integrated design se minimizan las
diferencias metodológicas entre estudios
cualitativos y cuantitativos, en tanto que se
considera que las conclusiones se pueden
transformar de unos a otros. Se basa en las
siguientes conclusiones: (1) cualquier
diferencia que exista entre estudios cualitativos
y cuantitativos no justifica análisis ni síntesis
separados; (2) los estudios designados como
cualitativos
o cuantitativos
no son
necesariamente distinguibles entre sí; (3) los
estudios cualitativos y cuantitativos de un
mismo ámbito de investigación pueden tener
los mismos objetivos de investigación; y (4) las
síntesis de las conclusiones cualitativas y
cuantitativas se pueden llevar a cabo a partir de
“métodos” (en nuestra terminología, serían
“estrategias”) desarrollados para conclusiones
cualitativas y cuantitativas.
En los diseños integrados los estudios de un
determinado ámbito se agrupan por síntesis,
pero no por métodos (cualitativos y
cuantitativos); es decir, conclusiones que
responden a la misma pregunta, lo cual podría
suponer un tipo de confirmación. Se pueden
producir transformaciones de datos, como el
quantitizing y el qualitizing (Anguera, 2022;
Onwuegbuzie & Teddie, 2003; Sandelowski &
Barroso, 2007; Sandelowski et al., 2009).
En el contingent design los resultados de la
síntesis de las conclusiones en un primer grupo
de estudios para responder a una pregunta de
investigación determinan el siguiente grupo de
estudios que se recuperarán y analizarán para
responder a una segunda pregunta de
investigación, cuyos resultados, a su vez,
pueden conducir al análisis de un tercer grupo
de estudios recuperados para responder a otra
pregunta de investigación. El ciclo de revisión
sistemática continúa hasta que puede
presentarse una síntesis exhaustiva de la
│5
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
investigación que responda a los objetivos de
los investigadores.
Los diseños contingentes pueden depender
o no de la existencia de líneas divisorias entre
estudios cualitativos y cuantitativos y entre
métodos de investigación cualitativos y
cuantitativos.
Más recientemente, Pluye (2015) ha
trabajado incansablemente en la síntesis
cuando entre los documentos primarios hay
estudios cualitativos, cuantitativos y mixed
methods. Describió tres tipos principales de
diseños de síntesis para revisiones
sistemáticas: Diseños de convergencia
cualitativa
(síntesis
temática,
síntesis
metanarrativa, síntesis realista, y síntesis
interpretativa crítica), diseños de convergencia
cuantitativa (análisis de contenido y análisis
booleano),
y
diseños
secuenciales
(exploratorios o explicativos).
3.- Perspectiva metodológica en las
revisiones sistemáticas
El movimiento de la práctica basada en la
evidencia, y en diversas disciplinas
(Educación, Psicología, Medicina, Deporte,
Enfermería, etc.) ha incorporado y fortalecido
la perspectiva metodológica en las revisiones
sistemáticas,
generando muchos trabajos
sobre la integración de los hallazgos obtenidos
en estudios metodológicamente diversos (Boaz
et al., 2006; Harden & Thomas, 2005),
incrementando el interés por los resultados de
investigaciones empíricas (Hawker et al.
2002), poniendo el foco en la relevancia
metodológica de los estudios primarios
(Gough et al., 2012; Pluye, 2015; Pluye &
Gough, 2014), e incluso dedicando un espacio
a su revisión metodológica (Alarcón-Espinoza
et al., 2022; Anguera et al., 2023; Preciado et
al., 2019, 2021; Sarmento et al., 2018;
Tronchoni et al., 2022).
Precisamente fueron Gough et al. (2012)
quienes mostraron interés inicialmente por
aspectos metodológicos.
3.1.-Dimensiones diferenciales
RELIEVE
Partimos de que las revisiones sistemáticas
siguen una lógica que se puede aplicar a todas
las áreas de investigación, por lo que puede
haber tanta heterogeneidad en las revisiones
sistemáticas como en la investigación
primaria, aunque el hecho de que sean
“sistemáticas” implica que se llevan a cabo
desde directrices metodológicas. Es tal la
variabilidad
de
posibles
revisiones
sistemáticas que Gough et al. (2012)
plantearon
tres
grandes
dimensiones
diferenciales: (1) objetivos y enfoque en
cuanto a metodología, (2) estructura y
componentes, y (3) amplitud, profundidad y
extensión, a las que nos referiremos después de
una llamada a la corrección terminológica en
cuestiones metodológicas (Figura 1).
(0) Necesidad de uso correcto de los términos
metodológicos
En primer lugar, hacemos una llamada seria
y de grave preocupación respecto a la
confusión generada por un uso no preciso y
generalizado de la terminología metodológica:
estrategia y metodología, método y técnica,
mixed methods y mutimethods, etc., lo cual
conlleva errores diversos, como considerar
como metodología algo que no lo es, o
pretender comparar elementos metodológicos
que no son comparables (por ejemplo, análisis
temático, cálculo de tamaño de efecto,
creación de recursos visuales, …) (Gough et
al., 2012; Sandelowski, Voils, Leeman, et al.,
2011). Por una parte, con mucha frecuencia se
utiliza el término “método” o “metodología”
para referirnos a un enfoque o estrategia, que
está menos estructurado, y, por otra, se utilizan
indistintamente con gran frecuencia los
términos “método” y “técnica”, que ponen en
entredicho la idea de que se pueden contrastar
diferentes métodos en el mismo conjunto de
estudios primarios para comparar sus ventajas
y los resultados de la síntesis de los estudios
primarios (Dixon-Woods et al., 2005; Lucas et
al., 2007). Asimismo, el uso no específico de
términos/expresiones como mixed methods y
multimethods ha comportado una elevada
imprecisión en numerosos trabajos (Anguera et
al., 2018).
│6
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
En ocasiones se atribuye a una innovación
metodológica lo que son transgresiones de la
norma, poniendo en tela de juicio la línea que
separa la reinvención de la innovación (Taylor
& Coffey, 2009; Travers, 2009), y la que se
halla entre la reinvención y la erosión del
método (Greckhamer & Koro-Ljungberg,
2005), y debe saber distinguirse lo esencial de
lo secundario.
Figura 1. Dimensiones diferenciales en las Revisiones Sistemáticas
(1) Objetivos y enfoque en cuanto a estrategia
Si bien no existe una tipología consensuada
(Grant & Booth, 2009), y muchos autores
utilizan el término “metodología”, que
consideramos podría resultar arriesgado o
cuando menos confuso, la estrategia de
realización de estudios de síntesis se halla en la
actualidad ante un panorama en el cual prima
la diversificación de posiciones, y si bien se
pretende por lo general comprobar
empíricamente que la teoría funciona, también
se pueden generar hipótesis sobre relaciones
causales (Gough et al., 2012). Existen dos
grandes lógicas, de agregación y de
configuración, y la opción por una u otra no se
debe -al menos exclusivamente- a la elección
del investigador, sino que la propia naturaleza
de los resultados de los documentos primarios
desempeña un papel importante en favor de la
opción por una de ellas (Sandelowski, Voils,
Leeman, et al., 2011).
RELIEVE
Diversos autores (Gough et al., 2012;
Pawson et al., 2022; Sandelowski, Voils,
Leeman, et al., 2011) han desarrollado ambas
estrategias, y destacamos que con matices no
siempre coincidentes. En una revisión
sistemática se pueden formular preguntas
relativas al significado de un fenómeno,
precisión de una herramienta determinada,
atributos de una actividad específica, efecto de
una intervención, coste de una intervención,
interpretación de los resultados, etc., pero,
indudablemente, se deben adoptar decisiones
relevantes que comportan importantes
consecuencias. Por ejemplo, no es lo mismo
que la búsqueda de documentos primarios
pretenda conseguir desde el inicio una muestra
representativa
(denominada
“búsqueda
exhaustiva”) de documentos primarios, con el
fin de evitar sesgos, o que se realice un
muestreo progresivo que se desarrolle
inductivamente a partir de literatura emergente
que comporte profundizar en el marco teórico.
│7
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
Las revisiones agregativas recopilan datos
empíricos para describir y probar conceptos
predefinidos,
utilizando
una
lógica
“agregativa” dentro de posiciones teóricas
predefinidas, e interesa la homogeneidad de los
estudios primarios; la lógica de la agregación
se basa en identificar estudios que se apoyan
mutuamente, y por tanto ofrecen al revisor
mayor certeza sobre la magnitud y variabilidad
del fenómeno investigado. En cambio, las
revisiones configurativas suelen tener un
carácter
exploratorio,
adaptando
y
seleccionando iterativamente formas de
proceder a medida que avanza la investigación,
e interesándose por la identificación de
patrones que aporte la heterogeneidad de
estudios (Barnett-Page & Thomas, 2009), con
lo cual el objetivo es encontrar suficientes
casos para explorar regularidades y diferencias
entre ellos.
Tanto las revisiones agregativas como
configurativas pretenden evitar conclusiones
erróneas debido a problemas en los
documentos primarios. En los estudios
agregativos hay una mayor garantía de calidad
metodológica, dado que se conoce el detalle de
los criterios de inclusión y exclusión, y se
puede estipular, por ejemplo, incluir solamente
determinados tipos de estudio, con unas
características metodológicas determinadas.
Sin embargo, en las revisiones configurativas
hay menos consenso en la práctica de la
evaluación de la calidad, y hay autores que
rechazan la idea de que la calidad de un estudio
pueda evaluarse mediante el examen de la
metodología seguida, y dan prioridad a otras
cuestiones, como la contribución del estudio
para probar o generar teoría (Harden & Gough,
2012).
Aunque las lógicas de la agregación y de la
configuración exigen estrategias de revisión
diferentes (Sandelowski, Voils, & Barroso,
2006; Sandelowski, Voils, Leeman, et al.,
2011; Voils et al., 2008), y ninguna de ellas es
superior a la otra, una revisión sistemática
suele incluir componentes de ambos, aunque es
frecuente que sean predominantemente
agregativas o configurativas. En la actualidad,
RELIEVE
en los trabajos de síntesis, prima
multiplicidad en lugar de la parsimonia.
la
En este contexto, lo que sí debe evitarse es
la confusión que se puede producir entre la
orientación epistemológica de la síntesis con la
orientación de los estudios primarios que se
sintetizan (Sandelowski, Voils, Leeman, et al.,
2011; Suri & Clarke, 2009).
(2) Estructura y componentes.
Las revisiones sistemáticas varían en su
estructura (Gough & Thomas, 2012), que
puede adoptar diversas formas, siendo el mapa
la más habitual, aunque son diversas las
decisiones que se pueden tomar, como
sintetizar solo un subconjunto de estudios, o
realizar varias síntesis desplegadas en
diferentes áreas del mismo mapa.
El nudo gordiano que consideramos
esencial es la revisión mixed methods, que
tiene muchas similitudes con el planteamiento
base de los estudios primarios mixed methods.
Se combinan elementos (datos, resultados, …)
cualitativos y cuantitativos de las diferentes
investigaciones, pudiéndose adoptar diferentes
opciones, como desarrollo de procesos
iterativos en ciertos aspectos, revisiones
agregativas basadas en el marco teórico, etc.
Una modalidad frecuente de revisiones
mixed method son las llamadas síntesis
realistas (Pawson, 2006). Su estructura
consiste, en una primera parte, en que hay que
aclarar la teoría y probarla empíricamente,
mientras que en una segunda parte hay que
comprobar los subcomponentes de la teoría. La
principal diferencia con la revisión “estándar”
se halla en que la búsqueda de pruebas
empíricas es un proceso iterativo.
Es posible realizar revisiones sistemáticas
considerando como datos otras revisiones
sistemáticas (Smith et al., 2011). Las
revisiones de revisiones pueden realizarse a
partir de los resultados obtenidos o
profundizando en los datos de los cuales se
disponía en dichas revisiones.
(3) Amplitud, profundidad y extensión.
│8
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
Los documentos primarios y las revisiones
se contemplan en ocasiones como productos
aislados, pero suelen ser un paso o etapa en
estudios a más largo plazo (Gough et al.,
2009).
Hay revisiones sistemáticas realizadas
mediate la estrategia agregativa que pretenden
la máxima homogeneidad en el objetivo y
metodología de los documentos primarios. En
estas revisiones la amplitud se estrecha (Gough
et al., 2012), y si bien es positivo desde
determinados puntos de vista, también es cierto
que se requerirían diversas revisiones
sistemáticas “estrechas” con el fin de tomar las
decisiones adecuadas.
Sin embargo, cuando se pretenden abordar
cuestiones complejas, se requiere un punto de
vista más amplio, como por ejemplo, en la
evaluación del impacto de intervenciones
complejas. Resulta lógico contemplar que en
estos casos puede haber múltiples variaciones
en cuestiones relativas a frecuencia, duración,
grado, fidelidad de la intervención (Carroll et
al., 2007), que comportará diferentes efectos
en distintos participantes, y en los contextos en
que se juzgue necesario. Esta variabilidad
podría impactar de manera diferencial en
cuestiones conceptuales y en cómo se entiende
la eficacia de la intervención. En este caso la
revisión requeriría ensanchar el mapa para
centrarse en la interpretación de síntesis más
restringidas.
La amplitud de la revisión, en definitiva, se
puede “calibrar” a partir de revisiones únicas,
de secuencias de revisiones, de revisiones de
revisiones, y, en cualquier caso, siempre habrá
un círculo más amplio de compromiso y
respuesta a los usuarios de la investigación
(Stewart & Oliver, 2012).
Los recursos necesarios para una revisión
sistemática pueden ser muy heterogéneos, e
incluirá no solamente la amplitud de la
revisión, sino su profundidad. Las revisiones
mixed methods requieren más recursos, al
aumentar la complejidad. Cuando el tiempo
disponible es corto y los recursos escasean, se
puede llevar a cabo una denominada “revisión
limitada” (Abrami et al., 2010), en la cual se
RELIEVE
reducen determinados aspectos, como por
ejemplo la amplitud de la pregunta de
investigación, las fuentes buscadas, la
profundidad del análisis, etc.
En definitiva, las revisiones pueden
realizarse con diferentes niveles de destreza,
eficiencia, y utensilios automatizados, y el
trabajo que implican al llevarse a cabo es muy
heterogéneo.
3.2.- Registro de ensayos y protocolos
En línea con la filosofía de las revisiones
sistemáticas, ha existido un inusitado interés
focalizado en la preparación de protocolos, al
considerar que su uso permite aumentar la
transparencia y la calidad de la investigación.
Según Plos Medicine Editors (2011),
muchas revistas (especialmente médicas)
empezaron a exigir que los ensayos se
registraran antes de considerar el informe para
su publicación. Esta política se estableció
explícitamente para reducir lo que se
consideraba un sesgo generalizado a favor de
la publicación de estudios “positivos” respecto
a determinada eficacia esperada, y para
garantizar que todos los ensayos clínicos se
hicieran públicos antes de la inscripción de los
participantes.
Sin embargo, las revisiones sistemáticas
bien realizadas (revisiones de intervenciones
sanitarias que utilizan una metodología
predefinida y explicita para encontrar y
sintetizar todas las pruebas relevantes) se
consideran generalmente pruebas de mayor
calibre que los ensayos individuales en la toma
de decisiones en determinados ámbitos,
especialmente en la práctica clínica y la
política sanitaria. La superioridad otorgada a
este tipo de revisiones deriva de aspectos clave
al proceso de realización de una revisión
sistemática. Este tipo de estudio, si se realiza
correctamente, permite que la revisión se
acerque más a la estimación del verdadero
efecto de una intervención de lo que puede
hacer cualquier estudio individual. En primer
lugar, porque este tipo de revisiones recopilan
y sintetizan todos los estudios pertinentes, y en
segundo lugar porque las revisiones evalúan
│9
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
cada estudio incluido en función del riesgo de
sesgo.
Sin embargo, cada vez hay más pruebas de
la existencia de un sesgo de publicación en las
revisiones sistemáticas (Kirkham et al., 2010),
sea por la publicación de estudios no
completos (Tricco et al. 2009) o por la
existencia de discrepancias entre los
protocolos de las revisiones sistemáticas y el
informe publicado (Kirkham et al., 2010;
Silagy et al., 2002), o por sesgos escorados
hacia hallazgos "positivos" (Silagy et al.,
2002). Por lo tanto, es de vital importancia que,
para que las pruebas de estos estudios se
incorporen a su respectivo ámbito, y
especialmente si se trata de la práctica clínica,
la revisión debe ser lo más rigurosa y completa
posible. Por tanto, debería ser obvio la
existencia de un protocolo preespecificado
para la revisión, que se señalen las
desviaciones y la información de los resultados
de la revisión de acuerdo con el plan original
del estudio. En conjunto, aumentaría la
claridad en torno a la realización y la
notificación de revisiones sistemáticas si se
registraran los protocolos de las revisiones
sistemáticas (Booth et al., 2011; Straus &
Moher, 2010).
Este registro ayuda a minimizar el sesgo en
la realización y el informe de la revisión, a
reducir la duplicación de esfuerzos entre
grupos y a mantener actualizadas las revisiones
sistemáticas. Sin embargo, antes no existía
ningún registro general abierto a todos los
investigadores del mundo para registrar la
existencia y el desarrollo de las revisiones
sistemáticas desde su inicio hasta su
finalización.
Las ventajas que se les atribuyen de forma
genérica es que ayudan a los investigadores a
preparar el proceso de investigación, elegir los
métodos adecuados y especificar de antemano
las preguntas y los resultados de la
investigación (Moher et al., 2015). La
utilización de protocolos facilita la revisión y
reduce la duplicación innecesaria de la
investigación por parte de investigadores
independientes (Krleza-Jeric et al., 2005);
RELIEVE
además, se minimiza el riesgo de sesgo y
pueden evitarse posibles malas praxis, así
como el encubrimiento de resultados no
favorables, especialmente en el ámbito clínico.
En el momento actual, en que destaca el
interés focalizado en la evidencia, diferentes
organizaciones (Cochrane, Campbell, Instituto
Joanna Briggs, …) se han caracterizado por la
realización de trabajos de síntesis de alta
calidad. Aunque las revisiones Cochrane
constituyen una pequeña fracción (7%) de
todas las revisiones sistemáticas publicadas
(Hoffmann et al., 2012), las revisiones de esta
organización se consideran el "patrón de oro".
Según un estudio reciente, en 2019 se
publicaron de media 80 revisiones sistemáticas
al día (Page et al., 2018).
Gran parte de los autores de revisiones
sistemáticas generaron protocolos, con la
finalidad de reducir el solapamiento y la
duplicación de la investigación, y, en
consecuencia, el despilfarro y la financiación
pública (Moher, 2010; Stewart et al., 2012) y
los encontramos en todos los ámbitos
(Albrecht et al., 2021; Backman et al., 2018;
Brown et al., 2022; Chicoine et al., 2021;
Johnson et al., 2022; Johnstone et al., 2020;
Leslie et al., 2016; Mazevska et al., 2022;
Pearson et al., 2021; Rana et al., 2021; Vandyk
et al, 2019; Wiafe et al., 2020).
Existen diversos repositorios en los cuales
se puede buscar si existen revisiones
sistemáticas sobre determinado tópico (JBI
Evidence Synthesis, MEDLINE, DARE,
PROSPERO,
EPISTEMONIKOS,
ACCESSSS, Cochrane Database, CINAHL,
PubMed).
En el caso específico de PROSPERO
(Registro
Prospectivo
de
Revisiones
Sistemáticas) (Allers et al., 2018; Page et al.,
2018), se puso en marcha en 2011, y permite a
investigadores de diversas disciplinas registrar
protocolos de revisiones sistemáticas,
principalmente las relacionadas con la atención
sanitaria. El registro es gratuito, está
disponible para cualquier persona en todo el
mundo y genera un número de identificación
único para cada revisión sistemática registrada,
│10
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
que puede (y debe) figurar en cualquier
publicación que surja del estudio. Los
investigadores deben utilizar el registro para
dejar constancia de la existencia del protocolo
de una revisión sistemática de intervenciones
sanitarias planificada o en curso, incluso antes
de seleccionar los estudios para su inclusión en
la revisión sistemática. Un conjunto mínimo de
datos especifica los elementos clave que se
requieren para que una revisión sistemática se
registre de forma significativa. Los elementos
de datos clave incluyen una declaración de la
pregunta de investigación, los pacientes y la
población, la(s) intervención(es) del estudio y
los resultados; los criterios para la inclusión y
exclusión de estudios en la revisión
sistemática; el esquema de la estrategia de
búsqueda; y los métodos para evaluar el riesgo
de sesgo y para el análisis de los estudios
incluidos en la revisión sistemática.
La principal ventaja del registro de
protocolos es su fácil accesibilidad, y la propia
publicación de protocolos podría beneficiarse
de las mejoras en la calidad metodológica
sugeridas por los revisores durante el proceso.
La relevancia de dichos protocolos es tan
destacada que algunos autores (Van der Braak
et al., 2022) consideran como limitación que
algunas publicaciones no hayan incluido el
protocolo en el manuscrito, cifra que Allers et
al. (2018) situan en el 12,5%.
3.3.- Evaluación de la calidad metodológica
de los documentos primarios
En los últimos años ha sido creciente el
interés por profundizar el análisis de la calidad
metodológica de los documentos primarios, y
se ha hecho separadamente desde las
perspectivas cualitativa y cuantitativa.
(1) Desde la perspectiva cualitativa.
Extracción de datos: La extracción de datos
en una meta agregación es un proceso
multifásico, que incluye los elementos
identificadores de los papers, la información
sobre citaciones, contexto, año, a los que deben
añadirse
informaciones
bibliométricas
(número de autores, país de filiación,
posicionamiento de la revista, factor de
RELIEVE
impacto, …). En una segunda etapa se procede
a la extracción de hallazgos, entendiendo,
según Lockwood et al. (2020), que a finding is
defined as a verbatim extract of he authors
analytic interpretation accompanied by either
a participant voice, or fieldwork observaions
or other data (p. 56). Y cada hallazgo deberá
acompañarse de una ilustración, sea una
grabación de voz o transcripción de
participantes, registros observacionales, u
otros datos de apoyo.
La extracción de datos requiere disponer de
la documentación de los niveles de
credibilidad, que son: Inequívocos (cuando se
dispone de la documentación completa),
creíbles (faltan elementos documentales y
aunque se dispone de evidencias cabe la duda),
sin apoyo documental (no se dispone de datos
justificativos).
Síntesis de datos: En un proceso metaagregativo se requieren 3 pasos: (1) Extracción
de todos los hallazgos, de forma ilustrada, y
con el nivel de credibilidad de cada uno; (2)
desarrollo de categorías, con al menos 2
hallazgos en cada una; y (3) desarrollo de una
o más síntesis de al menos 2 categorías. Los
revisores deberían describir: Qué datos son
“hallazgos” consistentes en aquella revisión,
proceso por el cual son identificados (repetida
lectura del texto, selección de temas a partir de
la sección de resultados, …), cómo los
hallazgos se agrupan para desarrollar
categorías (basado en similaridad de términos,
conceptos, …), cómo se cran descripciones de
las categorías (por un único revisor, mediante
consenso entre varios, …), cómo se crean y
finalizan las síntesis de hallazgos y sus
descripciones.
Resultados: Debería incluir el proceso de
inclusión de estudios (diagrama PRISMA:
Número de estudios identificados, nº de
estudios cribados, estudios seleccionados para
recuperar, razones de exclusión, nº de estudios
valorados e incluidos/excluidos, nº final
incluido de estudios), la calidad metodológica
de los estudios elegibles (está determinado por
el relevante ‘critical appraisal checklist’),
características detalladas de los estudios
│11
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
incluidos (datos descriptivos y demográficos,
contexto geográfico, metodología seguida,
participantes/muestra, instrumentos utilizados,
tipo de análisis de datos, …), y, especialmente,
revisión de los resultados y de los procesos de
síntesis.
Discusión: Importante no repetir los
resultados, que deben “discutirse” en el
contexto de la literatura científica, mostrar la
fuerza de la evidencia, limitaciones de
documentos
primarios
incluidos
(inconsistencias, errores, …), medida en que
los resultados son generalizables.
Conclusiones y recomendaciones: Es
importante
tener
en
cuenta
las
recomendaciones para la práctica aplicabilidad-, así como para futuras
investigaciones.
Conflictos de interés y agradecimientos.
Apéndices: Detalles de la estrategia de
búsqueda, obtención de datos, lista de estudios
excluidos, tabla de inclusión de artículos,
tablas relativas a aspectos que desean
particularizarse, …
Se han planteado rating scales para poder
operativizar la calidad metodológica, y entre
ellas destaca la de JBI Critical Appraisal
Checklist
for
Qualitative
Resesarch
(Aromataris & Munn, 2021), que se plantea
una serie de preguntas, de las cuales
seleccionamos las siguientes:
(1) ¿Hay congruencia entre la metodología
utilizada
y
el
problema
de
investigación o los objetivos?
(2) ¿Hay congruencia entre la metodología
utilizada y las técnicas de recogida de
datos?
(3) ¿Hay congruencia entre la metodología
utilizada y la representación y análisis
de datos?
(4) ¿Existe una declaración que sitúe al
investigador en el plano cultural o
teórico?
RELIEVE
(5) ¿Se aborda la influencia del
investigador en la investigación, y
viceversa?
Y según el número de respuestas
afirmativas (4-5, 2-3, 0-1) se valora
descendentemente.
(2) Desde la perspectiva cuantitativa.
Tradicionalmente, la evidencia cuantitativa
se obtenía en estudios realizados mediante
metodologías que generaban datos numéricos,
y un ámbito en que resultaba incuestionable era
el sanitario, en el cual, en los documentos
primarios, se estudia la eficacia de terapias
para fiebres, escorbuto, parálisis, etc., y en
donde se cuantifica la incidencia, prevalencia,
etiología de la enfermedad, etc. (BrignardelloPetersen et al., 2015)
En estas revisiones cuantitativas se examina
en qué medida la intervención, utilizada
adecuadamente, produce la eficacia deseada, y
las metodologías utilizadas son habitualmente
la experimental y la cuasiexperimental, dado
que la intervención es de grado medio o
elevado. Como aclaración, y aunque algún
autor incluye también aquí estudios
observacionales, debe matizarse que solamente
serían posibles en situaciones de intervención
baja y cuando se garantizase el contexto
habitual (Chacón-Moscoso et al., 2021), y no
consideramos los estudios de cohortes ni los
estudios cross-sectional (propios del ámbito
sanitario).
Tufanaru et al. (2020) propusieron un
protocolo específico para la revisión
sistemática desde la perspectiva cuantitativa,
que contempla los siguientes apartados:
(1) Contexto y justificación de la revisión,
incluyendo lo ya conocido y las
incertezas
existentes.
Deberá
argumentarse la importancia del
tópico, preocupaciones
de los
pacientes,
profesionales,
y
responsables políticos, referirse a la
especificidad de los grupos de
participantes y respectivos contextos,
características de la intervención y
potenciales
dudas
sobre
ella,
│12
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
potenciales intervenciones con las
cuales compararse, forma de medir los
resultados, relevancia de los estudios
primarios
existentes.
Asimismo,
deberá indagarse la previa existencia de
revisiones sistemáticas y metaanálisis,
y deberá justificarse la necesidad de
una nueva revisión y sus objetivos
(2) Criterios de selección de los
documentos primarios (inclusión /
exclusión). Han de ser explícitos y no
ambiguos, basados en argumentos
científicos, y presentados de forma
justificada. Es habitual que se utilice el
mnemónico
anagrama
PICO
(participants,
intervention,
comparator, y outcome).
Es
importante distinguir entre los criterios
de inclusión basados en características
de los estudios (perfil de los
participantes,
modalidad
de
intervención -así como su frecuencia,
intensidad, temporalización, forma de
administración-, tipo de medidas, etc.)
y los basados en características de la
publicación (fecha, idioma, bases de
datos en que están incluidos, factor de
impacto, etc.).
(3) Resultados de las intervenciones, así
como comparaciones efectuadas (con
placebo, otras terapias, ausencia de
tratamiento, etc.). Los resultados deben
ser medibles, y ajustados a los
objetivos, y debe distinguirse entre los
que marcan el punto final (por ejemplo,
años que ha vivido un paciente con la
enfermedad), y los de carácter
alternativo (por ejemplo, progresión de
un estadio a otro).
(4) Estrategia de búsqueda para identificar
estudios relevantes. Básicamente hay
tres opciones de identificación: (a)
incluir solamente los estudios que se
ajustan al tipo de diseño específico que
interese; (b) incluir estudios con mayor
cobertura o alcance que los que
interesan más específicamente, por si
no se localizan los de carácter más
RELIEVE
específico; y (c) incluir la totalidad de
la evidencia empírica, con un criterio
ampliamente inclusivo. Desde la
perspectiva de búsqueda, deberá
decidirse entre las múltiples opciones
existentes: bases de datos electrónicas
(como PubMed, WoS, PSYCINFO,
EMBASE, etc.), revistas incluidas en la
Web of Science, contacto con
investigadores, etc.
(5) Procedimiento para seleccionar los
estudios. Se pueden decidir diversos
criterios: Título, resumen, revisión del
documento completo, etc. y se
establecerá la forma de resolver las
discrepancias entre los revisores
(consenso, tercer revisor, etc.).
(6) Valoración crítica del proceso e
instrumentos. La finalidad de este
apartado es la valoración metodológica
de los documentos primarios, y
conocer la medida en que se ha
excluido o minimizado la posibilidad
de sesgo en el diseño, desarrollo y
análisis. Y los sesgos pueden ser de
selección, rendimiento, deserción,
detección, confundido, informe, etc.
(7) Obtención de datos e instrumentos. Es
muy importante que la extracción de
datos sea completa y cuidadosa,
incluyendo la información sobre la
propia publicación del estudio,
participantes, contexto, intervenciones,
comparadores, medidas obtenidas,
diseño, análisis estadístico, y otros
datos
relevantes
(financiación,
conflicto de intereses, …).
(8) Procedimiento para resolver el
desacuerdo entre los autores de la
revisión sistemática en la selección de
estudios, obtención de datos y
valoración crítica de decisiones. Se
recomienda la incorporación de un
tercer revisor.
Propuestas de síntesis. Básicamente hay dos
opciones. Síntesis estadística (metaanálisis) y
síntesis narrativa. El metaanálisis, en efecto, es
la síntesis estadística de resultados
│13
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
cuantitativos a partir de dos o más estudios.
Cuando no sea posible realizarlo, se llevará a
cabo la síntesis narrativa. El metaanálisis
debería reservarse para los resultados de
estudios que se consideran similares desde un
punto de vista clínico o metodológico (estudios
homogéneos), y en caso contrario se requiere
una justificación. La heterogeneidad clínica se
refiere a diferencias relativas a participantes,
intervenciones, comparadores, contextos y
resultados. La heterogeneidad metodológica se
refiere al diseño y riesgos de sesgo (Sutton et
al., 2000).
4.- Planteamiento mixed methods en
las revisiones sistemáticas
Las propuestas de estrategias a seguir en las
síntesis de las revisiones sistemáticas, y
especialmente a partir del planteamiento de
Gough y Pluye (Gough, 2015; Pluye, 2015;
Pluye & Hong, 2014), que incluyen a los mixed
methods en los documentos primarios,
indudablemente se hallan al albur de la
conceptualización de los mixed methods.
En este sentido, es importante tener en
cuenta que Sandelowski et al. (2006)
consideraban que “for “purists” (Johnson &
Onwuegbuzie, 2004, p. 14) who view
qualitative and quantitative research as the two
wholly different species of inquiry, the chasm
between qualitative and quantitative modes of
inquiry is deep enough to make it difficult or
even impossible to cross it without endagering
the imperatives and integrity of one or both
domains of inquiry” (p. 31).
Hay que escuchar a las diferentes “voces”
que se han expandido ampliamente en los
últimos años, evidenciando un alto interés en
la comunidad científica y en profesionales del
ámbito aplicado.
4.1.- Los mixed methods como continuum
Si bien los primeros autores que
mencionaron la expresión mixed methods
fueron Parkhurst et al. (1972), ya Newman &
Benz (1998), hace casi un cuarto de siglo, se
plantearon explorar el continuum interactivo
cualitativo-cuantitativo en la investigación,
RELIEVE
valorando como falsa y no fundamentada la
dicotomía que otros muchos autores han
querido mostrar, al presentar ambas opciones
como paradigmas opuestos y sin aceptar que
tanto
estrategias
cualitativas
como
cuantitativas se hallan siempre presentes en
cualquier estudio. Su planteamiento centrado
en el feedback entre análisis cualitativos y
cuantitativos podemos considerarlo como un
certero precursor del actual y complejo estado
de la cuestión (Anguera, 2022), y tendrá una
indudable repercusión en las revisiones
sistemáticas.
En la relativamente corta, pero intensa,
historia del análisis en mixed methods se ha
hecho patente que existen muchas formas de
llevar a cabo estudios monoanalysis insertados
en estudios mixed methods, diferenciados por
supuesto de estudios que son auténticamente
mixed methods, y precisamente la integración
distingue estudios mixed methods de estudios
monomethod
considerados
independientemente. Se ofrece al investigador
un amplísimo abanico de posibilidades, lo cual
aumenta velozmente cuando se aplican
diferentes tipos de análisis (Anguera, 2022), y
genera más dudas al realizar una revisión
sistemática.
En el centro de este amplio abanico de
posibilidades, destacan enfáticamente las
tradiciones cualitativa y cuantitativa en la
investigación, así como la guerra de
paradigmas, que diversos autores han
rechazado por su radicalidad (Johnson &
Onwuegbuzie, 2004; Newman & Benz,
1998; Ridenour & Newman, 2008; Tashakkori
& Teddlie, 2003, 2010), mostrando que existen
claras preferencias en la focalización de una u
otra de dichas tradiciones, así como divisiones
metodológicas, si bien es cierto que existe un
“etiquetado” rígido y excluyente, que se ha
mantenido hasta muy recientemente en
literatura
científica
sobre
revisiones
sistemáticas.
Frente a esta polarización, hay autores que
defienden que no existen
métodos
cuantitativos puros que no impliquen
elementos cualitativos en algunas etapas del
│14
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
proceso (Chang et al., 2009; Sandelowski,
2014). De forma parecida, Newman y
Hitchcook (2011) defienden que no existen
investigaciones “inherentemente cuantitativas,
cualitativas, o mixed methods” (p. 382). En
esencia, los investigadores construyen la
realidad a medida en que interactúan con los
datos, hacen juicios de valor e interpretaciones
y miden los fenómenos (Newman &
Hitchcook, 2011), y la rigidez de un etiquetado
cuali-cuanti puede llegar a socavar la calidad
de la investigación (Ridenour & Newman,
2008), cuestión muy relevante en la actualidad
en estudios mixed methods (Fàbregues,
Molina-Azorín, & Fetters, 2021; Fàbregues et
al., 2019), y que repercutiría negativamente en
los estudios de síntesis.
En el contexto de esta oposición de
planteamientos por motivos ideológicoconceptuales frente a su concepción como
continuum, Onwuegbuzie y Tashakkori (2015)
identificaron al menos tres grandes categorías
de creencias que subyacen a los estudios mixed
methods: 1) Mixed methods como un
continuum multidimensional (con formas
puras en los respectivos extremos); 2) mixed
methods como puente entre una dicotomía de
suposiciones y posturas cualitativas y
cuantitativas; y 3) mixed methods como
orientación abarcadora que incorpora modelos
mentales, suposiciones y series de métodos que
no necesariamente se identifican con ninguna
dicotomía de propuestas metodológicas, y que,
en lugar de la pretendida integración, pueden
entrañar desintegración.
Además, Onwuegbuzie (2012) planteaba la
relevancia del “radical punto medio” como
valor añadido, y consideraba que los
investigadores no debían quedarse en la
cómoda posición epistemológica cualitativa o
cuantitativa, sino que, por el contrario, había
que promover un espacio “consciously local,
dynamic, interactive, situated, contingent,
fluid, strategid, and generative” (p. 192), que
denominó mediante el acrónimo MIXED (M:
Methodological thinker; I: Integrative,
integrated, and integral researcher; X:
Xenophilous researcher; E: Empoweer; D:
Development), llamando y convocando a los
RELIEVE
investigadores al “radical middle” (p. 210).
Este espacio MIXED entroncará con el
crossover mixed analysis, y reafirma el
carácter de continuum entre elementos
cualitativos y cuantitativos en lugar de
oposición (Anguera, 2022).
En definitiva, ésta es la posición en la cual
entendemos que nos debemos situar, y este
planteamiento como continuum en lugar de
como oposición frontal cualitativo/cuantitativo
hace esperar que en los próximos años tendrá
sus consecuencias en las síntesis de
documentos primarios.
4.2.- Encaje de los mixed methods en las
revisiones sistemáticas
El rápido desarrollo y expansión de los
mixed methods en el último cuarto de siglo ha
incidido sobre las revisiones sistemáticas.
Hong et al. (2017) sostienen que las revisiones
sistemáticas muestran preferencia por las
evidencias cuantitativas (especialmente a
partir de ensayos clínicos controlados y
eficacia de intervenciones clínicas), pero que
es insuficiente en otras áreas, que requieren
evidencias cualitativas. Y sostiene igualmente
que ambas, las evidencias cualitativas y
cuantitativas,
pueden
complementarse,
obteniéndose una mejor comprensión del
impacto de los factores contextuales, ayudando
a focalizar en los resultados.
Las revisiones sistemáticas se consideran
las mejores fuentes de evidencia, son útiles
para las tomas de decisión (Hong & Pluye,
2019), y prevalecen sobre otros tipos de
investigación en muchas jerarquías de pruebas,
ya que es lógico que las decisiones se basen en
la totalidad de las pruebas y no en un único
estudio (Bunn et al., 2015).
Heyvaert et al. (2013) argumentan las
tipologías propuestas para los estudios
primarios mixed methods, pero, sin embargo,
no ocurre lo mismo a nivel de síntesis, en sus
diversos tipos (systematic review, integrative
review, research synthesis, realist synthesis,
qualitative review, narrative review, metaanalysis),
aunque
históricamente
se
estructuran en dos grandes grupos: revisión
│15
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
sistemática, desde la perspectiva cualitativa, y
metaanálisis, desde la cuantitativa.
Los
estudios de síntesis pueden ser cualitativos,
cuantitativos y mixed methods, y, en todos los
casos, proceder de estudios primarios
cualitativos, cuantitativos o mixed methods. Un
estudio de síntesis mixed methods es una
revisión sistemática que aplica los principios
mixed methods, y ello implica que los
hallazgos se han extraído de documentos
primarios cualitativos, cuantitativos y mixed
methods, combinando sus fortalezas. Se utiliza
un planteamiento mixed methods que combina
elementos de investigación cualitativa y
cuantitativa para integrar los hallazgos en una
única revisión sistemática.
Existen tipologías relativas a estudios
primarios de mixed methods (Collins &
Cathain, 2009; Greene et al., 1989; Leech &
Onwuegbuzie, 2009; Teddlie & Tashakkori,
2006), que han permitido aportar una
estructura flexible para la investigación en
mixed methods, desarrollar marcos conceptualmetodológicos, aportar credibilidad e
ilustraciones en mixed methods, proporcionar
un lenguaje común, y facilitar la instrucción en
este ámbito (Heyvaert et al., 2013). Sin
embargo, no existe un paralelismo respecto a
tipologías a nivel de síntesis.
Heyvaert et al. (2013) propusieron MMRS
[Mixed Method Research Syntheses] como una
síntesis en la cual los investigadores combinan
estudios cualitativos, cuantitativos y mixed
methods, y aplican el planteamiento mixed
methods para integrarlos, desde la máxima
colaboración.
Las
dimensiones
que
propusieron son: énfasis del planteamiento
(QUAL dominante, QUAN dominante, estatus
equivalente, estatus dominante, embedded
design), orientación temporal (concurrente,
secuencial,
paralelo,
simultáneo,
complementariedad), finalidad del estudio
(triangulación,
exploratoria,
explicativa,
iniciación, expansión, complementaria), marco
teórico (transformativo, pragmático).
Las dos primeras dimensiones, junto con la
integración, conforman un bloque de
relevancia respecto al nivel de síntesis, y en
RELIEVE
donde la integración permitiría diferenciar las
síntesis en las cuales se tuviesen en cuenta
todos los análisis de aquéllas en las cuales
solamente se tuviesen en cuenta una parte de
dichos análisis, considerados separadamente.
Por ejemplo, tratamientos en los cuales se
obtuviesen puntuaciones elevadas (datos
cuantitativos) respecto a determinados valores,
pero en los cuales se detectaran efectos
negativos de dicho tratamiento (datos
cualitativos) respecto a determinados aspectos.
Aquí el planteamiento mixed methods a nivel
de síntesis permitiría identificar las
discrepancias.
Las dimensiones correspondientes a la
finalidad del estudio y al marco teórico son
menos relevantes en el nivel de síntesis que en
el de documentos primarios según Heyvaert et
al. (2013), y estamos de acuerdo, dado que la
primera se focaliza en aspectos que no
debieran repercutir en una síntesis entre
diferentes documentos primarios, y en cuanto
a la segunda se supone que en prácticamente
todas las ocasiones se trabajará con estudios
empíricos y no conceptuales.
En los estudios de síntesis, a partir de los
criterios de inclusión y exclusión de los
documentos primarios, y en función del
diagrama PRISMA (Moher et al., 2015),
seleccionamos los documentos primarios, y, en
consecuencia, asumimos la “carga” de cada
uno de ellos respecto a los elementos
cualitativos y cuantitativos que contienen. Si
bien Heyvaert et al. (2013) proponen un marco
clasificatorio para MMRS, nuestra posición es
más matizada y flexible, y siempre
comprometida con el desplegamiento de
posibilidades mixed. En la propuesta de
Heyvaert et al. (2013) se plantean sucesivas
etapas para sintetizar sistemáticamente la
evidencia de la investigación empírica de los
documentos primarios: (1) Identificación del
problema y formulación de preguntas), (2)
desarrollo de un protocolo de revisión y
búsqueda bibliográfica, (3) selección de diseño
y método adecuado, (4) extracción y
evaluación de datos, (5) análisis e
interpretación de datos, y (6) presentación y
discusión de los resultados.
│16
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
En una dirección semejante, Hong & Pluye
(2019) propusieron la SMSR [Systematic
Mixed Studies Review], respondiendo
igualmente a la necesidad de incluir en las
revisiones sistemáticas estudios cualitativos,
cuantitativos y mixed methods (Heyvaert et al.,
2016), y se considera que un estudio es mixed
methods cuando se satisfacen las tres
condiciones de: (1) Se combinan al menos un
método cualitativo (QUAL) y uno cuantitativo
(QUAN), (2) cada método se utiliza
rigurosamente, y (3) las recogidas de datos, y/o
los análisis de datos, y/o los resultados son
integrados (Johnson et al., 2007; Hong &
Pluye, 2019).
Mays et al. (2005) reconocen que se
requiere un amplio abanico de fuentes de
información para tomar decisiones, y cada vez
existe mayor presión para adoptar un enfoque
más sistemático. Se requiere el acceso a
síntesis de mayor calidad, y no existe un marco
único y consensuado para sintetizar pruebas de
diversa índole. Estos mismos autores (Mays et
al., 2005) identifican cuatro enfoques básicos
narrativos (análisis temático, síntesis narrativa,
síntesis realista, y mapeo metanarrativo) que
convierten todas las pruebas posibles en
cualitativas y otros como el metaanálisis y el
análisis bayesiano que se utilizan en síntesis
cuantitativas. Sin embargo, seguimos
focalizados en la dicotomía cualitativocuantitativo, de la que nos queremos zafar.
Continuando en esta dirección, destacamos
una serie de trabajos del mismo grupo (Pace et
al., 2012; Pluye et al. 2011; Queiroga et al.,
2015; Souto et al., 2014) que siguen trabajando
incasablemente por el encaje de los mixed
methods en las revisiones sistemáticas, y
generando instrumentos de apoyo al proceso
de revisión sistemática.
5.Epílogo:
metodológicas
Propuestas
La vertiente metodológica en la revisión
sistemática tiene una importancia fundamental,
la cual, aunque es evidente, no siempre se le ha
reconocido ni se tiene en cuenta
suficientemente.
RELIEVE
Al revisitar la revisión sistemática,
introducimos una propuesta metodológica
múltiple:
(1) Debe ajustarse la terminología
metodológica, con el fin de evitar la confusión
que conlleva el uso cada vez más generalizado
de términos utilizados de forma impropia
(método, diseño, técnica, mixed methods, etc.);
(2) Tendremos en cuenta el carácter de
dimensión continua de los mixed methods, vs.
la dicotomía existente cualitativo/cuantitativo,
recomendando analizar la ubicación de cada
uno de los estudios primarios en dicho
continuum;
(3) Consideramos esencial evaluar la
calidad metodológica de los documentos
primarios.
6.- Conclusiones
Las revisiones sistemáticas han manifestado
un crecimiento exponencial en los últimos
años, y en todos los ámbitos del conocimiento.
Este fenómeno consideramos que va asociado
al interés por la transparencia en la difusión de
resultados y conclusiones y también por el
acceso abierto a las publicaciones. Sin
embargo, son muchas las aristas que han
aparecido y diferentes los planteamientos que
orientan su realización, además de debilidades
que requieren un refuerzo metodológico,
vertiente que en la mayoría de las revisiones
sistemáticas ha estado, a nuestro juicio,
excesivamente minimizada. Este trabajo
pretende enfatizar la vertiente metodológica de
las revisiones sistemáticas.
Financiación y agradecimientos
La autora agradece el apoyo del proyecto
competitivo
Integración
entre
datos
observacionales y datos provenientes de
sensores externos: Evolución del software
LINCE PLUS y desarrollo de la aplicación
móvil para la optimización del deporte y la
actividad física beneficiosa para la salud
[EXP_74847] (2023), Ministerio de Cultura y
Deporte, Consejo Superior de Deporte y Unión
Europea. Asimismo, la autora agradece el
│17
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
apoyo del Departamento de Investigación y
Universidades de la Generalitat de Catalunya
al GRUP DE RECERCA I INNOVACIÓ EN
DISSENYS (GRID). Tecnología i aplicació
multimedia
i
digital
als
dissenys
observacionals [2021 SGR 00718] (20222024).
Referencias
Abrami, P.C., Borokhovski, E., Bernard, R.M.,
Wade, C.A., Tamim, R., Persson, T., &
Surkes, M.A. (2010). Issues in conducting
and disseminating brief reviews of evidence.
Evidence & Policy: A Journal of Research,
Debate and Practice, 6, 371–389.
https://doi.org/10.1332/174426410X524866
Ailinger, R. (2003). Contribution of qualitative
evidence to evidence based practice in
nursing. Revista Latinoamericana de
Enfermagem,
11(3),
275-279.
https://doi.org/10.1590/S010411692003000300002
Albrecht, B.M., Foettinger, L., & Bammann, K.
(2021). Men’s sheds as community based
health promotion for men aged 50 plus:
protocol for a mixed-methods systematic
review. Systematic Reviews, 10, 215.
https://doi.org/10.1186/s13643-021-01762x
Allers, K., Hoffmann, F., Mathes, T., & Pieper, D.
(2018). Systematic reviews with published
protocols compared to those without: more
effort, older search. Journal of Clinical
Epidemiology,
95,102–10.
https://doi.org/10.1016/j.jclinepi.2017.12.0
05
Allwood, C.M. (2012). The distinction between
qualitative and quantitative research
methods is problematic. Quality & Quantity,
46,
1417-1429.
https://doi.org/10.1007/s11135-011-9455-8
Anguera, M.T. (2022). Profundizando en el
análisis en mixed methods: Integración de
elementos cualitativos y cuantitativos en el
marco de la observación sistemática del
comportamiento.
Discurso
Doctorado
Honoris Causa. Tenerife: Universidad de La
Laguna.
Anguera, M.T., Blanco-Villaseñor, A., Losada,
J.L., Sánchez-Algarra, P., & Onwuegbuzie,
A.J. (2018). Revisiting the difference
RELIEVE
between mixed methods and multimethods:
Is it all in the name? Quality & Quantity, 52,
2757-2770. https://doi.org/10.1007/s11135018-0700-2
Anguera, M.T., Jonsson, G.K., Escolano-Pérez, E.,
Sánchez-López, C.R., Losada, J.L., &
Portell, M. (2023). T-pattern detection in the
scientific literature of this century: A
systematic review. Frontiers in Psychology,
14,1085980.
https://doi.org/10.3389/fpsyg.2023.1085980
Aromataris, E., & Munn, Z. (Eds.) (2021). JBI
Manual
for
Evidence
Synthesis. https://doi.org/10.46658/JBIMES
-20-01
Backman, C., Crick, M., Cho-Young, D., Scharf,
M., & Shea, B. (2018). What is the impact of
sensory practices on the quality of life of
long-term care residents? A mixed-methods
systematic review protocol. Systematic
Reviews,
7,
115.
https://doi.org/10.1186/s13643-018-0783-9
Barbour, R.S., & Barbour, M. (2003). Evaluating
and synthesizing qualitative research: The
need to develop a distinctive approach.
Journal of Evaluation in Clinical Practice,
9, 179-186. https://doi.org/10.1046/j.13652753.2003.00371.x
Barnett-Page, E., & Thomas, J. (2009). Methods
for the synthesis of qualitative research: a
critical review. BMC Medical Research
Methodology, 9,59.
Boaz, A., Ashby, D., Denyer, D., Egan, M.,
Harden, A., Jones, D. R., . . ., & Tranfield,
D. (2006). A multitude of syntheses: A
comparison of five approaches from diverse
policy fields. Evidence & Policy, 2, 479-502.
https://doi.org/10.1332/1744264067788817
55
Bohlin, I. (2012). Formalizing syntheses of
medical knowledge: The rise of metaanalysis
and
systematic
reviews.
Perspectives on Science, 20(3), 273-309.
https://doi.org/10.1162/POSC_a_00075
Booth, A., Clarke, M., Ghersi, D., Moher, D.,
Petticrew, M., & Stewart, L. (2011). An
international registry of systematic-review
protocols.
Lancet,
377,
108-109.
https://doi.org/10.1016/S01406736(10)60903-8
Brignardello-Petersen, R., Ioannidis, J.P.A.,
Tomlimson, G., & Guyatt, G. (2015).
│18
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
Surprising results of randomized trials. In G.
Guyatt, D. Rennie, M.O. Meade, and D.J.
Cook (Eds.), Users’ guide to the medical
literature. A manual for evidence-based
clinical practice, 3rd ed. McGraw-Hill.
Broome, M.E. (1993). Integrative literature
reviews for the development of concepts. In
B.L. Rodgers, and K.A. Knafl (Eds.),
Concept development in nursing (pp. 231250). W.B. Saunders Co.
Brown, J.V.E., Ajjan, R., Siddiqi, N., & Coventry,
P.A. (2022). Acceptability and feasibility of
continuous glucosa monitoring in people
with diabetes: protocol for a mixed-methods
systematic review of quanitative and
qualitative evidence. Systematic Reviews,
11, 263. https://doi.org/10.1186/s13643022-02126-9
Bunn, F., Trivedi, D., Alderson, P., Hamilton, L.,
Martin, A., Pinkney, E., & Iliffe, S. (2015).
The impact of Cochrane Reviews: A mixedmethods evaluation of outputs from
Cochrane Review Groups supported by the
National Institute for Health Research.
Health Technology Assessment, 19(28), 1100. https://doi.org/10.3310/hta19280
Carroll, C., Patterson, M., Wood, S., Booth, A.,
Rick, J., & Balain, S. (2007). A conceptual
framework for implementation fidelity.
Implementation
Science,
2,
40.
https://doi.org/10.1186/1748-5908-2-40
Collins, K. & O’Cathain, A. (2009). Ten points
about mixed methods research to be
considered by the novice researcher.
International Journal of Multiple Research
Approaches,
3,
2-7.
https://doi.org/10.5172/mra.455.3.1.2
Chacón-Moscoso, S., Sanduvete-Chaves, S.,
Lozano-Lozano, J.A., Portell, M., &
Anguera, M.T. (2021). From randomized
control trial to mixed methods: A practical
framework for program evaluation based on
methodological
quality.
Anales
de
Psicología / Annals of Psychology, 37(3),
599-608.
https://doi.org/10.6018/analesps.470021
Chalmers, I., Hedges, L., & Cooper, H. (2002). A
brief history of research synthesis.
Evaluation of Health Professions, 25, 12–
37.
https://doi.org/10.1177/0163278702025001
003
RELIEVE
Chang, Y., Voils, C. I., Sandelowski, M., &
Crandell, J. L. (2009). Transforming verbal
counts in reports of qualitative descriptive
studies into numbers. Western Journal of
Nursing Research, 31(7), 837–852.
https://doi.org/10.1177/0193945909334434
Chicoine, G., Côté, J., Pepin, J., Fontaine, G.,
Maheu-Cadotte, M.-A., Hong, Q.N.,
Rouleau, G., Ziegler, D., & Jutras-Aswad,
D. (2021). Effectiveness and experiencies of
the Extension for Community Healthcare
Outcomes (ECHO) Model in developing
competencies
among
healthcare
professionals: a mixed methods systematic
review protocol. Systematic Reviews, 10,
313. https://doi.org/10.1186/s13643-02101832-0
Dixon-Woods, M., Agarwal, S., Jones, D., Young,
B., & Sutton, A. (2005). Synthesizing
qualitative and quantitative evidence: A
review of possible methods. Journal of
Health Services Research & Policy, 10, 4553.
https://doi.org/10.1258/1355819052801804
Eisner, E.W. (1991). The enlightened eye:
Qualitative inquiry and the enhancement of
educational practice. MacMillan.
Fàbregues, S., Molina-Azorín, J.F., & Fetters,
M.D. (2021). Virtual special issue on
“Quality in Mixed Methods Research”.
Journal of Mixed Methods Research, 15(2),
146-151.
https://doi.org/10.1177/1558689821100197
4
Fàbregues, S., Paré, M. H., & Meneses, J. (2019).
Operationalizing
and
conceptualizing
quality in mixed methods research: A
multiple case study of the disciplines of
education, nursing, psychology, and
sociology. Journal of Mixed Methods
Research,
13(4),
424-445.
https://doi.org/10.1177/155868981 7751774
Glasziou, P.P., & Sanders, S.L. (2002).
Investigating causes of heterogeneity in
systematic reviews. Statistics in Medicine,
21,
1503-1511.
https://doi.org/10.1002/sim.1183
Greckhamer, T., & Koro-Ljungberg, M. (2005).
The erosion of a method: Examples from
grounded theory. International Journal of
Qualitative Studies in Education, 18, 729750.
│19
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
https://doi.org/10.1080/0951839050029820
4
Greenhalgh, T., Robert, G., Macfarlane, F., Bate,
P., Kyriakidou, O., & Peacock, R. (2005).
Storylines of research in diffusion of
innovation: a meta-narrative approach to
systematic review. Social Science Medicine,
61,417–430.
https://doi.org/10.1016/j.socscimed.2004.12
.001
Gough, D. (2007, January). Dimensions of
difference in evidence reviews. National
Centre for Research Methods Meeting.
Manchester:
EPPI-Centre.
http://eppi.ioe.ac.uk/cms/Default.aspx?tabid
=1919
Gough, D., & Thomas, J. (2012). Commonality and
diversity in reviews. In D. Gough, S. Oliver,
& J. Thomas (Eds.), Introduction to
Systematic Reviews (pp. 35-65). Sage.
Gough, D. (2015). Qualitative and mixed methods
in systematic reviews. Systematic Reviews,
4, 181. https://doi.org/10.1186/s13643-0150151-y
Gough, D., Oliver, S., Newman, M., & Bird, K.
(2009).
Transparency
in
planning,
warranting and interpreting research.
Teaching and Learning Research Briefing
78. London: Teaching and Learning
Research Programme.
Gough, D., Thomas, J., & Oliver, S. (2012).
Clarifying differences between review
designs and methods. Systematic Reviews, 1,
28. https://doi.org/10.1186/2046-4053-1-28
Grant, M. J., & Booth, A. (2009). A typology of
reviews: An analysis of 14 review types and
associated
methodologies.
Health
Information and Libraries Journal, 26, 91108.
https://doi.org/10.1111/j.14711842.2009.00848.x
Greenhalgh, T., Robert, G., MacFarlane, F., Bate,
P., Kyriakidou, O., & Peacock, R. (2005).
Storylines of research in diffusion of
innovation: A meta-narrative approach to
systematic review. Social Science &
Medicine,
61,
417-430.
https://doi.org/10.1016/j.socscimed.2004.12
.001
Harden, A., & Gough, D. (2012). Quality and
relevance appraisal. In D. Gough, S. Oliver
and J. Thomas (Eds.), Introduction to
Systematic Reviews (pp. 153-178). Sage.
RELIEVE
Harden, A., & Thomas, J. (2005). Methodological
issues in combining diverse study types in
systematic reviews. International Journal of
Social Research Methodology, 8, 257-271.
https://doi.org/10.1080/1364557050015507
8
Hawker, S., Payne, S., Kerr, C., Hardey, M., &
Powell, J. (2002). Appraising the evidence:
Reviewing the disparate data systematically.
Qualitative Health Research, 12, 12841299.
https://doi.org/10.1177/1049732302238251
Heyvaert, M., Hannes, K., & Onghena, P. (2016).
Using mixed methods research synthesis for
literature reviews: The mixed methods
research synthesis approach. Sage.
https://doi.org/10.4135/9781506333243
Heyvaert, M., Maes, B., & Onghena, P. (2013).
Mixed methods research synthesis:
Definition, framework, and potential.
Quality & Quantity, 47, 659-676.
https://doi.org/10.1007/s11135-011-9538-6
Hoffmann, F., Allers, K., Rombey, T., Helbach, J.,
Hoffmann, A., Mathes, T., et al. (2021).
Nearly 80 systematic reviews were
published each day: observational study on
trends in epidemiology and reporting over
the years 2000-2019. Journal of Clinical
Epidemiology,
138,
1–11.
https://doi.org/10.1016/j.jclinepi.2021.05.0
22
Hong, Q.M., & Pluye, P. (2019). A conceptual
framework for critical appraisal in
systrematic mixed studies reviews. Journal
of Mixed Methods Research, 13(4), 446-460.
https://doi.org/10.1177/1558689818770058
Hong, Q.M., Pluye, P., Bujold, M., & Wassef, M.
(2017). Convergent and sequential synthesis
designs: implications for conducting and
reporting systematic reviews of qualitative
and quantitative evidence. Systematic
Reviews,
6:61.
https://doi.org/10.1186/s13643-017-0454-2
JBI Manual for Evidence Synthesis (2021).
CRICOS Provider Number 00123M.
jbi.global
Johnson, E.E., O’Keefe, H., Sutton, A., &
Marshall, C. (2022). The Systematic Review
Toolbox: keeping up to date with tools to
support evidence sythesis. Systematic
Reviews,
11,
258.
│20
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
https://doi.org/10.1186/s13643-022-02122z
Johnson, R.B., & Onwuegbuzie, A.J. (2004).
Mixed methods research: A research
paradigm whose time has come. Educational
Researcher,
33,
14-26.
https://doi.org/10.3102/0013189X03300701
4
Johnson, R.B., Onwuegbuzie, A.J., & Turner, L.A.
(2007). Toward a definition of mixed
methods research. Journal of Mixed
Methods
Research,
1,
112–33.
https://doi.org/10.1177/1558689806298224
Johnstone, A., McCrorie, P., Cordovil, R., Fjørtoft,
I., Livonen, S., Jidovtseff, B., Lopes, F.,
Reilly, J.J., Thomson, H., Wells, V., &
Martin, A. (2020). Nature-based early
childhood education for child health,
wellbeing and development: a mixedmethods systematic review protocol.
Systematic
Reviews,
9,
226.
https://doi.org/10.1186/s13643-020-014891
Jones, K. (2004). Mission drift in qualitative
research, or moving toward a systematic
review of qualitative studies, moving back to
a more systematic narrative review. The
Qualitative Report, 9(1), 95-112.
Kirkham, J.J., Altman, D.G., & Williamson, P.R.
(2010). Bias due to changes in specified
outcomes during the systematic review
process.
PLoS
One,
5,
e9810.
https://doi.org/10.1371/journal.pone.00098
10
Krleza-Jeric, K., Chan, A.W., Dickersin, K., Sim,
I., Grimshaw, J., & Gluud, C. (2005).
Principles for international registration of
protocol information and results from human
trials of health related interventions: Ottawa
statement (part 1). BMJ, 330(7497), 956–8.
https://doi.org/10.1136/bmj.330.7497.956
Leslie, L., Cherry, R.F., Mulla, A., Abbott, J.,
Furfari, K., Glover, J.J., Hamke, B., Wynia,
M.K. (2016). Domains of quality for clinical
ethics case consultation: a mixed-method
systematic review. Systematic Reviews, 5,
95.
https://doi.org/10.1186/s13643-0160273-x
Lockwood, C., Porrit, K., Munn, Z., Rittenmeyer,
L., Salmond, S., Bjerrum, M., Loveday, H.,
Carrier, J, & Stannard, D. (2020). Systematic
reviews of qualitative evidence. In E.
RELIEVE
Aromataris, and Z. Munn (Eds.), JBI
Manual for Evidence Synthesis. JBI.
https://doi.org/10.46658/JBIMES-20-03
Lucas, P.J., Baird, J., Arai, L., Law, C., & Roberts,
H.M. (2007). Worked examples of
alternative methods for the synthesis of
qualitative and quantitative research in
systematic reviews. BMC Medical Research
Methodology, 7, 4. Retrieved from
http://www.biomedcentral.com/14712288/7/4
Mays, N., Pope, C., & Popay, J. (2005).
Systematically reviewing qualitative and
quantitative evidence to inform management
and policy-making in the health field.
Journal of Health Services Research and
Policy,
10
(Suppl.
1),
6-20.
https://doi.org/10.1258/1355819054308576
Maxwell, J.A. (2004a). Causal explanation,
qualitative research, and scientific inquiry in
education. Educational Researcher, 33, 311.
https://doi.org/10.3102/0013189X03300200
3
Maxwell, J.A. (2004b). Using qualitative methods
for causal explanation. Field Methods, 16,
243-264.
https://doi.org/10.1177/1525822X04266831
Mazevska, D., Pearse, J, & Tierney, S. (2022).
Using a theoretical framework to inform
implementation of the patient-centred
medical home (PCMH) model in primary
care: protocol for a mixed-methods
systematic review. Systematic Reviews, 11,
249. https://doi.org/10.1186/s13643-02202132-x
Moher, D., Shamseer, L., Clarke, M., Ghersi, D.,
Liberati, A., Petticrew, M., et al. (2015).
Preferred reporting items for systematic
review and meta-analysis protocols
(PRISMA-P) 2015 statement. Systematic
Reviews, 4,1. https://doi.org/10.1186/20464053-4-1
Morse, J.M. (1994). On the crest of a wave?
(Editorial). Qualitative Health Research, 4,
139-141.
https://doi.org/10.1177/1049732394004002
01
Munafo, M.R., Hollands, G.J., & Marteau, T.M.
(2018). Open science prevents mindless
science.
BMJ,
363,
k4309.
https://doi.org/10.1136/bmj.k4309
│21
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
Newman, I., & Benz, C. R. (1998). Qualitativequantitative
research
methodology:
Exploring the interactive continuum.
Southern Illinois University Press.
Newman, I., & Hitchcock, J. H. (2011). Underlying
agreements between quantitative and
qualitative research: The short and tall of it
all. Human Resource Development Review,
10(4),
381-398.
https://doi.org/10.1177/1534484311413867
Onwuegbuzie, A. (2012). Putting the MIXED back
into quantitative and qualitative research in
educational reearch and beyond: Moving
towards the ‘radical middle’. International
Journal of Multiple Research Approaches, 6,
192-219.
https://doi.org/10.5172/mra.2012.6.3.192
Onwuegbuzie, A.J. & Teddie, C. (2003). A
framework for analyzing data in mixed
methods research. In A. Tashakkori & C.
Teddie (Edss), Handbook of mixed metods in
social and behavioral research (pp. 351383). Sage.
Onwuegbuzie, A., & Tashakkori, A. (2015).
Utilizing mixed research and evaluation
methodology in peace psychology and
beyond. In D. Bretherton & S. F. Law (Eds.),
Methodologies in peace psychology: Peace
research by peaceful means (pp. 115-137).
New
York,
NY:
Springer.
https://doi.org/10.1007/978-3-319-183954_6
Owens, C.
M.,
& Ferron, J.
M.
(2012). Synthesizing single-case studies: A
Monte Carlo examination of a three-level
meta-analytic model. Behavior Research
Methods,
44(3), 795–
805. https://doi.org/10.3758/s13428-0110180-y
Pace, R., Pluye, P., Bartlett, G., Macaulay, A.C.,
Salsberg, J., Jagosh, J., et al. (2012). Testing
the reliability and efficiency of the pilot
Mixed Methods Appraisal Tool (MMAT)
for systematic mixed studies review.
International Journal of Nursing Studies, 49
(1),
47–53.
https://doi.org/10.1016/j.ijnurstu.2011.07.0
02
Page, M.J., Shamseer, L., & Tricco, A.C. (2018).
Registration of systematic reviews in
PROSPERO: 30,000 records and counting.
Systematic
Reviews,
7(1),
32.
https://doi.org/10.1186/s13643-018-0699-4
RELIEVE
Parkhurst, P.E., Lovell, K.L., Sprafka, S.A., &
Hodgins, M. (1972). Evaluation of videodisc
modules: A mixed methods approach. (ERIC
Document Reproduction Service No.
ED348014)
Pawson, R. (2006). Evidenced-based policy: A
realist
perspective.
Sage.
https://doi.org/10.4135/9781849209120
Pearson, S.A., Taylor, S, Marsden, A., & Yorke, J.
(2021). Access to systemic anti-cancer
therapies for women with secondary breast
cancer – protocol for a mixed methods
systematic review. Systematic Reviews, 10,
209. https://doi.org/10.1186/s13643-02101761-y
PLoS Medicine Editors (2011). Best Practice in
Systematic Reviews: The Importance of
Protocols and Registration. PLoS Medicine,
8(2),
e1001009.
https://doi.org/10.1371/journal.pmed.10010
09
Pluye, P. (2015). Mixed kinds of evidence:
synthesis designs and critical appraisal for
systematic mixed studies reviews including
qualitative, quantitative and mixed methods
studies. Evidence Based Medicine. Letter.
https://doi.org/10.1136/ebmed-2014110158
Pluye, P., Gagnon, M.P., Griffiths, F., JohnsonLafleur, J. (2009). A scoring system for
appraising mixed methods research, and
concomitantly
appraising
qualitative,
quantitative, and mixed methods primarylevel studies in mixed studies reviews.
International Journal of Nursing Studies, 46,
529-546.
https://doi.org/10.1016/j.ijnurstu.2009.01.0
09
Pluye, P., & Hong, Q. N. (2014). Combining the
power of stories and the power of numbers:
Mixed methods research and mixed studies
reviews. Annual Review of Public Health,
35, 29-45. https://doi.org/10.1146/annurevpublhealth-032013-182440
Pluye, P., Robert, E., Cargo, M., Bartlett, G.,
O’Cathain, A., Griffiths, F., et al. (2011).
Proposal: A Mixed Methods Appraisal Tool
for Systematic Mixed Studies Reviews.
http://mixedmethodsappraisaltoolpublic.pbworks.com
Pound, P., Britten, N., Morgan, M., Yardley, L.,
Pope, C., Daker-White, G., et al. (2005),
│22
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
Resisting medicines: A sythesis of
qualitative studies of medicine taking. Social
Science & Medicine, 6, 133-155.
https://doi.org/10.1016/j.socscimed.2004.11
.063
Preciado, M., Anguera, M.T., Olarte, M., &
Lapresa, D. (2019). Observational studies in
male elite football: A systematic mixed
study review. Frontiers in Psychology, 10,
2077.
https://doi.org/10.3389/fpsyg.2019.02077
Preciado, M., Anguera, M.T., Olarte, M., y
Lapresa, D. (2021). Revisión Sistemática en
Fútbol Sala desde los Mixed Methods.
Revista de Psicología del Deporte / Journal
of Sports Psychology, 30(1), 75-96.
Queiroga Souto, R., Khanassov, V., Hong, Q.N.,
Busch, P.L., Vedel, Is., & Pluye, P. (2015).
Systematic mixed studies reviews: Updating
results on the reliability and efficiency of the
mixed methods appraisal tool. International
Journal of Nursing Studies, 52, 500-501.
https://doi.org/10.1016/j.ijnurstu.2014.08.0
10
Rana, D., Westrop, S., Germeni, E., McGarty, A.,
Ells, L., Lally, P., McEwan, M., Melville, C.,
Harris, L., & Wu, O. (2021). Understanding
the
effectiveness
and
underlying
mechanisms of lifestyle modification
interventions in adults with learning
disabilities: protocol for a mixed-methods
systematic review. Systematic Reviews, 10,
251. https://doi.org/10.1186/s13643-02101808-0
Ridenour, C.S., & Newman, I. (2008). Mixed
methods research: Exploring the interactive
continuum. Southern Illinois University
Press.
Sandelowski, M. (2004). Using qualitative
research. Qualitative Health Research, 14,
1366-1386.
https://doi.org/10.1177/1049732304269672
Sandelowski, M. (2014). Unmixing mixedmethods research. Research in Nursing &
Health,
37,
3–8.
https://doi.org/10.1002/nur.21570
Sandelowski, M., & Barroso, J. (2007). Handbook
for synthesizing qualitative research.
Springer.
Sandelowski, M, Voils, C. I., & Knafl, G. (2009).
On quantitizing. Journal of Mixed Methods
RELIEVE
Research,
3(3),
208-222.
https://doi.org/10.1177/1558689809334210
Sandelowski, M., Voils, C.I., & Barroso, J. (2006).
Defining and designing mixed research
synthesis studies. Research in the Schools,
13, 29-40.
Sandelowski, M., Voils, C.J., Leeman, J., &
Crandlee, J.L. (2011). Mapping the Mixed
Methods-Mixed Research Synthesis Terrain.
Journal of Mixed Methods Research, 6(4),
317-331.
https://doi.org/10.1177/1558689811427913.
Sarmento, H., Anguera, M.T., Pereira, A., &
Araujo, D. (2018). Talent Identification and
Development in Male Football: A
Systematic Review. Sports Medicine, 48(4),
907-931. https://doi.org/10.1007/s40279017-0851-7
Silagy, C.A., Middleton, P., & Hopewell, S.
(2002). Publishing protocols of systematic
reviews: Comparing what was done to what
was planned. JAMA, 287, 2831-2834.
https://doi.org/10.1001/jama.287.21.2831
Smith, V., Devane, D., Begley, C.M., & Clarke, M.
(2011). Methodology in conducting a
systematic review of systematic reviews of
healthcare interventions. BMC Medical
Research
Methodology,
11,
15.
https://doi.org/10.1186/1471-2288-11-15
Souto, R., Khanassov, V., Pluye, P., Hong, Q.N.,
Bush, P., Vedel, I. (2014). Systematic mixed
studies reviews: reliability testing of the
Mixed Methods Appraisal Tool. In: Mixed
Methods International Research Association
(MMIRA) Conference. Boston, USA. http://
mixedmethodsappraisaltoolpublic.pbworks.
com
Stewart, R., & Oliver, S. (2012). Making a
difference with systematic reviews. In D.
Gough, S. Oliver, and J. Thomas (Eds.),
Introduction to Systematic Reviews (pp. 227244). Sage.
Straus, S., & Moher, D. (2010). Registering
systematic reviews. CMAJ, 182, 13-14.
https://doi.org/10.1186/1471-2288-11-15
Suri, H., & Clarke, D. (2009). Advancements in
research synthesis methods: From a
methodologically inclusive perspective.
Review of Educational Research, 79(1), 395430.
https://doi.org/10.3102/0034654308326349
│23
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
Sutton, A.J., Abrams, K.R., Jones, D.R., Sheldon,
T.A., & Song, F. (2000). Methods for metaanalysis in medical research. Wiley.
Tashakkori, A., & Teddlie, C. (Eds.). (2003).
Handbook of mixed methods in social and
behavioral research. Sage.
Tashakkori, A., & Teddlie, C. (Eds.). (2010).
Handbook of mixed methods in social and
behavioral research (2nd ed.). Sage.
Taylor, C., & Coffey, A. (2009). Special issue:
Qualitative research and methodological
innovation. Qualitative Research, 9, 523526.
https://doi.org/10.1177/1468794109350355
Teddlie, C. & Tashakkori, A. (2006). A general
typology of research designs featuring
mixed methods. Research in the Schools, 13,
12-28.
Tennant, J.P., Waldner, F., Jacques, D.C.,
Masuzzo, P., Collister, L.B., Hartgerink,
C.H. (2016). The academic, economic and
societal impacts of open access: an
evidence-based review. F1000Research, 5,
632.
https://doi.org/10.12688/f1000research.846
0.3.
Travers, M. (2009). New methods, old problems: A
skeptical view of innovation in qualitative
research. Qualitative Research, 9, 161-179.
https://doi.org/10.1177/1468794108095079
Tricco, A.C., Pham, B., Brehaut, J., Tetroe, J., &
Cappelli, M. (2009). An international survey
indicated that unpublihed systematic
reviews exist. Journal of Clinical
Epidemiology,
62,
617-623.
https://doi.org/10.1016/j.jclinepi.2008.09.0
14
Trinder, L. (2000). A critical appraisal of evidencebased practice. In L. Trinder & S. Reynols
(Eds.), Evidence-based practice: A critical
appraisal (pp. 212-241). Bkackwell
Science.
https://doi.org/10.1002/9780470699003
Trinder, L. & Reynolds, S. (Eds.) (2000).
Evidence-based practice: A critical
appraisal.
Blackwell
Science.
RELIEVE
https://doi.org/10.1002/9780470699003.ch1
0
Tronchoni, H., Izquierdo, C., & Anguera, M.T.
(2022). A systematic review on lecturing in
contemporary university teaching. Frontiers
in.
Psychology,
13,
971617.
https://doi.org/10.3389/fpsyg.2022.971617
Tufanaru, C., Munn, Z., Aromataris, E., Campbell,
J., & Hopp, L. (2020). Systematic reviews of
effectiveness. In E. Aromataris, and Z.
Munn (Eds.), JBI Manual for Evidence
Synthesis.
JBI.
https://doi.org/10.46658/JBIMES-20-04
Van der Braak, K., Ghannad, M., Orelio, C., Heus,
P., Damen, J.A.A, Spijker, R., Robinson, K.,
Lund, H., & Hooft, L. (2022). The score after
10 years of registration of systematic review
protocols. Systematic Reviews, 11, 191.
https://doi.org/10.1186/s13643-022-020539
Vandyk, A.D., Kaluzienski, M., Goldie, C., Stokes,
Y., Ross-White, A., Kronick, J., Gilmour,
M., MacPhee, C., & Graham, I.D. (2019).
Interventions to improve emergency
department use for mental health reasons:
protocol for a mixed-methods systematic
review. Systematic Reviews, 8, 84.
https://doi.org/10.1186/s13643-019-1008-6
Vicente-Sáezooft, L. (2022), R., & MartínezFuentes, C. (2018). Open science now: a
systematic literature review for an integrated
definition. Journal of Business Research, 88,
428–36.
https://doi.org/10.1016/j.jbusres.2017.12.04
3
Voils, C.I., Sandelowski, M., Barroso, J.,
Hasselblad, V. (2008). Making sense of
qualitative and quantitative findings in
mixed research synthesis studies. Field
Methods,
20(1),
3-25.
https://doi.org/10.1177/1525822X07307463
Wiafe, E., Mensah, K.B., Mensah, A.B.B.,
Bandalee, V., & Oosthuizen, F. (2020). The
awareness of women on prostate cancer: a
mixed-methods systematic review protocol.
Systematic
Reviews,
9,
253.
https://doi.org/10.1186/s13643-020-01513-4
│24
Anguera, M. T. (2023). Revisitando las revisiones sistemáticas desde la perspectiva metodológica. RELIEVE, 29(1), art. M4.
http://doi.org/10.30827/relieve.v29i1.27758
Authors / Autores
Anguera, M. Teresa (mtanguera@gmail.com).
0000-0001-7147-2927
Catedrática de Metodología de las Ciencias del Comportamiento de la Facultad de Psicología de la Universidad de
Barcelona (España). Es Licenciada en Psicología y Derecho, y Doctora en Psicología. Sus principales líneas de
investigación son: Metodología observacional, mixed methods, y evaluación de programas de baja intervención. Ha
participado en 30 proyectos de investigación competitivos, habiendo coordinado 12 de ellos a nivel nacional. Ha
realizado numerosas publicaciones en España y el extranjero (31 libros, 139 capítulos de libro, y 331 artículos). Ha
dirigido/codirigido 66 Tesis Doctorales ya defendidas. Es académica de número de la Academia de Psicología de
España, Real Academia Europea de Doctores, y miembro correspondiente de la Real Academia de Medicina de
Cataluña.
Revista ELectrónica de Investigación y EValuación Educativa
E-Journal of Educational Research, Assessment and Evaluation
[ISSN: 1134-4032]
Esta obra tiene licencia de Creative Commons Reconocimiento-NoComercial 4.0 Internacional.
This work is under a Creative Commons Attribution 4.0 International license.
RELIEVE
│25
M. Teresa Anguera