La calidad es lo que cuenta: apreciación crítica de las Evaluaciones Económicas

marzo 5, 2020

Giancarlo Romano Gómez
M.Sc. Economía
Consultor, investigador IETS

En una entrada pasada del Blog, Laura van der Werf explicaba los elementos centrales para entender las evaluaciones económicas, en particular, las de costo-efectividad y las de costo-utilidad, y su propósito en la toma de decisiones para la asignación eficiente de recursos y como herramienta dirigida a maximizar los beneficios en salud de la población. Dado este propósito, resulta crucial determinar qué tan bien se realizó una evaluación, si la metodología fue la apropiada, si los resultados son válidos, y si el alcance y limitaciones de la evaluación son adecuados. En síntesis, tomar buenas decisiones, que impliquen mejorar la eficiencia en la asignación de recursos sanitarios e incrementar los resultados que con ellos se consiguen, depende en parte importante de la calidad de las evaluaciones económicas que las soportan. En esta entrada explicamos los elementos centrales a tener en cuenta en la evaluación de calidad de un estudio de evaluación económica.

¿Qué se evalúa y cómo en una evaluación?

La práctica ha mostrado que probablemente el enfoque más apropiado para evaluar las evaluaciones es comenzar por identificar los distintos elementos que se considera debe tener una evaluación económica de buena calidad, atendiendo a la transparencia, tanto de los procedimientos para obtener la información y demás insumos que la alimentan, como de los métodos utilizados, y a la reproducibilidad de ellos y de los resultados obtenidos. Desde esta perspectiva, es importante fijar la atención en los componentes que tienen un impacto más importante sobre la validez de los resultados de la evaluación, a saber (1):

Métodos para obtener datos de efectividad.
Medición y valoración de los recursos.
Medición y valoración de beneficios en salud (generalmente, las utilidades).
Método de síntesis de los costos y beneficios.
Calidad de los modelos de decisión.
Análisis de incertidumbre.
Generalizabilidad de los resultados.

Métodos para obtener datos de efectividad

Existe una jerarquía de fuentes de evidencia que va desde una revisión sistemática formal hasta la opinión de expertos. En la medida de lo posible, las evaluaciones económicas deben usar los datos de efectividad obtenidos de una revisión sistemática. Sin embargo, el uso de datos a partir de estudios primarios experimentales u observacionales o la síntesis no sistemática de datos de efectividad puede justificarse cuando son las únicas fuentes de evidencia disponible. Con frecuencia los estudios de evaluación económica recaban información de efectividad de varias fuentes a partir de revisiones de literatura, de manera que la evaluación debe centrarse en los métodos utilizados para la búsqueda de dicha literatura. Así, es preciso poner el foco en:

Si se usó o no una estrategia de búsqueda y cómo fue diseñada.
Qué bases de datos se consultaron.
Si se especificaron o no y de qué manera los criterios de inclusión y exclusión de artículos y demás fuentes.
Si se suministró información suficiente o no para establecer la calidad de los estudios incluidos.

Medición y valoración de los recursos

La evaluación de la calidad del análisis de costos debe considerar qué costos se consideraron en el estudio, la medición de las cantidades de recursos asociados y la valoración de esos recursos. En general, tanto los recursos a incluir en el estudio como su valoración dependen del contexto. Deben incluirse no solo los costos de proporcionar una intervención, sino también los costos no relacionados directamente con la intervención y los asociados a eventos adversos. Los costos que deben incluirse en el estudio dependen fundamentalmente de:

La perspectiva o punto de vista del estudio, que hace referencia al agente, organización o instituciones que asume en última instancia los costos relevantes de la intervención o programa bajo evaluación. Entre las perspectivas usualmente se reconocen la del paciente, la del médico, la del tercero pagador (que pueden ser las aseguradoras o la entidad encargada del pago final de la provisión de un servicio de salud) y la de la sociedad (ver la Tabla 1).
La magnitud de los recursos consumidos.

Aquí, se debe verificar la congruencia entre la perspectiva y los costos incluidos. No existe una regla general para comprobar la coherencia entre costos y perspectiva, pero cuanto más amplia la perspectiva, más son los recursos y costos a considerar. La Tabla 1 ofrece una guía de los costos a incluir.

La valoración de la calidad de los modelos de decisión es relativamente reciente y tiene exigencias técnicas que ameritan una exposición más detallada, cosa que dejamos para un próximo blog. Quien se quiera adelantar, puede ver Philips et al. (2).

Muchos de los costos y beneficios de las intervenciones bajo comparación ocurren en el futuro e implican gastos después de su administración, y los resultados pueden tardar tiempo, que puede medirse en años, en manifestarse. Para incorporar los gastos (y también los beneficios) futuros es necesario ajustar estos valores, pues debe tenerse en cuenta el impacto de la inflación sobre los precios y la preferencia temporal de los individuos, que usualmente prefieren postergar los costos y adelantar los beneficios. Esto es, en la evaluación de la calidad, debe considerarse si los costos (y beneficios) se ajustaron y trajeron a valor presente y con qué tasa de descuento.

Medición y valoración de beneficios en salud

Los beneficios en salud generados por las intervenciones suelen medirse en función del impacto que tienen en la calidad y expectativa de vida, en una métrica de años de vida ajustados por calidad o AVAC (también llamada utilidad en los estudios económicos), donde 0 indica una calidad de vida/utilidad equivalente a la muerte y 1 una calidad de vida/utilidad de plena salud. Estas utilidades pueden medirse utilizando herramientas de valoración genérica, como el SF-6D o el EQ-5D, o herramientas específicas para una condición/enfermedad que puede haberse obtenido utilizando técnicas de apuesta/lotería estándar (standard gamble) o de intercambio temporal (time trade-off). Las herramientas difieren considerablemente y la elección de una u otra puede afectar los resultados obtenidos y su capacidad para ser útil en el establecimiento de prioridades. En consecuencia, la evaluación de la calidad de un estudio debe examinar:

Quién proporcionó los puntajes (pacientes, médicos, público en general, etc.).
Qué herramienta se utilizó (EQ-5D, SF-6D, etc.).
Cuándo se obtuvieron los puntajes (al inicio del estudio, durante el tratamiento, después del tratamiento, etc.).

Método de síntesis de los costos y beneficios

El verdadero valor económico de una intervención depende de los costos y beneficios adicionales en comparación con otra. Las relaciones incrementales de costo-efectividad (RICE) son las relaciones que capturan este valor relativo. Lo importante en la síntesis de los costos y beneficios es que estén claramente determinados y expuestos, evaluando si los beneficios adicionales justifican los costos adicionales (ver Claves para entender los análisis de costo-efectividad y otros tipos de evaluaciones económicas).

Análisis de incertidumbre

Al estimar la calidad de una evaluación económica, es necesario investigar a fondo las posibles fuentes de incertidumbre, entre las que se encuentran:

Incertidumbre sobre parámetros, debida a que los parámetros se estiman a partir de muestras y se desconoce su verdadero valor.
Incertidumbre metodológica, que surge de los métodos analíticos utilizados en la evaluación, particularmente cuando hay desacuerdo sobre los métodos utilizados (por ejemplo, la inclusión de costos indirectos, el descuento de los beneficios para la salud, la tasa de descuento, etc.).
La incertidumbre de la modelación, que puede surgir debido a los supuestos simplificadores que a menudo se requieren para construir el modelo, dada la disponibilidad de datos y la complejidad de la condición/enfermedad bajo análisis.

Generalizabilidad de los resultados

La generalizabilidad es el grado en el que los resultados obtenidos pueden aplicarse a diferentes contextos en un sistema de salud. Aspectos como la relevancia de la intervención, la población de pacientes y los recursos que se han incluido en la evaluación económica determinarán si los resultados pueden generalizarse o no. La incertidumbre con respecto a la posibilidad de generalización de los resultados para el entorno del estudio relevante usualmente se evalúa mediante análisis de sensibilidad.

El método utilizado mayoritariamente para la evaluación de la calidad de las evaluaciones económicas ha sido el de las listas de verificación, entre las que se encuentran:

Lista de chequeo de Drummond et al (2005).
Lista de chequeo Critical Appraisal Skills Programme en español (CASPe).
The Quality Assessment of Health Economic Studies (QHES).
The Consensus on Health Economic Criteria (CHEC).
Pediatrics Quality Appraisal Questionnaire (PQAQ)

Estas listas de verificación definen:

Los criterios para juzgar que una evaluación económica es de calidad suficiente para ser útil.
La importancia relativa de los diferentes segmentos de la evaluación.
La medida en que la alta calidad en un determinado aspecto de una evaluación puede compensar la baja calidad con respecto a otro aspecto específico de la evaluación.

La elección de una lista de verificación apropiada debe hacerse bajo el entendimiento de que las herramientas de evaluación de calidad continuarán evolucionando con el tiempo y su confiabilidad y la validez deben mejorar para ser usados por todos los tomadores de decisiones (4).

Un estudio acerca de las fortalezas de las listas de verificación encontró que cuatro de ellas (BMJ, CHEC, QHES, PQAQ) tenían evidencia de una excelente confiabilidad test-retest, pero ninguna de las listas mostró una buena confiabilidad entre evaluadores en dos o más estudios, y sólo tres demostraron ser consistentes con los resultados de las otras listas de verificación o con la evaluación por parte de expertos en economía de la salud (4). Sin embargo, una evaluación crítica de los estudios de costo-efectividad no es sencilla y muchas veces puede ser subjetiva. Resulta preocupante que la herramienta más utilizada, la lista de verificación de Drummond, tiene más de 20 años y no considera un aspecto crucial de las evaluaciones, las características y estructura de la modelación económica (5), de las que se hablará en un próximo blog.

Finalmente, un estudio para los Países Bajos que analizó la calidad metodológica de 21 evaluaciones farmacoeconómicas presentadas ante la autoridad competente (la Dutch Health Care Insurance Board, CVZ por sus siglas en neerlandés), encontró que la misma fue sólida en sólo 8 de las 21. En la mayoría de los casos la perspectiva de análisis, los medicamentos de comparación y el reporte de los costos y beneficios totales e incrementales fueron correctos. Sin embargo, la indicación del medicamento, la determinación del tipo de análisis (costo-efectividad o costo-utilidad) y el horizonte temporal de las evaluaciones fueron frecuentemente incorrectos; los costos y los beneficios de los medicamentos no siempre se analizaron apropiadamente; las estrategias de modelación y los supuestos y razones en que se fundamentaron a menudo no fueron transparentes (6). De los 21 estudios farmacoeconómicos, la CVZ autorizó el reembolso de 12 medicamentos. Los investigadores concluyen que los estudios de costo-efectividad presentados a la CVZ fue, en general, de baja calidad y recomendaron adherirse al cumplimiento riguroso de los métodos para el desarrollo evaluaciones como la estrategia para elevar la calidad de dichos estudios (6). ¿Cuáles serían los resultados de un estudio semejante en Colombia?

Otros blogs que vieron los lectores

Claves para entender los análisis de costo-efectividad y otros tipos de evaluaciones económicas

1. Centre for Reviews and Dissemination, editor. CRD’s guidance for undertaking reviews in healthcare. 3. ed. York: York Publ. Services; 2009. 281 p. (Systematic reviews).

2. Philips Z, Ginnelly L, Sculpher M, Claxton K, Golder S, Riemsma R, et al. Review of guidelines for good practice in decision-analytic modelling in health technology assessment. Health Technol Assess . septiembre de 2004 ;8(36). Disponible en: https://www.journalslibrary.nihr.ac.uk/hta/hta8360/

3. Drummond MF, Sculpher MJ, Claxton K, Stoddart GL, Torrance GW, editores. Methods for the economic evaluation of health care programmes. 4. ed. Oxford: Oxford Univ. Press; 2015. 445 p.

4. Walker DG, Wilson RF, Sharma R, Bridges J, Niessen L, Bass EB, et al. Best Practices for Conducting Economic Evaluations in Health Care: A Systematic Review of Quality Assessment Tools . Rockville (MD): Agency for Healthcare Research and Quality (US); 2012 . (AHRQ Methods for Effective Health Care). Disponible en: http://www.ncbi.nlm.nih.gov/books/NBK114545/

5. Abstracts of the Global Evidence Summit. En: Abstracts of the Global Evidence Summit . Wiley; 2017 . Disponible en: http://doi.wiley.com/10.1002/14651858.CD201702

6. Hoomans T, Severens JL, van der Roer N, Delwel GO. Methodological Quality of Economic Evaluations of New Pharmaceuticals in the Netherlands: PharmacoEconomics. marzo de 2012;30(3):219-27.