“Curso de Esquemas de Evaluación Externa de la Calidad”
Módulo 2 Parte I
Contenido
Introducción ........................................................................................................................................................ 2
ISO 15189:2012 ................................................................................................................................................... 2
Participación .................................................................................................................................................... 2
Enfoque alternativo ......................................................................................................................................... 2
Análisis de las muestras de comparación interlaboratorio ............................................................................. 2
Evaluación del desempeño de los laboratorios ............................................................................................... 3
Objetivo ............................................................................................................................................................... 3
Situación actual en el área................................................................................................................................... 3
Enfoque correcto ................................................................................................................................................. 4
Grupo de comparación .................................................................................................................................... 5
Resultados aceptados .....................................................................................................................................10
Última encuesta frente a encuestas anteriores...............................................................................................10
Evaluación del desempeño ............................................................................................................................. 12
Resultados no conformes ............................................................................................................................... 13
Desempeño y Calidad ......................................................................................................................................... 16
Indicadores de la calidad: Etapa analítica...................................................................................................... 16
Seguimiento de la calidad: Métrica sigma...................................................................................................... 17
Incertidumbre de medida: Componente sistemático .....................................................................................18
Página 1 de 19 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni
distribución gratuita u onerosa.
Introducción
Nuestro principal objetivo como profesionales de un laboratorio clínico es generar resultados, productos y
servicios clínicamente útiles para el cuidado de la salud del paciente.
La participación en esquemas de evaluación externa de la calidad y/o ensayos de aptitud está asociada al
aseguramiento de la calidad de los resultados de los análisis.
La idea es emplear los esquemas de evaluación externa de la calidad para mejorar el cuidado de la salud del
paciente
ISO 15189:2012
La norma ISO 15189:2012 en el apartado 5.6.3 hace referencia a este tipo de esquemas.
Participación
El laboratorio debe participar en uno o más esquemas de comparación interlaboratorio (tal como un programa
de evaluación externa de la calidad o ensayo de aptitud), apropiado para el análisis e interpretación de sus
resultados. El laboratorio debe hacer un seguimiento de los resultados del programa de comparación
interlaboratorio y participar en la implementación de acciones correctivas cuando los criterios de desempeño
predeterminados no se cumplen.
El laboratorio debe establecer un procedimiento documentado para la participación en comparaciones
interlaboratorio que incluya responsabilidades definidas e instrucciones para la participación y cualquier
criterio de desempeño que difiera de los criterios utilizados en el programa de comparación interlaboratorio.
El programa interlaboratorio elegido por el laboratorio debe, en la medida de lo posible, proporcionar desafíos
clínicamente pertinentes que imiten las muestras de pacientes y tengan el efecto de controlar la totalidad del
proceso de análisis, que incluyan los procedimientos pre analíticos y post analíticos, cuando sea posible.
Enfoque alternativo
Cuando una comparación interlaboratorio no esté disponible, el laboratorio debe desarrollar otras
comparaciones alternativas y debe proporcionar evidencia objetiva para determinar la aceptabilidad de los
resultados de los análisis.
Análisis de las muestras de comparación interlaboratorio
El laboratorio debe integrar muestras de comparación interlaboratorio en el flujo de trabajo de rutina, de una
manera que refleje, tanto como sea posible, el tratamiento de las muestras de los pacientes.
Las muestras de comparación interlaboratorio deben ser tratadas por el personal que rutinariamente analiza
las muestras de pacientes llevando a cabo los mismos procedimientos utilizados para las muestras de pacientes.
El laboratorio no debe comunicarse con otros participantes del programa de comparación interlaboratorio
acerca de los datos de la muestra hasta después de la fecha de envío de los datos al programa.
El laboratorio no debe derivar las muestras de comparación interlaboratorio para realizar análisis
confirmatorios antes del envío de los datos al programa, aunque esto habitualmente se realice con muestras de
pacientes.
Página 2 de 19 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni
distribución gratuita u onerosa.
Evaluación del desempeño de los laboratorios
El desempeño en las comparaciones interlaboratorio se debe revisar y discutir con el personal pertinente.
Cuando los criterios de desempeño predeterminados no se cumplen (es decir, se presentan no conformidades),
el personal debe participar en la implementación y en el registro de acciones correctivas. Debe realizarse un
seguimiento de la eficacia de las acciones correctivas tomadas.
Los resultados obtenidos se deben evaluar para detectar tendencias que indiquen no conformidades
potenciales y se deben tomar acciones preventivas.
Objetivo
Los esquemas de evaluación externa de la calidad son una herramienta para la mejora continua de la calidad.
Como herramienta de mejora continua de la calidad deben generar evidencia objetiva de la competencia para
los usuarios del laboratorio (médicos solicitantes y pacientes), organismos regulatorios y de acreditación.
La idea es que el análisis de los resultados de participación en esquemas de evaluación externa de la calidad
permita detectar situaciones en progreso que, si no se les presta oportuna atención, son capaces de generar
resultados no conformes y por ende sin utilidad clínica. Dicho de otra forma, el objetivo es la prevención y
corrección oportuna de situaciones adversas que pueden desencadenar resultados no conformes, para ello
necesitamos cambiar el enfoque, se necesita un enfoque pro activo.
Situación actual en el área
El enfoque que por lo general le dan los laboratorios a la participación en esquemas de evaluación externa de la
calidad es reactivo.
¿Qué implica un enfoque reactivo?
Básicamente implica reaccionar frente a los resultados rechazados.
Este tipo de enfoque se caracteriza por:
1) No se evalúa la consistencia del grupo de comparación antes de analizar los resultados. Podríamos
profundizar aún más y decir que no se evalúa la consistencia de un esquema antes de decidir participar
en el mismo.
2) Se les presta atención a los resultados rechazados (reaccionamos ante los rechazos), pero no a los
resultados aceptados.
3) Es frecuente evaluar las encuestas de manera aislada sin comparar los resultados obtenidos frente a los
resultados de encuestas anteriores.
4) Se asume como único criterio de aceptación el propuesto por el proveedor del esquema (externo) que se
basa, por lo general, en la estadística del grupo de comparación. Recordemos que dijimos que no es
frecuente evaluar la consistencia del grupo de comparación antes de tomar decisiones, por lo tanto,
puede que los datos del grupo de comparación no sean de utilidad, y, por lo tanto, tampoco será de
utilidad el criterio de aceptación/rechazo propuesto por el proveedor del esquema.
Página 3 de 19 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni
distribución gratuita u onerosa.
5) No es frecuente el registro de las no conformidades (resultados rechazados) y tampoco existe una
estandarización de su tratamiento.
Estamos frente a una gran oportunidad de mejora, podemos efectuar cambios significativos, sin impactar los
costos de evaluación.
Enfoque correcto
¿Cómo podemos mejorar esta situación sin impactar los costos de evaluación?
1) Es muy importante evaluar la consistencia del grupo de comparación antes de preceder a la evaluación
de los resultados, debemos saber qué tan confiable es el valor asignado y la dispersión de datos del
grupo.
2) Si queremos que el enfoque sea pro activo (orientado a la prevención) hay que prestar atención a los
resultados aceptados y a los rechazados. Los resultados aceptados nos permiten detectar desvíos y
tendencias además de otras inconsistencias.
3) Para lograr identificar de manera pronta desvíos y tendencias es fundamental revisar los resultados de
la última encuesta frente a los resultados de encuestas anteriores.
4) Cuando el grupo de comparación es consistente, el criterio de aceptación/rechazo (externo) propuesto
por el proveedor del esquema es válido. Sin embargo, recordemos que vamos a evaluar error de medida,
y el error de medida tiene un componente aleatorio y uno sistemático, por lo tanto, podemos recurrir a
la especificación de desempeño analítico oportunamente escogida para el procedimiento de medida,
considerando su uso previsto, para tener un criterio interno de evaluación.
5) La resolución de no conformidades debe ser registrada de manera estandarizada y estar disponible.
Página 4 de 19 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni
distribución gratuita u onerosa.
Grupo de comparación
Los datos del grupo de comparación son críticos para poder obtener información correcta.
Los datos del grupo de comparación que son críticos son:
- Media del grupo de comparación: Es el valor de referencia
- Dispersión de la distribución de los datos del grupo de comparación: Desvío estándar y coeficiente
de variación del grupo de comparación
- Cantidad de participantes del grupo de comparación
- Error estándar del valor asignado u(x) (Incertidumbre estándar del valor asignado)
Página 5 de 19 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni
distribución gratuita u onerosa.
El valor de referencia es fundamental. Será empleado para estimar el error de medida.
Para estimar el error de medida se necesita conocer el valor de referencia y este debe ser confiable, es decir el
error asociado a su estimación debe ser lo suficientemente pequeño.
Recordemos que el error de medida es la diferencia entre el valor medido de una magnitud y un valor de
referencia. El valor de referencia es la media robusta del grupo de comparación.
Recordemos la ecuación:
Error de medida = Valor Medido – Valor de Referencia
Página 6 de 19 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni
distribución gratuita u onerosa.
Recordemos que el error de medida tiene un componente aleatorio y un componente sistemático.
Error de medida no es sesgo, el sesgo que cuantifica la veracidad está vinculado solamente al error sistemático.
Recordemos que el sesgo es el estimado de un error sistemático y se estima como la diferencia entre la media
de una serie de mediciones efectuadas sobe una muestra y el valor de referencia de la citada muestra.
De acuerdo a lo establecido en la Norma ISO 13528 existen distintas alternativas para establecer el valor
asignado (valor de referencia).
Formulación: El elemento de ensayo de aptitud puede prepararse mezclando materiales con diferentes
niveles conocidos de una propiedad en proporciones especificadas, o añadiendo una proporción especificada de
una sustancia a un material de base.
El valor asignado xpt se obtiene por cálculo de las masas de propiedades utilizadas. Este enfoque es
especialmente valioso cuando los ítems individuales de la prueba de competencia se preparan de esta manera, y
es la proporción de las propiedades que se va a determinar.
No se utiliza en esquemas para laboratorios clínicos.
Material certificado de referencia: Cuando un elemento de prueba de aptitud es un material de
referencia certificado (CRM, por sus siglas en ingles), su valor de propiedad certificado xCRM se utiliza como
valor asignado xpt.
No existen materiales certificados de referencia para todos los mensurandos del laboratorio clínico, y además
son costosos.
Página 7 de 19 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni
distribución gratuita u onerosa.
Resultados de un laboratorio: Un valor asignado puede ser determinado por un solo laboratorio
utilizando un método de referencia, tal como, por ejemplo, un método primario. El método de referencia
utilizado debe ser completamente descrito y comprendido, y con una declaración de incertidumbre completa y
trazabilidad metrológica documentada que sea apropiada para el esquema de pruebas de aptitud. El método de
referencia debe ser conmutable para todos los métodos de medición utilizados por los participantes.
No se utiliza en esquemas para laboratorios clínicos.
Valor consenso de laboratorios expertos: Los valores asignados pueden determinarse usando un
estudio de comparación interlaboratorio con laboratorios expertos, tal como se describe en la Guía ISO 35 para
el uso de comparaciones entre laboratorios para caracterizar un CRM.
No se utiliza en esquemas para laboratorios clínicos.
Valor consenso de los participantes del grupo: Con este enfoque, el valor asignado xpt para el ítem de
prueba de aptitud usado en una ronda de un esquema de prueba de aptitud es la estimación de tendencia
central (por ejemplo, media robusta, mediana o media aritmética) formada a partir de los resultados
reportados por los participantes en la ronda, utilizando un procedimiento adecuado (estadística robusta).
Esta opción es la más utilizada por los proveedores de esquemas de evaluación externa de la calidad en el área
de laboratorios clínicos.
El valor asignado (valor de referencia) termina siendo la media robusta del grupo de comparación.
Página 8 de 19 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni
distribución gratuita u onerosa.
Las normas ISO 17043:2010 y la norma ISO 13528:2015 establecen las siguientes recomendaciones para la
cantidad mínima de laboratorios participantes de un grupo “N°” (p según las normas ISO):
N° > 12 (cuando se estima una media)
Nº > 15 (cuando se recurre a estadística robusta)
Nº > 18 (cuando se recurre a una mediana)
Además, nos dice que para que los datos de dispersión de grupo sean confiables el Nº debería ser mayor de 30.
Las guías de IUPAC establecen las siguientes recomendaciones:
N° > 20 (mínimo)
N° > 30 (óptimo)
La ecuación que nos permite estimar la incertidumbre estándar del valor asignado (valor de referencia) es la
siguiente:
Página 9 de 19 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni
distribución gratuita u onerosa.
La pregunta que nos debemos hacer es qué tan grande puede ser la incertidumbre estándar del valor asignado
para que este valor de referencia sea confiable.
La respuesta una vez más está en la norma ISO 13528:2015:
Si la incertidumbre estándar u(x) del valor asignado es grande en comparación con el criterio de evaluación del
desempeño, existe el riesgo de que algunos participantes reciban señales de acción y advertencia debido a la
inexactitud en la determinación del valor asignado, no por causa del participante. Por esta razón, se
determinará la incertidumbre estándar del valor asignado y se informará a los participantes (véase ISO / IEC
17043: 2010, 4.4.5 y 4.8.2). Si se cumple el siguiente criterio, entonces la incertidumbre del valor asignado
puede considerarse insignificante y no necesita ser incluida en la interpretación de los resultados de la ronda de
pruebas de aptitud.
Resultados aceptados
Recordemos una vez más que la idea es lograr un enfoque pro activo, orientado a la prevención. Es
fundamental que consideremos los resultados aceptados para lograr identificar:
- Desvíos
- Tendencias
- Inconsistencias
Estas situaciones pueden ser detectadas a partir del análisis de los resultados aceptados y pueden ser
corregidas antes de que impacten de manera negativa sobre los resultados de los pacientes. De esta manera
aprovecharíamos la información como una herramienta de mejora continua.
Última encuesta frente a encuestas anteriores
Reforzando el punto anterior, cuando revisamos la última encuesta recibida lo ideal es comparar los resultados
frente a los resultados de encuestas anteriores, realizando un análisis de los números y recurriendo a los
gráficos de soporte.
Una vez más podemos mencionar que este cambio de conducta nos facilitará la identificación y corrección de
desvíos y tendencias de manera pro activa sin afectar la utilidad clínica de los resultados de los pacientes. El
seguimiento del índice de desvío estándar de un conjunto de encuestas es de mucha utilidad.
Página 10 de 19 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni
distribución gratuita u onerosa.
Además, a partir del análisis de un conjunto de encuestas podemos acceder a un modelo de estimación del
sesgo de un procedimiento de medida y podemos estimar especificaciones de desempeño analítico según el
estado del arte.
En el gráfico podemos ver el valor obtenido para el índice de desvío estándar de una encuesta individual.
Observando un único dato todo parece estar normal.
Página 11 de 19 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni
distribución gratuita u onerosa.
Si revisamos los valores obtenidos para el índice de desvío estándar de un conjunto de encuestas anteriores
podemos identificar un desvío negativo.
Es notorio que existen varios valores de índice de desvío estándar negativos. Esta situación es más evidente si
recurrimos a un gráfico:
Este desvío debe ser evaluado, y si resulta ser significativo desde un punto de vista clínico, deberá ser corregido
antes de que impacte negativamente sobre los resultados de los pacientes.
Evaluación del desempeño
Ya hemos mencionado que es fundamental asegurar la consistencia del grupo de comparación antes de sacar
cualquier conclusión. Por lo general los proveedores de los esquemas establecen criterios de
aceptación/rechazo. Este criterio tiene un fundamento estadístico y es externo al laboratorio.
Página 12 de 19 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni
distribución gratuita u onerosa.
El laboratorio en cada encuesta, para cada procedimiento de medida (con variables continuas) estima el error
de medida. Recordemos que el error de medida tiene un componente aleatorio y uno sistemático, por lo tanto,
podría ser enfrentado a la especificación de desempeño analítico escogida para cada procedimiento de medida
considerando su uso previsto.
Es decir, podemos comprar el error de medida frente a la especificación de desempeño analítico (criterio
interno).
Resultados no conformes
Cuando revisamos los resultados de participación en un esquema de evaluación externa de la calidad los
podemos dividir en:
- Resultados aceptados
- Resultados sin clasificar
- Resultados rechazados
Página 13 de 19 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni
distribución gratuita u onerosa.
Los resultados aceptados y los resultados sin clasificar ofrecen una oportunidad de mejora. Los resultados
rechazados necesitan una acción correctiva.
Cuando un laboratorio recibe un resultado inaceptable, se deben evaluar de manera sistemática todos los
aspectos del procedimiento de medida involucrado. El laboratorio debe tener un procedimiento escrito que
incluya las actividades específicas para detectar, comprender y corregir el problema identificado. Estos
procedimientos deben ser consistentes con las regulaciones locales o regionales y los requisitos de acreditación.
Las siguientes etapas o actividades deben ser consideradas:
Es muy importante comenzar con una clasificación del problema. El siguiente gráfico nos ofrece un modelo de
clasificación:
Página 14 de 19 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni
distribución gratuita u onerosa.
Para que el problema sea resuelto debemos abordar la causa raíz del problema (cuando sea posible).
El siguiente gráfico nos ofrece una simplificación de la causa raíz asociadas a problemas con esquemas de
evaluación externa de la calidad.
Recordemos que una vez identificada la causa raíz, se debe tomar una acción correctiva y luego se debe
verificar que la acción correctiva haya funcionado.
Página 15 de 19 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni
distribución gratuita u onerosa.
Desempeño y Calidad
Recordemos que podemos utilizar a los EQA/PT como una herramienta de mejora continua de la calidad.
Para lograrlo podemos definir y seguir indicadores de la calidad para la etapa analítica, enfrentar el desempeño
de un procedimiento de medida a una especificación de desempeño analítico para estimar la métrica sigma y
seguir de manera periódica la calidad del procedimiento de medida, e inclusive, aportar el componente
sistemático para la estimación de la incertidumbre de medida.
Indicadores de la calidad: Etapa analítica
Podemos utilizar indicadores estandarizados por el proyecto de la IFCC para la etapa analítica recurriendo a los
datos de participación en esquemas de evaluación externa de la calidad.
Dos indicadores son de alta prioridad en tanto que el tercero es recomendado.
El siguiente gráfico nos muestra los indicadores propuestos:
Página 16 de 19 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni
distribución gratuita u onerosa.
Seguimiento de la calidad: Métrica sigma
Desempeño y calidad son conceptos vinculados, pero no son lo mismo. Cuando estimamos coeficiente de
variación y sesgo estamos midiendo desempeño.
Podemos acceder al coeficiente de variación a partir de los datos de control estadístico interno de la calidad.
Podemos acceder al sesgo a partir del análisis de un conjunto de encuestas de participación en un esquema de
evaluación externa de la calidad.
Si enfrentamos desempeño con una especificación de desempeño analítico podemos estimar la métrica sigma
que nos permite medir la calidad del procedimiento de medida.
La métrica sigma hace a la calidad medible. Si la podemos medir la podemos controlar y mejorar.
Página 17 de 19 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni
distribución gratuita u onerosa.
La siguiente tabla nos permite vincular la métrica sigma con el nivel de calidad obtenido:
Incertidumbre de medida: Componente sistemático
Existen varios modelos de aproximación para la estimación de la incertidumbre de medida. Todos estos
modelos tienen en cuenta un componente aleatorio y un componente sistemático para estimar la incertidumbre
de medida típica de un procedimiento de medida.
Uno de los más reconocidos es el modelo propuesto por el reporte técnico de NordTest TR 537. Este modelo
utiliza los datos de un único laboratorio para la estimación.
Recordemos que el error sistemático está asociado al concepto de veracidad y su expresión cuantitativa es el
sesgo.
Página 18 de 19 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni
distribución gratuita u onerosa.
El error aleatorio está asociado al concepto de precisión y su expresión cuantitativa es el desvío estándar (o
coeficiente de variación porcentual).
El error de medida tiene un componente aleatorio y uno sistemático y está asociado al concepto de exactitud.
Su expresión cuantitativa está dada por la incertidumbre de medida.
Este modelo de estimación nos permite acceder a la estimación de la incertidumbre típica obtenida para los
resultados generados por un procedimiento de medida determinado cuantificando un componente sistemático
y un componente aleatorio.
Podemos utilizar los datos de participación en un conjunto de encuestas de un esquema de evaluación externa
de la calidad para estimar el componente sistemático para la estimación de la incertidumbre de medida
recurriendo al modelo de estimación propuesto.
El componente aleatorio se obtiene a partir de los datos acumulados de control estadístico interno de la
calidad.
--Fin de Documento--
Página 19 de 19 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni
distribución gratuita u onerosa.
