Evaluación de la Sensibilidad y Especificidad de un Sistema de Ayuda a la Toma de decisiones como modelo de servicio*

Damian Borbolla**

Area Informática Médica, Hospital Italiano de Buenos Aires, Argentina

Carlos Otero

Area Informática Médica, Hospital Italiano de Buenos Aires, Argentina

David F. Lobach

Division of Clinical Informatics, Department of Community and Family Medicine, Duke University

Kensaku Kawamoto

Division of Clinical Informatics, Department of Community and Family Medicine, Duke University

Ana Maria Gomez Saldaño

Area Epidemiología, Hospital Italiano de Buenos Aires, Argentina

Gastón Lopez

Area Desarrollos Biomédicos, Hospital Italiano de Buenos Aires, Argentina

Adrián Gómez

Area Desarrollos Biomédicos, Hospital Italiano de Buenos Aires, Argentina

Daniel Luna

Area Informática Médica, Hospital Italiano de Buenos Aires, Argentina

Fernan Gonzalez Bernaldo de Quirosa

Area Informática Médica, Hospital Italiano de Buenos Aires, Argentina

*Reproducido con permiso de INFOLAC2008-AAIM.

**Dirección para correspondencia: Damian Borbolla. Residencia de Informática Médica Hospital Italiano de Buenos Aires, damian.borbolla@hospitalitaliano.org.ar

Resumen/Abstract

El cáncer de mama es la principal causa de muerte oncológica en mujeres y el screening con mamografía ayuda a reducir significativamente la mortalidad. Los Sistemas de Soporte a la Toma de decisiones son una herramienta de ayuda para mejorarla calidad brindada en las instituciones de salud y han demostrado su utilidad cuando son utilizados para mejorar la solicitud de prácticas preventivas en el ámbito de la atención primaria. El Hospital Italiano de Buenos Aires, en colaboración con la Universidad de Duke, se ecuentra en un proceso de implementación de un servidor de reglas de soporte de la decisión bajo el esquema de modelo de servicio, conocido como SEBASTIAN. En este estudio nos proponemos medir la sensibilidad y especificidad de las reglas para la detección en el sistema de información hospitalario de: mamografía realizada, valor de Bi Rads, factores de riesgo para cancer de mama, criterios de exclusión y la recomendación generada por SEBASTIAN. El gold estandar fue la revisión manual de las Historias Clinicas de los 210 pacientes incluidos en el estudio Entre los resultados encontrados se observó que para la detección de mamografías la sensibilidad fue de 94% y la especificidad del 91%. Para la detección de valores Bi Rads fueron de 69% y de 70% respectivamente, para los factores de riesgo 50% y 100%, para los criterios de exclusión fueron del 100% y del 98% respectivamente. Para las recomendaciones que genera la regla la sensibilidad y especificidad fueron de 97% y 72% respectivamente Los resultados encontrados fueron aceptables, aunque los mismos pueden mejorarse a partir de modificaciones menores tanto en la regla como en los procesos que determinan la generación de la recomendación.

1. Introducción

Entre las principales problemáticas de los sistemas de salud podemos enumerar las siguientes: 1) que las personas no reciben una atención cuando la necesitan, 2) que reciben servicios cuando no los necesitan y 3) que la calidad de la atención recibida varía, no solo inter-institucionalmente (distintos hospitales), sino que también existe variabilidad para el cuidado de una misma condición dentro de una misma institución1. En un estudio publicado en el año 2003 se vió que solo el 55% del cuidado brindado es de una calidad apropiada2.

Específicamente dentro del ámbito de las Prácticas Preventivas, también se han realizado medición de calidad, y cuando se evaluaron la proporción de beneficiarios de Medicare a los que se realizaron las prácticas preventivas recomendadas por la “US Preventive Services Task Force (USFSTF)”3 se vió que únicamente del 46,5 al 55,9% de los pacientes obtenían las prácticas recomendadas. En este estudio también se observó que cuando se evaluaban instituciones que tenían en funcionamiento Sistemas de Información, la performance de los médicos era mejor.

Entre los componentes de los Sistemas de Información que han demostrado ayudar a hacer frente a esta problemática, se encuentran los Sistemas Clínicos para la Ayuda a la Toma de Decisiones o Clinical Decision Support Systems (CDSS)4,5, estos sistemas se basan en proveer al medico, paciente o cualquier individuo de información paciente o población especifica, inteligentemente procesada en el momento preciso para garantizar un mejor proceso en salud, optimizar el cuidado de los pacientes y mejorar la salud pública 6.

Estos sistemas han mostrado ser útiles en mejorar las prescripciones médicas, reducir los errores vinculados a la medicación, aumentar los niveles de prácticas preventivas y mejorar la adherencia a los estándares de cuidado. 7-10

El Hospital Italiano de Buenos Aires se encuentra totalmente informatizado en el ámbito ambulatorio, cuenta con un sistema de información que tiene a la Historia Clínica Electrónica (HCE) como protagonista principal en la captura de los datos clínicos11. El sistema de medicina prepaga del Hospital Italiano (similar a las HMO americanas), asiste a una población aproximada de 150.000 afiliados y realiza evaluaciones periódicas de calidad, específicamente para la evaluación de los procesos de cuidado se utilizan las medidas HEDIS (indicador de calidad de desempeño)12 y el indicador del año 2005 arrojó que solo el 67% de las mujeres con indicación de mamografía poseen el estudio realizado.

El cáncer de mama es el tumor más común y principal causa de muerte oncológica en mujeres entre los 45 y los 55 años de edad. La USPSTF hallo evidencia que muestra que el screening con mamografía cada 12 a 30 meses reduce significativamente la mortalidad por cáncer de mama.13-15

La evolución histórica de los CDSS, ha transitado varias etapas, desde las herramientas aisladas en 1959, pasando por el soporte integrado a los sistemas de información en 1967, y mas cercanos aún, los sistemas basados en estándares desde 1989. Los últimos en desarrollarse han sido los sistemas de soporte para la decisión que prestan mediante un modelo de servicio las herramientas necesarias para generar las recomendaciones. Tal es el caso de “SEBASTIAN”, desarrollado en la Universidad de Duke, que permite mediante reglas generadas para una necesidad especifica proveer herramientas de soporte para distintas instituciones de salud de forma remota (a distancia).6, 16

El Hospital Italiano de Buenos Aires, mediante un proyecto colaborativo con dicha Universidad, realizó una prueba de interoperabilidad entre su sistema de información y el de la Universidad de Duke, utilizando del sistema SEBASTIAN a partir de reglas que generan recomendaciones especificas para el screening de Cáncer de mama en sus pacientes del Plan de Salud.

En este estudio nos proponemos medir la sensibilidad y especificidad de la regla de cumplimiento del screening de cáncer de mama mediante la utilización de “SEBASTIAN” como CDSS y las recomendaciones generadas posteriormente, todo esto como parte de un proceso preliminar a otro estudio que medirá la influencia de esta herramienta en la incidencia de cáncer de mama y su impacto en el workflow asistencial.

2. Materiales y Métodos

El diseño del estudio fue un corte transversal, los datos fueron recolectados durante el mes de Junio de 2008. Se seleccionaron 210 mujeres de entre 50 y 69 años, pertenecientes al padrón activo del Plan de Salud del Hospital Italiano, con al menos 2 años de antigüedad de afiliación en el mismo.

2.1 Descripción del funcionamiento de “SEBASTIAN”

SEBASTIAN es un servidor de reglas de soporte de la decisión, las aplicaciones clientes interactúan con el servidor para evaluar a los pacientes en un proceso de comunicación bidireccional basado en XML (ver también figura 1):

  1. Una aplicación cliente consulta en “SEBASTIAN” una lista de reglas disponibles pide los requisitos (datos clínicos) que se necesitan para aplicar una de las reglas a un paciente
  2. La aplicación cliente recolecta los datos clínicos en el repositorio local y envía los datos de indentificación del paciente
  3. SEBASTIAN responde con información estructurada el resultado de la evaluación
  4. La aplicación cliente procesa la información recibida y puede tomar distintas conductas como mostrar una alerta o recordatorio o marcar un paciente en una base de datos

La comunicación entre el cliente y el servidor es un Web Service que se encuentra en vía de aprobación como estándar de HL7.

Figura 1 – Funcionamiento de SEBASTIAN en el Sistema de Información del HIBA

Las reglas para el screening de cáncer de mama son una serie de indicaciones, generadas en SEBASTIAN. Estas reglas chequean en el servidor de resultados institucional la presencia de mamografía, el valor de Bi Rads y los factores de riesgo para cáncer de mama y criterios de exclusión para esta patología. De acuerdo a esta información, el CDSS genera una recomendación acerca de la realización de screening de cáncer de mama. En este estudio se midió la sensibilidad y especificidad del CDSS para la detección de: mamografía, Valores de Bi Rads (dato que se encuentra estructurado dentro del sistema informático de reportes del servicio de diagnóstico por imágenes del Hospital), factores de riesgo para cáncer de mama (antecedentes personales de cáncer de mama, antecedentes familiares) criterios de exclusión para el screening (cáncer activo de cualquier localización, demencia, postración) y de la recomendación generada por SEBASTIAN, entre las que se encontraban, solicitar una mamografía, consultar a un especialista o no aplicar ningún tipo de intervención.

2.2 Revisión Manual de la HCE

El gold estándar para la evaluación de la regla fue la revisión manual de la HCE de cada uno de las pacientes incluidas en el estudio, buscando la presencia de información no detectada por “SEBASTIAN”.

Se evaluaron las características operativas del CDSS: Sensibilidad, Especificidad, LR+ (likelihood ratio +) y LR- (likelihood) con sus con sus respectivos intervalos de confianza (IC) 95%. Se utilizaron las definiciones de la tabla 1 para el cálculo de sensibilidad, especificidad LR+ y LR-.

TABLA 1. DEFINICIONES UTILIZADAS PARA LA EVALUACIÓN

3. Resultados

La revisión de las HCE estuvo a cargo de dos médicos pertenecientes a las áreas de informática médica y epidemiología del Hospital Italiano, se revisaron las 210 HCE ambulatorias de las mujeres seleccionadas para el estudio, para realizar la revisión se consultaron los módulos de evolución, resultados y problemas de la HCE. A continuación se describen los resultados encontrados y en la figura 2 los mismos de forma esquemática.

En relación a la regla que detecta la mamografía por el CDSS la sensibilidad, especificidad y LR+ con sus IC95% fueron del 94% (88,9-97), 91% (80-97,6), 11 (4,31-28,17) respectivamente.

Para la recomendación sobre la realización de screening que realiza el CDSS, la cual está basada en reglas que chequean información en el repositorio de datos clínicos, la sensibilidad, especificidad y LR+ fueron del 98% (93-99), 72% (60-80) y 3,5 (2,22-5,51) respectivamente.

La sensibilidad y la especificidad para la detección del valor de Bi Rads desde el informe de mamografía fueron del 70% +(60-75) y 98% (92-99) LR+ 34,5 (6,95-343,3) respectivamente.

La sensibilidad y la especificidad para la detección de factores de riesgo de cáncer de mama fueron del 50% (30-70) y 100% (98-100), respectivamente.

Para la detección de criterios de exclusión la sensibilidad, especificidad y LR+ fueron del 100% (34-100), 98% (95-99) y 51,75 (19,6-136,57) respectivamente.

Figura 2 – Resultados

4. Discusión

La evaluación de la sensibilidad y especificidad obtenidos con la realizacion del estudio fueron satisfactorios y permitieron detectar errores que deberán ser tenidos en cuenta posteriormente para el ajuste de procesos ya instaurados y modificaiones en las reglas de screening de cáncer de mama.

Para la detección de la presencia de mamografías se registraron falsos negativos, estos correspondieron a resultados de mamografías que se encontraban escritas en el texto libre en las evoluciones, y que no habían sido cargadas manualmente al sistema como lo indica el proceso habitual de atención, para casos en que los estudios no son realizados dentro del circuito interno del sistema de salud.

Con respecto al aumento en los falsos positivos de las recomendaciones, esto se vio determinado por la influencia en el registro de los criterios de inclusión y exclusión. Los valores de Bi Rads de los resultados se ven determinados a modificaciones en el proceso de informe de las mamografías, y actualmente el hospital ha generado un nuevo sistema de reportes estructurados que obliga al profesional a registrar el valor de Bi Rads en estudios mamográficos, por lo que en cortes posteriores este valor se verá claramente favorecido. Para los factores de riesgo, los valores corresponden a variantes de registro en los diagnósticos que conforman los factores de riesgo con códigos de control terminológico no ingresados en la regla, como podría ser lesiones anatomopatológicas pre-malignas, y otros como antecedentes familiares de cáncer de mama que son incorporados en la HCE manualmente por el profesional que asiste a la paciente. Los falsos positivos en la detección de los criterios de exclusión se deben a temporalidad en algunos diagnósticos, como por ejemplo, estados de postración no definitivos, esto se solucionará al ajustar las reglas a partir de enriquecerla con nuevos códigos del servidor de terminología.

Como ejemplo en las mejoras de proceso tenemos las mamografías que se escaparon a la regla por encontrarse cargadas como texto libre dentro de la evolución, y no desde la carga manual de estudios, este problemas se vería solucionado con la capacitación de estos usuarios identificados. Otro caso es de la falta en los reportes del valor de Bi Rads, dato que desde hace ya un tiempo es un campo obligatorio dentro del informe de mamografías.

En el ámbito del servidor de terminología17, datos como lateralidad, severidad, o temporalidad de los problemas que influyen en la regla no habían sido tenidos en cuenta al momento de generar la regla, como por ejemplo un estado de postración temporal que no debería excluir definitivamente al paciente, o cáncer de mama contralateral como criterio de exclusión para el screening. Se agregaron además datos indirectos de cáncer activo, como por ejemplo la infusión de quimioterápicos o el estado de radioterapia o nueva terminología a tener en cuenta como metástasis Esto se encuentra en vías de resolución a partir del enriquecimiento de la regla con estos nuevos códigos.

A partir de los datos obtenidos, y como paso previo a la puesta en marcha del sistema de ayuda para la toma de decisiones, creemos que es necesario modificar la carga manual de los estudios para facilitar su carga, así como la posibilidad de interacción con el sistema para denunciar los casos en que el sistema informe algún tipo de error. Durante la realización del presente estudio también surgieron algunas modificaciones a las reglas, por lo que se deberán realizar nuevas evaluaciones a las reglas modificadas.

5. Referencias

  1. Jha AK, Li Z, Orav EJ, Epstein AM. Care in U.S. hospitals--the Hospital Quality Alliance program. The New England journal of medicine. 2005 Jul 21;353(3):265-74.
  2. McGlynn EA, Asch SM, Adams J, Keesey J, Hicks J,DeCristofaro A, et al. The quality of health care delivered to adults in the United States. The New England journal of medicine. 2003 Jun 26;348(26):2635-45.
  3. Pham HH, Schrag D, Hargraves JL, Bach PB. Delivery of preventive services to older adults by primary care physicians. Jama. 2005 Jul 27;294(4):473-81.
  4. Hunt DL, Haynes RB, Hanna SE, Smith K. Effects of computer-based clinical decision support systems on physician performance and patient outcomes: a systematic review. Jama. 1998 Oct 21;280(15):1339-46.
  5. Garg AX, Adhikari NK, McDonald H, Rosas-Arellano MP, Devereaux PJ, Beyene J, et al. Effects of computerized clinical decision support systems on practitioner performance and patient outcomes: a systematic review. Jama. 2005 Mar 9;293(10):1223-38.
  6. Wright A, Sittig DF. A four-phase model of the evolution of clinical decision support architectures. International journal of medical informatics. 2008 Mar 18.
  7. Balas EA, Weingarten S, Garb CT, Blumenthal D, Boren SA, Brown GD. Improving preventive care by prompting physicians. Arch Intern Med. 2000 Feb 14;160(3):301-8.
  8. Bates DW, Teich JM, Lee J, Seger D, Kuperman GJ, Ma'Luf N, et al. The impact of computerized physician order entry on medication error prevention. J Am Med Inform Assoc. 1999 Jul-Aug;6(4):313-21.
  9. Kaushal R, Shojania KG, Bates DW. Effects of computerized physician order entry and clinical decision support systems on medication safety: a systematic review. Arch Intern Med. 2003 Jun 23;163(12):1409-16.
  10. Shea S, DuMouchel W, Bahamonde L. A meta-analysis of 16 randomized controlled trials to evaluate computer-based clinical reminder systems for preventive care in the ambulatory setting. J Am Med Inform Assoc. 1996 Nov-Dec;3(6):399-409.
  11. Luna D, Otero P, Gomez A, Martinez M, García Martí S, Schpilberg M, et al. Implementación de una Historia Clínica Electrónica Ambulatoria: "Proyecto ITALICA". In: Ceitlin M-R, M., editor. 6to Simposio de Informática en Salud - 32 JAIIO; 2003 2-5 Septiembre 2003; Buenos Aires, Argentina: Sociedad Argentina de Informática e Investigación Operativa (SADIO); 2003.
  12. Gonzalez Bernaldo de Quirós F. MH, Soriano E., Berataerechea A., Pollán J., Marchetti M., Beveraggi E. Measuring performance in a Health Care Plan in Argentina using HEDIS 2000. 18th International Conference of the International Society for Quality in Health Care 2001.
  13. National Comprehensive Cancer Network (NCCN) Guidelines National Comprehensive cáncer Network (NCCN)
  14. Screening for Breast Cancer In: Force USPST, ed. 2002.
  15. Mushlin AI, Kouides RW, Shapiro DE. Estimating the accuracy of screening mammography: a meta-analysis. Am J Prev Med. 1998 Feb;14(2):143-53.
  16. Kawamoto K, Lobach DF. Design, implementation, use, and preliminary evaluation of SEBASTIAN, a standards-based Web service for clinical decision support. AMIA Annu Symp Proc. 2005:380-4.
      Gambarte ML, Osornio AL, Martinez M, Reynoso G, Luna D, de Quiros FG. A practical approach to advanced terminology services in health information systems. Studies in health technology and informatics. 2007;129(Pt 1):621-5.

    RevistaeSalud.com es una publicación electrónica que intenta promover el uso de TICs (Tecnologías de la Información y las Comunicaciones) con el propósito de mejorar o mantener la salud de las personas, sin importar quiénes sean o dónde estén.
    Edita: FESALUD – Fundación para la eSalud
    Correo-e: edicion@revistaesalud.com
    ISSN 1698-7969    		 Los textos publicados en esta revista, a menos que se indique lo contrario, están sujetos a una licencia de Reconocimiento-NoComercial-inObraDerivada 2.5 de Creative Commons. Pueden copiarse, distribuirse y comunicarse públicamente, siempre que se citen el autor y la revista digital donde se publican, RevistaeSalud.com. No se permite su uso comercial ni la generación de obras derivadas. Puede consultarse la licencia completa en http://creativecommons.org/licenses/by-nc-nd/2.5/deed.es

    ¿Cómo citar este artículo?