ARTÍCULOS ORIGINALES
Inteligencia artificial en retinopatía diabética: estudio de cribado en Encarnación, Paraguay
Andrea R. Oleñik Memmela-b, Manuel Codasc-d, Araceli Balbuenab, Alejandra Benegasb, Arturo Acostab, Miguel Angel Zapatae-f
aLimmat Augenzemnrum Zurich, Zurich, Suiza.
bFundación Retina Paraguay, Encarnación, Paraguay.
cHospital Universitario de Encarnación, Encarnación, Paraguay.
dFacultad de Medicina, Universidad Nacional de Itapúa, Encarnación, Paraguay.
eHospital Vall d’Hebron, Barcelona, España.
f UPT Retina, Barcelona, España.
Recibido: 25 de mayo de 2023.
Aprobado: 13 de agosto de 2023.
Autor corresponsal
Dra. Andrea R. Oleñik Memmel
Fundación Retina Paraguay
Calle Juan León Mallorquin 1081
Encarnación
Paraguay
Oftalmol Clin Exp (ISSNe 1851-2658)
2023; 16(3): e260-e269.
Resumen
Objetivo: Evaluar la eficacia de un modelo de telemedicina en salud pública para la detección de retinopatía diabética mediante el uso de un retinógrafo portátil con un software de inteligencia artificial.
Materiales y métodos: Estudio prospectivo unicéntrico que incluye pacientes asintomáticos que acudieron a la consulta de la unidad de endocrinología del Hospital Regional de Encarnación (departamento de Itapúa, Paraguay) entre junio y agosto de 2022. Se evaluó la sensibilidad y la especificidad de un sistema de inteligencia artificial aplicado en un programa de telemedicina para la detección de retinopatía diabética proliferativa y no proliferativa.
Resultados: Se evaluaron 591 casos (1.182 ojos). El sistema de inteligencia artificial identificó 8 ojos con signos de retinopatía diabética versus el especialista que validó 6. Los dos estudios restantes también eran patológicos pero correspondían a otra alteración. El sistema de inteligencia artificial detectó 92 estudios positivos de retinopatía diabética no proliferativa que fueron validados por el especialista. El grado de sensibilidad para la detección de retinopatía diabética del sistema inteligente fue del 98% con una alta especificidad del 99,8%.
Conclusión: El uso de la retinografía portátil con software de inteligencia artificial resultó eficiente para hacer cribado en pacientes asintomáticos —pero con factor de riesgo como es la diabetes— en un servicio de endocrinología de un hospital público de Paraguay.
Palabras clave: diabetes, retinopatía diabética, telemedicina, inteligencia artificial, salud pública.
Artificial intelligence in diabetic retinopathy: a screening study in Encarnación, Paraguay
Abstract
Objective: To evaluate the efficacy of a public health telemedicine model for the detection of diabetic retinopathy using portable retinography with artificial intelligence software.
Materials and methods: Prospective single-center study including asymptomatic patients, who attended the endocrinology unit of the Regional Hospital of Encarnación (department of Itapúa, Paraguay), between June and August 2022. We evaluated the sensitivity and specificity of an artificial intelligence system applied in a telemedicine program, for the detection of proliferative and non-proliferative diabetic retinopathy.
Results: A total of 591 cases (1,182 eyes) were evaluated. The AI system identified 8 eyes with signs of diabetic retinopathy versus the specialist who validated 6, being the other two studies also pathological, but corresponding to another alteration. Regarding the detection of non-proliferative diabetic retinopathy, the artificial intelligence system detected 92 positive studies that were validated by the specialist. The degree of sensitivity for DR detection of the AI system was 98%, with a high specificity of 99.8%.
Conclusion: The use of portable retinography and AI software was efficient for screening asymptomatic patients, but with risk factors such as diabetes, in an endocrinology service of a public hospital in Paraguay.
Keywords: diabetes, diabetes retinopathy, telemedicine, artificial intelligence, public health.
Inteligência artificial na retinopatia diabética: um estudo de triagem em Encarnación, Paraguai
Resumo
Objetivo: Avaliar a eficácia de um modelo de telemedicina em saúde pública para detecção de retinopatia diabética por meio do uso de retinógrafo portátil com software de inteligência artificial.
Materiais e métodos: Estudo prospectivo unicêntrico que incluiu pacientes assintomáticos atendidos no serviço de endocrinologia do Hospital Regional de Encarnación (departamento de Itapúa, Paraguai) entre junho e agosto de 2022. Foram avaliadas a sensibilidade e especificidade de um sistema de inteligência artificial aplicado em um programa de telemedicina para detecção de retinopatia diabética proliferativa e não proliferativa.
Resultados: foram avaliados 591 casos (1.182 olhos). O sistema de inteligência artificial identificou 8 olhos com sinais de retinopatia diabética versus o especialista que validou 6. Os restantes dois estudos também eram patológicos, mas correspondiam a outra alteração. O sistema de inteligência artificial detectou 92 estudos positivos de retinopatia diabética não proliferativa que foram validados pelo especialista. O grau de sensibilidade para detecção de retinopatia diabética do sistema inteligente foi de 98% com alta especificidade de 99,8%.
Conclusão: O uso da retinografia portátil com software de inteligência artificial foi eficiente para triagem de pacientes assintomáticos —mas com fator de risco como diabetes— em um serviço de endocrinologia de um hospital público do Paraguai.
Palavras-chave: diabetes, retinopatia diabética, telemedicina, inteligência artificial, saúde pública.
Introducción
La retinopatía diabética (RD) es una de las causas más importantes de ceguera en todo el mundo, especialmente en los países menos desarrollados1. Hasta el 20% de los diabéticos tipo 2 tienen lesiones de RD en el momento del diagnóstico y tras 20 años de evolución de la enfermedad, más del 60% de los pacientes han desarrollado RD. Esto mismo conlleva a la sumatoria de otras enfermedades comorbilitantes como la hipertensión arterial sistémica y en Paraguay es la mayor causa de mortalidad actual2. Examinar regularmente el fondo del ojo de pacientes diabéticos utilizando cámaras no midriáticas ha demostrado ser un sistema eficaz y de coste-efectivo sobre todo en zonas de menos recursos para poder controlar, prevenir y tratar oportunamente la aparición de RD3-6. Por ese motivo, realizar esta tarea de cribado es parte de la función principal que desarrolla la Fundación Retina Paraguay desde 2018.
La hipótesis de nuestro grupo es que la aplicación de la telemedicina en imágenes de fondo de ojo es un sistema eficaz y efectivo para la detección precoz de enfermedades de la retina central y también de la papila sospechosa de glaucoma, lo cual fue evaluado en un estudio publicado en 20217. Actualmente, el sistema de salud de Paraguay no posee un método de cribado de las principales patologías oculares que pueden provocar una ceguera irreversible, pero que son evitables si se detectan a tiempo como la RD. Se considera que la incorporación de la telemedicina puede aumentar el espectro del cribado, no sólo para retinopatía diabética sino también para otras anomalías como el glaucoma, la degeneración macular asociada a la edad (DMAE) y otras enfermedades retinales, además de reducir la carga asistencial de los médicos de atención primaria. A su vez, el agregado de la inteligencia artificial (IA) puede volver más eficiente la utilización de esta herramienta. Por lo tanto, el objetivo de este estudio es evaluar la eficacia de un modelo de telemedicina en salud pública para la detección de RD en sujetos que acuden al Hospital Regional de Encarnación (Paraguay), mediante el uso de la retinografía portátil con un software de IA.
Materiales y métodos
Se realizó un estudio prospectivo unicéntrico que incluyó pacientes que acudieron a la consulta de la unidad de endocrinología del Hospital Regional de Encarnación (Encarnación, departamento de Itapúa, Paraguay) desde inicios de junio hasta finales de agosto de 2022. El estudio fue evaluado y aprobado por el comité de bioética del Hospital Vall d’Hebron de Barcelona (España) ya que parte del sistema de telemedicina se gestiona desde España, en consenso y con la aprobación de las autoridades locales del Hospital Regional de Encarnación y de la Fundación Retina Paraguay. Todos los sujetos participantes lo hicieron de forma voluntaria luego de firmar un consentimiento informado donde se les explicó el motivo del estudio y el funcionamiento de la prueba a realizar (retinografía no midriática), destacándose su falta de invasión así como de efectos adversos.
Procedimiento
Se realizaron retinografías no midriáticas a todos los pacientes que pasaron por las consultas de endocrinología para control —pero asintomáticos— que no estaban con control oftalmológico, que desconocían si tenían o no problemas visuales y que firmaron el consentimiento informado. Para tal fin en una primera fase, un operario entrenado en la realización de retinografías de la Fundación Retina Paraguay fue el encargado de adquirir las imágenes (hacer los estudios) y enviar la información al sistema de análisis de telemedicina en el horario del funcionamiento de la consulta del servicio. De esta forma, se realizó la evaluación de las fotografías a modo de cribado mediante un sistema de IA entrenado para la detección de alteraciones en el fondo del ojo. En este estudio, el sistema se centró en signos compatibles con RD no proliferativa (RDNP) o proliferativa (RDP). Asimismo, todas las imágenes también fueron evaluadas por retinólogos expertos, participantes del sistema de telemedicina, como se explicó en un estudio previo7. Ante la detección de casos positivos, sea que fueran detectados por el sistema de IA y/o por la opinión de expertos, a estos pacientes se les realizó un informe solicitando y haciendo efectiva su derivación al servicio de oftalmología del Hospital de forma urgente (dentro de las 48 horas), preferencial (dentro de los 15 días) o de rutina (acorde con los turnos disponibles en el servicio de oftalmología del hospital) para su posterior abordaje específico.
Envío de imágenes y evaluación de los casos en la plataforma de telemedicina
Desde el mismo dispositivo de captura se utilizó un software ya conocido para permitir que las imágenes captadas se remitieran de forma automática y anonimizada a la plataforma de telemedicina7. Los casos contaron con un identificador único para posteriormente poder relacionarlos con la lectura humana de los pacientes si fuese necesario. La clave para la identificación estuvo sólo disponible para el investigador principal del proyecto (autor responsable de este estudio). Una vez en la plataforma, a todos los casos se les realizó dos evaluaciones: una por parte de un sistema de inteligencia artificial y otra por parte de un oftalmólogo especialista en retina. Los casos que no se resolvieron por la IA (no se arribó a determinar la presencia o no de normalidad o no se pudo evaluar) pasaron directamente al especialista y se consideró su opinión como diagnóstico de validación y certeza (considerado el “Ground Truth” del test). En las evaluaciones —tanto las realizadas por la IA como en las del especialista— se indicó, diferenciando entre ojo derecho e izquierdo, la calidad de la imagen y la presencia o no de RDP o RDNP. Luego se compararon los resultados obtenidos por el sistema de IA con la opinión emitida por el retinólogo que analizó las imágenes en el sistema de telemedicina.
Además, el retinólogo clasificó los casos de RDP y RDNP acorde con su estadio y evaluó los signos compatibles con otras alteraciones como DMAE (y su estadios); el aspecto de papila sospechosa de glaucoma definido como discos con excavaciones iguales o superiores a 7/10 o con presencia de muescas en el ribete neurosensorial, la presencia de nevus coroideo y otras alteraciones compatibles con vasculopatías. En cada retinografía los resultados obtenidos tanto del sistema de inteligencia artificial como los derivados de la lectura o evaluación humana se desarrollaron mediante un procedimiento binario para facilitar el análisis de datos en relación con la detección o no de alteraciones en cada ojo.
La lectura de los casos por parte de los oftalmólogos se realizó en el sistema de telemedicina como se publicó previamente7. La lectura automatizada utilizó un sistema de diagnóstico ya validado y reconocido como UpRetina8-9. Este sistema consta de 8 algoritmos de IA basados en redes neuronales convulsionales (convolutional-neural-networks o CNN). El algoritmo de cribado tiene 5 redes neuronales entrenadas independientemente que se dirigen a patologías oftalmológicas (RD, DMAE, neuropatía óptica glaucomatosa, membrana epirretinal y nevus). Además, un sexto algoritmo —que contiene imágenes de las patologías oftálmicas mencionadas y de otras maculopatías indeterminadas— funciona como detector de valores atípicos. Las distintas redes neuronales evalúan cada imagen y emiten una respuesta combinada. Si el algoritmo detecta alguna patología la imagen examinada se clasifica como anormal. En este estudio nos centramos en la detección de RD por parte del sistema de IA y su comparación con lo encontrado por el especialista.
Para realizar el análisis de datos se consideraron para cada retinografía, la edad y el sexo de cada paciente, si tenía conocimiento de tener o no diabetes al momento de la atención en el servicio de endocrinología y los aspectos previamente definidos de la retinografía (calidad de fotografía, signos de RD o de otras alteraciones). Además, se evaluaron los casos que requirieron derivaciones y su urgencia. Los datos fueron analizados mediante estadística descriptiva, utilizando el programa SPSS versión 23.0 (IBM SPSS Statistics for Windows, IBM Corp, Armonk, NY). También se calcularon los valores de sensibilidad y especificidad.
Resultados
Se evaluaron 1.182 ojos de 591 pacientes que asistieron al servicio de endocrinología del hospital, cuya edad media fue de 53,3 ± 16,3 años (3-93), de los cuales 392 eran mujeres y 192, hombres. El 34,6% de las retinografías evaluadas fue catalogado por patologías en base a la opinión del especialista (410 retinografías del total de 1.182). En la tabla 1 se presentan los datos demográficos de la población y las alteraciones detectadas finalmente por la validación del especialista del servicio de telemedicina. Dentro de toda la información de la tabla 1 se observa que del total de los pacientes que asistieron al servicio de endocrinología, 237 (40,1%) no tenían diabetes. Igualmente, en este grupo se detectaron alteraciones en las retinografías en 96 de 344 ojos (23,5%), y encontraron 5 ojos con signos de RD, 30 ojos con otras alteraciones retinales sugestivas de DMAE y vasculopatías, 6 ojos con otras anomalías retinales y 55 ojos con alteraciones del nervio óptico. Al analizar el total de ojos y los ojos de pacientes diabéticos solamente, se resalta que el hallazgo más frecuente encontrado fue la alteración del aspecto de los nervios ópticos, a consideración de la evaluación del experto.
Al analizar el desempeño del sistema de IA para la detección de RD, se hallaron casos compatibles con RDP en 8 ojos de 5 pacientes, 3 mujeres y 2 hombres de 55,8 años ± 9,12 años (44 a 68). En 3 pacientes (dos mujeres y 1 hombre) el sistema identificó RDP en ambos ojos. En los dos pacientes restantes, el sistema identificó RDP en uno de los ojos, pero cuando el especialista evaluó las imágenes se diagnosticó una oclusión de rama venosa y no eran realmente signos de RDP. Asimismo, la retinografía de los ojos contralaterales no era evaluable. Por lo tanto, el sistema de IA identificó 8 ojos con signos de RD y el especialista validó 6, siendo los otros dos estudios también patológicos pero correspondientes a otra anomalía.
En relación con la detección de RDNP, el sistema de IA encontró 92 estudios (ojos) positivos. Eran 45 de OD (24 de mujeres), donde 3 de estos casos no tenían diagnóstico de diabetes conocida; y fueron 47 estudios de OI (26 mujeres), donde también dos casos no tenían diagnóstico de diabetes conocida. Todos estos casos fueron validados por el experto, quien además agregó el grado de severidad, como se describe en la tabla 1. Por lo tanto, el grado de sensibilidad para la detección de RD del sistema de IA fue del 98% con una alta especificidad del 99,8%.
En total, 265 (44,8%) de los 591 ojos fueron derivados para el control con el servicio de oftalmología. En la tabla 2 se presentan las derivaciones segmentadas por el sexo de los pacientes y el grado de urgencia. La tasa de derivación fue 1,57 veces más frecuente en mujeres (164 mujeres frente a 104 hombres), aunque igualmente los casos que requirieron de una derivación de forma urgente fueron iguales en ambos sexos (6 casos en cada grupo).
En relación con la calidad de las retinografías, los datos se presentan en la tabla 3, donde también se muestran cuántos ojos en relación a la calidad de las retinografías fueron derivados para el control en el servicio de oftalmología. De los 1.182 ojos, 1.106 (93,5%) fueron completamente evaluables y 127 de estos requirieron de una derivación.
Discusión
El uso de la telemedicina ya venía con un gran auge pero sin dudas la pandemia del coronavirus subrayó sus ventajas en las diferentes especialidades. En oftalmología y en especial en la atención de pacientes con retinopatía diabética, la telemedicina viene creciendo y demostrando sus ventajas principalmente para darle acceso a poblaciones alejadas de los grandes centros urbanos10. Asimismo, el agregado de la IA a los sistemas de telemedicina están permitiendo realizar tareas de cribado importantes para poder preseleccionar qué casos realmente requieren la derivación al especialista11-12. En los países de medios y bajos recursos esto es relevante13, como puede ser también el Paraguay y como se ha observado en este primer estudio. En él se comprobó que el sistema de telemedicina con asistencia de IA resultó eficiente en la detección de casos con RD, los que a su vez fueron confirmados por el especialista y derivados para su atención en el servicio de oftalmología del hospital.
Nuestro estudio se ha centrado principalmente en las retinografías no midriáticas, tomadas por personal auxiliar, no médico, entrenado para tal fin. Se tomaron las imágenes en todos los pacientes que transcurrieron por el servicio de endocrinología, sin tener en cuenta que tuvieran o no antecedente de RD o de si estaban en control oftalmológico. Siendo un hospital público, la lista de espera para un control oftalmológico, donde se realiza el control del fondo de ojos, es de casi 10 meses. En este caso, la implementación de un sistema de cribado pretende lograr el ahorro de recursos humanos especializados para priorizar el momento realmente necesario para la interacción con el médico oftalmólogo.
El actual es el primero de una serie de estudios realizados por la Fundación Retina Paraguay que busca evaluar la asistencia de la IA en la detección de patologías del fondo del ojo. Si bien este sistema de IA puede detectar otras patologías como ya ha sido comprobado9, en el presente estudio nos hemos centrado en conocer su desempeño en la detección de signos compatibles con RD, sea proliferativa o no proliferativa. Por eso se eligió una población específica, asistente al servicio de endocrinología, donde por datos epidemiológicos internos previos del servicio se estaba en conocimiento de que gran parte eran diabéticos. Asimismo, por características de la región de atención, se conocía de antemano el escaso acceso a controles oftalmológicos. Es interesante destacar que los datos de sensibilidad y de especificidad obtenidos por el sistema de IA en este estudio son realmente muy eficientes. Tenemos como referencia un estudio publicado en 2022 donde se observan los resultados del sistema de IA con menores valores de sensibilidad y especificidad (81,1% y 94,8%)9. Pero la población evaluada en ese estudio, que contó con un mayor número de participantes (2.839 personas, 5.918 retinografías), eran trabajadores que se hacían un chequeo ocupacional en España, donde sólo se comprobaron 150 retinografías con signos de DR (2,5% del total). En nuestro caso actual, la población de 591 participantes evaluados en Paraguay consistió en pacientes de un servicio de endocrinología donde encontramos un mayor número de casos con signos de RD: en el 8,3% de los 1.182 ojos evaluados, la RD era no proliferativa en la mayoría (92 de los 96 ojos con RD) en base a lo que finalmente determinó la evaluación del especialista. Los mejores resultados encontrados en la actualidad también se pueden interpretar justamente por la capacidad de estos sistemas de IA de ir aprendiendo en el tiempo a partir de incorporar más información en sus bases de datos14.
Sería interesante en el futuro poder agregar más datos para la evaluación de estos pacientes, como por ejemplo la glucemia y/o el nivel de hemoglobina glicada; también la influencia de enfermedades que puedan funcionar como comorbilidades, principalmente las patologías cardiovasculares. Pero los datos del presente trabajo, junto con la información previa de que el sistema de telemedicina utilizado por la Fundación Retina Paraguay tiene resultados costo-efectivos, nos incentivan en avanzar en la implementación de este tipo de estrategias colaborativas que resguardan recursos humanos (y a la vez económicos) para ser utilizados ante los casos que realmente lo requieran.
Esto es relevante sobre todo en estructuras públicas de salud para evitar complicaciones prevenibles de la diabetes en el globo ocular, que en ciertos casos podrá conllevar a la ceguera y discapacidad por falta de atención, tiempo de espera o falta de recursos. Si bien no fue motivo de estudio en este trabajo, en nuestra evaluación previa publicada en el 2021 hemos conocido la importancia de esta herramienta también para poblaciones alejadas de centros urbanos donde los datos encontrados nos permitieron conocer las cegueras evitables NO reversibles detectadas por este método, que fue del 30% de los casos7. En el estudio actual todos los pacientes asistieron al hospital, pero este programa de telemedicina con asistencia de IA puede ser móvil y efectuarse en áreas rurales, sólo con la disponibilidad de un operario entrenado e internet, además del equipamiento básico para realizar retinografías no midriáticas, que son cada vez más accesibles y con mejoras en su aspecto tecnológico.
Finalmente, uno de los aportes más importantes es la capacidad para aumentar el cribado de enfermedades de la retina más allá de la retinopatía diabética. Hoy en día la identificación precoz de pacientes con DMAE o con glaucoma es clave para conservar la agudeza visual en un rango que no afecte a la calidad de vida de los pacientes. Sistemas automáticos como éste pueden favorecer que los cribados sean más costos-efectivos y por lo tanto con los mismos equipos se podría detectar más patologías. Estos son nuevos estudios que deberán realizarse donde el mundo de la inteligencia artificial avanza, no sólo utilizando redes neuronales para el cribado, sino que también en un futuro se podrán aplicar a diagnósticos de certeza o incluso a tareas de selección de tratamientos y programas de seguimiento.
Conclusión
El uso de la retinógrafo portátil con software de inteligencia artificial resultó eficiente para hacer cribado en pacientes asintomáticos pero con factor de riesgo, como es la diabetes, en un servicio de endocrinología de un hospital público de Paraguay. Asimismo, se pudieron describir otras patologías del fondo de ojos y los casos fueron derivados para su posterior control con el médico oftalmólogo. El programa de telemedicina permite optimizar recursos y en el futuro se planifica que se podría hacer —mediante la lectura automática e inmediata de imágenes— que todos aquellos pacientes cribados sepan en tiempo real el resultado de su estudio, sin necesidad de esperar a nuevas visitas o consultas telemáticas con el médico de atención primaria; así como también los casos positivos podrían ser derivados con mayor rapidez para su adecuado manejo terapéutico, evitando la progresión de la ceguera evitable irreversible en el país.
Referencias
1. Bourne RRA, Stevens GA, White RA et al. Causes of vision loss worldwide, 1990-2010: a systematic analysis. Lancet Glob Heal 2013; 1: 339-349.
2. Paraguay. Ministerio de Salud Pública y Bienestar Social. Dirección de Estadísticas en Salud. Indicadores básicos de salud Paraguay 2018. [Asunción]: Organización Panamericana de la Salud, [2019]. Disponible en: https://docs.bvsalud.org/biblioref/2021/08/1282703/manual-indicadores-basicos-de-salud-2018.pdf
3. Garg S, Davis RM. Diabetic retinopathy screening update. Clin Diabetes 2009; 27: 140-145.
4. Sánchez González S, Calvo Lozano J, Sánchez González J et al. Valoración del uso de retinografía como método de diagnóstico precoz de glaucoma crónico en atención primaria: validación para el cribado en población con factores de riesgo para glaucoma de ángulo abierto. Aten Primaria 2017; 49: 399-406.
5. Chan CKW, Gangwani RA, McGhee SM et al. Cost-effectiveness of screening for intermediate age-related macular degeneration during diabetic retinopathy screening. Ophthalmology 2015; 122: 2278-2285.
6. Surendran TS, Raman R. Teleophthalmology in diabetic retinopathy. J Diabetes Sci Technol 2014; 8: 262-266.
7. Oleñik Memmel AR, Gómez-Ibáñez R, Manresa et al. Telemedicina portátil para la prevención de la ceguera en el Paraguay. Oftalmol Clin Exp 2021; 14: 193-201.
8. Zapata MA, Royo-Fibla D, Font O et al. Artificial intelligence to identify retinal fundus images, quality validation, laterality evaluation, macular degeneration, and suspected glaucoma. Clin Ophthalmol 2020; 14: 419-429.
9. Font O, Torrents-Barrena J, Royo D et al. Validation of an autonomous artificial intelligence-based diagnostic system for holistic maculopathy screening in a routine occupational health checkup context. Graefes Arch Clin Exp Ophthalmol 2022; 260: 3255-3265.
10. Li JPO, Liu H, Ting DSJ et al. Digital technology, tele-medicine and artificial intelligence in ophthalmology: a global perspective. Prog Retin Eye Res 2021; 82:100900.
11. Mehra AA, Softing A, Guner MK et al. Diabetic retinopathy telemedicine outcomes with artificial intelligence-based image analysis, reflex dilation, and image overread. Am J Ophthalmol 2022; 244: 125-132.
12. Grauslund J. Diabetic retinopathy screening in the emerging era of artificial intelligence. Diabetologia 2022; 65: 1415-1423.
13. Zhelev Z, Peters J, Rogers M et al. Test accuracy of artificial intelligence-based grading of fundus images in diabetic retinopathy screening: a systematic review. J Med Screen 2023; 30: 97-112.
14. Nadeem MW, Goh HG, Hussain M et al. Deep learning for diabetic retinopathy analysis: a review, research challenges, and future directions. Sensors (Basel) 2022; 22: 6780.