Préserver la confidentialité dans l'analyse vidéo chirurgicale à l'aide d'un classificateur d'apprentissage en profondeur pour identifier - Visionnaire de ShenyangPeak Ventures Co., Ltd

Rapports scientifiques volume 13, Numéro d'article : 9235 (2023) Citer cet article

129 accès

6 Altmétrique

Détails des métriques

L'analyse vidéo chirurgicale facilite l'éducation et la recherche. Cependant, les enregistrements vidéo des chirurgies endoscopiques peuvent contenir des informations sensibles à la vie privée, en particulier si la caméra endoscopique est déplacée hors du corps des patients et que des scènes hors du corps sont enregistrées. Par conséquent, l'identification des scènes hors du corps dans les vidéos endoscopiques est d'une importance majeure pour préserver l'intimité des patients et du personnel de la salle d'opération. Cette étude a développé et validé un modèle d'apprentissage en profondeur pour l'identification des images hors du corps dans les vidéos endoscopiques. Le modèle a été formé et évalué sur un ensemble de données interne de 12 types différents de chirurgies laparoscopiques et robotiques et a été validé en externe sur deux ensembles de données de test multicentriques indépendants de pontage gastrique laparoscopique et de chirurgies de cholécystectomie. Les performances du modèle ont été évaluées par rapport aux annotations humaines de vérité terrain mesurant la zone caractéristique de fonctionnement du récepteur sous la courbe (ROC AUC). L'ensemble de données interne composé de 356 267 images de 48 vidéos et les deux ensembles de données de test multicentriques composés de 54 385 et 58 349 images de 10 et 20 vidéos, respectivement, ont été annotés. Le modèle a identifié des images hors du corps avec 99,97 % d'AUC ROC sur l'ensemble de données de test interne. Moyenne ± écart type ROC AUC sur l'ensemble de données de pontage gastrique multicentrique était de 99,94 ± 0,07 % et 99,71 ± 0,40 % sur l'ensemble de données de cholécystectomie multicentrique, respectivement. Le modèle peut identifier de manière fiable des images hors du corps dans des vidéos endoscopiques et est partagé publiquement. Cela facilite la préservation de la confidentialité dans l'analyse vidéo chirurgicale.

"Et tout ce que je verrai ou entendrai dans le cours de ma profession, […] si c'est ce qui ne doit pas être publié à l'étranger, je ne le divulguerai jamais, tenant ces choses pour de saints secrets."1

Le serment d'Hippocrate

L'analyse vidéo chirurgicale facilite l'éducation (examen des situations critiques et rétroaction individualisée)2,3, l'accréditation (évaluation par vidéo)4 et la recherche (standardisation de la technique chirurgicale dans les essais multicentriques5, évaluation des compétences chirurgicales)6,7. Malgré son utilisation croissante, le plein potentiel de l'analyse vidéo chirurgicale n'a pas été exploité jusqu'à présent, car l'examen manuel des cas prend du temps, est coûteux, nécessite des connaissances spécialisées et soulève des problèmes de confidentialité.

Par conséquent, des approches de science des données chirurgicales ont été adoptées récemment pour automatiser l'analyse vidéo chirurgicale. Des modèles d'intelligence artificielle (IA) ont été formés pour reconnaître les phases d'une intervention8,9,10, les outils8,11 et les actions12 dans les vidéos chirurgicales. Cela permet des applications en aval telles que l'estimation de la durée restante de la chirurgie13, la documentation automatisée des événements critiques14, l'évaluation des compétences chirurgicales15 et la réalisation des points de contrôle de sécurité16, ou le guidage peropératoire17.

L'IA continuera à réduire les coûts et les contraintes de temps des experts examinant les vidéos chirurgicales. Cependant, les problèmes de confidentialité concernant l'enregistrement, le stockage, la manipulation et la publication des données vidéo des patients n'ont pas été largement abordés jusqu'à présent. Le privilège médecin-patient, issu du serment d'Hippocrate, protège les données médicales et l'identité des patients de toute enquête judiciaire. Une violation du secret médical par le personnel médical est passible de poursuites dans la plupart des pays. Les vidéos endoscopiques qui sont enregistrées alors que le patient est sous narcose au bloc opératoire sont particulièrement sensibles. Ils contiennent souvent des scènes du bloc opératoire susceptibles de révéler des informations sensibles telles que l'identité des patients ou du personnel du bloc opératoire. De plus, si des horloges ou des calendriers présents dans la pièce sont capturés dans la vidéo, l'heure ou la date de l'intervention respective peut être identifiée. Les informations sur la date et l'heure d'une opération facilitent l'identification du patient subissant une intervention chirurgicale. Ces scènes enregistrées à l'extérieur du corps du patient sont appelées scènes hors du corps. Si l'enregistrement vidéo a déjà commencé avant l'introduction de l'endoscope dans le patient, n'a pas été arrêté après la fin de l'opération ou chaque fois que l'endoscope est nettoyé pendant l'opération, des scènes extracorporelles sont capturées.

Les développements récents de la vision par ordinateur et de l'apprentissage en profondeur sont alimentés par des ensembles de données à grande échelle et accessibles au public. En revanche, les applications médicales de l'apprentissage en profondeur sont souvent limitées par des ensembles de données de petite taille et restreints. L'anonymisation de la vidéo endoscopique en brouillant ou en supprimant les scènes hors du corps permet l'enregistrement, le stockage, la manipulation et la publication de vidéos chirurgicales sans risque de violation de la confidentialité médicale.

Cet article rapporte le développement et la validation d'un classificateur d'images basé sur l'apprentissage en profondeur pour identifier les scènes hors du corps dans les vidéos endoscopiques, appelé Out-of-Body Network (OoBNet). OoBNet permet la protection de la vie privée des patients et du personnel du bloc opératoire grâce à la reconnaissance automatisée des scènes hors du corps dans les vidéos endoscopiques. La validation externe d'OoBNet est effectuée sur deux ensembles de données multicentriques indépendants de pontage gastrique Roux-en-Y laparoscopique et de chirurgies de cholécystectomie laparoscopique. Le modèle formé et une application exécutable d'OoBNet sont publiés, pour fournir un outil facile à utiliser pour les chirurgiens, les scientifiques des données et le personnel administratif de l'hôpital pour anonymiser les vidéos endoscopiques.

L'ensemble de données utilisé pour le développement d'OoBNet a été créé à partir de chirurgies enregistrées au CHU de Strasbourg, France18. Quatre enregistrements vidéo pour chacune des procédures endoscopiques suivantes ont été arbitrairement sélectionnés : fundoplication laparoscopique de Nissen, pontage gastrique de Roux-en-Y, gastrectomie en manchon, chirurgie hépatique, chirurgie pancréatique, cholécystectomie, sigmoïdectomie, éventration, surrénalectomie, chirurgie herniaire, pontage gastrique robotisé de Roux-en-Y et gastrectomie en manchon robotique. L'ensemble de données contenant 48 vidéos a été divisé en ensemble de formation, de validation et de test comprenant respectivement 2, 1 et 1 vidéos de chaque procédure.

La validation externe du modèle a été effectuée sur un échantillon aléatoire de 5 vidéos provenant de 6 centres et de deux jeux de données multicentriques indépendants. (1) Un ensemble de données de 140 vidéos de pontage gastrique laparoscopique Roux-en-Y de l'hôpital universitaire de Strasbourg, France et Inselspital, hôpital universitaire de Berne, Suisse19. (2) Un ensemble de données de 174 vidéos de cholécystectomie laparoscopique de quatre centres italiens : Policlinico Universitario Agostino Gemelli, Rome ; Azienda Ospedaliero-Universitaria Sant'Andrea, Rome; Fondazione IRCCS Ca' Granda Ospedale Maggiore Policlinico, Milan; et l'hôpital Monaldi, Naples. Cet ensemble de données a été collecté pour la validation multicentrique d'EndoDigest, une plateforme de vision par ordinateur pour la documentation vidéo de la vision critique de la sécurité (CVS)20.

Une illustration de la répartition de l'ensemble de données pour le développement du modèle, la validation interne et externe multicentrique est présentée à la Fig. 1.

Illustration des fractionnements d'ensembles de données pour le développement de modèles, la validation interne et externe. Chaque carré représente une vidéo. Les vidéos du même centre ont la même couleur.

Chaque hôpital s'est conformé aux exigences du comité d'examen institutionnel (IRB) local. Les patients ont soit consenti à l'enregistrement de leur intervention, soit à l'utilisation de leur dossier de santé à des fins de recherche. Toutes les vidéos ont été partagées en tant que matériel vidéo brut sans identifier les métadonnées. Par conséquent, la nécessité d'une approbation éthique a été levée, sauf pour Inselspital, Hôpital universitaire de Berne, Suisse, où l'approbation éthique a été accordée par l'IRB local (KEK Bern 2021-01666).

Chaque vidéo a été découpée en images au rythme de 1 image par seconde. Toutes les images ont été annotées de manière binaire, soit à l'intérieur de l'abdomen du patient, soit hors du corps. La valve du trocart était le repère visuel pour la transition de l'intérieur vers l'extérieur du corps. Tous les cadres dans lesquels la valve du trocart optique est visible sont considérés comme hors du corps pour pécher par excès de sécurité en matière de préservation de la vie privée. Tous les jeux de données ont été annotés par un seul annotateur (AV). Les cas marginaux ont été examinés par un chirurgien certifié possédant une vaste expérience de l'analyse vidéo chirurgicale (JLL).

OoBNet est un classificateur d'images basé sur l'apprentissage en profondeur, utilisant MobileNetV221 comme épine dorsale suivi d'un abandon (avec un taux d'abandon de 0,5), d'une mémoire longue à court terme (LSTM avec 640 unités)22, de couches linéaires et sigmoïdes. La normalisation des calques a été appliquée avant les calques abandonnés et linéaires. MobileNetV2 est une architecture modèle conçue pour la reconnaissance d'images avec de faibles ressources de calcul, comme dans les appareils mobiles et les smartphones. La couche LSTM contient des portes de mémoire qui apportent une sensibilité contextuelle à la classification des trames. Dans le cadre du prétraitement, les images d'entrée ont été redimensionnées à 64 × 64 pixels, puis augmentées d'une rotation et d'un contraste aléatoires. L'augmentation des données est un moyen courant de générer de la variance dans l'ensemble de données d'entrée pour améliorer la robustesse du modèle. La sortie d'OoBNet est une valeur de type probabilité qui est ensuite binarisée en 0 ou 1 pour prédire si l'image est une image à l'intérieur ou à l'extérieur du corps (Fig. 2).

Modèle d'architecture d'OoBNet. L'image d'entrée est redimensionnée à 64 × 64 pixels et augmentée d'une rotation et d'un contraste aléatoires. Ensuite, il est envoyé au réseau de neurones profonds avec une longue mémoire à court terme consécutive (LSTM) qui produit une probabilité comme une valeur, que l'image soit hors du corps ou non. Cette probabilité est arrondie à un seuil de 0,5 à 0 (à l'intérieur du corps) ou à 1 (hors du corps OOB).

Le réseau a été formé sur des clips vidéo de 2048 images consécutives pendant 300 époques (cycles) avec un arrêt précoce appliqué en fonction du score F1 le plus élevé obtenu sur l'ensemble de données de validation. L'optimiseur utilisé était Adam23 avec un taux d'apprentissage de 0,00009 et une taille de lot de 2048. Le modèle formé et une application exécutable d'OoBNet sont disponibles sur https://github.com/CAMMA-public/out-of-body-detector.

OoBNet a été évalué sur l'ensemble de données de test, qui n'a été utilisé ni pour la formation du modèle ni pour la validation. De plus, une évaluation externe a été effectuée sur deux ensembles de données indépendants et multicentriques, comme décrit ci-dessus. Les prédictions d'OoBNet ont été comparées aux annotations de la vérité terrain humaine. Les performances d'OoBNet ont été mesurées en termes de précision, de rappel, de score F1, de précision moyenne et de zone caractéristique de fonctionnement du récepteur sous la courbe (ROC AUC). La précision est la proportion de vrais positifs parmi toutes les prédictions positives (vrais et faux positifs), également appelée valeur prédictive positive. Le rappel est la proportion de vrais positifs parmi toutes les prédictions pertinentes (vrais positifs et faux négatifs), également appelée sensibilité. Le score F1 est la moyenne harmonique de la précision et du rappel. La précision moyenne est l'aire sous la courbe précision-rappel. ROC AUC est l'aire sous la courbe caractéristique de fonctionnement du récepteur qui est créée en traçant la sensibilité par rapport à la spécificité 1. Il est également appelé c-statistique.

OoBNet a été formé, validé et testé sur un ensemble de données interne de 48 vidéos avec une durée moyenne ± écart type (SD) de 123 ± 79 min. contenant un total de 356 267 images. Parmi ceux-ci, 112 254 (31,51 %) étaient des cadres hors du corps. La validation externe d'OoBNet a été réalisée sur un jeu de données de pontage gastrique de 10 vidéos d'une durée moyenne ± SD de 90 ± 27 min. contenant un total de 54 385 images (4,15 % d'images hors du corps) et sur un ensemble de données de cholécystectomie de 20 vidéos d'une durée moyenne ± SD de 48 ± 22 min. contenant un total de 58 349 images (8,65% d'images hors du corps). Les statistiques complètes de l'ensemble de données et la distribution des cadres dans l'ensemble de formation, de validation et de test sont présentées dans le tableau 1.

Le ROC AUC d'OoBNet évalué sur l'ensemble de test était de 99,97 %. L'ASC moyenne ROC ± SD d'OoBNet évaluée sur l'ensemble de données de pontage gastrique multicentrique était de 99,94 ± 0,07 %. L'ASC moyenne ROC ± SD de OoBNet évaluée sur l'ensemble de données de cholécystectomie multicentrique était de 99,71 ± 0,40 %. Les résultats quantitatifs complets sont présentés dans le tableau 2. Les matrices de confusion sur l'ensemble de tests, l'ensemble de données de pontage gastrique multicentrique et l'ensemble de données de cholécystectomie multicentrique sont affichés sur les figures 3A à G. OoBNet a été évalué sur un total de 111 974 cadres, dont 557 cadres (0,50%) ont été faussement classés comme à l'intérieur du corps même s'il s'agissait de cadres hors du corps (fausses prédictions négatives). Les résultats qualitatifs illustrant les prédictions faussement positives et fausses négatives d'OoBNet sont affichés à la Fig. 4. Une vidéo avec les résultats qualitatifs d'OoBNet est fournie dans le Supplémentaire (Vidéo supplémentaire S1, qui illustre comment les vidéos endoscopiques peuvent être rendues anonymes à l'aide d'OoBNet).

Matrices de confusion. (A) ensemble d'essai ; (B) et (C) centres 1 et 2 (ensemble de données de pontage gastrique multicentrique) ; (D – G) centres 3, 4, 5 et 6 (ensemble de données de cholécystectomie multicentrique).

Résultats qualitatifs. Rangée du haut : prédictions de modèle faussement positives (OoBNet prédit que le cadre est hors du corps même s'il ne l'est pas). Rangée du bas : prédictions de modèle faussement négatives (OoBNet prédit que le cadre se trouve à l'intérieur du corps même s'il est hors du corps). Sous chaque image, les annotations binaires de la vérité terrain humaine et la probabilité comme les prédictions du modèle sont fournies. En (A), la fumée chirurgicale altère la vision. Dans (B–D), un maillage, un écouvillon et un tissu sont si proches que, faute de contexte temporel, il est difficile de distinguer, même pour un annotateur humain, s'il est hors du corps ou non. Dans (E) et (F), du sang sur l'endoscope et un gant avec des taches de sang imitent une vue intérieure. En (G), une serviette chirurgicale couvre la majeure partie du corps du patient, de sorte que le modèle manque de repères visuels pour un cadre hors du corps. En (H), l'endoscope est nettoyé dans un thermos, qui imite l'intérieur d'un trocart métallique.

Cette étude rapporte le développement et la validation multicentrique d'un classificateur d'images basé sur l'apprentissage en profondeur pour détecter les images hors du corps dans les vidéos endoscopiques. OoBNet a montré une performance de 99 % ROC AUC en validation sur trois ensembles de données indépendants. En utilisant le modèle formé fourni ou l'application exécutable, OoBNet peut facilement être déployé pour anonymiser les vidéos endoscopiques de manière rétrospective. Cela permet de créer des bases de données vidéo tout en préservant la vie privée du patient et du personnel du bloc opératoire et facilite en outre l'utilisation de vidéos endoscopiques à des fins éducatives ou de recherche sans révéler aucune information sensible.

A notre connaissance, OoBNet est le premier classificateur d'images hors du corps formé sur des vidéos d'interventions multiples et validé sur deux jeux de données externes. Les travaux antérieurs de notre groupe utilisaient une approche de vision par ordinateur non supervisée pour identifier les cadres hors du corps. Sur la base des niveaux de rougeur et de luminosité des images, elles ont été classées à un seuil défini empiriquement comme à l'intérieur du corps ou hors du corps24. Zohar et al. ont utilisé une approche d'apprentissage automatique semi-supervisée pour détecter des scènes hors du corps dans un grand ensemble de données de vidéos de cholécystectomie laparoscopique donnant une précision de 97 %25. Cependant, cette précédente étude présente deux limites majeures. D'une part, la principale mesure de performance rapportée est la précision. La précision est sensible à la distribution des données ou à la prévalence d'une observation donnée. D'autre part, il a été formé sur un ensemble de données d'un seul type d'intervention uniquement. Cela ne garantit pas que le modèle se généralise à d'autres types d'intervention.

En règle générale, les classificateurs d'images sont formés pour distinguer des classes visuellement distinctes. Classer les images d'une vidéo endoscopique comme à l'intérieur ou à l'extérieur du corps semble analogue. Cependant, entre l'intérieur et l'extérieur du corps, il existe une transition où la caméra est déplacée à l'intérieur ou à l'extérieur du corps, ce qui peut sembler ambigu. Par conséquent, la définition du moment où une image est à l'intérieur ou à l'extérieur du corps est cruciale. Nous avons défini que la valve du trocart optique est le repère visuel pour la transition de l'intérieur vers l'extérieur du corps et vice versa. Pour pécher par excès de protection de la vie privée dès que la valve est visible, le cadre est considéré comme hors du corps même si la caméra est toujours à l'intérieur du trocart optique. En utilisant un module LSTM dans l'architecture du modèle, nous avons pris en compte le contexte temporel des cadres intérieurs et hors du corps et avons évité les erreurs de classification dans la transition de phase de l'intérieur vers l'extérieur du corps et vice versa en raison du scintillement de phase.

Malgré les excellentes performances d'OoBNet, même en validation externe, le modèle a ses limites. Toutes les images n'ont pas été correctement classées. Le classificateur idéal n'aurait ni faux positif (prédit comme hors du corps par le modèle bien qu'à l'intérieur du corps) ni fausses prédictions négatives (prédit comme à l'intérieur du corps par le modèle bien que hors du corps). Cependant, pour se tromper sur le site de préservation de la vie privée, les fausses prédictions négatives doivent être minimisées. En d'autres termes, le seuil du classificateur doit être optimisé pour la sensibilité (rappel). Mais une sensibilité maximale et aucune prédiction de faux négatifs ne peuvent être atteintes que si chaque image est classée comme hors du corps. Cependant, ce serait un classificateur complètement non spécifique conduisant à une perte complète de l'intérieur des cadres corporels, qui sont pertinents pour l'analyse vidéo chirurgicale. Par conséquent, un compromis entre précision et rappel doit être fait. Comme le score F1 est la moyenne harmonique de la précision et du rappel, un classificateur au score F1 maximum optimise la précision et le rappel en même temps. Dans cette étude, le score F1 maximum sur l'ensemble de validation a été utilisé comme critère d'arrêt précoce pour la formation du modèle et a été atteint à un seuil de classificateur de 0,73. Mais comme ce seuil produisait plus de fausses prédictions négatives en faveur de moins de fausses prédictions positives, nous avons utilisé le seuil par défaut de 0,5. Il convient de noter que le seuil de classificateur dans cette étude n'a pas été appris par la formation du modèle, mais défini manuellement pour minimiser les prédictions fausses négatives à un taux de faux positifs acceptable. L'utilisation d'un seuil <0,5 aurait réduit davantage le nombre de faux négatifs, cependant, à un nombre accru de faux positifs (voir le nombre de prédictions de faux négatifs par rapport aux faux positifs à différents seuils pour les trois ensembles de tests Fig. S1 supplémentaire).

Comme le montrent les résultats qualitatifs (Fig. 4), les performances d'OoBNet étaient limitées si la vision endoscopique était altérée par la fumée chirurgicale, le brouillard ou le sang. De plus, OoBNet a prédit des résultats faussement positifs lorsque des objets (mailles, écouvillons, tissus) étaient si proches de la caméra, que la vision était floue, et même pour un annotateur humain, il était difficile de distinguer si une image donnée est hors du corps ou non. D'autres travaux visant à améliorer les performances d'OoBNet incluraient un modèle de formation sur un ensemble plus large de ces cas extrêmes avec une vision endoscopique altérée. De plus, OoBNet a prédit de faux résultats négatifs si une image hors du corps ressemblait visuellement à une scène intérieure. L'inspection manuelle de toutes les prédictions faussement négatives (n = 557) sur tous les ensembles de données de test a révélé trois cadres sensibles à la confidentialité, où le personnel de la salle d'opération aurait potentiellement pu être identifié. Cependant, sur 111 974 cadres, OoBNet a été évalué sur pas un seul cadre n'a révélé l'identité du patient, l'heure ou la date de l'intervention. Néanmoins, les vidéos anonymisées avec OoBNet doivent être révisées manuellement pour garantir la confidentialité médicale avant d'être stockées, partagées ou publiées. Cependant, OoBNet réduit le temps nécessaire à la révision manuelle car les fausses prédictions négatives sont souvent situées à proximité temporelle des vraies prédictions positives.

En validation externe, OoBNet a montré une baisse allant jusqu'à 6,7% des points F1-score. Ceci est conforme aux résultats de la validation multicentrique d'autres modèles d'IA dans le domaine chirurgical. Par exemple, les modèles de reconnaissance de phase chirurgicale de pointe ont démontré des performances variables dans la validation multicentrique26,27. En outre, EndoDigest, une plate-forme de vision par ordinateur pour la documentation vidéo du CVS dans la cholécystectomie laparoscopique, a montré une documentation CVS réussie de 64 à 79 % lorsqu'elle est validée sur un ensemble de données externe multicentrique, contre 91 % de documentation CVS réussie sur l'ensemble de données interne14,20. Par conséquent, les performances des modèles d'IA entraînés et évalués sur un seul ensemble de données doivent être considérées avec prudence, et ces résultats soulignent davantage la nécessité d'une validation externe des modèles d'IA. Notre modèle a cependant montré qu'il se généralisait bien sur les vidéos de plusieurs centres externes.

L'importance d'OoBNet réside dans sa grande fiabilité pour identifier les images hors du corps dans les vidéos endoscopiques. OoBNet est formé sur un ensemble de chirurgies endoscopiques très diverses, y compris des chirurgies robotiques, pour tenir compte des différentes apparences visuelles de l'anatomie, des instruments et des blocs opératoires. De plus, OoBNet est évalué sur deux ensembles de données indépendants pour montrer sa capacité à généraliser à travers les centres. OoBNet est partagé publiquement en tant qu'outil pour faciliter le stockage, la manipulation et la publication de vidéos endoscopiques en préservant la confidentialité.

En conclusion, OoBNet peut identifier les cadres hors du corps dans les vidéos endoscopiques de nos ensembles de données avec un ROC AUC de 99 %. Il a été largement validé sur des ensembles de données multicentriques internes et externes. OoBNet peut être utilisé avec une grande fiabilité pour anonymiser les vidéos endoscopiques à des fins d'archivage, de recherche et d'éducation.

Le code du modèle, les poids du modèle formé et un exécutable sont disponibles sur https://github.com/CAMMA-public/out-of-body-detector. En raison de restrictions de confidentialité, les ensembles de données utilisés dans le présent travail ne peuvent pas être partagés publiquement.

Hippocrate de Cos. Le Serment. (1923) https://doi.org/10.4159/DLCL.hippocrates_cos-oath.1923.

Bonrath, EM, Gordon, LE et Grantcharov, TP Caractérisation des événements « évités de justesse » en chirurgie laparoscopique complexe grâce à l'analyse vidéo. BMJ qual. Saf. 24, 490–491 (2015).

Article Google Scholar

Bonrath, EM, Dedy, NJ, Gordon, LE et Grantcharov, TP Un coaching chirurgical complet améliore les compétences chirurgicales en salle d'opération : un essai contrôlé randomisé. Ann. Surg. 262, 205-212 (2015).

Article PubMed Google Scholar

Miskovic, D. et al. L'évaluation des compétences au niveau du spécialiste est-elle réalisable? Une étude pour le programme national de formation en chirurgie colorectale laparoscopique en Angleterre. Ann. Surg. 257, 476–482 (2013).

Article PubMed Google Scholar

Harris, A. et al. Développement d'un système d'assurance qualité chirurgicale fiable pour l'œsophagectomie en 2 temps dans des essais contrôlés randomisés. Ann. Surg. 275, 121-130 (2022).

Article PubMed Google Scholar

Birkmeyer, JD et al. Compétence chirurgicale et taux de complications après chirurgie bariatrique. N. Engl. J. Med. 369, 1434-1442 (2013).

Article CAS PubMed Google Scholar

Fecso, AB, Bhatti, JA, Stotland, PK, Quereshy, FA & Grantcharov, TP Performance technique en tant que prédicteur des résultats cliniques en chirurgie laparoscopique du cancer gastrique. Ann. Surg. 270, 115-120 (2019).

Article PubMed Google Scholar

Twinanda, AP et al. EndoNet : Une architecture profonde pour les tâches de reconnaissance sur les vidéos laparoscopiques. IEEE Trans. Méd. Imagerie 36, 86–97 (2017).

Article PubMed Google Scholar

Hashimoto, DA et al. Analyse par vision artificielle de la vidéo peropératoire : Reconnaissance automatisée des étapes opératoires de la sleeve gastrectomie laparoscopique. Ann. Surg. 270, 414–421 (2019).

Article PubMed Google Scholar

Ramesh, S. et al. Réseaux convolutionnels temporaux multi-tâches pour la reconnaissance conjointe des phases chirurgicales et des étapes des procédures de pontage gastrique. Int. J. Comput. Aider. Radiol. Surg. 16, 1111-1119 (2021).

Article PubMed PubMed Central Google Scholar

Nwoye, CI, Mutter, D., Marescaux, J. & Padoy, N. Approche LSTM convolutionnelle faiblement supervisée pour le suivi des outils dans les vidéos laparoscopiques. Int. J. Comput. Aider. Radiol. Surg. 14, 1059-1067 (2019).

Article PubMed Google Scholar

Nwoye, CI et al. Reconnaissance des interactions instrument-tissu dans les vidéos endoscopiques via des triplets d'action. Dans MICCAI 2020. Lecture Notes in Computer Science (Springer, 2020) https://doi.org/10.1007/978-3-030-59716-0_35.

Twinanda, AP, Yengera, G., Mutter, D., Marescaux, J. & Padoy, N. RSDNet : Apprendre à prédire la durée restante de la chirurgie à partir de vidéos laparoscopiques sans annotations manuelles. IEEE Trans. Méd. Imagerie 38, 1069-1078 (2019).

Article PubMed Google Scholar

Mascagni, P. et al. Une plate-forme de vision par ordinateur pour localiser automatiquement les événements critiques dans les vidéos chirurgicales : Documenter la sécurité dans la cholécystectomie laparoscopique. Ann. Surg. 274, e93–e95 (2021).

Article PubMed Google Scholar

Lavanchy, JL et al. Automatisation de l'évaluation des compétences chirurgicales à l'aide d'un algorithme d'apprentissage automatique en trois étapes. Sci. Rep. 11, 5197 (2021).

Article ADS CAS PubMed PubMed Central Google Scholar

Mascagni, P. et al. L'intelligence artificielle pour la sécurité chirurgicale. Ann. Surg. 275, 955–961 (2022).

Article PubMed Google Scholar

Aspart, F. et al. ClipAssistNet : Apporter des informations de sécurité en temps réel aux salles d'opération. Int. J. Comput. Aider. Radiol. Surg. 17, 5–13 (2022).

Article PubMed Google Scholar

Yu, T. et al. Récupération vidéo laparoscopique en direct avec incertitude compressée. Préimpression sur http://arxiv.org/abs/2203.04301 (2022).

Lavanchy, JL et al. Proposition et validation multicentrique d'une ontologie laparoscopique de pontage gastrique de Roux-en-Y. Surg. Endoc. https://doi.org/10.1007/s00464-022-09745-2 (2022).

Article PubMed PubMed Central Google Scholar

Mascagni, P. et al. Validation multicentrique d'EndoDigest : une plate-forme de vision par ordinateur pour la documentation vidéo de la vision critique de la sécurité dans la cholécystectomie laparoscopique. Surg. Endoc. https://doi.org/10.1007/s00464-022-09112-1 (2022).

Article PubMed Google Scholar

Sandler, M., Howard, A., Zhu, M., Zhmoginov, A. & Chen, L.-C. MobileNetV2 : résidus inversés et goulots d'étranglement linéaires. En 2018 Conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance de formes 4510–4520 (IEEE, 2018) https://doi.org/10.1109/CVPR.2018.00474.

Hochreiter, S. & Schmidhuber, J. Longue mémoire à court terme. Calcul neuronal. 9, 1735–1780 (1997).

Article CAS PubMed Google Scholar

Kingma, DP & Ba, J. Adam : Une méthode d'optimisation stochastique. (2014) https://doi.org/10.48550/ARXIV.1412.6980.

Twinanda, AP, Marescaux, J., de Mathelin, M. & Padoy, N. Approche de classification pour l'organisation automatique de bases de données vidéo laparoscopiques. Int. J. Comput. Aider. Radiol. Surg. 10, 1449-1460 (2015).

Article PubMed Google Scholar

Zohar, M., Bar, O., Neimark, D., Hager, GD & Asselmann, D. Détection précise des segments hors du corps dans la vidéo chirurgicale à l'aide d'un apprentissage semi-supervisé. Dans Proc. Mach. Apprendre. Rés. MIDL 2020, 923–936.

Bar, O. et al. Impact des données sur la généralisation de l'IA pour les applications d'intelligence chirurgicale. Sci. Rep. 10, 22208 (2020).

Article ADS CAS PubMed PubMed Central Google Scholar

Kirtac, K. et al. Reconnaissance de la phase chirurgicale : des ensembles de données publics aux données du monde réel. Appl. Sci. 12, 8746 (2022).

Article CAS Google Scholar

Télécharger les références

Joël L. Lavanchy a été financé par le Fonds National Suisse de la Recherche Scientifique (P500PM_206724). Ce travail a été soutenu par des fonds publics français gérés par l'ANR dans le cadre du programme Chaire nationale en IA dans le cadre de la subvention ANR-20-CHIA-0029-01 (Chaire AI4ORSafety) et dans le cadre du programme Investissements d'avenir dans le cadre de la subvention ANR-10-IAHU-02 (IHU Strasbourg). Une version antérieure de ce manuscrit a été déposée sur arXiv : https://doi.org/10.48550/arxiv.2301.07053.

Ces auteurs ont contribué à parts égales : Joël L. Lavanchy et Armine Vardazaryan.

Une liste des auteurs et de leurs affiliations apparaît à la fin de l'article.

IHU Strasbourg, 1 Place de l’Hôpital, 67091, Strasbourg Cedex, France

Joël L. Lavanchy, Armine Vardazaryan, Pietro Mascagni, Didier Mutter & Nicolas Padoy

Département de chirurgie et de médecine viscérales, Inselspital, Hôpital universitaire de Berne, Université de Berne, Berne, Suisse

Joël L. Lavanchy

ICube, Université de Strasbourg, CNRS, Strasbourg, France

Armine Vardazaryan & Nicolas Padoy

Fondation de l'hôpital universitaire Agostino Gemelli IRCCS, Rome, Italie

Pierre Mascagni

CHU de Strasbourg, Strasbourg, France

Didier Mutter

Division de chirurgie, Clarunis – Centre universitaire des maladies gastro-intestinales et hépatiques, St Clara et Hôpital universitaire de Bâle, Bâle, Suisse

Joël L. Lavanchy

Institut de recherche contre le cancer digestif (IRCAD), Strasbourg, France

Bernard Dallemagne

Hôpital Sant'Andrea, Université La Sapienza, Rome, Italie

Giovanni Guglielmo Laracca

Hôpital Monaldi, AORN dei Colli, Naples, Italie

Ludovica Guerriero & Diego Cuccurullo

Fondation IRCCS Ca' Granda Ospedale Maggiore Policlinico di Milano, Université de Milan, Milan, Italie

Andrea Spota, Ludovica Baldari, Elisa Cassinotti & Luigi Boni

Hôpital universitaire Agostino Gemelli IRCCS, Rome, Italie

Claudio Fiorillo, Giuseppe Quero, Segio Alfieri & Guido Costamagna

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

JLL et AV ont contribué à parts égales et partagent la première co-paternité. JLL, AV et NP ont conçu l'étude. JLL, AV, PM et le consortium AI4SafeChole ont collecté les données. Le modèle a été développé par AV Les résultats ont été analysés par JLL, AV et NP Le manuscrit a été rédigé par JLL et AV et les figures 1 à 4 préparées par JLL Tous les auteurs ont révisé le manuscrit.

Correspondance à Joël L. Lavanchy.

Les auteurs ne déclarent aucun intérêt concurrent.

Springer Nature reste neutre en ce qui concerne les revendications juridictionnelles dans les cartes publiées et les affiliations institutionnelles.

Vidéo supplémentaire 1.

Libre accès Cet article est sous licence Creative Commons Attribution 4.0 International, qui autorise l'utilisation, le partage, l'adaptation, la distribution et la reproduction sur tout support ou format, à condition que vous accordiez le crédit approprié à l'auteur ou aux auteurs originaux et à la source, fournissez un lien vers la licence Creative Commons et indiquez si des modifications ont été apportées. Les images ou tout autre matériel de tiers dans cet article sont inclus dans la licence Creative Commons de l'article, sauf indication contraire dans une ligne de crédit au matériel. Si le matériel n'est pas inclus dans la licence Creative Commons de l'article et que votre utilisation prévue n'est pas autorisée par la réglementation légale ou dépasse l'utilisation autorisée, vous devrez obtenir l'autorisation directement du détenteur des droits d'auteur. Pour voir une copie de cette licence, visitez http://creativecommons.org/licenses/by/4.0/.

Réimpressions et autorisations

Lavanchy, JL, Vardazaryan, A., Mascagni, P. et al. Préserver la confidentialité dans l'analyse vidéo chirurgicale à l'aide d'un classificateur d'apprentissage en profondeur pour identifier les scènes hors du corps dans les vidéos endoscopiques. Sci Rep 13, 9235 (2023). https://doi.org/10.1038/s41598-023-36453-1

Télécharger la citation

Reçu : 02 mars 2023

Accepté : 03 juin 2023

Publié: 07 juin 2023

DOI : https://doi.org/10.1038/s41598-023-36453-1

Toute personne avec qui vous partagez le lien suivant pourra lire ce contenu :

Désolé, aucun lien partageable n'est actuellement disponible pour cet article.

Fourni par l'initiative de partage de contenu Springer Nature SharedIt

En soumettant un commentaire, vous acceptez de respecter nos conditions d'utilisation et nos directives communautaires. Si vous trouvez quelque chose d'abusif ou qui ne respecte pas nos conditions ou directives, veuillez le signaler comme inapproprié.