La vision par ordinateur en chirurgie : du potentiel à la valeur clinique - Visionnaire de ShenyangPeak Ventures Co., Ltd

npj Digital Medicine volume 5, Numéro d'article : 163 (2022) Citer cet article

4636 accès

4 Citations

26 Altmétrique

Détails des métriques

Des centaines de millions d'opérations sont effectuées dans le monde chaque année, et l'adoption croissante de la chirurgie mini-invasive a permis aux caméras et aux robots à fibre optique de devenir à la fois des outils importants pour effectuer la chirurgie et des capteurs à partir desquels capturer des informations sur la chirurgie. La vision par ordinateur (CV), l'application d'algorithmes pour analyser et interpréter les données visuelles, est devenue une technologie essentielle permettant d'étudier la phase peropératoire des soins dans le but d'augmenter les processus de prise de décision des chirurgiens, de soutenir une chirurgie plus sûre et d'élargir l'accès aux soins chirurgicaux. Bien que de nombreux travaux aient été effectués sur des cas d'utilisation potentiels, il n'existe actuellement aucun outil CV largement utilisé pour des applications diagnostiques ou thérapeutiques en chirurgie. En utilisant la cholécystectomie laparoscopique comme exemple, nous avons passé en revue les techniques CV actuelles qui ont été appliquées à la chirurgie mini-invasive et leurs applications cliniques. Enfin, nous discutons des défis et des obstacles qui restent à surmonter pour une mise en œuvre et une adoption plus larges de la CV en chirurgie.

Avec plus de 330 millions d'interventions réalisées chaque année, la chirurgie représente un segment critique des systèmes de santé dans le monde1. Cependant, la chirurgie n'est pas facilement accessible à tous. La Commission Lancet sur la chirurgie mondiale a estimé que 143 millions d'interventions chirurgicales supplémentaires sont nécessaires chaque année pour "sauver des vies et prévenir les incapacités"2. Les améliorations des soins périopératoires et l'introduction d'approches mini-invasives ont rendu la chirurgie plus efficace mais aussi plus complexe et coûteuse, la chirurgie représentant environ un tiers des coûts de santé aux États-Unis3. De plus, une grande partie des erreurs médicales évitables se produisent dans les salles d'opération (OU)4. Ces observations suggèrent la nécessité de développer des solutions pour améliorer la sécurité et l'efficacité chirurgicales.

L'analyse de vidéos d'interventions chirurgicales et d'activités de bloc opératoire pourrait offrir des stratégies pour améliorer cette phase critique des soins chirurgicaux. Cela est particulièrement vrai pour les procédures réalisées avec une approche peu invasive, qui est de plus en plus adoptée à l'échelle mondiale5,6,7 et repose fortement sur la visualisation fournie par les caméras à fibre optique. En effet, en chirurgie mini-invasive, la perte partielle du retour haptique est compensée par des vidéos agrandies en haute définition acquises par des caméras endoscopiques8. Les vidéos endoscopiques guidant les procédures chirurgicales représentent une source directe et facilement disponible de données numériques sur la phase peropératoire des soins chirurgicaux.

Ces dernières années, l'analyse de vidéos endoscopiques d'interventions chirurgicales mini-invasives a permis d'étudier l'impact des activités de bloc opératoire sur les résultats pour les patients9 et d'évaluer les initiatives d'amélioration de la qualité10. De plus, l'évaluation basée sur la vidéo (VBA) est de plus en plus étudiée pour l'évaluation des performances opératoires, la rétroaction formative et la certification chirurgicale. Cependant, la VBA est restée principalement confinée au domaine de la recherche étant donné le fardeau de l'examen manuel et de l'évaluation cohérente des vidéos chirurgicales11,12. S'appuyant sur les succès initiaux de la chirurgie mini-invasive, l'utilisation de la vidéo s'est également développée en chirurgie ouverte13.

La vision par ordinateur (CV), une discipline informatique qui utilise des techniques d'intelligence artificielle (IA) telles que l'apprentissage en profondeur (DL) pour traiter et analyser les données visuelles, pourrait faciliter l'analyse vidéo endoscopique et permettre la mise à l'échelle des applications au profit d'un groupe plus large de chirurgiens et patients14. De plus, alors que les humains ont tendance à évaluer grossièrement les images qualitativement, les algorithmes informatiques ont le potentiel d'extraire des informations invisibles, quantitatives et objectives sur les événements peropératoires. Enfin, l'analyse vidéo endoscopique automatisée en ligne pourrait nous permettre de surveiller les cas en temps réel, de prévoir les complications et d'intervenir pour améliorer les soins et prévenir les événements indésirables.

Récemment, plusieurs solutions CV basées sur DL, principalement pour la chirurgie mini-invasive, ont été développées par des universitaires ainsi que des groupes industriels. Les applications de CV vont de l'analyse du flux de travail à l'évaluation automatisée des performances. Alors que des solutions numériques analogues sont cliniquement traduites et mises en œuvre à grande échelle pour des applications diagnostiques en endoscopie gastro-intestinale15 et en radiologie16, la CV en chirurgie est à la traîne.

Nous discutons de l'état actuel, du potentiel et des voies possibles vers la valeur clinique de la vision par ordinateur en chirurgie. Nous avons examiné la cholécystectomie laparoscopique, actuellement la procédure chirurgicale la plus étudiée pour les méthodes CV, afin de fournir un exemple spécifique de la manière dont le CV a été abordé en chirurgie ; cependant, bon nombre de ces méthodes ont également été appliquées à la chirurgie robotique, endoscopique et ouverte. Enfin, nous discutons des efforts récents pour améliorer l'accès et les méthodes pour mieux modéliser les données chirurgicales ainsi que les considérations éthiques, juridiques et éducatives fondamentales pour apporter de la valeur aux patients, aux cliniciens et aux systèmes de santé.

La cholécystectomie est l'intervention chirurgicale abdominale la plus courante, avec près d'un million de cas pratiqués aux États-Unis seulement chaque année17. L'innocuité et l'efficacité de la chirurgie mini-invasive ont été démontrées il y a plus de deux décennies, et la laparoscopie est depuis devenue l'approche de référence pour l'ablation de la vésicule biliaire. La cholécystectomie laparoscopique (LC) suit généralement un cours opératoire standardisé, est pratiquée par la plupart des chirurgiens généralistes et est souvent l'une des premières procédures introduites au cours de la formation chirurgicale. Une analyse relativement récente regroupant les données de plus de cinq mille patients a confirmé l'innocuité de la LC, rapportant respectivement des taux de morbidité et de mortalité globaux de 1,6 à 5,3 % et de 0,08 à 0,14 %17. Néanmoins, les lésions iatrogènes des voies biliaires (BDI) compliquent encore 0,32 à 1,5 % des CL17,18, des taux supérieurs à l'incidence couramment rapportée en chirurgie ouverte19. Les BDI ont entraîné une multiplication par trois de la mortalité en un an, une diminution de la qualité de vie tout au long de la vie malgré une réparation experte et ont été estimées à un coût annuel d'environ un milliard de dollars aux États-Unis seulement20,21. L'excès de confiance dans l'exécution de cette intervention chirurgicale très courante et la variabilité de la difficulté opératoire du LC ont entraîné la faible mise en œuvre des directives de sécurité et l'incidence non décroissante de BDI qui en résulte.

Ainsi, l'omniprésence et la standardisation des LC ont fait de cette procédure une référence attrayante pour la recherche et le développement CV en chirurgie mini-invasive22,23. De plus, la nature visuelle et l'importance du BDI ont incité les universités et l'industrie à développer des solutions CV pour répondre à ce besoin clinique bien défini. Enfin, la diffusion publique d'ensembles de données de vidéos LC annotées a stimulé l'intérêt et facilité la recherche dans le domaine24.

Au niveau le plus grossier, une intervention chirurgicale peut être décrite en identifiant la procédure en cours d'exécution. Par exemple, la reconnaissance automatique du type d'intervention laparoscopique dès les 10 premières minutes d'actes chirurgicaux s'est avérée très efficace25. Bien que de telles applications puissent ne pas sembler immédiatement pertinentes sur le plan clinique, elles pourraient servir à plusieurs fins indirectes, telles que la réduction des efforts d'annotation pour des tâches plus spécifiques26 ou le déclenchement de modèles spécifiques à une procédure sans intervention humaine. Une fois le type d'acte identifié, un consensus suggère que les actes chirurgicaux peuvent être décrits à la fois temporellement et spatialement à l'aide d'une hiérarchie de descripteurs ou d'annotations de plus en plus détaillés (Fig. 1)27. En pratique, cette hiérarchie indique par nature une progression naturelle de tâches de plus en plus complexes à annoter et à modéliser.

Des annotations temporelles (a) et spatiales (b) à différentes résolutions sont utilisées pour modéliser des tâches avec des détails de plus en plus fins.

Au niveau temporel le plus grossier, une vidéo chirurgicale entière peut être classée en phases, grandes étapes des procédures chirurgicales, qui peuvent ensuite être décomposées en étapes plus spécifiques qui sont effectuées pour atteindre des objectifs chirurgicaux significatifs tels que l'exposition de structures anatomiques spécifiques. En 2016, EndoNet s'est d'abord attaqué à la tâche de reconnaissance de la phase chirurgicale à l'aide d'un réseau de neurones convolutifs (CNN) pour extraire automatiquement des caractéristiques visuelles, y compris des informations sur l'apparence des instruments chirurgicaux, à partir d'images vidéo LC24. Une analyse temporelle plus détaillée pourrait être utilisée pour reconnaître des activités spécifiques dans les vidéos chirurgicales. Les premiers travaux sur le sujet ont formalisé les gestes chirurgicaux sous forme de triplets comprenant l'outil servant d'effecteur final, le verbe décrivant l'activité en cause et l'anatomie visée (ex : « saisir, rétracter, vésicule biliaire »)28.

À l'extrême temporel le plus bref, le contenu d'une seule image, comme les instruments ou les caractéristiques anatomiques, peut être décrit. Le cas échéant, ces contenus peuvent être davantage localisés dans l'espace, soit de manière lâche avec des marquages tels que des cadres de délimitation dessinés autour de structures d'intérêt, soit avec précision avec des masques de segmentation délimitant des objets avec une précision au niveau du pixel. Pour les annotations spatiales, le degré de détail est défini à la fois par le type d'annotation (par exemple, boîte englobante ou masques de segmentation) et la cible annotée (par exemple, outils ou pièces d'outil). En outre, les relations entre différents objets localisés peuvent également être décrites, par exemple, pour décrire l'interaction ou la position relative entre les instruments et les structures anatomiques.

Invariablement, le facteur limitant pour la plupart des applications cliniques est la disponibilité d'ensembles de données bien annotés. Des étiquettes plus grossières, telles que la classification ou la description qualitative du contenu d'une séquence vidéo plutôt que la segmentation de chaque image, sont moins lourdes à annoter mais peuvent sembler servir des applications cliniques moins directement pertinentes. Néanmoins, les étiquettes à grain grossier pourraient être utilisées pour : (1) la conservation et la navigation des données afin de rationaliser l'utilisation de la vidéo pour VBA ; (2) l'éducation en expliquant le contenu d'une vidéo aux stagiaires ; et (3) la documentation et la navigation vers des points de données spécifiques pour annoter ultérieurement plus de détails.

Des travaux fondamentaux sur le CV pour l'analyse temporelle et spatiale de vidéos endoscopiques permettant un flux de travail chirurgical automatisé et une compréhension de la scène sont en cours de traduction en scénarios applicables sur le plan clinique. LC reste la procédure de choix pour démontrer de nombreux scénarios de ce type compte tenu de son omniprésence et de ses phénomènes cliniques bien définis ; ainsi, nous discutons des applications chirurgicales CV-activées pour l'analyse vidéo postopératoire et l'assistance peropératoire potentielle en temps réel dans LC. Il est important de reconnaître, cependant, que de telles applications sont également à l'étude pour d'autres procédures mini-invasives, l'endoscopie gastro-intestinale et la chirurgie ouverte23,29.

En postopératoire, des modèles de reconnaissance de la procédure et de la phase chirurgicale pourraient être utilisés pour générer automatiquement des bases de données structurées et segmentées pour aider aux initiatives d'amélioration de la qualité. Alors que de telles bases de données représenteraient une ressource inestimable pour la documentation chirurgicale, la recherche et l'éducation en soi, le fardeau associé à l'analyse manuelle de grandes quantités de vidéos présente un goulot d'étranglement considérable pour l'adoption. L'analyse vidéo automatisée pourrait être utilisée pour digérer ces vastes collections de vidéos chirurgicales, récupérer des séquences vidéo significatives et extraire des informations importantes. Par exemple, des vidéos chirurgicales complètes peuvent être analysées avec des modèles de détection de phase et d'outil pour identifier les événements peropératoires et produire efficacement de courtes vidéos documentant sélectivement la division du canal cystique et de l'artère cystique, la phase la plus critique d'un LC30,31. Bien que cette approche assez simple puisse être appliquée à une variété de procédures, l'adaptation à d'autres cas d'utilisation nécessiterait encore un développement considérable. Très récemment, des méthodes de pointe ont permis de surmonter ces obstacles en permettant la récupération vidéo à vidéo, la tâche consistant à utiliser une vidéo pour rechercher des vidéos avec des événements similaires32,33. De plus, les modèles de reconnaissance de phase peuvent également être utilisés directement pour générer automatiquement des rapports chirurgicaux standardisés de LC. Lors de l'analyse de tels rapports basés sur des prédictions de phase, Berlet et al. ont constaté que des grappes d'images vidéo mal reconnues, c'est-à-dire des échecs de modèle, pouvaient indiquer des complications telles que des saignements ou des problèmes de récupération de la vésicule biliaire34. De tels événements pourraient être liés au dossier de santé électronique pour obtenir des informations sur les résultats des patients après la chirurgie.

Les modèles CV peuvent être formés pour extraire des informations plus nuancées à partir de vidéos telles que des substituts de difficulté opératoire LC. Étant donné que la difficulté opératoire du LC est corrélée à l'inflammation de la vésicule biliaire, Loukas et al. formé un CNN pour classer le degré de vascularisation de la paroi de la vésicule biliaire donnant des performances comparables à celles des chirurgiens experts35. De même, Ward et al. formé un CNN pour classer l'inflammation de la vésicule biliaire selon l'échelle de notation de Parkland, un système à 5 niveaux basé sur les changements anatomiques. Cette classification a ensuite contribué aux prédictions d'événements tels que les fuites de bile de la vésicule biliaire pendant la chirurgie et a fourni des informations sur la façon dont les augmentations de l'inflammation sont corrélées aux durées opératoires prolongées36.

Des modèles CV pour la détection d'outils ont été utilisés pour évaluer les compétences techniques des chirurgiens. À cet égard, Jin et al. ont montré que les informations déduites automatiquement sur les modèles d'utilisation des outils, l'amplitude des mouvements et l'économie étaient corrélées aux performances évaluées par les chirurgiens à l'aide de mesures d'évaluation validées37. Plus récemment, Lavanchy et al. ont proposé de transformer les informations de localisation des outils extraites automatiquement en caractéristiques de mouvement de séries chronologiques à utiliser comme entrée d'un modèle de régression pour prédire les compétences chirurgicales et distinguer les bonnes performances techniques des mauvaises38. Cependant, ces tentatives d'évaluation automatique des compétences techniques n'ont pas été basées sur des mesures de compétences existantes et validées ; par conséquent, des recherches supplémentaires sont nécessaires pour déterminer si les évaluations automatisées des compétences compléteront ou remplaceront les méthodes d'évaluation traditionnelles39.

Nous envisageons l'utilisation de l'IA pour aider lors des procédures mini-invasives (Fig. 2). Dans ce contexte, les prédictions en temps réel des modèles CV pourraient être utilisées pour guider les stagiaires, améliorer les performances du chirurgien et améliorer la communication dans la salle d'opération. Lors du démarrage d'un LC, les modèles CV pourraient évaluer automatiquement l'apparence de la vésicule biliaire35,36, ajuster les estimations préopératoires de la difficulté opératoire40 et suggérer si ce cas est plus approprié pour un stagiaire ou un chirurgien expérimenté. Une fois la vésicule biliaire exposée, les directives chirurgicales suggèrent d'utiliser des repères anatomiques pour aider à guider les zones sûres pour l'incision. Par exemple, Tokuyasu et al. ont développé un modèle pour détecter automatiquement ces points de repère clés avec des boîtes englobantes41.

Des modèles CV aperçus pourraient être utilisés pour évaluer la difficulté d'un cas et s'il convient à un résident en chirurgie (a), pour avertir les chirurgiens de ne pas inciser sous le site approprié (b), pour guider une dissection sûre (c), pour évaluer automatiquement mesures de sécurité (d), pour prévenir les mauvaises applications des clips (e) et pour améliorer la sensibilisation et la préparation du personnel de la salle d'opération.

De même, des modèles d'apprentissage en profondeur pourraient être utilisés pour fournir une superposition codée par couleur sur la vidéo chirurgicale qui pourrait finalement servir d'assistant de navigation pour les chirurgiens. Madani et al. ont utilisé les annotations de chirurgiens experts pour former GoNoGoNet à identifier les zones de dissection sûres et dangereuses42. Le point final de la dissection sûre du triangle hépatocystique est d'atteindre la vision critique de la sécurité (CVS), un point de contrôle universellement recommandé pour identifier de manière concluante l'anatomie hépatokystique et prévenir l'illusion de perception visuelle à l'origine de 97 % des BDI majeurs43,44. À cet égard, Mascagni et al. ont développé un modèle CV en deux étapes pour d'abord segmenter les outils chirurgicaux et l'anatomie hépatokystique à grain fin pour ensuite prédire si chacun des trois critères CVS a été atteint45.

Alors que la confirmation automatisée du CVS peut fournir au chirurgien une assurance supplémentaire de l'anatomie, d'autres outils CV peuvent garantir que les clips sont bien placés et qu'aucune autre structure n'est clipsée par inadvertance. Pour fournir une telle assistance, Aspart et al. a récemment proposé ClipAssistNet, un réseau de neurones formé pour détecter les pointes d'un applicateur de clips pendant LC46. Si les chirurgiens expérimentés peuvent trouver une telle assistance inutile et même insignifiante, les stagiaires et les chirurgiens en début de carrière peuvent bénéficier de l'assurance qui peut être fournie par des algorithmes d'aide à la décision en temps réel tels que GoNoGoNet, DeepCVS et ClipAssistNet. De tels algorithmes pourraient servir de versions automatisées d'entraîneurs chirurgicaux qui peuvent faciliter et augmenter la prise de décision dans la salle d'opération39.

À un niveau plus large, l'analyse du flux de travail en temps réel pourrait être utilisée pour améliorer la communication, la connaissance de la situation et la préparation de toute l'équipe chirurgicale. L'analyse de vidéos chirurgicales, de modèles de détection de phase23 et d'algorithmes pour estimer les temps chirurgicaux restants47 peut aider à suivre la progression de l'opération pour aider le personnel du bloc opératoire et l'anesthésie à planifier le cas actuel et le cas suivant. De plus, l'analyse du flux de travail pourrait aider à détecter un écart par rapport à un cours peropératoire attendu et déclencher une demande automatisée de sauvegarde ou un deuxième avis. Enfin, un résumé visuel postopératoire des événements peropératoires ou « empreinte chirurgicale » pourrait être analysé avec le profil préopératoire du patient pour évaluer le risque de morbidité ou de mortalité postopératoire48.

Malgré la pléthore de méthodes d'analyse automatisée des vidéos LC présentées au cours des dernières années, peu de systèmes CV basés sur l'IA ont été proposés pour analyser d'autres procédures chirurgicales, la plupart se concentrant sur les procédures peu invasives. Cela entrave l'impact clinique, au point qu'aucune application CV n'est actuellement largement utilisée en chirurgie.

Les raisons de ce manque de généralisation et de traduction clinique sont multiples mais sont largement centrées sur la disponibilité et la qualité des données et les performances des approches de modélisation existantes, deux éléments clés de la CV en chirurgie qui sont intimement liés.

Historiquement, les procédures chirurgicales ont été démontrées devant des stagiaires et des pairs dans des salles d'opération avec des sièges de style stade et des fenêtres pour la lumière naturelle. Aujourd'hui, cependant, les salles d'opération (OR) sont l'un des composants les plus cloisonnés des systèmes de santé. Les informations sur les événements de salle d'opération ne sont généralement rapportées que dans les notes postopératoires dictées par le chirurgien ou indirectement déduites des résultats chirurgicaux postopératoires. En tant que tel, il a longtemps été difficile de recueillir des informations exploitables sur les événements indésirables (EI) peropératoires, qui surviennent dans jusqu'à 2 % de tous les cas chirurgicaux49. Par conséquent, les besoins cliniques ont été principalement identifiés de manière anecdotique en interrogeant des chirurgiens et des leaders d'opinion clés, une pratique sous-optimale sujette aux biais.

Aujourd'hui, une plus grande demande de documentation chirurgicale, ainsi que la facilité d'enregistrement de vidéos endoscopiques d'interventions chirurgicales mini-invasives, ont considérablement amélioré notre capacité à observer les événements peropératoires et à travailler à la conception de solutions pour améliorer la sécurité et l'efficacité chirurgicales. Cependant, l'enregistrement et l'analyse des données chirurgicales ne suscitent toujours pas beaucoup d'intérêt. Dans une enquête auprès des membres d'une grande société chirurgicale, Mazer et al. ont constaté que les chirurgiens enregistraient moins de 40% de leurs cas, mais souhaitaient que jusqu'à 80% des vidéos puissent être capturées. Les chirurgiens estimaient que le manque d'équipement, les politiques institutionnelles et les préoccupations médico-légales étaient des obstacles à l'enregistrement des cas50.

Les inquiétudes des chirurgiens et des systèmes de santé craignant que les données peropératoires ne soient utilisées contre eux peuvent être infondées. Une étude récente sur les appareils d'enregistrement à boîte noire dans la salle d'opération a suggéré que les données vidéo soutiennent principalement les chirurgiens dans les cas de faute professionnelle51. Ainsi, les institutions ont largement commencé à mettre en œuvre une approche individualisée de l'enregistrement vidéo qui répond à leurs propres besoins. Certains continuent d'interdire le stockage de vidéos, d'autres l'autorisent à certaines fins mais avec des paramètres spécifiquement définis (par exemple, la destruction programmée des données tous les 30 jours), tandis que d'autres encouragent toujours l'enregistrement et le stockage de vidéos à des fins d'amélioration de la qualité, d'éducation et de recherche uniquement. . Par conséquent, les institutions devraient s'engager dans un examen des politiques existantes et impliquer les parties prenantes telles que les agents de gestion des risques, les compagnies d'assurance contre les fautes professionnelles, les chirurgiens et les patients afin de déterminer la meilleure stratégie locale pour l'enregistrement vidéo. Des règles institutionnelles claires guideraient les chirurgiens qui souhaitent enregistrer leurs cas pour un certain nombre de raisons, y compris, mais sans s'y limiter, l'utilisation à des fins de science des données chirurgicales.

Les politiques et les incitations peuvent aider à modifier davantage la culture de la collecte de données chirurgicales pour favoriser une plus grande collecte et utilisation de données opératoires parmi les cliniciens qui, autrement, pourraient ne pas considérer la valeur des analyses vidéo peropératoires et de vision par ordinateur. Les institutions qui comprennent la valeur des données vidéo peuvent jouer un rôle dans l'incitation des cliniciens. Par exemple, AdventHealth, un grand système de santé universitaire aux États-Unis (É.-U.), s'est associé à une organisation de sécurité des patients (PSO) pour collecter et analyser les données soumises volontairement et fournir des commentaires aux cliniciens, afin d'améliorer ses initiatives d'amélioration de la qualité autour des commentaires opératoires52 . Aux États-Unis, les OSP ont été établies par la loi de 2005 sur la sécurité des patients et l'amélioration de la qualité et protègent les produits du travail sur la sécurité des patients des données soumises volontairement à des fins d'amélioration de la qualité contre les procédures civiles, pénales, administratives et disciplinaires, sauf dans des circonstances étroites et spécifiques. Les OSP sont des organisations indépendantes d'un système de santé et certifiées par l'Agence américaine pour la recherche et la qualité des soins de santé (AHRQ).

En outre, AdventHealth a offert des crédits de formation médicale continue (CME) nécessaires pour les renouvellements de licence et la certification continue du conseil d'administration comme une incitation individuelle supplémentaire pour les chirurgiens à enregistrer et à soumettre des vidéos et à revoir les vidéos des autres à des fins d'amélioration de la qualité et à des fins éducatives, telles que l'examen par les pairs et les commentaires. En combinant l'assurance légale de la vie privée avec des incitations individuelles sous forme de FMC, ce système de santé a encouragé la soumission volontaire de données vidéo par la majorité de ses chirurgiens. De telles protections et incitations devraient être envisagées par d'autres systèmes de santé pour encourager la participation volontaire non seulement aux programmes d'amélioration de la qualité, mais également aux efforts visant à développer des algorithmes CV qui peuvent faciliter de telles initiatives d'amélioration de la qualité. En fin de compte, de meilleures incitations et des directives réglementaires claires pourraient élargir la liste des ensembles de données accessibles au public sur lesquels des algorithmes CV pourraient être développés et testés53.

Ce n'est pas seulement la quantité de données disponibles qui limite la valeur clinique des applications de vision par ordinateur, mais aussi la qualité de ces données. Alors que des mesures standardisées avec une variabilité prévisible peuvent être utilisées dans les données tabulaires, telles que les valeurs de laboratoire pour l'hémoglobine ou la créatinine, la définition des phénomènes cliniques dans les vidéos chirurgicales (c'est-à-dire l'annotation) peut être assez difficile. La chirurgie ouverte présente des défis uniques qui surviennent avec l'occlusion des données vidéo des propres mouvements du chirurgien, nécessitant plusieurs angles de caméra, des capteurs supplémentaires ou des approches algorithmiques pour surmonter l'occlusion et tenir compte de la complexité supplémentaire des interactions avec les outils à main54,55,56.

Des protocoles d'annotation clairs avec une formation approfondie des annotateurs sont nécessaires pour garantir que les annotations temporelles et spatiales sur les vidéos chirurgicales sont claires, fiables et reproductibles. Les objectifs d'un projet donné peuvent aider à définir les besoins d'annotation et doivent être clairement établis a priori pour garantir que des vérités de terrain appropriées sont établies et mesurées. De plus, les protocoles d'annotation devraient être partagés publiquement pour favoriser la reproductibilité et la confiance en permettant à d'autres de collaborer tout en permettant une évaluation indépendante de la vérité de terrain utilisée pour la formation et le test des modèles de CV57. Ward et al. fournissent plus de détails sur les difficultés d'annotation d'une vidéo chirurgicale et suggèrent plusieurs étapes clés qui peuvent atténuer les performances médiocres ou inapplicables du modèle liées à une annotation inférieure ou inappropriée58.

Au fur et à mesure que de plus en plus d'applications cliniques sont identifiées, des techniques de plus en plus efficaces sont introduites pour modéliser ces applications et apporter de la valeur aux patients. Au-delà de la modélisation spécifique à l'application, des méthodes sont également développées pour aider à contourner ou à atténuer les contraintes techniques, réglementaires, éthiques et cliniques endémiques à la chirurgie.

Pour développer des solutions cliniques efficaces, les modèles d'IA sont souvent formés pour reproduire les performances d'experts à partir de grandes quantités de données bien annotées (c'est-à-dire un apprentissage entièrement supervisé). Tout en conduisant à des résultats sans précédent dans l'analyse d'images médicales59, ce paradigme d'apprentissage dépend fortement de la disponibilité de grands ensembles de données annotées. Sa durabilité est donc fortement limitée par des problèmes tels que les contraintes réglementaires strictes sur le partage des données et le coût d'opportunité pour les cliniciens d'annoter les données, ce qui rend la génération de grands ensembles de données loin d'être triviale60. Ces problèmes sont encore aggravés par la nécessité de bien représenter et de tenir compte des variations entre les patients (anatomie, démographie, etc.), les interactions des chirurgiens (flux de travail, compétences, etc.) et le matériel du bloc opératoire (instruments, systèmes d'acquisition de données, etc.). ).

Plusieurs solutions ont été explorées pour augmenter la quantité de données disponibles, telles que l'utilisation d'ensembles de données générés synthétiquement61 ou l'augmentation artificielle des ensembles de données annotées disponibles62. Pourtant, modéliser suffisamment la gamme d'interactions possibles reste un problème ouvert. Récemment, les approches de formation décentralisée (par exemple, l'apprentissage fédéré) ont commencé à gagner du terrain63, permettant l'apprentissage à partir de données à des emplacements physiques éloignés, atténuant les problèmes de confidentialité et suscitant l'espoir d'une plus grande accessibilité des données.

Cependant, même avec de grandes quantités de données disponibles, les annotations de qualité sont encore rares et coûteuses à produire. Pour réduire la dépendance aux annotations, différentes solutions ont été proposées, tirant parti des informations intrinsèques présentes dans les données non étiquetées ou réorientant les connaissances acquises dans différentes tâches et domaines. Les approches auto-supervisées visent à apprendre des informations utiles à partir de grandes quantités de données non étiquetées en formulant des tâches de pré-texte qui ne nécessitent pas d'annotations externes64. Les approches semi-supervisées exploitent également de grandes quantités de données non étiquetées, mais les combinent avec de petites quantités de données annotées. Cette stratégie implique souvent un étiquetage artificiel des données non étiquetées, guidé par certaines données étiquetées disponibles65,66.

Les méthodes faiblement supervisées visent à affiner les annotations facilement disponibles mais bruyantes, telles que les étiquettes participatives67, ou à réutiliser les annotations existantes collectées pour différentes tâches (par exemple, apprendre la localisation d'outils chirurgicaux à l'aide d'annotations non spatiales telles que la présence d'outils binaires68). Lorsque de telles annotations sont disponibles en même temps que des annotations de tâches cibles, une formation multitâche peut être effectuée (par exemple en utilisant des signaux de présence d'outils pour aider à informer quelle phase chirurgicale est en cours et vice-versa)24. Alternativement, les approches d'apprentissage par transfert aident à réutiliser les informations apprises à partir de différentes tâches et/ou domaines, pour lesquels des ensembles de données annotés sont plus facilement disponibles, et à les appliquer au domaine et à la tâche d'intérêt (tableau 1). Un exemple courant consiste à utiliser l'apprentissage par transfert à partir de grands ensembles de données non chirurgicaux bien étiquetés tels que ImageNet69. L'adaptation de domaine est un autre paradigme d'apprentissage par transfert populaire lorsqu'il s'agit de données provenant de domaines similaires à celui cible, tels que des ensembles de données chirurgicales synthétiques61.

Même si des modèles de plus en plus efficaces sont développés pour diverses applications cliniques, des méthodes techniques sont également nécessaires pour doter le personnel chirurgical des moyens d'expliquer les prédictions de l'IA, d'interpréter les raisons qui les sous-tendent, d'estimer la certitude prédictive et, par conséquent, de renforcer la confiance dans les modèles eux-mêmes. Ces considérations commencent seulement à être abordées dans les applications de santé70 et sont particulièrement criantes dans le cas des algorithmes « boîte noire » comme les méthodes basées sur l'apprentissage en profondeur où les relations entre l'entrée et la sortie ne sont pas toujours explicites ou bien comprises. Ici, l'établissement, la formalisation et la communication des relations causales entre les caractéristiques de l'entrée et de la sortie du modèle pourraient aider à atténuer les défaillances dangereuses du modèle et potentiellement éclairer la conception du modèle71. Il est également important de formaliser les processus pour identifier, enregistrer et répondre aux sources potentielles d'erreur avant et après le déploiement du modèle. À cette fin, Liu et al. présentent un cadre pour l'audit des applications d'intelligence artificielle médicale72.

Les travaux futurs pourraient aller au-delà de ces questions vers des méthodes qui peuvent identifier lorsqu'il s'agit de données inconnues (hors distribution). En plus de permettre aux cliniciens de prendre des décisions éclairées en fonction de la fiabilité du système d'IA dans des contextes spécifiques, cela pourrait également aider les chercheurs à reconnaître et à traiter les biais de sélection des données et d'autres facteurs de confusion présents dans les ensembles de données utilisés pour former ces modèles.

Chaque application clinique exige que des conditions spécifiques soient satisfaites afin d'être livrée en temps opportun et de manière appropriée, conformément aux flux de travail techniques et cliniques existants. Comme plusieurs méthodes sont développées pour servir et soutenir les différentes parties prenantes au cours des différentes étapes des soins périopératoires, les optimisations matérielles et logicielles devront également être soigneusement prises en compte. Une latence acceptable, des erreurs et des interfaces ergonomiques sont tous des facteurs clés dans cette discussion. Par exemple, certaines optimisations telles que l'exécution de ces modèles avec des précisions réduites peuvent aider à réduire considérablement l'infrastructure de calcul nécessaire pour déployer ces modèles, mais peuvent dégrader les performances. Pour les applications moins sensibles au facteur temps, le cloud computing a été exploré pour l'assistance à l'IA et la navigation, mais il est limité par la connectivité réseau73.

Les approches que nous avons examinées démontrent que les méthodes modernes ont la capacité technique de traduire les progrès de la vision par ordinateur en soins chirurgicaux. Cependant, plusieurs obstacles et défis subsistent pour libérer le potentiel de la vision par ordinateur en chirurgie (Fig. 3). Bien que la traduction en salle d'opération, la validation clinique et la mise en œuvre à l'échelle des solutions CV soient certainement fondamentales pour fournir la valeur chirurgicale promise, ces étapes impliquent de multiples parties prenantes - des fabricants d'appareils aux régulateurs - et restent largement inexplorées aujourd'hui. Ici, nous nous concentrons sur les considérations éthiques, culturelles et éducatives importantes pour les chirurgiens et leurs patients.

Le comportement et les obstacles techniques/opérationnels peuvent limiter le développement et la mise en œuvre de modèles CV en chirurgie. Une combinaison de changements statutaires, comportementaux et opérationnels dans les environnements réglementaires, cliniques et techniques pourrait entraîner des améliorations dans l'application du CV pour la chirurgie. Intelligence artificielle IA, organisation de sécurité des patients PSO, formation médicale continue CME, bloc opératoire.

Plusieurs questions éthiques doivent être abordées, notamment la sécurité et la transparence des données, la confidentialité, l'équité et la partialité74. Des discussions en cours ont lieu aux niveaux national et international pour déterminer la meilleure façon de protéger les patients sans interdire les innovations dans l'analyse des données qui pourraient donner des soins chirurgicaux plus sûrs. Les considérations relatives à la sécurité, à la transparence et à la confidentialité des données incluent les concepts de consentement éclairé des patients, de sécurité des données, de propriété et d'accès aux données, y compris si les patients ont le droit de contrôler et de superviser la manière dont leurs données personnelles sont utilisées.

Dans une analyse qualitative de 49 points de vue de patients sur l'enregistrement vidéo via un hypothétique système de « boîte noire » qui pourrait capturer toutes les données chirurgicales dans la salle d'opération, 88 % des patients ont estimé que toute propriété des données vidéo leur appartenait plutôt qu'à l'hôpital dans lequel leurs soins ont été reçus ou au chirurgien qui a pratiqué leurs opérations75. Les réglementations concernant la propriété, la confidentialité et l'utilisation de données identifiables et pseudonymisées varient selon les pays (et même selon les règles nationales, locales et institutionnelles), de sorte que les efforts de recherche ont été largement cantonnés à des institutions individuelles ou à des consortiums locaux où il peut être plus facile de définir qui détient des données dans le cadre d'une infrastructure juridique donnée et comment elles peuvent être utilisées. Alors que les efforts se poursuivent pour mieux comprendre les besoins du domaine dans le développement de technologies qui pourraient sauver des vies pour les soins chirurgicaux, il sera d'une importance cruciale de s'assurer que les patients sont inclus et priorisés dans les discussions concernant l'utilisation des données générées lors de leurs rencontres de santé.

Les patients pourraient être un ardent défenseur de la recherche sur la vision par ordinateur en chirurgie, car beaucoup déclarent percevoir que l'un des avantages de l'enregistrement vidéo est de permettre un enregistrement objectif du cas pour aider aux soins futurs et servir de protection médico-légale pour le patient et le patient. chirurgien. Fait important, les patients ont souligné leur souhait que ces données soient utilisées pour l'amélioration continue de la qualité75. L'utilisation de modèles de vision par ordinateur tels que ceux que nous avons décrits précédemment peut faciliter chacun de ces avantages aujourd'hui, car les algorithmes contextuels peuvent automatiquement indexer les cas pour un examen rapide et l'utilisation post hoc d'algorithmes de guidage peut fournir un retour visuel aux chirurgiens. En effet, certains établissements utilisent ces technologies pour animer des discussions lors de conférences hebdomadaires sur la morbidité et la mortalité à des fins d'amélioration de la qualité.

Des considérations supplémentaires concernant l'équité et le biais des ensembles de données qui affectent les performances du modèle et le manque de transparence algorithmique ont également été mises en évidence dans des publications récentes76,77. Les biais dans les ensembles de données doivent être reconnus et pris en compte, d'autant plus que de nombreux ensembles de données actuels et futurs seront obtenus à partir de plateformes laparoscopiques et robotiques qui pourraient ne pas être aussi accessibles aux pays à revenu faible ou intermédiaire. Il est également important que les chercheurs reconnaissent qu'un biais peut être introduit au niveau de chaque opération, car les chirurgiens portent avec eux l'influence de leur formation et de leur expérience opératoire antérieure dans la prise de décision chirurgicale. La fusion de ces influences introduira sans aucun doute un biais dans les ensembles de données qui pourraient avoir un impact sur les performances du modèle et donc sur la généralisabilité des outils CV en chirurgie.

Alors que l'importance des biais dans les ensembles de données et le besoin de données représentatives et généralisables sont de plus en plus reconnus, les efforts se sont intensifiés pour élargir la nature collaborative de la recherche sur l'IA pour la chirurgie. Par exemple, le Global Surgical Artificial Intelligence Collaborative (GSAC), une organisation à but non lucratif dédiée à la promotion de la démocratisation des soins chirurgicaux à l'intersection de l'éducation, de l'innovation et de la technologie, a facilité les collaborations de recherche entre les institutions aux États-Unis, au Canada et en Europe. en fournissant des outils d'annotation, de partage de données et de développement de modèles qui répondent aux normes réglementaires de chacun des pays d'origine des institutions participantes. Des efforts ciblés tels que le GSAC peuvent réduire la barrière d'entrée pour les institutions et les individus sans accès significatif aux données ou aux ressources informatiques en facilitant le partage des coûts, en fournissant une infrastructure et en élargissant l'accès à l'expertise technique et chirurgicale pour le travail collaboratif.

Enfin, l'éducation à la science des données chirurgicales est d'une importance primordiale, à la fois pour garantir que les cliniciens actuels peuvent comprendre comment la vision par ordinateur et d'autres outils d'IA ont un impact sur leur prise de décision et leurs patients et pour permettre aux générations futures d'apporter leurs propres connaissances dans le développement de nouveaux outils plus sophistiqués. outils. Le Collège royal des médecins et chirurgiens du Canada a récemment identifié la littératie en santé numérique comme une nouvelle compétence potentielle pour les médecins canadiens spécialisés, soulignant l'importance de nouvelles carrières qui combinent les connaissances médicales avec des études supérieures en IA ainsi que des équipes cliniques multidisciplinaires qui intègrent data scientists et chercheurs en IA78. Une conclusion similaire a été tirée dans l'examen Topol du Royaume-Uni sur la préparation du personnel de santé à un avenir numérique dans le National Health Service (NHS), et le NHS a ensuite créé des bourses numériques Topol pour enseigner les techniques de transformation numérique79. Des bourses institutionnelles et interdisciplinaires sont en cours de création pour promouvoir une plus grande alphabétisation des cliniciens dans les sujets liés à l'IA et une meilleure compréhension des problèmes cliniques et du flux de travail par les ingénieurs et les scientifiques des données. De plus, des institutions telles que l'IHU Strasbourg proposent des formations courtes et intensives en science des données chirurgicales aux cliniciens et aux ingénieurs/data scientists afin de promouvoir l'éducation et la collaboration interdisciplinaires.

La vision par ordinateur offre un moyen sans précédent d'étudier et d'améliorer la phase peropératoire de la chirurgie à grande échelle. Alors que les communautés clinique et scientifique des données ont commencé à converger vers l'avancement de la recherche et de l'enquête scientifique sur la meilleure façon d'utiliser le CV en chirurgie, plusieurs applications de preuve de concept d'une valeur clinique potentielle ont été démontrées en chirurgie mini-invasive. Les principaux efforts pour généraliser ces applications se concentrent sur la rationalisation de l'accès aux données chirurgicales et sur de meilleures méthodes de modélisation, en tenant toujours compte des aspects culturels et éthiques intrinsèques aux soins aux patients. Au fur et à mesure que la CV en chirurgie mûrit, une implication sociétale plus large sera nécessaire pour s'assurer que les promesses de la CV en chirurgie sont traduites de manière sûre et efficace pour aider aux soins des patients chirurgicaux.

Le partage de données ne s'applique pas à cet article car aucun ensemble de données n'a été généré ou analysé au cours de l'étude actuelle.

Weiser, TG et al. Estimation du volume mondial de chirurgie en 2012 : une évaluation soutenant l'amélioration des résultats de santé. Lancette 385, S11 (2015).

Article PubMed Google Scholar

Meara, JG et al. Chirurgie mondiale 2030 : Preuves et solutions pour parvenir à la santé, au bien-être et au développement économique. Chirurgie 158, 3–6 (2015).

Article PubMed Google Scholar

Childers, CP & Maggard-Gibbons, M. Comprendre les coûts des soins en salle d'opération. JAMA Surg. 153, e176233 (2018).

Article PubMed PubMed Central Google Scholar

Zegers, M. et al. L'incidence, les causes profondes et les résultats des événements indésirables dans les unités chirurgicales : implication pour les stratégies de prévention potentielles. Patient Saf. Surg. 5, 13 (2011).

Article PubMed PubMed Central Google Scholar

Lewandrowski, K.-U. et coll. Variations régionales dans l'acceptation et l'utilisation des techniques de chirurgie mini-invasive de la colonne vertébrale chez les chirurgiens de la colonne vertébrale : résultats d'une enquête mondiale. J. Chirurgie de la colonne vertébrale. 6, S260–S274 (2020).

Article PubMed PubMed Central Google Scholar

Bardakcioglu, O., Khan, A., Aldridge, C. et Chen, J. Croissance de la colectomie laparoscopique aux États-Unis : analyse des facteurs régionaux et socio-économiques au fil du temps. Ann. Surg. 258, 270-274 (2013).

Article PubMed Google Scholar

Richards, MK et al. Un examen national de la fréquence de la chirurgie mini-invasive chez les résidents en chirurgie générale : évaluation des registres de cas de l'ACGME au cours de 2 décennies de formation des résidents en chirurgie générale. JAMA Surg. 150, 169-172 (2015).

Article PubMed Google Scholar

Zhou, M. et al. Effet de la rétroaction haptique dans l'acquisition de compétences en chirurgie laparoscopique. Surg. Endoc. 26, 1128-1134 (2012).

Article CAS PubMed Google Scholar

Balvardi, S. et al. L'association entre l'évaluation basée sur la vidéo des performances techniques peropératoires et les résultats des patients : une revue systématique. Surg. Endoc. https://doi.org/10.1007/s00464-022-09296-6 (2022).

Mascagni, P. et al. Délai d'attente peropératoire pour promouvoir la mise en œuvre de la vision critique de la sécurité dans la cholécystectomie laparoscopique : une évaluation vidéo de 343 procédures. Confiture. Coll. Surg. 233, 497–505 (2021).

Article PubMed Google Scholar

Pugh, CM, Hashimoto, DA et Korndorffer, JR Jr. Le quoi ? Comment? Et qui? De l'évaluation basée sur la vidéo. Suis. J. Surg. 221, 13-18 (2021).

Article PubMed Google Scholar

Feldman, LS et al. Programme d'évaluation vidéo SAGES (VBA) : une vision de l'apprentissage tout au long de la vie pour les chirurgiens. Surg. Endoc. 34, 3285–3288 (2020).

Article PubMed Google Scholar

Sharma, G. et al. Un cours de simulation d'anatomie procédurale cadavérique améliore l'évaluation vidéo des performances opératoires. J. Surg. Rés. 223, 64–71 (2018).

Article PubMed Google Scholar

Ward, TM et al. Vision par ordinateur en chirurgie. Chirurgie 169, 1253–1256 (2021).

Article PubMed Google Scholar

Hassan, C. et al. Performance de l'intelligence artificielle en coloscopie pour la détection des adénomes et des polypes : une revue systématique et une méta-analyse. Intérêt gastro-intestinal. Endoc. 93, 77–85.e6 (2021).

Article PubMed Google Scholar

van Leeuwen, KG, Schalekamp, S., Rutten, MJCM, van Ginneken, B. & de Rooij, M. Intelligence artificielle en radiologie : 100 produits disponibles dans le commerce et leurs preuves scientifiques. EUR. Radiol. 31, 3797–3804 (2021).

Article PubMed PubMed Central Google Scholar

Pucher, PH et al. Tendances des résultats et mesures de sécurité après 30 ans de cholécystectomie laparoscopique : une revue systématique et une analyse des données regroupées. Surg. Endoc. 32, 2175-2183 (2018).

Article PubMed PubMed Central Google Scholar

Törnqvist, B., Strömberg, C., Persson, G. & Nilsson, M. Effet de la cholangiographie peropératoire prévue et de la détection précoce des lésions des voies biliaires sur la survie après une cholécystectomie : étude de cohorte basée sur la population. BMJ 345, e6457 (2012).

Article PubMed PubMed Central Google Scholar

Une analyse prospective de 1518 cholécystectomies laparoscopiques. N. Engl. J. Med. 324, 1073-1078 (1991).

Rogers, SO Jr. et al. Analyse des erreurs chirurgicales dans les réclamations pour faute professionnelle fermées chez 4 assureurs responsabilité civile. Chirurgie 140, 25–33 (2006).

Article PubMed Google Scholar

Berci, G. et al. Cholécystectomie laparoscopique : premièrement, ne pas nuire ; deuxièmement, prenez soin des calculs des voies biliaires. Surg. Endoc. 27, 1051-1054 (2013).

Article PubMed Google Scholar

Anteby, R. et al. Analyse visuelle d'apprentissage profond en chirurgie laparoscopique : une revue systématique et une méta-analyse de la précision des tests de diagnostic. Surg. Endoc. 35, 1521-1533 (2021).

Article PubMed Google Scholar

Garrow, CR et al. Apprentissage automatique pour la reconnaissance de la phase chirurgicale : une revue systématique. Ann. Surg. 273, 684–693 (2021).

Article PubMed Google Scholar

Twinanda, AP et al. EndoNet : Une architecture profonde pour les tâches de reconnaissance sur les vidéos laparoscopiques. IEEE Trans. Méd. Imagerie 36, 86–97 (2017).

Article PubMed Google Scholar

Kannan, S., Yengera, G., Mutter, D., Marescaux, J. & Padoy, N. Future-State Predicting LSTM pour la reconnaissance précoce du type de chirurgie. IEEE Trans. Méd. Imagerie 39, 556–566 (2020).

Article PubMed Google Scholar

Yengera, G., Mutter, D., Marescaux, J. & Padoy, N. Moins c'est plus : reconnaissance de phase chirurgicale avec moins d'annotations grâce à une pré-formation auto-supervisée des réseaux CNN-LSTM. arXiv [cs.CV] (2018).

Meireles, OR et al. Recommandations consensuelles de la SAGES sur un cadre d'annotation pour la vidéo chirurgicale. Surg. Endoc. Sous presse, (2021).

Nwoye, CI et al. Rendez-vous : Mécanismes attentionnels pour la reconnaissance des triplets d'action chirurgicale dans les vidéos endoscopiques. Méd. Image anale. 78, 102433 (2022).

Article PubMed Google Scholar

Yeung, S. et al. Un modèle d'IA spatio-temporel en temps réel analyse les compétences dans les vidéos chirurgicales ouvertes. Rés. Carré https://doi.org/10.21203/rs.3.rs-1129461/v1 (2021).

Mascagni, P. et al. Une plate-forme de vision par ordinateur pour localiser automatiquement les événements critiques dans les vidéos chirurgicales : Documenter la sécurité dans la cholécystectomie laparoscopique. Ann. Surg. 274, e93–e95 (2021).

Article PubMed Google Scholar

Mascagni, P. et al. Validation multicentrique d'EndoDigest : une plate-forme de vision par ordinateur pour la documentation vidéo de la vision critique de la sécurité dans la cholécystectomie laparoscopique. Surg. Endoc. https://doi.org/10.1007/s00464-022-09112-1 (2022).

Yu, T. & Padoy, N. Encoder l'invisible : hachage vidéo prédictif pour une récupération évolutive à mi-parcours. Dans : Ishikawa, H., Liu, CL., Pajdla, T., Shi, J. (eds) Computer Vision - ACCV 2020. ACCV 2020. Lecture Notes in Computer Science, vol 12626. Springer, Cham. https://doi.org/10.1007/978-3-030-69541-5_26 (2021).

Yu, T. et al. Récupération vidéo laparoscopique en direct avec incertitude compressée. Préimpression sur : https://arxiv.org/abs/2203.04301 (2022).

Berlet, M. et al. Rapport chirurgical pour la cholécystectomie laparoscopique basé sur l'annotation de phase par un réseau de neurones convolutifs (CNN) et le phénomène de scintillement de phase : une preuve de concept. Int. J. Comput. Aider. Radiol. Surg. https://doi.org/10.1007/s11548-022-02680-6 (2022).

Loukas, C., Frountzas, M. & Schizas, D. Classification basée sur les patchs de la vascularisation de la paroi de la vésicule biliaire à partir d'images laparoscopiques utilisant l'apprentissage en profondeur. Int. J. Comput. Aider. Radiol. Surg. 16, 103-113 (2021).

Article PubMed Google Scholar

Ward, TM, Hashimoto, DA, Ban, Y., Rosman, G. & Meireles, OR Prédiction par l'intelligence artificielle du déroulement opératoire de la cholécystectomie à partir de l'identification automatisée de l'inflammation de la vésicule biliaire. Surg. Endoc. https://doi.org/10.1007/s00464-022-09009-z (2022).

Jin, A. et al. Détection d'outils et évaluation des compétences opératoires dans les vidéos chirurgicales à l'aide de réseaux de neurones convolutionnels régionaux, Conférence d'hiver IEEE sur les applications de la vision par ordinateur (WACV), 2018, pp. 691–699. https://doi.org/10.1109/WACV.2018.00081 (2018).

Lavanchy, JL et al. Automatisation de l'évaluation des compétences chirurgicales à l'aide d'un algorithme d'apprentissage automatique en trois étapes. Sci. Rep. 11, 5197 (2021).

Article CAS PubMed PubMed Central Google Scholar

Ward, TM et al. Science des données chirurgicales et intelligence artificielle pour l'enseignement chirurgical. J. Surg. Oncol. 124, 221-230 (2021).

Article PubMed Google Scholar

Vannucci, M. et al. Modèles statistiques pour prédire en préopératoire la difficulté opératoire de la cholécystectomie laparoscopique : une revue systématique. Chirurgie 171, 1158–1167 (2022).

Article PubMed Google Scholar

Tokuyasu, T. et al. Développement d'un système d'intelligence artificielle utilisant l'apprentissage en profondeur pour indiquer des repères anatomiques lors d'une cholécystectomie laparoscopique. Surg. Endoc. 35, 1651–1658 (2021).

Article PubMed Google Scholar

Madani, A. et al. Intelligence artificielle pour le guidage peropératoire. Ann. Surg. 276, 363–369 (2022).

Article PubMed Google Scholar

Way, LW et al. Causes et prévention des lésions laparoscopiques des voies biliaires. Ann. Surg. 237, 460–469 (2003).

Article PubMed PubMed Central Google Scholar

Brunt, LM et al. Ligne directrice sur la pratique multisociété de la cholécystectomie en toute sécurité et conférence de consensus sur l'état de l'art sur la prévention des lésions des voies biliaires pendant la cholécystectomie. Ann. Surg. 272, 3–23 (2020).

Article PubMed Google Scholar

Mascagni, P. et al. L'intelligence artificielle pour la sécurité chirurgicale. Ann. Surg. 275, 955–961 (2022).

Article PubMed Google Scholar

Aspart, F. et al. ClipAssistNet : apporter un retour d'information de sécurité en temps réel aux blocs opératoires. Int. J. Comput. Aider. Radiol. Surg. 17, 5–13 (2022).

Article PubMed Google Scholar

Twinanda, AP, Yengera, G., Mutter, D., Marescaux, J. & Padoy, N. RSDNet : Apprendre à prédire la durée restante de la chirurgie à partir de vidéos laparoscopiques sans annotations manuelles. IEEE Trans. Méd. Imagerie 38, 1069-1078 (2019).

Article PubMed Google Scholar

Ward, TM et al. Identification automatisée de la phase opératoire dans la myotomie endoscopique perorale. Surg. Endoc. 35, 4008–4015 (2021).

Article PubMed Google Scholar

Mavros, MN et al. Ouvrir la boîte de Pandore : comprendre la nature, les schémas et les résultats à 30 jours des événements indésirables peropératoires. Suis. J. Surg. 208, 626–631 (2014).

Article PubMed Google Scholar

Mazer, L., Varban, O., Montgomery, JR, Awad, MM & Schulman, A. La vidéo est meilleure : pourquoi ne l'utilisons-nous pas ? Une étude à méthodes mixtes des obstacles à l'enregistrement vidéo procédural de routine et à l'examen des cas. Surg. Endoc. 36, 1090-1097 (2022).

Article PubMed Google Scholar

van Dalen, ASHM, Legemaate, J., Schlack, WS, Legemate, DA & Schijven, MP Perspectives juridiques sur les appareils d'enregistrement à boîte noire dans l'environnement d'exploitation. Br. J. Surg. 106, 1433-1441 (2019).

Article PubMed PubMed Central Google Scholar

Code de réglementation fédérale des États-Unis. 42 CFR Ch I, partie 3. https://www.ecfr.gov/current/title-42/chapter-I/subchapter-A/part-3.

Rivas-Blanco, I., Perez-Del-Pulgar, CJ, Garcia-Morales, I. & Munoz, VF Une revue sur l'apprentissage en profondeur en chirurgie mini-invasive. Accès IEEE 9, 48658–48678 (2021).

Article Google Scholar

Shimizu, T., Hachiuma, R., Kajita, H., Takatsume, Y. & Saito, H. Localisation et classification des outils chirurgicaux sensibles au mouvement de la main à partir d'une caméra égocentrique. J. Imaging 7, 15 (2021).

Article PubMed PubMed Central Google Scholar

Zhang, M. et al. Utilisation de la vision par ordinateur pour automatiser la détection des mains et le suivi des mouvements du chirurgien dans les vidéos de chirurgie ouverte. AMIA Annu. Symp. Proc. 2020, 1373-1382 (2020).

Google Scholar PubMed

Goldbraikh, A., D'Angelo, A.-L., Pugh, CM et Laufer, S. Évaluation entièrement automatique basée sur la vidéo des compétences de suture en chirurgie ouverte. Int. J. Comput. Aider. Radiol. Surg. 17, 437–448 (2022).

Article PubMed PubMed Central Google Scholar

Mascagni, P. et al. Science des données chirurgicales pour une cholécystectomie sûre : protocole de segmentation de l'anatomie hépatokystique et évaluation de la vision critique de la sécurité. Préimpression sur : https://arxiv.org/abs/2106.10916 (2021).

Ward, TM et al. Les défis de l'annotation vidéo chirurgicale. Comput Assist Surg. (Abingdon) 26, 58–68 (2021).

Article Google Scholar

Esteva, A. et al. Un guide pour l'apprentissage en profondeur dans le domaine de la santé. Nat. Méd. 25, 24-29 (2019).

Article CAS PubMed Google Scholar

Maier-Hein, L. et al. Science des données chirurgicales - des concepts à la traduction clinique. Méd. Image anale. 76, 102306 (2022).

Article PubMed Google Scholar

Rau, A. et al. Adaptation de domaine implicite avec des réseaux contradictoires génératifs conditionnels pour la prédiction de profondeur en endoscopie. Int. J. Comput. Aider. Radiol. Surg. 14, 1167-1176 (2019).

Article PubMed PubMed Central Google Scholar

Shorten, C. & Khoshgoftaar, TM Une enquête sur l'augmentation des données d'image pour l'apprentissage en profondeur. J. Big Data 6, (2019).

Kassem, H. et al. Cycle fédéré (FedCy) : Apprentissage fédéré semi-supervisé des phases chirurgicales. Préimpression sur : https://arxiv.org/abs/2203.07345 (2022).

Taleb, A. et al. Méthodes 3D auto-supervisées pour l'imagerie médicale. Dans Actes de la 34e Conférence internationale sur les systèmes de traitement de l'information neuronale (pp. 18158–18172) (2020).

Yu, T., Mutter, D., Marescaux, J. & Padoy, N. Apprendre à partir d'un petit ensemble de données d'annotations manuelles : une approche enseignant/étudiant pour la reconnaissance de la phase chirurgicale. Préimpression sur : https://arxiv.org/abs/1812.00033 (2018).

Shi, X., Jin, Y., Dou, Q. & Heng, P.-A. Apprentissage semi-supervisé avec excavation progressive de données non étiquetées pour une reconnaissance efficace du flux de travail chirurgical. Méd. Image anale. 73, 102158 (2021).

Article PubMed Google Scholar

Zhang, J., Sheng, VS, Li, T. & Wu, X. Amélioration de la qualité des étiquettes externalisées à l'aide de la correction du bruit. IEEE Trans. Réseau neuronal. Apprendre. Syst. 29, 1675-1688 (2018).

Article PubMed Google Scholar

Nwoye, CI, Mutter, D., Marescaux, J. & Padoy, N. Approche LSTM convolutionnelle faiblement supervisée pour le suivi des outils dans les vidéos laparoscopiques. Int. J. Comput. Aider. Radiol. Surg. 14, 1059-1067 (2019).

Article PubMed Google Scholar

Deng, J. et al. ImageNet : une base de données d'images hiérarchique à grande échelle. En 2009 Conférence IEEE sur la vision par ordinateur et la reconnaissance de formes (IEEE, 2009). https://doi.org/10.1109/cvpr.2009.5206848.

Reyes, M. et al. De l'interprétabilité de l'intelligence artificielle en radiologie : défis et opportunités. Radio. Artef. Renseignement. 2, e190043 (2020).

Article Google Scholar

Castro, DC, Walker, I. & Glocker, B. La causalité est importante en imagerie médicale. Nat. Commun. 11, 3673 (2020).

Article CAS PubMed PubMed Central Google Scholar

Liu, X. et al. L'audit algorithmique médical. Lancet Digit Health 4, e384–e397 (2022).

Article PubMed Google Scholar

Sun, L., Jiang, X., Ren, H. & Guo, Y. Edge-cloud computing et intelligence artificielle dans l'Internet des objets médicaux : architecture, technologie et application. Accès IEEE 8, 101079–101092 (2020).

Article Google Scholar

Gerke, S., Minssen, T. & Cohen, G. Défis éthiques et juridiques des soins de santé basés sur l'intelligence artificielle. Dans Intelligence artificielle dans les soins de santé 295–336 (Elsevier, 2020).

Gallant, J.-N., Brelsford, K., Sharma, S., Grantcharov, T. et Langerman, A. Perceptions des patients sur l'enregistrement audio et vidéo dans la salle d'opération. Ann. Surg. https://doi.org/10.1097/SLA.0000000000004759 (2021).

Gichoya, JW et al. Reconnaissance par l'IA de la race des patients en imagerie médicale : une étude de modélisation. Lancet Digit Health 4, e406–e414 (2022).

Article PubMed Google Scholar

Pierson, E., Cutler, DM, Leskovec, J., Mullainathan, S. & Obermeyer, Z. Une approche algorithmique pour réduire les disparités de douleur inexpliquées dans les populations mal desservies. Nat. Méd. 27, 136–140 (2021).

Article CAS PubMed Google Scholar

Reznick, R. et al. Rapport du groupe de travail sur l'intelligence artificielle et les technologies numériques émergentes. Publié à : https://www.royalcollege.ca/rcsite/documents/health-policy/rc-ai-task-force-f.pdf (2021).

La revue topol - NHS Health Education England. L'examen Topol - NHS Health Education England. Publié sur : https://topol.hee.nhs.uk/ (2019).

Télécharger les références

Ce travail a été partiellement financé par des fonds publics français gérés par l'ANR sous les références ANR-20-CHIA-0029-01 (Chaire nationale IA AI4ORSafety) et ANR-10-IAHU-02 (IHU Strasbourg). Ce travail a reçu un financement du programme de recherche et d'innovation Horizon 2020 de l'Union européenne dans le cadre de la convention de subvention Marie Sklodowska-Curie n° 813782 - projet ATLAS.

Ces auteurs ont contribué à parts égales : Pietro Mascagni, Deepak Alapatt.

Hôpital Gemelli, Université catholique du Sacré-Cœur, Rome, Italie

Pierre Mascagni

IHU-Strasbourg, Institut de Chirurgie Guidée par l'Image, Strasbourg, France

Pietro Mascagni & Nicolas Padoy

Collaboration mondiale sur l'intelligence artificielle chirurgicale, Toronto, ON, Canada

[ PubMed ] 10. Pietro Mascagni, Maria S. Altieri, Amin Madani, Yusuke Watanabe, Adnan Alseidi et Daniel A. Hashimoto

ICube, Université de Strasbourg, CNRS, IHU, Strasbourg, France

Deepak Alapatt, Luca Sestini et Nicholas Padoy

Département d'électronique, d'information et de bioingénierie, Politecnico di Milano, Milan, Italie

Luca Sestini

Département de chirurgie, École de médecine Perelman de l'Université de Pennsylvanie, Philadelphie, Pennsylvanie, États-Unis

Maria S. Altieri et Daniel A. Hashimoto

Département de chirurgie, Réseau universitaire de santé, Toronto, ON, Canada

Amine Madani

Département de chirurgie, Université d'Hokkaido, Hokkaido, Japon

Yusuke Watanabe

Département de chirurgie, Université de Californie à San Francisco, San Francisco, Californie, États-Unis

Adnan Alseidi

Département de chirurgie, AdventHealth-Celebration Health, Celebration, Floride, États-Unis

Jay A. Redan

Fondation hospitalo-universitaire A. Gemelli IRCCS, Rome, Italie

Sergio Alfieri, Guido Costamagna & Ivo Boškoski

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

PM : Conception et design, rédaction et révision substantielle. DA : Conception et design, rédaction et révision substantielle. LS : Conception et design, rédaction et révision substantielle. MSA : Conception, rédaction et révision substantielle. AM : Conception, révision substantielle. YW : Conception, révision substantielle. AA : Conception, révision substantielle. JR : Conception, révision substantielle. SA : Conception, révision substantielle. GC : Conception, révision substantielle. IB : Conception, révision substantielle. NP : Conception et design, révision substantielle. DAH : Conception et conception, rédaction et révision substantielle, Tous les auteurs ont approuvé la version soumise et acceptent d'être tenus personnellement responsables du travail. PM et DA ont contribué à parts égales et partagent la première co-paternité.

Correspondance à Pietro Mascagni.

Les auteurs déclarent les intérêts financiers concurrents suivants : AM est consultant pour Activ Surgical et Genesis MedTech. NP est conseiller scientifique pour Caresyntax et son laboratoire reçoit une bourse de doctorat d'Intuitive Surgical. DAH est consultant pour Johnson & Johnson Institute et Activ Surgical. Il a précédemment reçu un soutien à la recherche d'Olympus Corporation. Les auteurs déclarent également les intérêts non financiers concurrents suivants : PM, MSA, AM, YW, AA et DAH siègent au conseil d'administration de Global Surgical AI Collaborative, une organisation à but non lucratif qui supervise une plateforme de partage et d'analyse de données. pour les données chirurgicales.

Note de l'éditeur Springer Nature reste neutre en ce qui concerne les revendications juridictionnelles dans les cartes publiées et les affiliations institutionnelles.

Libre accès Cet article est sous licence Creative Commons Attribution 4.0 International License, qui permet l'utilisation, le partage, l'adaptation, la distribution et la reproduction sur n'importe quel support ou format, tant que vous donnez le crédit approprié à l'auteur ou aux auteurs originaux et à la source, fournissez un lien vers la licence Creative Commons et indiquez si des modifications ont été apportées. Les images ou tout autre matériel tiers dans cet article sont inclus dans la licence Creative Commons de l'article, sauf indication contraire dans une ligne de crédit au matériel. Si le matériel n'est pas inclus dans la licence Creative Commons de l'article et que votre utilisation prévue n'est pas autorisée par la réglementation légale ou dépasse l'utilisation autorisée, vous devrez obtenir l'autorisation directement du détenteur des droits d'auteur. Pour voir une copie de cette licence, visitez http://creativecommons.org/licenses/by/4.0/.

Réimpressions et autorisations

Mascagni, P., Alapatt, D., Sestini, L. et al. Vision par ordinateur en chirurgie : du potentiel à la valeur clinique. npj Chiffre. Méd. 5, 163 (2022). https://doi.org/10.1038/s41746-022-00707-5

Télécharger la citation

Reçu : 15 juillet 2022

Accepté : 10 octobre 2022

Publié: 28 octobre 2022

DOI : https://doi.org/10.1038/s41746-022-00707-5

Toute personne avec qui vous partagez le lien suivant pourra lire ce contenu :

Désolé, aucun lien partageable n'est actuellement disponible pour cet article.

Fourni par l'initiative de partage de contenu Springer Nature SharedIt

npj Médecine numérique (2023)