特許 6876090 医療システムの作動方法及び外科手術を行うための医療システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6876090

(24)【登録日】2021年4月27日

(45)【発行日】2021年5月26日

(54)【発明の名称】医療システムの作動方法及び外科手術を行うための医療システム

(51)【国際特許分類】

   A61B 34/10 20160101AFI20210517BHJP

   G16H 30/40 20180101ALI20210517BHJP

【ＦＩ】

   A61B34/10

   G16H30/40

【請求項の数】12

【外国語出願】

【全頁数】10

(21)【出願番号】特願2019-80872(P2019-80872)

(22)【出願日】2019年4月22日

(65)【公開番号】特開2020-62372(P2020-62372A)

(43)【公開日】2020年4月23日

【審査請求日】2019年12月5日

(31)【優先権主張番号】10 2018 111 180.0

(32)【優先日】2018年5月9日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】591228476

【氏名又は名称】オリンパス ビンテル ウント イーベーエー ゲーエムベーハー

【氏名又は名称原語表記】ＯＬＹＭＰＵＳ ＷＩＮＴＥＲ ＆ ＩＢＥ ＧＥＳＥＬＬＳＣＨＡＦＴ ＭＩＴ ＢＥＳＣＨＲＡＮＫＴＥＲ ＨＡＦＴＵＮＧ

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際特許業務法人

(72)【発明者】

【氏名】ユルゲンス トルステン

【審査官】 槻木澤 昌司

(56)【参考文献】

【文献】 米国特許出願公開第２０１６／００３５０９３（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１３／０２１１２３２（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１３／０２９３５７８（ＵＳ，Ａ１）

【文献】 国際公開第２０１７／０５８７１０（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１７／００８３６６６（ＵＳ，Ａ１）

【文献】 特開２００７−１３６１６０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３４／００−３４／３７

Ｇ１６Ｈ ３０／４０

(57)【特許請求の範囲】

【請求項1】

少なくとも１つの人工知能（Ｋ１、Ｋ２）を備えた外科手術を行うための医療システムの作動方法であって、
前記システムは、術前人工知能（Ｋ１）、術中人工知能（Ｋ２）及び出力部（８）を備え、
少なくとも１つの医療用撮像装置の第１の画像データを含む術前データ（Ｄ１）が、前記術前人工知能（Ｋ１）に供給され、
前記術前人工知能（Ｋ１）は、前記第１の画像データに存在する解剖学的構造及び／又は病理学的構造に関連して前記第１の画像データを処理し、前記解剖学的構造を特徴付ける解剖学的構造データ及び／又は前記病理学的構造を特徴付ける病理学的構造データを術前出力データとして出力し、
前記術中人工知能（Ｋ２）に対して前記術前出力データ及び第２の画像データを含む術中データ（Ｄ２）が供給され、
前記術前出力データ及び前記術中データ（Ｄ２）は前記術中人工知能（Ｋ２）によって処理されて、前記第２の画像データに注記が加えられ、
前記第２の画像データにおいてインジケータ認識及び／又はオブジェクト認識が行われ、
前記術中人工知能（Ｋ２）は、前記インジケータ認識の結果を付加的に考慮して、前記解剖学的構造データ及び／又は前記病理学的構造データに基づいて追加情報を前記注記に追加し、
前記術中人工知能（Ｋ２）からの出力データは、前記出力部（８）へ出力され、前記出力部（８）は、前記術中人工知能（Ｋ２）からの前記出力データに基づいてユーザ出力を提供することを特徴とする、作動方法。

【請求項2】

前記第２の画像データは拡張現実を伴う画像データへと処理され、ユーザ出力として提供されることを特徴とする、請求項１に記載の作動方法。

【請求項3】

前記術中人工知能（Ｋ２）は、前記解剖学的構造データ及び／又は前記病理学的構造データに関連する追加情報を前記注記に追加することを特徴とする、請求項１又は２に記載の作動方法。

【請求項4】

前記術中データ（Ｄ２）は、術中に操作される少なくとも１つの医療装置のパラメータ及び／又は操作データを含み、前記術中人工知能（Ｋ２）は術中に操作される前記少なくとも１つの医療装置の前記パラメータ及び／又は前記操作データについての追加情報を前記注記に追加することを特徴とする、請求項１〜３のいずれか一項に記載の作動方法。

【請求項5】

前記術中人工知能（Ｋ２）は、前記第２の画像データにおいて視認可能であり術中に使用される少なくとも１つの手術器具に関して前記第２の画像データを処理し、前記術中人工知能（Ｋ２）は、器具特徴データを生成し、使用された前記手術器具に関連した情報を前記注記に追加することを特徴とする、請求項１〜４のいずれか一項に記載の作動方法。

【請求項6】

前記術中人工知能（Ｋ２）は、前記第２の画像データを処理し、外科手術の方法ステータスが認識され、前記外科手術の方法ステータスに関連した追加情報が前記注記に追加されることを特徴とする、請求項１〜５のいずれか一項に記載の作動方法。

【請求項7】

前記術中データ（Ｄ２）は、術中に操作される少なくとも１つの医療装置のパラメータ及び／又は操作データを含み、前記術中人工知能（Ｋ２）は前記パラメータ及び／又は操作データを処理し、前記少なくとも１つの医療装置の作動状態及び／又は構成を特徴付けるデバイス情報をユーザ出力として提供することを特徴とする、請求項１〜６のいずれか一項に記載の作動方法。

【請求項8】

前記術中人工知能（Ｋ２）は、解剖学的構造データ及び／又は病理学的構造データを付加的に考慮して前記デバイス情報を生成することを特徴とする、請求項７に記載の作動方法。

【請求項9】

前記術中人工知能（Ｋ２）は、前記第２の画像データを処理し、外科手術の方法ステータスが認識され、前記外科手術の方法ステータスを付加的に考慮して前記デバイス情報が生成されることを特徴とする、請求項７又は８に記載の作動方法。

【請求項10】

個々の処理ステップが異なるＡＩモジュールにおいて実行されることを特徴とする、請求項１〜９のいずれか一項に記載の作動方法。

【請求項11】

複数の別個のＡＩモジュールを組み合わせて１つのモジュール群とし、第１のＡＩモジュールの出力データが第２のＡＩモジュールへ入力データとして供給されるようにＡＩモジュール同士が関連付けられることを特徴とする、請求項１０に記載の作動方法。

【請求項12】

外科手術を行うための、請求項１〜１１のいずれか一項に記載の作動方法により作動するように構成される医療システムであって、前記医療システムは、異なる処理ステップにおいて術中データ（Ｄ２）を処理するように構成された複数のＡＩモジュールを備え、
第１のＡＩモジュールの出力データが第２のＡＩモジュールへ入力データとして供給されるように前記複数のＡＩモジュールが関連付けられる、医療システム。

【発明の詳細な説明】

【発明の詳細な説明】

【0001】

本発明は、少なくとも１つの人工知能を備えた外科手術を行うための医療システムの作動方法に関する。さらに、本発明は、外科手術を行うための医療システムに関する。
医療システムは一般的に、様々な設計が知られている。医療システムとしては例えば、手術室における専門的な医療機器が挙げられる。最新の手術室においては、手術の様子を記録するためのカメラや、内視鏡等の多様な手術器具、Ｘ線装置等の医療用撮像機器等がある。また、例えばＭＲＴ又はＣＴ画像等の術前に記録された検査結果を表示することが可能な再生装置もよく知られている。

【0002】

個々の医療機器においては、人工知能がますます使用されている。人工知能は、外部からの特定の入力に対する行動又は反応が人間の知性と同様に機能する、コンピュータ装置において実行されるユニットとして理解されるべきである。この文脈において、「人工知能」という用語は、例えば機械学習、対象物の機械的な視覚及び認識、音声認識及び音声処理、ならびにロボティクスも含む。

【0003】

機械学習は、関連する評価に加えて、大量の状況又はプロセスを用いて可能な限り高度な評価を達成するためにどのように挙動すべきかを自立して学習できる人工知能である。評価は、人工知能に命令してもよく、あるいは公知の評価基準を用いて人工知能により決定されてもよく、あるいは人工知能そのものにより確認されてもよい。このため、人工知能は、それぞれの状況に応じた最適なシステム動作の知識を蓄積して有する。

【0004】

対象物の機械的視覚及び認識とは、例えば画像から対象物を抽出すること及び／又は（抽出された）対象物を特定のカテゴリーへ割り当てることが挙げられる。音声処理は例えば、単語を独立して認識すること及び／又は自由な発話文から命令や動作指示を認識することを含む。

【0005】

人工知能を使用する前に、人工知能を学習させるのが一般的である。事前に人工知能に対して専用の学習をさせ、使用中には変更を加えないことも多い。しかしながら、評価結果を確定すると同時に人工知能がその評価結果を評価し、その評価を用いて人工知能が自身を再学習させることも一般的である。

【0006】

本発明の目的は、人工知能の使用を向上させる医療システムの作動方法を提供することである。
この目的は、少なくとも１つの人工知能を備えた外科手術を行うための医療システムの作動方法により解決される。本作動方法は、システムが術中人工知能及び出力部を備え、術中人工知能には術前出力データ及び術中データが供給され、術前出力データ及び術中データは術中人工知能により処理されることを特徴とし、術中人工知能からの出力データは、術中人工知能からの出力データに基づきユーザ出力を提供する出力部へと出力されることを特徴とする。

【0007】

術前出力データは、機械的に前処理された結果であってもよく、手作業で前処理された結果であってもよい。
有利な実施形態によれば、本作動方法はさらに、本システムが術前人工知能を備え、術前データは、術前人工知能へ供給されて該術前人工知能により処理され、術前出力データとして出力され、術前出力データが術中人工知能へ供給されることを特徴とする。

【0008】

好適には、医療従事者を最適に支援するために、様々な人工知能が互いに組み合わされる。医療システムは、人工知能によって術前データ及び術中データを互いに最適に組み合わせたユーザ出力を送出する。

【0009】

使用される人工知能は、必要性や用途に応じて選択及び指定可能である。第１の人工知能及び第２の人工知能の種類は、同じであってもよく、違っていてもよい。例えば、人工知能は、人工ニューラルネット又はネットワーク（人工ニューラルネットワーク）、サポートベクターマシン、決定木、ベイジアンビリーフネットワーク、いわゆるｋ近傍法、自己組織化マップ、事例ベース推論、例に基づく学習、又はいわゆる隠れマルコフモデルとして設計され得る。当然ながら、これらの設計を組み合わせることも可能である。

【0010】

一実施形態によれば、術前人工知能及び術中人工知能に係る人工知能は、人工ニューラルネットワークとして設計される。特に、ディープニューラルネットワーク（ＤＮＮ）が使用される。具体的には、画像データ又は音響データもこのような人工知能により効果的に処理することができる。同様に、複数のニューラルネットワークを備えた単一の人工知能を装備することも可能であり、この場合、異なる種類のネットワークを使用し、互いに組み合わせることもできる。

【0011】

有利な実施形態によれば、本作動方法はさらに、術前データが少なくとも１つの医療用撮像装置の第１の画像データを含み、術前人工知能が第１の画像データに存在する解剖学的構造及び／又は病理学的構造に関連して第１の画像データを処理し、解剖学的構造を特徴付ける解剖学的構造データ及び／又は病理学的構造を特徴付ける病理学的構造データを術前出力データとして出力することを特徴とする。

【0012】

術前人工知能は、例えばＣＴ又はＭＲＴ画像データである術前の第１の画像データから情報を抽出する。外科手術中に医療従事者を最適に支援するために、特に生理学的又は病理学的構造を画像データにおいて直接識別することができる。別の実施形態によれば、術前人工知能はまた、術前データとしての医師の文書又は所見に係るデータを分析することができる。特に、該分析は画像データの分析と組み合わせることができる。例えば、所見又は医師の文書に示された病理学的構造を画像データの中で識別することが可能である。

【0013】

別の実施形態によれば、本作動方法はさらに、術中データが第２の画像データを含み、術中人工知能は第２の画像データを処理し、第２の画像データに注記が加えられ、第２の画像データは拡張現実を伴う画像データへと処理され、ユーザ出力として提供されることを特徴とする。

【0014】

術中人工知能は、例えば、手術室に設置された１台以上のカメラによって記録されたリアルタイム画像から情報を抽出する。これらの画像を処理して拡張現実を伴う画像にすることにより、医療従事者が術野での方向付けをしやすくなる。さらに、記録された画像の対応する対象物又は領域に色を付ける又はコメントを付すことにより、個別かつ状況に応じた支援を行うことができる。

【0015】

別の実施形態によれば、術中人工知能が解剖学的構造データ及び／又は病理学的構造データに関連した追加情報を注記に追加する場合に、本方法は特に有利である。このため、術前人工知能により出力された解剖学的構造データ及び／又は病理学的構造データは、拡張現実を伴う画像データ出力の中でコメントとしてユーザへ提供可能である。解剖学的構造又は病理学的構造は、例えばリアルタイム画像の中に印を付され得る、又は説明が提示され得る。

【0016】

この文脈において、本作動方法が以下の特徴をさらに有する場合、より有利である。すなわち、術中人工知能が第２の画像データを処理し、第２の画像データにおいてインジケータ認識及び／又はオブジェクト認識を行い、術中人工知能がインジケータ認識の結果を付加的に考慮しながら解剖学的構造データ及び／又は病理学的構造データに基づき注記へ追加情報を加える場合、より有利である。

【0017】

術中人工知能が付加的なインジケータ認識の結果を考慮するため、注記へ供給された情報はさらに改善又は拡張され得る。この文脈において「インジケータ認識」とはオブジェクト認識、及びいわゆる「ランドマーク認識」として理解されるべきであり、すなわち画像データ中の特定の表示を認識するものとして理解されるべきである。

【0018】

別の実施形態によれば、本作動方法はさらに、術中データが、術中に操作される少なくとも１つの医療装置のパラメータ及び／又は操作データを含み、術中人工知能が術中に操作される少なくとも１つの医療装置のパラメータ及び／又は操作データに関する追加情報を注記へ追加することを特徴とする。

【0019】

パラメータ及び操作データとしては、例えば選択された処理の効果、使用される手術器具の温度、動作電圧、電流強度等が挙げられる。医療装置に関するこれらのパラメータ及び／又は操作データは、特に、拡張現実を伴う画像データへ注記として追加可能である。しかしながら、該操作データ又はパラメータを術中人工知能により処理し、特定の状況において顕著な逸脱が確定した場合に、例えば警告を発することもできる。そのような警告メッセージの出力は、所望のユーザインタフェース又は所望のユーザ出力部を介して音響的に又は視覚的に行うことが可能である。

【0020】

別の実施形態によれば、術中人工知能は、第２の画像データ中で視認でき、かつ術中に使用される少なくとも１つの手術器具に関して、第２の画像データを処理可能であり、手術器具は器具特徴データを生成し、使用される手術器具に関連した情報を注記に追加する。

【0021】

術中に使用される手術器具を認識することにより、様々な追加的補助又は支援機能を提供することが可能となる。例えば、術中に検出された画像データにおいて選択した器具が不適切である可能性があると認識された場合に、器具の変更を提案することができる。この文脈において、使用される手術器具は画像データを評価することにより認識される。つまり、医療器具又は手術器具の少なくとも部分又は一部が画像データにおいて撮像されていれば、器具を認識することができる。

【0022】

別の有利な実施形態によれば、本作動方法はさらに、術中人工知能が第２の画像データを処理し、外科手術の方法ステータスが認識され、外科手術の方法ステータスに関する追加情報が注記へ追加されるという特徴を有する。

【0023】

方法ステータス、すなわち外科手術の現段階を認識し分析することにより、特に安全面及び品質面の管理が実現可能である。例えば、特定の外科手術の典型的な進行具合から顕著に逸脱していると判定された場合、警告メッセージが出力される。

【0024】

別の有利な実施形態によれば、術中データは術中に操作される少なくとも１つの医療装置のパラメータ及び／又は操作データを含み、術中人工知能は該パラメータ及び／又は操作データを処理し、少なくとも１つの医療装置の操作状態及び／又は構成を特徴付けるデバイス情報をユーザ出力として提供する。

【0025】

デバイス情報は、例えば拡張現実を伴う画像データにおいてコメントとして出力されるか、又は他の所望の出力部上に出力される。
この文脈において、別の実施形態によれば、術中人工知能が解剖学的構造データ及び／又は病理学的構造データを付加的に考慮してデバイス情報を生成する場合、特に有利である。

【0026】

別の有利な実施形態によれば、本作動方法は、術中人工知能が第２の画像データを処理し、外科手術の方法ステータスが認識され、外科手術の方法ステータスを付加的に考慮してデバイス情報が生成されることをさらに特徴とする。

【0027】

デバイス情報と組み合わせて外科手術の方法ステータスを処理することにより、外科手術を記録することができ、これにより品質管理を簡易化することが可能となる。
作動方法はさらに、個々の処理ステップが異なるＡＩモジュールにおいて実行されるという特徴を特に有する。

【0028】

術中人工知能の個々のＡＩモジュールにおいて実行される処理ステップは例えば、実施された外科手術の段階又は状態の認識と、注記付き画像データの提供と、ユーザ支援の提供と、特定の識別子の認識と、オブジェクト認識と、術中解剖学的構造及び病理学的構造の認識の実施と、器具認識の実施と、デバイスデータの処理と、深度計算の実施とが挙げられる。

【0029】

術前人工知能の個々のＡＩモジュールにおいて実行される処理ステップは例えば、解剖学的構造の認識及び術前病理認識の実施である。
特に、術中人工知能及び術前人工知能はＡＩモジュールとして考えることができる。

【0030】

別の有利な実施形態によれば、本作動方法はさらに、複数の個々のＡＩモジュールを組み合わせて１つのモジュール群とし、第１のＡＩモジュールの出力データが第２のＡＩモジュールへ入力データとして供給されるようにＡＩモジュール同士が関連付けられることを特徴とする。

【0031】

好適には、個々のモジュールを所望に応じて互いに組み合わせることができるため、人工知能の使用は非常に応用性がある。
本発明の目的はまた、外科手術を行うための医療システムにより解決され、該システムは、異なる処理ステップにおいて術中データを処理するように構成される複数のＡＩモジュールを備え、該ＡＩモジュールは、第１のＡＩモジュールの出力データが入力データとして第２のＡＩモジュールに供給されるようにＡＩモジュール同士が関連付けられることを特徴とする。

【0032】

作動方法に関連して先にすでに述べた利点と同一又は類似の利点がこの医療システムにも適用されるため、繰り返し説明することを省略する。
本発明のさらなる特徴は、特許請求の範囲及び添付の図面とともに、本発明に係る実施形態の説明から明らかになるであろう。本発明の実施形態は、個々の特徴又は複数の特徴の組み合わせで実現することが可能である。

【0033】

本発明は、本発明の概念を制限することなく、図面を参照して例示的実施形態に基づき以下に説明される。これにより記述により詳細に説明されていない本発明の全詳細の開示に関連して、図面を明示的に参照するものとする。

【0034】

図面において、同一又は類似の要素及び／又は部分は常に同一の参照符号を付す。従って繰り返し説明することを省略する。

【図面の簡単な説明】

【0035】

【図1】外科手術を行うための医療システムの概略的な簡易ブロック図の第１の部分を示す。

【図2】外科手術を行うための医療システムの概略的な簡易ブロック図の第２の部分を示す。

【発明を実施するための形態】

【0036】

図１は、医療システム２の概略的な簡易ブロック図を示し、システム２の一部分のみが図１に示されている。医療システム２の図示されている部分は、符号Ｄ１として全体が示される術前データＤ１＿１〜Ｄ１＿４が存在する術前データソース４を備える。また術前人工知能Ｋ１も存在する。術前人工知能Ｋ１は第１のＡＩモジュールＫ１＿１と第２のＡＩモジュールＫ１＿２とを備える。

【0037】

術前人工知能Ｋ１は、図２に示す医療システム２の各部又はブロックに接続されている。図２は、術中人工知能Ｋ２、術中データソース６、出力部８の概略的な簡略化ブロック図を示す。術中データソース６は、異なる術中データＤ２＿１〜Ｄ２＿８を備える。術中人工知能Ｋ２は、ＡＩモジュールＫ２＿１〜Ｋ２＿９を備える。出力部８は、出力モジュール８＿１〜８＿３を備える。

【0038】

地点Ｐ１、Ｐ２、Ｐ３へのデータ転送は、医療システム２の図１に示す部分から医療システム２の図２に示す部分に向けて行われる。
術前人工知能Ｋ１（第１ＡＩモジュールＫ１＿１及び第２ＡＩモジュールＫ１＿２も同様）ならびに術中人工知能Ｋ２（当然ながら、ＡＩモジュールＫ２＿１〜Ｋ２＿９も同様）は、必要性や用途に応じて選択され、互いに組み合わされる人工知能である。例えば人工知能は、人工ニューラルネット又はネットワーク、サポートベクターマシン、決定木、ベイジアンビリーフネットワーク、自己組織化マップ、事例ベース推論又は例に基づく学習のためのネットワーク、又はいわゆる隠れマルコフモデルとして設計された人工知能であり得る。

【0039】

医療システム２は外科手術を行うように構成される。このため、医療システムは、内視鏡等の手術器具を備える。
術前データＤ１は術前人工知能Ｋ１へ供給される。術前データＤ１は例えば手術計画Ｄ１＿１である。さらに、術前データＤ１は、医療的画像検査法の結果であってもよく、例えばＣＴ画像からの画像データＤ１＿２、ＭＲＴ画像からの画像データＤ１＿３、又は医師からの紹介状Ｄ１＿４であってもよい。術前データＤ１＿１〜Ｄ１＿４はまた、患者データを含み得る。

【0040】

手術計画Ｄ１＿１は、転送地点Ｐ１を介して術中人工知能Ｋ２に直接転送される。通常の術前データＤ１＿２〜Ｄ２＿４は術前人工知能Ｋ１のＡＩモジュールＫ１＿１及びＫ１＿２へ供給される。

【0041】

術前人工知能Ｋ１は例えば、ＡＩモジュールＫ１＿１として、解剖学的構造の認識のための人工知能を備える。術前人工知能Ｋ１は例えば、第２のＡＩモジュールＫ１＿２として術前病理学的構造の認識のための人工知能を備える。術前データＤ１＿２〜Ｄ１＿４はＡＩモジュールＫ１＿１とＫ１＿２の両方に供給される。ＡＩモジュールＫ１＿１の結果は転送地点Ｐ２を介して術中人工知能Ｋ２へ転送される。同様に、第２のＡＩモジュールＫ１＿２の結果は転送地点Ｐ３を介して術中人工知能Ｋ２へ転送される。

【0042】

術前人工知能Ｋ１によって処理されたデータは、転送地点Ｐ２及びＰ３を介して術前出力データとして出力され、術中人工知能Ｋ２によって入力データとして受信される。これらのデータに加え、術中人工知能Ｋ２は術中データＤ２も処理する。

【0043】

術中データＤ２は例えば、手術室のカメラからの画像データＤ２＿１及びＤ２＿２、又は手術台のライブ画像を提供するカメラからの画像データＤ２＿３である。さらに、術中データＤ２は内視鏡カメラからの画像データＤ２＿４であってもよい。したがって、医療システムは、術中データソースとして様々なカメラを備える。

【0044】

画像データに加えて、術中データＤ２はまた、例えば電気手術用発電機からのデータも含み、電気手術用発電機の設定及びパラメータＤ２＿５と、デバイス情報Ｄ２＿６とを明確に区別する。同様に、術中データＤ２は超音波発生器からのデータを含むことが可能であり、ここでも設定及びパラメータＤ２＿７とデバイス情報Ｄ２＿８とを区別する。

【0045】

術中人工知能Ｋ２は、識別子又は注記を伴うライブ画像をユーザ出力として、例えばスクリーンであり得る第１の出力モジュール８＿１へ送出する。これらは、具体的には、現実を拡張した描写（拡張現実）を伴うライブ画像である。例えば、電気手術用発電機のパラメータ又は超音波発生器の設定は、スクリーン又はディスプレイであり得る他の出力モジュール８＿２、８＿３上に表示される。

【0046】

データは様々なＡＩモジュールＫ２＿１〜Ｋ２＿９により、術中人工知能において処理される。術中人工知能は、実施された外科手術の段階又は状態を認識するように構成された第１のＡＩモジュールＫ２＿１をＡＩモジュールとして備える。このＡＩモジュールＫ２＿１は、手術計画Ｄ１＿１の形態で術前データを受信する。さらに、ＡＩモジュールＫ２＿１は手術室のカメラから得た画像データＤ２＿１及びＤ２＿２と、手術台のカメラから得た画像データＤ２＿３とを受信する。これはライブデータであってもよい。医療処置の段階を認識するＡＩモジュールＫ２＿１はその結果を、注記を伴う画像データを提供するように構成されたＡＩモジュールＫ２＿２（「アノテーションエンジン」とも呼ばれる）へ送信する。このＡＩモジュールＫ２＿２は、例えばデータをスクリーン８＿１へ送信し、スクリーン８＿１は、例えば手術台に向けられたカメラからの注記を伴うライブ画像を再生する。つまり、術中データソースＤ２＿３からのデータは、ＡＩモジュールＫ２＿１により処理された後、ＡＩモジュールＫ２＿２において注記が提供され、その後スクリーン８＿１に表示される。

【0047】

ＡＩモジュールＫ２＿１は、ユーザ支援を提供するＡＩモジュールＫ２＿３（「アシスタンスエンジン」と呼ばれることも多い）にもその結果を送信する。ＡＩモジュールＫ２＿３は、出力として、スクリーン又はディスプレイ８＿２、８＿３に映され、かつ、電気手術用発電機又は超音波発生器の設定又は状態に関連するデータを送出する。

【0048】

ＡＩモジュールＫ２＿１は、特定の識別子の認識（「ランドマーク認識」と呼ばれることも多い）が行われるＡＩモジュールＫ２＿４にも、その結果を送信する。また、該ＡＩモジュールＫ２＿４は、使用される内視鏡から得たライブ画像である画像データＤ２＿４の形態で術中データを受信する。ＡＩモジュールＫ２＿１は、オブジェクト認識を行うＡＩモジュールＫ２＿５にもデータを送信する。オブジェクト認識を行うＡＩモジュールＫ２＿５はさらに、カメラ画像データＤ２＿１〜Ｄ２＿３の形態をとる術中データを受信する。ＡＩモジュールＫ２＿４は、その結果を、術中解剖学的構造及び病理学的構造の認識を行う別のＡＩモジュールＫ２＿６へ送信する。このＡＩモジュールからの結果もＡＩモジュールＫ２＿２及びＡＩモジュールＫ２＿３へ供給される。ＡＩモジュールＫ２＿５は、その結果を、例えば内視鏡により提供された画像データにおいて器具認識を行う別のＡＩモジュールＫ２＿７にも送信する。このＡＩモジュールＫ２＿７は、術中データＤ２＿４の形態で内視鏡からのライブ画像も受信する。結果はＡＩモジュールＫ２＿２へ提供される。

【0049】

使用される医療機器、すなわち、例示的な場合においては電気手術用発電機及び超音波発生器に関連する全てのデータは、デバイスデータの処理を行うＡＩモジュールＫ２＿８へ供給される。したがって、ＡＩモジュールＫ２＿８は、術中データ２＿５〜Ｄ２＿８を受信する。結果は、ここでも、該ＡＩモジュールからＡＩモジュールＫ２＿２及びＡＩモジュールＫ２＿３へ供給される。さらに、内視鏡ライブ画像Ｄ２＿４を用いて、ＡＩモジュールＫ２＿９により深度計算が行われ、この結果はＡＩモジュールＫ２＿６へ供給される。

【0050】

術中人工知能Ｋ２の個々のＡＩモジュールＫ２＿１〜Ｋ２＿９は、所望に応じて互いに組み合わせ可能であり、関連付けて群とすることが可能である。術前人工知能Ｋ１の個々のＡＩモジュールＫ１＿１及びＫ１＿２にも同じことが言える。

【0051】

図面のみから把握されるものを含め、記載される全ての特徴、ならびに、他の特徴との組み合わせにて開示されている個々の特徴は、単独であっても組み合わせであっても、本発明において重要なものとして考えられる。本発明の実施形態は、個々の特徴あるいはいくつかの特徴の組み合わせによって実現され得るものである。本発明の範囲内において、「特に」「具体的に」又は「好ましくは」を用いて示された特徴は、任意の特徴として理解される。

【符号の説明】

【0052】

２…医療システム、４…術前データソース、６…術中データソース、８…出力部、８＿１〜８＿３…出力モジュール、Ｋ１＿１、Ｋ１＿２…ＡＩモジュール、Ｋ１…術前人工知能、Ｋ２＿１〜Ｋ２＿９…ＡＩモジュール、Ｋ２…術中人工知能、Ｄ１＿１〜Ｄ１＿４…術前データ、Ｄ１…術前データ、Ｄ２＿１〜Ｄ２＿８…術中データ、Ｄ２…術中データ、Ｐ１、Ｐ２，Ｐ３…転送地点。

【図1】

【図2】