特許 7680388 医療支援装置および医療支援装置の作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-12

(45)【発行日】2025-05-20

(54)【発明の名称】医療支援装置および医療支援装置の作動方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20250513BHJP

   A61B 1/313 20060101ALI20250513BHJP

   A61B 34/20 20160101ALI20250513BHJP

【ＦＩ】

A61B1/045 623

A61B1/045 618

A61B1/313

A61B34/20

【請求項の数】 19

(21)【出願番号】P 2022030983

(22)【出願日】2022-03-01

(65)【公開番号】P2022163690

(43)【公開日】2022-10-26

【審査請求日】2024-04-03

(31)【優先権主張番号】63/174,717

(32)【優先日】2021-04-14

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/678,244

(32)【優先日】2022-02-23

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(72)【発明者】

【氏名】山元 翔太

(72)【発明者】

【氏名】小川 量平

(72)【発明者】

【氏名】ボルグ エンダース

(72)【発明者】

【氏名】ペル スッパ

【審査官】▲高▼ 芳徳

(56)【参考文献】

【文献】国際公開第２０２０／１１０２７８（ＷＯ，Ａ１）

【文献】特表２０２０－５３２３４７（ＪＰ，Ａ）

【文献】特表２０１２－５３３３３３（ＪＰ，Ａ）

【文献】Vishal Gupta et al.，Safe laparoscopic cholecystectomy: Adoption of universal culture of safety in cholecystectomy，World Journal of Gastrointestinal Surgery，2019年02月27日，Vol.11, No.2，p.62-84，[検索日2024.11.13], インターネット: https://doi.org/10.4240/wjgs.v11.i2.62，ISSN 1948-9366 (online)

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － １／３２

Ａ６１Ｂ ３４／００ － ３４／３７

(57)【特許請求の範囲】

【請求項1】

医療支援装置であって、
１つ以上のプロセッサを有し、
前記プロセッサは、
医療画像を取得し、
前記医療画像に基づき、前記医療画像における医療処置の推奨度の高さが異なるセグメント間の境界を示す、前記医療画像に重畳するためのガイダンス表示を生成するように構成され、
前記プロセッサは、
前記ガイダンス表示として、前記セグメント間の境界を段階的に示す複数のラインを生成し、
第１のセグメントと、前記第１のセグメントよりも医療処置の推奨度が低い第２のセグメントとの間の境界エリアにおいて、前記ガイダンス表示として、前記第２のセグメントから前記第１のセグメントに向かって前記複数のラインが移動するアニメーションを生成する、
医療支援装置。

【請求項2】

請求項１に記載の医療支援装置において、
前記プロセッサは、前記医療画像に基づき、２つ以上の解剖学的ランドマークの位置を推定し、
推定された前記２つ以上の解剖学的ランドマークの位置に基づき、前記ガイダンス表示を生成する、
医療支援装置。

【請求項3】

請求項２に記載の医療支援装置において、
前記プロセッサは、胆嚢が映った前記医療画像を取得し、
前記２つ以上の解剖学的ランドマークには、ルビエレ溝、肝Ｓ４の下縁、肝門板、肝動脈および臍裂（Umbilicial Fissure）の少なくとも１つが含まれる、
医療支援装置。

【請求項4】

請求項２に記載の医療支援装置において、
前記プロセッサは、前記２つ以上の解剖学的ランドマーク同士の相対的な位置に基づいて、前記ガイダンス表示を生成する、
医療支援装置。

【請求項5】

請求項１に記載の医療支援装置において、
前記プロセッサは、前記医療画像から処置具を認識し、
前記処置具と、前記セグメントとの相対的な位置関係に応じて前記ガイダンス表示の有無または表示の態様を変更する、
医療支援装置。

【請求項6】

請求項５に記載の医療支援装置において、
前記プロセッサは、前記処置具と、前記セグメントとの相対的な位置関係に応じて、アラートである前記ガイダンス表示を生成する、
医療支援装置。

【請求項7】

請求項２に記載の医療支援装置において、
前記プロセッサは、さらに前記医療画像から２つ以上の特徴点を抽出し、
前記２つ以上の解剖学的ランドマークの位置と、前記２つ以上の特徴点の位置とに基づき、前記ガイダンス表示を生成する、
医療支援装置。

【請求項8】

請求項７に記載の医療支援装置において、
前記プロセッサは、前記解剖学的ランドマークの少なくとも１つの検出が途絶えたときに、
前記解剖学的ランドマークの少なくとも１つの検出が途絶えた後の少なくとも前記２つ以上の特徴点の位置に基づき、前記ガイダンス表示を変化させる、
医療支援装置。

【請求項9】

請求項２に記載の医療支援装置において、
前記プロセッサは、前記医療画像から２つ以上の特徴点を抽出し、前記２つ以上の特徴点の位置変化を追跡し、前記解剖学的ランドマークの少なくとも１つの検出が途絶えたときに、前記２つ以上の特徴点の前記位置変化に基づき、前記解剖学的ランドマークの少なくとも１つの検出が途絶えた後の前記セグメントの位置変化を推定し、
前記解剖学的ランドマークの少なくとも１つの検出が途絶えた後の前記セグメントの位置変化に基づき、前記ガイダンス表示の位置を変化させる、
医療支援装置。

【請求項10】

請求項２に記載の医療支援装置において、
前記プロセッサは、内視鏡によって撮影された前記医療画像を取得し、
前記解剖学的ランドマークの少なくとも１つの検出が途絶えたときに、前記内視鏡の動き情報を取得し、
前記解剖学的ランドマークの少なくとも１つの検出が途絶えた後の前記内視鏡の動き情報に基づき、前記ガイダンス表示の位置を変化させる、
医療支援装置。

【請求項11】

請求項１に記載の医療支援装置において、
前記プロセッサは、前記医療画像に映った組織の動きを追跡し、
前記組織の動きの追跡結果に基づき、前記組織の動きに追随するガイダンス表示を生成する、
医療支援装置。

【請求項12】

請求項１に記載の医療支援装置において、
前記プロセッサは、前記医療支援装置に接続されたモニタに、前記ガイダンス表示が重畳された前記医療画像を表示する、
医療支援装置。

【請求項13】

請求項１に記載の医療支援装置において、
前記プロセッサは、胆嚢または前記胆嚢の周辺組織が映った前記医療画像を取得し、
前記複数のラインは、前記医療画像に映ったルビエレ溝と、肝Ｓ４の下縁とを通過する、
医療支援装置。

【請求項14】

請求項１に記載の医療支援装置において、
前記プロセッサは、胆嚢または前記胆嚢の周辺組織が映った前記医療画像を取得し、
前記複数のラインは、前記医療画像に映ったルビエレ溝と、臍裂（Umbilicial Fissure）とを通過する、
医療支援装置。

【請求項15】

請求項１に記載の医療支援装置において、
前記複数のラインは、各々が２つの解剖学的ランドマークを通過し、互いに異なる位置にある３本以上のラインである、
医療支援装置。

【請求項16】

請求項１５に記載の医療支援装置において、
前記３本以上のラインは、互いに異なる色である、
医療支援装置。

【請求項17】

請求項１に記載の医療支援装置において、
前記医療画像は、胆嚢または前記胆嚢の周辺組織が映っている、
医療支援装置。

【請求項18】

医療支援装置の作動方法であって、
前記医療支援装置は、
医療画像を取得することと、
前記医療画像に基づき、前記医療画像における医療処置の推奨度の高さが異なるセグメント間の境界を示す、前記医療画像に重畳するためのガイダンス表示を生成することと、
を備え、
前記医療支援装置は、
前記ガイダンス表示として、前記セグメント間の境界を段階的に示す複数のラインを生成し、
第１のセグメントと、前記第１のセグメントよりも医療処置の推奨度が低い第２のセグメントとの間の境界エリアにおいて、前記ガイダンス表示として、前記第２のセグメントから前記第１のセグメントに向かって複数のラインが移動するアニメーションを生成する、
医療支援装置の作動方法。

【請求項19】

請求項１８に記載の医療支援装置の作動方法において、
前記医療支援装置は、
前記第１のセグメント上で手技を実施するように誘導する、
医療支援装置の作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、腹腔鏡下手術などの医療処置を支援するための医療支援装置および医療支援装置の作動方法に関する。

【背景技術】

【0002】

手術は現在においても依然として、医師の解剖学的知識に大きく依存している。腹腔鏡下手術では、その傾向がさらに強くなる。腹腔鏡下手術では医師は、患者の体内の構造を把握するための触覚的なフィードバックを持たず、視覚情報だけに頼っている。

【0003】

腹腔鏡下胆嚢摘出術は、胆嚢を摘出することを目的とする手術である。そのため、胆嚢管と胆嚢動脈の２つの構造を同定し、それらを順次切除していく必要がある。解剖学的に困難な状況下では、医師は、解剖学的構造を誤認しないように注意を要する。特に、医師は、総胆管と胆嚢管の誤認をしないように注意が必要である。腹腔鏡下胆嚢摘出術は、研修後の経験が浅い医師が実施する手術の１つであり、必要な解剖学的知識や一般的な解剖学的バリエーションの経験がまだ十分でない医師により実施される可能性がある。

【0004】

医師の解剖学的知識と経験不足を補うために、推奨する処置エリアに医師を導くための手術支援システムを用いることが考えられる。たとえば、腹腔鏡下手術の際、腹腔鏡画像に切除面のバーチャル画像を重畳することで、医師の手技を支援する手術支援システムが提案されている（たとえば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００５－２７８８８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述したように腹腔鏡下胆嚢摘出術において、医師の解剖学的知識と経験不足を補うために、既存の手術支援システムをさらに改善することが求められる。

【0007】

本開示はこうした状況に鑑みなされたものであり、その目的は、手術をする際に、処置の推奨度の高いエリアを医師に認知させることができる技術を提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本開示のある態様の医療支援装置は、１つ以上のプロセッサを有し、プロセッサは、医療画像を取得し、医療画像に基づき、医療画像における医療処置の推奨度の高さが異なるセグメント間の境界を示す、医療画像に重畳するためのガイダンス表示を生成するように構成されている。

【0009】

本開示の別の態様の医療支援方法は、医療画像を取得することと、医療画像に基づき、医療画像における医療処置の推奨度の高さが異なるセグメント間の境界を示す、医療画像に重畳するためのガイダンス表示を生成することと、を備える。

【0010】

なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。

【図面の簡単な説明】

【0011】

【図1】実施例にかかる医療支援システムの構成を示す図である。

【図2】腹腔鏡下胆嚢摘出術の全体フローを概略的に示す図である。

【図3】実施例にかかる機械学習モデルの生成方法を説明するための図である。

【図4】Ｂ－ＳＡＦＥランドマークが映った腹腔鏡画像の一例を示す図である。

【図5】ルビエレ溝と肝門板が映った腹腔鏡画像の一例を示す図である。

【図6】実施例にかかる医療支援装置の基本動作を示すフローチャートである。

【図7】腹腔鏡下胆嚢摘出中に撮影された腹腔鏡画像に、ライングラフィックを重畳した画像の一例を示す図である。

【図8】腹腔鏡下胆嚢摘出中に撮影された腹腔鏡画像に、アンセーフゾーングラフィックを重畳した画像の一例を示す図である。

【図9】腹腔鏡下胆嚢摘出中に撮影された腹腔鏡画像に、セーフゾーングラフィックを重畳した画像の一例を示す図である。

【図10】腹腔鏡下胆嚢摘出中に撮影された腹腔鏡画像に、ガイダンス表示を重畳した画像の別の例を示す図である。

【図11】腹腔鏡下胆嚢摘出中に撮影された腹腔鏡画像内の４つの検出対象の一例を示す図である。

【図12】図１１に示した腹腔鏡画像をズームインした腹腔鏡画像を示す図である。

【図13】腹腔鏡の変位による腹腔鏡画像の変化の一例を示す図である。

【図14】図１４（Ａ）－（Ｂ）は、腹腔鏡下胆嚢摘出中に撮影された腹腔鏡画像に、切除対象の胆嚢管の位置を示す切除エリアを重畳した画像の一例を示す図である。

【図15】腹腔鏡下胆嚢摘出中に撮影された腹腔鏡画像に、３本のライングラフィックを重畳した画像の一例を示す図である。

【図16】腹腔鏡下胆嚢摘出中に撮影された腹腔鏡画像に、３本のライングラフィックを重畳した画像の別の例を示す図である。

【図17】腹腔鏡下胆嚢摘出中に撮影された腹腔鏡画像に、アニメーショングラフィックを重畳した画像の一例を示す図である。

【発明を実施するための形態】

【0012】

図１は、実施例にかかる医療支援システム１の構成を示す。医療支援システム１は、外科部門で使用される腹腔鏡下手術を支援するためのシステムである。腹腔鏡下手術では、患者の腹部に開けた数カ所の孔から、腹部外科手術用の内視鏡（以下、腹腔鏡２という）と処置具３が挿入される。腹腔鏡２は、胃や大腸の検査などに用いられる軟性鏡ではなく、金属製の硬性鏡で構成される。処置具３として、鉗子、トロッカー、エネルギーデバイスなどが使用される。

【0013】

医療支援システム１は手術室に設けられ、医療支援装置１０、ビデオプロセッサ２０およびモニタ３０を備える。医療支援装置１０は、医療画像取得部１１、セグメント情報生成部１２、処置具認識部１３、学習モデル保持部１４および表示生成部１５を備える。

【0014】

医療支援装置１０の構成は、ハードウェア的には任意のプロセッサ（たとえば、ＣＰＵ、ＧＰＵ）、メモリ、補助記憶装置（たとえば、ＨＤＤ、ＳＳＤ）、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

【0015】

腹腔鏡２は、光源装置から供給される照明光を伝送して、患者の体内を照明するためのライトガイドを有し、先端部には、ライトガイドにより伝送される照明光を被写体へ出射するための照明窓と、被写体を所定の周期で撮像して撮像信号をビデオプロセッサ２０に出力する撮像部が設けられる。撮像部は、入射光を電気信号に変換する固体撮像素子（たとえばＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ）を含む。

【0016】

ビデオプロセッサ２０は、腹腔鏡２の固体撮像素子により光電変換された撮像信号に対して画像処理を施して腹腔鏡画像を生成する。ビデオプロセッサ２０は、Ａ／Ｄ変換、ノイズ除去などの通常の画像処理に加えて、強調表示などのエフェクト処理を実施することも可能である。

【0017】

ビデオプロセッサ２０により生成された腹腔鏡画像は、医療支援装置１０に出力され、医療支援装置１０によりガイダンス表示が重畳された後、モニタ３０に表示される。なお、フェイルバック機能として医療支援装置１０をバイパスして、ビデオプロセッサ２０からモニタ３０に直接、腹腔鏡画像を出力することもできる。また、図１では医療支援装置１０とビデオプロセッサ２０が別々の機器に分離されている構成を示しているが、医療支援装置１０とビデオプロセッサ２０が１つの機器に統合されていてもよい。

【0018】

図２は、腹腔鏡下胆嚢摘出術の全体フローを概略的に示す図である。まず手術室に器材を準備する（Ｐ１）。この工程で医療支援システム１が起動される。つぎに手術室に患者を入室させる（Ｐ２）。つぎに麻酔医が患者に全身麻酔を投与する（Ｐ３）。つぎに手術チーム全員でタイムアウトを実施する（Ｐ４）。具体的には患者、手術部位、術式などをチームで確認する。つぎに外科医は腹腔へのアクセスポートを設置する（Ｐ５）。具体的には腹部に小さな孔を開け、トロッカーを挿入してアクセスポートを設置する。トラッカーを通じて、腹腔鏡、鉗子、エネルギーデバイスを腹腔内に挿入する。気腹装置から腹腔内に二酸化炭素を送気してガスで満たし、手術作業空間を確保する。

【0019】

つぎに外科医は胆嚢内を減圧し（Ｐ６）、胆嚢を把持鉗子で牽引する（Ｐ７）。つぎに外科医は胆嚢を覆う腹膜を剥離鉗子で剥離する（Ｐ８）。つぎに外科医は胆嚢管と胆嚢動脈を露出させ（Ｐ９）、胆嚢床を露出させる（Ｐ１０）。つぎに外科医は胆嚢管と胆嚢動脈をクリップで止めて（Ｐ１１）、胆嚢管と胆嚢動脈を鋏鉗子で切離する（Ｐ１２）。最後に外科医は剥離鉗子で胆嚢床から胆嚢を剥離し、剥離した胆嚢を回収袋に入れて回収する。

【0020】

実施例にかかる医療支援装置１０は、工程Ｐ８～Ｐ１１において、モニタ３０にリアルタイムに表示される腹腔鏡画像にガイダンス表示を重畳させることにより、手技中の外科医が安全域を確認することを支援する。

【0021】

実施例にかかる医療支援システム１では、手技中のライブ画像から重要な解剖学的ランドマークを認識するために訓練された機械学習モデルを使用する。

【0022】

図３は、実施例にかかる機械学習モデルの生成方法を説明するための図である。シンプルケースでは、多数の腹腔鏡画像に映った解剖学的ランドマークに、医師などの専門知識を有するアノテータがアノテーションを付与する。ＡＩ／機械学習システムは、解剖学的ランドマークにアノテーションが付与された腹腔鏡画像の教師付きデータセットを訓練データとして機械学習し、ランドマーク検出用の機械学習モデルを生成する。たとえば、機械学習としてディープラーニングの一種であるＣＮＮ、ＲＮＮ、ＬＳＴＭなどを使用することができる。

【0023】

チャレンジケースでは、解剖学的ランドマークが映っていない複雑な症例の腹腔鏡画像からセーフゾーンを検出するための機械学習モデルを生成する。解剖学的ランドマークが映っていない多数の腹腔鏡画像内のセーフゾーンに、熟練医師などの高度な専門知識を有するアノテータがアノテーションを付与する。たとえば、腹腔鏡画像内にセーフゾーンラインを引く。また、脂肪組織などに覆われて腹腔鏡画像内に映っていない、解剖学的ランドマークの推定位置にアノテーションを付与してもよい。ＡＩ／機械学習システムは、セーフゾーンに関するアノテーションが付与された腹腔鏡画像の教師付きデータセットを訓練データとして機械学習し、セーフゾーン検出用の機械学習モデルを生成する。

【0024】

以上のように生成された解剖学的ランドマークおよびセーフゾーンの少なくとも１つを検出するための機械学習モデルは、医療支援装置１０の学習モデル保持部１４に登録される。

【0025】

腹腔鏡下胆嚢摘出術中に撮影された胆嚢が映った腹腔鏡画像または胆嚢の周辺組織が映った腹腔鏡画像では、解剖学的ランドマークとして、Ｂ－ＳＡＦＥランドマークを使用することができる。Ｂ－ＳＡＦＥランドマークでは、胆管（Ｂ）、ルビエレ溝（Ｓ）、肝Ｓ４の下縁（Ｓ）、肝動脈（Ａ）、臍裂（Umbilicial Fissure）（Ｆ）および腸構造（十二指腸）（Ｅ）がランドマークとして使用される。さらに、解剖学的ランドマークとして、肝門板（Hilar Plate）を使用することもできる。図４は、Ｂ－ＳＡＦＥランドマークが映った腹腔鏡画像の一例を示す図である。図５は、ルビエレ溝と肝門板が映った腹腔鏡画像の一例を示す図である。なお、胆嚢の周辺組織が映った腹腔鏡画像は、上述のＢ－ＳＡＦＥランドマークのいずれか、胆嚢管、胆嚢動脈の少なくとも１つが映った腹腔鏡画像を指す。

【0026】

図６は、実施例にかかる医療支援装置１０の基本動作を示すフローチャートである。医療画像取得部１１は、ビデオプロセッサ２０から医療画像（本実施例では、胆嚢が映った腹腔鏡画像または胆嚢の周辺組織が映った腹腔鏡画像）を取得する（Ｓ１０）。セグメント情報生成部１２は、医療画像取得部１１により取得された医療画像に基づき、医療処置（本実施例では、腹腔鏡下胆嚢摘出）の安全性の高さを領域的に定義したセグメント情報を生成する（Ｓ２０）。表示生成部１５は、セグメント情報生成部１２により生成されたセグメント情報に基づき、医療画像に重畳するためのガイダンス表示を生成する（Ｓ３０）。表示生成部１５は、生成したガイダンス表示を、ビデオプロセッサ２０から入力される医療画像に重畳する（Ｓ４０）。以下、具体的に説明する。

【0027】

セグメント情報生成部１２は、ビデオプロセッサ２０から入力される医療画像に基づき、２つ以上の解剖学的ランドマークの位置を推定する。セグメント情報生成部１２は、学習モデル保持部１４から読み出した学習モデルを使用して、入力される医療画像から２つ以上の解剖学的ランドマークの位置を検出する。セグメント情報生成部１２は、検出された２つ以上の解剖学的ランドマークの位置（具体的には、当該２つ以上の解剖学的ランドマーク同士の相対的な位置）に基づき、セグメント情報を生成する。セグメント情報は、医療処置を実施する際の、医療画像に映った領域の安全度を、医療画像内で定義した情報である。

【0028】

表示生成部１５は、医療画像に重畳するガイダンス表示として、セグメント情報により定義された複数のセグメント間の境界を示すライングラフィックを生成することができる。表示生成部１５は、生成したライングラフィックを医療画像にＯＳＤ（On Screen Display）として重畳する。

【0029】

図７は、腹腔鏡下胆嚢摘出中に撮影された腹腔鏡画像に、ライングラフィックＬ１を重畳した画像の一例を示す図である。図７に示す例では、セグメント情報生成部１２は、胆嚢ＧＢが映った腹腔鏡画像から、解剖学的ランドマークとして、ルビエレ溝ＲＳと肝Ｓ４の下縁Ｓ４ｂを検出している。なお、肝Ｓ４の下縁Ｓ４ｂの代わりに、肝Ｓ４の下縁Ｓ４ｂの近傍にある肝門板（Hilar Plate）または臍裂（Umbilicial Fissure）を使用してもよい。

【0030】

腹腔鏡下胆嚢摘出術では、胆嚢ＧＢに繋がる胆嚢管ＣＤを、肝臓に繋がる総肝管（右肝管ＲＨＤと左肝管との合流後の肝管）と合流する前の位置で切除する必要がある。誤って、胆嚢管ＣＤと総肝管との合流後の総胆管ＣＢＤを切除してしまうと、肝臓から十二指腸ＤＵに胆汁を流すことができなくなってしまう。

【0031】

セグメント情報生成部１２は、検出されたルビエレ溝ＲＳと肝Ｓ４の下縁Ｓ４ｂを通過するライン（以下適宜、Ｒ４Ｕラインという）を生成し、Ｒ４Ｕラインより上側のセグメントをセーフゾーンセグメント、Ｒ４Ｕラインより下側のセグメントをアンセーフゾーンセグメントに設定する。表示生成部１５は、セーフゾーンセグメントとアンセーフゾーンセグメント間の境界（Ｒ４Ｕライン）を示すライングラフィックＬ１を生成し、腹腔鏡画像に重畳する。

【0032】

表示生成部１５は、医療画像に重畳するガイダンス表示として、セグメント情報により定義された１のセグメントの領域を示すプレートグラフィックを生成することができる。表示生成部１５は、生成したプレートグラフィックを医療画像にＯＳＤとして重畳する。

【0033】

図８は、腹腔鏡下胆嚢摘出中に撮影された腹腔鏡画像に、アンセーフゾーングラフィックＵＳＺを重畳した画像の一例を示す図である。図９は、腹腔鏡下胆嚢摘出中に撮影された腹腔鏡画像に、セーフゾーングラフィックＳＺを重畳した画像の一例を示す図である。

【0034】

図８に示す例では表示生成部１５は、Ｒ４Ｕラインより下側のセグメントにアンセーフゾーングラフィックＵＳＺを生成し、腹腔鏡画像に重畳している。なお、アンセーフゾーングラフィックＵＳＺとライングラフィックＬ１の両方を腹腔鏡画像に重畳させてもよい。アンセーフゾーングラフィックＵＳＺは、医師の注意を喚起させる色（たとえば、赤色）で生成されることが望ましい。図８では、アンセーフゾーングラフィックＵＳＺが長方形のプレートで形成されているが、プレートの上縁（上辺）がＲ４Ｕラインに沿っていればよく、平行四辺形のプレートや曲線を含むプレートで形成されていてもよい。アンセーフゾーングラフィックＵＳＺのサイズは、少なくとも総胆管ＣＢＤが覆われるサイズに設定される。

【0035】

図９に示す例では表示生成部１５は、Ｒ４Ｕラインより上側のセグメントにセーフゾーングラフィックＳＺを生成し、腹腔鏡画像に重畳している。なお、セーフゾーングラフィックＳＺとライングラフィックＬ１の両方を腹腔鏡画像に重畳させてもよい。セーフゾーングラフィックＳＺは、医師に処置を実施すべき推奨ゾーンであることを喚起させる色（たとえば、緑色）で生成されることが望ましい。図９では、セーフゾーングラフィックＳＺが長方形のプレートで形成されているが、プレートの下縁（下辺）がＲ４Ｕラインに沿っていればよく、平行四辺形のプレートや曲線を含むプレートで形成されていてもよい。

【0036】

なお、アンセーフゾーングラフィックＵＳＺとセーフゾーングラフィックＳＺを異なる色で表示させる場合、表示生成部１５は、アンセーフゾーングラフィックＵＳＺとセーフゾーングラフィックＳＺの両方を、腹腔鏡画像に重畳してもよい。

【0037】

図１０は、腹腔鏡下胆嚢摘出中に撮影された腹腔鏡画像に、ガイダンス表示を重畳した画像の別の例を示す図である。医師は、腹腔鏡画像を見ながら、Ｒ４Ｕラインを示すライングラフィックＬ１より上の領域で胆嚢摘出のための手技を実施する。

【0038】

図１に示した処置具認識部１３は、医療画像から処置具３を認識する。処置具認識部１３は、腹腔鏡下手術中に撮影された腹腔鏡画像と、処置具３のテンプレート画像を照合することにより、腹腔鏡画像から処置具３を検出する。テンプレート画像として処置具ごとに、方向、突出長、開閉状態がそれぞれ異なる複数の画像を準備する。また回転により画像上の形状が変化する非対称形状の処置具については、回転角度が異なる複数の画像を準備する。

【0039】

処置具認識部１３は、腹腔鏡画像のエッジを強調したエッジ画像を生成し、エッジ画像内からテンプレートマッチング、Hough変換などを用いて線分形状を検出する。処置具認識部１３は、検出した線分形状とテンプレート画像を照合し、一致度が最も高いテンプレート画像の処置具を検出結果とする。なお、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ(Speeded Up Robust Features)などの特徴量を用いたパターン検出アルゴリズムを使用して、処置具３を認識してもよい。また、処置具の位置（エッジ、表示領域）にアノテーションを付与して機械学習させた学習モデルをもとに、処置具３を認識してもよい。

【0040】

表示生成部１５は、処置具認識部１３により認識された処置具３と、セグメント情報により定義されたセグメントとの相対的な位置関係に応じて、異なるガイダンス表示を生成する。表示生成部１５は、認識された処置具３とアンセーフゾーンセグメントとの相対的な位置関係に応じて、アラート的なガイダンス表示を生成する。

【0041】

たとえば、認識された処置具３の先端の突出部が、アンセーフゾーンセグメント内に収まっている場合、表示生成部１５はアラート的なガイダンス表示として、より強調された（たとえば、より濃い赤色の）アンセーフゾーングラフィックＵＳＺを生成する。

【0042】

図７－図９に示す例では、腹腔鏡画像から鋏鉗子３ａと把持鉗子３ｂが検出されている。鋏鉗子３ａの先端の突出部がアンセーフゾーンセグメント内に収まっている場合、表示生成部１５は、より強調されたアンセーフゾーングラフィックＵＳＺを生成する。

【0043】

なお、処置具３の先端の突出部がＲ４Ｕラインの近傍に位置する場合、アラートのオン／オフが頻繁に切り替わることになる。その対策として、Ｒ４Ｕラインを幅方向に広げたＲ４Ｕゾーンを設け、Ｒ４Ｕゾーンを不感帯ゾーンとしてもよい。表示生成部１５は、処置具３の先端の突出部がＲ４Ｕゾーン内に収まっている間、アラートのオン／オフを停止する。表示生成部１５は、処置具３の先端の突出部がＲ４Ｕゾーンからセーフゾーンセグメントに抜けるとアラートをオフにし、アンセーフゾーンセグメントに抜けるとアラートをオンにする。

【0044】

なお、処置具３の認識にもとづくアラート表示は必須機能ではなく、省略可能である。その場合、医療支援装置１０の処置具認識部１３は省略可能である。また表示生成部１５は、通常状態ではガイダンス表示を腹腔鏡画像に重畳せず、アラート状態になったまたはアラート状態になると予測されるときに、アラート的なガイダンス表示を重畳させてもよい。この場合、処置具３がアンセーフゾーンに近づいて初めてガイダンス表示が出ることになる。

【0045】

セグメント情報生成部１２は、医療画像から、上記２つ以上の解剖学的ランドマーク以外に、さらに２つ以上の特徴点を抽出することができる。セグメント情報生成部１２は、ＳＩＦＴ、ＳＵＲＦなどの特徴量を検出して、医療画像から特徴点を抽出する。特徴点は、セグメント情報生成部１２が追跡可能な点であればよく、患者に固有の傷跡や特別な色を持つ点などが使用される。

【0046】

セグメント情報生成部１２は、２つ以上の解剖学的ランドマークの位置と、２つ以上の特徴点の位置とに基づき、セグメント情報を生成する。セグメント情報生成部１２は、これら４つ以上の検出対象の相対的な位置関係に基づいて、特定のセグメントを定義する。

【0047】

図１１は、腹腔鏡下胆嚢摘出中に撮影された腹腔鏡画像内の４つの検出対象の一例を示す図である。４つの検出対象は、ルビエレ溝ＲＳ、肝Ｓ４の下縁Ｓ４ｂ、第１特徴点ＦＡおよび第２特徴点ＦＢである。

【0048】

解剖学的ランドマークの少なくとも１つの検出が途絶えたときに、セグメント情報生成部１２は、少なくとも当該２つ以上の特徴点の位置に基づき、解剖学的ランドマークの少なくとも１つの検出が途絶えた後のセグメント情報を生成する。表示生成部１５は、解剖学的ランドマークの少なくとも１つの検出が途絶えた後のセグメント情報に基づき、医療画像に重畳させるガイダンス表示を変化させる。すなわち、腹腔鏡２のズームインや移動により、解剖学的ランドマークの少なくとも１つが腹腔鏡２の視野が外れた場合でも、セグメント情報生成部１２は、少なくとも当該２つ以上の特徴点の位置に基づき、２つ以上の解剖学的ランドマーク同士の相対的な位置関係を推定することができる。

【0049】

図１２は、図１１に示した腹腔鏡画像をズームインした腹腔鏡画像を示す図である。図１２に示した腹腔鏡画像では、解剖学的ランドマークの１つであるルビエレ溝ＲＳが腹腔鏡２の視野から外れている。この場合でも、セグメント情報生成部１２は、肝Ｓ４の下縁Ｓ４ｂ、第１特徴点ＦＡおよび第２特徴点ＦＢの相対的な位置関係からＲ４Ｕラインを作成することができる。

【0050】

腹腔鏡２の視野が変化した場合において、セグメント情報生成部１２は、少なくとも当該２つ以上の特徴点の相対的な位置関係ではなく、当該２つ以上の特徴点の動きを追跡してＲ４Ｕラインを作成することもできる。その場合、セグメント情報生成部１２は、ＫＬＴ（Kanade-Lucas-Tomasi Feature Tracker）法やMean-Shift探索などを利用して、医療画像から抽出される２つ以上の特徴点の位置を追跡する。

【0051】

解剖学的ランドマークの少なくとも１つの検出が途絶えたときに、セグメント情報生成部１２は、少なくとも当該２つ以上の特徴点の位置変化に基づき、解剖学的ランドマークの少なくとも１つの検出が途絶えた後の、セグメント情報により定義されたセグメントの位置変化を推定する。表示生成部１５は、解剖学的ランドマークの少なくとも１つの検出が途絶えた後のセグメントの位置変化に基づき、医療画像に重畳させるガイダンス表示の位置を変化させる。

【0052】

腹腔鏡下手術支援ロボットが使用される場合、医療支援装置１０は、ロボットアームに取り付けられた腹腔鏡２の位置変化情報（以下、動き情報という）をロボットアームの各駆動関節の可動量から取得することができる。この場合において、セグメント情報生成部１２は、解剖学的ランドマークの少なくとも１つの検出が途絶えたときに、ロボットシステムから腹腔鏡２の動き情報を取得する。セグメント情報生成部１２は、取得した腹腔鏡２の動き情報に基づき、解剖学的ランドマークの少なくとも１つの検出が途絶えた後の、セグメント情報により定義されたセグメントの位置変化を推定する。表示生成部１５は、解剖学的ランドマークの少なくとも１つの検出が途絶えた後のセグメントの位置変化に基づき、医療画像に重畳させるガイダンス表示の位置を変化させる。

【0053】

図１３は、腹腔鏡２の変位による腹腔鏡画像の変化の一例を示す図である。腹腔鏡２の視野Ｆ１は、ロボットアームによる腹腔鏡２の変位により視野Ｆ１’に変化する。視野Ｆ１’では、解剖学的ランドマークの１つであるルビエレ溝ＲＳが見えなくなっている。セグメント情報生成部１２は、腹腔鏡２の動き情報ＭＶに基づき、Ｒ４Ｕラインの位置変化を特定する。これにより、表示生成部１５は腹腔鏡２の変位に対して、Ｒ４Ｕラインに基づくライングラフィックＬ１を追従させることができる。

【0054】

腹腔鏡下手術支援ロボットが使用されない場合、腹腔鏡２の動きは、腹腔鏡画像内の特定のマーカを画像処理で追跡することにより検出される。セグメント情報生成部１２は、この画像処理により検出された腹腔鏡２の動き情報も、腹腔鏡画像内のセグメントの変位推定に使用することができる。なお、腹腔鏡下手術支援ロボットが使用される場合のほうが、より正確な腹腔鏡２の動きや操作情報を取得できるため、視野外の解剖学的ランドマークの位置をより正確に推定することができる。

【0055】

腹腔鏡画像から複数の特徴点が検出された場合、セグメント情報生成部１２は、Ｒ４Ｕラインに沿った位置またはＲ４Ｕラインに近い位置の特徴点を選定することが望ましい。Ｒ４Ｕラインに沿って２つの解剖学的ランドマークの内側で２つの特徴点を検出できれば、医師によるズームイン操作などにより、腹腔鏡２の視野から解剖学的ランドマークが見えなくなった場合でも、Ｒ４Ｕラインを容易に作成することができる。さらに腹腔鏡２の動きを追跡すれば、Ｒ４Ｕラインの推定精度を向上させることができる。視野外にある解剖学的ランドマーク（たとえば、ルビエレ溝ＲＳ、肝Ｓ４の下縁Ｓ４ｂ）の位置も容易に推定することができる。

【0056】

セグメント情報生成部１２は、医療画像に映った組織の動きを追跡することができる。当該組織は切除対象の組織（たとえば、胆嚢管）であってもよい。切除対象の組織が学習モデルに学習されている場合、セグメント情報生成部１２は当該学習モデルを使用して、切除対象の組織を検出する。切除対象の組織が別の辞書データとして登録されている場合、セグメント情報生成部１２は当該辞書データを使用して、切除対象の組織を検出する。

【0057】

セグメント情報生成部１２は、検出した切除対象の組織をモーショントラッキング機能により追跡することができる。表示生成部１５は、当該組織の動きの追跡結果に基づき、当該組織の動きに追随するガイダンス表示を生成する。

【0058】

図１４（Ａ）－（Ｂ）は、腹腔鏡下胆嚢摘出中に撮影された腹腔鏡画像に、切除対象の胆嚢管ＣＤの位置を示す切除エリアＡｃｄを重畳した画像の一例を示す図である。表示生成部１５は、腹腔鏡画像内における切除対象の胆嚢管ＣＤの動きに応じて、胆嚢管ＣＤの位置を示す切除エリアＡｃｄの位置を変化させる。切除エリアＡｃｄはたとえば、緑のマーカで腹腔鏡画像に重畳される。

【0059】

なおセグメント情報生成部１２は、検出された２つ以上の解剖学的ランドマークの動きをモーショントラッキング機能により追跡することもできる。図１４（Ａ）－（Ｂ）には示していないが、表示生成部１５は、当該２つ以上の解剖学的ランドマークの動きの追跡結果に基づき、当該２つ以上の解剖学的ランドマークに基づくガイダンス表示（たとえば、ライングラフィックＬ１）を変化させることができる。

【0060】

表示生成部１５は、医療画像に重畳するガイダンス表示として、セグメント情報により定義された複数のセグメント間の境界を段階的に示す複数のライングラフィックを生成することができる。表示生成部１５は、生成した複数のライングラフィックを医療画像に重畳する。当該複数のライングラフィックは、各々が２つの解剖学的ランドマークを通過し、互いに異なる位置にある３つ以上のライングラフィックであってもよい。当該３つ以上のライングラフィックは、互いに異なる色で生成されることが望ましい。

【0061】

図１５は、腹腔鏡下胆嚢摘出中に撮影された腹腔鏡画像に、３本のライングラフィックＬ１ａ－Ｌ１ｃを重畳した画像の一例を示す図である。図１５に示す例では、セグメント情報生成部１２は、解剖学的ランドマークとして、ルビエレ溝ＲＳと肝Ｓ４の下縁Ｓ４ｂを検出している。表示生成部１５は、ルビエレ溝ＲＳと肝Ｓ４の下縁Ｓ４ｂの上にそれぞれ別の色のカラータイルを重畳している。

【0062】

図１５に示す例では、表示生成部１５は、ルビエレ溝ＲＳの上端と肝Ｓ４の下縁Ｓ４ｂの上端を通過する緑色の第１ライングラフィックＬ１ａと、ルビエレ溝ＲＳの下端と肝Ｓ４の下縁Ｓ４ｂの下端を通過する黄色の第３ライングラフィックＬ１ｃと、第１ライングラフィックＬ１ａと第３ライングラフィックＬ１ｃの中間を通る黄緑色の第２ライングラフィックＬ１ｂを、腹腔鏡画像に重畳している。

【0063】

図１６は、腹腔鏡下胆嚢摘出中に撮影された腹腔鏡画像に、３本のライングラフィックＬ１ａ－Ｌ１ｃを重畳した画像の別の例を示す図である。図１５では、３本のライングラフィックＬ１ａ－Ｌ１ｃが直線で形成される例を示したが、図１６に示すように３本のライングラフィックＬ１ａ－Ｌ１ｃが曲線で形成されてもよい。

【0064】

図１５－図１６に示した例では、第１ライングラフィックＬ１ａより上側が第１のセグメント（セーフゾーンセグメント）であり、第３ライングラフィックＬ１ｃより下側が第１のセグメントよりも安全性の低い第２のセグメント（アンセーフゾーンセグメント）である。３本のライングラフィックＬ１ａ－Ｌ１ｃで、第１のセグメントと第２のセグメントを段階的に分けている。

【0065】

表示生成部１５は、第１のセグメントと第２のセグメントとの間の境界エリアにおいて、ガイダンス表示として、第２のセグメントから第１のセグメントに向かって複数のライングラフィックが移動するアニメーショングラフィックを生成することもできる。

【0066】

図１７は、腹腔鏡下胆嚢摘出中に撮影された腹腔鏡画像に、アニメーショングラフィックを重畳した画像の一例を示す図である。図１７には示されていないが、セグメント情報生成部１２は、解剖学的ランドマークとして、ルビエレ溝ＲＳと臍裂（Umbilicial Fissure）を検出している。

【0067】

図１７に示す例では、表示生成部１５は、第１のセグメントと第２のセグメントとの間の境界エリアにおいて、下から順に赤色のライングラフィックＬｒ、黄色のライングラフィックＬｙ、緑色のライングラフィックＬｇの３本を腹腔鏡画像に重畳している。３本のライングラフィックは境界エリアの下端から上端に向かって移動する。具体的には、境界エリアの下端から赤色のライングラフィックＬｒが湧き出し、境界エリアの上端に向かって移動するにつれ、赤色→黄色→緑色に変化し、境界エリアの上端に到達すると消滅する。なお、境界エリアに表示されるライングラフィックは４本以上であってもよい。

【0068】

境界エリアにおいてアンセーフゾーンからセーフゾーンの方向に、複数のライングラフィックが波のように動くアニメーショングラフィックを表示させることにより、医師にアンセーフゾーンからセーフゾーンの方向に離れるように視覚的に誘導することができる。

【0069】

以上に説明した実施例において、セグメント情報生成部１２がＲ４Ｕラインを検出できない場合、表示生成部１５はモニタ３０にアラートメッセージを表示し、処置中の医師に注意を喚起してもよい。このアラートメッセージを契機として、経験の浅い医師が熟練の医師に相談したり、熟練の医師に処置を引き継いだりすることができ、総胆管の損傷リスクを最小限に抑えることに貢献する。

【0070】

以上説明したように本実施例によれば、腹腔鏡下手術をする際に、どの部分がより安全で、どの部分がより安全でないかを十分に医師に認知させることができる。医師は、第１のセグメント上で手技を実施することで、安全に腹腔鏡下手術を実施することができる。上述した各種のガイダンス表示を腹腔鏡画像に重畳させることにより、腹腔鏡下胆嚢摘出術において、誤って総胆管を切除してしまうことを防止し、胆嚢管と胆嚢動脈を適切な位置で切除することを促すことができる。たとえばガイダンス表示として、Ｒ４Ｕラインを表示させることにより、経験の浅い医師でもＲ４Ｕラインを常に意識し、Ｒ４Ｕラインより上部で手技を実施することができる。

【0071】

以上、本開示を複数の実施例をもとに説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

【0072】

上述した実施例では、撮影された腹腔鏡画像から、機械学習モデルを使用して解剖学的ランドマークを検出した。この点、撮影された腹腔鏡画像から、ＳＩＦＴ、ＳＵＲＦ、エッジ、コーナーなどの特徴量を検出し、腹腔鏡画像の特徴記述に基づき、解剖学的ランドマークを検出してもよい。

【0073】

なお、上述したチャレンジケースのようにセーフゾーン検出用の機械学習モデルが準備されている場合、解剖学的ランドマークの検出を経ずに直接、セグメント情報を生成することができる。この場合、腹腔鏡画像に解剖学的ランドマークが映っていない場合でも、腹腔鏡画像内のセーフゾーンとアンセーフゾーンを特定することができる。

【産業上の利用可能性】

【0074】

本開示は、腹腔鏡画像を表示する技術分野に利用できる。

【符号の説明】

【0075】

１ 医療支援システム、 ２ 腹腔鏡、 ３ 処置具、 １０ 医療支援装置、 １１ 医療画像取得部、 １２ セグメント情報生成部、 １３ 処置具認識部、 １４ 学習モデル保持部、 １５ 表示生成部、 ２０ ビデオプロセッサ、 ３０ モニタ、 ＧＢ 胆嚢、 ＤＵ 十二指腸、 ＣＤ 胆嚢管、 ＨＤ 肝管、 ＨＡ 肝動脈、 ＣＢＤ 総胆管、 ＲＳ ルビエレ溝、 Ｓ４ｂ 肝Ｓ４の下縁。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】