特許 7587898 情報処理装置、方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-11-13

(45)【発行日】2024-11-21

(54)【発明の名称】情報処理装置、方法、およびプログラム

(51)【国際特許分類】

   A61B 34/10 20160101AFI20241114BHJP

【ＦＩ】

A61B34/10

【請求項の数】 13

(21)【出願番号】P 2024080848

(22)【出願日】2024-05-17

【審査請求日】2024-05-20

【早期審査対象出願】

【前置審査】

(73)【特許権者】

【識別番号】523359157

【氏名又は名称】Ｄｉｒｅａｖａ株式会社

(74)【代理人】

【識別番号】110004381

【氏名又は名称】弁理士法人ＩＴＯＨ

(72)【発明者】

【氏名】竹内 優志

【審査官】和田 将彦

(56)【参考文献】

【文献】国際公開第２０２２／０２５１５１（ＷＯ，Ａ１）

【文献】国際公開第２０２０／１７９５８８（ＷＯ，Ａ１）

【文献】特開２０２３－０７９０３８（ＪＰ，Ａ）

【文献】国際公開第２０２１／００６２０１（ＷＯ，Ａ１）

【文献】特開２０１１－１８２８７２（ＪＰ，Ａ）

【文献】特表２０２０－５１８３６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／１０

Ａ６１Ｂ ３４／２０

Ａ６１Ｂ ９０／２０

Ａ６１Ｂ １／０４５

(57)【特許請求の範囲】

【請求項1】

手術映像から手術画像を取得する手術画像取得部と、
術式に応じた推定モデルを用いて、前記手術画像から構造物の位置と範囲を推定する位置・範囲推定部と、
前記術式に応じて、前記推定した構造物の位置と範囲の表示と非表示を制御し、特異的な症例または特異的な状態に応じた色合いを判定し、前記色合いで前記構造物を表示する位置・範囲表示制御部と、
ユーザが選択した前記術式を受け付ける術式選択部と、
前記手術映像から前記術式を判定する術式判定部と、を備え、
前記ユーザが選択した術式と、前記術式判定部が判定した術式と、が異なる場合、前記位置・範囲推定部と前記位置・範囲表示制御部は、前記ユーザが選択した術式ではなく前記術式判定部が判定した術式を用いる、情報処理装置。

【請求項2】

前記構造物は、臓器と体液との少なくとも一方である、請求項１に記載の情報処理装置。

【請求項3】

前記ユーザが選択した手術支援ロボットの種類を受け付けるロボット選択部と、
前記ユーザが選択した前記手術支援ロボットの種類に応じて、前記手術映像の前処理を実行する前処理部と、
をさらに備えた請求項１に記載の情報処理装置。

【請求項4】

前記色合いは、色の重ね方と、ベース画像のコントラストと、マスクのコントラストと、マスクの透明度と、マスクの境界のぼかしと、のうちの少なくとも１つに基づいて定められる、請求項１に記載の情報処理装置。

【請求項5】

前記構造物の位置と範囲の表示の設定を行うための領域は、前記ユーザによって表示と非表示の切替が可能である、請求項１に記載の情報処理装置。

【請求項6】

前記構造物の位置と範囲の表示の設定を行うための領域は、半透明である、請求項１に記載の情報処理装置。

【請求項7】

前記手術画像と、前記構造物の位置と範囲と、から術者の行動の危険度を推定する危険度推定部と、
前記術者の行動の危険度の表示と非表示を制御する危険度表示制御部と、
をさらに備え、
前記術者の行動の危険度はバーで表示される、請求項１に記載の情報処理装置。

【請求項8】

手術の進捗の度合いを推定する手術進捗度推定部と、
前記手術の進捗の度合いの表示と非表示を制御する手術進捗度表示制御部と、
をさらに備え、
前記手術の進捗の度合いはバーで表示される、請求項１に記載の情報処理装置。

【請求項9】

出血量を推定する出血量推定部と、
前記出血量の表示または非表示を制御する出血量表示制御部と、
をさらに備え、
前記出血量はバーで表示される、請求項１に記載の情報処理装置。

【請求項10】

前記臓器の血流の度合いを推定する臓器血流度推定部と、
前記臓器の血流の度合いの表示と非表示を制御する臓器血流度表示制御部と、
をさらに備え、
前記臓器の血流の度合いはバーで表示される、請求項２に記載の情報処理装置。

【請求項11】

前記手術画像と、前記構造物の位置と範囲と、から切除完了を推定する切除完了推定部と、
前記切除完了の表示と非表示を制御し、
前記切除完了が推定されてから一定時間内に次の工程へ移行されていない場合、前記一定時間後に、次の工程へ移行するよう促す通知を行う切除完了表示制御部と
をさらに備えた、請求項１に記載の情報処理装置。

【請求項12】

情報処理装置に、
手術映像から手術画像を取得することと、
術式に応じた推定モデルを用いて、前記手術画像から構造物の位置と範囲を推定することと、
前記術式に応じて、前記推定した構造物の位置と範囲の表示と非表示を制御し、特異的な症例または特異的な状態に応じた色合いを判定し、前記色合いで前記構造物を表示することと、
ユーザが選択した前記術式を受け付けることと、
前記手術映像から前記術式を判定することと、を実行させ、
前記ユーザが選択した術式と、前記手術映像から判定した術式と、が異なる場合、前記構造物の位置と範囲の推定および前記構造物の位置と範囲の表示と非表示の制御では、前記ユーザが選択した術式ではなく前記手術映像から判定した術式を用いる、プログラム。

【請求項13】

情報処理装置が実行する方法であって、
手術映像から手術画像を取得するステップと、
術式に応じた推定モデルを用いて、前記手術画像から構造物の位置と範囲を推定するステップと、
前記術式に応じて、前記推定した構造物の位置と範囲の表示と非表示を制御し、特異的な症例または特異的な状態に応じた色合いを判定し、前記色合いで前記構造物を表示するステップと、
ユーザが選択した前記術式を受け付けるステップと、
前記手術映像から前記術式を判定するステップと、を含み、
前記ユーザが選択した術式と、前記手術映像から判定した術式と、が異なる場合、前記構造物の位置と範囲の推定および前記構造物の位置と範囲の表示と非表示の制御では、前記ユーザが選択した術式ではなく前記手術映像から判定した術式を用いる、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、方法、およびプログラムに関する。

【背景技術】

【0002】

従来、手術が行われている患者を撮影した画像（以下、手術画像ともいう）内の臓器の位置と範囲を表示する技術が知られている。医師は、表示された臓器の位置と範囲を確認することで、危険度の高い行動（例えば、術後合併症を引き起こす行動）を避けたり、悪性腫瘍および腫瘍の周囲のリンパ節等の切除が完了したか否かを判断したりすることができる。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第７０３１９２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、医師は、所望の態様で手術画像内の臓器の位置と範囲を表示させることができず、より使いやすいユーザインタフェースが望まれていた。

【0005】

そこで、本発明では、手術画像内の臓器の位置と範囲を提供するユーザインタフェースの使いやすさを向上させることを目的とする。

【課題を解決するための手段】

【0006】

本発明の一実施形態に係る情報処理装置は、手術映像から手術画像を取得する手術画像取得部と、前記手術画像から構造物の位置と範囲を推定する位置・範囲推定部と、前記推定した構造物の位置と範囲の表示と非表示を制御する位置・範囲表示制御部と、を備える。

【発明の効果】

【0007】

本発明によれば、手術画像内の臓器の位置と範囲を提供するユーザインタフェースの使いやすさを向上させることができる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態に係る全体の構成を示す図である。

【図2】本発明の一実施形態に係る情報処理装置の機能ブロック図である。

【図3】本発明の一実施形態に係る構造物の位置と範囲の表示と非表示の制御処理のフローチャートである。

【図4】本発明の一実施形態に係る画面の一例である。

【図5】本発明の一実施形態に係る手術映像の前処理について説明するための図である。

【図6】本発明の一実施形態に係る画面の一例である。

【図7】本発明の一実施形態に係る臓器の色合い（プリセット）について説明するための図である。

【図8】本発明の一実施形態に係る構造物の位置と範囲の表示の設定を行うための領域について説明するための図である。

【図9】本発明の一実施形態に係る画面の一例である。

【図10】本発明の一実施形態に係る画面の一例である。

【図11】本発明の一実施形態に係る画面の一例である。

【図12】本発明の一実施形態に係る情報処理装置のハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下、図面に基づいて発明の実施の形態を説明する。

【0010】

＜用語の説明＞
・本明細書において、「手術」とは、任意の手術であってよく、人間のみで行う手術であってもよいし、人間が内視鏡等の医療機器を操作して行う手術（例えば、腹腔鏡手術、胸腔鏡手術等）であってもよいし、人間がロボットを操作して行う手術であってもよいし、ロボットのみで行う手術であってもよい。例えば、手術は、組織から原発巣およびリンパ節を含む癌組織を切除する外科手術である。例えば、手術は、食道切除術、胃切除術、大腸切除術、前立腺切除術、膵臓切除術、肝臓切除術、胆嚢摘出術、肺切除術、子宮切除術であるが、早期癌に対する内視鏡的粘膜下層剥離術であってもよい。
・本明細書において、「構造物」とは、人体を構成する任意の物である。構造物は、臓器と体液（例えば、胆汁、腸液、出血した血液）との少なくとも一方である。なお、本明細書では、臓器の場合を主に説明するが、本発明は、体液の位置と範囲を推定して表示と非表示を制御することにも適用することができる。
・本明細書において、「臓器」とは、体内にある任意の器官である。例えば、臓器は、術者の危険度の高い行動に起因して形状が変化する臓器、術者の危険度の高い行動に起因して手術画像に表れる臓器、手術において切除（郭清ともいう）されるべき物（例えば、悪性腫瘍および腫瘍の周囲のリンパ節であるが、良性腫瘍であってもよい）が切除されると手術画像に表れる臓器等である。

【0011】

＜システム構成＞
図１は、本発明の一実施形態に係る全体の構成を示す図である。手術支援システム１は、情報処理装置（例えば、手術支援装置）１０と、撮像装置２０と、表示装置３０と、手術支援ロボット１２と、を含むことができる。医師１１が手術支援ロボット１２を操作して行う手術の場合を説明する。以下、それぞれについて説明する。

【0012】

＜＜情報処理装置＞＞
情報処理装置１０は、手術映像から手術画像を取得し、手術画像から臓器等の構造物の位置と範囲を推定して、当該臓器等の構造物の位置と範囲の表示と非表示を制御する装置である。情報処理装置１０は、手術支援ロボット１２が撮影した映像を手術支援ロボット１２から取得、または、撮像装置２０が撮影した映像を撮像装置２０から取得することができる。また、情報処理装置１０は、臓器等の構造物の位置と範囲を表示装置３０に表示させることができる。情報処理装置１０は、１つまたは複数のコンピュータからなる。

【0013】

なお、情報処理装置１０は、図１のように手術中に用いられるだけでなく、手術後に教育や確認のために用いられてもよい（つまり、過去に行われた手術の手術画像から臓器等の構造物の位置と範囲を推定して、当該臓器等の構造物の位置と範囲の表示と非表示を制御する）。

【0014】

＜＜撮像装置＞＞
撮像装置２０は、患者１３の手術が行われている部位（以下、手術部位ともいう）を撮影する装置である。撮像装置２０が撮影した、手術部位が撮影された映像を手術映像ともいい、手術映像（動画）に含まれる画像を手術画像（静止画）ともいう。

【0015】

＜＜表示装置＞＞
表示装置３０は、情報処理装置１０から取得した情報を表示するモニター、ディスプレイ等である。医師１１は、表示装置３０に表示される情報を見ることによって、患者１３の臓器等の構造物の位置と範囲を確認することができる。

【0016】

なお、情報処理装置１０と、撮像装置２０と、表示装置３０と、手術支援ロボット１２と、のうちの少なくとも２つを１つの装置で実装してもよい（例えば、手術支援ロボット１２が撮像装置２０の機能を備えてもよい）。

【0017】

＜機能ブロック＞
図２は、本発明の一実施形態に係る情報処理装置１０の機能ブロック図である。情報処理装置１０は、手術画像取得部１０１と、位置・範囲推定部１０２と、位置・範囲表示制御部１０３と、術式選択部１０４と、術式判定部１０５と、ロボット選択部１０６と、前処理部１０７と、危険度推定部１０８と、危険度表示制御部１０９と、手術進捗度推定部１１０と、手術進捗度表示制御部１１１と、出血量推定部１１２と、出血量表示制御部１１３と、臓器血流度推定部１１４と、臓器血流度表示制御部１１５と、切除完了推定部１１６と、切除完了表示制御部１１７と、モデル記憶部１１８と、手術映像記憶部１１９と、を備えることができる。情報処理装置１０は、プログラムを実行することによって、手術画像取得部１０１、位置・範囲推定部１０２、位置・範囲表示制御部１０３、術式選択部１０４、術式判定部１０５、ロボット選択部１０６、前処理部１０７、危険度推定部１０８、危険度表示制御部１０９、手術進捗度推定部１１０、手術進捗度表示制御部１１１、出血量推定部１１２、出血量表示制御部１１３、臓器血流度推定部１１４、臓器血流度表示制御部１１５、切除完了推定部１１６、切除完了表示制御部１１７、として機能することができる。以下、それぞれについて説明する。

【0018】

手術画像取得部１０１は、手術映像から手術画像を取得する。

【0019】

［手術映像］
ここで、手術映像について説明する。手術画像取得部１０１は、手術支援ロボット１２または撮像装置２０が撮影している映像をリアルタイムで取得して、当該手術映像から手術画像を取得してもよいし、手術映像記憶部１１９に記憶されている過去に撮影された手術映像を取得して、当該手術映像から手術画像を取得してもよい。

【0020】

位置・範囲推定部１０２は、手術画像取得部１０１が取得した少なくとも１枚の手術画像から臓器等の構造物の位置と範囲を推定する。位置・範囲推定部１０２は、手術画像が入力されると当該手術画像内の臓器等の構造物の位置と範囲が出力されるように機械学習された学習済みモデル（推定モデル）に、手術画像取得部１０１が取得した手術画像を入力することによって、当該手術画像内の臓器等の構造物の位置と範囲を推定する。

【0021】

［臓器等の構造物の位置と範囲］
ここで、臓器等の構造物の位置と範囲について説明する。臓器等の構造物の位置と範囲は、画像のセグメンテーションにより得られた臓器等の構造物の領域であってもよいし、画像内の物体検知により得られた臓器等の構造物を囲む矩形（バウンディングボックス）であってもよい。また、位置・範囲推定部１０２は、過去のフレームを参照するなどして推定モデルの出力に処理を加えて臓器等の構造物の位置と範囲を決定してもよい。

【0022】

例えば、位置・範囲推定部１０２は、術式に応じた推定モデルを用いて、手術画像取得部１０１が取得した手術画像から臓器等の構造物の位置と範囲を推定することができる。術式ごとに、位置と範囲が推定される臓器等の構造物が定められているものとする（例えば、術式Ａでは臓器１と臓器２の位置と範囲が推定され、術式Ｂでは臓器２と臓器３の位置と範囲が推定される）。そのため、ユーザ（例えば、医師１１）は、術式を選択するだけで、その術式で確認すべき臓器等の構造物の位置と範囲を推定させることができる。

【0023】

また、位置・範囲推定部１０２は、手術支援ロボット１２に応じた推定モデルを用いてもよい。

【0024】

なお、特異的な症例または特異的な状態（例えば、脂肪が多い症例、血液、胆汁、腸液、リンパ液等の液体（体液）が多い症例、ミストが多い状態）では、臓器等の構造物の認識が難しいため、位置・範囲推定部１０２は、脂肪の量、血液、胆汁、腸液、リンパ液等の液体の量、ミストの量に応じて（つまり、各量が多いときには）、臓器等の構造物の認識の閾値（つまり、画像のセグメンテーション、画像内の物体検知において、臓器等の構造物であると認識する際の閾値）を下げることができる。そのため、早い段階で臓器等の構造物の位置と範囲を表示することができる。なお、手術画像が入力されると特異的な症例または特異的な状態であるか（例えば、脂肪が多いか否か、血液、胆汁、腸液、リンパ液等の液体が多いか否か、ミストが多いか否か）が出力されるように機械学習された学習済みモデルに、手術画像取得部１０１が取得した手術画像を入力することによって、特異的な症例または特異的な状態であるかが推定されてもよい。

【0025】

位置・範囲表示制御部１０３は、位置・範囲推定部１０２が推定した臓器等の構造物の位置と範囲の表示と非表示を制御する。

【0026】

［臓器等の構造物の位置と範囲の表示と非表示］
臓器等の構造物の位置と範囲の表示と非表示について説明する。

【0027】

例えば、位置・範囲表示制御部１０３は、術式に応じて、臓器等の構造物の位置と範囲の表示と非表示を制御することができる。具体的には、位置・範囲表示制御部１０３は、術式ごとに定められた臓器等の構造物を表示または非表示とすることができる。そのため、ユーザは、自身が選択した術式で確認すべき臓器等の構造物の位置と範囲の表示と非表示を選択することができる。

【0028】

例えば、位置・範囲表示制御部１０３は、所定の色合いで臓器等の構造物を表示することができる。

【0029】

［色合い］
ここで、色合いについて説明する。色合いは、色の重ね方と、ベース画像（手術画像）のコントラストと、マスク（臓器等の構造物の領域）のコントラストと、マスク（臓器等の構造物の領域）の透明度と、マスク（臓器等の構造物の領域）の境界のぼかしと、のうちの少なくとも１つに基づいて定められてもよい。

【0030】

位置・範囲表示制御部１０３は、ユーザが選択した色合いで臓器等の構造物を表示することができる。例えば、位置・範囲表示制御部１０３は、ユーザが選択した色合いのプリセットを受け付けて、当該プリセットの色合いで臓器等の構造物を表示することができる（つまり、ユーザは、色合いの複数のプリセット（色の重ね方と、ベース画像のコントラストと、マスクのコントラストと、マスクの透明度と、マスクの境界のぼかしと、の各値が予め定められている）のなかから所望のプリセットを選択する）。なお、ユーザが、色合いを定めるための各値（つまり、色の重ね方と、ベース画像のコントラストと、マスクのコントラストと、マスクの透明度と、マスクの境界のぼかしと、の各値）を指定するようにしてもよい。

【0031】

位置・範囲表示制御部１０３は、特異的な症例または特異的な状態（例えば、患者１３の状態）に応じた色合いを判定し、当該色合いで臓器等の構造物を表示することができる。例えば、特異的な症例または特異的な状態は、脂肪が多い症例、血液、胆汁、腸液、リンパ液等の液体が多い症例、ミストが多い状態である。なお、手術画像が入力されると特異的な症例または特異的な状態であるか（例えば、脂肪が多いか否か、血液、胆汁、腸液、リンパ液等の液体が多いか否か、ミストが多いか否か）が出力されるように機械学習された学習済みモデルに、手術画像取得部１０１が取得した手術画像を入力することによって、特異的な症例または特異的な状態であるかが推定されてもよい。

【0032】

例えば、脂肪が多い症例、血液、胆汁、腸液、リンパ液等の液体が多い症例、ミストが多い状態では、ユーザが臓器等の構造物の位置と範囲を確認しやすくするために、下記のような色合いが好ましい。
・色の重ね方：マスクが強調されやすい重ね方（スクリーン（ベース画像の色を反転した状態でマスクの色を掛け合わせて合成する））
・ベース画像のコントラスト、マスクのコントラスト：高めにする
・マスクの透明度：低めにする（よりマスクが明瞭に表示される）
・マスクの境界のぼかし：弱めにする（よりマスクが明瞭に表示される）

【0033】

臓器等の構造物の位置と範囲の表示の設定を行うための領域（例えば、図８の３００１のような画面内の領域）は、大きい方が操作はしやすいが、常に表示していると手術の妨げになってしまう。そのため、ユーザによって表示と非表示の切替が可能であってもよい。つまり、位置・範囲表示制御部１０３は、ユーザからの表示または非表示の指定に応じて、臓器等の構造物の位置と範囲の表示の設定を行うための領域を表示または非表示とすることができる。

【0034】

臓器等の構造物の位置と範囲の表示の設定を行うための領域（例えば、図８の３００１のような画面内の領域）は、透明でない場合に表示中だと手術映像が一部隠れてしまう。一方で、透明だと設定が確認しづらくなってしまう。そのため、半透明（すりガラス状）であってもよい。つまり、位置・範囲表示制御部１０３は、ユーザからの表示の指定に応じて、臓器等の構造物の位置と範囲の表示の設定を行うための領域を半透明で表示することができる。

【0035】

術式選択部１０４は、ユーザが選択した術式を受け付ける。

【0036】

術式判定部１０５は、手術映像から術式を判定する。例えば、術式判定部１０５は、手術映像が入力されると術式が出力されるように機械学習された学習済みモデルに、手術映像を入力することによって、術式を判定することができる。

【0037】

なお、ユーザが選択した術式と、術式判定部１０５が判定した術式と、が異なる場合、ユーザが選択した術式ではなく術式判定部１０５が判定した術式が用いられる（つまり、位置・範囲推定部１０２と位置・範囲表示制御部１０３は、ユーザが選択した術式でなく、術式判定部１０５が判定した術式を用いる）ようにしてもよい。あるいは、両者が異なる旨が表示されて（つまり、ユーザに通知される）、いずれを用いるかをユーザが指定するようにしてもよい。これにより、ユーザの術式選択ミスを防止することができる。

【0038】

ロボット選択部１０６は、ユーザが選択した手術支援ロボットの種類を受け付ける。

【0039】

前処理部１０７は、ユーザが選択した手術支援ロボットの種類に応じて、手術映像の前処理を実行する。後段で図５を参照しながら、手術映像の前処理について詳細に説明する。

【0040】

危険度推定部１０８は、手術画像取得部１０１が取得した手術画像と、位置・範囲推定部１０２が推定した臓器等の構造物（例えば、術者の危険度の高い行動に起因して形状が変化する臓器等の構造物）の位置と範囲と、から術者の行動の危険度（例えば、術後合併症（反回神経麻痺等）を引き起こす度合い）を推定する。例えば、危険度推定部１０８は、"手術画像"と"臓器等の構造物の位置と範囲"が入力されると術者の行動の危険度が出力されるように機械学習された学習済みモデルに、手術画像を入力することによって、術者の行動の危険度を推定することができる。

【0041】

危険度表示制御部１０９は、危険度推定部１０８が推定した術者の行動の危険度の表示と非表示を制御する。例えば、術者の行動の危険度はバーで表示される。

【0042】

手術進捗度推定部１１０は、手術の進捗の度合い（例えば、全体のうちいずれまで完了してるか、工程内のいずれまで完了しているか等）を推定する。例えば、手術進捗度推定部１１０は、手術画像が入力されると手術の進捗の度合いが出力されるように機械学習された学習済みモデルに、手術画像を入力することによって、手術の進捗の度合いを推定することができる。

【0043】

手術進捗度表示制御部１１１は、手術の進捗の度合いの表示と非表示を制御する。例えば、手術の進捗の度合いはバーで表示される。

【0044】

出血量推定部１１２は、出血量を推定する。例えば、出血量推定部１１２は、手術画像が入力されると出血量が出力されるように機械学習された学習済みモデルに、手術画像を入力することによって、出血量を推定することができる。

【0045】

出血量表示制御部１１３は、出血量の表示または非表示を制御する。例えば、出血量はバーで表示される。

【0046】

臓器血流度推定部１１４は、臓器の血流の度合いを推定する。例えば、臓器血流度推定部１１４は、手術画像が入力されると臓器の血流の度合いが出力されるように機械学習された学習済みモデルに、手術画像を入力することによって、臓器の血流の度合いを推定することができる。

【0047】

臓器血流度表示制御部１１５は、臓器の血流の度合いの表示と非表示を制御する。例えば、臓器の血流の度合いはバーで表示される。

【0048】

切除完了推定部１１６は、手術画像取得部１０１が取得した手術画像と、位置・範囲推定部１０２が推定した臓器等の構造物の位置と範囲と、から切除対象物（例えば、悪性腫瘍および腫瘍の周囲のリンパ節）の切除完了を推定する。例えば、切除完了推定部１１６は、"手術画像"と"臓器等の構造物の位置と範囲"が入力されると切除対象物の切除が完了したか否かが出力されるように機械学習された学習済みモデルに、手術画像を入力することによって、切除対象物の切除完了を推定することができる。

【0049】

切除完了表示制御部１１７は、切除完了の表示と非表示を制御する。切除完了表示制御部１１７は、切除完了が推定されてから一定時間内に次の工程へ移行されていない（具体的には、ユーザが次の工程の画面へ変更していない）場合、当該一定時間後に、次の工程へ移行するよう促す通知を行う。なお、一定時間は、ユーザによって指定されてもよい。

【0050】

なお、切除完了表示制御部１１７は、次の工程が開始されたか否かを判定して（例えば、手術画像が入力されるといずれの工程であるかが出力されるように機械学習された学習済みモデルに、手術画像を入力することによって、次の工程が開始されたか否かを判定する）、次の工程が開始されているのに次の工程の画面へ変更されていない場合に通知してもよいし、あるいは、通知無しで次の工程の画面へ変更してもよい。

【0051】

モデル記憶部１１８には、情報処理装置１０が用いる学習済みモデルが記憶されている。

【0052】

手術映像記憶部１１９には、過去に撮影された手術映像が記憶されている。

【0053】

＜処理方法＞
図３は、本発明の一実施形態に係る構造物の位置と範囲の表示と非表示の制御処理のフローチャートである。

【0054】

ステップ１（Ｓ１）において、情報処理装置１０の手術画像取得部１０１は、手術映像から手術画像を取得する。

【0055】

ステップ２（Ｓ２）において、情報処理装置１０の位置・範囲推定部１０２は、Ｓ１で取得した手術画像から臓器等の構造物の位置と範囲を推定する。

【0056】

ステップ３（Ｓ３）において、情報処理装置１０の位置・範囲表示制御部１０３は、Ｓ２で推定した臓器等の構造物の位置と範囲の表示と非表示を制御する。

【0057】

＜ユーザインタフェース＞
以下、表示装置３０に表示される画面について説明する。

【0058】

図４は、ユーザが手術の情報の設定を行うための画面の一例である。ユーザが手術の情報の設定を行うための画面は、術式を選択するための領域１００１と、手術支援ロボットの種類を選択するための領域１００２と、手術映像を選択するための領域（具体的には、現在行われている手術（つまり、手術支援ロボット１２または撮像装置２０が撮影している映像をリアルタイムで取得して用いる）であるか過去に行われた手術（つまり、手術映像記憶部１１９に記憶されている過去に撮影された手術映像を取得して用いる）であるかを選択するための領域）１００３と、録画可能時間を示す領域１００４と、を含む。

【0059】

例えば、ユーザは、複数の選択肢のなかから、術式と、ロボットの種類と、手術映像と、を選択することができる。

【0060】

手術支援ロボットの種類を選択するための領域１００２でユーザが選択した手術支援ロボットの種類に応じて、手術映像の前処理が実行される。図５に示されるように、手術支援ロボットが撮影する映像が全画面の映像である場合（つまり、余白が無い映像）には、映像がそのまま用いられる。手術支援ロボットが撮影する映像が全画面の映像ではない場合（つまり、余白が有る映像）には、不要な余白（図５の例では、両端の黒い部分）を削除する前処理が実行される。なお、手術支援ロボットの種類に関係なく、余白があるかないかを画像から判定して、余白を削除する処理を行ってもよい。

【0061】

図６は、手術映像が表示されている画面の一例である。図４の画面で選択された手術映像が表示され、図４の画面で選択された術式に応じた推定モデルを用いて手術画像から推定された臓器等の構造物の位置と範囲が表示される。図６に示されるように、手術映像とともに、各臓器等の構造物（術式ごとに定められた臓器等の構造物）の位置と範囲の表示と非表示を選択するための領域２００１と、臓器等の構造物を表示する際の色合いを選択するための領域２００２と、臓器等の構造物を表示する際の点滅の速度を選択するための領域２００３と、臓器等の構造物の位置と範囲の表示と録画をするか否かを選択するための領域２００４と、が表示される。

【0062】

なお、術式によっては、工程（例えば、"右反回神経周囲リンパ節郭清"と"左反回神経周囲リンパ節郭清"）ごとに図６の２００１から２００４の領域が表示されてもよい。

【0063】

図７は、本発明の一実施形態に係る臓器の色合い（プリセット）について説明するための図である。図６の臓器等の構造物を表示する際の色合いを選択するための領域２００２で、ユーザは、色合いの複数のプリセット（色の重ね方と、ベース画像のコントラストと、マスクのコントラストと、マスクの透明度と、マスクの境界のぼかしと、の各値が予め定められている）の中から所望のプリセット（つまり、ユーザにとって違和感がない色合い）を選択することができ、色合いの調整を簡略化することができる。図７に示されるように、各プリセットでは、各臓器の位置と範囲が予め定められた色合いでマスキングされるが、ユーザによる調整も可能であってもよい。

【0064】

図８は、構造物の位置と範囲の表示の設定を行うための領域について説明するための図である。臓器等の構造物の位置と範囲の表示の設定を行うための領域（つまり、図６の２００１～２００４を含む領域）３００１は、半透明（すりガラス状）であり、切替ボタン３００２により表示と非表示の切替が可能であってもよい。そのため、ユーザが手術映像を見る際、臓器等の構造物の位置と範囲の表示の設定を行うための領域３００１が邪魔にならないようにすることができる。

【0065】

図９に示されるように、切除対象物の切除が完了すると、切除対象物の切除が完了した旨が表示（例えば、「EXPOSURE」と手術映像の画面下に白色で表示）される。なお、切除対象物の切除の完了に限られず、任意の完了が表示されてもよいし、アラート（例えば、カメラが曇った時に「WIPE」、検体またはガーゼが腹腔内に入っている時に「take out a specimen/gauze」など）が表示されてもよい。

【0066】

図１０に示されるように、術者の行動の危険度がバー（バーゲージとも呼ばれる）で表示される。危険度が高くなるごとにバーの目盛りを増やすとともに色を変化させることができる（なお、色を変化させなくてもよい）。バーの稼働が多い症例（つまり、危険度の高い行動が多い症例）では、色の表示を変えることができる（例えば、これ以上の危険度の高い行動は避けるべきであることを通知するために、バー全体を赤く表示する）。なお、図１０のバーは横方向であるが、これに限られず縦方向であってもよい。

【0067】

なお、図１０では、術者の行動の危険度のバーによる表示を説明したが、下記のように各種の情報がバーで表示されてもよい。

【0068】

手術の進捗の度合い（例えば、全体のうちいずれまで完了してるか、工程内のいずれまで完了しているか等）がバーで表示されてもよい。

【0069】

手術の操作中、特に血管吻合時などに出血量がバーで表示されてもよい。

【0070】

腸管吻合時や腸管切除時などに、臓器の血流の度合いがバーで表示されてもよい。

【0071】

電気メスや超音波メスによって発生するミスト出現時に、ミストの度合いがバーで表示されてもよい。

【0072】

図１１に示されるように、切除完了が推定されてから一定時間内に次の工程へ移行されていない場合、当該一定時間後に、次の工程へ移行するよう促す通知（図１１の右側）が行われる。

【0073】

例えば、食道がん切除術の場合、右反回神経周囲リンパ節郭清から左反回神経周囲リンパ節郭清へ移行する際に、右反回神経周囲リンパ節郭清のモード（右反回神経周囲リンパ節郭清時に表示させる画面）から左反回神経周囲リンパ節郭清のモード（左反回神経周囲リンパ節郭清時に表示させる画面）へユーザが手動で変更する必要があるが、ユーザが忘れる可能性がある。そこで、右反回神経周囲リンパ節郭清が完了してから（つまり、切除完了（EXPOSURE）が表示されてから）一定時間内に、右反回神経周囲リンパ節郭清のモードから左反回神経周囲リンパ節郭清のモードへ変更されていない場合、当該一定時間後に、左反回神経周囲リンパ節郭清のモードへ変更するよう促す通知が行われる。

【0074】

＜効果＞
本発明の一実施形態では、医師等は、手術画像内の構造物（臓器と体液の少なくとも一方）の位置と範囲を所望の態様で表示させることができる。

【0075】

＜ハードウェア構成＞
図１２は、本発明の一実施形態に係る情報処理装置１０のハードウェア構成図である。情報処理装置１０は、制御部１００１と、主記憶部１００２と、補助記憶部１００３と、入力部１００４と、出力部１００５と、インタフェース部１００６と、を備えることができる。以下、それぞれについて説明する。

【0076】

制御部１００１は、補助記憶部１００３にインストールされている各種プログラムを実行するプロセッサ（例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等）である。

【0077】

主記憶部１００２は、不揮発性メモリ（ＲＯＭ（Read Only Memory））および揮発性メモリ（ＲＡＭ（Random Access Memory））を含む。ＲＯＭは、補助記憶部１００３にインストールされている各種プログラムを制御部１００１が実行するために必要な各種プログラム、データ等を格納する。ＲＡＭは、補助記憶部１００３にインストールされている各種プログラムが制御部１００１によって実行される際に展開される作業領域を提供する。

【0078】

補助記憶部１００３は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。

【0079】

入力部１００４は、情報処理装置１０の操作者が情報処理装置１０に対して各種指示を入力する入力デバイスである。

【0080】

出力部１００５は、情報処理装置１０の内部状態等を出力する出力デバイスである。

【0081】

インタフェース部１００６は、ネットワークに接続し、他の装置と通信を行うための通信デバイスである。

【0082】

以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0083】

１ 手術支援システム
１０ 手術支援装置
２０ 撮像装置
３０ 表示装置
１１ 医師
１２ 手術支援ロボット
１３ 患者
１０１ 手術画像取得部
１０２ 位置・範囲推定部
１０３ 位置・範囲表示制御部
１０４ 術式選択部
１０５ 術式判定部
１０６ ロボット選択部
１０７ 前処理部
１０８ 危険度推定部
１０９ 危険度表示制御部
１１０ 手術進捗度推定部
１１１ 手術進捗度表示制御部
１１２ 出血量推定部
１１３ 出血量表示制御部
１１４ 臓器血流度推定部
１１５ 臓器血流度表示制御部
１１６ 切除完了推定部
１１７ 切除完了表示制御部
１１８ モデル記憶部
１１９ 手術映像記憶部
１００１ 制御部
１００２ 主記憶部
１００３ 補助記憶部
１００４ 入力部
１００５ 出力部
１００６ インタフェース部

【要約】

【課題】手術画像内の臓器の位置と範囲を提供するユーザインタフェースの使いやすさを向上させる。
【解決手段】本発明の一実施形態に係る情報処理装置は、手術映像から手術画像を取得する手術画像取得部と、前記手術画像から構造物の位置と範囲を推定する位置・範囲推定部と、前記推定した構造物の位置と範囲の表示と非表示を制御する位置・範囲表示制御部と、を備える。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】