IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧 ▶ オリンパスメディカルシステムズ株式会社の特許一覧

特許7551766内視鏡操作支援装置、制御方法、及びプログラム
<>
  • 特許-内視鏡操作支援装置、制御方法、及びプログラム 図1
  • 特許-内視鏡操作支援装置、制御方法、及びプログラム 図2
  • 特許-内視鏡操作支援装置、制御方法、及びプログラム 図3
  • 特許-内視鏡操作支援装置、制御方法、及びプログラム 図4
  • 特許-内視鏡操作支援装置、制御方法、及びプログラム 図5
  • 特許-内視鏡操作支援装置、制御方法、及びプログラム 図6
  • 特許-内視鏡操作支援装置、制御方法、及びプログラム 図7
  • 特許-内視鏡操作支援装置、制御方法、及びプログラム 図8
  • 特許-内視鏡操作支援装置、制御方法、及びプログラム 図9
  • 特許-内視鏡操作支援装置、制御方法、及びプログラム 図10
  • 特許-内視鏡操作支援装置、制御方法、及びプログラム 図11
  • 特許-内視鏡操作支援装置、制御方法、及びプログラム 図12
  • 特許-内視鏡操作支援装置、制御方法、及びプログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-06
(45)【発行日】2024-09-17
(54)【発明の名称】内視鏡操作支援装置、制御方法、及びプログラム
(51)【国際特許分類】
   A61B 1/00 20060101AFI20240909BHJP
   A61B 1/045 20060101ALI20240909BHJP
   G02B 23/24 20060101ALI20240909BHJP
【FI】
A61B1/00 552
A61B1/045 623
A61B1/045 614
G02B23/24 Z
【請求項の数】 11
(21)【出願番号】P 2022556285
(86)(22)【出願日】2020-10-21
(86)【国際出願番号】 JP2020039522
(87)【国際公開番号】W WO2022085104
(87)【国際公開日】2022-04-28
【審査請求日】2023-04-13
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成30年度、国立研究開発法人医薬基盤・健康・栄養研究所「戦略的イノベーション創造プログラム(SIP)第2期 AI(人工知能)ホスピタルによる高度診断・治療システム」に関する委託研究、産業技術力強化法第17条の適用を受ける特許出願
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(73)【特許権者】
【識別番号】304050923
【氏名又は名称】オリンパスメディカルシステムズ株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】吉岡 賢
(72)【発明者】
【氏名】上條 憲一
(72)【発明者】
【氏名】真野 美枝子
(72)【発明者】
【氏名】小林 勝彦
(72)【発明者】
【氏名】池田 裕一
(72)【発明者】
【氏名】藤田 浩正
【審査官】北島 拓馬
(56)【参考文献】
【文献】国際公開第2007/023631(WO,A1)
【文献】国際公開第2018/207537(WO,A1)
【文献】国際公開第2019/008726(WO,A1)
【文献】国際公開第2016/207973(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00 - 1/32
G02B 23/24 -23/26
(57)【特許請求の範囲】
【請求項1】
体内に挿入された内視鏡スコープの形状カテゴリの時間変化を表す形状データ列を取得する取得部と、
前記形状データ列に基づいて、前記内視鏡スコープの形状カテゴリの遷移先として適している目標カテゴリ、又は、前記内視鏡スコープを遷移させる位置として適している位置である目標位置を特定する特定部と、
前記目標カテゴリ又は前記目標位置に関する情報である目標情報を出力する出力部と、を有し、
前記内視鏡スコープの形状カテゴリは、前記内視鏡スコープがとりうる形状のカテゴリであり、
前記特定部は、内視鏡スコープの形状の時間変化を表すデータ列が入力されたことに応じて前記目標カテゴリ又は前記目標位置を出力するように構成されている学習済みの識別モデルに対し、前記形状データ列を入力することにより、前記目標カテゴリ又は前記目標位置を特定する、内視鏡操作支援装置。
【請求項2】
体内に挿入された内視鏡スコープの形状カテゴリの時間変化を表す形状データ列を取得する取得部と、
前記形状データ列に基づいて、前記内視鏡スコープの形状カテゴリの遷移先として適している目標カテゴリ、又は、前記内視鏡スコープを遷移させる位置として適している位置である目標位置を特定する特定部と、
前記目標カテゴリ又は前記目標位置に関する情報である目標情報を出力する出力部と、を有し、
前記内視鏡スコープの形状カテゴリは、前記内視鏡スコープがとりうる形状のカテゴリであり、
前記特定部は、内視鏡スコープの複数の挿入法それぞれについて定められている、内視鏡スコープの形状カテゴリの時間遷移パターンを表す状態遷移モデルの中から、現在使用されている挿入法に対応する前記状態遷移モデルを取得し、前記取得した状態遷移モデルを利用して前記目標カテゴリを特定する、内視鏡操作支援装置。
【請求項3】
前記特定部は、前記取得した状態遷移モデルの中から、前記形状データ列における最後の前記形状カテゴリを特定し、前記取得した状態遷移モデルにおいて前記特定した形状カテゴリから遷移可能な前記形状カテゴリを、前記目標カテゴリとして特定する、請求項に記載の内視鏡操作支援装置。
【請求項4】
前記特定部は、
前記内視鏡スコープの挿入法を変更する必要があるか否かを判定し、
前記内視鏡スコープの挿入法を変更する必要がある場合、変更後の挿入法を特定し、
前記変更後の挿入法に対応する前記状態遷移モデルを利用して前記目標カテゴリを特定する、請求項に記載の内視鏡操作支援装置。
【請求項5】
前記特定部は、前記内視鏡スコープの操作者に関する情報に基づいて、前記内視鏡スコープの挿入法を変更する必要があるか否かを判定する、請求項に記載の内視鏡操作支援装置。
【請求項6】
前記特定部は、
前記目標カテゴリの複数の候補、又は前記目標位置の複数の候補を特定し、
各前記形状カテゴリ又は各位置について定められている優先度に基づいて、複数の候補の中から、前記目標カテゴリ又は前記目標位置を特定する、請求項1からいずれか一項に記載の内視鏡操作支援装置。
【請求項7】
各前記形状カテゴリ又は各位置の優先度は、前記内視鏡スコープの挿入法又は前記内視鏡スコープの操作者に関する情報に基づいて特定される、請求項1からいずれか一項に記載の内視鏡操作支援装置。
【請求項8】
コンピュータによって実行される制御方法であって、
体内に挿入された内視鏡スコープの形状カテゴリの時間変化を表す形状データ列を取得する取得ステップと、
前記形状データ列に基づいて、前記内視鏡スコープの形状カテゴリの遷移先として適している目標カテゴリ、又は、前記内視鏡スコープを遷移させる位置として適している位置である目標位置を特定する特定ステップと、
前記目標カテゴリ又は前記目標位置に関する情報である目標情報を出力する出力ステップと、を有し、
前記内視鏡スコープの形状カテゴリは、前記内視鏡スコープがとりうる形状のカテゴリであり、
前記特定ステップにおいて、内視鏡スコープの形状の時間変化を表すデータ列が入力されたことに応じて前記目標カテゴリ又は前記目標位置を出力するように構成されている学習済みの識別モデルに対し、前記形状データ列を入力することにより、前記目標カテゴリ又は前記目標位置を特定する制御方法。
【請求項9】
コンピュータによって実行される制御方法であって、
体内に挿入された内視鏡スコープの形状カテゴリの時間変化を表す形状データ列を取得する取得ステップと、
前記形状データ列に基づいて、前記内視鏡スコープの形状カテゴリの遷移先として適している目標カテゴリ、又は、前記内視鏡スコープを遷移させる位置として適している位置である目標位置を特定する特定ステップと、
前記目標カテゴリ又は前記目標位置に関する情報である目標情報を出力する出力ステップと、を有し、
前記内視鏡スコープの形状カテゴリは、前記内視鏡スコープがとりうる形状のカテゴリであり、
前記特定ステップにおいて、内視鏡スコープの複数の挿入法それぞれについて定められている、内視鏡スコープの形状カテゴリの時間遷移パターンを表す状態遷移モデルの中から、現在使用されている挿入法に対応する前記状態遷移モデルを取得し、前記取得した状態遷移モデルを利用して前記目標カテゴリを特定する、制御方法。
【請求項10】
コンピュータに、
体内に挿入された内視鏡スコープの形状カテゴリの時間変化を表す形状データ列を取得する取得ステップと、
前記形状データ列に基づいて、前記内視鏡スコープの形状カテゴリの遷移先として適している目標カテゴリ、又は、前記内視鏡スコープを遷移させる位置として適している位置である目標位置を特定する特定ステップと、
前記目標カテゴリ又は前記目標位置に関する情報である目標情報を出力する出力ステップと、実行させ
前記内視鏡スコープの形状カテゴリは、前記内視鏡スコープがとりうる形状のカテゴリであり、
前記特定ステップにおいて、内視鏡スコープの形状の時間変化を表すデータ列が入力されたことに応じて前記目標カテゴリ又は前記目標位置を出力するように構成されている学習済みの識別モデルに対し、前記形状データ列を入力することにより、前記目標カテゴリ又は前記目標位置を特定する、プログラム。
【請求項11】
コンピュータに、
体内に挿入された内視鏡スコープの形状カテゴリの時間変化を表す形状データ列を取得する取得ステップと、
前記形状データ列に基づいて、前記内視鏡スコープの形状カテゴリの遷移先として適している目標カテゴリ、又は、前記内視鏡スコープを遷移させる位置として適している位置である目標位置を特定する特定ステップと、
前記目標カテゴリ又は前記目標位置に関する情報である目標情報を出力する出力ステップと、実行させ、
前記内視鏡スコープの形状カテゴリは、前記内視鏡スコープがとりうる形状のカテゴリであり、
前記特定ステップにおいて、内視鏡スコープの複数の挿入法それぞれについて定められている、内視鏡スコープの形状カテゴリの時間遷移パターンを表す状態遷移モデルの中から、現在使用されている挿入法に対応する前記状態遷移モデルを取得し、前記取得した状態遷移モデルを利用して前記目標カテゴリを特定する、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は内視鏡の操作を支援する手法に関する。
【背景技術】
【0002】
内視鏡を利用した手術や検査等を支援する装置が開発されている。例えば特許文献1は、熟練の医師の経験則をプログラム化しておき、内視鏡カメラから得られる画像や、内視鏡の形状に基づいて、内視鏡に対して行うべき操作を提示する技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2019-097661号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明者は、内視鏡の操作を支援する新たな技術について検討した。本開示の目的は、内視鏡操作を支援する新たな技術を提供することである。
【課題を解決するための手段】
【0005】
本開示の内視鏡操作支援装置は、体内に挿入された内視鏡スコープについて、その形状カテゴリの時間変化を表す形状データ列を取得する取得部と、前記形状データ列に基づいて、前記内視鏡スコープの形状カテゴリの遷移先として適している目標カテゴリ、又は、前記内視鏡スコープを遷移させる位置として適している位置である目標位置を特定する特定部と、前記目標カテゴリ又は前記目標位置に関する情報である目標情報を出力する出力部と、を有する。
【0006】
本開示の制御方法は、コンピュータによって実行される。当該制御方法は、体内に挿入された内視鏡スコープについて、その形状カテゴリの時間変化を表す形状データ列を取得する取得ステップと、前記形状データ列に基づいて、前記内視鏡スコープの形状カテゴリの遷移先として適している目標カテゴリ、又は、前記内視鏡スコープを遷移させる位置として適している位置である目標位置を特定する特定ステップと、前記目標カテゴリ又は前記目標位置に関する情報である目標情報を出力する出力ステップと、を有する。
【0007】
本開示のコンピュータ可読媒体は、本発明の制御方法をコンピュータに実行させるプログラムを格納している。
【発明の効果】
【0008】
本開示によれば、内視鏡操作を支援する新たな技術が提供される。
【図面の簡単な説明】
【0009】
図1】実施形態1の内視鏡操作支援装置の動作の概要を例示する図である。
図2】実施形態1の内視鏡操作支援装置の機能構成を例示するブロック図である。
図3】内視鏡操作支援装置を実現するコンピュータのハードウエア構成を例示するブロック図である。
図4】内視鏡操作支援装置の利用環境の具体例を示す図である
図5】実施形態1の内視鏡操作支援装置によって実行される処理の流れを例示するフローチャートである。
図6】形状データ列の構成をテーブル形式で例示する図である。
図7】内視鏡スコープの挿入法の状態遷移モデルを例示する図である。
図8】式(1)を用いた確度の算出方法を概念的に示す図である。
図9】目標情報を含む画面を例示する図である。
図10】目標カテゴリの候補として特定された複数の形状カテゴリを含む目標情報を例示する図である。
図11】目標位置が含まれる目標情報を例示する図である。
図12】内視鏡スコープの形状を3次元画像で表す目標情報を例示する図である。
図13】目標カテゴリに対応する内視鏡スコープの形状が3次元画像で表されている目標情報を例示する図である。
【発明を実施するための形態】
【0010】
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。また、特に説明しない限り、所定値や閾値などといった予め定められている値は、その値を利用する装置からアクセス可能な記憶装置に予め格納されている。
【0011】
図1は、実施形態1の内視鏡操作支援装置2000の動作の概要を例示する図である。ここで、図1は、内視鏡操作支援装置2000の概要の理解を容易にするための図であり、内視鏡操作支援装置2000の動作は、図1に示したものに限定されない。
【0012】
内視鏡を用いた手術や検査など(以下、内視鏡手術等)において、内視鏡スコープ40の操作者は、内視鏡スコープ40の形状を様々に変えながら、内視鏡スコープ40を体内へ挿入していく。ここで、内視鏡スコープ40がとりうる形状が、予め複数のカテゴリに分類されているとする。このような内視鏡スコープ40の形状の分類を、形状カテゴリと呼ぶ。例えば形状カテゴリとしては、「直線」、「小さなカーブ」、「大きなカーブ」、又は「腹部張り出し」などといった種々のカテゴリを定義することができる。
【0013】
内視鏡スコープ40の形状カテゴリをどのように変化させていくべきかは、内視鏡スコープ40の形状カテゴリがどのように変化してきたのかによって異なりうる。そこで内視鏡操作支援装置2000は、体内に挿入された内視鏡スコープ40の形状カテゴリの時間変化を表す形状データ列50を取得し、形状データ列50を利用して、内視鏡スコープ40をどの形状カテゴリに遷移させるべきであるかを特定する。このようにして特定された形状カテゴリ(すなわち、遷移先として適切な形状カテゴリ)を、目標カテゴリと呼ぶ。
【0014】
内視鏡操作支援装置2000は、特定した目標カテゴリに関する目標情報20を出力する。例えば目標カテゴリは、内視鏡スコープ40が次にとるべき形状カテゴリの名称を示す。例えば図1の例において、目標情報20には、目標カテゴリが「カテゴリE」であることを表すメッセージと、カテゴリEに分類される内視鏡スコープ40の形状を表す画像が含まれている。
【0015】
ただし、目標情報20は、目標カテゴリに加え、又は、目標カテゴリに代えて、内視鏡スコープ40の遷移先として適切な位置である目標位置を示してもよい。
【0016】
<作用効果の例>
以上のように、本実施形態の内視鏡操作支援装置2000は、内視鏡スコープ40の形状カテゴリの時間変化を表す形状データ列50を利用して、目標カテゴリ又は目標位置を特定する。すなわち、内視鏡スコープ40をどの形状カテゴリに遷移させることが適切であるか、又は、内視鏡スコープ40をどの位置へ遷移させるべきかが特定される。そして、内視鏡操作支援装置2000は、目標カテゴリ又は目標位置に関する目標情報20を出力する。
【0017】
目標情報20を利用することにより、内視鏡スコープ40の操作者などは、内視鏡スコープ40の形状をどのように遷移させるべきかや、内視鏡スコープ40のどの位置へ遷移させるべきかを把握することができる。ここで、目標とする形状カテゴリや目標とする位置が分かると、内視鏡スコープ40に対してどのような操作を加えるべきかを特定することができる。そのため、内視鏡スコープ40の操作者などは、内視鏡スコープ40に対して行うべき適切な操作を把握することができる。
【0018】
以下、本実施形態の内視鏡操作支援装置2000について、より詳細に説明する。
【0019】
<機能構成の例>
図2は、実施形態1の内視鏡操作支援装置2000の機能構成を例示するブロック図である。内視鏡操作支援装置2000は、取得部2020、特定部2040、及び出力部2060を有する。取得部2020は形状データ列50を取得する。特定部2040は、形状データ列50を用いて、目標カテゴリ又は目標位置を特定する。出力部2060は、目標カテゴリ又は目標位置に関する目標情報20を出力する。
【0020】
<ハードウエア構成の例>
内視鏡操作支援装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、内視鏡操作支援装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
【0021】
図3は、内視鏡操作支援装置2000を実現するコンピュータ500のハードウエア構成を例示するブロック図である。コンピュータ500は、任意のコンピュータである。例えばコンピュータ500は、PC(Personal Computer)やサーバマシンなどといった、据え置き型のコンピュータである。その他にも例えば、コンピュータ500は、スマートフォンやタブレット端末などといった可搬型のコンピュータである。コンピュータ500は、内視鏡操作支援装置2000を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。
【0022】
例えば、コンピュータ500に対して所定のアプリケーションをインストールすることにより、コンピュータ500で、内視鏡操作支援装置2000の各機能が実現される。当該アプリケーションは、内視鏡操作支援装置2000の機能構成部を実現するためのプログラムで構成される。上記アプリケーションのインストールは、当該プログラムが格納されている記録メディア(例えば USB メモリや DVD など)から当該プログラムをコピーしたり、当該プログラムが格納されている記憶装置を管理しているサーバから当該プログラムをダウンロードしたりすることで実現できる。
【0023】
コンピュータ500は、バス502、プロセッサ504、メモリ506、ストレージデバイス508、入出力インタフェース510、及びネットワークインタフェース512を有する。バス502は、プロセッサ504、メモリ506、ストレージデバイス508、入出力インタフェース510、及びネットワークインタフェース512が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ504などを互いに接続する方法は、バス接続に限定されない。
【0024】
プロセッサ504は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、又は FPGA(Field-Programmable Gate Array)などの種々のプロセッサである。メモリ506は、RAM(Random Access Memory)などを用いて実現される主記憶装置である。ストレージデバイス508は、ハードディスク、SSD(Solid State Drive)、メモリカード、又は ROM(Read Only Memory)などを用いて実現される補助記憶装置である。
【0025】
入出力インタフェース510は、コンピュータ500と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース510には、後述する内視鏡制御装置60が接続される。その他にも例えば、入出力インタフェース510には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。
【0026】
ネットワークインタフェース512は、コンピュータ500をネットワークに接続するためのインタフェースである。このネットワークは、LAN(Local Area Network)であってもよいし、WAN(Wide Area Network)であってもよい。
【0027】
ストレージデバイス508は、内視鏡操作支援装置2000の各機能構成部を実現するプログラム(前述したアプリケーションを実現するプログラム)を記憶している。プロセッサ504は、このプログラムをメモリ506に読み出して実行することで、内視鏡操作支援装置2000の各機能構成部を実現する。当該プログラムは、例えば、当該プログラムが格納されている記憶メディア(例えば USB メモリ)からコピーすることにより、ストレージデバイス508に格納される。
【0028】
内視鏡操作支援装置2000は、1つのコンピュータ500で実現されてもよいし、複数のコンピュータ500で実現されてもよい。後者の場合において、各コンピュータ500の構成は同一である必要はなく、それぞれ異なるものとすることができる。
【0029】
<内視鏡操作支援装置2000の利用環境の例>
図4は、内視鏡操作支援装置2000の利用環境の具体例を示す図である。例えば内視鏡操作支援装置2000は、内視鏡スコープ40及び内視鏡制御装置60と共に利用される。内視鏡スコープ40は、体内に挿入されるスコープであり、カメラ10が設けられている。カメラ10によって生成される動画データを閲覧することで、体内の様子を視認することができる。
【0030】
内視鏡制御装置60は、内視鏡スコープ40を利用して内視鏡手術等を行う際に利用される制御装置である。例えば内視鏡制御装置60は、内視鏡スコープ40に設けられているカメラから得られたビデオデータに対して種々の加工をすることで閲覧用のビデオデータを生成し、生成したビデオデータを出力する。ビデオデータに対する加工としては、例えば、ビデオデータの色又は明るさを調整する処理や、ビデオデータに種々の情報を重畳する処理などである。
【0031】
例えば内視鏡操作支援装置2000は、内視鏡制御装置60を経由して、種々の情報を取得する。例えば内視鏡操作支援装置2000は、内視鏡制御装置60から、カメラ10によって生成された静止画データや動画データ(以下、これらをまとめて画像データと呼ぶ)を取得する。
【0032】
なお、内視鏡スコープ40から得られるデータは、カメラ10によって生成される画像データに限定されない。例えば内視鏡スコープ40には、内視鏡スコープ40の複数箇所それぞれについての3次元座標を得るための素子が設けられていてもよい。この場合、内視鏡制御装置60は、当該素子を利用することにより、内視鏡スコープ40の複数箇所それぞれについて、その3次元座標を特定する。このようにして得た、内視鏡スコープ40の複数箇所についての3次元座標を利用することで、内視鏡スコープ40の形状を把握することができる。
【0033】
<処理の流れ>
図5は、実施形態1の内視鏡操作支援装置2000によって実行される処理の流れを例示するフローチャートである。取得部2020は形状データ列50を取得する(S102)。特定部2040は、形状データ列50を利用して目標カテゴリ又は目標位置を特定する(S104)。特定部2040は、特定した目標カテゴリ又は目標位置に関する目標情報20を出力する(S106)。
【0034】
<形状データ列50について>
形状データ列50は、内視鏡スコープ40の形状を時系列で表すデータである。例えば形状データ列50は、複数の時点それぞれについて、その時刻における内視鏡スコープ40の形状を示す。形状データ列50において、内視鏡スコープ40の形状は、複数定められている形状カテゴリのうちの1つで表されている。
【0035】
図6は、形状データ列50の構成をテーブル形式で例示する図である。図6の形状データ列50は、時点51及び形状データ52を含む。形状データ列50の各レコードは、時点51に示されている時点において、内視鏡スコープ40の形状が、形状データ52に示されている形状カテゴリであったことを表している。時点51は、時刻で表されてもよいし、時刻以外で表されてもよい。後者の場合、例えば時点51は、シーケンス番号のように、各形状データ52に対して時系列の順に割り当てられる相対的な数値を示す。
【0036】
内視鏡スコープ40の形状がどの形状カテゴリに属するのかは、例えば、内視鏡スコープ40の複数の特定箇所それぞれの3次元座標を利用して特定することができる。内視鏡スコープ40の複数箇所それぞれの3次元座標は、例えば前述したように、それらの箇所に設けられている素子を利用して特定することができる。
【0037】
例えば形状カテゴリの特定には、識別モデル(以下、形状識別モデル)が利用される。形状識別モデルは、ニューラルネットワークやサポートベクトルマシンなどといった種々の種類のモデルで実現することができる。形状識別モデルは、内視鏡スコープ40の複数の特定箇所それぞれの3次元座標が入力されたことに応じて、内視鏡スコープ40の形状カテゴリを表すラベルを出力するように、予め学習されている。複数の時点それぞれについて、その時点における内視鏡スコープ40の複数の特定箇所それぞれの3次元座標を、形状識別モデルに入力することにより、その時点における内視鏡スコープ40の形状カテゴリを特定することができる。なお、形状識別モデルの学習は、「内視鏡スコープ40の複数の特定箇所それぞれの3次元座標、正解の形状カテゴリを表すラベル」という組み合わせを含む訓練データを利用することで行うことができる。
【0038】
<形状データ列50の取得:S102>
取得部2020は、形状データ列50を取得する(S102)。取得部2020が形状データ列50を取得する方法は様々である。例えば取得部2020は、取得部2020からアクセス可能な記憶装置に格納されている形状データ列50を、当該記憶装置にアクセスすることによって取得する。当該記憶装置は、内視鏡操作支援装置2000の内部に設けられていてもよいし、内視鏡操作支援装置2000の外部に設けられていてもよい。その他にも例えば、取得部2020は、他の装置から送信された形状データ列50を受信することにより、形状データ列50を取得してもよい。
【0039】
ここで、形状データ列50において、内視鏡スコープ40の形状は形状カテゴリで表される。そのため、形状データ列50を生成するためには、各時点における内視鏡スコープ40の形状カテゴリを特定する処理が必要となる。この処理は、内視鏡操作支援装置2000によって行われてもよいし、内視鏡操作支援装置2000以外によって行われてもよい。前者の場合、取得部2020は、内視鏡操作支援装置2000の内部で生成された形状データ列50を取得する。例えばこの場合、形状データ列50は、内視鏡操作支援装置2000の内部の記憶装置に格納されている。一方、形状データ列50が内視鏡操作支援装置2000以外の装置によって生成される場合、例えば取得部2020は、形状データ列50を生成した装置にアクセスすることで形状データ列50を取得したり、その装置から送信された形状データ列50を受信する。
【0040】
ここで、内視鏡スコープ40はその形状を変えながら体内へ挿入されていくため、目標カテゴリは時間と共に変化する。そこで例えば、内視鏡操作支援装置2000は、所定長の区間(以下、単位区間)ごとに、その区間における形状データ52の時間変化を表す形状データ列50を取得し、その形状データ列50に対応する目標カテゴリを特定することが好適である。この場合において、内視鏡操作支援装置2000は、予め単位区間ごとに分割されている形状データ列50を取得してもよいし、単位区間毎に分割されていない複数の形状データ52を取得してもよい。
【0041】
後者の場合、例えば取得部2020は、取得した複数の形状データ52を時系列の順で単位区間毎に分割することで、単位区間毎の形状データ列50を得る。ただし、互いに隣接する単位区間は、その一部が互いに重複してもよい。例えば、単位区間の長さを10とし、重複する区間の長さを4とする場合、1番目の形状データ列50は、1番目から10番目までの形状データ52で構成され、2番目の形状データ列50は、7番目から16番目までの形状データ52で構成される。
【0042】
<目標カテゴリの特定:S104>
特定部2040は、形状データ列50を用いて目標カテゴリを特定する(S104)。形状データ列50を用いて目標カテゴリを特定する具体的な方法は様々である。以下、具体的な方法をいくつか例示する。なお、目標位置の特定方法については後述する。
【0043】
<<識別モデルを利用する方法>>
例えば特定部2040は、識別モデルを利用して目標カテゴリを特定する。当該識別モデルは、例えば、形状データ列50が入力されたことに応じて、各形状カテゴリが目標カテゴリである確度を出力するように学習されている。以下、この識別モデルを、目標カテゴリ識別モデルと呼ぶ。例えば目標カテゴリ識別モデルは、時系列データを扱うニューラルネットワークである RNN(Recurrent Neural Network)などを利用して実現される。ただし、目標カテゴリ識別モデルの実現に利用されるモデルの種類は、RNN には限定されず、時系列データを扱うことできる任意の種類のモデルを利用することができる。
【0044】
目標カテゴリ識別モデルの学習は、「内視鏡スコープの形状カテゴリの時間変化を表すデータ、正解の出力データ」という組み合わせを含む訓練データを利用して行われる。正解の出力データは、例えば、目標カテゴリとして扱われるべき形状カテゴリについては最大の確度(例えば1)を示し、その他の形状カテゴリについては最小の確度(例えば0)を示すデータである。
【0045】
特定部2040は、目標カテゴリ識別モデルに対して形状データ列50を入力することにより、各形状カテゴリが目標カテゴリである確度を特定する。そして、特定部2040は、特定された確度に基づいて、目標カテゴリを特定する。
【0046】
各形状カテゴリについて算出された確度に基づいて目標カテゴリを特定する方法には、様々な方法を採用できる。例えば特定部2040は、確度が最大である形状カテゴリを、目標カテゴリとして特定する。その他にも例えば、特定部2040は、確度が閾値以上である1つ以上の形状カテゴリや、確度の高さで上位所定順位以内である複数の形状カテゴリを、目標カテゴリとして特定する。
【0047】
なお、特定部2040は、確度が閾値以上である複数の形状カテゴリや、確度の高さで上位所定順位以内である複数の形状カテゴリを、目標カテゴリの候補として扱い、候補の形状カテゴリから目標カテゴリを特定してもよい。候補の形状カテゴリから目標カテゴリを特定する方法は様々である。例えば各形状カテゴリに対して予め優先度を割り当てておく。この場合、特定部2040は、候補の形状カテゴリのうち、優先度が最大であるものを、目標カテゴリとして特定する。
【0048】
ここで、どの形状カテゴリを優先すべきかは、状況によって異なりうる。例えば、内視鏡スコープ40の挿入に使用される挿入法には様々なものがあり(詳しくは後述)、形状カテゴリの優先度は挿入法ごとに異なりうる。そこで例えば、予め、挿入法ごとに形状カテゴリの優先度を定めておく。具体的には、挿入法に関する情報である挿入法情報を、予め特定部2040からアクセス可能な記憶装置に格納しておく。そして、この挿入法情報において、挿入法ごとに、各形状カテゴリの優先度を定めておく。
【0049】
この場合、特定部2040は、後述する手法を利用して、内視鏡スコープ40の挿入に使用されている挿入法を特定する。また、特定部2040は、特定した挿入法についての挿入法情報を利用して、各形状カテゴリの優先度を特定する。そして、特定部2040は、候補の形状カテゴリのうち、特定した形状カテゴリの優先度が最大であるものを、目標カテゴリとして特定する。こうすることで、使用されている挿入法に応じた適切な目標カテゴリを特定することができるようになる。
【0050】
その他にも例えば、どの形状カテゴリを優先すべきかは、内視鏡スコープ40の操作者ごとに異なりうる。そこで、内視鏡スコープ40の操作者ごとに形状カテゴリの優先度を定めておいてもよい。例えば、操作者に関する情報である操作者情報を、予め特定部2040からアクセス可能な記憶装置に格納しておく。そして、当該操作者情報において、操作者ごとに、各形状カテゴリの優先度を定めておく。
【0051】
この場合、特定部2040は、内視鏡スコープ40を操作している操作者についての操作者情報を取得することで、当該操作者について、各形状カテゴリの優先度を特定する。そして、特定部2040は、候補の形状カテゴリのうち、特定した優先度が最大であるものを、目標カテゴリとして特定する。こうすることで、操作者の特徴に応じた適切な目標カテゴリを特定することができるようになる。
【0052】
操作者と形状カテゴリの優先度との対応付けを定める方法は様々である。例えば、操作者と形状カテゴリの優先度との対応付けは、その操作者が行った過去の内視鏡手術等の記録(動画データなど)を用いて定めることができる。具体的には、動画データを解析して各形状カテゴリの発生回数をカウントし、発生回数が多い形状カテゴリほど、優先順位を高くすることが考えられる。その他にも例えば、操作者自身や操作者の指導監督などによる手動の設定により、その操作者について、各形状カテゴリの優先度が定められてもよい。
【0053】
その他にも例えば、どの形状カテゴリを優先すべきかは、内視鏡スコープ40の操作者の技術レベルに応じて異なりうる。そこで、所定段階の技術レベル(例えば、レベル1からレベル5の5段階など)ごとに、各形状カテゴリの優先度を定めておいてもよい。例えば、技術レベルと各形状カテゴリの優先度とを対応づけた情報である技術レベル情報を、予め特定部2040からアクセス可能な記憶装置に格納しておく。また、前述した操作者情報に、各操作者の技術レベルを表す情報を含めておく。
【0054】
この場合、特定部2040は、内視鏡スコープ40の操作者についての操作者情報を利用して、当該操作者の技術レベルを特定する。また、特定部2040は、特定した技術レベルに対応する技術レベル情報を取得することで、各形状カテゴリの優先度を特定する。そして、特定部2040は、候補の形状カテゴリのうち、特定した優先度が最大であるものを、目標カテゴリとして特定する。こうすることで、操作者の技術レベルに応じた適切な目標カテゴリを特定することができるようになる。
【0055】
各操作者の技術レベルを定める方法は様々である。例えば、経験年数の数値範囲を所定段階に分けておく。この場合、操作者の経験年数が属する数値範囲によって、その操作者の技術レベルが定まる。その他にも例えば、操作者が行った過去の内視鏡手術等の履歴(動画データなど)を用いて当該操作者の技術レベルを評価することにより、その操作者の技術レベルが定められてもよい。その他にも例えば、操作者自身や操作者の指導監督などによる手動の設定により、操作者の技術レベルが定められてもよい。
【0056】
その他にも例えば、内視鏡スコープ40が挿入されている人(以下、被施術者)に関する情報を利用して、目標カテゴリを特定してもよい。例えば、被施術者の過去の手術歴により、体内で癒着が発生している可能性がある場所を特定することができる。そして、癒着の有無により、選択すべき形状カテゴリが異なってくることがある。そこで、過去に行われた手術等の種類と、各形状カテゴリの優先度とを対応づけた情報を、特定部2040からアクセス可能な記憶装置に予め格納しておく。特定部2040は、被施術者に関し、過去の手術等の履歴を示す情報を取得することで、被施術者に対して過去に行われた手術等を特定する。さらに、特定部2040は、特定された手術等に対応づけられている各形状カテゴリの優先度を取得し、この優先度を利用して、候補の形状カテゴリから目標カテゴリを特定する。こうすることで、過去の手術等の影響を考慮した適切な目標カテゴリを特定することができるようになる。
【0057】
また、過去に他の人物に対して行われた同内容の手術等における、内視鏡スコープ40の操作履歴に基づいて、形状カテゴリの優先度が定められてもよい。この場合においても、手術等の種類と各形状カテゴリの優先度とを対応づけた情報を、予め特定部2040からアクセス可能な記憶装置に格納しておく。特定部2040は、被施術者に対して行っている手術等について、その手術等に対応づけられている各形状カテゴリの優先度を取得する。そして、特定部2040は、取得した優先度を利用して、候補の形状カテゴリから目標カテゴリを特定する。こうすることで、過去の手術等の経験を生かした適切な目標カテゴリを特定することができるようになる。
【0058】
なお、特定部2040は、候補の形状カテゴリのうちの1つを目標カテゴリとして特定する代わりに、候補の形状カテゴリに対して優先順位を決定してもよい。例えば、確度が高い形状カテゴリほど高い優先順位が割り当てられる。その他にも例えば、前述した種々の方法で形状カテゴリの優先度を定めておくことにより、優先度が高い形状カテゴリほど高い優先順位が割り当てられるようにしてもよい。特定した優先順位は、例えば後述するように、目標情報20において、複数の目標カテゴリに対して優先順位に基づく強調を行う際に利用できる。
【0059】
目標カテゴリ識別モデルには、形状データ列50以外のデータがさらに入力されてもよい。形状データ列50以外のデータとしては、例えば、カメラ10から得られた静止画データ若しくは動画データ、内視鏡スコープ40の操作者の動きを表すデータ(例えば、操作者の手に取り付けられた加速度センサから得られる加速度の時系列データなど)、内視鏡スコープ40の操作者に関する情報(その操作者の技術レベルや、その操作者について定められた各形状カテゴリの優先度)などである。また、内視鏡スコープ40の複数の箇所それぞれの3次元座標が、目標カテゴリ識別モデルに対してさらに入力されてもよい。これらのデータを利用する場合、目標カテゴリ識別モデルの訓練データにも、同種のデータを含めるようにする。こうすることで、目標カテゴリ識別モデルが、形状データ列50以外のデータをさらに利用して確度の算出を行うように学習される。
【0060】
なお、目標カテゴリ識別モデルは、各形状カテゴリについての確度を出力する代わりに、目標カテゴリを表すラベルを出力してもよい。この場合、例えば目標カテゴリ識別モデルは、最大の確度が算出された形状カテゴリを表すラベルを、目標カテゴリのラベルとして出力する。特定部2040は、目標カテゴリ識別モデルから出力されたラベルにより、目標カテゴリを特定することができる。
【0061】
<<状態遷移モデルを利用する方法>>
例えば特定部2040は、内視鏡スコープ40の挿入に使用されている挿入法を特定し、その挿入法について定められている状態遷移モデルに基づいて、目標カテゴリを特定する。ここで、内視鏡スコープの挿入には、複数の挿入法が使用されうる。例えば挿入法には、軸保持短縮法、Push 法、又は αループを形成する方法などがある。
【0062】
内視鏡スコープ40の形状の時間変化は、使用されている挿入法ごとに異なりうる。そのため、内視鏡スコープ40の挿入に使用されている挿入法を特定することにより、内視鏡スコープ40の形状が今後どのように変化していくべきなのかを特定することができる。そこで特定部2040は、内視鏡スコープ40の挿入に使用されている挿入法を特定することにより、目標カテゴリを特定する。なお、挿入法を特定する具体的な方法については後述する。
【0063】
例えば、複数の挿入法それぞれについて、その挿入法を使用した場合における内視鏡スコープ40の形状カテゴリの時間変化のパターンを表す状態遷移モデルを定めておき、特定部2040からアクセス可能な記憶装置に予め格納しておく。そして、特定部2040は、内視鏡スコープ40の挿入に使用されている挿入法の状態遷移モデルを利用して、目標カテゴリを特定する。
【0064】
内視鏡スコープ40の形状は、内視鏡スコープ40の挿入に使用されている挿入法の状態遷移モデルに従って遷移することが好適である。そこで例えば、特定部2040は、内視鏡スコープ40の挿入に使用されている挿入法の状態遷移モデルにおいて、形状データ列50の最後の形状カテゴリの次に位置する形状カテゴリを、目標カテゴリとして特定する。
【0065】
状態遷移モデルを利用して目標カテゴリを特定する方法について、具体例を説明する。図7は、内視鏡スコープ40の挿入法の状態遷移モデルを例示する図である。ここで、特定部2040が、形状データ列50を用いて、内視鏡スコープ40の挿入に挿入法Xが使用されていると特定したとする。また、挿入法Xの状態遷移モデルが図7に示されているものであるとする。そして、形状データ列50の最後の形状カテゴリがカテゴリEであるとする。
【0066】
特定部2040は、挿入法Xの状態遷移モデルにおいて、カテゴリEから遷移する先のカテゴリを、目標カテゴリとして特定する。この点、図7に示す挿入法Xの状態遷移モデルにおいて、カテゴリEから遷移する先はカテゴリCである。そこで特定部2040は、カテゴリCを目標カテゴリとして特定する。
【0067】
なお、状態遷移モデルでは、1つの形状カテゴリから遷移可能な形状カテゴリが複数定義されていることがある。そのため、使用されている挿入法の状態遷移モデルにおいて、形状データ列50の最後の形状カテゴリから遷移可能な形状カテゴリは、複数存在しうる。例えば図7の例において、カテゴリCから遷移可能な形状カテゴリとして、カテゴリA、E、及びGの3つがある。そのため、形状データ列50の最後の形状カテゴリがカテゴリCである場合、遷移可能な形状カテゴリが3つ存在することとなる。
【0068】
そこで例えば、特定部2040は、形状データ列50の最後の形状カテゴリから遷移可能な複数の形状カテゴリを、目標カテゴリの候補として扱う。例えば特定部2040は、これら候補の形状カテゴリの中から、目標カテゴリとして扱うものを1つ特定する。
【0069】
候補の形状カテゴリの中から目標カテゴリを特定する方法は様々である。例えば状態遷移モデルにおいて、ある状態から複数の状態に遷移しうる場合に、各遷移に対して遷移確率が割り当てられているとする。この場合、例えば特定部2040は、候補の形状カテゴリのうち、遷移確率が最大であるものを、目標カテゴリとして特定する。
【0070】
その他にも例えば、目標カテゴリ識別モデルを利用して目標カテゴリを特定するケースと同様に、形状カテゴリに対して優先度が定められていてもよい。この場合、前述したように、特定部2040は、候補の形状カテゴリのうち、優先度が最大である形状カテゴリを、目標カテゴリとして特定する。
【0071】
また、目標カテゴリを1つ特定する代わりに、候補の形状カテゴリの全て又は一部を、目標カテゴリとして特定してもよい。候補の形状カテゴリの一部を目標カテゴリとして扱う場合、例えば特定部2040は、遷移確率が閾値以上のもの、遷移確率の高さの順位で上位所定順位以内のもの、優先度が所定順位以内のものなどを、目標カテゴリとして特定する。
【0072】
また、特定部2040は、候補の形状カテゴリに対して優先順位を決定してもよい。例えば、遷移確率が高い形状カテゴリほど高い優先順位を割り当てたり、優先度が高い形状カテゴリほど高い優先順位を割り当てたりすることができる。優先順位の利用方法については前述した通りである。
【0073】
<<<挿入法の変更を考慮する方法>>>
内視鏡スコープ40の挿入に使用されている挿入法を変更することが好ましいことがある。例えば、内視鏡スコープ40の状態が長い時間滞留している場合、別の挿入法に変更することが好ましいと考えられる。その他にも例えば、高い技術レベルが要求される難しい挿入法を、技術レベルが低い操作者(例えば若手の医師)が使用している場合、より簡単な挿入法を使用させることが好ましいと考えられる。
【0074】
そこで例えば、特定部2040は、挿入法を変更する必要があるか否かを判定し、挿入法を変更する必要がある場合には、新たな挿入法の状態遷移モデルを用いて、目標カテゴリを特定してもよい。例えば特定部2040は、挿入法を変更する必要があるか否かを判定し、挿入法を変更する必要があると判定された場合、現在の挿入法から変更すべき別の挿入法(以下、変更後の挿入法)を特定する。そして、特定部2040は、変更後の挿入法の状態遷移モデルと形状データ列50とを比較することにより、目標カテゴリを特定する。なお、状態遷移モデルと形状データ列50を利用して目標カテゴリを特定する方法については、前述した通りである。
【0075】
挿入法を変更する必要があるか否かの判定は、予め定めておく所定条件を利用して実現できる。所定条件としては、様々な条件を用いることができる。例えば所定条件は、「滞留時間が閾値以上である」や、「現在の挿入法に対応づけられている技術レベルが、内視鏡スコープ40の操作者について定められている技術レベルより高い」などといった条件である。所定条件が満たされている場合、挿入法を変更する必要があると判定される。一方、当該所定条件が満たされていない場合、挿入法を変更する必要がないと判定される。
【0076】
滞留時間としては、例えば、同一の挿入法が継続している時間や、状態遷移モデル上で遷移のループが継続している時間などを扱うことができる。ここで、1つの挿入法を完了するまでに要する時間は、挿入法ごとに異なりうる。そこで、前述した挿入法定義情報において、挿入法ごとに、滞留時間の閾値として扱う時間を定めておいてもよい。この場合、特定部2040は、現在使用されている挿入法を特定したら、その挿入法に対応づけられている滞留時間の閾値を取得する。そして、特定部2040は、現在使用されている挿入法の継続時間が当該閾値以上であるか否かを判定し、継続時間が当該閾値以上であれば、挿入法の変更が必要であると判定される。
【0077】
所定条件として技術レベルを扱う場合、挿入法定義情報において、各挿入法とその挿入法の使用に必要な技術レベルとを対応づけておく。また、前述した操作者情報に、各操作者の技術レベルを表す情報を含めておく。特定部2040は、挿入法定義情報と操作者情報を利用して、現在使用されている挿入法に必要な技術レベルが、内視鏡スコープ40の操作者の技術レベルを超えているか否かを判定する。そして、現在使用されている挿入法に必要な技術レベルが、内視鏡スコープ40の操作者の技術レベルを超えている場合、特定部2040は、別の挿入法へ変更すべきであると判定する。
【0078】
挿入法を変更する必要があると判定された場合、特定部2040は、変更後の挿入法を特定する。例えば、挿入法定義情報において、各挿入法に対し、その挿入法を代替可能な別の挿入法を定めておく。例えば、体内の第1の部位から第2の部位へ内視鏡スコープを進めるための挿入法として、挿入法AとBが存在するとする。この場合、挿入法Aを代替可能な挿入法として、挿入法Bを定めることができる。同様に、挿入法Bを代替可能な挿入法として、挿入法Aを定めることができる。特定部2040は、挿入法定義情報を利用して、現在使用されている挿入法に対応づけられている挿入法を特定し、特定した挿入法を、変更後の挿入法として特定する。
【0079】
ただし、現在使用している挿入法が操作者の技術レベルを超えていることが理由で、挿入法の変更が必要であると判定された場合、より難易度が高い挿入法に変更することは好ましくないと考えられる。そこで例えば、特定部2040は、現在使用されている挿入法に必要な技術レベルが、内視鏡スコープ40の操作者の技術レベルを超えていると判定された場合、現在使用されている挿入法に対応づけられている別の挿入法に必要な技術レベルが、現在使用されている挿入法に必要な技術レベルよりも低いか否かを判定する。現在使用されている挿入法に対応づけられている別の挿入法に必要な技術レベルが、現在使用されている挿入法に必要な技術レベルよりも低い場合、特定部2040は、当該別の挿入法を、変更後の挿入法として特定する。一方、現在使用されている挿入法に対応づけられている別の挿入法に必要な技術レベルが、現在使用されている挿入法に必要な技術レベル以上である場合、特定部2040は、挿入法を変更しないと判定する。
【0080】
また、このような判定を行う代わりに、挿入法に対してそれを代替可能な別の挿入法を対応づける際、後者の挿入法には必ず、前者の挿入法に必要な技術レベルよりも低い技術レベルで使用可能なものを採用するようにしてもよい。こうすることで、現在使用されている挿入法に対応づけられている挿入法を挿入法定義情報から取得した際、取得した挿入法に必要な技術レベルが必ず、現在使用されている挿入法に必要な技術レベルよりも低くなる。
【0081】
<<複数の方法の併用>>
特定部2040は、目標カテゴリ識別モデルと、現在使用されている挿入法の状態遷移モデルの双方を利用して、目標カテゴリを特定してもよい。例えば特定部2040は、目標カテゴリ識別モデルを利用する方法と、状態遷移モデルを利用する方法の双方で、目標カテゴリの候補とする複数の形状カテゴリを特定する。そして、特定部2040は、2つの方法から得られた候補において重複する形状カテゴリ(いずれの方法によっても目標カテゴリの候補として得られた形状カテゴリ)を、目標カテゴリとして特定する。
【0082】
その他にも例えば、特定部2040は、現在使用されている挿入法の状態遷移モデルにおいて、形状データ列50の最後の形状カテゴリから遷移可能な複数の形状カテゴリを、候補の形状カテゴリとして扱う。特定部2040は、候補の形状カテゴリそれぞれについて、状態遷移モデルから遷移確率を得る。また、特定部2040は、候補の形状カテゴリそれぞれについて、目標カテゴリ識別モデルから出力される確度を得る。さらに、特定部2040は、候補の形状カテゴリそれぞれについて、状態遷移モデルから得られた遷移確率と、目標カテゴリ識別モデルから得られた確度との統計値(例えば、平均値や最大値)を算出する。そして、特定部2040は、この統計値を利用して、目標カテゴリを特定する。例えば特定部2040は、当該統計値が最大である形状カテゴリを、目標カテゴリとして特定する。その他にも例えば、特定部2040は、候補の形状カテゴリをいずれも目標カテゴリとして扱い、当該統計値に基づく優先順位付けを行ってもよい。
【0083】
その他にも例えば、特定部2040は、目標カテゴリ識別モデルと状態遷移モデルのそれぞれで目標カテゴリを特定してもよい。例えば、目標カテゴリ識別モデルを利用して特定された目標カテゴリがカテゴリCであり、状態遷移モデルを利用して特定された目標カテゴリがカテゴリEであるとする。この場合、特定部2040は、カテゴリCとカテゴリEを、目標カテゴリとして特定する。この場合、目標情報20は、特定方法とその特定方法で特定された目標カテゴリとを対応付けて示すことが好適である。例えば前述の例では、「識別モデル:カテゴリC、状態遷移モデル:カテゴリE」などとすることで、特定方法とその特定方法で特定された目標カテゴリとの対応付けを表すことができる。
【0084】
<挿入法の特定方法>
ここで、現在使用されている挿入法を特定する方法について説明する。この方法には、様々なものを採用できる。例えば特定部2040は、形状データ列50を利用して、使用されうる複数の挿入法それぞれについて、その挿入法が使用されている確度を算出する。そして、特定部2040は、各挿入法について算出された確度に基づいて、複数の挿入法の中から、使用されている挿入法を特定する。なお、確度の算出方法については後述する。
【0085】
使用されている挿入法を、各挿入法について算出された確度に基づいて特定する方法には、様々な方法を採用できる。例えば特定部2040は、確度が最大である挿入法を、使用されている挿入法として特定する。その他にも例えば、特定部2040は、各挿入法について算出した確度に基づいて、使用されている挿入法の候補を複数特定し、これら複数の候補の中から、使用されている挿入法を特定する。例えば特定部2040は、確度の高さで上位 n 個(n>1)の挿入法を、使用されている挿入法の候補として特定する。その他にも例えば、特定部2040は、確度が閾値以上である挿入法を、使用されている挿入法の候補として特定する。
【0086】
使用されている挿入法を複数の候補の中から特定する方法には、種々の方法を採用できる。例えば複数の挿入法それぞれに対し、予め優先度を割り当てておく。この場合、例えば特定部2040は、候補の挿入法のうち、優先度が最も高い挿入法を、使用されている挿入法として特定する。その他にも例えば、特定部2040は、候補の挿入法それぞれについて、算出された確度に対して優先度に基づく重みを掛けることにより、確度の補正を行う。なお、優先度に基づく重みは、優先度が高いほど大きい値として、予め定めておく。特定部2040は、補正後の確度が最大である挿入法を、使用されている挿入法として特定する。
【0087】
その他にも例えば、複数の挿入法それぞれについて、重要な形状カテゴリや、重要な形状カテゴリ間の遷移(2つ以上の形状カテゴリの順列)を予め定めておく。この場合、特定部2040は、候補として特定された挿入法のうち、その挿入法について定められている重要な形状カテゴリや重要な形状カテゴリ間の遷移が形状データ列50に含まれているものを、使用されている挿入法として特定する。
【0088】
例えば、確度に基づいて、挿入法XとYが候補として特定されたとする。また、挿入法Xについて定められている重要な形状カテゴリがBであり、挿入法Yについて定められている重要な形状カテゴリがCであるとする。そして、形状データ列50が示している形状データ52の時系列が、「A、C、D、C、A」であるとする。この場合、形状データ列50には、挿入法Xにおいて重要な形状カテゴリである形状カテゴリBは含まれていない一方で、挿入法Yにおいて重要な形状カテゴリである形状カテゴリCは含まれている。そこで、特定部2040は、挿入法Yを、使用されている挿入法として特定する。
【0089】
なお、このように重要な形状カテゴリや形状カテゴリ間の遷移が形状データ列50に含まれている挿入法が、複数存在したとする。この場合、例えば特定部2040は、これら複数の挿入法のうち、算出された確度が高い挿入法を、使用されている挿入法として特定する。その他にも例えば、特定部2040は、重要な形状カテゴリや形状カテゴリ間の遷移が、形状データ列50の中により多く含まれている挿入法を、使用されている挿入法として特定してもよい。
【0090】
特定部2040は、内視鏡スコープ40の操作者に関する情報を用いて、候補の挿入法の中から、使用されている挿入法を特定してもよい。例えば操作者情報において、各操作者が使用しうる挿入法を示しておく。特定部2040は、候補の挿入法のうち、内視鏡スコープ40の操作者が使用しうる挿入法として定められているものを、使用されている挿入法として特定する。なお、候補の挿入法の中に、内視鏡スコープ40の操作者が使用しうる挿入法として定められているものが複数存在する場合、例えば特定部2040は、確度や前述した優先度の高さなどに基づいて、使用されている挿入法を特定する。
【0091】
その他にも例えば、内視鏡スコープ40の操作者に関する情報として、当該操作者の技術レベルを表す情報が利用されてもよい。この場合、挿入法定義情報において、各挿入法に必要な技術レベルを定めておく。特定部2040は、操作者の技術レベルと挿入法との関係に基づいて、複数の候補の中から、使用されている挿入法を特定する。
【0092】
特定部2040は、内視鏡スコープ40に設けられているカメラ10から得られる画像データを利用することで、候補の挿入法の中から、使用されている挿入法を特定してもよい。例えば特定部2040は、カメラ10から得られた画像データから特徴を抽出し、候補の挿入法のうち、その特徴に合致する挿入法を、使用されている挿入法として特定する。画像データから抽出される特徴としては、例えば、内視鏡スコープ40の先端を内臓の壁に押しつけたことによって画像全体が赤くなる現象(赤玉と呼ばれる)や、画面や内視鏡スコープ40の操作の特徴的な動きなどである。
【0093】
特定部2040は、複数の方法(例えば後述する、識別モデルを利用する方法と状態遷移モデルを利用する方法)それぞれで、各挿入法が使用されている確度を算出し、その算出結果に基づいて、使用されている挿入法を特定してもよい。例えば特定部2040は、各挿入法について、複数の方法それぞれで算出された確度の統計値(例えば平均値や最大値)を算出し、当該統計値が最大である挿入法を、使用されている挿入法として特定する。
【0094】
<挿入法の確度を算出する具体的な方法>
前述したように、例えば特定部2040は、使用されている挿入法を特定するために、複数の挿入法それぞれについて、その挿入法が使用されている確度を算出する。以下では、この確度を算出する方法について、2つの方法を具体例に例示する。
【0095】
<<識別モデルを利用する方法>>
この方法では、形状データ列50が入力されたことに応じて、各挿入法が使用されている確度を出力するように学習されている識別モデルが利用される。以下、この識別モデルを、挿入法識別モデルと呼ぶ。例えば挿入法識別モデルは、時系列データを扱うニューラルネットワークである RNN などを利用して実現される。ただし、挿入法識別モデルの実現に利用されるモデルの種類は、RNN には限定されず、時系列データを扱うことできる任意の種類のモデルを利用することができる。
【0096】
挿入法識別モデルの学習は、「内視鏡スコープの形状の時系列変化を表すデータ、正解の出力データ」という組み合わせを含む訓練データを利用して行われる。正解の出力データは、例えば、使用されている挿入法については最大の確度(例えば1)を示し、その他の挿入法については最小の確度(例えば0)を示すデータである。
【0097】
なお、挿入法識別モデルには、形状データ列50以外のデータがさらに入力されてもよい。形状データ列50以外のデータとしては、例えば、カメラ10から得られた静止画データ若しくは動画データ、又は内視鏡スコープ40の操作者の動きを表すデータ(例えば、操作者の手に取り付けられた加速度センサから得られる加速度の時系列データなど)などである。また、形状データ列50が内視鏡スコープ40の形状を形状カテゴリで表す場合において、内視鏡スコープ40の複数の箇所それぞれの3次元座標が、挿入法識別モデルに対してさらに入力されてもよい。これらのデータを利用する場合、挿入法識別モデルの訓練データにも、同種のデータを含めるようにする。こうすることで、挿入法識別モデルが、形状データ列50以外のデータをさらに利用して確度の算出を行うように学習される。
【0098】
なお、挿入法識別モデルは、各挿入法についての確度を出力する代わりに、使用されている挿入法を表すラベルを出力してもよい。この場合、例えば挿入法識別モデルは、最大の確度が算出された挿入法を表すラベルを、使用されている挿入法のラベルとして出力する。特定部2040は、挿入方式別モデルから出力されたラベルにより、使用されている挿入法を特定することができる。
【0099】
<<状態遷移モデルを利用する方法>>
この場合、複数の挿入法それぞれについて、その挿入法を使用した場合における内視鏡スコープ40の形状の時間変化のパターンを表す状態遷移モデルを定めておき、特定部2040からアクセス可能な記憶装置に予め格納しておく。この方法を利用する場合、各挿入法が使用されている確度は、例えば、その挿入法の状態遷移モデルと、形状データ列50によって表されている内視鏡スコープ40の時間変化との一致度合いを表している。すなわち、特定部2040は、複数の挿入法それぞれについて、その挿入法の状態遷移モデルが形状データ列50と一致する度合いを算出し、その算出結果に基づいて、使用されている挿入法を特定する。例えば、一致度合いが最大である挿入法が、使用されている挿入法として特定される。
【0100】
形状データ52が形状カテゴリを表している場合、例えば確度は、状態遷移モデルと形状データ列50との一致度合いを利用して、以下のように定められる。
【数1】
式(1)において、右辺の分子は、形状データ列50と状態遷移モデルとの間で一致する形状カテゴリの数を表している。一方、分母の単位区間長は、前述した単位区間に含まれる形状カテゴリの総数を表している。
【0101】
図8は、式(1)を用いた確度の算出方法を概念的に示す図である。この例では、挿入法Xの状態遷移モデルと形状データ列50とが比較されている。また、この例において、単位区間長は12である。
【0102】
挿入法Xの状態遷移モデルは、形状カテゴリA、C、E、及びGという4つの形状カテゴリで構成されている。形状データ列50には、挿入法Xの状態遷移モデルを構成する形状カテゴリのうち、形状カテゴリAが2つ、形状カテゴリCが2つ、及び形状カテゴリEが2つ含まれている。このことから、挿入法Xの状態遷移モデルと形状データ列50との間で一致する形状カテゴリの数は6である。よって、式(1)により、挿入法Xが使用されている確度として 0.5(6/12)が算出される。
【0103】
確度の算出式は式(1)に限定されない。例えば確度は、以下の式(2)を用いて算出されてもよい。
【数2】
【0104】
例えば図8の例では、単位区間の形状データ列50に含まれる形状カテゴリの種類は、形状カテゴリA、B、C、D、及びEの5種類である。一方、挿入法Xの状態遷移モデルと形状データ列50との間で互いに一致する形状カテゴリの種類は、形状カテゴリA、C、及びEの3種類である。よって、式(2)により、挿入法Xが使用されている確度として、0.6(3/5)が算出される。
【0105】
また、各挿入法についての確度を算出する際に、単位区間内に含まれる形状カテゴリの一致度合いだけでなく、状態遷移モデルに示されている遷移パス(順序関係)に従っている場合の確度を高めたり、従っていない場合の確度を低くするような計算式を加えることにより、遷移の順序も考慮して確度が算出されるようにしてもよい。
【0106】
<目標情報20の出力:S108>
出力部2060は目標情報20を出力する。目標情報20の出力方法は様々である。例えば出力部2060は、目標情報20を表す画面を、内視鏡スコープ40の操作者によって閲覧可能なディスプレイ装置に表示させる。その他にも例えば、出力部2060は、目標情報20を表すファイルを記憶装置に格納したり、任意の別の装置に送信したりしてもよい。
【0107】
目標情報20は、目標カテゴリを把握可能な種々の情報である。例えば目標情報20は、目標カテゴリの名称や、目標カテゴリに属する内視鏡スコープ40の形状を示す写真や絵などを示す。図1の例の目標情報20は、目標カテゴリであるカテゴリEについて、「カテゴリE」という名称と、カテゴリEに属する内視鏡スコープ40の形状を表す画像を示している。
【0108】
目標情報20は、目標カテゴリを表す情報以外の情報と共に出力されてもよい。例えば目標情報20は、カメラ10の映像(カメラ10から得られる動画データ)や、現在の内視鏡スコープ40の形状が属する形状カテゴリを示す情報と共に出力される。図9は、目標情報20を含む画面を例示する図である。画面70は、カメラ10の映像を示す領域72と、内視鏡スコープ40の形状に関する情報を示す領域74を含む。領域74には、現在の内視鏡スコープ40の形状が属する形状カテゴリと、目標カテゴリとが示されている。
【0109】
ここで、目標情報20に含まれる目標カテゴリは、1つに限定されない。例えば出力部2060は、特定部2040によって特定された目標カテゴリの複数の候補に関する情報を含んでもよい。図10は、目標カテゴリの候補として特定された複数の形状カテゴリを含む目標情報20を例示する図である。画面80は、図9の画面70と同様に、カメラ10の映像を示す領域82と、内視鏡スコープ40の形状に関する情報を示す領域84を含む。
【0110】
図10の例では、特定部2040により、目標カテゴリとして、カテゴリCとカテゴリEが特定されている。そのため、領域84には、目標カテゴリとして、カテゴリCとカテゴリEが示されている。また、各目標カテゴリには、その目標カテゴリについて算出された確度が示されている。
【0111】
目標カテゴリを複数示す場合、これらの表示態様を互いに異ならせてもよい。例えば複数の目標カテゴリに優先順位を付けることができる場合、優先順位が高い目標カテゴリほど強調して表示されるようにしてもよい。強調の方法としては、サイズを大きくしたり、枠を太くしたりする方法を採用できる。なお、目標カテゴリを複数特定する場合に、それらに優先順位を付ける方法は、前述した通りである。
【0112】
内視鏡操作支援装置2000は、内視鏡スコープ40に対して加えるべき操作に関する情報として、目標カテゴリに加えて又は目標カテゴリに代えて、他の情報を出力してもよい。例えば目標情報20は、内視鏡スコープ40の遷移先として適切な位置である目標位置を示してもよい。例えば特定部2040は、目標カテゴリに基づいて、内視鏡スコープ40の目標位置を特定する。内視鏡スコープ40の目標位置は、例えば、内視鏡スコープ40の先端を到達させるべき位置である。出力部2060は、目標カテゴリに加えて又は目標カテゴリに代えて、内視鏡スコープ40の目標位置を示す目標情報20を出力する。
【0113】
図11は、目標位置が含まれる目標情報20を例示する図である。図11の画面80では、領域84において、現在の内視鏡スコープ40の形状カテゴリを表す画像上に、目標位置を表すマーク86が示されている。この点を除き、図11の画面80は、図10の画面80と同じである。
【0114】
内視鏡スコープ40の目標位置は、目標カテゴリにおける内視鏡スコープ40の位置に基づいて特定できる。例えば特定部2040は、目標カテゴリのうち、確度が最大である形状カテゴリについて、挿入対象の内臓(ここでは大腸)のどの部位が内視鏡スコープ40の目標位置であるかを特定する。例えば図11の例では、カテゴリCにおいて内視鏡スコープ40の先端が位置している部位はS状結腸である。そこで特定部2040は、内視鏡スコープ40の現在の状況を表す画像上におけるS状結腸の部分に、マーク86を表示する。
【0115】
ここで、内視鏡スコープ40の目標位置とすべき位置(例えば、挿入対象の内臓の部位)は、形状カテゴリごとに予め定めておく。例えば、各形状カテゴリについて、その形状カテゴリの名称、その形状カテゴリにおける内視鏡スコープ40の形状を表す画像(例えば、画面70などに利用されている形状カテゴリの画像)、及び内視鏡スコープ40の目標位置などを示す情報(以下、カテゴリ情報)を、予め内視鏡操作支援装置2000からアクセス可能な記憶装置に格納しておく。内視鏡操作支援装置2000は、当該記憶装置からカテゴリ情報を取得して、目標情報20の生成に利用する。
【0116】
なお、目標位置の特定方法は、目標カテゴリに基づいて特定する方法に限定されない。例えば、内視鏡スコープ40の形状の時系列変化を表すデータが入力されたことに応じて目標位置を出力するように学習された識別モデル(以下、目標位置識別モデル)を利用することができる。目標位置は、例えば、体内の複数の所定部位のいずれかを表す。特定部2040は、目標位置識別モデルに対して形状データ列50を入力することにより、目標位置を特定する。
【0117】
目標位置識別モデルも、目標カテゴリ識別モデルと同様に、RNN などといった時系列データを扱うことができる種々のモデルで実現することができる。また、目標位置識別モデルは、例えば、「内視鏡スコープの形状の時系列変化を表すデータ、正解の目標位置」という組み合わせで構成される訓練データで学習することができる。
【0118】
なお、目標位置識別モデルは、各所定位置について目標位置である確度を出力するように構成されてもよい。この場合、特定部2040は、形状データ列50を目標位置識別モデルに入力することで各所定位置についての確度を得て、各所定位置について得られた確度に基づいて目標位置を特定する。例えば特定部2040は、確度が最大である所定位置を目標位置として扱う。その他にも例えば、特定部2040は、確度が閾値以上である複数の所定位置や、確度の高さで上位所定順位以内である複数の所定位置を目標位置の候補として扱い、当該候補の中から目標位置を特定してもよい。候補の所定位置から目標位置を特定する方法については、候補の形状カテゴリから目標カテゴリを特定する方法と同様の方法を利用することができる。
【0119】
また、特定部2040は、候補の所定位置をそれぞれ目標位置として扱ってよい。この際、これらの所定位置に対し、優先順位を決定してもよい。候補の所定位置について優先順位を決める方法には、候補の目標カテゴリについて優先順位を決める方法と同様の方法を利用できる。
【0120】
これまでの例における目標情報20では、内視鏡スコープ40の形状が平面で表されている。しかしながら、目標情報20は、内視鏡スコープ40の形状を立体的に表してもよい。
【0121】
図12は、内視鏡スコープ40の形状を3次元画像で表す目標情報20を例示する図である。画面90は、カメラ10の映像を示す領域92と、内視鏡スコープ40の形状を3次元画像で表す領域94を含む。領域94において、内視鏡スコープ40の形状は、内視鏡スコープ40の先端の位置の軌跡によって表されている。さらに、領域94には、内視鏡スコープ40の目標位置を表すマーク96が示されている。なお、目標位置とすべき内視鏡スコープ40の特定箇所(例えば先端)の3次元座標は、前述した、内視鏡スコープ40の各箇所の3次元座標を特定するための素子を、当該特定箇所に設けることで把握可能となる。
【0122】
目標情報20は、目標カテゴリに対応する内視鏡スコープ40の形状を立体的に示してもよい。図13は、目標カテゴリに対応する内視鏡スコープ40の形状が3次元画像で表されている目標情報20を例示する図である。画面100は、カメラ10の映像を示す領域102と、内視鏡スコープ40の形状を3次元画像で表す領域104を含む。領域104では、図12の領域94と同様に、内視鏡スコープ40の形状がその先端の位置の軌跡によって表されている。さらに、領域104では、目標カテゴリに対応する内視鏡スコープ40の形状が3次元画像106で表されている。言い換えれば、内視鏡スコープ40の形状をどのような形状に変更すべきなのかが、3次元画像106で表されている。
【0123】
ここで、3次元画像106を生成するためには、各形状カテゴリについて、その形状カテゴリに属する内視鏡スコープ40の形状を表す3次元データ(3次元座標の集合)が必要となる。そこで例えば、前述したカテゴリ情報に、各形状カテゴリについての3次元データを含めておく。出力部2060は、特定部2040によって特定された目標カテゴリについて取得したカテゴリ情報から、内視鏡スコープ40の形状を表す3次元データを取得し、その3次元データを利用して、3次元画像106を生成する。
【0124】
ただし、ある特定の形状における内視鏡スコープ40の各箇所の3次元座標は、内視鏡スコープ40が挿入される人の身体の大きさなどに応じて異なりうる(内視鏡スコープ40の先端の軌跡の図形が、相似であったとしても合同ではない)。そこで例えば、特定部2040は、目標カテゴリに対応する3次元データで表される図形を、内視鏡スコープ40の先端位置の軌跡の大きさに合わせて相似変換することにより、目標カテゴリの3次元画像106を生成する。例えば特定部2040は、内視鏡スコープ40の現在の形状が属する形状カテゴリに対応する3次元データを取得し、その3次元データと、内視鏡スコープ40の先端の軌跡とを比較することで、予め用意されている3次元データで表される図形の大きさに対する、内視鏡スコープ40の軌跡の大きさの比率を算出する。そして、出力部2060は、目標カテゴリに対応する3次元データで表される図形のサイズを、上記比率で相似変換することにより、目標カテゴリの3次元画像106を生成する。
【0125】
目標情報20は、目標カテゴリや目標位置の特定に利用された情報をさらに含んでいてもよい。例えば、現在使用されている挿入法の名称やその挿入法の状態遷移モデルの図が、目標情報20に含まれてもよい。さらに、特定部2040によって挿入法を変更する必要があると判定された場合、目標情報20には、変更後の挿入法の名称や、変更後の挿入法の状態遷移モデルの図が含まれてもよい。
【0126】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0127】
なお、上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM、CD-R、CD-R/W、半導体メモリ(例えば、マスク ROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0128】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
体内に挿入された内視鏡スコープについて、その形状カテゴリの時間変化を表す形状データ列を取得する取得部と、
前記形状データ列に基づいて、前記内視鏡スコープの形状カテゴリの遷移先として適している目標カテゴリ、又は、前記内視鏡スコープを遷移させる位置として適している位置である目標位置を特定する特定部と、
前記目標カテゴリ又は前記目標位置に関する情報である目標情報を出力する出力部と、を有する内視鏡操作支援装置。
(付記2)
前記特定部は、内視鏡スコープの形状の時間変化を表すデータ列が入力されたことに応じて前記目標カテゴリ又は前記目標位置を出力するように構成されている学習済みの識別モデルに対し、前記形状データ列を入力することにより、前記目標カテゴリ又は前記目標位置を特定する、付記1に記載の内視鏡操作支援装置。
(付記3)
前記特定部は、内視鏡スコープの複数の挿入法それぞれについて定められている、内視鏡スコープの形状カテゴリの時間遷移パターンを表す状態遷移モデルの中から、現在使用されている挿入法に対応する前記状態遷移モデルを取得し、前記取得した状態遷移モデルを利用して前記目標カテゴリを特定する、付記1に記載の内視鏡操作支援装置。
(付記4)
前記特定部は、前記取得した状態遷移モデルの中から、前記形状データ列における最後の前記形状カテゴリを特定し、前記取得した状態遷移モデルにおいて前記特定した形状カテゴリから遷移可能な前記形状カテゴリを、前記目標カテゴリとして特定する、付記3に記載の内視鏡操作支援装置。
(付記5)
前記特定部は、
前記内視鏡スコープの挿入法を変更する必要があるか否かを判定し、
前記内視鏡スコープの挿入法を変更する必要がある場合、変更後の挿入法を特定し、
前記変更後の挿入法に対応する前記状態遷移モデルを利用して前記目標カテゴリを特定する、付記3に記載の内視鏡操作支援装置。
(付記6)
前記特定部は、前記内視鏡スコープの操作者に関する情報に基づいて、前記内視鏡スコープの挿入法を変更する必要があるか否かを判定する、付記5に記載の内視鏡操作支援装置。
(付記7)
前記特定部は、
前記目標カテゴリの複数の候補、又は前記目標位置の候補の候補を特定し、
各前記形状カテゴリ又は各位置について定められている優先度に基づいて、複数の候補の中から、前記目標カテゴリ又は前記目標位置を特定する、付記1から6いずれか一項に記載の内視鏡操作支援装置。
(付記8)
各前記形状カテゴリ又は各位置の優先度は、前記内視鏡スコープの挿入法又は前記内視鏡スコープの操作者に関する情報に基づいて特定される、付記1から7いずれか一項に記載の内視鏡操作支援装置。
(付記9)
前記目標情報は、前記内視鏡スコープの現在の前記形状カテゴリを表す情報を含む、付記1から8いずれか一項に記載の内視鏡操作支援装置。
(付記10)
前記目標情報は、現在の前記内視鏡スコープの形状を表す画像及び前記目標位置を表す画像が重畳された、体内の画像を含む、付記9に記載の内視鏡操作支援装置。
(付記11)
前記目標情報は、前記目標カテゴリ又は前記目標位置の複数の候補を、各候補が前記目標カテゴリ又は前記目標位置である確度と共に示す、付記1から10いずれか一項に記載の内視鏡操作支援装置。
(付記12)
コンピュータによって実行される制御方法であって、
体内に挿入された内視鏡スコープについて、その形状カテゴリの時間変化を表す形状データ列を取得する取得ステップと、
前記形状データ列に基づいて、前記内視鏡スコープの形状カテゴリの遷移先として適している目標カテゴリ、又は、前記内視鏡スコープを遷移させる位置として適している位置である目標位置を特定する特定ステップと、
前記目標カテゴリ又は前記目標位置に関する情報である目標情報を出力する出力ステップと、を有する制御方法。
(付記13)
前記特定ステップにおいて、内視鏡スコープの形状の時間変化を表すデータ列が入力されたことに応じて前記目標カテゴリ又は前記目標位置を出力するように構成されている学習済みの識別モデルに対し、前記形状データ列を入力することにより、前記目標カテゴリ又は前記目標位置を特定する、付記12に記載の制御方法。
(付記14)
前記特定ステップにおいて、内視鏡スコープの複数の挿入法それぞれについて定められている、内視鏡スコープの形状カテゴリの時間遷移パターンを表す状態遷移モデルの中から、現在使用されている挿入法に対応する前記状態遷移モデルを取得し、前記取得した状態遷移モデルを利用して前記目標カテゴリを特定する、付記12に記載の制御方法。
(付記15)
前記特定ステップにおいて、前記取得した状態遷移モデルの中から、前記形状データ列における最後の前記形状カテゴリを特定し、前記取得した状態遷移モデルにおいて前記特定した形状カテゴリから遷移可能な前記形状カテゴリを、前記目標カテゴリとして特定する、付記14に記載の制御方法。
(付記16)
前記特定ステップにおいて、
前記内視鏡スコープの挿入法を変更する必要があるか否かを判定し、
前記内視鏡スコープの挿入法を変更する必要がある場合、変更後の挿入法を特定し、
前記変更後の挿入法に対応する前記状態遷移モデルを利用して前記目標カテゴリを特定する、付記14に記載の制御方法。
(付記17)
前記特定ステップにおいて、前記内視鏡スコープの操作者に関する情報に基づいて、前記内視鏡スコープの挿入法を変更する必要があるか否かを判定する、付記16に記載の制御方法。
(付記18)
前記特定ステップにおいて、
前記目標カテゴリの複数の候補、又は前記目標位置の候補の候補を特定し、
各前記形状カテゴリ又は各位置について定められている優先度に基づいて、複数の候補の中から、前記目標カテゴリ又は前記目標位置を特定する、付記12から17いずれか一項に記載の制御方法。
(付記19)
各前記形状カテゴリ又は各位置の優先度は、前記内視鏡スコープの挿入法又は前記内視鏡スコープの操作者に関する情報に基づいて特定される、付記12から18いずれか一項に記載の制御方法。
(付記20)
前記目標情報は、前記内視鏡スコープの現在の前記形状カテゴリを表す情報を含む、付記12から19いずれか一項に記載の制御方法。
(付記21)
前記目標情報は、現在の前記内視鏡スコープの形状を表す画像及び前記目標位置を表す画像が重畳された、体内の画像を含む、付記20に記載の制御方法。
(付記22)
前記目標情報は、前記目標カテゴリ又は前記目標位置の複数の候補を、各候補が前記目標カテゴリ又は前記目標位置である確度と共に示す、付記12から21いずれか一項に記載の制御方法。
(付記23)
プログラムが格納されているコンピュータ可読媒体であって、
前記プログラムは、コンピュータに、
体内に挿入された内視鏡スコープについて、その形状カテゴリの時間変化を表す形状データ列を取得する取得ステップと、
前記形状データ列に基づいて、前記内視鏡スコープの形状カテゴリの遷移先として適している目標カテゴリ、又は、前記内視鏡スコープを遷移させる位置として適している位置である目標位置を特定する特定ステップと、
前記目標カテゴリ又は前記目標位置に関する情報である目標情報を出力する出力ステップと、実行させるコンピュータ可読媒体。
(付記24)
前記特定ステップにおいて、内視鏡スコープの形状の時間変化を表すデータ列が入力されたことに応じて前記目標カテゴリ又は前記目標位置を出力するように構成されている学習済みの識別モデルに対し、前記形状データ列を入力することにより、前記目標カテゴリ又は前記目標位置を特定する、付記23に記載のコンピュータ可読媒体。
(付記25)
前記特定ステップにおいて、内視鏡スコープの複数の挿入法それぞれについて定められている、内視鏡スコープの形状カテゴリの時間遷移パターンを表す状態遷移モデルの中から、現在使用されている挿入法に対応する前記状態遷移モデルを取得し、前記取得した状態遷移モデルを利用して前記目標カテゴリを特定する、付記23に記載のコンピュータ可読媒体。
(付記26)
前記特定ステップにおいて、前記取得した状態遷移モデルの中から、前記形状データ列における最後の前記形状カテゴリを特定し、前記取得した状態遷移モデルにおいて前記特定した形状カテゴリから遷移可能な前記形状カテゴリを、前記目標カテゴリとして特定する、付記25に記載のコンピュータ可読媒体。
(付記27)
前記特定ステップにおいて、
前記内視鏡スコープの挿入法を変更する必要があるか否かを判定し、
前記内視鏡スコープの挿入法を変更する必要がある場合、変更後の挿入法を特定し、
前記変更後の挿入法に対応する前記状態遷移モデルを利用して前記目標カテゴリを特定する、付記25に記載のコンピュータ可読媒体。
(付記28)
前記特定ステップにおいて、前記内視鏡スコープの操作者に関する情報に基づいて、前記内視鏡スコープの挿入法を変更する必要があるか否かを判定する、付記27に記載のコンピュータ可読媒体。
(付記29)
前記特定ステップにおいて、
前記目標カテゴリの複数の候補、又は前記目標位置の候補の候補を特定し、
各前記形状カテゴリ又は各位置について定められている優先度に基づいて、複数の候補の中から、前記目標カテゴリ又は前記目標位置を特定する、付記23から28いずれか一項に記載のコンピュータ可読媒体。
(付記30)
各前記形状カテゴリ又は各位置の優先度は、前記内視鏡スコープの挿入法又は前記内視鏡スコープの操作者に関する情報に基づいて特定される、付記23から29いずれか一項に記載のコンピュータ可読媒体。
(付記31)
前記目標情報は、前記内視鏡スコープの現在の前記形状カテゴリを表す情報を含む、付記23から30いずれか一項に記載のコンピュータ可読媒体。
(付記32)
前記目標情報は、現在の前記内視鏡スコープの形状を表す画像及び前記目標位置を表す画像が重畳された、体内の画像を含む、付記31に記載のコンピュータ可読媒体。
(付記33)
前記目標情報は、前記目標カテゴリ又は前記目標位置の複数の候補を、各候補が前記目標カテゴリ又は前記目標位置である確度と共に示す、付記23から32いずれか一項に記載のコンピュータ可読媒体。
(付記34)
コンピュータに、
体内に挿入された内視鏡スコープについて、その形状カテゴリの時間変化を表す形状データ列を取得する取得ステップと、
前記形状データ列に基づいて、前記内視鏡スコープの形状カテゴリの遷移先として適している目標カテゴリ、又は、前記内視鏡スコープを遷移させる位置として適している位置である目標位置を特定する特定ステップと、
前記目標カテゴリ又は前記目標位置に関する情報である目標情報を出力する出力ステップと、実行させるプログラム。
(付記35)
前記特定ステップにおいて、内視鏡スコープの形状の時間変化を表すデータ列が入力されたことに応じて前記目標カテゴリ又は前記目標位置を出力するように構成されている学習済みの識別モデルに対し、前記形状データ列を入力することにより、前記目標カテゴリ又は前記目標位置を特定する、付記34に記載のプログラム。
(付記36)
前記特定ステップにおいて、内視鏡スコープの複数の挿入法それぞれについて定められている、内視鏡スコープの形状カテゴリの時間遷移パターンを表す状態遷移モデルの中から、現在使用されている挿入法に対応する前記状態遷移モデルを取得し、前記取得した状態遷移モデルを利用して前記目標カテゴリを特定する、付記34に記載のプログラム。
(付記37)
前記特定ステップにおいて、前記取得した状態遷移モデルの中から、前記形状データ列における最後の前記形状カテゴリを特定し、前記取得した状態遷移モデルにおいて前記特定した形状カテゴリから遷移可能な前記形状カテゴリを、前記目標カテゴリとして特定する、付記36に記載のプログラム。
(付記38)
前記特定ステップにおいて、
前記内視鏡スコープの挿入法を変更する必要があるか否かを判定し、
前記内視鏡スコープの挿入法を変更する必要がある場合、変更後の挿入法を特定し、
前記変更後の挿入法に対応する前記状態遷移モデルを利用して前記目標カテゴリを特定する、付記36に記載のプログラム。
(付記39)
前記特定ステップにおいて、前記内視鏡スコープの操作者に関する情報に基づいて、前記内視鏡スコープの挿入法を変更する必要があるか否かを判定する、付記38に記載のプログラム。
(付記40)
前記特定ステップにおいて、
前記目標カテゴリの複数の候補、又は前記目標位置の候補の候補を特定し、
各前記形状カテゴリ又は各位置について定められている優先度に基づいて、複数の候補の中から、前記目標カテゴリ又は前記目標位置を特定する、付記34から39いずれか一項に記載のプログラム。
(付記41)
各前記形状カテゴリ又は各位置の優先度は、前記内視鏡スコープの挿入法又は前記内視鏡スコープの操作者に関する情報に基づいて特定される、付記34から40いずれか一項に記載のプログラム。
(付記42)
前記目標情報は、前記内視鏡スコープの現在の前記形状カテゴリを表す情報を含む、付記34から41いずれか一項に記載のプログラム。
(付記43)
前記目標情報は、現在の前記内視鏡スコープの形状を表す画像及び前記目標位置を表す画像が重畳された、体内の画像を含む、付記42に記載のプログラム。
(付記44)
前記目標情報は、前記目標カテゴリ又は前記目標位置の複数の候補を、各候補が前記目標カテゴリ又は前記目標位置である確度と共に示す、付記34から43いずれか一項に記載のプログラム。
【符号の説明】
【0129】
10 カメラ
20 目標情報
40 内視鏡スコープ
50 形状データ列
51 時点
52 形状データ
60 内視鏡制御装置
70 画面
72 領域
74 領域
80 画面
82 領域
84 領域
86 マーク
90 画面
92 領域
94 領域
96 マーク
100 画面
102 領域
104 領域
106 3次元画像
500 コンピュータ
502 バス
504 プロセッサ
506 メモリ
508 ストレージデバイス
510 入出力インタフェース
512 ネットワークインタフェース
2000 内視鏡操作支援装置
2020 取得部
2040 特定部
2060 出力部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13