(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-24
(45)【発行日】2024-10-02
(54)【発明の名称】内視鏡操作支援装置、制御方法、及びプログラム
(51)【国際特許分類】
A61B 1/00 20060101AFI20240925BHJP
A61B 1/045 20060101ALI20240925BHJP
G02B 23/24 20060101ALI20240925BHJP
【FI】
A61B1/00 552
A61B1/045 614
A61B1/045 623
G02B23/24 A
(21)【出願番号】P 2022556287
(86)(22)【出願日】2020-10-21
(86)【国際出願番号】 JP2020039529
(87)【国際公開番号】W WO2022085106
(87)【国際公開日】2022-04-28
【審査請求日】2023-04-13
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成30年度、国立研究開発法人医薬基盤・健康・栄養研究所「戦略的イノベーション創造プログラム(SIP)第2期 AI(人工知能)ホスピタルによる高度診断・治療システム」に関する委託研究、産業技術力強化法第17条の適用を受ける特許出願
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(73)【特許権者】
【識別番号】304050923
【氏名又は名称】オリンパスメディカルシステムズ株式会社
(74)【代理人】
【識別番号】100103894
【氏名又は名称】家入 健
(72)【発明者】
【氏名】吉岡 賢
(72)【発明者】
【氏名】上條 憲一
(72)【発明者】
【氏名】真野 美枝子
(72)【発明者】
【氏名】小林 勝彦
(72)【発明者】
【氏名】池田 裕一
(72)【発明者】
【氏名】藤田 浩正
【審査官】山口 剛
(56)【参考文献】
【文献】国際公開第2019/008726(WO,A1)
【文献】国際公開第2016/207973(WO,A1)
【文献】国際公開第2016/135966(WO,A1)
【文献】特開2015-196075(JP,A)
【文献】国際公開第2019/003272(WO,A1)
【文献】国際公開第2018/235185(WO,A1)
【文献】国際公開第2018/069992(WO,A1)
【文献】国際公開第2004/039249(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00 - 1/32
(57)【特許請求の範囲】
【請求項1】
内視鏡スコープの形状データの時間変化を表す形状データ列を取得する取得部と、
前記形状データ列を用いて前記内視鏡スコープの挿入に使用されている挿入法を特定する特定部と、
前記特定された挿入法に関する挿入法情報を出力する出力部と、を有し、
前記特定部は、
各挿入法が使用されている確度に基づいて、使用されている挿入法の複数の候補を特定し、
各挿入法について定められている優先度に基づいて、挿入法の複数の候補の中から、使用されている挿入法を特定する、内視鏡操作支援装置。
【請求項2】
前記特定部は、前記形状データ列を用いて、内視鏡スコープの複数の挿入法それぞれについて、その挿入法が使用されている確度を算出し、前記算出した確度に基づいて、使用されている挿入法を特定する、請求項
1に記載の内視鏡操作支援装置。
【請求項3】
前記特定部は、複数の挿入法それぞれについて、その挿入法を使用した場合における内視鏡スコープの形状の時間変化のパターンを表す状態遷移モデルを取得し、その状態遷移モデルと前記形状データ列との一致度合いに基づいて、その挿入法が使用されている確度を算出する、請求項
2に記載の内視鏡操作支援装置。
【請求項4】
前記特定部は、内視鏡スコープの形状データの時間変化を表すデータ列が入力されたことに応じて、複数の挿入法それぞれが使用されている確度を出力するように構成されている学習済みの識別モデルに対し、前記形状データ列を入力することにより、各挿入法が使用されている確度を特定する、請求項
2に記載の内視鏡操作支援装置。
【請求項5】
コンピュータによって実行される制御方法であって、
内視鏡スコープの形状データの時間変化を表す形状データ列を取得する取得ステップと、
前記形状データ列を用いて前記内視鏡スコープの挿入に使用されている挿入法を特定する特定ステップと、
前記特定された挿入法に関する挿入法情報を出力する出力ステップと、を有し、
前記特定ステップにおいて、
各挿入法が使用されている確度に基づいて、使用されている挿入法の複数の候補を特定し、
各挿入法について定められている優先度に基づいて、挿入法の複数の候補の中から、使用されている挿入法を特定する、制御方法。
【請求項6】
コンピュータに、
内視鏡スコープの形状データの時間変化を表す形状データ列を取得する取得ステップと、
前記形状データ列を用いて前記内視鏡スコープの挿入に使用されている挿入法を特定する特定ステップと、
前記特定された挿入法に関する挿入法情報を出力する出力ステップと、を実行させ、
前記特定ステップにおいて、
各挿入法が使用されている確度に基づいて、使用されている挿入法の複数の候補を特定し、
各挿入法について定められている優先度に基づいて、挿入法の複数の候補の中から、使用されている挿入法を特定する、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は内視鏡の操作を支援する手法に関する。
【背景技術】
【0002】
内視鏡を利用した手術や検査等を支援する装置が開発されている。例えば特許文献1は、内視鏡操作に関する現状を推定し、その状況に応じた補助情報を出力する技術を開示している。内視鏡操作に関する現状の例としては、例えば、「大きな問題なく挿入中」や「過剰に近接した状態が続いている」などといったものが開示されている。また、補助情報は、現状の問題の解決に有効な内視鏡の操作を示している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
内視鏡操作の支援となる情報は、上述した情報に限定されない。本開示の目的は、内視鏡操作の支援となる新たな情報を提示する技術を提供することである。
【課題を解決するための手段】
【0005】
本開示の内視鏡操作支援装置は、内視鏡スコープの形状データの時間変化を表す形状データ列を取得する取得部と、前記形状データ列を用いて前記内視鏡スコープの挿入に使用されている挿入法を特定する特定部と、前記特定された挿入法に関する挿入法情報を出力する出力部と、を有する。
【0006】
本開示の制御方法は、コンピュータによって実行される。当該制御方法は、内視鏡スコープの形状データの時間変化を表す形状データ列を取得する取得ステップと、前記形状データ列を用いて前記内視鏡スコープの挿入に使用されている挿入法を特定する特定ステップと、前記特定された挿入法に関する挿入法情報を出力する出力ステップと、を有する。
【0007】
本開示のコンピュータ可読媒体は、本発明の制御方法をコンピュータに実行させるプログラムを格納している。
【発明の効果】
【0008】
本開示によれば、内視鏡操作の支援となる新たな情報を提示する技術が提供される。
【図面の簡単な説明】
【0009】
【
図1】実施形態1の内視鏡操作支援装置の動作の概要を例示する図である。
【
図2】実施形態1の内視鏡操作支援装置の機能構成を例示するブロック図である。
【
図3】内視鏡操作支援装置を実現するコンピュータのハードウエア構成を例示するブロック図である。
【
図4】内視鏡操作支援装置の利用環境の具体例を示す図である
。
【
図5】実施形態1の内視鏡操作支援装置によって実行される処理の流れを例示するフローチャートである。
【
図6】形状データ列の構成をテーブル形式で例示する図である。
【
図7】式(1)を用いた確度の算出方法を概念的に示す図である。
【発明を実施するための形態】
【0010】
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。また、特に説明しない限り、所定値や閾値などといった予め定められている値は、その値を利用する装置からアクセス可能な記憶装置に予め格納されている。
【0011】
図1は、実施形態1の内視鏡操作支援装置2000の動作の概要を例示する図である。ここで、
図1は、内視鏡操作支援装置2000の概要の理解を容易にするための図であり、内視鏡操作支援装置2000の動作は、
図1に示したものに限定されない。
【0012】
内視鏡のスコープを体内に挿入するための操作方法(以下、挿入法又は手技パターンと呼ぶ)には、様々な種類がある。例として、軸保持短縮法、Push 法、又は αループを形成する方法などがある。内視鏡操作支援装置2000は、内視鏡スコープ40の挿入に使用されている挿入法を特定し、特定した挿入法に関する情報である挿入法情報20を出力する。
【0013】
ここで、内視鏡スコープ40の挿入は、内視鏡スコープ40の形状を様々に変えながら行われる。そして、内視鏡スコープ40の形状をどのように変化させていくのかは、挿入法によって異なる。そのため、内視鏡スコープ40の形状の時間変化に基づいて、使用されている挿入法を特定することができる。
【0014】
そこで内視鏡操作支援装置2000は、内視鏡スコープ40の形状を時系列で表す形状データ列50を取得する。次に、内視鏡操作支援装置2000は、形状データ列50を利用して、内視鏡スコープ40の挿入に利用されている挿入法を特定する。そして、内視鏡操作支援装置2000は、特定した挿入法に関する挿入法情報20を生成して出力する。例えば挿入法情報20は、特定した挿入法の名称を示す。
【0015】
<作用効果の例>
以上のように、本実施形態の内視鏡操作支援装置2000は、内視鏡スコープ40の形状の時間変化を表す形状データ列50を利用して、内視鏡スコープ40の挿入に使用されている挿入法を特定し、当該挿入法に関する挿入法情報20を出力する。挿入法情報20を利用することにより、内視鏡スコープ40の操作者などは、内視鏡スコープ40の挿入に使用されている挿入法を把握することができる。
【0016】
例えば、内視鏡スコープ40の実際の動きが、操作者が意図している動きと異なってしまうことがありうる。そのため、操作者が或る挿入法を実施しているつもりでも、実際には、その挿入法を実施できていないことがありうる。本実施形態の内視鏡操作支援装置2000を利用すれば、内視鏡スコープ40の操作者は、意図した挿入法を実施できているか否かを容易に把握することができる。意図した挿入法を実施できている場合、操作者は、意図した挿入法を実施できていることを把握した上で、自信を持って内視鏡スコープ40の操作を続けることができる。また、意図した挿入法を実施できていない場合、操作者は、意図した挿入法を実施できていないことを把握した上で、意図した挿入法を実施するために、操作を修正することができる。
【0017】
また、挿入法情報20を記憶装置に格納すれば、内視鏡スコープ40の操作に利用された挿入法の記録を残すことができる。このような記録を残すことにより、今後の内視鏡手術や内視鏡検査などの運用に役立てることができる。例えば、ベテランの医師等が行った内視鏡手術において使用された挿入法の記録を残すことにより、ベテランの医師の技術を他の医師が共有できるようになる。その他にも例えば、使用された挿入法の記録をカルテに対応づけて残すことにより、患者への説明などに利用することができる。また、内視鏡操作支援装置2000は、特定した挿入法の情報に基づいて、操作者に対する操作ガイドを行うように構成されてもよい。これにより、操作者が行おうとしている挿入法に応じた操作ガイドが可能になる。
【0018】
以下、本実施形態の内視鏡操作支援装置2000について、より詳細に説明する。
【0019】
<機能構成の例>
図2は、実施形態1の内視鏡操作支援装置2000の機能構成を例示するブロック図である。内視鏡操作支援装置2000は、取得部2020、特定部2040、及び出力部2060を有する。取得部2020は形状データ列50を取得する。特定部2040は、形状データ列50を用いて、内視鏡スコープ40の挿入に使用されている挿入法を特定する。出力部2060は、特定された挿入法に関する挿入法情報20を出力する。
【0020】
<ハードウエア構成の例>
内視鏡操作支援装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、内視鏡操作支援装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
【0021】
図3は、内視鏡操作支援装置2000を実現するコンピュータ500のハードウエア構成を例示するブロック図である。コンピュータ500は、任意のコンピュータである。例えばコンピュータ500は、PC(Personal Computer)やサーバマシンなどといった、据え置き型のコンピュータである。その他にも例えば、コンピュータ500は、スマートフォンやタブレット端末などといった可搬型のコンピュータである。コンピュータ500は、内視鏡操作支援装置2000を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。
【0022】
例えば、コンピュータ500に対して所定のアプリケーションをインストールすることにより、コンピュータ500で、内視鏡操作支援装置2000の各機能が実現される。上記アプリケーションは、内視鏡操作支援装置2000の機能構成部を実現するためのプログラムで構成される。
【0023】
コンピュータ500は、バス502、プロセッサ504、メモリ506、ストレージデバイス508、入出力インタフェース510、及びネットワークインタフェース512を有する。バス502は、プロセッサ504、メモリ506、ストレージデバイス508、入出力インタフェース510、及びネットワークインタフェース512が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ504などを互いに接続する方法は、バス接続に限定されない。
【0024】
プロセッサ504は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、又は FPGA(Field-Programmable Gate Array)などの種々のプロセッサである。メモリ506は、RAM(Random Access Memory)などを用いて実現される主記憶装置である。ストレージデバイス508は、ハードディスク、SSD(Solid State Drive)、メモリカード、又は ROM(Read Only Memory)などを用いて実現される補助記憶装置である。
【0025】
入出力インタフェース510は、コンピュータ500と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース510には、後述する内視鏡制御装置60が接続される。その他にも例えば、入出力インタフェース510には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。
【0026】
ネットワークインタフェース512は、コンピュータ500をネットワークに接続するためのインタフェースである。このネットワークは、LAN(Local Area Network)であってもよいし、WAN(Wide Area Network)であってもよい。
【0027】
ストレージデバイス508は、内視鏡操作支援装置2000の各機能構成部を実現するプログラム(前述したアプリケーションを実現するプログラム)を記憶している。プロセッサ504は、このプログラムをメモリ506に読み出して実行することで、内視鏡操作支援装置2000の各機能構成部を実現する。
【0028】
内視鏡操作支援装置2000は、1つのコンピュータ500で実現されてもよいし、複数のコンピュータ500で実現されてもよい。後者の場合において、各コンピュータ500の構成は同一である必要はなく、それぞれ異なるものとすることができる。
【0029】
<内視鏡操作支援装置2000の利用環境の例>
図4は、内視鏡操作支援装置2000の利用環境の具体例を示す図である。例えば内視鏡操作支援装置2000は、内視鏡スコープ40及び内視鏡制御装置60と共に利用される。内視鏡スコープ40は、体内に挿入されるスコープであり、カメラ10が設けられている。カメラ10によって生成される動画データを閲覧することで、体内の様子を視認することができる。
【0030】
内視鏡制御装置60は、内視鏡スコープ40を利用して手術や検査を行う際に利用される制御装置である。例えば内視鏡制御装置60は、内視鏡スコープ40に設けられているカメラから得られたビデオデータに対して種々の加工をすることで閲覧用のビデオデータを生成し、生成したビデオデータを出力する。ビデオデータに対する加工としては、例えば、ビデオデータの色又は明るさを調整する処理や、ビデオデータに種々の情報を重畳する処理などである。
【0031】
例えば内視鏡操作支援装置2000は、内視鏡制御装置60を経由して、種々の情報を取得する。例えば内視鏡操作支援装置2000は、内視鏡制御装置60から、カメラ10によって生成された静止画データや動画データ(以下、これらをまとめて画像データと呼ぶ)を取得する。
【0032】
なお、内視鏡スコープ40から得られるデータは、カメラ10によって生成される画像データに限定されない。例えば内視鏡スコープ40には、内視鏡スコープ40の複数箇所それぞれについての3次元座標を得るための素子が設けられていてもよい。この場合、内視鏡制御装置60は、当該素子を利用することにより、内視鏡スコープ40の複数箇所それぞれについて、その3次元座標を特定する。このようにして得た、内視鏡スコープ40の複数箇所についての3次元座標を利用することで、内視鏡スコープ40の形状を把握することができる。
【0033】
<処理の流れ>
図5は、実施形態1の内視鏡操作支援装置2000によって実行される処理の流れを例示するフローチャートである。取得部2020は形状データ列50を取得する(S102)。特定部2040は、形状データ列50を利用して、使用されている挿入法を特定する(S104)。特定部2040は、特定した挿入法についての挿入法情報20を出力する(S106)。
【0034】
<形状データ列50について>
形状データ列50は、内視鏡スコープ40の形状を時系列で表すデータである。例えば形状データ列50は、複数の時刻それぞれについて、その時刻における内視鏡スコープ40の形状を示す。
図6は、形状データ列50の構成をテーブル形式で例示する図である。
図6の形状データ列50は、時点51及び形状データ52を含む。形状データ列50の各レコードは、時点51に示されている時点において、内視鏡スコープ40の形状が、形状データ52に示されている形状であったことを表している。時点51は、時刻で表されてもよいし、時刻以外で表されてもよい。後者の場合、例えば時点51は、シーケンス番号のように、各形状データ52に対して時系列の順に割り当てられる相対的な数値を示す。
【0035】
内視鏡スコープ40の形状を表す方法は様々である。例えば内視鏡スコープ40の形状は、内視鏡スコープ40の複数の特定箇所それぞれの3次元座標の組み合わせによって表される。 その他にも例えば、内視鏡スコープ40の形状は、予め定められた複数の形状カテゴリの中の1つで表されてもよい。例えば形状カテゴリとしては、「直線」、「小さなカーブ」、「大きなカーブ」、又は「腹部張り出し」などといった種々のカテゴリを定義することができる。
図6において、形状データ52は、形状カテゴリを示している。
【0036】
内視鏡スコープ40の形状がどの形状カテゴリに属するのかは、例えば、前述した内視鏡スコープ40の複数の特定箇所それぞれの3次元座標を利用して特定することができる。例えば、形状カテゴリの特定には、識別モデル(以下、形状識別モデル)が利用される。形状識別モデルは、ニューラルネットワークやサポートベクトルマシンなどといった種々の種類のモデルで実現することができる。
【0037】
形状識別モデルは、内視鏡スコープ40の複数の特定箇所それぞれの3次元座標が入力されたことに応じて、内視鏡スコープ40の形状カテゴリを表すラベルを出力するように、予め学習されている。複数の時点それぞれについて、その時点における内視鏡スコープ40の複数の特定箇所それぞれの3次元座標を、形状識別モデルに入力することにより、その時点における内視鏡スコープ40の形状カテゴリを特定することができる。なお、形状識別モデルの学習は、「内視鏡スコープ40の複数の特定箇所それぞれの3次元座標、正解の形状カテゴリを表すラベル」という組み合わせを含む訓練データを利用することで行うことができる。
【0038】
<形状データ列50の取得:S102>
取得部2020は、形状データ列50を取得する(S102)。取得部2020が形状データ列50を取得する方法は様々である。例えば取得部2020は、取得部2020からアクセス可能な記憶装置に格納されている形状データ列50を、当該記憶装置にアクセスすることによって取得する。当該記憶装置は、内視鏡操作支援装置2000の内部に設けられていてもよいし、内視鏡操作支援装置2000の外部に設けられていてもよい。その他にも例えば、取得部2020は、他の装置から送信された形状データ列50を受信することにより、形状データ列50を取得してもよい。
【0039】
形状データ列50が内視鏡スコープ40の形状を形状カテゴリで表す場合、各時点における内視鏡スコープ40の形状カテゴリを特定する処理が必要となる。この処理は、内視鏡操作支援装置2000によって行われてもよいし、内視鏡操作支援装置2000以外によって行われてもよい。前者の場合、取得部2020は、内視鏡操作支援装置2000の内部で生成された形状データ列50を取得する。例えばこの場合、形状データ列50は、内視鏡操作支援装置2000の内部の記憶装置に格納されている。一方、形状データ列50が内視鏡操作支援装置2000以外の装置によって生成される場合、例えば取得部2020は、形状データ列50を生成した装置にアクセスすることで形状データ列50を取得したり、その装置から送信された形状データ列50を受信する。
【0040】
ここで、使用されている挿入法は、時間と共に変わりうる。そこで例えば、内視鏡操作支援装置2000は、所定長の区間(以下、単位区間)ごとに、その区間における形状データ52の時間変化を表す形状データ列50を取得し、その形状データ列50によって表されている挿入法を特定することが好適である。この場合において、内視鏡操作支援装置2000は、予め単位区間ごとに分割されている形状データ列50を取得してもよいし、単位区間毎に分割されていない複数の形状データ52を取得してもよい。
【0041】
後者の場合、例えば取得部2020は、取得した複数の形状データ52を時系列の順で単位区間毎に分割することで、単位区間毎の形状データ列50を得る。ただし、互いに隣接する単位区間は、その一部が互いに重複してもよい。例えば、単位区間の長さを10とし、重複する区間の長さを4とする場合、1番目の形状データ列50は、1番目から10番目までの形状データ52で構成され、2番目の形状データ列50は、7番目から16番目までの形状データ52で構成される。
【0042】
<挿入法の特定:S104>
特定部2040は、形状データ列50を利用して、使用されている挿入法を特定する(S104)。例えば特定部2040は、形状データ列50を利用して、使用されうる複数の挿入法それぞれについて、その挿入法が使用されている確度を算出する。そして、特定部2040は、各挿入法について算出された確度に基づいて、複数の挿入法の中から、使用されている挿入法を特定する。なお、確度の算出方法については後述する。
【0043】
使用されている挿入法を、各挿入法について算出された確度に基づいて特定する方法には、様々な方法を採用できる。例えば特定部2040は、確度が最大である挿入法を、使用されている挿入法として特定する。その他にも例えば、特定部2040は、各挿入法について算出した確度に基づいて、使用されている挿入法の候補を複数特定し、これら複数の候補の中から、使用されている挿入法を特定する。例えば特定部2040は、確度の高さで上位 n 個(n>1)の挿入法を、使用されている挿入法の候補として特定する。その他にも例えば、特定部2040は、確度が閾値以上である挿入法を、使用されている挿入法の候補として特定する。
【0044】
使用されている挿入法を複数の候補の中から特定する方法には、種々の方法を採用できる。例えば複数の挿入法それぞれに対し、予め優先度を割り当てておく。この場合、例えば特定部2040は、候補の挿入法のうち、優先度が最も高い挿入法を、使用されている挿入法として特定する。その他にも例えば、特定部2040は、候補の挿入法それぞれについて、算出された確度に対して優先度に基づく重みを掛けることにより、確度の補正を行う。なお、優先度に基づく重みは、優先度が高いほど大きい値として、予め定めておく。特定部2040は、補正後の確度が最大である挿入法を、使用されている挿入法として特定する。
【0045】
その他にも例えば、形状データ52が形状カテゴリを示している場合、複数の挿入法それぞれについて、重要な形状カテゴリや、重要な形状カテゴリ間の遷移(2つ以上の形状カテゴリの順列)を予め定めておく。この場合、特定部2040は、候補として特定された挿入法のうち、その挿入法について定められている重要な形状カテゴリや重要な形状カテゴリ間の遷移が形状データ列50に含まれているものを、使用されている挿入法として特定する。
【0046】
例えば、確度に基づいて、挿入法XとYが候補として特定されたとする。また、挿入法Xについて定められている重要な形状カテゴリがBであり、挿入法Yについて定められている重要な形状カテゴリがCであるとする。そして、形状データ列50が示している形状データ52の時系列が、「A、C、D、C、A」であるとする。この場合、形状データ列50には、挿入法Xにおいて重要な形状カテゴリである形状カテゴリBは含まれていない一方で、挿入法Yにおいて重要な形状カテゴリである形状カテゴリCは含まれている。そこで、特定部2040は、挿入法Yを、使用されている挿入法として特定する。
【0047】
なお、このように重要な形状カテゴリや形状カテゴリ間の遷移が形状データ列50に含まれている挿入法が、複数存在したとする。この場合、例えば特定部2040は、これら複数の挿入法のうち、算出された確度が高い挿入法を、使用されている挿入法として特定する。その他にも例えば、特定部2040は、重要な形状カテゴリや形状カテゴリ間の遷移が、形状データ列50の中により多く含まれている挿入法を、使用されている挿入法として特定してもよい。
【0048】
特定部2040は、内視鏡スコープ40の操作者に関する情報を用いて、候補の挿入法の中から、使用されている挿入法を特定してもよい。例えば、操作者の識別情報と、その操作者が使用しうる挿入法とを対応づけた情報を、予め用意しておく。特定部2040は、候補の挿入法のうち、内視鏡スコープ40の操作者が使用しうる挿入法として定められているものを、使用されている挿入法として特定する。なお、候補の挿入法の中に、内視鏡スコープ40の操作者が使用しうる挿入法として定められているものが複数存在する場合、例えば特定部2040は、確度や前述した優先度の高さなどに基づいて、使用されている挿入法を特定する。
【0049】
その他にも例えば、内視鏡スコープ40の操作者に関する情報としては、当該操作者の技術レベルを表す情報(例えば、内視鏡検査等の経験年数若しくは経験回数、又はベテランの医師による評価など)が利用されてもよい。この場合、複数の挿入法それぞれについて、操作者の技術レベルとの対応関係を定めておく(例えば、「経験年数5年以上の人が使用」など)。特定部2040は、操作者の技術レベルと挿入法との関係に基づいて、複数の候補の中から、使用されている挿入法を特定する。
【0050】
特定部2040は、内視鏡スコープ40に設けられているカメラ10から得られる画像データを利用することで、候補の挿入方法の中から、使用されている挿入法を特定してもよい。例えば特定部2040は、カメラ10から得られた画像データから特徴を抽出し、候補の挿入法のうち、その特徴に合致する挿入法を、使用されている挿入法として特定する。画像データから抽出される特徴としては、例えば、内視鏡スコープ40の先端を内臓の壁に押しつけたことによって画像全体が赤くなる現象(赤玉と呼ばれる)や、画面や内視鏡スコープ40の操作の特徴的な動きなどである。
【0051】
特定部2040は、複数の方法(例えば後述する、識別モデルを利用する方法と状態遷移モデルを利用する方法)それぞれで、各挿入法が使用されている確度を算出し、その算出結果に基づいて、使用されている挿入法を特定してもよい。例えば特定部2040は、各挿入法について、複数の方法それぞれで算出された確度の統計値(例えば平均値や最大値)を算出し、当該統計値が最大である挿入法を、使用されている挿入法として特定する。
【0052】
その他にも例えば、特定部2040は、使用されている挿入法を、確度の算出法ごとに特定してもよい。例えば、識別モデルを利用して特定された挿入法が挿入法Xであり、状態遷移モデルを利用して特定された挿入法が挿入法Yであるとする。この場合、特定部2040は、挿入法Xと挿入法Yを、使用されている挿入法として特定する。この場合、挿入法情報20は、挿入法の特定に使用された方法(確度の算出方法)とその方法で特定された挿入法とを対応付けて示すことが好適である。例えば前述の例では、「識別モデル:挿入法X、状態遷移モデル:挿入法Y」などとすることで、確度の算出方法と特定された挿入法との対応付けを表すことができる。
【0053】
<確度を算出する具体的な方法>
前述したように、例えば特定部2040は、使用されている挿入法を特定するために、複数の挿入法それぞれについて、その挿入法が使用されている確度を算出する。以下では、この確度を算出する方法について、2つの方法を具体例に例示する。
【0054】
<<識別モデルを利用する方法>>
この方法では、形状データ列50が入力されたことに応じて、各挿入法が使用されている確度を出力するように学習されている識別モデルが利用される。以下、この識別モデルを、挿入法識別モデルと呼ぶ。例えば挿入法識別モデルは、時系列データを扱うニューラルネットワークである RNN(Recurrent Neural Network)などを利用して実現される。ただし、挿入法識別モデルの実現に利用されるモデルの種類は、RNN には限定されず、時系列データを扱うことできる任意の種類のモデルを利用することができる。
【0055】
挿入法識別モデルの学習は、「内視鏡スコープの形状の時系列変化を表すデータ、正解の出力データ」という組み合わせを含む訓練データを利用して行われる。正解の出力データは、例えば、使用されている挿入法については最大の確度(例えば1)を示し、その他の挿入法については最小の確度(例えば0)を示すデータである。
【0056】
なお、挿入法識別モデルには、形状データ列50以外のデータがさらに入力されてもよい。形状データ列50以外のデータとしては、例えば、カメラ10から得られた静止画データ若しくは動画データ、又は内視鏡スコープ40の操作者の動きを表すデータ(例えば、操作者の手に取り付けられた加速度センサから得られる加速度の時系列データなど)などである。また、形状データ列50が内視鏡スコープ40の形状を形状カテゴリで表す場合において、内視鏡スコープ40の複数の箇所それぞれの3次元座標が、挿入法識別モデルに対してさらに入力されてもよい。これらのデータを利用する場合、挿入法識別モデルの訓練データにも、同種のデータを含めるようにする。こうすることで、挿入法識別モデルが、形状データ列50以外のデータをさらに利用して確度の算出を行うように学習される。
【0057】
なお、挿入法識別モデルは、各挿入法についての確度を出力する代わりに、使用されている挿入法を表すラベルを出力してもよい。この場合、例えば挿入法識別モデルは、最大の確度が算出された挿入法を表すラベルを、使用されている挿入法のラベルとして出力する。特定部2040は、挿入方式別モデルから出力されたラベルにより、使用されている挿入法を特定することができる。
【0058】
<<状態遷移モデルを利用する方法>>
この場合、複数の挿入法それぞれについて、その挿入法を使用した場合における内視鏡スコープ40の形状の時間変化のパターンを表す状態遷移モデルを定めておき、特定部2040からアクセス可能な記憶装置に予め格納しておく。この方法を利用する場合、各挿入法が使用されている確度は、例えば、その挿入法の状態遷移モデルと、形状データ列50によって表されている内視鏡スコープ40の時間変化との一致度合いを表している。すなわち、特定部2040は、複数の挿入法それぞれについて、その挿入法の状態遷移モデルが形状データ列50と一致する度合いを算出し、その算出結果に基づいて、使用されている挿入法を特定する。例えば、一致度合いが最大である挿入法が、使用されている挿入法として特定される。
【0059】
形状データ52が形状カテゴリを表している場合、例えば確度は、状態遷移モデルと形状データ列50との一致度合いを利用して、以下のように定められる。
【数1】
式(1)において、右辺の分子は、形状データ列50と状態遷移モデルとの間で一致する形状カテゴリの数を表している。一方、分母の単位区間長は、前述した単位区間に含まれる形状カテゴリの総数を表している。
【0060】
図7は、式(1)を用いた確度の算出方法を概念的に示す図である。この例では、挿入法Xの状態遷移モデルと形状データ列50とが比較されている。また、この例において、単位区間長は12である。
【0061】
挿入法Xの状態遷移モデルは、形状カテゴリA、C、E、及びGという4つの形状カテゴリで構成されている。形状データ列50には、挿入法Xの状態遷移モデルを構成する形状カテゴリのうち、形状カテゴリAが2つ、形状カテゴリCが2つ、及び形状カテゴリEが2つ含まれている。このことから、挿入法Xの状態遷移モデルと形状データ列50との間で一致する形状カテゴリの数は6である。よって、式(1)により、挿入法Xが使用されている確度として 0.5(6/12)が算出される。
【0062】
確度の算出式は式(1)に限定されない。例えば確度は、以下の式(2)を用いて算出されてもよい。
【数2】
【0063】
例えば
図7の例では、単位区間の形状データ列50に含まれる形状カテゴリの種類は、形状カテゴリA、B、C、D、及びEの5種類である。一方、挿入法Xの状態遷移モデルと形状データ列50との間で互いに一致する形状カテゴリの種類は、形状カテゴリA、C、及びEの3種類である。よって、式(2)により、挿入法Xが使用されている確度として、0.6(3/5)が算出される。
【0064】
また、各挿入法についての確度を算出する際に、単位区間内に含まれる形状カテゴリの一致度合いだけでなく、状態遷移モデルに示されている遷移パス(順序関係)に従っている場合の確度を高めたり、従っていない場合の確度を低くするような計算式を加えることにより、遷移の順序も考慮して確度が算出されるようにしてもよい。
【0065】
<挿入法情報20の出力:S108>
出力部2060は挿入法情報20を出力する。挿入法情報20の出力方法は様々である。例えば出力部2060は、挿入法情報20を表す画面を、内視鏡スコープ40の操作者によって閲覧可能なディスプレイ装置に表示させる。その他にも例えば、出力部2060は、挿入法情報20を表すファイルを記憶装置に格納したり、任意の別の装置に送信したりしてもよい。
【0066】
挿入法情報20としては、様々な情報を生成することができる。例えば挿入法情報20は、使用されている挿入法の名称を示す情報である。その他にも例えば、挿入法情報20は、使用されている挿入法の遷移(使用されている挿入法の時間変化)を示してもよい。
【0067】
図8は、挿入法情報20を例示する図である。
図8の挿入法情報20には、2種類のグラフが示されている。実線の折れ線は、内視鏡操作支援装置2000によって特定された、内視鏡スコープ40の挿入に使用されている挿入法について、その時間遷移を表している。前述したように、内視鏡スコープ40の挿入に使用される挿入法は時間と共に変化しうる。そこで、
図8に示す例において、内視鏡操作支援装置2000は、単位区間毎にその単位区間において使用されている挿入法を特定している。そして、特定された挿入法が、その単位区間に対応する時点(例えば、その単位区間の開始時点)に対応づけてプロットされる。
図8の例では、使用されている挿入法が、挿入法Z、挿入法X、挿入法Y、挿入法Zという順に遷移している。
【0068】
一点鎖線の折れ線は、特定された挿入法の確度を表している。例えば、使用されている挿入法として挿入法Zが特定されている区間では、挿入法Zが使用されている確度が表されている。同様に、使用されている挿入法として挿入法Xが特定されている区間では、挿入法Xが使用されている確度が表されている。
【0069】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0070】
なお、上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM、CD-R、CD-R/W、半導体メモリ(例えば、マスク ROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0071】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
内視鏡スコープの形状データの時間変化を表す形状データ列を取得する取得部と、
前記形状データ列を用いて前記内視鏡スコープの挿入に使用されている挿入法を特定する特定部と、
前記特定された挿入法に関する挿入法情報を出力する出力部と、を有する内視鏡操作支援装置。
(付記2)
前記特定部は、前記形状データ列を用いて、内視鏡スコープの複数の挿入法それぞれについて、その挿入法が使用されている確度を算出し、前記算出した確度に基づいて、使用されている挿入法を特定する、付記1に記載の内視鏡操作支援装置。
(付記3)
前記特定部は、複数の挿入法それぞれについて、その挿入法を使用した場合における内視鏡スコープの形状の時間変化のパターンを表す状態遷移モデルを取得し、その状態遷移モデルと前記形状データ列との一致度合いに基づいて、その挿入法が使用されている確度を算出する、付記2に記載の内視鏡操作支援装置。
(付記4)
前記特定部は、内視鏡スコープの形状データの時間変化を表すデータ列が入力されたことに応じて、複数の挿入法それぞれが使用されている確度を出力するように構成されている学習済みの識別モデルに対し、前記形状データ列を入力することにより、各挿入法が使用されている確度を特定する、付記2に記載の内視鏡操作支援装置。
(付記5)
前記特定部は、
各挿入法が使用されている確度に基づいて、使用されている挿入法の複数の候補を特定し、
各挿入法について定められている優先度に基づいて、挿入法の複数の候補の中から、使用されている挿入法を特定する、付記1から4いずれか一項に記載の内視鏡操作支援装置。
(付記6)
前記特定部は、
各挿入法が使用されている確度に基づいて、使用されている挿入法の複数の候補を特定し、
前記内視鏡スコープの操作者に関する情報を用いて、挿入法の複数の候補の中から、使用されている挿入法を特定する、付記1から4いずれか一項に記載の内視鏡操作支援装置。
(付記7)
前記内視鏡スコープの操作者に関する情報は、その操作者が使用しうる挿入法を1つ以上示すか、又は、前記内視鏡スコープの操作に関するその操作者の技術レベルを示す、付記6に記載の内視鏡操作支援装置。
(付記8)
前記特定部は、内視鏡スコープの形状データの時間変化を表すデータ列が入力されたことに応じて、使用されている挿入法を示すデータを出力するように構成されている学習済みの識別モデルに対し、前記形状データ列を入力することにより、使用されている挿入法を特定する、付記1に記載の内視鏡操作支援装置。
(付記9)
前記出力部は、使用されている挿入法の時間遷移を含む前記挿入法情報を出力する、付記1から8いずれか一項に記載の内視鏡操作支援装置。
(付記10)
前記内視鏡スコープがとりうる形状の種類である形状カテゴリが複数定められており、
前記形状データ列に含まれる各前記形状データは、前記内視鏡スコープの複数の形状カテゴリのうちの1つを示す、付記1から9いずれか一項に記載の内視鏡操作支援装置。
(付記11)
コンピュータによって実行される制御方法であって、
内視鏡スコープの形状データの時間変化を表す形状データ列を取得する取得ステップと、
前記形状データ列を用いて前記内視鏡スコープの挿入に使用されている挿入法を特定する特定ステップと、
前記特定された挿入法に関する挿入法情報を出力する出力ステップと、を有する制御方法。
(付記12)
前記特定ステップにおいて、前記形状データ列を用いて、内視鏡スコープの複数の挿入法それぞれについて、その挿入法が使用されている確度を算出し、前記算出した確度に基づいて、使用されている挿入法を特定する、付記11に記載の制御方法。
(付記13)
前記特定ステップにおいて、複数の挿入法それぞれについて、その挿入法を使用した場合における内視鏡スコープの形状の時間変化のパターンを表す状態遷移モデルを取得し、その状態遷移モデルと前記形状データ列との一致度合いに基づいて、その挿入法が使用されている確度を算出する、付記12に記載の制御方法。
(付記14)
前記特定ステップにおいて、内視鏡スコープの形状データの時間変化を表すデータ列が入力されたことに応じて、複数の挿入法それぞれが使用されている確度を出力するように構成されている学習済みの識別モデルに対し、前記形状データ列を入力することにより、各挿入法が使用されている確度を特定する、付記12に記載の制御方法。
(付記15)
前記特定ステップにおいて、
各挿入法が使用されている確度に基づいて、使用されている挿入法の複数の候補を特定し、
各挿入法について定められている優先度に基づいて、挿入法の複数の候補の中から、使用されている挿入法を特定する、付記11から14いずれか一項に記載の制御方法。
(付記16)
前記特定ステップにおいて、
各挿入法が使用されている確度に基づいて、使用されている挿入法の複数の候補を特定し、
前記内視鏡スコープの操作者に関する情報を用いて、挿入法の複数の候補の中から、使用されている挿入法を特定する、付記11から14いずれか一項に記載の制御方法。
(付記17)
前記内視鏡スコープの操作者に関する情報は、その操作者が使用しうる挿入法を1つ以上示すか、又は、前記内視鏡スコープの操作に関するその操作者の技術レベルを示す、付記16に記載の制御方法。
(付記18)
前記特定ステップにおいて、内視鏡スコープの形状データの時間変化を表すデータ列が入力されたことに応じて、使用されている挿入法を示すデータを出力するように構成されている学習済みの識別モデルに対し、前記形状データ列を入力することにより、使用されている挿入法を特定する、付記11に記載の制御方法。
(付記19)
前記出力ステップにおいて、使用されている挿入法の時間遷移を含む前記挿入法情報を出力する、付記11から18いずれか一項に記載の制御方法。
(付記20)
前記内視鏡スコープがとりうる形状の種類である形状カテゴリが複数定められており、
前記形状データ列に含まれる各前記形状データは、前記内視鏡スコープの複数の形状カテゴリのうちの1つを示す、付記11から19いずれか一項に記載の制御方法。
(付記21)
プログラムが格納されているコンピュータ可読媒体であって、
前記プログラムは、コンピュータに、
内視鏡スコープの形状データの時間変化を表す形状データ列を取得する取得ステップと、
前記形状データ列を用いて前記内視鏡スコープの挿入に使用されている挿入法を特定する特定ステップと、
前記特定された挿入法に関する挿入法情報を出力する出力ステップと、を実行させるコンピュータ可読媒体。
(付記22)
前記特定ステップにおいて、前記形状データ列を用いて、内視鏡スコープの複数の挿入法それぞれについて、その挿入法が使用されている確度を算出し、前記算出した確度に基づいて、使用されている挿入法を特定する、付記21に記載のコンピュータ可読媒体。
(付記23)
前記特定ステップにおいて、複数の挿入法それぞれについて、その挿入法を使用した場合における内視鏡スコープの形状の時間変化のパターンを表す状態遷移モデルを取得し、その状態遷移モデルと前記形状データ列との一致度合いに基づいて、その挿入法が使用されている確度を算出する、付記22に記載のコンピュータ可読媒体。
(付記24)
前記特定ステップにおいて、内視鏡スコープの形状データの時間変化を表すデータ列が入力されたことに応じて、複数の挿入法それぞれが使用されている確度を出力するように構成されている学習済みの識別モデルに対し、前記形状データ列を入力することにより、各挿入法が使用されている確度を特定する、付記22に記載のコンピュータ可読媒体。
(付記25)
前記特定ステップにおいて、
各挿入法が使用されている確度に基づいて、使用されている挿入法の複数の候補を特定し、
各挿入法について定められている優先度に基づいて、挿入法の複数の候補の中から、使用されている挿入法を特定する、付記21から24いずれか一項に記載のコンピュータ可読媒体。
(付記26)
前記特定ステップにおいて、
各挿入法が使用されている確度に基づいて、使用されている挿入法の複数の候補を特定し、
前記内視鏡スコープの操作者に関する情報を用いて、挿入法の複数の候補の中から、使用されている挿入法を特定する、付記21から24いずれか一項に記載のコンピュータ可読媒体。
(付記27)
前記内視鏡スコープの操作者に関する情報は、その操作者が使用しうる挿入法を1つ以上示すか、又は、前記内視鏡スコープの操作に関するその操作者の技術レベルを示す、付記26に記載のコンピュータ可読媒体。
(付記28)
前記特定ステップにおいて、内視鏡スコープの形状データの時間変化を表すデータ列が入力されたことに応じて、使用されている挿入法を示すデータを出力するように構成されている学習済みの識別モデルに対し、前記形状データ列を入力することにより、使用されている挿入法を特定する、付記21に記載のコンピュータ可読媒体。
(付記29)
前記出力ステップにおいて、使用されている挿入法の時間遷移を含む前記挿入法情報を出力する、付記21から28いずれか一項に記載のコンピュータ可読媒体。
(付記30)
前記内視鏡スコープがとりうる形状の種類である形状カテゴリが複数定められており、
前記形状データ列に含まれる各前記形状データは、前記内視鏡スコープの複数の形状カテゴリのうちの1つを示す、付記21から29いずれか一項に記載のコンピュータ可読媒体。
(付記31)
コンピュータに、
内視鏡スコープの形状データの時間変化を表す形状データ列を取得する取得ステップと、
前記形状データ列を用いて前記内視鏡スコープの挿入に使用されている挿入法を特定する特定ステップと、
前記特定された挿入法に関する挿入法情報を出力する出力ステップと、を実行させるプログラム。
(付記32)
前記特定ステップにおいて、前記形状データ列を用いて、内視鏡スコープの複数の挿入法それぞれについて、その挿入法が使用されている確度を算出し、前記算出した確度に基づいて、使用されている挿入法を特定する、付記31に記載のプログラム。
(付記33)
前記特定ステップにおいて、複数の挿入法それぞれについて、その挿入法を使用した場合における内視鏡スコープの形状の時間変化のパターンを表す状態遷移モデルを取得し、その状態遷移モデルと前記形状データ列との一致度合いに基づいて、その挿入法が使用されている確度を算出する、付記32に記載のプログラム。
(付記34)
前記特定ステップにおいて、内視鏡スコープの形状データの時間変化を表すデータ列が入力されたことに応じて、複数の挿入法それぞれが使用されている確度を出力するように構成されている学習済みの識別モデルに対し、前記形状データ列を入力することにより、各挿入法が使用されている確度を特定する、付記32に記載のプログラム。
(付記35)
前記特定ステップにおいて、
各挿入法が使用されている確度に基づいて、使用されている挿入法の複数の候補を特定し、
各挿入法について定められている優先度に基づいて、挿入法の複数の候補の中から、使用されている挿入法を特定する、付記31から34いずれか一項に記載のプログラム。
(付記36)
前記特定ステップにおいて、
各挿入法が使用されている確度に基づいて、使用されている挿入法の複数の候補を特定し、
前記内視鏡スコープの操作者に関する情報を用いて、挿入法の複数の候補の中から、使用されている挿入法を特定する、付記31から34いずれか一項に記載のプログラム。
(付記37)
前記内視鏡スコープの操作者に関する情報は、その操作者が使用しうる挿入法を1つ以上示すか、又は、前記内視鏡スコープの操作に関するその操作者の技術レベルを示す、付記36に記載のプログラム。
(付記38)
前記特定ステップにおいて、内視鏡スコープの形状データの時間変化を表すデータ列が入力されたことに応じて、使用されている挿入法を示すデータを出力するように構成されている学習済みの識別モデルに対し、前記形状データ列を入力することにより、使用されている挿入法を特定する、付記31に記載のプログラム。
(付記39)
前記出力ステップにおいて、使用されている挿入法の時間遷移を含む前記挿入法情報を出力する、付記31から38いずれか一項に記載のプログラム。
(付記40)
前記内視鏡スコープがとりうる形状の種類である形状カテゴリが複数定められており、
前記形状データ列に含まれる各前記形状データは、前記内視鏡スコープの複数の形状カテゴリのうちの1つを示す、付記31から39いずれか一項に記載のプログラム。
【符号の説明】
【0072】
10 カメラ
20 挿入法情報
40 内視鏡スコープ
50 形状データ列
51 時点
52 形状データ
60 内視鏡制御装置
500 コンピュータ
500 各コンピュータ
502 バス
504 プロセッサ
506 メモリ
508 ストレージデバイス
510 入出力インタフェース
512 ネットワークインタフェース
2000 内視鏡操作支援装置
2020 取得部
2040 特定部
2060 出力部