IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社AIメディカルサービスの特許一覧

特開2024-29849内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラム
<>
  • 特開-内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラム 図1
  • 特開-内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラム 図2
  • 特開-内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラム 図3
  • 特開-内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラム 図4
  • 特開-内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラム 図5
  • 特開-内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラム 図6
  • 特開-内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラム 図7
  • 特開-内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラム 図8
  • 特開-内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラム 図9
  • 特開-内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラム 図10
  • 特開-内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラム 図11
  • 特開-内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラム 図12
  • 特開-内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラム 図13
  • 特開-内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラム 図14
  • 特開-内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラム 図15
  • 特開-内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラム 図16
  • 特開-内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラム 図17
  • 特開-内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラム 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024029849
(43)【公開日】2024-03-07
(54)【発明の名称】内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラム
(51)【国際特許分類】
   A61B 1/045 20060101AFI20240229BHJP
【FI】
A61B1/045 618
A61B1/045 641
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022132270
(22)【出願日】2022-08-23
(71)【出願人】
【識別番号】517380422
【氏名又は名称】株式会社AIメディカルサービス
(74)【代理人】
【識別番号】230116816
【弁護士】
【氏名又は名称】成川 弘樹
(74)【代理人】
【識別番号】100146123
【弁理士】
【氏名又は名称】木本 大介
(72)【発明者】
【氏名】談 莫東
(72)【発明者】
【氏名】加藤 勇介
(72)【発明者】
【氏名】高松 真
【テーマコード(参考)】
4C161
【Fターム(参考)】
4C161CC06
4C161DD03
4C161NN05
4C161WW02
4C161WW04
4C161WW13
(57)【要約】
【課題】医師が任意に指定した位置に内視鏡動画像上のマーク画像を付与し、且つ、再生時刻の経過と共に当該位置が変わってもマーク画像を追尾させる。
【解決手段】 内視鏡及びディスプレイと接続可能な内視鏡診断支援装置は、内視鏡から、内視鏡動画像を取得する手段を備え、内視鏡動画像は、複数のフレーム画像を含み、内視鏡動画像の各フレーム画像をディスプレイに表示させる手段を備え、ユーザから第1マーク位置の指定を受け付ける手段を備え、第1フレーム画像に対してユーザが指定した第1マーク位置の画素の特徴量を抽出する手段を備え、第1フレーム画像より後の第2フレーム画像において特徴量に対応する画素の位置である第2マーク位置を決定する手段を備え、表示させる手段は、第1フレーム画像では、第1マーク位置(Xn1,Yn1)で第1マーク画像を内視鏡動画像に重畳表示させ、第2フレーム画像では、第1マーク画像を第2マーク位置に移動させる。
【選択図】図3
【特許請求の範囲】
【請求項1】
内視鏡及びディスプレイと接続可能な内視鏡診断支援装置であって、
前記内視鏡から、内視鏡動画像を取得する手段を備え、
前記内視鏡動画像は、複数のフレーム画像を含み、
前記内視鏡動画像の各フレーム画像を前記ディスプレイに表示させる手段を備え、
ユーザから第1マーク位置の指定を受け付ける手段を備え、
第1フレーム画像に対してユーザが指定した第1マーク位置の画素の特徴量を抽出する手段を備え、
前記第1フレーム画像より後の第2フレーム画像において前記特徴量に対応する画素の位置である第2マーク位置を決定する手段を備え、
前記表示させる手段は、
前記第1フレーム画像では、前記第1マーク位置(Xn1,Yn1)で第1マーク画像を前記内視鏡動画像に重畳表示させ、
前記第2フレーム画像では、第1マーク画像を前記第2マーク位置に移動させる、
内視鏡診断支援装置。
【請求項2】
前記表示させる手段は、前記第1マーク画像の外側に第2マーク画像を表示させる、
請求項1に記載の内視鏡診断支援装置。
【請求項3】
前記表示させる手段は、前記第2マーク位置が特定できない場合、前記第1マーク位置に表示させた第1マーク画像の表示態様とは異なる表示態様で、前記第1マーク画像を重畳表示させる、
請求項1又は請求項2に記載の内視鏡診断支援装置。
【請求項4】
前記表示させる手段は、前記第2マーク位置が特定できた場合の第2フレーム画像と、前記第2マーク位置が特定できなかった場合の第2フレーム画像と、を表示させる、
請求項3に記載の内視鏡診断支援装置。
【請求項5】
前記表示させる手段は、
前記第2マーク位置が特定できた後の再生時刻のフレーム画像において前記第2マーク位置が特定できなかった場合、前記第2マーク位置が特定できた場合の第2フレーム画像を第1サイズで表示させ、且つ、前記第2マーク位置ができなかった場合の第2フレーム画像を第2サイズで表示させ、
前記第2サイズは、前記第1サイズより小さい、
請求項4に記載の内視鏡診断支援装置。
【請求項6】
第2マーク位置の位置精度を計算する手段を備え、
前記表示させる手段は、前記位置精度に応じて、前記第1マーク画像の表示態様を変更する、
請求項1又は請求項2に記載の内視鏡診断支援装置。
【請求項7】
前記表示させる手段は、前記位置精度が所定の閾値以上の場合、前記第1マーク画像を強調する、
請求項6に記載の内視鏡診断支援装置。
【請求項8】
前記表示させる手段は、前記位置精度が所定の閾値未満の場合、前記第1マーク画像の強調度を低下させる、
請求項6に記載の内視鏡診断支援装置。
【請求項9】
前記表示させる手段は、複数の第1マーク位置が指定された場合、各第1マーク位置に前記第1マーク画像を表示させる、
請求項1又は請求項2に記載の内視鏡診断支援装置。
【請求項10】
前記表示させる手段は、複数の第1マーク位置が指定された場合、各第1マーク位置を接続する接続線を表示させる、
請求項1又は請求項2に記載の内視鏡診断支援装置。
【請求項11】
前記表示させる手段は、複数の第1マーク位置が指定された場合、各第1マーク位置を接続する仮想線に近似する近似線を表示させる、
請求項1又は請求項2に記載の内視鏡診断支援装置。
【請求項12】
コンピュータを用いて内視鏡診断を支援する内視鏡診断支援方法であって、
内視鏡から、内視鏡動画像を取得するステップを備え、
前記内視鏡動画像は、複数のフレーム画像を含み、
前記内視鏡動画像の各フレーム画像をディスプレイに表示させるステップを備え、
ユーザから第1マーク位置の指定を受け付けるステップを備え、
第1フレーム画像に対してユーザが指定した第1マーク位置の画素の特徴量を抽出するステップを備え、
前記第1フレーム画像より後の第2フレーム画像において前記特徴量に対応する画素の位置である第2マーク位置を決定するステップを備え、
前記表示させるステップは、
前記第1フレーム画像では、前記第1マーク位置(Xn1,Yn1)で第1マーク画像を前記内視鏡動画像に重畳表示させ、
前記第2フレーム画像では、第1マーク画像を前記第2マーク位置に移動させる、
内視鏡診断支援方法。
【請求項13】
コンピュータを、
内視鏡から、内視鏡動画像を取得する手段として機能させ、
前記内視鏡動画像は、複数のフレーム画像を含み、
前記内視鏡動画像の各フレーム画像をディスプレイに表示させる手段として機能させ、
ユーザから第1マーク位置の指定を受け付ける手段として機能させ、
第1フレーム画像に対してユーザが指定した第1マーク位置の画素の特徴量を抽出する手段として機能させ、
前記第1フレーム画像より後の第2フレーム画像において前記特徴量に対応する画素の位置である第2マーク位置を決定する手段として機能させ、
前記表示させる手段は、
前記第1フレーム画像では、前記第1マーク位置(Xn1,Yn1)で第1マーク画像を前記内視鏡動画像に重畳表示させ、
前記第2フレーム画像では、第1マーク画像を前記第2マーク位置に移動させる、
プログラム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡診断支援装置、内視鏡診断支援方法、及び、プログラムに関する。
【背景技術】
【0002】
内視鏡検査では、医師が内視鏡を操作しながら、例えば専用ペンを用いて、切除すべき箇所にマークを付与する。
【0003】
従来、専用ペンに代えて、内視鏡動画像上にマークを付与する技術が知られている。
例えば、特許文献1は、内視鏡装置により撮影された管腔臓器の撮像画像、及び、病変に関する病変情報に基づいて病変を自動で検出し、且つ、追尾する技術を開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2019-180966号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
画像フレームが変わる度にマークすべき位置も変わる。したがって、内視鏡動画像上のマークの位置も変える必要がある。
しかし、特許文献1は、自動で検出された病変(つまり、自動で検出可能な病変)を追尾するものである。したがって、自動で検出不能な位置(例えば、病変に隣接する非病変領域)をマーク位置として指定した場合、当該マーク位置を追尾することはできない。
【0006】
本発明の目的は、医師が任意に指定した位置に内視鏡動画像上のマーク画像を付与し、且つ、再生時刻の経過と共に当該位置が変わってもマーク画像を追尾させることである。
【課題を解決するための手段】
【0007】
本発明の一態様は、
内視鏡及びディスプレイと接続可能な内視鏡診断支援装置であって、
前記内視鏡から、内視鏡動画像を取得する手段を備え、
前記内視鏡動画像は、複数のフレーム画像を含み、
前記内視鏡動画像の各フレーム画像を前記ディスプレイに表示させる手段を備え、
ユーザから第1マーク位置の指定を受け付ける手段を備え、
第1フレーム画像に対してユーザが指定した第1マーク位置の画素の特徴量を抽出する手段を備え、
前記第1フレーム画像より後の第2フレーム画像において前記特徴量に対応する画素の位置である第2マーク位置を決定する手段を備え、
前記表示させる手段は、
前記第1フレーム画像では、前記第1マーク位置(Xn1,Yn1)で第1マーク画像を前記内視鏡動画像に重畳表示させ、
前記第2フレーム画像では、第1マーク画像を前記第2マーク位置に移動させる、
内視鏡診断支援装置である。
【図面の簡単な説明】
【0008】
図1】本実施形態の内視鏡システムの構成を示すブロック図である。
図2図1の内視鏡診断支援装置の機能ブロック図である。
図3】本実施形態の概要の説明図である。
図4】本実施形態の内視鏡診断支援処理のシーケンス図である。
図5図4の情報処理において表示される画面例を示す図である。
図6】本実施形態の第1マーク画像の第1例を示す図である。
図7】本実施形態の第1マーク画像の第2例を示す図である。
図8】本実施形態の第1マーク画像の第3例を示す図である。
図9】変形例1の内視鏡診断支援処理のシーケンス図である。
図10図9の情報処理において表示される画面例を示す図である。
図11図9の第2マーク画像のマーク位置の決定(S2110)の説明図である。
図12図10の第1マーク画像及び第2マーク画像の周辺の拡大図である。
図13】変形例2の内視鏡診断支援処理のシーケンス図である。
図14図13の情報処理において表示される画面例を示す図である。
図15】変形例2の第1マーク画像の周辺の拡大図である。
図16】変形例3の内視鏡診断支援処理のシーケンス図である。
図17】変形例3の第1マーク画像の周辺の拡大図である。
図18】その他の変形例の第1マーク画像の周辺の拡大図である。
【発明を実施するための形態】
【0009】
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
【0010】
(用語の定義)
本実施形態における用語の定義は、次のとおりである。
・「座標」とは、内視鏡画像の空間における二次元座標である。
【0011】
(1)内視鏡システムの構成
内視鏡システムの構成を説明する。図1は、本実施形態の内視鏡システムの構成を示すブロック図である。図2は、図1の内視鏡診断支援装置の機能ブロック図である。
【0012】
図1に示すように、内視鏡システム1は、内視鏡装置20と、内視鏡診断支援装置10と、備える。
内視鏡装置20及び内視鏡診断支援装置10は、互いに接続される。
内視鏡装置20及び内視鏡診断支援装置10は、例えば、診察スペースに設置される。
【0013】
内視鏡装置20は、器官の内部を撮像することにより器官の内部の画像(以下「内視鏡画像」という)の画像データを生成するように構成される。
【0014】
内視鏡診断支援装置10は、内視鏡装置20によって生成された内視鏡画像を用いて、診断を支援するための様々な処理を実行するように構成される。
【0015】
(1-1)内視鏡診断支援装置の構成
内視鏡診断支援装置10の構成を説明する。
【0016】
図2に示すように、内視鏡診断支援装置10は、記憶装置11と、プロセッサ12と、入出力インタフェース13と、通信インタフェース14と、入力デバイス15と、出力デバイス16と、を備える。
【0017】
記憶装置11は、プログラム及びデータを記憶するように構成される。記憶装置11は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。
【0018】
プログラムは、例えば、以下のプログラムを含む。
・OS(Operating System)のプログラム
・情報処理を実行するアプリケーション(例えば、内視鏡診断支援アプリケーション)のプログラム
【0019】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理において用いられるパラメータ、関数、及び、モデル
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
【0020】
プロセッサ12は、記憶装置11に記憶されたプログラムを起動することによって、内視鏡診断支援装置10の機能を実現するように構成される。プロセッサ12は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、又は、これらの組み合わせである。
【0021】
入出力インタフェース13は、入力デバイス15からユーザの指示を取得し、かつ、出力デバイス16に情報を出力するように構成される。
【0022】
通信インタフェース14は、内視鏡診断支援装置10と内視鏡装置20との間の通信を制御するように構成される。
【0023】
入力デバイス15は、ユーザの指示を受け付けるように構成される。入力デバイス15は、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
【0024】
出力デバイス16は、ユーザに情報を提示するように構成される。出力デバイス16は、例えば、ディスプレイである。
【0025】
(1-2)内視鏡装置の構成
内視鏡装置20の構成を説明する。
【0026】
図2に示すように、内視鏡装置20は、記憶装置21と、プロセッサ22と、入出力インタフェース23と、通信インタフェース24と、入力デバイス25と、出力デバイス26と、カメラユニット27と、を備える。
【0027】
記憶装置21は、プログラム及びデータを記憶するように構成される。記憶装置21は、例えば、ROM、RAM、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。
【0028】
プログラムは、例えば、以下のプログラムを含む。
・OSのプログラム
・情報処理において用いられるパラメータ、関数、及び、モデル
・情報処理を実行するアプリケーション(例えば、内視鏡を制御するための制御アプリケーション)のプログラム
【0029】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
【0030】
プロセッサ22は、記憶装置21に記憶されたプログラムを起動することによって、内視鏡装置20の機能を実現するように構成される。プロセッサ22は、例えば、CPU、GPU、ASIC、FPGA、又は、これらの組み合わせである。
プロセッサ22は、カメラユニット27により生成された画像データを用いて、動画像を生成する。動画像は、カメラユニット27により生成された静止画像(以下「フレーム画像」という)が時系列に沿って配列された画像群である。
【0031】
入出力インタフェース23は、入力デバイス25からユーザの指示を取得し、かつ、出力デバイス26に情報を出力するように構成される。
【0032】
通信インタフェース24は、内視鏡装置20と内視鏡診断支援装置10との間の通信を制御するように構成される。カメラユニット27によって生成された画像データは、通信インタフェース24を介して、内視鏡診断支援装置10に送信される。
【0033】
入力デバイス25は、ユーザの指示を受け付けるように構成される。入力デバイス25は、例えば、キーボード、ポインティングデバイス、タッチパネル、カメラユニット27、又は、それらの組合せである。
カメラユニット27は、横たわる被検者の口腔から体内の器官(例えば、胃)の内部へ挿通され、且つ、器官の内部を撮像することにより器官の内部の画像(以下「内視鏡画像」という)の画像データを生成する。
カメラユニットの挿通及び操作は、ユーザ(例えば、医師)によって行われる。
【0034】
出力デバイス26は、ユーザに情報を提示するように構成される。出力デバイス26は、例えば、ディスプレイである。
内視鏡画像、被験者に関する情報、及び、カメラユニット27に関する情報は、入出力インタフェース23を介して、ディスプレイに表示される。
【0035】
(2)実施形態の概要
本実施形態の概要を説明する。図3は、本実施形態の概要の説明図である。
【0036】
例えば、医師がカメラユニット27を器官の内部に挿通し、且つ、所定の操作を行うと、内視鏡動画像がリアルタイムで内視鏡装置20のディスプレイ及び内視鏡診断支援装置10のディスプレイに表示される。医師は、ディスプレイに表示された内視鏡動画像を視認しながら検査を進める。
【0037】
図3に示すように、内視鏡動画像の第1フレーム画像IMG(T1)において、ユーザ(例えば、医師)が、任意の領域(例えば、病変領域L)のPOS(X1,Y1)を指定すると、内視鏡診断支援装置10は、指定された領域にマーク画像M(X1,Y1)を重畳表示する。
【0038】
第1フレーム画像IMG(T1)の後の第2フレーム画像IMG(T2)において、病変領域Lの位置が移動すると、内視鏡診断支援装置10は、病変領域Lの特徴量に基づいて、第2フレーム画像IMG(T2)における病変領域Lの座標を特定する。
内視鏡診断支援装置10は、特定した座標の位置にマーク画像M(X2,Y2)を重畳表示する。
【0039】
このように、本実施形態では、内視鏡動画像の再生時刻T1においてユーザが指定した位置にマーク画像が表示され、且つ、再生時刻T2において、当該位置に映っていた部位(例えば、病変領域)の位置が変わった場合、位置の変化に応じてマーク画像の位置も変化する。つまり、内視鏡動画像において、マーク画像が当該部位を追随する。
【0040】
(3)情報処理
本実施形態の情報処理を説明する。図4は、本実施形態の内視鏡診断支援処理のシーケンス図である。図5は、図4の情報処理において表示される画面例を示す図である。図6は、本実施形態の第1マーク画像の第1例を示す図である。図7は、本実施形態の第1マーク画像の第2例を示す図である。図8は、本実施形態の第1マーク画像の第3例を示す図である。
【0041】
図4の処理のトリガは、医師が内視鏡装置20のスコープを患者の体内に挿入することにより、内視鏡装置20が内視鏡動画像の撮像を開始することである。
【0042】
図4に示すように、内視鏡診断支援装置10は、内視鏡動画像の取得(S1110)を実行する。
具体的には、プロセッサ12は、内視鏡装置20から、ある再生時刻T1の第1フレーム画像IMG(T1)を取得する。
【0043】
ステップS1110の後、内視鏡診断支援装置10は、第1フレーム画像の表示(S1111)を実行する。
具体的には、プロセッサ12は、画面P1110(図5)をディスプレイに表示する。
画面P1110は、第1フレーム画像IMG(T1)と、表示オブジェクトA1110と、操作オブジェクトB11100~B11101と、を含む。
第1フレーム画像IMG(T1)には、患者の体内の病変領域Lが含まれる。
【0044】
表示オブジェクトA1110には、医師によって指定された第1マーク位置の数が表示される。
【0045】
操作オブジェクトB11100は、マーカの入力を開始するためのユーザ指示を受け付けるオブジェクトである。
操作オブジェクトB11101は、マーカの入力を終了するためのユーザ指示を受け付けるオブジェクトである。
プロセッサ12は、操作オブジェクトB11100が操作されてから操作オブジェクトB11101が操作されるまでの間、第1マーク位置の指定を受け付ける。
【0046】
ステップS1111の後、内視鏡診断支援装置10は、第1マーク位置の指定の受付(S1112)を実行する。
具体的には、医師が操作オブジェクトB11100を操作すると、プロセッサ12は、第1フレーム画像IMG(T1)を固定表示する(つまり、時間が経過しても第1フレーム画像IMG(T1)を表示し続ける)。
医師が少なくとも1つの所望の位置(例えば、病変領域L)を指定する操作(例えば、医師が、タッチパネルディスプレイに表示された第1フレーム画像IMG(T1)上で病変領域Lの位置に対するタッチ操作)を行うと、プロセッサ12は、医師が指定した少なくとも1つの位置(以下「第1マーク位置」という)の座標を特定し、且つ、表示オブジェクトA1110に表示される値(つまり、第1マーク位置の数)を更新する。
【0047】
ステップS1112の後、内視鏡診断支援装置10は、特徴量の抽出(S1113)を実行する。
具体的には、医師が操作オブジェクトB11101を操作すると、プロセッサ12は、第1フレーム画像IMG(T1)において、ステップS1112で得られた第1マーク位置(Xn1,Yn1)の画素の特徴量を抽出する。
【0048】
ステップS1113の後、内視鏡診断支援装置10は、マーク画像の表示(S1114)を実行する。
具体的には、プロセッサ12は、画面P1111(図5)をディスプレイに表示させる。
画面P1111は、第1フレーム画像IMG(T1)と、表示オブジェクトA1110と、を含む。
プロセッサ12は、ステップS1112で特定された第1マーク位置(Xn1,Yn1)で、第1マーク画像IM(Xn1,Yn1)を第1フレーム画像IMG(T1)に重畳表示させる。
【0049】
ステップS1114の第1例では、医師が病変領域Lの周辺の複数の位置(Xn1,Yn1)を指定すると、プロセッサ12は、図6に示すように、医師が指定した各第1マーク位置(Xn1,Yn1)で、第1マーク画像IM(Xn1,Yn1)(iは、各第1マーク位置に固有の引数)を第1フレーム画像IMG(T1)に重畳表示させる。
これにより、病変領域Lに、物理的なマーク(例えば、医療用のペンを用いたマーク)に代えて、再生時刻が経過してもマーク位置を追随するコンピュータグラフィックスのマークを付与することができる。
【0050】
ステップS1114の第2例では、医師が病変領域Lの周辺の複数の位置(Xn1,Yn1)を指定すると、プロセッサ12は、図7に示すように、医師が指定した各第1マーク位置(Xn1,Yn1)を接続する接続線(例えば、スプライン曲線)IMaを第1フレーム画像IMG(T1)に重畳表示させる。
これにより、物理的なマーク(例えば、医療用のペンを用いたマーク)では表現できない領域を表現することができる。
なお、この例では、プロセッサ12は、ステップS1114の第1例と同様に、第1マーク画像IM(Xn1,Yn1)を第1フレーム画像IMG(T1)に重畳表示させてもよい。
【0051】
ステップS1114の第3例では、医師が病変領域Lの周辺の複数の位置(Xn1,Yn1)を指定すると、プロセッサ12は、図8に示すように、医師が指定した各第1マーク位置(Xn1,Yn1)を接続する仮想線に近似する近似線(例えば、楕円)IMbを第1フレーム画像IMG(T1)に重畳表示させる。
これにより、物理的なマーク(例えば、医療用のペンを用いたマーク)では表現できない領域を表現することができる。
なお、この例では、プロセッサ12は、ステップS1114の第1例と同様に、第1マーク画像IM(Xn1,Yn1)を第1フレーム画像IMG(T1)に重畳表示させてもよい。
【0052】
ステップS1114の後、内視鏡診断支援装置10は、内視鏡画像の取得(S1115)を実行する。
具体的には、プロセッサ12は、プロセッサ12は、内視鏡装置20から、再生時刻T1に対して第1マーク位置が指定された後の第2フレーム画像IMG(T2)を取得する。
【0053】
ステップS1115の後、内視鏡診断支援装置10は、第2マーク位置の特定(S1116)を実行する。
具体的には、プロセッサ12は、所定のアルゴリズム(一例として、(例:Mean-shift、又は、Alpha-Refine))を用いて、第2フレーム画像IMG(T2)において、類似画素の位置(以下「第2マーク位置」という)(Xn2,Yn2)を特定する。類似画素は、以下の何れかである。
・ステップS1113で得られた特徴量と同一の特徴量を有する画素
・ステップS1113で得られた特徴量と最も近似の特徴量を有する画素
【0054】
プロセッサ12は、複数の第1マーク位置(Xn1,Yn1)のうち、類似画素が特定できない第1マーク位置(例えば、第1マーク位置(X11,Y11))に対応する第2マーク位置(X12,Y12)は特定しない。この場合、プロセッサ12は、第1マーク画像IM(X12,Y12)は表示させない。
【0055】
ステップS1116の後、内視鏡診断支援装置10は、第2フレーム画像の表示(S1117)を実行する。
具体的には、プロセッサ12は、画面P1112(図5)をディスプレイに表示する。
画面P1112は、第2フレーム画像IMG(T2)と、表示オブジェクトA1110と、を含む。
第2フレーム画像IMG(T2)では、病変領域Lが第1フレーム画像IMG(T1)の位置から移動しているので、プロセッサ12は、第2マーク位置(Xn2,Yn2)で、第1マーク画像IMを第2フレーム画像IMG(T2)に重畳表示させる。その結果、再生時刻T1から再生時刻T2になると、第1マーク画像IMが、第1マーク位置(Xn1,Yn1)から第2マーク位置(Xn2,Yn2)に移動する。
【0056】
以後、内視鏡診断支援装置10は、内視鏡動画像の取得(S1115)~第2フレーム画像の表示(S1117)を繰り返し実行する。
【0057】
内視鏡診断支援装置10は、例えば、医師から処理の終了の指示を受け付けると、図4の処理を終了する。
【0058】
(4)本実施形態の小括
本実施形態によれば、ユーザ(例えば、医師)から第1マーク位置の指定を受け付け、第1フレーム画像に対してユーザが指定した第1マーク位置の画素の特徴量を抽出し、第1フレーム画像より後の第2フレーム画像において特徴量に対応する画素の位置である第2マーク位置を決定し、第1マーク位置及び第2マーク位置にマーク画像を内視鏡動画像に重畳表示させる。
これにより、医師が任意に指定した位置に内視鏡動画像上のマーク画像を付与し、且つ、再生時刻の経過と共に当該位置が変わってもマーク画像を追尾させることができる。
【0059】
本実施形態によれば、複数の第1マーク位置が指定された場合、各第1マーク位置に前記第1マーク画像を表示させてもよい。
これにより、病変領域Lを囲むようにユーザが複数の第1マーク位置を指定した場合であっても、医師が指定した位置に内視鏡動画像上のマーク画像を付与し、且つ、再生時刻の経過と共に当該位置が変わっても当該マーク画像を追尾させることができる。
【0060】
本実施形態によれば、複数の第1マーク位置が指定された場合、各第1マーク位置を接続する接続線を表示させてもよい。
これにより、病変領域Lを囲むようにユーザが複数の第1マーク位置を指定した場合、病変領域Lを囲む仮想線を提示することができる。
【0061】
本実施形態によれば、複数の第1マーク位置が指定された場合、各第1マーク位置を接続する仮想線に近似する近似線を表示させてもよい。
これにより、病変領域Lを囲むようにユーザが複数の第1マーク位置を指定した場合、病変領域Lを囲む仮想線を提示することができる。
【0062】
(5)変形例
本実施形態の変形例を説明する。
【0063】
(5-1)変形例1
変形例1を説明する。変形例1は、手術により第1マーク画像が付与された部位が切除された後も残る位置に第2マーク画像を表示する例である。
【0064】
(5-1-1)変形例1の情報処理
変形例1の情報処理を説明する。図9は、変形例1の内視鏡診断支援処理のシーケンス図である。図10は、図9の情報処理において表示される画面例を示す図である。図11は、図9の第2マーク画像のマーク位置の決定(S2110)の説明図である。図12は、図10の第1マーク画像及び第2マーク画像の周辺の拡大図である。
【0065】
図9の処理のトリガは、医師が内視鏡装置20のスコープを患者の体内に挿入することにより、内視鏡装置20が内視鏡動画像の撮像を開始することである。
【0066】
図9に示すように、内視鏡診断支援装置10は、図4と同様に、内視鏡動画像の取得(S1110)~第1マーク位置の指定の受付(S1112)を実行する。
【0067】
ステップS1112の後、内視鏡診断支援装置10は、第2マーク画像のマーク位置の決定(S2110)を実行する。
具体的には、プロセッサ12は、ステップS1112で得られた複数の第1マーク画像IM(Xn1,Yn1)の重心Gの座標(以下「重心座標」という)を計算する(図11)。
プロセッサ12は、各第1マーク画像IM(Xn1,Yn1)と重心Gとの間の距離Dに基づくオフセット値(例えば、当該距離に所定の倍率を乗じた値)を計算する。
プロセッサ12は、各第1マーク画像IM(Xn1,Yn1)と重心Gとの延長線上で、各第1マーク位置(Xn1,Yn1)にオフセット値を加算する。
加算の結果が画面の範囲内の座標を示す場合、プロセッサ12は、加算の結果を第2マーク画像OIMのマーク位置(Xm1,Ym1)として特定する。
加算の結果が画面の範囲外の座標を示す場合、プロセッサ12は、加算の結果から最も近い画面の範囲内の座標を第2マーク画像OIMのマーク位置(Xm1,Ym1)として特定する。
【0068】
ステップS2110の後、内視鏡診断支援装置10は、特徴量の抽出(S1113)を実行する。
具体的には、プロセッサ12は、図4と同様に、第1マーク位置(Xn1,Yn1)の画素の特徴量を抽出する。
プロセッサ12は、ステップS2110で得られた第2マーク画像OIMのマーク位置(Xm1,Ym1)の画素の特徴量を抽出する。
【0069】
ステップS1113の後、内視鏡診断支援装置10は、マーク画像の表示(S1114)を実行する。
具体的には、プロセッサ12は、画面P2110(図10)をディスプレイに表示させる。
プロセッサ12は、ステップS1112で特定された第1マーク位置(Xn1,Yn1)で、第1マーク画像IM(Xn1,Yn1)を第1フレーム画像IMG(T1)に重畳表示させる。
プロセッサ12は、ステップS2110で特定された第2マーク位置(Xm1,Ym1)で、第2マーク画像OIM(Xm1,Ym1)を第1フレーム画像IMG(T1)に重畳表示させる。
これにより、病変領域Lに、物理的なマーク(例えば、医療用のペンを用いたマーク)に代えて、再生時刻が経過してもマーク位置を追随するコンピュータグラフィックスのマークを付与することができ、且つ、第1マーク位置(Xn1,Yn1)の病変領域Lが例えば手術により切除された後も残る第2マーク位置(Xm1,Ym1)にマークを付与することができる。
【0070】
ステップS1114の後、内視鏡診断支援装置10は、図4と同様に、内視鏡動画像の取得(S1115)を実行する。
【0071】
ステップS1115の後、内視鏡診断支援装置10は、第2マーク位置の特定(S1116)を実行する。
具体的には、プロセッサ12は、図4のステップS1116と同様に、ステップS1113の結果に基づいて、第2マーク位置(Xn2,Yn2)を特定する。
プロセッサ12は、所定のアルゴリズム(一例として、(例:Mean-shift、又は、Alpha-Refine))を用いて、ステップS1113の結果に基づいて、第2フレーム画像IMG(T2)において、フレーム画像IMG(T2)における第2マーク画像OIMの第2マーク位置(Xm2,Ym2)を特定する。
【0072】
ステップS1116の後、内視鏡診断支援装置10は、第2フレーム画像の表示(S1117)を実行する。
具体的には、プロセッサ12は、画面P2111(図10)をディスプレイに表示する。
画面P2111は、第2フレーム画像IMG(T2)を含む。
第2フレーム画像IMG(T2)では、病変領域Lが第1フレーム画像IMG(T1)の位置から移動しているので、プロセッサ12は、第2マーク位置(Xn2,Yn2)で、第1マーク画像IMを第2フレーム画像IMG(T2)に重畳表示させ、且つ、第2マーク位置(Xm2,Ym2)で第2マーク画像OIMを第2フレーム画像IMG(T2)に重畳表示させる。その結果、再生時刻T1から再生時刻T2になると、第1マーク画像IMが、第1マーク位置(Xn1,Yn1)から第2マーク位置(Xn2,Yn2)に移動し、且つ、第2マーク画像OIMが第1マーク位置(Xm1,Ym1)から第2マーク位置(Xm2,Ym2)に移動する。
【0073】
内視鏡診断支援装置10は、再生時刻T2の後の再生時刻T3以降のフレーム画像を表示する場合、内視鏡画像の取得(S1115)~第2フレーム画像の表示(S1117)を繰り返し実行する。
【0074】
内視鏡診断支援装置10は、例えば、医師から処理の終了の指示を受け付けると、図9の処理を終了する。
【0075】
(5-1-2)変形例1の小括
変形例1によれば、第1マーク画像IMの外側に第2マーク画像OIMを表示させてもよい。
これにより、医師が手術で病変領域Lを切除した後であっても、医師が指定した第1マーク位置に対応する第2マーク位置を提示し続けることができる。
【0076】
(5-2)変形例2
変形例2を説明する。変形例2は、手術により部位の切除に起因して第1マーク画像が付与された部位が視認不能になった後も第1マーク画像を残す例である。
【0077】
(5-2-1)変形例2の情報処理
変形例2の情報処理を説明する。図13は、変形例2の内視鏡診断支援処理のシーケンス図である。図14は、図13の情報処理において表示される画面例を示す図である。図15は、変形例2の第1マーク画像の周辺の拡大図である。
【0078】
図13の処理のトリガは、医師が内視鏡装置20のスコープを患者の体内に挿入することにより、内視鏡装置20が内視鏡動画像の撮像を開始することである。
【0079】
図13に示すように、内視鏡診断支援装置10は、図4と同様に、内視鏡動画像の取得(S1110)~内視鏡動画像の取得(S1115)を実行する。
【0080】
ステップS1115の後、内視鏡診断支援装置10は、第2マーク位置の特定(S1116)を実行する。
具体的には、ステップS1114の後、プロセッサ12は、本実施形態と同様に、第2マーク位置(Xn2,Yn2)を特定する。
このとき、医師が、第1フレーム画像IMG(T1)において、部位C(図15)を切除すると、プロセッサ12は、切除された部位Cによって遮蔽される第2マーク位置(X12,Y12)を特定する。
【0081】
ステップS1116の後、内視鏡診断支援装置10は、第2フレーム画像の表示(S1117)を実行する。
具体的には、プロセッサ12は、画面P3110(図14)をディスプレイに表示する。
画面P3110は、第2フレーム画像IMG(T2)と、表示オブジェクトA1110及びA3110と、を含む。
【0082】
第2フレーム画像IMG(T2)では、病変領域Lが第1フレーム画像IMG(T1)の位置から移動しているので、プロセッサ12は、第2マーク位置(Xn2,Yn2)で、第1マーク画像IMを第2フレーム画像IMG(T2)に重畳表示させる。その結果、再生時刻T1から再生時刻T2になると、第1マーク画像IMが、第1マーク位置(Xn1,Yn1)から第2マーク位置(Xn2,Yn2)に移動する。
第2フレーム画像IMG(T2)では、第2マーク位置(X12,Y12)が部位Cによって遮蔽されるので、プロセッサ12は、他の第2マーク位置(Xn2,Yn2)の第1マーク画像IM(Xn2,Yn2)とは異なる表示形態(例えば、色、形状、及び、サイズの少なくとも1つ)で、第1マーク画像IM(X12,Y12)を第2フレーム画像IMG(T2)に重畳表示させる。
【0083】
表示オブジェクトA3110は、部位Cによってマーク位置が遮蔽される前の画面P1111を表示するオブジェクトである。
【0084】
内視鏡診断支援装置10は、再生時刻T2の後の再生時刻T3以降のフレーム画像を表示する場合、内視鏡画像の取得(S1115)~第2フレーム画像の表示(S1117)を繰り返し実行する。
【0085】
内視鏡診断支援装置10は、例えば、医師から処理の終了の指示を受け付けると、図13の処理を終了する。
【0086】
(5-2-2)変形例2の小括
変形例2によれば、第2マーク位置が特定できない場合、第1マーク位置に表示させた第1マーク画像の表示態様とは異なる表示態様で、第1マーク画像を重畳表示させてもよい。
これにより、第2マーク位置が特定できなかった場合でも医師にとって有用な情報を提供することができる。
【0087】
変形例2によれば、第2マーク位置が特定できた場合の第2フレーム画像と、第2マーク位置が特定できなかった場合の第2フレーム画像と、を同時に表示させてもよい。
これにより、第2マーク位置が特定できなかった場合でも医師にとって有用な情報を提供することができる。
【0088】
変形例2によれば、第2マーク位置が特定できた後の再生時刻のフレーム画像において第2マーク位置が特定できなかった場合、第2マーク位置が特定できた場合の第2フレーム画像を第1サイズで表示させ、且つ、第2マーク位置ができなかった場合の第2フレーム画像を第2サイズ(第1サイズより小さいサイズ)で表示させてもよい。
これにより、第2マーク位置が特定できなかった場合でも医師にとって有用な情報をより分かりやすい表示形態で提供することができる。
【0089】
(5-3)変形例3
変形例3を説明する。変形例3は、マーク画像の位置の精度が所定の閾値以下である場合、マーク画像の表示態様を変更する例である。
【0090】
(5-3-1)変形例3の情報処理
変形例3の情報処理を説明する。図16は、変形例3の内視鏡診断支援処理のシーケンス図である。図17は、変形例3の第1マーク画像の周辺の拡大図である。
【0091】
図17に示すように、内視鏡診断支援装置10は、図4と同様に、内視鏡動画像の取得(S1110)~マーク画像の表示(S1114)を実行する。
【0092】
ステップS1114の後、内視鏡診断支援装置10は、再生時刻T2のフレーム画像IMG(T2)について、図4と同様に、内視鏡動画像の取得(S1115)~第2マーク位置の特定(S1116)を実行する。
【0093】
ステップS1116の後、内視鏡診断支援装置10は、再生時刻T2のフレーム画像IMG(T2)について、位置精度の計算(S4110)を実行する。
具体的には、プロセッサ12は、再生時刻T2のフレーム画像IMG(T2)について、第2マーク位置(Xn2,Yn2)と、第2マーク位置(Xn2,Yn2)以外の第2マーク位置(Xj2,Yj2)(jは、各第2マーク位置に固有の引数(n≠j))との間の距離行列DM(n2)を計算する。
プロセッサ12は、ソフトマックス関数を用いて、距離行列DM(n2)の総和を1に正規化することにより、正規化距離行列NDM(n2)を計算する。
【0094】
ステップS4110の後、内視鏡診断支援装置10は、再生時刻T2のフレーム画像IMG(T2)について、図4と同様に、第2フレーム画像(S1117)を実行する。
【0095】
ステップS1117の後、内視鏡診断支援装置10は、再生時刻T3のフレーム画像IMG(T3)について、図4と同様に、内視鏡動画像の取得(S1115)~第2マーク位置の特定(S1116)を実行する。
【0096】
ステップS1116の後、内視鏡診断支援装置10は、再生時刻T3のフレーム画像IMG(T3)について、位置精度の計算(S4110)を実行する。
具体的には、プロセッサ12は、再生時刻T3のフレーム画像IMG(T3)について、再生時刻T2のフレーム画像IMG(T2)と同様に、正規化距離行列NDM(n3)を計算する。
プロセッサ12は、正規化距離行列NDM(n3)と、1つ前の再生時刻T2のフレーム画像IMG(T2)の正規化距離行列NDM(n2)との差(以下「正規化距離行列差」という)ΔNDM(n3)を計算する。
【0097】
プロセッサ12は、正規化距離行列差ΔNDM(n3)が所定の第1閾値以上である引数n(例えば、n=1)を特定する。
プロセッサ12は、第2マーク位置(X13,Y13)を、第2マーク位置の推定の精度(以下「位置精度」という)が低い第2マーク位置として特定する。
【0098】
プロセッサ12は、正規化距離行列差ΔNDM(n3)が所定の第2閾値未満である引数n(例えば、n=2)を特定する。
プロセッサ12は、第2マーク位置(X23,Y23)を、位置精度が高い第2マーク位置として特定する。
【0099】
ステップS4110の後、内視鏡診断支援装置10は、再生時刻T3の第2フレーム画像の表示(S1117)を実行する。
【0100】
変形例3のステップS1117の第1例では、プロセッサ12は、第1マーク画像IM(Xn3,Yn3)のうち、位置精度が低い第2マーク位置(X13,Y13)の第1マーク画像IM(X13,Y13)の表示形態(例えば、色、形状、及び、サイズの少なくとも1つ)を他の第1マーク画像IM(Xn3,Yn3)の表示形態と異なる表示形態とする。
一例として、プロセッサ12は、位置精度が低い第1マーク画像IM(X13,Y13)を強調する。例えば、プロセッサ12は、位置精度が低い第1マーク画像IM(X13,Y13)の強調度を他の画像よりも低下させることにより、当該第1マーク画像IM(X13,Y13)を他の画像よりも目立たせる。
【0101】
変形例3のステップS1117の第2例では、プロセッサ12は、第1マーク画像IM(Xn3,Yn3)のうち、位置精度が高い第2マーク位置(X23,Y23)の第1マーク画像IM(X23,Y23)の表示形態(例えば、色、形状、及び、サイズの少なくとも1つ)を他の第1マーク画像IM(Xn3,Yn3)の表示形態と異なる表示形態とする。
一例として、プロセッサ12は、位置精度が高い第1マーク画像IM(X23,Y23)を強調する。例えば、プロセッサ12は、位置精度が低い第1マーク画像IM(X13,Y13)の強調度を他の画像よりも増加させることにより、当該第1マーク画像IM(X13,Y13)を他の画像よりも目立たせる。
【0102】
内視鏡診断支援装置10は、再生時刻T3の後の再生時刻T4以降のフレーム画像を表示する場合、内視鏡画像の取得(S1115)~第2フレーム画像の表示(S1117)を繰り返し実行する。
【0103】
内視鏡診断支援装置10は、例えば、医師から処理の終了の指示を受け付けると、図16の処理を終了する。
【0104】
(5-3-2)変形例3の小括
変形例3によれば、第2マーク位置の位置精度に応じて、第1マーク画像の表示態様を変更してもよい。
これにより、手術中の医師に対して、第1マーク画像の精度の高低を容易に認知させることができる。
【0105】
変形例3によれば、位置精度が所定の第1閾値以上の場合、第1マーク画像を強調してもよい。
これにより、手術中の医師に対して、位置精度が低い第1マーク画像を容易に認知させることができる。
【0106】
変形例3によれば、位置精度が所定の第2閾値未満の場合、第1マーク画像を強調してもよい。
これにより、手術中の医師に対して、位置精度が高い第1マーク画像を容易に認知させることができる。
【0107】
(6)その他の変形例
その他の変形例を説明する。
【0108】
記憶装置11は、ネットワークNWを介して、内視鏡診断支援装置10と接続されてもよい。
【0109】
内視鏡診断支援装置10は、内視鏡装置20に組み込まれても良い。この場合、上記の情報処理の各ステップは、内視鏡装置20が実行する。
【0110】
本実施形態では、図6に示すように、第1マーク画像の形状がドット(つまり、円)である例を示したが、第1マーク画像の形状は、これに限られない。
第1マーク画像の形状は、以下の何れかであってもよい。
・三角形
・複数の第1マーク位置によって囲まれる領域の内側を示す矢印
【0111】
各変形例は、以下の例にも適用可能である。
・第1マーク画像IM及び第2マーク画像OIMの少なくとも1つを図7と同様に接続線(例えば、スプライン曲線)として表示する例
・第1マーク画像IM及び第2マーク画像OIMの少なくとも1つを図8と同様に近似線(例えば、楕円)として表示する例
・第1マーク画像IM及び第2マーク画像OIMを図11に示すように(つまり、第2マーク画像の座標を計算するときの仮想線及び重心Gと共に)表示する例
【0112】
各変形例は、以下の例にも適用可能である。図18は、その他の変形例の第1マーク画像の周辺の拡大図である。
以下の例は、変形例2に特に有用である。以下の例を変形例2に適用することにより、第2マーク位置が特定できなかった場合でも、どのマークが特定できていないかを医師に知らせることができる。
図18に示すように、複数の第1マーク画像IMを互いに異なる表示形態又は異なる記号(一例として、第1マーク位置が指定された順番を示す記号)で表示する例
・複数の第2マーク画像OIMを互いに異なる表示形態又は異なる記号(一例として、第1マーク位置が指定された順番を示す記号)で表示する例。
【0113】
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
【符号の説明】
【0114】
1 :内視鏡システム
10 :内視鏡診断支援装置
11 :記憶装置
12 :プロセッサ
13 :入出力インタフェース
14 :通信インタフェース
15 :入力デバイス
16 :出力デバイス
20 :内視鏡装置
21 :記憶装置
22 :プロセッサ
23 :入出力インタフェース
24 :通信インタフェース
25 :入力デバイス
26 :出力デバイス
27 :カメラユニット
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18