特開 2022-52417 検査支援装置、検査支援方法および検査支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022052417

(43)【公開日】2022-04-04

(54)【発明の名称】検査支援装置、検査支援方法および検査支援プログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20220328BHJP

【ＦＩ】

A61B1/045 622

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2020158802

(22)【出願日】2020-09-23

(71)【出願人】

【識別番号】517380422

【氏名又は名称】株式会社ＡＩメディカルサービス

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】伊與田 正晃

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA01

4C161CC06

4C161DD03

4C161LL02

4C161NN05

4C161VV04

4C161WW02

4C161WW03

4C161WW13

(57)【要約】

【課題】内視鏡システムが備えるシステムモニタとの関係において、検査情報等を表示モニタに見やすく表示するための表示態様を自動的に決定する検査支援装置等を提供する。
【解決手段】被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置は、カメラユニットで撮像された撮像画像を取得する取得部と、撮像画像と体内検査に関する検査情報を表示するための表示モニタと、体内検査の実行に先立って取得部が取得した撮像画像に写り込んだ表示モニタと内視鏡システムに付随するシステムモニタの相互関係を解析する解析部と、解析部が解析した相互関係に基づいて表示モニタの表示態様を決定する決定部と、決定部が決定した表示態様に従って表示モニタの表示を制御する表示制御部とを備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置であって、
前記カメラユニットで撮像された撮像画像を取得する取得部と、
前記撮像画像と体内検査に関する検査情報を表示するための表示モニタと、
前記体内検査の実行に先立って前記取得部が取得した前記撮像画像に写り込んだ前記表示モニタと前記内視鏡システムに付随するシステムモニタの相互関係を解析する解析部と、
前記解析部が解析した前記相互関係に基づいて前記表示モニタの表示態様を決定する決定部と、
前記決定部が決定した前記表示態様に従って前記表示モニタの表示を制御する表示制御部と
を備える検査支援装置。

【請求項2】

前記解析部は、前記相互関係として前記表示モニタと前記システムモニタの位置関係を解析する請求項１に記載の検査支援装置。

【請求項3】

前記決定部は、前記システムモニタに表示されていない固有情報を、前記位置関係に基づいて前記表示モニタの表示領域のうち前記システムモニタの側へ偏位した領域に表示させる表示態様に決定する請求項２に記載の検査支援装置。

【請求項4】

前記固有情報は、前記検査情報の少なくとも一部である、前記体内検査の実行中に取得される前記撮像画像に基づいて分析された診断補助情報である請求項３に記載の検査支援装置。

【請求項5】

前記診断補助情報は、少なくとも病変の確率を示す数値を含む請求項４に記載の検査支援装置。

【請求項6】

前記決定部は、前記位置関係に基づいて表示要素の大きさを変更する請求項２から５のいずれか１項に記載の検査支援装置。

【請求項7】

前記決定部は、前記システムモニタにおける表示態様を考慮して前記表示モニタにおける表示態様を決定する請求項１から６のいずれか１項に記載の検査支援装置。

【請求項8】

前記決定部は、前記システムモニタの表示に採用されている色調を考慮して前記表示モニタにおける色調を決定する請求項７に記載の検査支援装置。

【請求項9】

前記決定部が決定した表示態様に基づいて、前記システムモニタの表示態様の変更を要求する要求信号を生成して前記内視鏡システムへ送信する変更要求部を備える請求項１から８のいずれか１項に記載の検査支援装置。

【請求項10】

前記表示制御部は、前記解析部による解析に先立って、前記表示モニタに指標を表示させる請求項１から９のいずれか１項に記載の検査支援装置。

【請求項11】

被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置を用いた検査支援方法であって、
体内検査の実行に先立って前記カメラユニットで撮像された撮像画像を取得する取得ステップと、
前記撮像画像に写り込んだ、前記検査支援装置が備える表示モニタと前記内視鏡システムに付随するシステムモニタの相互関係を解析する解析ステップと、
前記解析ステップで解析された前記相互関係に基づいて、前記カメラユニットで撮像された撮像画像と前記体内検査に関する検査情報を表示する前記表示モニタの表示態様を決定する決定ステップと、
前記決定ステップで決定された前記表示態様に従って前記表示モニタの表示を制御する表示制御ステップと
を有する検査支援方法。

【請求項12】

被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置を制御する検査支援プログラムであって、
体内検査の実行に先立って前記カメラユニットで撮像された撮像画像を取得する取得ステップと、
前記撮像画像に写り込んだ、前記検査支援装置が備える表示モニタと前記内視鏡システムに付随するシステムモニタの相互関係を解析する解析ステップと、
前記解析ステップで解析された前記相互関係に基づいて、前記カメラユニットで撮像された撮像画像と前記体内検査に関する検査情報を表示する前記表示モニタの表示態様を決定する決定ステップと、
前記決定ステップで決定された前記表示態様に従って前記表示モニタの表示を制御する表示制御ステップと
をコンピュータに実行させる検査支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査支援装置、検査支援方法および検査支援プログラムに関する。

【背景技術】

【0002】

内視鏡により被検者の例えば胃内部を撮像してその画像をモニタに表示する内視鏡システムが知られている。最近では、内視鏡システムで撮像された画像を分析して、その結果を医師へ知らせる検査支援装置も普及しつつある（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－４２１５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

内視鏡システムが撮像した被検者の体内内画像を検査支援装置が事後的に取り込んで分析するシステムは、即時性に乏しい。被検者を診断する医師は、内視鏡システムによる体内の撮像に連動して即時に分析結果を知りたい。そこで、検査支援装置を内視鏡システムに接続して、内視鏡システムが撮像した体内画像をほぼリアルタイムで検査支援装置に分析させる利用態様が考えられる。この場合、医師は、内視鏡システムが備えるモニタと検査支援装置が備えるモニタを視認しながら診察を行うことになる。検査支援装置が備えるモニタが常に一定の表示態様により分析結果を表示するのであれば、２つのモニタの位置関係によっては著しく視認性が劣ることがある。しかし、表示レイアウトを事前に指定するメニュー操作は煩わしく、検査に要する時間を引き延ばす原因となることもある。

【0005】

本発明は、このような問題を解決するためになされたものであり、内視鏡システムが備えるシステムモニタとの関係において、検査情報等を表示モニタに見やすく表示するための表示態様を自動的に決定する検査支援装置等を提供するものである。

【課題を解決するための手段】

【0006】

本発明の第１の態様における検査支援装置は、被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置であって、カメラユニットで撮像された撮像画像を取得する取得部と、撮像画像と体内検査に関する検査情報を表示するための表示モニタと、体内検査の実行に先立って取得部が取得した撮像画像に写り込んだ表示モニタと内視鏡システムに付随するシステムモニタの相互関係を解析する解析部と、解析部が解析した相互関係に基づいて表示モニタの表示態様を決定する決定部と、決定部が決定した表示態様に従って表示モニタの表示を制御する表示制御部とを備える。

【0007】

また、本発明の第２の態様における検査支援方法は、被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置を用いた検査支援方法であって、体内検査の実行に先立ってカメラユニットで撮像された撮像画像を取得する取得ステップと、撮像画像に写り込んだ、検査支援装置が備える表示モニタと内視鏡システムに付随するシステムモニタの相互関係を解析する解析ステップと、解析ステップで解析された相互関係に基づいて、カメラユニットで撮像された撮像画像と体内検査に関する検査情報を表示する表示モニタの表示態様を決定する決定ステップと、決定ステップで決定された表示態様に従って表示モニタの表示を制御する表示制御ステップとを有する。

【0008】

さらに、本発明の第３の態様における検査支援プログラムは、被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置を制御する検査支援プログラムであって、体内検査の実行に先立ってカメラユニットで撮像された撮像画像を取得する取得ステップと、撮像画像に写り込んだ、検査支援装置が備える表示モニタと内視鏡システムに付随するシステムモニタの相互関係を解析する解析ステップと、解析ステップで解析された相互関係に基づいて、カメラユニットで撮像された撮像画像と体内検査に関する検査情報を表示する表示モニタの表示態様を決定する決定ステップと、決定ステップで決定された表示態様に従って表示モニタの表示を制御する表示制御ステップとをコンピュータに実行させる。

【発明の効果】

【0009】

本発明により、内視鏡システムが備えるシステムモニタとの関係において、検査情報等を表示モニタに見やすく表示するための表示態様を自動的に決定する検査支援装置等を提供することができる。

【図面の簡単な説明】

【0010】

【図1】内視鏡システムと本実施形態に係る胃検査支援装置を用いた内視鏡検査の様子を示す図である。

【図2】胃検査支援装置のハードウェア構成図である。

【図3】内視鏡システムのカメラユニットで内視鏡システムと胃検査支援装置を撮像する様子を示す図である。

【図4】システムモニタと表示モニタの相互関係を解析する手順を説明するための図である。

【図5】決定される表示態様の一例を示す図である。

【図6】決定される表示態様の別の一例を示す図である。

【図7】決定される表示態様の別の一例を示す図である。

【図8】決定される表示態様の別の一例を示す図である。

【図9】決定される表示態様の別の一例を示す図である。

【図10】決定される表示態様の別の一例を示す図である。

【図11】学習済みモデルを用いた分析処理の手順を説明する図である。

【図12】演算処理部の処理手順を説明するフロー図である。

【発明を実施するための形態】

【0011】

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

【0012】

図１は、内視鏡システム２００と本実施形態に係る検査装置１００を用いた内視鏡検査の様子を示す図である。内視鏡システム２００と検査装置１００は、共に診察スペースに設置されている。本実施形態においては、被検者の体内のうち胃を検査する場合を想定する。内視鏡システム２００は、カメラユニット２１０を備え、カメラユニット２１０は、図示するように、横たわる被検者の口腔から胃へ挿通され、胃の内部を撮像した画像の画像信号をシステム本体へ送信する。カメラユニット２１０の胃内への挿通や撮像操作は、医師によって行われる。

【0013】

内視鏡システム２００は、例えば液晶パネルによって構成されるシステムモニタ２２０を備え、カメラユニット２１０から送られてきた画像信号を処理して視認可能な撮像画像２２１としてシステムモニタ２２０に表示する。また、内視鏡システム２００は、被検者情報やカメラユニット２１０のカメラ情報などを含む検査情報２２２をシステムモニタ２２０に表示する。

【0014】

検査装置１００は、接続ケーブル２５０によって内視鏡システム２００に接続されている。内視鏡システム２００は、システムモニタ２２０へ送信する表示信号を、接続ケーブル２５０を介して検査装置１００へも送信する。検査装置１００は、例えば液晶パネルによって構成される表示モニタ１２０を備え、内視鏡システム２００から送られてきた表示信号から撮像画像２２１に対応する画像信号を抽出して視認可能な撮像画像１２１として表示モニタ１２０に表示する。また、検査装置１００は、撮像画像１２１の画像データを生成し、これを分析して診断補助情報１２２を出力し、表示モニタ１２０に表示する。検査装置１００は、内視鏡システム２００から表示信号を受け取り次第、あるいは医師によるカメラユニット２１０の操作を推定したタイミングに同期して撮像画像１２１や診断補助情報１２２の表示を実行する。すなわち、医師は検査の進行に同期して逐次的に撮像画像１２１や診断補助情報１２２を確認することができる。

【0015】

さて、既存の内視鏡システム２００に検査装置１００を接続して利用する場合には、内視鏡システム２００のシステムモニタ２２０と検査装置１００の表示モニタ１２０が診察スペースに並置されることになる。したがって、医師は、被検者の胃内へ挿通するカメラユニット２１０を操作しながら２台のモニタを視認しつつ検査を進めることになる。ここで、２台のモニタは、診察スペースの都合等によって様々に配置される可能性があり、両モニタの配置関係と表示モニタ１２０の表示態様によっては、両モニタを行き来する視線の移動量が大きくなるなど、表示される情報の視認性が著しく低下する場合がある。そこで、本実施形態における検査装置１００は、自身が備える表示モニタ１２０と内視鏡システム２００に付随するシステムモニタ２２０との相互関係を解析し、表示モニタ１２０における表示態様を自動的に最適化する。以下に、検査装置１００の構成、処理手順、表示態様の決定等について順次説明する。

【0016】

図２は、検査装置１００のハードウェア構成図である。検査装置１００は、主に、演算処理部１１０、表示モニタ１２０、入出力インタフェース１３０、入力デバイス１４０、記憶部１５０によって構成される。演算処理部１１０は、検査装置１００の制御とプログラムの実行処理を行うプロセッサ（ＣＰＵ：Central Processing Unit）である。プロセッサは、ＡＳＩＣ（Application Specific Integrated Circuit）やＧＰＵ（Graphics Processing Unit）等の演算処理チップと連携する構成であってもよい。演算処理部１１０は、記憶部１５０に記憶された検査支援プログラムを読み出して、検査の支援に関する様々な処理を実行する。

【0017】

表示モニタ１２０は、上述のように、例えば液晶パネルを備えるモニタであり、撮像画像１２１や診断補助情報１２２を視認可能に表示する。入出力インタフェース１３０は、接続ケーブル２５０を接続するためのコネクタを含む、外部機器との間で情報を授受するための接続インタフェースである。入出力インタフェース１３０は、例えばＬＡＮユニットを含み、検査支援プログラムや後述する分析用ニューラルネットワーク１５１の更新データを外部機器から取り込んで演算処理部１１０へ引き渡す。

【0018】

入力デバイス１４０は、例えばキーボードやマウス、表示モニタ１２０に重畳されたタッチパネルであり、医師や補助者は、これらを操作して検査装置１００の設定を変更したり、検査に必要な情報を入力したりする。

【0019】

記憶部１５０は、不揮発性の記憶媒体であり、例えばＨＤＤ（Hard Disk Drive）によって構成されている。記憶部１５０は、検査装置１００の制御や処理を実行するプログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、表示要素データ、ルックアップテーブル等を記憶し得る。記憶部１５０は、特に、分析用ニューラルネットワーク１５１を記憶している。分析用ニューラルネットワーク１５１は、カメラユニット２１０が撮像した画像データを入力すると、その画像内に病変が存在する確率を算出する学習済みモデルである。なお、記憶部１５０は、複数のハードウェアで構成されていても良く、例えば、プログラムを記憶する記憶媒体と分析用ニューラルネットワーク１５１を記憶する記憶媒体が別々のハードウェアで構成されてもよい。

【0020】

演算処理部１１０は、検査支援プログラムが指示する処理に応じて様々な演算を実行する機能演算部としての役割も担う。演算処理部１１０は、取得部１１１、解析部１１２、決定部１１３、診断補助部１１４、表示制御部１１５として機能し得る。取得部１１１は、内視鏡システム２００から送られてくる表示信号を処理することにより、カメラユニット２１０で撮像された画像を撮像画像１２１として再現し取得する。解析部１１２は、被検者の胃の検査の実行に先立って取得部１１１が取得した撮像画像１２１に写り込んだ表示モニタ１２０とシステムモニタ２２０の相互関係を解析する。決定部１１３は、解析部１１２が解析した相互関係に基づいて表示モニタ１２０の表示態様を決定する。診断補助部１１４は、記憶部１５０から読み出した分析用ニューラルネットワーク１５１へ胃の検査の実行中に取得部１１１が取得した撮像画像１２１を入力し、病変が存在する確率を算出させて、診断補助情報を生成する。表示制御部１１５は、決定部１１３が決定した表示態様に従って表示モニタ１２０の表示を制御する。

【0021】

図３は、内視鏡システム２００のカメラユニット２１０で内視鏡システム２００と検査装置１００を撮像する様子を示す図である。医師は、内視鏡システム２００および検査装置１００の起動後であって被検者の胃の検査を始める前に、少なくともシステムモニタ２２０の一部と表示モニタ１２０の一部が共に画角内に収まるように、内視鏡システム２００と検査装置１００を撮像する。図３においては、システムモニタ２２０の全部と表示モニタ１２０の全部が共に画角内に収まっている様子を示している。

【0022】

カメラユニット２１０で撮像された画像は、内視鏡システム２００で処理されて、システムモニタ２２０の表示領域の一部に視認可能な撮像画像２２１として表示される。検査装置１００の表示制御部１１５は、内視鏡システム２００から受け取った表示信号を、システムモニタ２２０で表示されている表示態様と同様にそのまま表示モニタ１２０に表示する。

【0023】

並行して取得部１１１は、表示信号から生成される表示画面から撮像画像１２１の領域を抽出する。表示制御部１１５は、取得部１１１が抽出した撮像画像１２１の領域がわかるように、当該領域の四隅に枠状の領域指標１２３を重畳表示させる。領域指標１２３が一旦重畳表示されると、その後にカメラユニット２１０で撮像される撮像画像には、被写体像として写り込む表示モニタ１２０に領域指標１２３が現れることになる。

【0024】

カメラユニット２１０による撮像は、この間継続して実行されており、例えば６０ｆｐｓで撮像画像が内視鏡システム２００へ逐次送られる。また、内視鏡システム２００はこれに応じて表示信号を逐次生成している。したがって、表示信号から生成される表示画面はフレーム画像であり、検査装置１００の取得部１１１は、フレーム画像から撮像画像１２１の領域を抽出する。具体的には、カメラユニット２１０で撮像される撮像画像が多少なりとも逐次変化することを利用して、前後する複数のフレーム画像の差分を検出し、所定量以上の変化が検出される領域を撮像画像１２１の領域であると判断する。解析部１１２は、このようにフレーム画像から抽出された撮像画像１２１を利用してシステムモニタ２２０と表示モニタ１２０の相互関係を解析する。

【0025】

図４は、システムモニタ２２０と表示モニタ１２０の相互関係を解析する手順を説明するための図である。上述のように、内視鏡システム２００から送られてくる表示信号を処理してフレーム画像を取得したら、取得部１１１は、当該フレーム画像から撮像画像１２１の領域を抽出して切り出し、解析部１１２へ引き渡す。

【0026】

解析部１１２は、撮像画像１２１に写り込んだ表示モニタ１２０とシステムモニタ２２０のそれぞれの領域である表示モニタ領域１２０ａとシステムモニタ領域２２０ａを決定する。具体的には、予め用意された一般的なモニタ外観画像とのマッチング処理によって両モニタ領域を決定してもよいし、予め多数のモニタ画像を学習した学習済みモデルに撮像画像１２１を入力して両モニタ領域を決定してもよい。ここで、解析部１１２は、モニタ領域として抽出した２つの領域のうち、領域指標１２３が写り込んでいる領域を表示モニタ領域１２０ａと決定し、写り込んでいない領域をシステムモニタ領域２２０ａと決定する。

【0027】

本実施形態においては上述のように、表示制御部１１５は、撮像画像１２１の四隅に領域指標１２３を重畳させている。このように領域指標１２３が重畳されていると、フレーム画像から切り出された撮像画像１２１と領域指標１２３に囲まれた領域の画像とがほぼ相似関係となるので、解析部１１２による表示モニタ領域１２０ａの決定がしやすくなる。なお、重畳させる領域指標１２３は本実施形態のような枠状でなくてもよいし、相似関係を利用して表示モニタ領域１２０ａを決定するのでなければ、撮像画像１２１をしめす指標でなくても構わない。例えば、表示画面の全体に大きな「〇」印を重畳してもよいし、表示領域に指標を重畳させるのではなく、表示モニタ１２０のベゼル部に印刷した指標を貼着しておいてもよい。撮像画像１２１において両モニタを区別し得る目印となる指標であれば、いずれの態様であっても構わない。

【0028】

解析部１１２は、撮像画像１２１から表示モニタ領域１２０ａとシステムモニタ領域２２０ａを決定したら、表示モニタ１２０とシステムモニタ２２０の相互関係を解析する。ここでは、表示モニタ１２０とシステムモニタ２２０の位置関係を解析する。図４の例では、解析部１１２は、表示モニタ１２０がシステムモニタ２２０の略右側に位置することを見出してその結果を決定部１１３へ引き渡す。例えば、表示モニタ領域１２０ａとシステムモニタ領域２２０ａのそれぞれの重心座標を算出し、その重心座標間を結ぶベクトル値を位置関係の解析結果として決定部１１３へ引き渡す。決定部１１３は、解析部１１２から受け取った解析結果に基づいて表示モニタ１２０の表示態様を決定する。以下に表示態様のいくつかの例を説明する。

【0029】

図５は、決定部１１３によって決定される表示態様の一例を示す図である。決定部１１３が以下に説明するように表示要素の表示態様を決定すると、表示制御部１１５は、その決定に従って表示信号を生成し、各表示要素を表示モニタ１２０に表示させる。図５（Ａ）は、表示モニタ１２０がシステムモニタ２２０に対して右側に位置する場合の表示態様を示し、図５（Ｂ）は、表示モニタ１２０がシステムモニタ２２０に対して左側に位置する場合の表示態様を示す。ここでは、カメラユニット２１０が被検者の胃内に挿通され検査を実行している最中の表示画面の表示態様について説明する。

【0030】

図５（Ａ）に示すように、表示モニタ１２０がシステムモニタ２２０に対して右側に位置する場合は、表示モニタ１２０の表示領域のうち中心よりシステムモニタ２２０が位置する左側へ偏位した領域に固有情報を表示させる。固有情報は、システムモニタ２２０に表示されておらず表示モニタ１２０にのみ表示する情報であり、具体的には、検査装置１００の演算処理部１１０の処理によって生成された情報である。

【0031】

ここでは、固有情報が、胃の検査情報の少なくとも一部であって、胃の検査の実行中に取得される撮像画像１２１に基づいて分析された診断補助情報である場合について説明する。表示モニタ１２０は、診断補助部１１４によって算出された撮像画像１２１内に病変が存在する推定確率を診断補助情報として表示する。診断補助情報は、図示するように、推定確率を示す数値情報１２２ａ、タイトルテキスト１２２ｂ、円グラフ状のグラフィックス１２２ｃを含む。

【0032】

このように診断補助情報１２２をシステムモニタ２２０側へ寄せて表示し、システムモニタ２２０にもほぼ同様の表示がある撮像画像１２１をシステムモニタ２２０から遠い位置に表示すれば、両モニタに対する医師の視認性を高めることができる。すなわち、重要な情報を視認する医師の視線移動を短くすることができ、ひいては快適な検査環境の実現に寄与する。なお、表示モニタ１２０に表示する撮像画像１２１は、診断補助部１１４が推定確率の算出に用いた元画像であってもよい。この場合、表示制御部１１５は、診断補助情報１２２を表示する一定期間の間、撮像画像１２１を静止画像として表示するとよい。

【0033】

図５（Ｂ）に示すように、表示モニタ１２０がシステムモニタ２２０に対して左側に位置する場合は、表示モニタ１２０の表示領域のうち中心よりシステムモニタ２２０が位置する右側へ偏位した領域に固有情報を表示させる。ここでは、図５（Ａ）の場合と同様に、固有情報として診断補助情報１２２をシステムモニタ２２０側へ寄せて表示し、撮像画像１２１をシステムモニタ２２０から遠い位置に表示している。

【0034】

ここで、システムモニタ２２０の側へ偏位させて表示させる表示要素は、撮像画像に基づいて分析された診断補助情報に限らず、他の検査情報であってもよい。検査情報としては、例えば、撮像すべき胃内の部位をサンプル画像等によって順次示す検査ガイドであってもよい。また、検査情報に限らず、システムモニタ２２０に表示されない、検査装置１００で生成された固有情報であってもよい。例えば、入力デバイス１４０によって入力された被検者情報であってもよい。いずれの表示要素をシステムモニタ２２０側へ偏位させて表示させるかについて、使用者である医師が事前に選択できるように構成してもよい。

【0035】

図６は、決定部１１３によって決定される表示態様の別の一例を示す図である。具体的には、表示モニタ１２０がシステムモニタ２２０に対して上側に位置する場合の表示態様を示す。図６の表示態様は、図５（Ａ）および図５（Ｂ）の場合と同様に、カメラユニット２１０が被検者の胃内に挿通され検査を実行している最中の表示態様であり、表示される表示要素も同様である。

【0036】

図６に示すように、表示モニタ１２０がシステムモニタ２２０に対して上側に位置する場合は、表示モニタ１２０の表示領域のうち中心よりシステムモニタ２２０が位置する下側へ偏位した領域に固有情報を表示させる。ここでは、固有情報として診断補助情報１２２をシステムモニタ２２０側へ寄せて表示し、撮像画像１２１をシステムモニタ２２０から遠い位置に表示している。ただし、両表示要素が重なり合わないように、大きさを変えずにそれぞれを左右にずらして表示している。このように、表示モニタ１２０がシステムモニタ２２０に対して上下方向に位置する場合であっても、診断補助情報１２２をシステムモニタ２２０側へ偏位させることができるので、医師の視線移動を短くすることができる。

【0037】

図７は、決定部１１３によって決定される表示態様の別の一例を示す図である。具体的には、表示モニタ１２０がシステムモニタ２２０に対して左上側に位置する場合の表示態様を示す。図７の表示態様は、図５（Ａ）および図５（Ｂ）の場合と同様に、カメラユニット２１０が被検者の胃内に挿通され検査を実行している最中の表示態様であり、表示される表示要素も同様である。

【0038】

図７に示すように、表示モニタ１２０がシステムモニタ２２０に対して左上側に位置する場合は、表示モニタ１２０の表示領域のうち中心よりシステムモニタ２２０が位置する右下側へ偏位した領域に固有情報を表示させる。ここでは、固有情報として診断補助情報１２２をシステムモニタ２２０側へ寄せて表示し、撮像画像１２１をシステムモニタ２２０から遠い位置に表示している。特に、より重要な情報である数値情報１２２ａをさらにシステムモニタ２２０側へ寄せて表示している。このように表示することにより、表示モニタ１２０がシステムモニタ２２０に対して斜め方向に位置する場合であっても、医師の視線移動を短くすることができる。特に、数値情報１２２ａをシステムモニタ２２０側へより偏位させることにより、医師の視線移動を更に短くすることができる。なお、診断補助情報１２２のうち、他の要素は基準位置に表示させて数値情報１２２ａのみをシステムモニタ２２０側へ偏位させて表示してもよい。また、数値情報１２２ａのみをシステムモニタ２２０側へ偏位させる表示態様は、両モニタの位置関係が斜め方向である場合に限らず、図５や図６のような上下左右方向に並ぶ場合であっても採用し得る。

【0039】

図８は、決定部１１３によって決定される表示態様の別の一例を示す図である。図５から図７に示す表示態様の例は、表示モニタ１２０とシステムモニタ２２０が互いにほぼ同じ大きさのモニタであって、それぞれが医師からほぼ等距離の位置に並べられる場合を想定した。しかし、表示モニタ１２０とシステムモニタ２２０は互いに大きさが異なる場合もあるし、奥行き方向にずれて配置される場合もある。図８に示す表示態様の例は、表示モニタ１２０がシステムモニタ２２０に対して右側に位置する点で図５（Ａ）と同様であるものの、表示モニタ１２０が医師に対してシステムモニタ２２０よりも遠い位置に配置されている場合におけるものである。

【0040】

解析部１１２は、撮像画像１２１から表示モニタ領域１２０ａがシステムモニタ領域２２０ａよりも右側に存在すること、および表示モニタ領域１２０ａがシステムモニタ領域２２０ａよりも小さいことを解析したら、その結果を決定部１１３へ引き渡す。決定部１１３は、当該結果から、表示モニタ１２０がシステムモニタ２２０に対して右側に位置することと、表示モニタ１２０がシステムモニタ２２０よりも遠くに位置する、または表示モニタ１２０がシステムモニタ２２０よりも小さいことを認識し、図８に示す表示態様を決定する。

【0041】

具体的には、システムモニタ２２０と同じ大きさの表示モニタ１２０が互いに隣接して配置されている場合に比べて診断補助情報１２２が表示領域に占める割合を大きくし、大きくした診断補助情報１２２をシステムモニタ２２０が位置する左側へ偏位させる表示態様に決定する。このとき、診断補助情報１２２を構成する内部要素のレイアウトを変更してもよい。例えば、図８に示すように、タイトルテキスト１２２ｂについては大きさを変更せず、位置をシステムモニタ２２０側へずらしてもよい。また、システムモニタ２２０から遠い位置に表示する撮像画像１２１の一部を覆うように診断補助情報１２２を表示してもよい。

【0042】

図８の例とは逆に、解析部１１２から受け取った解析結果から決定部１１３が、表示モニタ１２０がシステムモニタ２２０よりも近くに位置する、または表示モニタ１２０がシステムモニタ２２０よりも大きいことを認識した場合には、診断補助情報１２２が表示領域に占める割合を小さくした表示態様に決定してもよい。この場合、生じた余白に更に固有情報を表示してもよい。

【0043】

図９は、決定部１１３によって決定される表示態様の更に別の一例を示す図である。図５から図８の例においては、固有情報として診断補助情報１２２をシステムモニタ２２０側へ偏位させる表示態様であったが、図９の例は、撮像画像１２１に固有情報を重畳させる場合の表示態様である。

【0044】

分析用ニューラルネットワーク１５１が病変の嫌疑部位も特定できるものである場合には、撮像画像１２１のその部位に対して重畳情報１２１ａを重畳する。このように、撮像画像１２１に重畳情報１２１ａを重畳する場合には、重畳情報１２１ａを重畳した撮像画像１２１をシステムモニタ２２０側へ偏位させる。図９の例では、表示モニタ１２０がシステムモニタ２２０に対して右側に位置しているので、表示モニタ１２０の表示領域のうち中心より左側へ偏位した領域に重畳情報１２１ａを重畳した撮像画像１２１を表示している。

【0045】

図９の例では、システムモニタ２２０から遠い位置に表示している診断補助情報１２２も固有情報であるが、いずれの固有情報をシステムモニタ２２０側へ偏位して表示するかについては、予め設定されている優先順位によって決定されている。例えば、優先順位が設定された複数の固有情報が存在する場合には、表示対象となる選択された固有情報のうち最も順位の高い固有情報がシステムモニタ２２０側へ偏位して表示される。したがって、ある時点でシステムモニタ２２０側へ偏位して表示されていた固有情報が一定時間の後に消去される場合には、次に優先順位の高い固有情報が改めてシステムモニタ２２０側へ偏位して表示される。

【0046】

図１０は、決定部１１３によって決定される表示態様の更に別の一例を示す図である。解析部１１２は、撮像画像１２１から表示モニタ領域１２０ａとシステムモニタ領域２２０ａの相対的な位置関係を解析することに加えて、システムモニタ２２０の表示に採用されている色調を解析してもよい。例えば、図１０に示すように、システムモニタ２２０の背景色として暗黒色が採用されている場合には、決定部１１３は、表示モニタ１２０の背景領域１２４を暗黒色にする。このとき、診断補助情報１２２の彩色も、背景領域１２４の色調に合わせて視認性の良いものに変更してもよい。また、表示要素の大きさを変更してもよい。

【0047】

なお、図１０の例では固有情報の偏位も行っているが、色調の調整等によって固有情報の視認性を高めることができる場合などにおいては、固有情報の偏位を省いてもよい。この場合、解析部１１２は、表示モニタ領域１２０ａとシステムモニタ領域２２０ａの相対的な位置関係の解析を行わなくてもよい。

【0048】

また、システムモニタ２２０の表示態様を考慮する場合は、システムモニタ２２０の表示に採用されている色調に限らず、他の要素を考慮してもよい。例えば、解析部１１２がシステムモニタ２２０の表示に用いられているテキストフォントを解析すれば、決定部１１３は、当該テキストフォントに近似するテキストフォントを選択して用いるように決定してもよい。

【0049】

また、解析部１１２が表示モニタ１２０の解像度がシステムモニタ２２０の解像度よりも低いことを解析した場合には、決定部１１３は、表示要素の大きさを通常よりも大きくしてもよい。また、表示モニタ１２０の大きさや距離によって、表示要素の点滅、色彩変更、読上げ音声の併用などの強調手段を採用してもよい。

【0050】

次に、診断補助部１１４による分析処理について説明する。図１１は、学習済みモデルである分析用ニューラルネットワーク１５１を用いた分析処理の手順を説明する図である。分析用ニューラルネットワーク１５１は、病変部位を含む画像と含まない画像とを、その正解と共に大量に与えられる教師あり学習によって予め作成されたものである。このように作成された分析用ニューラルネットワーク１５１は、記憶部１５０に格納され、診断補助部１１４により適宜読み出されて利用に供される。

【0051】

内視鏡システム２００は、被検者の胃内に挿通されたカメラユニット２１０から、上述のように例えば６０ｆｐｓで撮像画像を受け取るが、医師がレリーズ信号を発生させた場合には、静止画像を撮像画像として受け取る。この場合に検査装置１００が内視鏡システム２００から受信する表示信号は、表示信号としては６０ｆｐｓのフレーム信号であるものの、ここから展開される撮像画像１２１は、一定期間フリーズした疑似静止画像となる。

【0052】

取得部１１１は、この疑似静止画像を検知して撮像画像データを生成したら、当該撮像画像データを診断対象画像データとして診断補助部１１４へ引き渡す。診断補助部１１４は、受け取った撮像画像データを展開した撮像画像１２１を分析用ニューラルネットワーク１５１へ入力し、推定確率を算出させる。

【0053】

次に、検査装置１００を用いた検査支援方法の処理手順について説明する。図１２は、演算処理部１１０によって実行される処理手順を説明するフロー図である。フローは、例えば、内視鏡システム２００および検査装置１００が起動された時点から開始される。

【0054】

取得部１１１は、ステップＳ１０１で、内視鏡システム２００から送られてくる表示信号を取得しフレーム画像に展開する。そして、ステップＳ１０２で、展開されたフレーム画像から撮像画像１２１を切り出して解析部１１２へ引き渡す。

【0055】

解析部１１２は、ステップＳ１０３で、図４を用いて説明したように撮像画像１２１から表示モニタ領域１２０ａとシステムモニタ領域２２０ａを探索する。これらの領域を見つけ出したら、これらの座標等を用いて表示モニタ１２０とシステムモニタ２２０の相互関係を解析する。解析部１１２は、ステップＳ１０４へ進み、相互関係の解析に成功したか否かを判断する。撮像画像１２１から表示モニタ領域１２０ａとシステムモニタ領域２２０ａを発見できなかったり、発見できても相互関係を解析できなかったりした場合には、ステップＳ１０１へ戻る。そうでない場合には、解析結果を決定部１１３へ引き渡して、ステップＳ１０５へ進む。

【0056】

決定部１１３は、解析部１１２から解析結果を受け取ると、ステップＳ１０５で、当該解析結果が示す表示モニタ１２０とシステムモニタ２２０の相互関係に基づいて表示モニタ１２０の表示態様を決定する。その後、ステップＳ１０６で、演算処理部１１０は、検査が開始されるまで待機する。演算処理部１１０は、例えば、取得された撮像画像１２１が口腔内の画像であると確認された時点で検査が開始されたと判断する。

【0057】

検査が開始されると、表示制御部１１５は、ステップＳ１０７で、決定部１１３によって決定された表示態様に従って表示信号を生成し、検査情報を含む各表示要素を表示モニタ１２０へ表示する。取得部１１１は、ステップＳ１０８で、表示信号から展開されたフレーム画像から撮像画像１２１を切り出して診断補助部１１４へ当該撮像画像１２１を引き渡す。診断補助部１１４は、ステップＳ１０９で、上述のように推定確率を算出し、表示制御部１１５へ引き渡す。演算処理部１１０は、ステップＳ１１０で、検査終了の指示を受け付けるまで、ステップＳ１０７からステップＳ１０９を繰り返す。検査終了の指示を受け付けたら、一連の処理を終了する。

【0058】

以上説明した本実施形態においては、内視鏡システム２００と検査装置１００が接続ケーブル２５０を介して接続される場合を想定したが、有線接続でなく無線接続であっても構わない。また、内視鏡システム２００は表示信号を外部に出力し、検査装置１００はこの表示信号を利用する実施形態を説明したが、内視鏡システム２００が外部に出力する信号がカメラユニット２１０で撮像された撮像画像の画像信号を包含するのであれば、出力信号の形式は問わない。カメラユニット２１０が直接的に画像信号を発信するのであれば、検査装置１００は当該画像信号を受信するようにしてもよい。

【0059】

また、以上説明した本実施形態においては、内視鏡システム２００から検査装置１００へ一方向に信号を送信する場合を説明したが、内視鏡システム２００が対応可能であれば、検査装置１００から内視鏡システム２００へ何らかの要求信号を送信するように構成してもよい。例えば、検査装置１００に決定部１１３が決定した表示態様に基づいて、システムモニタ２２０の表示態様の変更を要求する要求信号を生成して送信する変更要求部を設けてもよい。変更要求部は、例えば、各々の診断補助情報１２２が表示モニタ１２０に表示される最初の所定時間の間は、システムモニタ２２０の輝度を下げるように要求する要求信号を送信する。このように、表示モニタ１２０の表示とシステムモニタ２２０の表示を連動できれば、より視認性を高めることができる。

【0060】

また、以上説明した本実施形態においては、検査対象が胃の例を説明したが、内視鏡システム２００は、胃内検査に特化したものでなくてもよく、他の部位を検査するものであってもよい。例えば十二指腸を検査する内視鏡システム２００に接続する検査支援装置１００は、十二指腸の撮像画像に病変部位が存在する確率を算出して表示する装置である。この場合、分析用ニューラルネットワーク１５１は、検査対象となる部位に応じたものが予め用意される。また、以上説明した本実施形態においては、内視鏡システム２００が備えるカメラユニット２１０が軟性内視鏡であることを想定して説明したが、カメラユニット２１０が硬性内視鏡であっても、検査支援装置１００の構成や処理手順に違いは何ら生じない。

【符号の説明】

【0061】

１００…検査支援装置、１１０…演算処理部、１１１…取得部、１１２…解析部、１１３…決定部、１１４…診断補助部、１１５…表示制御部、１２０…表示モニタ、１２０ａ…表示モニタ領域、１２１…撮像画像、１２１ａ…重畳情報、１２２…診断補助情報、１２２ａ…数値情報、１２２ｂ…タイトルテキスト、１２２ｃ…グラフィックス、１２３…領域指標、１２４…背景領域、１３０…入出力インタフェース、１４０…入力デバイス、１５０…記憶部、１５１…分析用ニューラルネットワーク、２００…内視鏡システム、２１０…カメラユニット、２２０…システムモニタ、２２０ａ…システムモニタ領域、２２１…撮像画像、２２２…検査情報、２５０…接続ケーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】