特許 7549885 検査支援装置、検査支援装置の作動方法および検査支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-04

(45)【発行日】2024-09-12

(54)【発明の名称】検査支援装置、検査支援装置の作動方法および検査支援プログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240905BHJP

【ＦＩ】

A61B1/045 622

A61B1/045 614

【請求項の数】 6

(21)【出願番号】P 2021043299

(22)【出願日】2021-03-17

(65)【公開番号】P2022142990

(43)【公開日】2022-10-03

【審査請求日】2024-03-14

【早期審査対象出願】

(73)【特許権者】

【識別番号】517380422

【氏名又は名称】株式会社ＡＩメディカルサービス

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】鈴木 健一郎

(72)【発明者】

【氏名】関本 洋幸

【審査官】▲高▼ 芳徳

(56)【参考文献】

【文献】国際公開第２０１８／１５９４６１（ＷＯ，Ａ１）

【文献】特開２０１８－１２２１５５（ＪＰ，Ａ）

【文献】国際公開第２０１７／０８１９７６（ＷＯ，Ａ１）

【文献】特開２０１１－１９７０５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － １／３２

(57)【特許請求の範囲】

【請求項1】

被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置であって、
前記内視鏡システムが外部装置へ提供する画像信号を逐次取得する取得部と、
前記画像信号から逐次生成されるフレーム画像が静止画像であるか動画像であるかを検出する検出部と、
前記検出部が前記フレーム画像を静止画像であると検出した場合に、前記フレーム画像の少なくとも一部の画像領域を切り出した診断画像を学習済みモデルへ入力することにより前記体内の診断を行う診断部と、
前記診断部が出力する診断結果を表示部へ表示する表示制御部と
を備え、
前記表示制御部は、前記検出部が前記フレーム画像を静止画像であると検出してから予め設定された留保時間が経過するまでは前記診断結果を表示せず、前記留保時間が経過した場合であっても、前記留保時間が経過した時点で前記取得部が取得した前記画像信号から生成される前記フレーム画像を前記検出部が動画像であると検出した場合には、前記診断結果を表示しない検査支援装置。

【請求項2】

前記検出部は、逐次生成されるフレーム画像に対して継続的に静止画像であるか動画像であるかを検出し、
前記表示制御部は、前記検出部が逐次生成されるフレーム画像を静止画像であると検出している期間であって、前記診断部が診断の演算を実行している期間は、演算中であることを示す指標を前記表示部に表示する請求項１に記載の検査支援装置。

【請求項3】

前記診断部は、前記検出部が前記フレーム画像を静止画像であると検出してから予め設定されたディレイ時間が経過するまで診断の演算を開始しない請求項１または２に記載の検査支援装置。

【請求項4】

前記表示制御部は、前記診断結果の表示を開始した場合は、その後に前記取得部が取得した前記画像信号から生成される前記フレーム画像を前記検出部が動画像であると検出しても、予め設定された結果表示時間が経過するまで表示を継続する請求項１から３のいずれか１項に記載の検査支援装置。

【請求項5】

被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置の作動方法であって、
前記内視鏡システムが外部装置へ提供する画像信号を取得部が逐次取得する取得ステップと、
前記画像信号から逐次生成されるフレーム画像が静止画像であるか動画像であるかを検出部が検出する検出ステップと、
前記検出ステップで前記フレーム画像が静止画像であると検出された場合に、診断部が前記フレーム画像の少なくとも一部の画像領域を切り出した診断画像を学習済みモデルへ入力することにより前記体内の診断を行う診断ステップと、
前記診断ステップで出力された診断結果を表示制御部が表示部へ表示する表示制御ステップと
を有し、
前記表示制御ステップは、前記検出ステップで前記フレーム画像が静止画像であると検出されてから予め設定された留保時間が経過するまでは前記診断結果を表示せず、前記留保時間が経過した場合であっても、前記留保時間が経過した時点で実行される前記取得ステップで取得された前記画像信号から生成される前記フレーム画像を、続いて実行される前記検出ステップが動画像であると検出した場合には、前記診断結果を表示しない検査支援装置の作動方法。

【請求項6】

被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置を制御する検査支援プログラムであって、
前記内視鏡システムが外部装置へ提供する画像信号を逐次取得する取得ステップと、
前記画像信号から逐次生成されるフレーム画像が静止画像であるか動画像であるかを検出する検出ステップと、
前記検出ステップで前記フレーム画像が静止画像であると検出された場合に、前記フレーム画像の少なくとも一部の画像領域を切り出した診断画像を学習済みモデルへ入力することにより前記体内の診断を行う診断ステップと、
前記診断ステップで出力された診断結果を表示部へ表示する表示制御ステップと
をコンピュータに実行させ、
前記表示制御ステップは、前記検出ステップで前記フレーム画像が静止画像であると検出されてから予め設定された留保時間が経過するまでは前記診断結果を表示せず、前記留保時間が経過した場合であっても、前記留保時間が経過した時点で実行される前記取得ステップで取得された前記画像信号から生成される前記フレーム画像を、続いて実行される前記検出ステップが動画像であると検出した場合には、前記診断結果を表示しない検査支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査支援装置、検査支援方法および検査支援プログラムに関する。

【背景技術】

【0002】

内視鏡により被検者の例えば胃内部を撮像してその画像をモニタに表示する内視鏡システムが知られている。最近では、内視鏡システムで撮像された画像を分析して、その結果を医師へ知らせる検査支援装置も普及しつつある（例えば、特許文献１参照）。また、検査支援装置を内視鏡システムに接続して、内視鏡システムが撮像した体内画像をほぼリアルタイムで検査支援装置に分析させる利用態様も実用段階に至りつつある。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－４２１５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

内視鏡システムが撮像したほぼリアルタイムの体内画像を用いて検査支援装置に分析させる場合、いずれの体内画像を分析対象とするかについて、何らかのトリガーが与えられる必要がある。内視鏡システムに接続された検査支援装置であれば、内視鏡システムが出力する画像信号を取り込み、当該画像信号から医師の操作に伴う体内画像のフリーズ（静止画像の連続）を検知し、それをトリガーとする手法が考えられる。このような手法は、内視鏡システムのカメラユニットを取り扱う医師に追加的な操作を要求することが無いので、検査の円滑性や操作の簡素化にとって好ましい。

【0005】

しかしながら、フリーズは、体内画像を記録媒体へ記録させるための操作に伴うものであるのか、それとも医師が慎重に観察したいために静止させたものであるのか判断が難しく、その結果、医師が意図しない体内画像を検査支援装置が頻繁に分析してしまうことがある。一般的には、体内画像を単に記録媒体に記録する場合には検査支援装置による診断補助は不要であり、医師が慎重に観察したい場合には検査支援装置による診断補助情報が必要となる。しかし、これらの区別なく診断補助情報がリアルタイム画像の表示に割り込んで実行されると、医師にとって煩わしいばかりか正確な診断の妨げにもなり得る。

【0006】

通常は、体内画像を記録媒体へ記録させるための操作に伴うフリーズ期間は短く、医師が慎重に観察したいために静止させる場合のフリーズ期間は長い。そこで、フリーズ期間の検出を長くして、確実に診断補助情報が要求されていることを判断してから画像の分析を開始することも考えられる。しかし、フリーズ期間の検出を長くし、それから体内画像の分析を開始すると、結果表示までに時間を要してしまい、円滑な検査を妨げるばかりでなく、内視鏡検査の長時間化をもたらし被検者の負担を増してしまう。

【0007】

本発明は、このような問題を解決するためになされたものであり、医師が意図する診断補助情報を適時に提供すると共に、検査時間の短時間化に寄与する検査支援装置等を提供するものである。

【課題を解決するための手段】

【0008】

本発明の第１の態様における検査支援装置は、被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置であって、内視鏡システムが外部装置へ提供する画像信号を逐次取得する取得部と、画像信号から逐次生成されるフレーム画像が静止画像であるか動画像であるかを検出する検出部と、検出部がフレーム画像を静止画像であると検出した場合に、フレーム画像の少なくとも一部の画像領域を切り出した診断画像を学習済みモデルへ入力することにより体内の診断を行う診断部と、診断部が出力する診断結果を表示部へ表示する表示制御部とを備え、表示制御部は、検出部がフレーム画像を静止画像であると検出してから予め設定された留保時間が経過するまでは診断結果を表示せず、留保時間が経過した場合であっても、留保時間が経過した時点で取得部が取得した画像信号から生成されるフレーム画像を検出部が動画像であると検出した場合には、診断結果を表示しない。

【0009】

本発明の第２の態様における検査支援方法は、被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置を用いた検査支援方法であって、内視鏡システムが外部装置へ提供する画像信号を逐次取得する取得ステップと、画像信号から逐次生成されるフレーム画像が静止画像であるか動画像であるかを検出する検出ステップと、検出ステップでフレーム画像が静止画像であると検出された場合に、フレーム画像の少なくとも一部の画像領域を切り出した診断画像を学習済みモデルへ入力することにより体内の診断を行う診断ステップと、診断ステップで出力された診断結果を表示部へ表示する表示制御ステップとを有し、当該表示制御ステップは、検出ステップでフレーム画像が静止画像であると検出されてから予め設定された留保時間が経過するまでは診断結果を表示せず、留保時間が経過した場合であっても、留保時間が経過した時点で実行される取得ステップで取得された画像信号から生成されるフレーム画像を、続いて実行される検出ステップが動画像であると検出した場合には、診断結果を表示しない。

【0010】

本発明の第３の態様における検査支援プログラムは、被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置を制御する検査支援プログラムであって、内視鏡システムが外部装置へ提供する画像信号を逐次取得する取得ステップと、画像信号から逐次生成されるフレーム画像が静止画像であるか動画像であるかを検出する検出ステップと、検出ステップでフレーム画像が静止画像であると検出された場合に、フレーム画像の少なくとも一部の画像領域を切り出した診断画像を学習済みモデルへ入力することにより体内の診断を行う診断ステップと、診断ステップで出力された診断結果を表示部へ表示する表示制御ステップとをコンピュータに実行させ、当該表示制御ステップは、検出ステップでフレーム画像が静止画像であると検出されてから予め設定された留保時間が経過するまでは診断結果を表示せず、留保時間が経過した場合であっても、留保時間が経過した時点で実行される取得ステップで取得された画像信号から生成されるフレーム画像を、続いて実行される検出ステップが動画像であると検出した場合には、診断結果を表示しない。

【発明の効果】

【0011】

本発明により、医師が意図する診断補助情報を適時に提供すると共に、検査時間の短時間化に寄与する検査支援装置等を提供することができる。

【図面の簡単な説明】

【0012】

【図1】内視鏡システムと本実施形態に係る検査支援装置を用いた内視鏡検査の様子を示す図である。

【図2】検査支援装置のハードウェア構成図である。

【図3】診断結果を表示するまでの処理を説明する図である。

【図4】撮像画像の変化から診断対象画像を決定する手順を説明する図である。

【図5】診断結果を表示する場合の時間経過に対する状況の変化とそれぞれのタイミングにおける表示例を示す図である。

【図6】診断結果を表示しない場合の時間経過に対する状況の変化とそれぞれのタイミングにおける表示例を示す図である。

【図7】表示処理と診断処理の処理手順を説明するフロー図である。

【発明を実施するための形態】

【0013】

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

【0014】

図１は、内視鏡システムと本実施形態に係る検査支援装置を用いた内視鏡検査の様子を示す図である。内視鏡システム２００と検査支援装置１００は、共に診察スペースに設置されている。内視鏡システム２００は、カメラユニット２１０を備え、カメラユニット２１０は、図示するように、横たわる被検者の口腔から胃などの体内の器官へ挿通され、器官の内部を撮像した画像の画像信号をシステム本体へ送信する。カメラユニット２１０の器官への挿通や撮像操作は、医師によって行われる。

【0015】

内視鏡システム２００は、例えば液晶パネルによって構成されるシステムモニタ２２０を備え、カメラユニット２１０から送られてきた画像信号を処理して視認可能な撮像画像２２１としてシステムモニタ２２０に表示する。また、内視鏡システム２００は、被検者情報やカメラユニット２１０のカメラ情報などを含む検査情報２２２をシステムモニタ２２０に表示する。

【0016】

検査支援装置１００は、接続ケーブル２５０によって内視鏡システム２００に接続されている。内視鏡システム２００は、システムモニタ２２０へ送信する表示信号を、接続ケーブル２５０を介して検査支援装置１００へも送信する。すなわち、本実施形態における内視鏡システム２００の表示信号は、内視鏡システム２００が外部装置へ提供する画像信号の一例である。検査支援装置１００は、表示部として例えば液晶パネルによって構成される表示モニタ１２０を備え、内視鏡システム２００から送られてきた表示信号から撮像画像２２１に対応する画像信号を抽出して視認可能な撮像画像１２１として表示モニタ１２０に逐次表示する。

【0017】

医師は、カメラユニット２１０の操作に応じてほぼリアルタイムで表示される撮像画像１２１を視認しながら検査を進める。医師は、検査支援装置１００に診断させたい対象箇所が撮像画像１２１として表示されるようにカメラユニット２１０を操作する。

【0018】

検査支援装置１００は、後述するように静止画の連続であるフリーズを検出すると、撮像画像１２１から後述する分析用ニューラルネットワークへ入力する画像データを生成する。そして、分析用ニューラルネットワークの出力から生成される診断結果である診断補助情報１２２を表示モニタ１２０に表示する。なお、図１は、フリーズが検出されていない状況において、表示信号から逐次生成されるほぼリアルタイムの撮像画像１２１が表示されている様子を示しており、診断補助情報１２２は、診断待機状態である旨を示している。

【0019】

図２は、検査支援装置１００のハードウェア構成図である。検査支援装置１００は、主に、演算処理部１１０、表示モニタ１２０、入出力インタフェース１３０、入力デバイス１４０、記憶部１５０によって構成される。演算処理部１１０は、検査支援装置１００の制御とプログラムの実行処理を行うプロセッサ（ＣＰＵ：Central Processing Unit）である。プロセッサは、ＡＳＩＣ（Application Specific Integrated Circuit）やＧＰＵ（Graphics Processing Unit）等の演算処理チップと連携する構成であってもよい。演算処理部１１０は、記憶部１５０に記憶された検査支援プログラムを読み出して、検査の支援に関する様々な処理を実行する。

【0020】

表示モニタ１２０は、上述のように、例えば液晶パネルを備えるモニタであり、撮像画像１２１や診断補助情報１２２を視認可能に表示する。入出力インタフェース１３０は、接続ケーブル２５０を接続するためのコネクタを含む、外部機器との間で情報を授受するための接続インタフェースである。入出力インタフェース１３０は、例えばＬＡＮユニットを含み、検査支援プログラムや後述する分析用ニューラルネットワーク１５１の更新データを外部機器から取り込んで演算処理部１１０へ引き渡す。

【0021】

入力デバイス１４０は、例えばキーボードやマウス、表示モニタ１２０に重畳されたタッチパネルであり、医師や補助者は、これらを操作して検査支援装置１００の設定を変更したり、検査に必要な情報を入力したりすることができる。

【0022】

記憶部１５０は、不揮発性の記憶媒体であり、例えばＨＤＤ（Hard Disk Drive）によって構成されている。記憶部１５０は、検査支援装置１００の制御や処理を実行するプログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、表示要素データ、ルックアップテーブル等を記憶し得る。記憶部１５０は、特に、分析用ニューラルネットワーク１５１を記憶している。分析用ニューラルネットワーク１５１は、カメラユニット２１０が撮像した画像データを入力すると、その画像内に病変が存在する確率を算出する学習済みモデルである。なお、記憶部１５０は、複数のハードウェアで構成されていても良く、例えば、プログラムを記憶する記憶媒体と分析用ニューラルネットワーク１５１を記憶する記憶媒体が別々のハードウェアで構成されてもよい。

【0023】

演算処理部１１０は、検査支援プログラムが指示する処理に応じて様々な演算を実行する機能演算部としての役割も担う。演算処理部１１０は、取得部１１１、検出部１１２、診断部１１３、表示制御部１１４として機能し得る。取得部１１１は、内視鏡システム２００から送られてくる表示信号を逐次取得して各々を信号再生画像に展開する。さらに、前後する信号再生画像間の差分量が基準量以上となる変化領域を探索することにより、カメラユニット２１０で撮像された撮像画像を表す画像領域を確定する。取得部１１１は、画像領域を一旦確定させたら、その後に逐次取得する表示信号の当該画像領域から、フレーム画像としての撮像画像１２１を逐次生成する。

【0024】

検出部１１２は、取得部１１１によって逐次生成されるフレーム画像を受け取って、前後するフレーム画像間の差分を検出することにより、当該フレーム画像が静止画像であるか動画像の一画像であるかを検出する。診断部１１３は、検出部１１２が対象となるフレーム画像を静止画像であると検出した場合に、当該フレーム画像またはそれに続くフレーム画像から予め設定された部分領域を切り出した診断領域画像を生成する。そして、当該診断領域画像を記憶部１５０から読み出した分析用ニューラルネットワーク１５１へ入力し、病変が存在する確率を算出させて、診断情報を生成する。表示制御部１１４は、表示モニタ１２０へ表示する表示画面の表示信号を生成し表示モニタ１２０へ送信することにより、表示モニタ１２０の表示を制御する。表示制御部１１４が担う役割については後に詳述する。

【0025】

図３は、フリーズを検出してから診断結果を表示するまでの処理を説明する図である。内視鏡システム２００から送られてくる表示信号を取得部１１１が取得して展開する信号再生画像２２５は、内視鏡システム２００のシステムモニタ２２０で表示されている表示画像と同様である。信号再生画像２２５は、撮像画像２２１と検査情報２２２を含む。検査情報２２２は、例えばテキスト情報である。

【0026】

信号再生画像２２５の画像領域のいずれの領域が撮像画像を表す画像領域であるかが、上述のように確定されていると、取得部１１１は、その確定された画像領域を切り出して撮像画像１２１とする。撮像画像１２１は、実質的にはカメラユニット２１０が撮像した撮像画像を検査支援装置１００で再現した画像と言える。

【0027】

診断部１１３は、撮像画像１２１から診断領域の画像を切り出して診断画像を生成する。そして、生成した診断画像の画像データを分析用ニューラルネットワーク１５１へ入力し、画像内に病変が存在する推定確率を算出させ、その結果を表示制御部１１４へ引き渡す。表示制御部１１４は、取得部１１１から受け取った撮像画像１２１の撮像画像データと、診断部１１３から受け取った推定確率を含む診断情報とを、予め設定された表示態様に従って展開、配列して表示モニタ１２０へ表示する。

【0028】

具体的には、例えば図３下図に示すように、撮像画像１２１は右側へ寄せて配置し、診断補助情報１２２は推定確率を示す数値情報、円グラフ状のグラフィックス等に要素化して左側へ寄せて配置する。また、撮像画像１２１のうちどの領域を診断領域としたかが視認されるように、診断領域枠１２１ａを重ねて表示する。

【0029】

本実施形態に係る検査支援装置１００は、取得部１１１によって逐次生成されるフレーム画像を検出部１１２が静止画像であると検出した場合に、診断部１１３は、検出された静止画像から診断画像を生成するための診断対象画像を決定する。

【0030】

図４は、撮像画像１２１の変化からフリーズを判断し診断対象画像を決定する手順を説明する図である。検査支援装置１００は、例えば６０ｆｐｓの周期で表示信号を受信するが、取得部１１１は、その都度上述のように信号再生画像２２５から画像領域を切り出して撮像画像１２１を生成する。このように順次生成される撮像画像１２１は、時間経過と共に変化し得るフレーム画像Ｆｒとして扱うことができる。図５は、順次生成されたフレーム画像Ｆｒ₁、Ｆｒ₂、Ｆｒ₃、Ｆｒ₄、Ｆｒ₅、…を表す。

【0031】

カメラユニット２１０は、連続的に撮像を繰り返し、フレーム画像としての画像信号を内視鏡システム２００へ順次送信している。取得部１１１は、このような画像信号を含む表示信号を内視鏡システム２００から受け取る間は、カメラユニット２１０の撮像画像に対応する、時間と共に変化するフレーム画像Ｆｒを順次生成する。この間を動画期間とする。

【0032】

医師は、表示モニタ１２０に表示された撮像画像１２１を視認しつつ、画像データとして記録したい場合や、慎重に観察したい場合にカメラユニット２１０の操作部に設けられた静止ボタンを押し下げる。内視鏡システム２００は、静止ボタンが押し下げられたことを検知して、そのタイミングでカメラユニット２１０が撮像した画像信号を固定する。すなわち、静止ボタンが押し下げられたタイミングから静止画像が連続するフリーズが開始する。

【0033】

医師は、フリーズされた静止画像を確認し、その静止画像を記録媒体に記録させようと考える場合には、カメラユニット２１０に設けられた記録ボタンを押し下げる。内視鏡システム２００は、記録ボタンが押し下げられたことを検知して、当該静止画像を記録媒体に記録し、その後にフリーズを解除して、再びカメラユニット２１０で連続する撮像を開始する。すなわち、フリーズが解除された後の画像信号は、リアルタイムの動画像信号となる。なお、このような記録処理を実行させるカメラユニット２１０の操作ボタンの構成は、内視鏡システム２００の仕様に依るものであるので、いかなる態様であっても構わない。いずれにしても、医師が静止画像を記録媒体に記録するのみであれば、これらの一連の処理は比較的短い時間（例えば２秒）で完結するので、フリーズ期間もそれに応じた短い時間で終了する。

【0034】

一方、医師は、フリーズされた静止画像をじっくり観察したい場合には、静止ボタンが押し続けられるので、フリーズ期間もそれに応じて長くなる。医師が検査支援装置１００に画像診断をさせたいのはこのような場合であり、検査支援装置１００は、このような場合に診断結果を表示することが望ましい。しかし、フリーズ期間が長く続いたことを待って診断画像の分析を始めると、分析にもある程度の時間が必要なことから、結果表示までに長い時間を要してしまい、円滑な検査を妨げるばかりでなく、内視鏡検査の長時間化をもたらし被検者の負担を増してしまう。そこで、本実施形態においては、フリーズが観察されたら診断対象画像を決定し、バックグランドで分析処理を開始する。

【0035】

図示するように、取得部１１１は、カメラユニット２１０の静止ボタンが押し下げられている間、静止画像に対応するフレーム画像Ｆｒを順次生成する。この間を静止画期間（＝フリーズ期間）とする。図４の例では、フレーム画像Ｆｒ₂までが動画期間で、フレーム画像Ｆｒ₃から静止画期間が始まり、その後しばらくは静止画期間が継続する。

【0036】

検出部１１２は、取得部１１１が生成するフレーム画像Ｆｒの変化に基づいて、対象となるフレーム画像Ｆｒが動画期間に属するものであるか、静止画期間に属するものであるかを検出する。例えば、前後のフレーム画像間の差分量が閾値を下回った場合に静止画期間が開始したと検出することができる。図の例では、Ｆｒ₁とＦｒ₂、Ｆｒ₂とＦｒ₃の差分量は閾値を上回っており、Ｆｒ₃とＦｒ₄、Ｆｒ₄とＦｒ₅の差分量は閾値を下回っている。したがって、検出部１１２は、Ｆｒ₁、Ｆｒ₂を動画期間に属するフレーム画像（動画像）とし、Ｆｒ₃、Ｆｒ₄、Ｆｒ₅を静止画期間に属するフレーム画像（静止画像）とする。

【0037】

診断部１１３は、検出部１１２が静止画像であると検出したフレーム画像が所定数（例えば３フレーム）続いた場合に、静止ボタンが押し下げられたと判断する。診断部１１３は、例えば、静止画期間の開始を検出できた時点のフレーム画像を診断対象画像ＩＭとする。

【0038】

このように、静止画像の連続を検出し、それをトリガーとして診断部１１３が分析／診断を開始する場合、医師に診断開始のための追加的な操作を要求することが無いので、検査の円滑性や操作の簡素化にとって好ましい。一方で、このように検出された静止画像の連続は、その開始時点においては、それが記録媒体への記録に伴うものであるのか、医師が慎重に観察したいものであるのかを区別できない。したがって、静止画像を検出するたびに診断を実行してその結果を表示してしまうと、医師が診断補助情報を欲しない場合まで表示することになってしまい、医師にとって煩わしいばかりか正確な診断の妨げにもなり得る。

【0039】

そこで、検査支援装置１００は、上述のように、フリーズが観察されたら診断対象画像を決定し、バックグランドで分析処理を開始しつつ、表示制御部１１４は、予め設定された留保時間が経過するまでは診断結果を表示せず、当該留保時間が経過した場合であっても、留保時間が経過した時点で取得部１１１が取得した画像信号から生成されるフレーム画像を検出部１１２が動画像であると検出した場合には、診断結果を表示しない。以下に、図を用いて具体的に説明する。

【0040】

図５は、診断結果を表示する場合の時間経過に対する状況の変化とそれぞれのタイミングにおける表示例を示す図である。具体的には、左から右へ時間の経過に合わせて、取得／生成されるフレーム画像の状況、診断処理、表示モニタ１２０の表示状況とその表示例を表す。

【0041】

取得部１１１が生成するフレーム画像が時刻ｔ₁で動画像から静止画像に切り替わった場合、図４を用いて説明したように、検出部１１２は時刻ｔ₁から微小時間後（数フレーム後）にその旨を検出する。本実施形態において診断部１１３は、検出部１１２がフレーム画像を静止画像であると検出してから予め設定されたディレイ時間（例えば０．８秒）が経過した時刻ｔ₂に診断処理についての演算を開始する。換言すれば、診断部１１３は、検出部１１２がフレーム画像を静止画像であると検出してから予め設定されたディレイ時間が経過するまで診断の演算を開始しない。時刻ｔ₂で生成されたフレーム画像を検出部１１２が動画像であると検出した場合には、診断部１１３は診断処理を行わない。このようなディレイ時間を設けることにより、医師が静止ボタンの押し下げを直ちに解除した場合等に、診断処理の演算負荷を生じさせずに済む。

【0042】

診断部１１３が診断処理を時刻ｔ₂に開始し時刻ｔ₃に終了してその診断結果を表示制御部１１４へ引き渡していても、表示制御部１１４は、静止画像であると検出された時刻（実質的に時刻ｔ₁）から予め設定された留保時間（例えば３秒）が経過していなければそのまま待機する。そして、保留時間が経過する時刻ｔ₄に至ると、時刻ｔ₄で生成されたフレーム画像が検出部１１２に静止画像であると検出されたことを確認して、表示モニタ１２０の表示をライブ表示から診断の結果表示に切り替える。

【0043】

表示制御部１１４は、時刻ｔ₄までは、生成されたフレーム画像を撮像画像１２１とするライブ表示を行う。ただし、時刻ｔ₂で診断部１１３が診断処理の演算を開始すると、演算中であることを示す指標を含む通知ウィンドウ１２３を表示する。指標は、診断処理の進捗に合わせて変化するインジケータやプログレスバーを含むことが望ましい。このように指標を表示することにより、ライブ表示であってもバックグランドで演算処理が進んでいることを医師に示すことができ、診断補助情報を要求する医師に対して安心感を与える。なお、ライブ表示であっても、時刻ｔ₁からはフレーム画像は静止画像になるので、表示される撮像画像１２１は、固定されている。

【0044】

診断の結果表示は、図３の下図に示した表示態様と同様であり、診断結果として病変である推定確率が示される。このとき表示されている撮像画像１２１は、診断画像を切り出した診断対象画像ＩＭである。表示制御部１１４は、時刻ｔ₄から予め設定された結果表示時間（例えば４秒）が経過する時刻ｔ₆まで、結果表示を継続する。なお、時刻ｔ₄と時刻ｔ₆の間の時刻ｔ₅に静止画期間から動画期間に切り替わっても、表示制御部１１４は、結果表示を継続する。このように、結果表示が一旦開始された後は、その表示が医師に確実に視認されるように、ライブ表示よりも結果表示を優先する。表示制御部１１４は、時刻ｔ₆で結果表示時間を満了したら、生成されたフレーム画像を撮像画像１２１とするライブ表示へ切り替える。

【0045】

診断部１１３および表示制御部１１４がこのように処理することにより、診断補助情報が要求されていると高い確率で推定される静止画期間の継続（＝留保時間）を待った上で直ちに診断結果を表示できるので、医師の意図に沿った表示を迅速に行えることが期待できる。ひいては検査時間の短縮に寄与し、被検者の負担軽減にもつながる。

【0046】

図６は、診断結果を表示しない場合の時間経過に対する状況の変化とそれぞれのタイミングにおける表示例を示す図である。具体的には、図５と同様に、左から右へ時間の経過に合わせて、取得／生成されるフレーム画像の状況、診断処理、表示モニタ１２０の表示状況とその表示例を表す。

【0047】

表示制御部１１４が時刻ｔ₃で診断処理を終え留保時間が経過する時刻ｔ₄まで待機する流れは図５と同様である。表示制御部１１４は、診断部１１３による演算処理の進捗に合わせて通知ウィンドウ１２３を重畳したライブ表示を行う。図５の場合と異なり、図６の場合は、時刻ｔ₃とｔ₄の間の時刻ｔ₇に取得部１１１が生成するフレーム画像が静止画像から動画像に切り替わる。すなわち、静止画期間がｔ₇で終了し、その時点から動画期間が再開する。

【0048】

この場合、表示制御部１１４は、時刻ｔ₄で生成されたフレーム画像が検出部１１２に動画像であると検出されたことを確認すると、診断部１１３から引き渡された診断結果を破棄し、結果表示を行うことなく、そのままライブ表示を継続する。

【0049】

診断部１１３および表示制御部１１４がこのように処理することにより、診断補助情報が要求されているとは推定しにくい静止画期間の継続である場合には診断結果を表示しないので、医師の意図に反する表示が抑制されることが期待できる。ひいては、医師による正確な診断を妨害することも抑制される。

【0050】

このような一連の処理を実現する処理手順について、表示処理と診断処理の観点から説明する。図７は、表示処理と診断処理の処理手順を説明するフロー図である。左側のフロー図は、表示モニタ１２０に表示する表示画面の表示信号を生成する処理の流れを表し、例えば、信号再生画像に対して画像領域が確定してからカメラユニット２１０が被検者の体内へ挿通された時点から開始される。右側のフロー図は、生成されるフレーム画像の監視結果に応じて実行される診断処理の流れを表し、新たにフレーム画像が生成された場合であって、その時点で診断処理が実行されていない場合に開始される。まず、表示処理について一通り説明し、その後に表示処理との関連において診断処理について説明する。

【0051】

取得部１１１は、ステップＳ１０１で、内視鏡システム２００から表示信号を取得し、ステップＳ１０２で、表示信号を展開した信号再生画像から撮像画像１２１を切り出し、表示制御部１１４へ引き渡す。表示制御部１１４は、ステップＳ１０３で、取得部１１１から受け取った撮像画像１２１を含む表示信号を生成して表示モニタ１２０に表示する。ここで表示される撮像画像１２１は、その時点でカメラユニット２１０によって撮像された撮像画像２２１と実質的に同じものであるので、表示モニタに表示される画像はライブ表示である。

【0052】

表示制御部１１４は、ステップＳ１０４で、診断部１１３による演算処理の進捗を示す通知ウィンドウ１２３を表示させるための進捗表示要求が発生しているか否かを確認する。進捗表示要求が発生していればステップＳ１０５へ進み、図５で表示例を示したように通知ウィンドウ１２３を重畳して、ステップＳ１０６へ進む。進捗表示要求が発生していなければ、ステップＳ１０５をスキップして、ステップＳ１０６へ進む。

【0053】

表示制御部１１４は、ステップＳ１０６で、診断結果を表示させるための結果表示要求が発生しているか否かを確認する。結果表示要求が発生していればステップＳ１０７へ進み、図５で表示例を示したように診断部１１３による診断結果を表示する。続いてステップＳ１０８へ進み、予め設定された表示時間が経過したか否かを確認する。経過していなければ、ステップＳ１０７の結果表示を継続し、経過したらステップＳ１０９へ進む。ステップＳ１０６で、結果表示要求が発生していなければ、ステップＳ１０７、Ｓ１０８をスキップして、ステップＳ１０９へ進む。

【0054】

ステップＳ１０９へ進んだら、演算処理部１１０は、検査終了の指示を受け付けたか否かを確認する。検査終了の指示を受け付けていない場合には、ステップＳ１０１へ戻り表示処理を継続する。検査終了の指示を受け付けた場合には、一連の処理を終了する。

【0055】

診断処理は、上述のように、新たにフレーム画像が生成された場合であって、その時点で診断処理が実行されていない場合に開始される。すなわち、右側の診断処理のフローが実行されていない状態で、ステップＳ１０２で切り出されたフレーム画像としての撮像画像１２１が検出部１１２に引き渡された時点から開始される。検出部１１２は、ステップＳ２０１で、引き渡されたフレーム画像が動画像であるか静止画像であるかを検出する。具体的には図４を用いて説明したように、直前に引き渡された連続するフレーム画像との差分に基づいて検出する。検出に必要な連続するフレーム画像が蓄積されていない場合には、蓄積されるまで待つ。動画像であると検出したらそのまま終了し、再びフレーム画像が検出部１１２に引き渡されるまで待機する。静止画像であると検出したらステップＳ２０２へ進む。

【0056】

診断部１１３は、ステップＳ２０２で、予め設定されたディレイ時間が経過するまで待機し、経過したらステップＳ２０３へ進む。検出部１１２は、ステップＳ２０３で、その時点で生成されたフレーム画像を受け取り、当該フレーム画像が動画像であるか静止画像であるかを検出する。動画像であると検出したらそのまま終了し、再びフレーム画像が検出部１１２に引き渡されるまで待機する。静止画像であると検出したらステップＳ２０４へ進む。

【0057】

診断部１１３は、ステップＳ２０４で、通知ウィンドウ１２３を表示させるための進捗表示要求を表示制御部１１４に対して発出する。そしてステップＳ２０５で、分析用ニューラルネットワーク１５１を用いて診断処理を実行する。診断処理を終えたら診断結果を表示制御部１１４へ引き渡す。ただし、この時点では結果表示信号は発出されず、表示制御部１１４は、ステップＳ２０６で、予め設定された保留時間が経過するまで待機し、経過した後にステップＳ２０７へ進む。

【0058】

検出部１１２は、ステップＳ２０７で、その時点で生成されたフレーム画像を受け取り、当該フレーム画像が動画像であるか静止画像であるかを検出する。動画像であると検出したら結果表示信号を発出することなくそのまま終了し、再びフレーム画像が検出部１１２に引き渡されるまで待機する。静止画像であると検出したらステップＳ２０８へ進む。

【0059】

表示制御部１１４は、ステップＳ２０８で、結果表示要求を自ら発出する。換言すれば、ステップＳ１０７の結果表示を開始するためのトリガーを生成する。その後、再びフレーム画像が検出部１１２に引き渡されるまで待機すべく、一連の処理を終了する。なお、ここでは表示制御部１１４が留保時間を管理したが、診断部１１３が留保時間を管理し、ステップＳ２０７で静止画像が検出された場合に、診断部１１３が診断結果と共に結果表示要求を表示制御部１１４へ引き渡すようにしてもよい。

【0060】

以上説明した本実施形態においては、内視鏡システム２００と検査支援装置１００が接続ケーブル２５０を介して接続される場合を想定したが、有線接続でなく無線接続であっても構わない。また、内視鏡システム２００は表示信号を外部に出力し、検査支援装置１００はこの表示信号を利用する実施形態を説明したが、内視鏡システム２００が外部装置に提供する画像信号がカメラユニット２１０で撮像された撮像画像の画像信号を包含するのであれば、出力信号の形式は問わない。また、以上説明した本実施形態においては、内視鏡システム２００が備えるカメラユニット２１０が軟性内視鏡であることを想定して説明したが、カメラユニット２１０が硬性内視鏡であっても、検査支援装置１００の構成や処理手順に違いは何ら生じない。なお、本実施形態における診断部による診断は、あくまで医師の診断を補助するものであり、最終的な決定は医師によって行われる。

【符号の説明】

【0061】

１００…検査支援装置、１１０…演算処理部、１１１…取得部、１１２…検出部、１１３…診断部、１１４…表示制御部、１２０…表示モニタ、１２１…撮像画像、１２１ａ…診断領域枠、１２２…診断補助情報、１２３…通知ウィンドウ、１３０…入出力インタフェース、１４０…入力デバイス、１５０…記憶部、１５１…分析用ニューラルネットワーク、２００…内視鏡システム、２１０…カメラユニット、２２０…システムモニタ、２２１…撮像画像、２２２…検査情報、２２５…信号再生画像、２５０…接続ケーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】