(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-29
(45)【発行日】2024-09-06
(54)【発明の名称】検査支援装置、検査支援方法および検査支援プログラム
(51)【国際特許分類】
A61B 1/045 20060101AFI20240830BHJP
【ＦＩ】
A61B1/045 618
A61B1/045 622
【請求項の数】
8
(21)【出願番号】P 2020158885
(22)【出願日】2020-09-23
(65)【公開番号】P2022052467
(43)【公開日】2022-04-04
【審査請求日】2023-01-19
(73)【特許権者】
【識別番号】517380422
【氏名又は名称】株式会社ＡＩメディカルサービス
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】井元 裕也
(72)【発明者】
【氏名】渕田 信一
【審査官】後藤 昌夫
(56)【参考文献】
【文献】国際公開第２０２０／０５９０９８（ＷＯ，Ａ１）
【文献】特開２００６－２４６１１０（ＪＰ，Ａ）
【文献】国際公開第２０１３／０８０２４５（ＷＯ，Ａ１）
【文献】国際公開第２０１３／０８８６８８（ＷＯ，Ａ１）
【文献】国際公開第２０２０／０７１６７８（ＷＯ，Ａ１）
【文献】岩岡 直樹 Naoki Iwaoka，大腸ＮＢＩ内視鏡画像のポリープ領域分割のための計算コストと認識率の評価 Trade-off Analysis for Polyp Segmentation of NBI Images，ＳＳＩＩ２０１１ 第１７回 画像センシングシンポジウム講演論文集 ［ＣＤ－ＲＯＭ］ 17th Symposium on Sensing via Image Information，日本，画像センシング技術研究会
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００－１／３２
(57)【特許請求の範囲】
【請求項1】
被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置であって、前記内視鏡システムが外部装置へ提供する、前記カメラユニットで撮像された撮像画像を表す画像領域とその他の領域とを含む表示画像に対応する画像信号を逐次取得する取得部と、
前記画像信号から逐次生成されるフレーム画像に対して前後するフレーム画像間の差分を検出する検出部と、
前記検出部が検出した差分の差分量が基準量以上となる変化領域に基づいて、前記画像領域を確定する確定部と
を備える検査支援装置。
【請求項2】
前記確定部は、前記変化領域に内接する矩形として前記画像領域を決定する請求項１に記載の検査支援装置。
【請求項3】
前記フレーム画像から前記確定部が確定した前記画像領域が切り出されて生成された診断画像を学習済みモデルへ入力することにより前記体内の診断を行う診断部を備え、前記確定部は、前記学習済みモデルへ入力する画像に要求されるアスペクト比に基づいて前記画像領域を確定する請求項１または２に記載の検査支援装置。
【請求項4】
前記確定部は、前記フレーム画像を表示する表示モニタに、前記画像領域の候補となる領域候補が視認できるように指標を重畳させ、使用者から承諾の指示を受け付けた場合に前記領域候補を前記画像領域として確定する請求項１から３のいずれか１項に記載の検査支援装置。
【請求項5】
前記検出部は、前記確定部が前記画像領域を確定した後もフレーム画像間の差分の検出を継続し、前記確定部は、前記変化領域に基づいて前記画像領域を更新する請求項１から４のいずれか１項に記載の検査支援装置。
【請求項6】
前記確定部は、被検者の口腔に前記カメラユニットが挿入されたことが検知された後は前記画像領域の更新を停止する請求項５に記載の検査支援装置。
【請求項7】
被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置を用いた検査支援方法であって、前記内視鏡システムが外部装置へ提供する、前記カメラユニットで撮像された撮像画像を表す画像領域とその他の領域とを含む表示画像に対応する画像信号を逐次取得する取得ステップと、
前記画像信号から逐次生成されるフレーム画像に対して前後するフレーム画像間の差分を検出する検出ステップと、
前記検出ステップで検出された差分の差分量が基準量以上となる変化領域に基づいて、前記画像領域を確定する確定ステップと
を有する検査支援方法。
【請求項8】
被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置を制御する検査支援プログラムであって、前記内視鏡システムが外部装置へ提供する、前記カメラユニットで撮像された撮像画像を表す画像領域とその他の領域とを含む表示画像に対応する画像信号を逐次取得する取得ステップと、
前記画像信号から逐次生成されるフレーム画像に対して前後するフレーム画像間の差分を検出する検出ステップと、
前記検出ステップで検出された差分の差分量が基準量以上となる変化領域に基づいて、前記画像領域を確定する確定ステップと
をコンピュータに実行させる検査支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検査支援装置、検査支援方法および検査支援プログラムに関する。
【背景技術】
【0002】
内視鏡により被検者の例えば胃内部を撮像してその画像をモニタに表示する内視鏡システムが知られている。最近では、内視鏡システムで撮像された画像を分析して、その結果を医師へ知らせる検査支援装置も普及しつつある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－４２１５６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
内視鏡システムが撮像した被検者の体内画像を検査支援装置が事後的に取り込んで分析するシステムは、即時性に乏しい。被検者を診断する医師は、内視鏡システムによる体内の撮像に連動して即時に分析結果を知りたい。そこで、検査支援装置を内視鏡システムに接続して、内視鏡システムが撮像した体内画像をほぼリアルタイムで検査支援装置に分析させる利用態様が考えられる。この場合、検査支援装置は、内視鏡システムが外部装置へ提供する画像信号を受信することができる。しかし、このような画像信号は、例えば内視鏡システムがその処理結果などを自身が備えるシステムモニタへ表示するための表示信号であり、体内画像の画像信号の他にも検査情報の表示信号なども含む場合が多い。したがって、検査支援装置が体内画像を分析するためには、内視鏡システムが提供する画像信号の画像領域から体内画像の画像領域を適切に切り出すことが必要である。
【0005】
本発明は、このような問題を解決するためになされたものであり、内視鏡システムから送られてくる画像信号から内視鏡システムで撮像された撮像画像を表す画像領域を適切に切り出して画像分析の利用に供する検査支援装置等を提供するものである。
【課題を解決するための手段】
【0006】
本発明の第１の態様における検査支援装置は、被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置であって、内視鏡システムが外部装置へ提供する画像信号を逐次取得する取得部と、画像信号から逐次生成されるフレーム画像に対して前後するフレーム画像間の差分を検出する検出部と、検出部が検出した差分の差分量が基準量以上となる変化領域に基づいて、カメラユニットで撮像された撮像画像を表す画像領域を確定する確定部とを備える。
【0007】
本発明の第２の態様における検査支援方法は、被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置を用いた検査支援方法であって、内視鏡システムが外部装置へ提供する画像信号を逐次取得する取得ステップと、画像信号から逐次生成されるフレーム画像に対して前後するフレーム画像間の差分を検出する検出ステップと、検出ステップで検出された差分の差分量が基準量以上となる変化領域に基づいて、カメラユニットで撮像された撮像画像を表す画像領域を確定する確定ステップとを有する。
【0008】
本発明の第３の態様における検査支援プログラムは、被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置を制御する検査支援プログラムであって、内視鏡システムが外部装置へ提供する画像信号を逐次取得する取得ステップと、画像信号から逐次生成されるフレーム画像に対して前後するフレーム画像間の差分を検出する検出ステップと、検出ステップで検出された差分の差分量が基準量以上となる変化領域に基づいて、カメラユニットで撮像された撮像画像を表す画像領域を確定する確定ステップとをコンピュータに実行させる。
【発明の効果】
【0009】
本発明により、内視鏡システムから送られてくる画像信号から内視鏡システムで撮像された撮像画像を表す画像領域を適切に切り出して画像分析の利用に供する検査支援装置等を提供することができる。
【図面の簡単な説明】
【0010】
【図1】内視鏡システムと本実施形態に係る検査支援装置を用いた内視鏡検査の様子を示す図である。
【図2】検査支援装置のハードウェア構成図である。
【図3】検査実行時において受信した表示信号から表示画面を生成するまでの処理を説明する図である。
【図4】検出部の処理を説明する図である。
【図5】確定部の処理を説明する図である。
【図6】医師の承諾を受け付ける承諾画面の例を示す図である。
【図7】他の例の変化領域に対する画像領域の確定処理を説明する図である。
【図8】学習済みモデルを用いた分析処理の手順を説明する図である。
【図9】演算処理部の処理手順を説明するフロー図である。
【図10】他の例における演算処理部の処理手順を説明するフロー図である。
【発明を実施するための形態】
【0011】
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。
【0012】
図１は、内視鏡システム２００と本実施形態に係る検査支援装置１００を用いた内視鏡検査の様子を示す図である。内視鏡システム２００と検査支援装置１００は、共に診察スペースに設置されている。本実施形態においては、被検者の体内のうち胃を検査する場合を想定する。内視鏡システム２００は、カメラユニット２１０を備え、カメラユニット２１０は、図示するように、横たわる被検者の口腔から胃へ挿通され、胃の内部を撮像した画像の画像信号をシステム本体へ送信する。カメラユニット２１０の胃内への挿通や撮像操作は、医師によって行われる。
【0013】
内視鏡システム２００は、例えば液晶パネルによって構成されるシステムモニタ２２０を備え、カメラユニット２１０から送られてきた画像信号を処理して視認可能な撮像画像２２１としてシステムモニタ２２０に表示する。また、内視鏡システム２００は、被検者情報やカメラユニット２１０のカメラ情報などを含む検査情報２２２をシステムモニタ２２０に表示する。
【0014】
検査支援装置１００は、接続ケーブル２５０によって内視鏡システム２００に接続されている。内視鏡システム２００は、システムモニタ２２０へ送信する表示信号を、接続ケーブル２５０を介して検査支援装置１００へも送信する。すなわち、本実施形態における表示信号は、内視鏡システム２００が外部装置へ提供する画像信号の一例である。検査支援装置１００は、例えば液晶パネルによって構成される表示モニタ１２０を備え、内視鏡システム２００から送られてきた表示信号から撮像画像２２１に対応する画像信号を抽出して視認可能な撮像画像１２１として表示モニタ１２０に表示する。また、検査支援装置１００は、撮像画像１２１の画像データを生成し、これを分析して診断補助情報１２２を出力し、表示モニタ１２０に表示する。検査支援装置１００は、内視鏡システム２００から表示信号を受け取り次第、あるいは医師によるカメラユニット２１０の操作を推定したタイミングに同期して撮像画像１２１や診断補助情報１２２の表示を実行する。すなわち、医師は検査の進行に同期して逐次的に撮像画像１２１や診断補助情報１２２を確認することができる。
【0015】
既存の内視鏡システム２００に検査支援装置１００を接続して利用する場合には、検査支援装置１００にとって都合の良い専用信号を受け取るのではなく、表示信号のような、内視鏡システム２００が外部装置へ提供する汎用の画像信号を利用することになる。汎用の画像信号には、カメラユニット２１０が撮像した撮像画像に対応する画像信号が含まれているものの、その他にも検査に付随する情報やＧＵＩに対応する画像信号も含まれている。カメラユニット２１０が撮像した撮像画像を検査支援装置１００で分析するためには、内視鏡システム２００から受け取った画像信号の画像領域から撮像画像の画像領域を適切に切り出して、撮像画像の画像データを再生成する必要がある。そこで、本実施形態における検査支援装置１００は、内視鏡システム２００から受け取る画像信号の画像領域に対してカメラユニット２１０が撮像した撮像画像の画像領域を適切に確定させる。当該画像領域が一旦確定されれば、検査支援装置１００は、その後に受け取る画像信号から画像分析のための画像データを高速かつ安定的に逐次生成することができる。以下に、検査支援装置１００の構成、処理手順、変形例等について順次説明する。
【0016】
図２は、検査支援装置１００のハードウェア構成図である。検査支援装置１００は、主に、演算処理部１１０、表示モニタ１２０、入出力インタフェース１３０、入力デバイス１４０、記憶部１５０によって構成される。演算処理部１１０は、検査支援装置１００の制御とプログラムの実行処理を行うプロセッサ（ＣＰＵ：Central Processing Unit）である。プロセッサは、ＡＳＩＣ（Application Specific Integrated Circuit）やＧＰＵ（Graphics Processing Unit）等の演算処理チップと連携する構成であってもよい。演算処理部１１０は、記憶部１５０に記憶された検査支援プログラムを読み出して、検査の支援に関する様々な処理を実行する。
【0017】
表示モニタ１２０は、上述のように、例えば液晶パネルを備えるモニタであり、撮像画像１２１や診断補助情報１２２を視認可能に表示する。入出力インタフェース１３０は、接続ケーブル２５０を接続するためのコネクタを含む、外部機器との間で情報を授受するための接続インタフェースである。入出力インタフェース１３０は、例えばＬＡＮユニットを含み、検査支援プログラムや後述する分析用ニューラルネットワーク１５１の更新データを外部機器から取り込んで演算処理部１１０へ引き渡す。
【0018】
入力デバイス１４０は、例えばキーボードやマウス、表示モニタ１２０に重畳されたタッチパネルであり、医師や補助者は、これらを操作して検査支援装置１００の設定を変更したり、検査に必要な情報を入力したりする。
【0019】
記憶部１５０は、不揮発性の記憶媒体であり、例えばＨＤＤ（Hard Disk Drive）によって構成されている。記憶部１５０は、検査支援装置１００の制御や処理を実行するプログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、表示要素データ、ルックアップテーブル等を記憶し得る。記憶部１５０は、特に、分析用ニューラルネットワーク１５１を記憶している。分析用ニューラルネットワーク１５１は、カメラユニット２１０が撮像した画像データを入力すると、その画像内に病変が存在する確率を算出する学習済みモデルである。なお、記憶部１５０は、複数のハードウェアで構成されていても良く、例えば、プログラムを記憶する記憶媒体と分析用ニューラルネットワーク１５１を記憶する記憶媒体が別々のハードウェアで構成されてもよい。
【0020】
演算処理部１１０は、検査支援プログラムが指示する処理に応じて様々な演算を実行する機能演算部としての役割も担う。演算処理部１１０は、取得部１１１、検出部１１２、確定部１１３、診断補助部１１４、表示制御部１１５として機能し得る。取得部１１１は、内視鏡システム２００から送られてくる表示信号を逐次取得して各々をフレーム画像に展開し、検出部１１２へ引き渡す。検出部１１２は、取得部１１１によって逐次生成されるフレーム画像を受け取って、前後するフレーム画像間の差分を検出する。確定部１１３は、検出部１１２が検出した差分の差分量によって表現される差分画像において、当該差分量が基準量以上となる変化領域を探索することにより、カメラユニット２１０で撮像された撮像画像を表す画像領域を確定する。診断補助部１１４は、記憶部１５０から読み出した分析用ニューラルネットワーク１５１へ胃の検査の実行中に生成された撮像画像１２１を入力し、病変が存在する確率を算出させて、診断補助情報を生成する。表示制御部１１５は、表示モニタ１２０へ表示する表示画面の表示信号を生成し表示モニタ１２０へ送信することにより、表示モニタ１２０の表示を制御する。
【0021】
図３は、検査実行時において受信した表示信号から表示モニタ１２０の表示画面を生成するまでの処理を説明する図である。内視鏡システム２００から送られてくる表示信号を取得部１１１が取得して展開するフレーム画像である信号再生画像２２５は、内視鏡システム２００のシステムモニタ２２０で表示されている表示画像と同様である。信号再生画像２２５は、上述のように、撮像画像２２１と検査情報２２２を含む。検査情報２２２は、ここではテキスト情報を想定しているが、コンピュータグラフィックス等のテキスト情報以外の情報を含んでいてもよい。
【0022】
信号再生画像２２５の画像領域のいずれの領域が撮像画像を表す画像領域であるかが、後述するように検査開始前に確定されていると、取得部１１１は、その確定された画像領域を切り出して撮像画像１２１とする。撮像画像１２１は、実質的にはカメラユニット２１０が撮像した撮像画像を検査支援装置１００で再現した画像と言える。取得部１１１は、このように再現した撮像画像１２１の撮像画像データを診断補助部１１４と表示制御部１１５へ引き渡す。
【0023】
診断補助部１１４は、受け取った撮像画像データを分析用ニューラルネットワーク１５１へ入力し、画像内に病変が存在する推定確率を算出させ、その結果を表示制御部１１５へ引き渡す。表示制御部１１５は、取得部１１１から受け取った撮像画像データと、診断補助部１１４から受け取った推定確率を含む診断補助情報とを、予め設定された表示態様に従って展開、配列して表示モニタ１２０へ表示する。具体的には、例えば図３下図に示すように、撮像画像１２１は縮小して左側へ寄せて配置し、診断補助情報１２２は推定確率を示す数値情報１２２ａ、タイトルテキスト１２２ｂ、円グラフ状のグラフィックス１２２ｃに要素化して右側へ寄せて配置する。なお、この表示態様は一例であり、それぞれの表示要素が検査の実行中に必ずしも表示されているとは限らない。
【0024】
次に、信号再生画像２２５の画像領域から撮像画像を表す画像領域を確定するまでの処理について説明する。図４は、検出部１１２の処理を説明する図である。内視鏡システム２００のカメラユニット２１０による撮像は、例えば６０ｆｐｓで実行される。内視鏡システム２００はこれに応じて表示信号を逐次生成している。したがって、取得部１１１は、逐次取得する表示信号から、例えば６０ｆｐｍのフレーム画像を生成する。
【0025】
図４の上段は、検出部１１２が取得部１１１から順次受け取ったフレーム画像を左から右へ時系列で並べたものである。具体的には、ある時点で連続して受け取った３つのフレーム画像であるフレーム画像ｆn、フレーム画像ｆn+1、フレーム画像ｆn+2を模式的に表している。
【0026】
検出部１１２は、前後する２つのフレーム画像（ここでは、フレーム画像ｆnとフレーム画像ｆn+1の組み合わせと、フレーム画像ｆn+1とフレーム画像ｆn+2の組み合わせ）で差分を検出する。具体的には、それぞれのフレーム画像をグレースケール化して、対応する画素ごとに画素値の差を差分量として算出して差分画像２２６を生成する。図４の下段は、このように生成された差分画像２２６を並べたものである。具体的には、フレーム画像ｆnとフレーム画像ｆn+1から生成された差分画像ｄn、フレーム画像ｆn+1とフレーム画像ｆn+2から生成された差分画像ｄn+1を模式的に表している。なお、ここでは連続するフレーム画像のうち隣り合うフレーム画像から差分画像を生成するが、差分画像は連続するフレーム画像から生成しなくてもよく、例えば連続するフレーム画像から１０フレームごとに抜き出して差分画像を生成してもよい。
【0027】
フレーム画像として逐次生成される信号再生画像２２５は、上述のように撮像画像２２１と検査情報２２２を含む。このうち、撮像画像２２１は、カメラユニット２１０の出力レートに合わせて更新されるので、カメラユニット２１０が動かない対象を固定された状態で撮像し続けていない限り、フレームごとに刻々と変化する。したがって、差分画像２２６のうち撮像画像２２１に対応する領域に属するそれぞれの対応画素は比較的大きな差分量を示し、これらの対応画素を包囲する領域は変化領域２２１’として顕在化する。
【0028】
一方で、検査情報２２２は、フレームごとに刻々と変化する性質のものではなく、例えば表示されるテキストが書き換えられる場合でも、その頻度はフレームレートに対して相当低い。したがって、差分画像２２６のうち検査情報２２２に対応する領域に属するそれぞれの対応画素は、ほとんどの場合において０または小さな差分量を示し、こられの対応画素を含む領域は不変化領域２２２’と評価し得る。検出部１１２は、フレーム画像間の差分量で表された差分画像２２６を確定部１１３へ引き渡す。確定部１１３は、受け取った差分画像２２６から変化領域２２１’を定め、当該変化領域２２１’に基づいて撮像画像を表す画像領域を確定する。
【0029】
図５は、確定部１１３の処理を説明する図である。図５の上段は、図４の下段と同様に、生成された差分画像２２６を生成順に並べたものである。確定部１１３は、まず、受け取った差分画像２２６から変化領域２２１’を定める。具体的には、差分画像２２６を構成する各画素の差分量が基準量以上であるか否かにより振り分け、基準量以上と判定された画素を包含する一纏まりの領域を変化領域２２１’とする。ここで、基準量は、撮像画像２２１に対応する領域が適切に抽出されるように試行錯誤によって予め調整された値が設定されている。また、変化領域２２１’は、基準量未満の変化量である画素が離散的に含まれていてもよいものとする。例えば、１０画素×１０画素の範囲に基準量以上の画素が８０個以上存在すれば、その範囲については纏めて変化領域２２１’に含めるものとする。
【0030】
確定部１１３は、このように変化領域２２１’を定めたら、次に、この変化領域２２１’に内包される矩形領域Ｒを各差分画像２２６において決定する。図示するように差分画像ｄnに対して決定された矩形領域Ｒnは、左上座標が（ｘａn，ｙａn）であり、右下座標が（ｘｂn，ｙｂn）である。同様に、差分画像ｄn+1に対して決定された矩形領域Ｒn+1は、左上座標が（ｘａn+1，ｙａn+1）であり、右下座標が（ｘｂn+1，ｙｂn+1）である。
【0031】
確定部１１３は、連続して生成される規定数分の差分画像（例えば８つの差分画像）のそれぞれにおいて決定される矩形領域Ｒに対して、左上座標の平均座標（ｘａ，ｙａ）と右下座標の平均座標（ｘｂ，ｙｂ）を算出して、信号再生画像２２５の画像領域に対する画像領域候補を確定する。なお、確定部１１３は、このように算出された画像領域候補を、予め定められたアスペクト比や大きさになるように更に調整してもよい。例えば、分析用ニューラルネットワーク１５１へ入力可能な画像のアスペクト比が決められているのであれば、当該アスペクト比に合わせて画像領域候補の矩形形状を調整するとよい。
【0032】
確定部１１３は、このように算出された画像領域候補をそのままカメラユニット２１０で撮像された撮像画像を表す画像領域として確定することもできるが、ここでは利用者である医師による確認、承諾を経て当該画像領域として確定させる。図６は、医師の承諾を受け付ける承諾画面の例を示す図である。
【0033】
承諾画面は、信号再生画像２２５を縮小して表示する信号再生画像１２５、解析範囲の承諾を求めるテキスト情報である問合せテキスト１２７、操作ボタンを表す受付アイコン１２８、検査実行前の準備段階であることを示す補助情報１２２’を含む。信号再生画像１２５には、確定された画像領域候補が視認できるように領域枠指標１２６が重畳表示されている。
【0034】
医師は、この領域枠指標１２６が正しく撮像画像を表す画像領域を囲んでいるかを確認し、問題が無ければ受付アイコン１２８をタップする。確定部１１３は、入力デバイス１４０のひとつであるタッチパネルを介して当該タップを認識したら、この画像領域候補をカメラユニット２１０で撮像された撮像画像を表す画像領域として確定する。
【0035】
検査支援装置１００は、逐次受け取る画像信号から生成される信号再生画像２２５の画像領域のうちいずれの領域が撮像画像を表す画像領域であるかを、胃内の検査を実行する前に確定する。これにより、胃内の検査を実行する段階においては、信号再生画像２２５の画像領域から確定された固定領域を切り出せば撮像画像１２１の画像データを生成することができるので、診断補助部１１４による分析の高速化と安定化に貢献する。
【0036】
なお、変化領域２２１’に対する画像領域の定め方には、様々なバリエーションが存在し得る。図７は、他の例の変化領域２２１’に対する画像領域の確定処理を説明する図である。図７（ａ）は、確定部１１３が変化領域２２１’を円形として認識した場合における矩形領域Ｒの定め方を示す図である。確定部１１３は、矩形領域Ｒを変化領域２２１’の円に内接するように定める。このとき、矩形領域Ｒは、画像領域に対して設定されているアスペクト比に合致するように調整される。
【0037】
図７（ｂ）は、確定部１１３が変化領域２２１’を多角形として認識した場合における矩形領域Ｒの定め方を示す図である。確定部１１３は、矩形領域Ｒを変化領域２２１’の多角形に内接するように定める。このときも、矩形領域Ｒは、画像領域に対して設定されているアスペクト比に合致するように調整される。いずれの場合も、上述のように、連続して生成される規定数分の差分画像のそれぞれにおいて決定される矩形領域Ｒに対して座標の平均化処理を行って画像領域候補または画像領域を確定するとよい。
【0038】
次に、診断補助部１１４による分析処理について説明する。図８は、学習済みモデルである分析用ニューラルネットワーク１５１を用いた分析処理の手順を説明する図である。分析用ニューラルネットワーク１５１は、病変部位を含む画像と含まない画像とを、その正解と共に大量に与えられる教師あり学習によって予め作成されたものである。このように作成された分析用ニューラルネットワーク１５１は、記憶部１５０に格納され、診断補助部１１４により適宜読み出されて利用に供される。
【0039】
内視鏡システム２００は、被検者の胃内に挿通されたカメラユニット２１０から、上述のように例えば６０ｆｐｓで撮像画像を受け取るが、医師がレリーズ信号を発生させた場合には、静止画像を撮像画像として受け取る。この場合に検査支援装置１００が内視鏡システム２００から受信する表示信号は、表示信号としては６０ｆｐｓのフレーム信号であるものの、ここから切り出されて生成される撮像画像１２１は、一定期間フリーズした疑似静止画像となる。
【0040】
取得部１１１は、図３を用いて説明したように、撮像画像１２１を疑似静止画像と検知して撮像画像データを生成したら、当該撮像画像データを診断対象画像データとして診断補助部１１４へ引き渡す。診断補助部１１４は、受け取った撮像画像データを展開した撮像画像１２１を分析用ニューラルネットワーク１５１へ入力し、推定確率を算出させる。
【0041】
次に、検査支援装置１００を用いた検査支援方法の処理手順について説明する。図９は、演算処理部１１０によって実行される処理手順を説明するフロー図である。フローは、例えば、内視鏡システム２００および検査支援装置１００が起動された時点から開始される。
【0042】
取得部１１１は、ステップＳ１０１で、内視鏡システム２００から送られてくる表示信号を順次取得し、信号再生画像２２５に展開してそれぞれをフレーム画像として検出部１１２へ引き渡す。検出部１１２は、ステップＳ１０２で、図４を用いて説明したように前後するフレーム画像から差分画像２２６を生成して確定部１１３へ引き渡す。確定部１１３は、ステップＳ１０３で、図５を用いて説明したように各フレーム画像に対して変化領域２２１’を定め、当該変化領域２２１’に対して矩形領域Ｒを決定する。
【0043】
確定部１１３は、ステップＳ１０４へ進み、連続して生成される差分画像から規定数分の矩形領域Ｒの座標情報が獲得できたか否かを判断する。獲得できていないと判断したら、ステップＳ１０１へ戻る。獲得できたと判断したら、ステップＳ１０５へ進む。
【0044】
ステップＳ１０５へ進んだら、確定部１１３は、獲得した規定数分の矩形領域Ｒの座標情報から画像領域候補を確定し、当該画像領域候補の座標情報を表示制御部１１５へ引き渡す。表示制御部１１５は、ステップＳ１０６で、図６で示した承諾画面を表示モニタ１２０へ表示する。確定部１１３は、ステップＳ１０７で、承諾指示を受け付けたか否かを確認する。受け付けたことを確認したら、ステップＳ１０８へ進む。一定時間の間に受け付けたことを確認できなければ、ステップＳ１１０へ進む。
【0045】
確定部１１３は、ステップＳ１０８へ進んだら、画像信号から生成される信号再生画像２２５の画像領域のうちいずれの領域が撮像画像を表す画像領域であるかを、承諾を受けた画像領域候補に即して確定する。画像領域を確定したら、ステップＳ１０９へ進み、演算処理部１１０は、検査が開始されるまで待機する。
【0046】
ステップＳ１０７からステップＳ１１０へ進んだ場合には、演算処理部１１０は、検査が開始されたか否かを判断する。検査が開始されていないと判断したらステップＳ１０１へ戻り、新たな画像領域候補を策定するところからやり直す。なお、新たな画像領域候補を策定するのではなく、例えばタッチパネルに対するドラッグ操作を受け付けて医師に領域枠指標１２６を移動させることにより画像領域を確定してもよい。
【0047】
ステップＳ１１０で検査が開始されたと判断したら、ステップＳ１１１へ進み、確定部１１３は、医師の承諾を得ることなく、ステップＳ１０５で確定した画像領域候補を、撮像画像を表す画像領域として確定する。換言すれば、医師は、承諾画面に対して承諾操作を行わなくても、検査を開始してしまえば画像領域候補を画像領域として確定させることができる。なお、演算処理部１１０は、例えば、画像領域候補が示す画像が口腔内の画像に変化したと確認された時点で検査が開始されたと判断する。
【0048】
撮像画像を表す画像領域が確定され、検査が開始されたら、取得部１１１は、ステップＳ１１２で、取得した表示信号から展開したフレーム画像から、確定された画像領域に従って撮像画像１２１を切り出し、診断補助部１１４へ当該撮像画像１２１を引き渡す。診断補助部１１４は、ステップＳ１１３で、上述のように推定確率を算出し、表示制御部１１５へ引き渡す。表示制御部１１５は、ステップＳ１１４で、図３の下図で示したような表示態様に従って、検査情報を表示モニタ１２０へ表示する。演算処理部１１０は、ステップＳ１１５で、検査終了の指示を受け付けるまで、ステップＳ１１２からステップＳ１１４を繰り返す。検査終了の指示を受け付けたら、一連の処理を終了する。
【0049】
図１０は、他の例における演算処理部１１０によって実行される処理手順を説明するフロー図である。図１０に示す処理手順は、医師に承諾を求めない点、および検査が開始されるまでは確定した画像領域を更新する点で図９の処理手順と異なる。図９とほぼ同様の処理については、図９のステップ番号と同じステップ番号を付すことによりその説明を省略する。
【0050】
確定部１１３は、ステップＳ１０４で、連続して生成される差分画像から規定数分の矩形領域Ｒの座標情報が獲得できたと判断したら、ステップＳ２０５へ進む。ステップＳ２０５へ進むと、確定部１１３は、獲得した規定数分の矩形領域Ｒの座標情報から画像領域を確定する。演算処理部１１０は、ステップＳ２０６で、検査が開始されたか否かを判断する。検査が開始されていないと判断したらステップＳ１０１へ戻る。ステップＳ１０１へ戻ると、再びステップＳ１０１からステップＳ１０４を実行し、ステップＳ２０５へ進んだ場合には、すでに確定されている画像領域を新たに演算された画像領域に更新する。
【0051】
演算処理部１１０は、ステップＳ２０６で、検査が開始されたと判断したら、ステップＳ１１２へ進む。具体的には、例えば、確定されている画像領域が示す画像が口腔内の画像に変化したと確認された場合に、カメラユニット２１０が被検者の口腔に挿入されて検査が開始されたと判断して、画像領域の更新を停止し、ステップＳ１１２へ進む。以降の処理は、図９の処理と同様である。なお、一旦画像領域が確定された後にステップＳ１０１以降の処理を進めている途中であって、割り込み処理により検査が開始されたと判断された場合には、ステップＳ１１２へジャンプしてもよい。
【0052】
以上説明した本実施形態においては、図４を用いて説明したように、それぞれのフレーム画像をグレースケール化して、対応する画素ごとに画素値の差を差分量として算出して差分画像２２６を生成したが、差分量の評価手法や差分画像の生成手法はこれに限らない。例えば、差分画像を構成する各画素において差分が生じたか（差分量が１以上）生じていないか（差分量が０）によりその画素を２つに区分し、連続する所定数の差分画像（例えば８つの差分画像）において互いに対応するそれぞれの画素で基準数（例えば２つ）以上の差分画像で差分が生じていると区分されていれば、当該画素を変化領域に含まれる画素と評価してもよい。この場合は、基準量として、差分が生じたか生じていないかを区分するときの第１基準量と、連続する所定数の差分画像のうちいくつの差分画像で差分が生じているかを振り分けるための第２基準量が設定される。また、例えば、フレーム画像間で算出される画素ごとの移動ベクトルを算出し、その移動ベクトルの大きさを差分量としてもよい。この場合は、基準量も実情に即して調整された基準ベクトルの大きさとして設定される。
【0053】
また、以上説明した本実施形態においては、内視鏡システム２００と検査支援装置１００が接続ケーブル２５０を介して接続される場合を想定したが、有線接続でなく無線接続であっても構わない。また、内視鏡システム２００は表示信号を外部に出力し、検査支援装置１００はこの表示信号を利用する実施形態を説明したが、内視鏡システム２００が外部装置に提供する画像信号がカメラユニット２１０で撮像された撮像画像の画像信号を包含するのであれば、出力信号の形式は問わない。
【0054】
また、以上説明した本実施形態においては、検査対象が胃の例を説明したが、内視鏡システム２００は、胃内検査に特化したものでなくてもよく、他の部位を検査するものであってもよい。例えば十二指腸を検査する内視鏡システム２００に接続する検査支援装置１００は、十二指腸の撮像画像に病変部位が存在する確率を算出して表示する装置である。この場合、分析用ニューラルネットワーク１５１は、検査対象となる部位に応じたものが予め用意される。また、以上説明した本実施形態においては、内視鏡システム２００が備えるカメラユニット２１０が軟性内視鏡であることを想定して説明したが、カメラユニット２１０が硬性内視鏡であっても、検査支援装置１００の構成や処理手順に違いは何ら生じない。
【符号の説明】
【0055】
１００…検査支援装置、１１０…演算処理部、１１１…取得部、１１２…検出部、１１３…確定部、１１４…診断補助部、１１５…表示制御部、１２０…表示モニタ、１２１…撮像画像、１２２…診断補助情報、１２２’…補助情報、１２２ａ…数値情報、１２２ｂ…タイトルテキスト、１２２ｃ…グラフィックス、１２５…信号再生画像、１２６…領域枠指標、１２７…問合せテキスト、１２８…受付アイコン、１３０…入出力インタフェース、１４０…入力デバイス、１５０…記憶部、１５１…分析用ニューラルネットワーク、２００…内視鏡システム、２１０…カメラユニット、２２０…システムモニタ、２２１…撮像画像、２２１’…変化領域、２２２…検査情報、２２２’…不変化領域、２２５…信号再生画像、２２６…差分画像、２５０…接続ケーブル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】