知財求人 - 知財ポータルサイト「IP Force」
特許7527634検査支援装置、検査支援装置の作動方法および検査支援プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-26
(45)【発行日】2024-08-05
(54)【発明の名称】検査支援装置、検査支援装置の作動方法および検査支援プログラム
(51)【国際特許分類】
A61B 1/045 20060101AFI20240729BHJP
G02B 23/24 20060101ALI20240729BHJP
【ＦＩ】
A61B1/045 614
A61B1/045 618
G02B23/24 B
【請求項の数】
12
(21)【出願番号】P 2020177108
(22)【出願日】2020-10-22
(65)【公開番号】P2022068439
(43)【公開日】2022-05-10
【審査請求日】2023-08-09
(73)【特許権者】
【識別番号】517380422
【氏名又は名称】株式会社ＡＩメディカルサービス
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】鈴木 健一郎
【審査官】井上 香緒梨
(56)【参考文献】
【文献】特開２０１２－０７０９３６（ＪＰ，Ａ）
【文献】特開２０１８－０５０８９０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ１／００－１／３２
Ｇ０２Ｂ２３／２４－２３／２６
(57)【特許請求の範囲】
【請求項1】
被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得部と、前記取得部により取得された前記撮像画像が、取得すべき予定画像のいずれかと合致するかを判定する判定部と、
前記取得部により取得された前記撮像画像に基づいて前記カメラユニットが検査部位から抜出されるタイミングを検出する検出部と、
前記検出部で検出された前記タイミングで、前記判定部によって合致すると判定されていない前記予定画像が残存する場合に警告を発出する警告部と
を備える検査支援装置。
【請求項2】
前記判定部は、前記撮像画像が静止画像であると検知された場合に前記予定画像のいずれかと合致するかを判定し、前記検出部は、前記撮像画像が逐次変化するフレーム画像に基づいて前記タイミングを検出する請求項１に記載の検査支援装置。
【請求項3】
前記検出部は、前記フレーム画像から前記検査部位である胃のうちの噴門の像を検出した時点を前記タイミングとする請求項２に記載の検査支援装置。
【請求項4】
前記検出部は、前記フレーム画像が一定方向に沿って連続して流れることを検出した時点を前記タイミングとする請求項２に記載の検査支援装置。
【請求項5】
前記検出部は、前記撮像画像が前記予定画像のうち予め設定された最終画像と合致すると前記判定部が判定した時点を前記タイミングとする請求項１に記載の検査支援装置。
【請求項6】
前記警告部は、前記予定画像のうち残存する未取得画像に関する情報を併せて出力する請求項１から５のいずれか１項に記載の検査支援装置。
【請求項7】
前記警告部は、前記未取得画像を取得するためのガイダンスを併せて出力する請求項６に記載の検査支援装置。
【請求項8】
前記判定部は、前記撮像画像が、前記予定画像のいずれかと合致すると判定した場合には、合致すると判定した前記予定画像に関する情報を前記撮像画像に関連付ける請求項１から７のいずれか１項に記載の検査支援装置。
【請求項9】
前記判定部は、前記撮像画像が、前記予定画像のいずれかと合致すると判定した場合に、前記撮像画像が予め設定された品質基準を満たすかを更に判定し、前記警告部は、前記撮像画像が前記品質基準を満たさないと前記判定部が判定した場合に、前記予定画像が残存する場合に発出する警告とは異なる警告を発出する請求項１から８のいずれか１項に記載の検査支援装置。
【請求項10】
前記取得部は、内視鏡システムが出力する出力信号を受信して加工することにより前記撮像画像を取得する請求項１から９のいずれか１項に記載の検査支援装置。
【請求項11】
被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得ステップと、前記取得ステップで取得された前記撮像画像が、取得すべき予定画像のいずれかと合致するかを判定する判定ステップと、
前記取得ステップで取得された前記撮像画像に基づいて前記カメラユニットが検査部位から抜出されるタイミングを検出する検出ステップと、
前記検出ステップで検出された前記タイミングで、前記判定ステップによって合致すると判定されていない前記予定画像が残存する場合に警告を発出する警告ステップと
を有する検査支援装置の作動方法。
【請求項12】
被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得ステップと、前記取得ステップで取得された前記撮像画像が、取得すべき予定画像のいずれかと合致するかを判定する判定ステップと、
前記取得ステップで取得された前記撮像画像に基づいて前記カメラユニットが検査部位から抜出されるタイミングを検出する検出ステップと、
前記検出ステップで検出された前記タイミングで、前記判定ステップによって合致すると判定されていない前記予定画像が残存する場合に警告を発出する警告ステップと
をコンピュータに実行させる検査支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検査支援装置、検査支援方法および検査支援プログラムに関する。
【背景技術】
【0002】
内視鏡により被検者の例えば胃内部を撮像してその画像をモニタに表示する内視鏡システムが知られている。最近では、内視鏡システムで撮像された画像を分析して、その結果を医師へ知らせる検査支援装置も普及しつつある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－４２１５６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
内視鏡を用いたスクリーニング検査においては、検査部位（例えば胃）の様々な箇所をさまざまな角度や画角で撮像し、静止画として記録するように規準として定められていることが多い。しかし、内視鏡を操作する医師の経験不足や錯誤により、記録すべき静止画が撮り忘れられていたり、不鮮明であったりする場合がある。内視鏡の体内への挿抜は被検者にとっては多少の不快感を伴うものであるので、検査のやり直しは極力避けたいという課題がある。
【0005】
本発明は、このような問題を解決するためになされたものであり、内視鏡を用いたスクリーニング検査において、取得すべき画像を確実に取得させると共に、被検者の不快感を軽減することのできる検査支援装置等を提供するものである。
【課題を解決するための手段】
【0006】
本発明の第１の態様における検査支援装置は、被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得部と、取得部により取得された撮像画像が、取得すべき予定画像のいずれかと合致するかを判定する判定部と、取得部により取得された撮像画像に基づいてカメラユニットが検査部位から抜出されるタイミングを検出する検出部と、検出部で検出されたタイミングで、判定部によって合致すると判定されていない予定画像が残存する場合に警告を発出する警告部とを備える。
【0007】
また、本発明の第２の態様における検査支援方法は、被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得ステップと、取得ステップで取得された撮像画像が、取得すべき予定画像のいずれかと合致するかを判定する判定ステップと、取得ステップで取得された撮像画像に基づいてカメラユニットが検査部位から抜出されるタイミングを検出する検出ステップと、検出ステップで検出されたタイミングで、判定ステップによって合致すると判定されていない予定画像が残存する場合に警告を発出する警告ステップとを有する。
【0008】
更に、本発明の第３の態様における検査支援プログラムは、被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得ステップと、取得ステップで取得された撮像画像が、取得すべき予定画像のいずれかと合致するかを判定する判定ステップと、取得ステップで取得された撮像画像に基づいてカメラユニットが検査部位から抜出されるタイミングを検出する検出ステップと、検出ステップで検出されたタイミングで、判定ステップによって合致すると判定されていない予定画像が残存する場合に警告を発出する警告ステップとをコンピュータに実行させる。
【発明の効果】
【0009】
本発明により、内視鏡を用いたスクリーニング検査において、取得すべき画像を確実に取得させると共に、被検者の不快感を軽減することのできる検査支援装置等を提供することができる。
【図面の簡単な説明】
【0010】
【図1】内視鏡システムと本実施形態に係る胃検査支援装置を用いた内視鏡検査の様子を示す図である。
【図2】胃検査支援装置のハードウェア構成図である。
【図3】受信した表示信号から表示画面を生成するまでの処理を説明する図である。
【図4】再現された撮像画像の変化について説明する図である。
【図5】合致判定の処理を説明する図である。
【図6】合致判定の処理を説明する図である。
【図7】抜出検出の処理を説明する図である。
【図8】他の抜出検出の処理を説明する図である。
【図9】更に他の抜出検出の処理を説明する図である。
【図10】予定画像が残存する場合に表示される警告画面の例である。
【図11】演算処理部の処理手順を説明するフロー図である。
【発明を実施するための形態】
【0011】
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。
【0012】
図１は、内視鏡システム２００と本実施形態に係る検査支援装置１００を用いた内視鏡検査の様子を示す図である。内視鏡システム２００と検査支援装置１００は、共に診察スペースに設置されている。本実施形態においては、被検者の体内のうち胃を検査する場合を想定する。内視鏡システム２００は、カメラユニット２１０を備え、カメラユニット２１０は、図示するように、横たわる被検者の口腔から胃へ挿通され、胃の内部を撮像した画像の画像信号をシステム本体へ送信する。カメラユニット２１０の胃内への挿通や撮像操作は、医師によって行われる。
【0013】
内視鏡システム２００は、例えば液晶パネルによって構成されるシステムモニタ２２０を備え、カメラユニット２１０から送られてきた画像信号を処理して視認可能な撮像画像２２１としてシステムモニタ２２０に表示する。また、内視鏡システム２００は、被検者情報やカメラユニット２１０のカメラ情報などを含む検査情報２２２をシステムモニタ２２０に表示する。
【0014】
検査支援装置１００は、接続ケーブル２５０によって内視鏡システム２００に接続されている。内視鏡システム２００は、システムモニタ２２０へ送信する表示信号を、接続ケーブル２５０を介して検査支援装置１００へも送信する。すなわち、本実施形態における表示信号は、内視鏡システム２００が外部装置へ出力する出力信号の一例である。検査支援装置１００は、例えば液晶パネルによって構成される表示モニタ１２０を備え、内視鏡システム２００から送られてきた表示信号から撮像画像２２１に対応する画像信号を抽出して視認可能な撮像画像１２１として表示モニタ１２０に表示する。また、検査支援装置１００は、撮像画像１２１の画像データを生成し、これを分析して診断補助情報１２２を出力し、表示モニタ１２０に表示する。すなわち、医師は検査の進行に同期して逐次的に撮像画像１２１や診断補助情報１２２を確認することができる。
【0015】
また、検査支援装置１００は、内視鏡システム２００を用いたスクリーニング検査を支援する。具体的には、スクリーニング検査で定められている取得すべき画像が取得されているかを判定し、カメラユニット２１０が検査部位（本実施形態においては胃）から抜出されるタイミングで取得されていない画像が残存する場合には、警告を発出する。具体的な処理については、後に詳述する。
【0016】
図２は、検査支援装置１００のハードウェア構成図である。検査支援装置１００は、主に、演算処理部１１０、表示モニタ１２０、入出力インタフェース１３０、入力デバイス１４０、記憶部１５０によって構成される。演算処理部１１０は、検査支援装置１００の制御とプログラムの実行処理を行うプロセッサ（ＣＰＵ：Central Processing Unit）である。プロセッサは、ＡＳＩＣ（Application Specific Integrated Circuit）やＧＰＵ（Graphics Processing Unit）等の演算処理チップと連携する構成であってもよい。演算処理部１１０は、記憶部１５０に記憶された検査支援プログラムを読み出して、検査の支援に関する様々な処理を実行する。
【0017】
表示モニタ１２０は、上述のように、例えば液晶パネルを備えるモニタであり、撮像画像１２１や診断補助情報１２２等を視認可能に表示する。入出力インタフェース１３０は、接続ケーブル２５０を接続するためのコネクタを含む、外部機器との間で情報を授受するための接続インタフェースである。入出力インタフェース１３０は、例えばＬＡＮユニットを含み、検査支援プログラムや後述する分析用ニューラルネットワーク１５１の更新データを外部機器から取り込んで演算処理部１１０へ引き渡す。
【0018】
入力デバイス１４０は、例えばキーボードやマウス、表示モニタ１２０に重畳されたタッチパネルであり、医師や補助者は、これらを操作して検査支援装置１００の設定を変更したり、検査に必要な情報を入力したりする。
【0019】
記憶部１５０は、不揮発性の記憶媒体であり、例えばＨＤＤ（Hard Disk Drive）によって構成されている。記憶部１５０は、検査支援装置１００の制御や処理を実行するプログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、表示要素データ、ルックアップテーブル等を記憶し得る。記憶部１５０は、特に、判定用ニューラルネットワーク１５１、分析用ニューラルネットワーク１５２、予定画像データベース１５３を記憶している。
【0020】
判定用ニューラルネットワーク１５１は、カメラユニット２１０が撮像した画像データを入力すると、その画像が取得すべき予定画像のいずれかと合致するかを判定する学習済みモデルである。分析用ニューラルネットワーク１５１は、カメラユニット２１０が撮像した画像データを入力すると、その画像内に病変が存在する確率を算出する学習済みモデルである。予定画像データベース１５３は、スクリーニング検査で定められている取得すべき画像のサンプルと、当該画像を撮像するためのガイダンス情報が集約されたデータベースである。なお、記憶部１５０は、複数のハードウェアで構成されていても良く、例えば、プログラムを記憶する記憶媒体と判定用ニューラルネットワーク１５１等を記憶する記憶媒体が別々のハードウェアで構成されてもよい。
【0021】
演算処理部１１０は、検査支援プログラムが指示する処理に応じて様々な演算を実行する機能演算部としての役割も担う。演算処理部１１０は、取得部１１１、判定部１１２、検出部１１３、警告部１１４、表示制御部１１５、診断補助部１１６として機能し得る。取得部１１１は、内視鏡システム２００から逐次送られてくる表示信号を加工することにより、カメラユニット２１０が撮像した撮像画像を再現して取得する。判定部１１２は、取得部１１１により取得された撮像画像が、事前に設定された取得すべき予定画像のいずれかと合致するかを判定する。検出部１１３は、取得部１１１により取得された撮像画像に基づいて、カメラユニット２１０が検査部位から抜出されるタイミングを検出する。警告部１１４は、検出部１１３で検出されたタイミングで、判定部１１２によって合致すると判定されていない予定画像が残存するかを確認して、残存する場合にはその旨の警告を発出する。表示制御部１１５は、表示モニタ１２０へ表示する表示画面の表示信号を生成し表示モニタ１２０へ送信することにより、表示モニタ１２０の表示を制御する。診断補助部１１６は、記憶部１５０から読み出した分析用ニューラルネットワーク１５２へ撮像画像を入力し、病変が存在する確率を算出させて、診断補助情報を生成する。
【0022】
図３は、検査実行時において受信した表示信号から表示モニタ１２０の表示画面を生成するまでの処理を説明する図である。内視鏡システム２００から送られてくる表示信号を取得部１１１が取得して展開する信号再生画像２２５は、内視鏡システム２００のシステムモニタ２２０で表示されている表示画像と同様である。信号再生画像２２５は、上述のように、撮像画像２２１と検査情報２２２を含む。検査情報２２２は、ここではテキスト情報を想定しているが、コンピュータグラフィックス等のテキスト情報以外の情報を含んでいてもよい。
【0023】
既存の内視鏡システム２００に検査支援装置１００を接続して利用する場合には、検査支援装置１００にとって都合の良い専用信号を受け取るのではなく、この表示信号のような、内視鏡システム２００が外部装置へ提供する汎用の画像信号を活用することになる。汎用の画像信号には、カメラユニット２１０が撮像した撮像画像に対応する画像信号が含まれているものの、その他にも検査に付随する情報やＧＵＩに対応する画像信号も含まれている。検査支援装置１００でカメラユニット２１０が撮像した撮像画像を分析したり、取得すべき予定画像と合致するかを判定したりするためには、内視鏡システム２００から受け取った画像信号の画像領域から撮像画像の画像領域を適切に切り出して、撮像画像の画像データを再生成する必要がある。本実施形態においては、検査支援装置１００の使用開始時に、医師や補助者が入力デバイス１４０を介して撮像画像の画像領域を指定するものとする。
【0024】
取得部１１１は、このように指定された画像領域を信号再生画像２２５から切り出して撮像画像１２１とする。撮像画像１２１は、実質的にはカメラユニット２１０が撮像した撮像画像を検査支援装置１００で再現した画像と言える。取得部１１１は、このように再現した撮像画像１２１の撮像画像データがレリーズ画像であると判断される場合に、当該撮像画像１２１を判定部１１２、診断補助部１１６および表示制御部１１５へ引き渡す。レリーズ画像であるか否かの判断、および判定部１１２による合致判定については後述する。
【0025】
診断補助部１１６は、受け取った撮像画像データを分析用ニューラルネットワーク１５２へ入力し、画像内に病変が存在する推定確率を算出させ、その結果を表示制御部１１５へ引き渡す。表示制御部１１５は、取得部１１１から受け取った撮像画像データと、診断補助部１１６から受け取った推定確率を含む診断補助情報とを、予め設定された表示態様に従って展開、配列して表示モニタ１２０へ表示する。具体的には、例えば図３下図に示すように、撮像画像１２１は縮小して左側へ配置し、診断補助情報１２２は推定確率を示す数値情報、タイトルテキスト、円グラフ状のグラフィックスに要素化して右側へ配置する。なお、この表示態様は一例であり、それぞれの表示要素が検査の実行中に必ずしも表示されているとは限らない。
【0026】
図４は、再現された撮像画像１２１の変化について説明する図である。検査支援装置１００は、例えば６０ｆｐｓの周期で表示信号を受信するが、取得部１１１は、その都度上述のように信号再生画像２２５から画像領域を切り出して撮像画像１２１を生成する。このように順次生成される撮像画像１２１は、時間経過と共に変化し得るフレーム画像Ｆｒとして扱うことができる。図４は、順次生成されたフレーム画像Ｆｒ1、Ｆｒ2、Ｆｒ3、Ｆｒ4、Ｆｒ5、…Ｆｒkを表す。
【0027】
カメラユニット２１０は、連続的に撮像を繰り返し、フレーム画像としての画像信号を内視鏡システム２００へ順次送信している。取得部１１１は、このような画像信号を含む表示信号を内視鏡システム２００から受け取る間は、カメラユニット２１０の撮像画像に対応する、時間と共に変化するフレーム画像Ｆｒを順次生成する。この間を動画期間とする。
【0028】
医師は、システムモニタ２２０に表示された撮像画像２２１あるいは表示モニタ１２０に表示された撮像画像１２１を視認しつつ、画像データとして保存したいと考えるタイミングでカメラユニット２１０の操作部に設けられたレリーズボタンを押し下げる。内視鏡システム２００は、レリーズボタンが押し下げられたタイミングでカメラユニット２１０が撮像した画像信号を静止画の画像データに変換して記録処理する。そして、検査支援装置１００へ出力する表示信号における画像信号は、一定期間の間（例えば３秒）、この静止画に対応する画像信号に固定する。
【0029】
取得部１１１は、このような画像信号を含む表示信号を内視鏡システム２００から受け取る間は、レリーズの押下げに応じて生成された静止画に対応するフレーム画像Ｆｒを順次生成する。この間を静止画期間とする。この静止画期間は、内視鏡システム２００によって画像信号が固定される一定期間が経過するまで続き、その後動画期間に戻る。図４の例では、フレーム画像Ｆｒ2までが動画期間で、フレーム画像Ｆｒ3から静止画期間が始まり、その後フレーム画像Ｆｒkから動画期間に戻っている。
【0030】
取得部１１１は、内視鏡システム２００から受け取る表示信号にレリーズ信号が含まれている場合には、当該レリーズ信号を参照してフレーム画像Ｆｒ3から静止画期間が開始することを認識できる。内視鏡システム２００から受け取る表示信号にレリーズ信号が含まれていない場合には、例えば、前後のフレーム画像間の差分を検出し、その積算量が閾値を下回る場合に静止画期間と認識できる。
【0031】
取得部１１１は、上記のような認識に基づいて、生成したフレーム画像Ｆｒが静止画期間のフレーム画像であると判断した場合に、その一つをレリーズ画像ＩＭとして、図３を用いて説明したように、判定部１１２と診断補助部１１６へ引き渡す。診断補助部１１６は、レリーズ画像ＩＭに対して上述のように診断補助のための演算を行う。判定部１１２は、レリーズ画像ＩＭが、事前に設定された取得すべき予定画像のいずれかと合致するかを判定する。
【0032】
図５は、判定部１１２による合致判定の処理を説明する図である。判定部１１２は、取得部１１１から受け取ったレリーズ画像ＩＭを、記憶部１５０から読み出した判定用ニューラルネットワーク１５１に入力して、取得すべき予定画像のそれぞれに合致する確率を計算させる。
【0033】
判定用ニューラルネットワーク１５１は、取得すべき予定画像のそれぞれについて、いずれの予定画像であるかを示す正解が紐づけられた相当数の画像データが与えられる教師あり学習によって予め作成されたものである。具体的には、ｋ番目の予定画像ｓｐkに対応する学習画像に、予定画像ｓｐkである確率Ｐkを「１」（＝正解）として与える。ｋ番目の予定画像ｓｐkに対して、このような学習画像を相当数用意する。判定用ニューラルネットワーク１５１は、予定画像の画像数がｎである場合には、ｋが１からｎまでのそれぞれに対して用意された学習画像を学習することにより作成される。このように作成された判定用ニューラルネットワーク１５１は、記憶部１５０に格納され、判定部１１２により適宜読み出されて利用に供される。
【0034】
図５に示すように、判定用ニューラルネットワーク１５１は、レリーズ画像ＩＭが入力されると、予定画像ｓｐkである確率Ｐkをそれぞれ算出して出力する。具体的には、１番目の予定画像ｓｐ1である確率はＰ1＝０．００５、２番目の予定画像ｓｐ2である確率はＰ2＝０．０２３、３番目の予定画像ｓｐ3である確率はＰ3＝０．０１８、４番目の予定画像ｓｐ4である確率はＰ4＝０．９０１…、いずれの予定画像にも属さない確率はＰN＝０．０１３のように出力する。判定部１１２は、出力された確率のうち閾値以上であって最大値を示すものを選択し、その確率に対応する予定画像を、レリーズ画像ＩＭと合致する画像と判定する。閾値は、判定に誤りがないと想定される値（例えば、０．８）が事前に設定される。図５の例では、レリーズ画像ＩＭは、予定画像ｓｐ4に合致すると判定されている。
【0035】
判定部１１２は、レリーズ画像ＩＭがいずれかの予定画像と合致すると判断した場合には、合致すると判定した予定画像に関する判定情報をレリーズ画像ＩＭに関連付ける。具体的には、例えば、レリーズ画像ＩＭの画像データのヘッダ情報に何番目の予定画像であるかの情報を書き込む。判定部１１２は、ヘッダ情報への書き込みを行ったら、当該画像データを記憶部１５０へ記憶する。なお、判定情報は、関連付けは画像データのヘッダ情報への書き込みに限らず、画像データとは別に管理リスト等を作成して管理するようにしてもよい。また、取得部１１１が生成したレリーズ画像ＩＭの画像データに関連付けるのではなく、その元となった、内視鏡システム２００で記録処理された撮像画像の画像データに関連付けてもよい。いずれにしても、レリーズの押下げに応じて生成された撮像画像に合致判定の結果が関連付けられればよい。
【0036】
図６は、更に判定部１１２による合致判定の処理を説明する図である。図示するように、確率ＰNが最大値である場合には、判定部１１２は、レリーズ画像ＩＭはいずれの予定画像とも合致しないと判定する。「いずれの予定画像とも合致しない」とは、レリーズ画像ＩＭが、胃内部の予め設定された複数箇所のいずれを撮像したものでもない場合に加え、予め設定されたいずれかを撮像したものであるものの、像ぶれが酷かったり、焦点が合っていなかったりする場合も含む。すなわち、品質が悪いレリーズ画像ＩＭは、いずれの予定画像とも合致しないと判定される。
【0037】
ここで、レリーズ画像ＩＭがいずれかの予定画像と合致すると判定した場合に、その画像が予め設定された品質基準を満たすか否かも判定部１１２が判定するようにしてもよい。この場合、判定部１１２は、対象画像であるレリーズ画像ＩＭの周波数成分を解析して基準値以上の高周波成分が含まれない場合に不鮮明と判定したり、輝度分布が基準割合以上に明暗のいずれかに偏っている場合に不適露出と判定したりすることができる。
【0038】
レリーズ画像ＩＭが品質基準を満たさないと判定部１１２が判定した場合には警告部１１４へその判定結果を引き渡し、警告部１１４は、品質基準を満たさない画像である旨の警告を、表示制御部１１５を介して表示モニタ１２０へ表示する。なお、警告部１１４がここで発出する警告は、後述する未取得画像が残存する旨の警告とは異なる態様による警告とする。
【0039】
内視鏡システムを用いたスクリーニング検査においては、後の詳細な画像検診のために、検査部位（本実施形態においては胃）の様々な箇所をさまざまな角度や画角で撮像し、静止画として記録するように規準として定められている。本実施形態における予定画像は、このように規準として定められている静止画を想定している。しかし、内視鏡を操作する医師の経験不足や錯誤により、記録すべき静止画が撮り忘れられていたり、不鮮明であったりする場合がある。内視鏡の体内への挿抜は被検者にとっては多少の不快感を伴うものであるので、検査のやり直しは極力避けたい。そこで、本実施形態における検査支援装置１００は、カメラユニット２１０が胃から抜出されるタイミングを検出し、そのタイミングで取得されていない画像が残存するか否かを確認して、残存する場合には医師へ向けて警告を発出する。まず、カメラユニット２１０が胃から抜出されるタイミングの検出処理について説明する。
【0040】
図７は、検出部１１３による抜出検出の処理を説明する図である。医師がカメラユニット２１０を検査部位から引き抜くタイミングは、図４を用いて説明した動画期間であると考えられる。取得部１１１は、生成したフレーム画像Ｆｒが動画期間のフレーム画像であると判断した場合には、それらのフレーム画像Ｆｒを順次検出部１１３へ引き渡す。
【0041】
検出部１１３は、連続するフレーム画像Ｆｒを受け取ると、前後するフレーム画像を比較して像の変化を表す移動ベクトルを順次算出する。図７の例によれば、フレーム画像Ｆｒ1、Ｆｒ2、Ｆｒ3、Ｆｒ4を順次受け取った場合に、フレーム画像Ｆｒ1とＦｒ2の比較から移動ベクトルＶ1を、フレーム画像Ｆｒ2とＦｒ3の比較から移動ベクトルＶ2を、フレーム画像Ｆｒ3とＦｒ4の比較から移動ベクトルＶ3を算出する。
【0042】
医師が検査部位からカメラユニット２１０の抜出を開始すると、フレーム画像Ｆｒの像は一方向へ連続的に流れる。したがって、検出部１１３は、算出した移動ベクトルＶが一定期間に亘って同一方向を示し、その大きさがいずれも閾値以上であった時点を、カメラユニット２１０が検査部位から抜出され始めたタイミングであると判断する。ここで、それぞれ設定される一定期間、同一方向の許容ぶれ範囲、ベクトルの大きさの閾値は、フレーム画像Ｆｒのフレームレート、画素数、想定される引き抜き速度等を考慮して試行錯誤的に決定される。なお、移動ベクトルＶの算出は、連続するフレーム画像間に限らず、数フレームをおいて前後するフレーム画像間で算出してもよい。
【0043】
図８は、検出部１１３による他の抜出検出の処理を説明する図である。医師が検査部位である胃からカメラユニット２１０を引き抜くときには、カメラユニット２１０は、食道と胃の接続部分である噴門を通過する。したがって、検出部１１３は、取得部１１１から受けとるフレーム画像Ｆｒを監視し、画像中に噴門の像を検出した時点を、カメラユニット２１０が胃から抜出されるタイミングであると判断する。
【0044】
具体的には、検出部１１３は、記憶部１５０から判定用ニューラルネットワーク１５１を読み出し、取得部１１１から受け取ったフレーム画像Ｆｒを入力する。ここで利用される判定用ニューラルネットワーク１５１は、上述の予定画像に加え、カメラユニット２１０が噴門を通過する時点で撮像される噴門画像についても学習しており、入力されたフレーム画像Ｆｒが噴門画像と合致する確率も算出する。検出部１１３は、入力したフレーム画像Ｆｒに対する確率Ｐを判定用ニューラルネットワーク１５１が算出したら、確率Ｐが閾値（例えば０．８）を上回るか否かを確認する。閾値を上回る場合は、当該フレーム画像Ｆｒを噴門画像であると判断し、その時点を、カメラユニット２１０が胃から抜出されるタイミングであると判断する。なお、図示するフレーム画像Ｆｒは、算出された確率がＰ＝０．０５７であるので、噴門画像ではないと判断される。なお、カメラユニット２１０を引き抜くときに必ず通過する部位であれば、噴門に限らず他の部位を選択してもよい。例えば食道や口腔は、噴門に代えて選択し得る。更には、噴門の像を検出した後に食道の像を続けて検出した場合に、カメラユニット２１０が引き抜かれていると判断してもよい。
【0045】
図９は、検出部１１３による更に他の抜出検出の処理を説明する図である。上述のように、内視鏡システムを用いたスクリーニング検査においては取得すべき予定画像が定められているが、取得する順序も定められている場合がある。そこで、検出部１１３は、判定部１１２によって合致判定されたレリーズ画像ＩＭが、最後に取得される予定画像である最終取得画像と合致すると判定されたか否かを監視する。
【0046】
具体的には、検出部１１３は、判定部１１２から判定結果を随時受け取り、その判定結果が最終取得画像と合致すると判定されたものであることを確認した時点を、カメラユニット２１０が検査部位（本実施形態においては胃）から抜出されるタイミングであると判断する。なお、図示するレリーズ画像ＩＭは、算出された確率がＰ＝０．２４５であるので、最終取得予定画像ではないと判断される。最終取得予定画像は、検査部位が胃である場合は、例えば胃の最奥部に位置し十二指腸との接続部である幽門の画像が設定される。
【0047】
検出部１１３は、カメラユニット２１０の抜出を検出したら、その旨を直ちに警告部１１４へ通知する。これにより、実質的には、カメラユニット２１０が検査部位から抜出されるタイミングを通知する。警告部１１４は、検出部１１３から抜出検知の通知を受けたら、取得すべきと定められている予定画像のうちに未だ判定部１１２によって合致すると判定されていないものが残存するか否かを確認する。具体的には、それまでに記憶部１５０に記憶された画像データと、それぞれの画像データに関連付けられた判定情報を参照して確認する。そして、そのような予定画像が残存することを確認した場合には、直ちに警告を発出する。図１０は、そのような予定画像が残存する場合に表示モニタ１２０に表示される警告画面の例である。
【0048】
警告画面は、警告テキスト１２３、サンプル画像１２４、テキスト情報１２５、ガイダンス１２６を含む。警告テキスト１２３は、例えば「未取得画像があります！」であり、取得すべき画像が取得できていない旨を知らせる警告文である。警告テキスト１２３は、強調のための点滅表示やグラフィックスを伴ってもよい。サンプル画像１２４は、医師が取り忘れている取得すべき画像の一例であり、記憶部１５０に記憶された予定画像データベース１５３から選択的に読み出されて表示される。テキスト情報１２５は、取得すべき予定画像に対応する検査部位の特定箇所の名称や観察方向の情報を含む。
【0049】
ガイダンス１２６は、当該未取得の予定画像をどのように撮像、取得できるかについての支援情報であり、例えば、検査部位である胃のどの位置へカメラユニット２１０の先端部を誘導すればよいかをグラフィックスを用いて説明する。ガイダンス１２６を生成するためのガイダンス情報は、サンプル画像１２４に関連付けられて、予定画像データベース１５３に格納されている。なお、取得すべき予定画像が複数残存する場合には、それぞれの予定画像に対応するサンプル画像１２４、テキスト情報１２５およびガイダンス１２６を順次切り替えて表示してもよいし、並列して一覧表示してもよい。なお、警告部１１４は、表示モニタ１２０へ警告表示を行うと共に、スピーカを介して警告音を発するなどの処理を行ってもよい。
【0050】
このように、取得すべき予定画像が残存する場合に警告部１１４が直ちに警告を発出すれば、医師は、カメラユニット２１０を被検者の口腔から引き抜く前にその事実に気付き、不足する撮像を続行できる可能性が高まる。医師がこのように撮像を続行すれば、被検者は、カメラユニット２１０が口腔から引き出された後に再検査を行うよりも不快感が軽減される。
【0051】
次に、検査支援装置１００を用いた検査支援方法の処理手順について説明する。図１１は、演算処理部１１０によって実行される処理手順を説明するフロー図である。ここでは、図７を用いて抜出検出を行う場合について説明する。フローは、例えば、カメラユニット２１０が被検者の口腔から体内へ挿通された時点から開始される。
【0052】
取得部１１１は、ステップＳ１０１で、内視鏡システム２００から表示信号を取得し、ステップＳ１０２で、表示信号を展開した表示画像から撮像画像を切り出して、現フレーム画像を生成する。そして、ステップＳ１０３で、図４を用いて説明したように、以前のフレーム画像と現フレーム画像を比較して、現フレーム画像が静止画期間におけるレリーズ画像か否かを判断する。取得部１１１は、レリーズ画像と判断したら、現フレーム画像を判定部１１２と診断補助部１１６へ引き渡してステップＳ１０４へ進む。レリーズ画像でないと判断したら、現フレーム画像を検出部１１３へ引き渡してステップＳ１０８へ進む。
【0053】
ステップＳ１０３からステップＳ１０４へ進むと、診断補助部１１６は、取得部１１１から受け取ったレリーズ画像に対して上述のように推定確率を算出し、その結果を表示制御部１１５へ引き渡す。表示制御部１１５は、図３の下図で示したような表示態様に従って、検査情報を表示モニタ１２０へ表示する。判定部１１２は、ステップＳ１０５で、図５および図６を用いて説明したように、取得部１１１から受け取ったレリーズ画像を判定用ニューラルネットワーク１５１へ入力し、当該レリーズ画像が取得すべき予定画像と合致する確率を演算させる。そして、ステップＳ１０６で、演算された確率により、当該レリーズ画像が取得すべき予定画像のいずれかと合致するか否かを判定する。合致すると判定したら、ステップＳ１０７へ進み、合致すると判定した予定画像に関する判定情報を当該レリーズ画像に関連付けて、記憶部１５０に記憶する。記憶処理が完了したらステップＳ１０１へ戻る。ステップＳ１０６で、取得すべき予定画像のいずれとも合致しないと判定したら、ステップＳ１０７をスキップして、ステップＳ１０１へ戻る。なお、診断補助に関するステップＳ１０４の処理と、合致判定に関するステップＳ１０５からステップＳ１０７の処理は、逆順で宛も構わないし、並列処理であっても構わない。
【0054】
ステップＳ１０３からステップＳ１０８へ進むと、検出部１１３は、図７を用いて説明したように、取得部１１１から受け取った現フレーム画像と過去に受け取ったフレーム画像とを比較して移動ベクトルを算出する。そして、それまでに蓄積した移動ベクトルも参照して移動ベクトルの変化を確認する。検出部１１３は、ステップＳ１０９へ進み、移動ベクトルの変化を確認した結果、フレーム画像の像が一定方向に沿って連続して流れることを検出したら、カメラユニット２１０が検査部位から抜出され始めたタイミングであると判断して警告部１１４へ通知し、ステップＳ１１０へ進む。そのような状況を検出しなければ、ステップＳ１０１へ戻る。
【0055】
ステップＳ１１０へ進んだら、警告部１１４は、取得すべきと定められている予定画像のうちに未だ判定部１１２によって合致すると判定されていないものが残存するか否かを確認する。残存すると判断したらステップＳ１１１へ進み、図１０を用いて説明した警告を発出して、ステップＳ１１２へ進む。残存しないと判断したら、ステップＳ１１１をスキップしてステップＳ１１２へ進む。演算処理部１１０は、ステップＳ１１２で、検査終了の指示を受けたか否かを確認し、終了の指示を受けていなければステップＳ１０１へ戻り、終了の指示を受けていれば一連の処理を終了する。
【0056】
以上説明した本実施形態においては、内視鏡システム２００と検査支援装置１００が接続ケーブル２５０を介して接続される場合を想定したが、有線接続でなく無線接続であっても構わない。また、内視鏡システム２００は表示信号を外部に出力し、検査支援装置１００はこの表示信号を利用する実施形態を説明したが、内視鏡システム２００が外部装置に提供する画像信号がカメラユニット２１０で撮像された撮像画像の画像信号を包含するのであれば、出力信号の形式は問わない。また、内視鏡システム２００が撮像信号のみを連続的に外部へ提供する場合は、検査支援装置１００側で切出し処理等が不要となる。
【0057】
また、検査支援装置１００が内視鏡システム２００の一部として組み込まれていてもよい。この場合も、カメラユニット２１０から送られてくる撮像信号を直接的に処理することができるので、上述の切出し処理等は不要である。
【0058】
また、以上説明した本実施形態においては、検査部位が胃である例を説明したが、内視鏡システム２００は、胃内検査に特化したものでなくてもよく、他の部位を検査するものであってもよい。例えば十二指腸を検査する内視鏡システム２００に接続する検査支援装置１００は、十二指腸のスクリーニング検査において取得すべき予定画像がすべて取得できるように支援する。また、以上説明した本実施形態においては、内視鏡システム２００が備えるカメラユニット２１０が軟性内視鏡であることを想定して説明したが、カメラユニット２１０が硬性内視鏡であっても、検査支援装置１００の構成や処理手順に違いは何ら生じない。
【符号の説明】
【0059】
１００…検査支援装置、１１０…演算処理部、１１１…取得部、１１２…判定部、１１３…検出部、１１４…警告部、１１５…表示制御部、１１６…診断補助部、１２０…表示モニタ、１２１…撮像画像、１２２…診断補助情報、１２３…警告テキスト、１２４…サンプル画像、１２５…テキスト情報、１２６…ガイダンス、１３０…入出力インタフェース、１４０…入力デバイス、１５０…記憶部、１５１…判定用ニューラルネットワーク、１５２…分析用ニューラルネットワーク、１５３…予定画像データベース、２００…内視鏡システム、２１０…カメラユニット、２２０…システムモニタ、２２１…撮像画像、２２２…検査情報、２２５…信号再生画像、２５０…接続ケーブル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
