特開 2022-145395 検査支援装置、検査支援方法および検査支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022145395

(43)【公開日】2022-10-04

(54)【発明の名称】検査支援装置、検査支援方法および検査支援プログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20220926BHJP

【ＦＩ】

A61B1/045 610

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2021096339

(22)【出願日】2021-06-09

(31)【優先権主張番号】P 2021043297

(32)【優先日】2021-03-17

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】517380422

【氏名又は名称】株式会社ＡＩメディカルサービス

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】鈴木 健一郎

(72)【発明者】

【氏名】関本 洋幸

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161LL02

4C161VV03

4C161WW13

4C161WW18

(57)【要約】

【課題】内視鏡によって撮像される画像のうち使用者である医師が関心を寄せる対象箇所を適切に診断する検査支援装置等を提供する。
【解決手段】検査支援装置は、被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得部と、撮像画像の設定された部分領域に基づいて体内の診断を行う診断部と、使用者が当該部分領域を認識できる態様で当該部分領域より広い領域を表示領域として撮像画像を表示部に逐次表示する表示制御部とを備える。このように部分領域が表示部に表示されると、使用者は診断させたい対象箇所をその領域内に収まるようにカメラユニットを操作すればよいので、操作の容易性と診断の確実性を両立させることができる。
【選択図】図３

【特許請求の範囲】

【請求項1】

被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得部と、
前記撮像画像の設定された部分領域に基づいて前記体内の診断を行う診断部と、
使用者が前記部分領域を認識できる態様で前記部分領域より広い領域を表示領域として前記撮像画像を表示部に逐次表示する表示制御部と
を備える検査支援装置。

【請求項2】

被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得部と、
前記撮像画像の設定された部分領域を使用者が認識できる態様で前記部分領域より広い領域を表示領域として前記撮像画像を表示部に逐次表示する表示制御部と、
前記撮像画像に基づいて前記体内の診断を行い、前記部分領域に対する診断結果を他の領域に対する診断結果と区別して出力する診断部と
を備える検査支援装置。

【請求項3】

前記部分領域の設定を変更する変更部を備える請求項１または２に記載の検査支援装置。

【請求項4】

前記変更部は、予め用意された複数の前記部分領域から使用者によって選択された一つに変更する請求項３に記載の検査支援装置。

【請求項5】

前記変更部は、予め用意された複数の観察部位から使用者によって選択された一つに応じて前記部分領域の設定を変更する請求項３または４に記載の検査支援装置。

【請求項6】

前記変更部は、使用者から前記表示領域の一部領域を指定された場合に、前記一部領域を前記診断部が診断可能な領域に調整して前記部分領域とする請求項３から５のいずれか１項に記載の検査支援装置。

【請求項7】

前記変更部は、前記取得部が取得した前記撮像画像がいずれの観察部位を撮像したものであるかに応じて前記部分領域の設定を変更する請求項３から６のいずれか１項に記載の検査支援装置。

【請求項8】

前記表示制御部は、前記診断部が前記部分領域の診断を行った場合に、診断結果と共に、前記部分領域を認識できる態様で前記撮像画像を一定時間に亘って前記表示部に表示する請求項１から７のいずれか１項に記載の検査支援装置。

【請求項9】

前記診断部は、設定された前記部分領域に予め設定された判断基準を超える病変を見出さなかった場合に、前記部分領域に隣接する隣接領域の診断を行い、
前記表示制御部は、前記診断部が前記隣接領域の診断を行った場合に、診断結果と共に、前記隣接領域を認識できる態様で前記撮像画像を一定時間静止させて前記表示部に表示する請求項８に記載の検査支援装置。

【請求項10】

取得部と表示制御部と診断部を備える検査支援装置を利用した検査支援方法であって、
前記取得部が被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得ステップと、
前記表示制御部が前記撮像画像の設定された部分領域を使用者が認識できる態様で前記部分領域より広い領域を表示領域として前記撮像画像を表示部に逐次表示する表示ステップと、
前記前記診断部が前記撮像画像の前記部分領域に基づいて前記体内の診断を行う診断ステップと
を有する検査支援方法。

【請求項11】

取得部と表示制御部と診断部を備える検査支援装置を制御する検査支援プログラムであって、
前記取得部に被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得させる取得ステップと、
前記表示制御部に前記撮像画像の設定された部分領域を使用者が認識できる態様で前記部分領域より広い領域を表示領域として前記撮像画像を表示部に逐次表示させる表示ステップと、
前記前記診断部に前記撮像画像の前記部分領域に基づいて前記体内の診断を行わせる診断ステップと
をコンピュータに実行させる検査支援プログラム。

【請求項12】

取得部と表示制御部と診断部を備える検査支援装置を利用した検査支援方法であって、
前記取得部が被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得ステップと、
前記表示制御部が前記撮像画像の設定された部分領域を使用者が認識できる態様で前記部分領域より広い領域を表示領域として前記撮像画像を表示部に逐次表示する表示ステップと、
前記前記診断部が前記撮像画像に基づいて前記体内の診断を行い、前記部分領域に対する診断結果を他の領域に対する診断結果と区別して出力する診断ステップと
を有する検査支援方法。

【請求項13】

取得部と表示制御部と診断部を備える検査支援装置を制御する検査支援プログラムであって、
前記取得部に被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得させる取得ステップと、
前記表示制御部に前記撮像画像の設定された部分領域を使用者が認識できる態様で前記部分領域より広い領域を表示領域として前記撮像画像を表示部に逐次表示させる表示ステップと、
前記前記診断部に前記撮像画像に基づいて前記体内の診断を行わせ、前記部分領域に対する診断結果を他の領域に対する診断結果と区別して出力させる診断ステップと
をコンピュータに実行させる検査支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査支援装置、検査支援方法および検査支援プログラムに関する。

【背景技術】

【0002】

内視鏡により被検者の例えば胃内部を撮像してその画像をモニタに表示する内視鏡システムが知られている。最近では、内視鏡システムで撮像された画像を分析して、その結果を医師へ知らせる検査支援装置も普及しつつある（例えば、特許文献１参照）。また、検査支援装置を内視鏡システムに接続して、内視鏡システムが撮像した体内画像をほぼリアルタイムで検査支援装置に分析させる利用態様も実用段階に至りつつある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－４２１５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

取得した画像の全画像領域に対して病変の有無を診断させる場合には、検査支援装置は、複数の病変や体液等による汚れや照明等の影響によるアーチファクトにより、次々に誤った診断結果を出力してしまうことがある。このような誤った診断結果を含め、一画像に対して複数箇所の診断結果を出力して表示すると、表示内容が煩雑になり、検査を行う医師の視認性を悪化させてしまう。一方で、病変確率の高い診断結果に限って表示すると、誤った診断結果が表示されてしまい、認識すべき病変の診断結果が表示されずに見過ごされてしてしまう虞がある。医師は、リアルタイム画像を観察しながら疑わしい箇所を見出した場合には、その部分に限って検査支援装置に診断させたいと考えることも多い。しかし、当該部分のみが全画像領域で撮像されるようにカメラユニットの画角を調整することは、作業性を著しく悪化させる場合や、物理的に不可能な場合もある。

【0005】

本発明は、このような問題を解決するためになされたものであり、内視鏡によって撮像される画像のうち使用者である医師が関心を寄せる対象箇所を適切に診断する検査支援装置等を提供するものである。

【課題を解決するための手段】

【0006】

本発明の第１の態様における検査支援装置は、被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得部と、撮像画像の設定された部分領域に基づいて体内の診断を行う診断部と、使用者が当該部分領域を認識できる態様で当該部分領域より広い領域を表示領域として撮像画像を表示部に逐次表示する表示制御部とを備える。

【0007】

本発明の第２の態様における検査支援方法は、取得部と表示制御部と診断部を備える検査支援装置を利用した検査支援方法であって、取得部が被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得ステップと、表示制御部が撮像画像の設定された部分領域を使用者が認識できる態様で当該部分領域より広い領域を表示領域として撮像画像を表示部に逐次表示する表示ステップと、診断部が撮像画像の当該部分領域に基づいて体内の診断を行う診断ステップとを有する。

【0008】

本発明の第３の態様における検査支援プログラムは、取得部と表示制御部と診断部を備える検査支援装置を制御する検査支援プログラムであって、取得部に被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得させる取得ステップと、表示制御部に撮像画像の設定された部分領域を使用者が認識できる態様で当該部分領域より広い領域を表示領域として撮像画像を表示部に逐次表示させる表示ステップと、診断部に撮像画像の当該部分領域に基づいて体内の診断を行わせる診断ステップとをコンピュータに実行させる。

【0009】

本発明の第４の態様における検査支援装置は、被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得部と、撮像画像の設定された部分領域を使用者が認識できる態様で部分領域より広い領域を表示領域として撮像画像を表示部に逐次表示する表示制御部と、撮像画像に基づいて体内の診断を行い、部分領域に対する診断結果を他の領域に対する診断結果と区別して出力する診断部とを備える。

【0010】

本発明の第５の態様における検査支援方法は、取得部と表示制御部と診断部を備える検査支援装置を利用した検査支援方法であって、取得部が被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得ステップと、表示制御部が撮像画像の設定された部分領域を使用者が認識できる態様で部分領域より広い領域を表示領域として撮像画像を表示部に逐次表示する表示ステップと、診断部が撮像画像に基づいて体内の診断を行い、部分領域に対する診断結果を他の領域に対する診断結果と区別して出力する診断ステップとを有する。

【0011】

本発明の第６の態様における検査支援プログラムは、取得部と表示制御部と診断部を備える検査支援装置を制御する検査支援プログラムであって、取得部に被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得させる取得ステップと、表示制御部に撮像画像の設定された部分領域を使用者が認識できる態様で部分領域より広い領域を表示領域として撮像画像を表示部に逐次表示させる表示ステップと、診断部に撮像画像に基づいて体内の診断を行わせ、部分領域に対する診断結果を他の領域に対する診断結果と区別して出力させる診断ステップとをコンピュータに実行させる。

【発明の効果】

【0012】

本発明により、内視鏡によって撮像される画像のうち使用者である医師が関心を寄せる対象箇所を適切に診断する検査支援装置等を提供することができる。

【図面の簡単な説明】

【0013】

【図1】内視鏡システムと本実施形態に係る検査支援装置を用いた内視鏡検査の様子を示す図である。

【図2】検査支援装置のハードウェア構成図である。

【図3】医師によるカメラユニットの操作に伴って変化する表示画面の様子を示す図である。

【図4】診断結果を表示するまでの処理を説明する図である。

【図5】撮像画像の変化から診断対象画像を決定する手順を説明する図である。

【図6】演算処理部の処理手順を説明するフロー図である。

【図7】第１の変形例における、区分された領域の段階的な診断処理を説明する図である。

【図8】第２の変形例における、検査支援装置のハードウェア構成図である。

【図9】第２の変形例における、診断領域の設定に関するユーザインタフェース画面の例である。

【図10】第３の変形例における、診断結果を表示するまでの処理を説明する図である。

【図11】第３の変形例における、演算処理部の処理手順を説明するフロー図である。

【発明を実施するための形態】

【0014】

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

【0015】

図１は、内視鏡システム２００と本実施形態に係る検査支援装置１００を用いた内視鏡検査の様子を示す図である。内視鏡システム２００と検査支援装置１００は、共に診察スペースに設置されている。内視鏡システム２００は、カメラユニット２１０を備え、カメラユニット２１０は、図示するように、横たわる被検者の口腔から胃などの体内の器官へ挿通され、器官の内部を撮像した画像の画像信号をシステム本体へ送信する。カメラユニット２１０の器官への挿通や撮像操作は、医師によって行われる。

【0016】

内視鏡システム２００は、例えば液晶パネルによって構成されるシステムモニタ２２０を備え、カメラユニット２１０から送られてきた画像信号を処理して視認可能な撮像画像２２１としてシステムモニタ２２０に表示する。また、内視鏡システム２００は、被検者情報やカメラユニット２１０のカメラ情報などを含む検査情報２２２をシステムモニタ２２０に表示する。

【0017】

検査支援装置１００は、接続ケーブル２５０によって内視鏡システム２００に接続されている。内視鏡システム２００は、システムモニタ２２０へ送信する表示信号を、接続ケーブル２５０を介して検査支援装置１００へも送信する。すなわち、本実施形態における表示信号は、内視鏡システム２００が外部装置へ提供する画像信号の一例である。検査支援装置１００は、表示部として例えば液晶パネルによって構成される表示モニタ１２０を備え、内視鏡システム２００から送られてきた表示信号から撮像画像２２１に対応する画像信号を抽出して視認可能な撮像画像１２１として表示モニタ１２０に逐次表示する。

【0018】

医師は、カメラユニット２１０の操作に応じてほぼリアルタイムで表示される撮像画像１２１を視認しながら検査を進める。具体的には後述するが、ほぼリアルタイムで表示される撮像画像１２１には診断領域枠１２１ａが重畳して表示されており、医師は、検査支援装置に診断させたい対象箇所が診断領域枠１２１ａに収まるようにカメラユニット２１０を操作する。

【0019】

検査支援装置１００は、後述するように診断指示を検出すると、撮像画像１２１のうち診断領域枠１２１ａに対応する部分領域の画像データを生成する。そして、当該画像データに基づいて診断を行い、その結果である診断情報１２２を表示モニタ１２０に表示する。なお、図１は、診断指示が検出されていない状況において、表示信号から逐次生成されるほぼリアルタイムの撮像画像１２１が表示されている様子を示しており、診断情報１２２は、診断待機状態である旨を示している。

【0020】

図２は、検査支援装置１００のハードウェア構成図である。検査支援装置１００は、主に、演算処理部１１０、表示モニタ１２０、入出力インタフェース１３０、入力デバイス１４０、記憶部１５０によって構成される。演算処理部１１０は、検査支援装置１００の制御とプログラムの実行処理を行うプロセッサ（ＣＰＵ：Central Processing Unit）である。プロセッサは、ＡＳＩＣ（Application Specific Integrated Circuit）やＧＰＵ（Graphics Processing Unit）等の演算処理チップと連携する構成であってもよい。演算処理部１１０は、記憶部１５０に記憶された検査支援プログラムを読み出して、検査の支援に関する様々な処理を実行する。

【0021】

表示モニタ１２０は、上述のように、例えば液晶パネルを備えるモニタであり、撮像画像１２１や診断情報１２２を視認可能に表示する。入出力インタフェース１３０は、接続ケーブル２５０を接続するためのコネクタを含む、外部機器との間で情報を授受するための接続インタフェースである。入出力インタフェース１３０は、例えばＬＡＮユニットを含み、検査支援プログラムや後述する分析用ニューラルネットワーク１５１の更新データを外部機器から取り込んで演算処理部１１０へ引き渡す。

【0022】

入力デバイス１４０は、例えばキーボードやマウス、表示モニタ１２０に重畳されたタッチパネルであり、医師や補助者は、これらを操作して検査支援装置１００の設定を変更したり、検査に必要な情報を入力したりする。

【0023】

記憶部１５０は、不揮発性の記憶媒体であり、例えばＨＤＤ（Hard Disk Drive）によって構成されている。記憶部１５０は、検査支援装置１００の制御や処理を実行するプログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、表示要素データ、ルックアップテーブル等を記憶し得る。記憶部１５０は、特に、分析用ニューラルネットワーク１５１を記憶している。分析用ニューラルネットワーク１５１は、カメラユニット２１０が撮像した画像データを入力すると、その画像内に病変が存在する確率を算出する学習済みモデルである。なお、記憶部１５０は、複数のハードウェアで構成されていても良く、例えば、プログラムを記憶する記憶媒体と分析用ニューラルネットワーク１５１を記憶する記憶媒体が別々のハードウェアで構成されてもよい。

【0024】

演算処理部１１０は、検査支援プログラムが指示する処理に応じて様々な演算を実行する機能演算部としての役割も担う。演算処理部１１０は、取得部１１１、診断部１１２、表示制御部１１３として機能し得る。取得部１１１は、内視鏡システム２００から送られてくる表示信号を逐次取得して各々を信号再生画像に展開する。さらに、前後する信号再生画像間の差分量が基準量以上となる変化領域を探索することにより、カメラユニット２１０で撮像された撮像画像を表す画像領域を確定する。取得部１１１は、画像領域を一旦確定させたら、その後に取得する表示信号に対しては当該画像領域から撮像画像１２１を生成する。

【0025】

診断部１１２は、撮像画像１２１から予め設定された部分領域を切り出した診断領域画像を、記憶部１５０から読み出した分析用ニューラルネットワーク１５１へ入力し、病変が存在する確率を算出させて、診断情報を生成する。表示制御部１１３は、表示モニタ１２０へ表示する表示画面の表示信号を生成し表示モニタ１２０へ送信することにより、表示モニタ１２０の表示を制御する。表示制御部１１３は、診断指示が検出されていない状況においては、逐次更新して表示する撮像画像１２１に診断領域枠１２１ａを重畳した表示信号を生成する。

【0026】

図３は、表示モニタ１２０の表示画面の例であり、医師によるカメラユニット２１０の操作に伴って変化する様子を示す図である。図３（ａ）および図３（ｂ）は、いずれも診断指示が検出されていない状況において、内視鏡システム２００が出力する表示信号から逐次生成される撮像画像１２１が表示されている様子を示している。すなわち、表示されている撮像画像１２１は、器官内に挿通されたカメラユニット２１０が現時点で撮像している画像と実質的に同一である。

【0027】

診断部１１２は、撮像画像１２１の中央部に設定された部分領域を診断領域として診断する。表示制御部１１３は、使用者である医師が診断領域を認識できるように、当該診断領域を取り囲むように診断領域枠１２１ａを撮像画像１２１に重畳して表示モニタ１２０に表示する。なお、この状況において、診断情報１２２は、診断指示を受け付ける待機状態である旨を示している。

【0028】

図３（ａ）は、医師が観察中の撮像画像１２１中に病変の疑いがある箇所である観察ターゲット９００を見出したときの表示画面の例であり、この時点では観察ターゲット９００は、撮像画像１２１の周辺部に位置する。また、アーチファクト９１０が撮像画像１２１の隅に生じている。

【0029】

診断部１１２が撮像画像１２１の全画像領域から病変の候補を抽出する場合には、観察ターゲット９００に限らずアーチファクト９１０も抽出してしまう可能性がある。例えば分析用ニューラルネットワーク１５１が観察ターゲット９００に対してもアーチファクト９１０に対しても閾値以上の推定確率を算出すると、いずれに対してもその確率が表示されてしまい、表示画面が煩雑になって視認性が低下してしまう。あるいは、最大の推定確率が算出された候補に対してのみその確率が表示される場合には、アーチファクト９１０に対する誤った結果のみが表示されてしまうこともあり得る。また、抽出される複数の候補が病変の候補としては間違いなくても、医師が関心のある候補ではない候補の病変である確率が高いと、関心のある候補の病変である確率は表示されないことになる。

【0030】

また、撮像画像１２１にはアーチファクト９１０などの器官組織以外の要素が写り込んでいる場合もあり、撮像画像１２１の全画像領域を分析用ニューラルネットワーク１５１へ入力すると、誤った算出結果を出力することも予想される。すなわち、分析用ニューラルネットワーク１５１は、病変組織であるか否かのアノテーションが付加された正解画像を学習した学習済みモデルであるので、そもそも学習していない器官組織以外の画像に対しては誤った算出結果を出力する傾向がある。しかし、医師が全画像領域の中から気になる観察ターゲット９００を見出した場合に、観察ターゲット９００が全画像領域に拡大されるようにカメラユニット２１０の画角を調整することは作業性を著しく悪化させる。また、対象器官における観察ターゲット９００の相対的な位置関係を見失ってしまう場合もある。

【0031】

そこで、上述のように、診断部１１２は撮像画像１２１のうち中央部に設定された診断領域に限って診断し、表示制御部１１３は、当該診断領域を取り囲むように診断領域枠１２１ａを表示する。医師は、図３（ａ）のように撮像画像１２１の周辺部に観察ターゲット９００を見出すと、図３（ｂ）に示すように、観察ターゲット９００が診断領域枠１２１ａに収まるようにカメラユニット２１０を操作する。この場合の操作は、カメラユニット２１０のシフトでよいので、迅速かつ容易に行える。医師は、観察ターゲット９００を診断領域枠１２１ａに収めると、診断部１１２に診断を実行させる診断指示を行う。

【0032】

このように、診断領域が中央部に設定されていると、医師は、器官内部のどの箇所を診断しようとしているのかを把握しやすい。また、撮像画像１２１の中央部は、アーチファクトの発生が少なく、たとえ発生している場合でも医師がその事実を認識していれば、診断指示のタイミングをずらしたりカメラユニット２１０の角度を調整したりして、アーチファクトの重なりを避けることができる。なお、本実施形態において表示制御部１１３は、撮像画像１２１の全画像領域に診断領域枠１２１ａを重畳して表示するが、診断領域を含み、診断領域よりも広い領域を表示領域として表示するのであれば、撮像画像１２１の一部を欠いて表示しても構わない。例えば、撮像画像１２１の全画像領域が長方形である場合に、周辺の一部を切り欠いて正方形や円形に調整して表示しても構わない。

【0033】

また、本実施形態においては、診断領域枠１２１ａを、図示するように点線のグラフィックスで表示するが、表示態様はこれに限らない。例えば、色彩付きの枠や点滅する枠などの視覚効果を伴ってもよい。また、グラフィックスによる枠を重畳する場合に限らず、医師が診断領域を認識できる態様であればいずれの視覚効果を採用しても構わない。例えば、撮像画像１２１のうち診断領域を明るくし、他の領域を相対的に暗くするような視覚効果も採用し得る。

【0034】

図４は、診断指示を検出してから診断結果を表示するまでの処理を説明する図である。内視鏡システム２００から送られてくる表示信号を取得部１１１が取得して展開する信号再生画像２２５は、内視鏡システム２００のシステムモニタ２２０で表示されている表示画像と同様である。信号再生画像２２５は、撮像画像２２１と検査情報２２２を含む。検査情報２２２は、例えばテキスト情報である。

【0035】

信号再生画像２２５の画像領域のいずれの領域が撮像画像を表す画像領域であるかが、上述のように確定されていると、取得部１１１は、その確定された画像領域を切り出して撮像画像１２１とする。撮像画像１２１は、実質的にはカメラユニット２１０が撮像した撮像画像を検査支援装置１００で再現した画像と言える。

【0036】

診断部１１２は、撮像画像１２１から診断領域の画像を切り出して診断画像を生成する。そして、生成した診断画像の画像データを分析用ニューラルネットワーク１５１へ入力し、画像内に病変が存在する推定確率を算出させ、その結果を表示制御部１１３へ引き渡す。表示制御部１１３は、取得部１１１から受け取った撮像画像１２１の撮像画像データと、診断部１１２から受け取った推定確率を含む診断情報とを、予め設定された表示態様に従って展開、配列して表示モニタ１２０へ表示する。

【0037】

具体的には、例えば図４下図に示すように、撮像画像１２１は右側へ寄せて配置し、診断情報１２２は推定確率を示す数値情報、円グラフ状のグラフィックス等に要素化して左側へ寄せて配置する。また、撮像画像１２１のうちどの領域を診断領域としたかが視認されるように、診断領域枠１２１ａを重ねて表示する。なお、ここで表示する診断領域枠１２１ａは、診断済みの領域であることが認識されるように、診断前の撮像画像１２１に重畳される図３の診断領域枠１２１ａとは異なる表示態様であることが好ましい。

【0038】

上述のように、本実施形態に係る検査支援装置１００は、内視鏡システム２００から送られてくる表示信号を取得部１１１が取得する。診断部１１２は、表示信号から逐次生成される撮像画像１２１の変化を利用して医師の診断指示を推測する。

【0039】

図５は、撮像画像１２１の変化からフリーズを判断し診断対象画像を決定する手順を説明する図である。検査支援装置１００は、例えば６０ｆｐｓの周期で表示信号を受信するが、取得部１１１は、その都度上述のように信号再生画像２２５から画像領域を切り出して撮像画像１２１を生成する。このように順次生成される撮像画像１２１は、時間経過と共に変化し得るフレーム画像Ｆｒとして扱うことができる。図５は、順次生成されたフレーム画像Ｆｒ₁、Ｆｒ₂、Ｆｒ₃、Ｆｒ₄、Ｆｒ₅、…を表す。

【0040】

カメラユニット２１０は、連続的に撮像を繰り返し、フレーム画像としての画像信号を内視鏡システム２００へ順次送信している。取得部１１１は、このような画像信号を含む表示信号を内視鏡システム２００から受け取る間は、カメラユニット２１０の撮像画像に対応する、時間と共に変化するフレーム画像Ｆｒを順次生成する。この間を動画期間とする。

【0041】

医師は、表示モニタ１２０に表示された撮像画像１２１を視認しつつ、慎重に観察したい場合にカメラユニット２１０の操作部に設けられた静止ボタンを押し下げる。内視鏡システム２００は、静止ボタンが押し下げられたことを検知して、そのタイミングでカメラユニット２１０が撮像した画像信号を固定する。すなわち、静止ボタンが押し下げられたタイミングから静止画像が連続するフリーズが開始する。

【0042】

取得部１１１は、カメラユニット２１０の静止ボタンが押し下げられている間、静止画に対応するフレーム画像Ｆｒを順次生成する。この間を静止画期間とする。図４の例では、フレーム画像Ｆｒ₂までが動画期間で、フレーム画像Ｆｒ₃から静止画期間が始まり、その後しばらくは静止画期間が継続する。

【0043】

診断部１１２は、例えば、前後のフレーム画像間の差分量が閾値を下回った場合に静止画期間が開始したと検出することができる。診断部１１２は、静止画期間の開始をもって医師から診断指示があったと認識する。診断部１１２は、静止画期間の開始を検出できた時点のフレーム画像を診断対象画像ＩＭとする。

【0044】

次に、信号再生画像に対して画像領域が確定してから検査が終了するまでの一連の処理手順について説明する。図６は、演算処理部１１０の処理手順を説明するフロー図である。

【0045】

取得部１１１は、ステップＳ１０１で、内視鏡システム２００から表示信号を取得し、ステップＳ１０２で、表示信号を展開した信号再生画像から撮像画像１２１を切り出し、表示制御部１１３へ引き渡す。表示制御部１１３は、ステップＳ１０３で、取得部１１１から受け取った撮像画像１２１に診断領域枠１２１ａを重畳して、図３を用いて説明したように表示モニタ１２０に表示する。

【0046】

診断部１１２は、ステップＳ１０４で、図５を用いて説明したように、以前のフレーム画像と現フレーム画像を比較して、現フレーム画像が診断対象画像であるか否かを判断する。診断対象画像でないと判断したらステップＳ１０８へ進み、診断対象画像であると判断したらステップＳ１０５へ進む。

【0047】

ステップＳ１０５へ進むと、診断部１１２は、診断対象画像であると判断した撮像画像１２１から診断領域を切り出す。そして、ステップＳ１０６で、切り出した診断領域の画像を、記憶部１５０から読み出した分析用ニューラルネットワーク１５１へ入力し、画像内に病変が存在する推定確率を算出させ、その結果を表示制御部１１３へ引き渡す。表示制御部１１３は、ステップＳ１０７で、診断部１１２から受け取った算出結果を取得部１１１から受け取った撮像画像１２１と共に表示モニタ１２０へ表示する。表示を開始して一定時間（例えば３秒）が経過したら、ステップＳ１０８へ進む。

【0048】

ステップＳ１０８へ進んだら、演算処理部１１０は、検査終了の指示を受け付けたか否かを確認する。検査終了の指示を受け付けていない場合には、ステップＳ１０１へ戻り一連の処理を繰り返す。検査終了の指示を受け付けた場合には、一連の処理を終了する。

【0049】

次に、本実施形態のいくつかの変形例について説明する。図７は、第１の変形例における、区分された領域の段階的な診断処理を説明する図である。上述の実施形態においては、診断部１１２は、中央部に設定された診断領域に限って病変の有無を診断した。しかし、医師が関心を寄せた中央部の中央部の箇所では病変である可能性が低くても、その周囲に病変である可能性が高い箇所が存在するような場合がしばしばある。そこで、本変形例においては、診断部１１２は、中央部の診断領域に予め設定された判断基準を超える病変を見出さなかった場合に、中央部に隣接する隣接領域の診断を行う。

【0050】

具体的には、撮像画像１２１のうち、診断領域枠１２１ａを取り囲むように拡張診断領域枠１２１ｂを設定する。そして、診断領域枠１２１ａに囲まれた領域を第１優先領域とし、拡張診断領域枠１２１ｂに囲まれた領域であって第１優先領域を除いた領域を第２優先領域と定める。第１優先領域は、上述の実施形態の診断領域に相当する。

【0051】

診断部１１２は、まず第１優先領域を撮像画像１２１から切り出し、分析用ニューラルネットワーク１５１へ入力する。その結果、基準値（例えば５０％）を上回る推定確率が算出されたら、表示制御部１１３は、その結果を例えば図７左下図のように表示する。表示画面としては、第１優先領域が診断領域であることが視認されるように、例えば第１優先領域がハイライトされた撮像画像１２１と、診断結果である診断情報１２２が、並列される。この場合、医師が診断領域枠１２１ａ内に収まるように調整した観察ターゲット９００は、ハイライトされた第１優先領域に含まれている。

【0052】

診断部１１２は、第１優先領域の診断結果が基準値以下であったら、引き続き第２優先領域を撮像画像１２１から切り出し、分析用ニューラルネットワーク１５１へ入力する。その結果、基準値を上回る推定確率が算出されたら、表示制御部１１３は、その結果を例えば図７右下図のように表示する。表示画面としては、第２優先領域が診断領域であることが視認されるように、例えば第２優先領域がハイライトされた撮像画像１２１と、診断結果である診断情報１２２が、並列される。この場合、医師が意図していなかった、あるいは診断領域枠１２１ａ内に収めそこねた観察ターゲット９００は、ハイライトされた第２優先領域に含まれている。なお、第２優先領域に対しても診断結果が基準値以下であれば、表示制御部１１３は、診断結果の表示をスキップする、あるいは基準値を上回る確率の病変が存在しなかった旨を表示する。

【0053】

なお、表示制御部１１３は、診断指示が検出されていない状況において、表示信号から逐次生成されるほぼリアルタイムの撮像画像１２１に、診断領域枠１２１ａに加えて拡張診断領域枠１２１ｂも重畳して表示してもよい。このように、第１優先領域に加えて、第１優先領域に隣接する第２優先領域も診断の対象とすることにより、医師に新たな気付きを与えたり、撮像位置の調整不足をカバーしたりすることができる。また、撮像画像１２１の全領域ではなく、第１優先領域に隣接する第２優先領域を設定することにより、アーチファクト等による誤った結果を表示してしまうことを抑制することができる。

【0054】

次に第２の変形例について説明する。図８は、第２の変形例における、検査支援装置１００’のハードウェア構成図である。検査支援装置１００’のハードウェア構成は、上述の実施形態に係る検査支援装置１００のハードウェア構成に対して変更部１１４を有する点が異なる。他の構成は同一であるので、その説明を省略する。

【0055】

変更部１１４は、撮像画像１２１のうち診断部１１２が診断の対象とする部分領域の設定を変更する。上述の実施形態においては、診断領域は撮像画像１２１の中央部に設定されていた。しかし、観察対象となる器官や観察箇所、カメラユニット２１０の構造によっては、観察ターゲット９００を撮像画像１２１の中央に導くことが難しい場合がある。そこで、本変形例における検査支援装置１００’は、変更部１１４を設けて使用者である医師が診断領域を事前に設定できるようにしている。

【0056】

図９は、第２の変形例における、診断領域の設定に関するユーザインタフェース画面の例である。診断領域の設定は、検査開始に先立って実行される。医師がメニュー項目から「診断領域の設定」を選択すると、設定画面が開かれる。設定画面には、「診断領域の設定」のタイトル１２３と、選択肢ごとに選択ボタン１２４と選択項目１２５が表示される。選択肢は、診断領域を中央部に固定する「標準」の他、「観察部位選択」「枠選択」「ダイレクト選択」が用意されており、医師は、選択ボタン１２４によりいずれかを選択することができる。なお、ここでは４つの選択肢を選択できる構成について説明するが、これらのうちの２つ以上が用意されていてもよく、また他の選択肢が加えられていてもよい。

【0057】

医師が観察部位選択の選択ボタン１２４を選択すると、観察部位選択のウィンドウ１２６が現れる。観察部位選択のウィンドウ１２６には、「観察部位選択」のタイトル１２３と、選択肢ごとに選択ボタン１２４と選択項目１２５が表示される。選択肢は、観察部位としての器官名である「胃」「食道」「十二指腸」などが用意されており、さらに別の選択項目が下方に存在する旨を示すスクロール指標１２７が表示されている。医師は、選択ボタン１２４によりいずれかを選択することができ、その後決定ボタン１２８を選択すると選択した項目が設定される。診断領域としての部分領域は、それぞれの観察部位にとって都合の良い領域が予め対応付けられており、変更部１１４は、医師の選択、決定に応じて部分領域の設定を変更する。これに応じて、表示制御部１１３は、撮像画像１２１に対する診断領域枠１２１ａの重畳位置を変更する。

【0058】

医師が枠選択の選択ボタン１２４を選択すると、枠選択のウィンドウ１２６が現れる。枠選択のウィンドウ１２６には、「枠選択」のタイトル１２３と、選択肢ごとに選択ボタン１２４と選択項目１２５が表示される。選択肢は、撮像画像１２１に対して相対的な位置を表す「右」「左」「上」などが用意されており、さらに別の選択項目が下方に存在する旨を示すスクロール指標１２７が表示されている。医師は、選択ボタン１２４によりいずれかを選択することができ、その後決定ボタン１２８を選択すると選択した項目が設定される。診断領域としての部分領域は、それぞれの項目が示す相対位置に応じて予め定められており、変更部１１４は、医師の選択、決定に応じて部分領域の設定を変更する。これに応じて、表示制御部１１３は、撮像画像１２１に対する診断領域枠１２１ａの重畳位置を変更する。

【0059】

医師がダイレクト選択の選択ボタン１２４を選択すると、ダイレクト選択のウィンドウ１２６が現れる。ダイレクト選択のウィンドウ１２６には、「ダイレクト選択」のタイトル１２３と、撮像画像１２１に対応するサンプル画像１２１’が表示される。医師は、サンプル画像１２１’上を診断領域として設定したい範囲を指先でなぞることにより直接的に領域指定を行う。具体的には、表示モニタ１２０に重ねて設けられているタッチパネルにより指先の接触位置が検出され、接触の軌跡に応じてトレースライン１２９がグラフィックスとしてサンプル画像１２１’に重ねて表示される。トレースラインが閉じると、撮像画像１２１の全領域に対する一部領域が確定し、領域指定が完了する。ただし、指定された診断領域が小さかったり大きかったりすると、診断部１１２が適切に診断できない場合があるので、変更部１１４は、そのような場合には、指定された診断領域が予め設定された診断可能な範囲に収まるように大きさを調整する。これに応じて、表示制御部１１３は、撮像画像１２１に対する診断領域枠１２１ａの重畳位置を変更する。部分領域の大きさが変更された場合には、重畳する診断領域枠１２１ａの大きさも変更する。なお、領域指定は、接触する指先の軌跡を検出する手法に限らず、他の手法であっても構わない。

【0060】

次に、第３の変形例について説明する。ここまでに説明した実施例、第１の変形例および第２変形例においてはいずれも、診断部１１２が撮像画像１２１から予め設定された部分領域を切り出した診断領域画像を生成し、当該診断領域画像を分析用ニューラルネットワーク１５１へ入力した。すなわち、撮像画像１２１のうち部分領域に限って診断するものであった。しかし、第３の変形例においては、撮像画像１２１の領域全体を診断画像として分析用ニューラルネットワーク１５１へ入力する。図１０は、第３の変形例における、診断結果を表示するまでの処理を説明する図である。

【0061】

取得部１１１が、内視鏡システム２００から送られてくる表示信号を取得し、確定された画像領域を切り出して撮像画像１２１とするまでの処理は図４の実施例と同様である。撮像画像１２１は、実質的にはカメラユニット２１０が撮像した撮像画像を検査支援装置１００で再現した画像と言える。

【0062】

診断部１１２は、撮像画像１２１の全体を診断画像として分析用ニューラルネットワーク１５１へ入力し、画像内に病変が存在する推定確率を算出させる。分析用ニューラルネットワーク１５１は、画像内に存在する病変の疑いがある領域をその推定確率と共に診断結果として出力する。図１０の例においては、推定確率６０％を示す左上の領域と、推定確率８５％を示す中央付近の領域が出力されている。診断部１１２は、分析用ニューラルネットワーク１５１が出力した診断結果を、予め設定された診断領域枠１２１ａに対する診断結果と診断領域枠１２１ａ以外の領域に対する診断結果とに区別し、前者を表示制御部１１３へ引き渡す。

【0063】

表示制御部１１３は、取得部１１１から受け取った撮像画像１２１の撮像画像データと、診断部１１２から受け取った推定確率を含む診断情報とを、予め設定された表示態様に従って展開、配列して表示モニタ１２０へ表示する。表示制御部１１３は、図４の実施例と同様に、撮像画像１２１は右側へ寄せて配置し、診断情報１２２は診断領域枠１２１ａに対する推定確率を示す数値情報、円グラフ状のグラフィックス等に要素化して左側へ寄せて配置する。また、撮像画像１２１のうちどの領域を診断領域としたかが視認されるように、診断領域枠１２１ａを重ねて表示する。

【0064】

なお、診断部１１２は、分析用ニューラルネットワーク１５１が出力した診断結果を、予め設定された診断領域枠１２１ａに対する診断結果と診断領域枠１２１ａ以外の領域に対する診断結果とに区別して両者を表示制御部１１３へ引き渡してもよい。この場合、表示制御部１１３は、予め設定された診断領域枠１２１ａに対する診断結果を採用して診断情報１２２の表示を生成すればよい。また、医師が後に確認できるように、診断部１１２は、撮像画像１２１と共に、診断領域枠１２１ａに対する診断結果と診断領域枠１２１ａ以外の領域に対する診断結果を区別して記憶部１５０に記憶させてもよい。

【0065】

図１１は、第３の変形例における、演算処理部の処理手順を説明するフロー図である。図６のフロー図と同様の処理については、同じステップ番号を付すことによりその説明を省略する。

【0066】

ステップＳ１０４で現フレーム画像が診断対象画像であると診断部１１２が判断したら、ステップＳ２０１へ進む。ステップＳ２０１へ進むと、診断部１１２は、診断対象画像であると判断した撮像画像１２１の全体を診断画像として分析用ニューラルネットワーク１５１へ入力し、画像内に病変が存在する推定確率を算出させる。診断部１１２は、ステップＳ２０２へ進み、分析用ニューラルネットワーク１５１が出力した診断結果のうち予め設定された診断領域枠１２１ａに対する診断結果を抽出して表示制御部１１３へ引き渡す。

【0067】

ステップＳ２０２からステップＳ１０７へ進むと、表示制御部１１３は、診断部１１２から受け取った診断結果を取得部１１１から受け取った撮像画像１２１と共に表示モニタ１２０へ表示する。

【0068】

このような第３の変形例においても、医師は、関心のある対象箇所を診断領域枠内へ移動させることにより、当該対象箇所が病変である推定確率を認識することができる。また、第１の変形例や第２の変形例を第３の変形例と組み合わせることもできる。上記の第１の変形例においては、設定された診断領域の診断結果が予め設定された判断基準を下回った場合に、診断領域に隣接する隣接領域の診断を行った。第３の変形例においては、診断部１１２は、段階的に診断を行うのではなく、診断領域枠１２１ａに対する診断結果と診断領域枠１２１ａ以外の領域に対する診断結果とに区別して出力する。したがって、第１の変形例を第３の変形例に組み合わせる場合には、表示制御部１１３は、第２優先領域の診断結果を表示する場合に、診断部１１２が出力する診断領域枠１２１ａ以外の領域に対する診断結果のうち第２優先領域に対応する診断結果を抽出して表示すればよい。ただし、第２優先領域に対応する診断結果を表示する場合は、基準値（例えば５０％）を上回る推定確率が算出された場合であり、基準値に満たない推定確率である場合には表示しない。

【0069】

第２の変形例を第３の変形例に組み合わせる場合には、診断部１１２は、変更部１１４によって変更された診断領域枠１２１ａの位置に応じて診断結果の区別を実行する。例えば、枠選択により「右」が選択された場合には、診断部１１２は、分析用ニューラルネットワーク１５１が出力した診断結果を、中央よりも右寄りに設定された診断領域枠１２１ａに対する診断結果と診断領域枠１２１ａ以外の領域に対する診断結果に区別して出力する。また、第１の変形例と第２の変形例を第３の変形例に組み合わせてもよい。

【0070】

以上それぞれの変形例を説明したが、変形例はこれらに限らない。例えば、診断領域の設定については、検査開始に先立って実行する場合に限らず、検査の実行中に受け付けても構わない。リアルタイムの撮像画像１２１に対して医師がダイレクト指定を行えるようにすれば、出現したアーチファクト等に適宜対処することができる。また、変更部１１４は、リアルタイムの撮像画像１２１を部位診断用のニューラルネットワークへ入力することによって現時点における観察部位を推定し、その推定された観察部位にふさわしい部分領域に設定を変更してもよい。この場合、認識され得るそれぞれの観察部位にふさわしい部分領域は、上述のように予め対応付けられていればよい。表示制御部１１３は、変更部１１４のこのような処理に応じて、撮像画像１２１に対する診断領域枠１２１ａの重畳位置を変更する。なお、このように観察部位に応じて自動的かつ逐次的に部分領域を変更する場合は、変更の可否を判断する一定のインターバル（例えば、１分）を設定するとよい。

【0071】

また、以上説明した本実施形態においては、診断指示を検出するたびに診断部１１２が診断領域に対して診断処理を行い、表示制御部１１３がその結果を表示モニタ１２０に表示した。しかし、診断処理や結果表示は、医師によるカメラユニット２１０の操作終了後に纏めて実行してもよい。少なくともほぼリアルタイムの撮像画像１２１に診断領域枠１２１ａが重ねて表示されていれば、医師は、内視鏡システム２００において適切に診断対象画像を記録するレリーズボタンを押し下げることができ、事後的にでも診断部１１２による診断結果を知ることができる。

【0072】

また、以上説明した本実施形態においては、内視鏡システム２００と検査支援装置１００が接続ケーブル２５０を介して接続される場合を想定したが、有線接続でなく無線接続であっても構わない。また、内視鏡システム２００は表示信号を外部に出力し、検査支援装置１００はこの表示信号を利用する実施形態を説明したが、内視鏡システム２００が外部装置に提供する画像信号がカメラユニット２１０で撮像された撮像画像の画像信号を包含するのであれば、出力信号の形式は問わない。また、以上説明した本実施形態においては、内視鏡システム２００が備えるカメラユニット２１０が軟性内視鏡であることを想定して説明したが、カメラユニット２１０が硬性内視鏡であっても、検査支援装置１００の構成や処理手順に違いは何ら生じない。なお、本実施形態における診断部による診断は、あくまで医師の診断を補助するものであり、最終的な決定は医師によって行われる。

【符号の説明】

【0073】

１００、１００’…検査支援装置、１１０…演算処理部、１１１…取得部、１１２…診断部、１１３…表示制御部、１１４…変更部、１２０…表示モニタ、１２１…撮像画像、１２１’…サンプル画像、１２１ａ…診断領域枠、１２１ｂ…拡張診断領域枠、１２２…診断情報、１２３…タイトル、１２４…選択ボタン、１２５…選択項目、１２６…ウィンドウ、１２７…スクロール指標、１２８…決定ボタン、１２９…トレースライン、１３０…入出力インタフェース、１４０…入力デバイス、１５０…記憶部、１５１…分析用ニューラルネットワーク、２００…内視鏡システム、２１０…カメラユニット、２２０…システムモニタ、２２１…撮像画像、２２２…検査情報、２２５…信号再生画像、２５０…接続ケーブル、９００…観察ターゲット、９１０…アーチファクト

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】