IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社AIメディカルサービスの特許一覧

特開2023-106327検査支援装置、検査支援方法および検査支援プログラム
<>
  • 特開-検査支援装置、検査支援方法および検査支援プログラム 図1
  • 特開-検査支援装置、検査支援方法および検査支援プログラム 図2
  • 特開-検査支援装置、検査支援方法および検査支援プログラム 図3
  • 特開-検査支援装置、検査支援方法および検査支援プログラム 図4
  • 特開-検査支援装置、検査支援方法および検査支援プログラム 図5
  • 特開-検査支援装置、検査支援方法および検査支援プログラム 図6
  • 特開-検査支援装置、検査支援方法および検査支援プログラム 図7
  • 特開-検査支援装置、検査支援方法および検査支援プログラム 図8
  • 特開-検査支援装置、検査支援方法および検査支援プログラム 図9
  • 特開-検査支援装置、検査支援方法および検査支援プログラム 図10
  • 特開-検査支援装置、検査支援方法および検査支援プログラム 図11
  • 特開-検査支援装置、検査支援方法および検査支援プログラム 図12
  • 特開-検査支援装置、検査支援方法および検査支援プログラム 図13
  • 特開-検査支援装置、検査支援方法および検査支援プログラム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023106327
(43)【公開日】2023-08-01
(54)【発明の名称】検査支援装置、検査支援方法および検査支援プログラム
(51)【国際特許分類】
   A61B 1/045 20060101AFI20230725BHJP
   A61B 1/00 20060101ALI20230725BHJP
【FI】
A61B1/045 614
A61B1/00 640
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023003160
(22)【出願日】2023-01-12
(31)【優先権主張番号】P 2022007215
(32)【優先日】2022-01-20
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】517380422
【氏名又は名称】株式会社AIメディカルサービス
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】談 莫東
【テーマコード(参考)】
4C161
【Fターム(参考)】
4C161CC06
4C161HH51
4C161JJ18
4C161LL02
4C161SS21
(57)【要約】
【課題】異なる機種の内視鏡システムへ接続する場合であっても、それぞれの内視鏡システムが出力する画像を用いてより精度の高い診断を行い、医師の判断を支援する検査支援装置を提供する。
【解決手段】検査支援装置は、被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置であって、内視鏡システムの機種情報を取得する情報取得部と、カメラユニットで撮像された撮像画像を取得する画像取得部と、情報取得部が取得した機種情報と画像取得部が取得した撮像画像とに基づいて入力データを生成し、学習済みモデルへ入力することにより体内の診断を行う診断部と、診断部による診断結果を出力する出力部とを備える。
【選択図】図3
【特許請求の範囲】
【請求項1】
被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置であって、
前記内視鏡システムの機種情報を取得する情報取得部と、
前記カメラユニットで撮像された撮像画像を取得する画像取得部と、
前記情報取得部が取得した前記機種情報と前記画像取得部が取得した前記撮像画像とに基づいて入力データを生成し、学習済みモデルへ入力することにより前記体内の診断を行う診断部と、
前記診断部による診断結果を出力する出力部と
を備える検査支援装置。
【請求項2】
前記学習済みモデルは、複数の内視鏡システムのいずれかであることを示す機種情報とその内視鏡システムから出力された撮像画像とが対応付けられた学習データに基づいて学習されたものであり、
前記診断部は、前記情報取得部が取得した前記機種情報と前記画像取得部が取得した前記撮像画像とを対応付けて前記入力データを生成し、前記学習済みモデルへ入力することにより前記体内の診断を行う請求項1に記載の検査支援装置。
【請求項3】
前記学習済みモデルは、複数の内視鏡システムのそれぞれから出力された撮像画像に対してその内視鏡システムの機種に依存する特性を除去する標準化処理を施した標準化画像を学習データとして学習されたものであり、
前記診断部は、前記情報取得部が取得した前記機種情報に基づく前記標準化処理を前記画像取得部が取得した前記撮像画像に対して施すことにより前記入力データを生成し、前記学習済みモデルへ入力することにより前記体内の診断を行う請求項1に記載の検査支援装置。
【請求項4】
前記情報取得部が取得する前記機種情報は、前記内視鏡システムにおいて画像処理を実行するシステム本体に関する本体情報と、前記システム本体へ装着される前記カメラユニットに関するカメラ情報を含む請求項1に記載の検査支援装置。
【請求項5】
前記カメラ情報は、前記カメラユニットの機種に関する情報、および前記カメラユニットの仕様に関する情報の少なくとも1つを含む請求項4に記載の検査支援装置。
【請求項6】
前記情報取得部は、ユーザによる指定を受け付けることにより前記機種情報を取得する請求項1に記載の検査支援装置。
【請求項7】
前記情報取得部は、前記被検者の既往歴に関する既往歴情報を併せて取得し、
前記診断部は、前記情報取得部が取得した前記機種情報および前記既往歴情報と、前記画像取得部が取得した前記撮像画像とに基づいて前記体内の診断を行う請求項1に記載の検査支援装置。
【請求項8】
前記画像取得部は、前記内視鏡システムから連続的に取得した画像信号から生成する複数の再生画像の画像間の差分量に基づいて前記再生画像のうち前記撮像画像に対応する画像領域を決定し、決定した前記画像領域に基づいて前記撮像画像を生成し取得する請求項1に記載の検査支援装置。
【請求項9】
前記情報取得部は、前記撮像画像から前記機種情報を取得する請求項1に記載の検査支援装置。
【請求項10】
前記情報取得部は、前記内視鏡システムの撮像情報を更に取得し、
前記診断部は、前記情報取得部が取得した前記機種情報および前記撮像情報の組合せと、前記画像取得部が取得した前記撮像画像とに基づいて前記体内の診断を行う請求項1に記載の検査支援装置。
【請求項11】
被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置を用いた検査支援方法であって、
前記内視鏡システムの機種情報を取得する情報取得ステップと、
前記カメラユニットで撮像された撮像画像を取得する画像取得ステップと、
前記情報取得ステップで取得した前記機種情報と前記画像取得ステップで取得した前記撮像画像とに基づいて入力データを生成し、学習済みモデルへ入力することにより前記体内の診断を行う診断ステップと、
前記診断ステップによる診断結果を出力する出力ステップと
を有する検査支援方法。
【請求項12】
被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置を制御する検査支援プログラムであって、
前記内視鏡システムの機種情報を取得する情報取得ステップと、
前記カメラユニットで撮像された撮像画像を取得する画像取得ステップと、
前記情報取得ステップで取得した前記機種情報と前記画像取得ステップで取得した前記撮像画像とに基づいて入力データを生成し、学習済みモデルへ入力することにより前記体内の診断を行う診断ステップと、
前記診断ステップによる診断結果を出力する出力ステップと
をコンピュータに実行させる検査支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検査支援装置、検査支援方法および検査支援プログラムに関する。
【背景技術】
【0002】
内視鏡により被検者の例えば胃内部を撮像してその画像をモニタに表示する内視鏡システムが知られている。最近では、内視鏡システムで撮像された画像を分析して、その結果を医師へ知らせる検査支援装置も普及しつつある(例えば、特許文献1参照)。また、検査支援装置を内視鏡システムに接続して、内視鏡システムが撮像した体内画像をリアルタイムで検査支援装置に分析させる利用態様も実用段階に至りつつある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2019-42156号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
内視鏡システムに接続して利用される検査支援装置は、複数機種の内視鏡システムに接続できるように設計されることが好ましい。この場合、同一メーカが製造する複数機種の内視鏡システムに接続可能であるばかりではなく、異なるメーカが製造するそれぞれの機種の内視鏡システムにも接続可能なように設計されることもあり得る。
【0005】
内視鏡システムは、被検者の体内で検査部位を撮像し、その撮像信号を処理して画像データを生成する。したがって、機種が異なれば、それぞれの特性に応じた画像データが生成される。例えば同一被検者の同一検査部位を異なる機種の内視鏡システムで撮像すると、それぞれが生成する画像データの画像は、色味、シャープネス、歪曲、ノイズなどが互いに異なり得る。検査支援装置がこのような画像を受け取ってそのまま従前の学習済みモデルへ入力して体内診断を行うと、同一被検者の同一検査部位であっても、その診断結果が異なってしまう場合があるという課題があった。
【0006】
本発明は、このような問題を解決するためになされたものであり、異なる機種の内視鏡システムへ接続する場合であっても、それぞれの内視鏡システムが出力する画像を用いてより精度の高い診断を行い、医師の判断を支援する検査支援装置等を提供するものである。
【課題を解決するための手段】
【0007】
本発明の第1の態様における検査支援装置は、被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置であって、内視鏡システムの機種情報を取得する情報取得部と、カメラユニットで撮像された撮像画像を取得する画像取得部と、情報取得部が取得した機種情報と画像取得部が取得した撮像画像とに基づいて入力データを生成し、学習済みモデルへ入力することにより体内の診断を行う診断部と、診断部による診断結果を出力する出力部とを備える。
【0008】
本発明の第2の態様における検査支援方法は、被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置を用いた検査支援方法であって、内視鏡システムの機種情報を取得する情報取得ステップと、カメラユニットで撮像された撮像画像を取得する画像取得ステップと、情報取得ステップで取得した機種情報と画像取得ステップで取得した撮像画像とに基づいて入力データを生成し、学習済みモデルへ入力することにより体内の診断を行う診断ステップと、診断ステップによる診断結果を出力する出力ステップとを有する。
【0009】
本発明の第3の態様における検査支援プログラムは、被検者の体内に挿通されるカメラユニットを備える内視鏡システムに接続して利用される検査支援装置を制御する検査支援プログラムであって、内視鏡システムの機種情報を取得する情報取得ステップと、カメラユニットで撮像された撮像画像を取得する画像取得ステップと、情報取得ステップで取得した機種情報と画像取得ステップで取得した撮像画像とに基づいて入力データを生成し、学習済みモデルへ入力することにより体内の診断を行う診断ステップと、診断ステップによる診断結果を出力する出力ステップとをコンピュータに実行させる。
【発明の効果】
【0010】
本発明により、異なる機種の内視鏡システムへ接続する場合であっても、それぞれの内視鏡システムが出力する画像を用いてより精度の高い診断を行い、医師の判断を支援する検査支援装置等を提供することができる。
【図面の簡単な説明】
【0011】
図1】内視鏡システムと本実施形態に係る検査支援装置を用いた内視鏡検査の様子を示す図である。
図2】検査支援装置のハードウェア構成図である。
図3】診断結果を表示するまでの処理を説明する図である。
図4】分析用ニューラルネットワークを生成するための学習作業を説明する図である。
図5】機種情報に関する設定画面の例を示す図である。
図6】演算処理部の処理手順を説明するフロー図である。
図7】第1の変形例における、分析用ニューラルネットワークを生成するための学習作業を説明する図である。
図8】第1の変形例における、診断結果を表示するまでの処理を説明する図である。
図9】第1の変形例における、演算処理部の処理手順を説明するフロー図である。
図10】参考例における、分析用ニューラルネットワークを生成するための学習作業を説明する図である。
図11】参考例における、既往歴情報に関する設定画面の例を示す図である。
図12】第2の変形例における、分析用ニューラルネットワークを生成するための学習作業を説明する図である。
図13】第2の変形例における、診断結果を表示するまでの処理を説明する図である。
図14】第2の変形例における、演算処理部の処理手順を説明するフロー図である。
【発明を実施するための形態】
【0012】
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。
【0013】
図1は、内視鏡システム200と本実施形態に係る検査支援装置100を用いた内視鏡検査の様子を示す図である。内視鏡システム200と検査支援装置100は、共に診察スペースに設置されている。内視鏡システム200は、カメラユニット210、システム本体211およびシステムモニタ220を備える。カメラユニット210は、図示するように、横たわる被検者の口腔から胃などの体内の器官へ挿通され、器官の内部を撮像した撮像信号をシステム本体211へ送信する。カメラユニット210の器官への挿通や撮像操作は、医師によって行われる。本実施形態において、カメラユニット210は、システム本体211に対して着脱可能である。
【0014】
システム本体211は、カメラユニット210から送られてきた撮像信号を処理して画像データを生成する。そして、当該画像データを視認可能な表示信号に調整し、例えば液晶パネルによって構成されるシステムモニタ220に撮像画像221として表示する。また、システム本体211は、被検者情報やカメラユニット210のカメラ情報などを含む検査情報222をシステムモニタ220に表示する。
【0015】
検査支援装置100は、接続ケーブル250によって内視鏡システム200に接続されている。内視鏡システム200は、システムモニタ220へ送信する表示信号を、接続ケーブル250を介して検査支援装置100へも送信する。すなわち、本実施形態における表示信号は、内視鏡システム200が外部装置へ提供する画像信号の一例である。検査支援装置100は、装置本体101および表示モニタ120を備える。装置本体101は、内視鏡システム200から送られてきた表示信号から撮像画像221に対応する画像信号を抽出し、例えば液晶パネルによって構成される表示モニタ120に撮像画像121として表示する。
【0016】
検査支援装置100のユーザである医師は、カメラユニット210の操作に応じてほぼリアルタイムで表示される撮像画像121を視認しながら検査を進める。医師は、検査支援装置100に診断させたい対象箇所が撮像画像121として表示されるようにカメラユニット210を操作する。
【0017】
検査支援装置100は、例えば医師による診断トリガーを検出すると、その時点における撮像画像121と内視鏡システム200の機種情報に基づいて入力データを生成し、後述する分析用ニューラルネットワークへ入力する。そして、分析用ニューラルネットワークの出力から生成される診断結果を、コンピュータグラフィックスに変換してCG指標122として表示モニタ120に表示する。
【0018】
診断トリガーは、様々に設定し得る。検査支援装置100は、例えば、抽出した撮像画像121が一定期間(例えば2秒)に亘って静止画像の連続(フリーズ)であると検知した場合に、当該フリーズを診断トリガーとして検出する。なお、図1は、診断トリガーが検出されていない状況において、表示信号から逐次生成されるほぼリアルタイムの撮像画像121が表示されている様子を示しており、CG指標122は、診断待機状態である旨を示している。
【0019】
図2は、検査支援装置100のハードウェア構成図である。検査支援装置100は、主に、演算処理部110、表示モニタ120、入出力インタフェース130、入力デバイス140、記憶部150によって構成される。演算処理部110は、検査支援装置100の制御とプログラムの実行処理を行うプロセッサ(CPU:Central Processing Unit)である。プロセッサは、ASIC(Application Specific Integrated Circuit)やGPU(Graphics Processing Unit)等の演算処理チップと連携する構成であってもよい。演算処理部110は、記憶部150に記憶された検査支援プログラムを読み出して、検査の支援に関する様々な処理を実行する。
【0020】
表示モニタ120は、上述のように、例えば液晶パネルを備えるモニタであり、撮像画像121やCG指標122などを表示する。入出力インタフェース130は、接続ケーブル250を接続するためのコネクタを含む、外部機器との間で情報を授受するための接続インタフェースである。入出力インタフェース130は、例えばLANユニットを含み、検査支援プログラムや後述する分析用ニューラルネットワーク151の更新データを外部機器から取り込んで演算処理部110へ引き渡す。
【0021】
入力デバイス140は、例えばキーボードやマウス、表示モニタ120に重畳されたタッチパネルであり、医師や補助者は、これらを操作して検査支援装置100の設定を変更したり、検査に必要な情報を入力したりする。
【0022】
記憶部150は、不揮発性の記憶媒体であり、例えばHDD(Hard Disk Drive)によって構成されている。記憶部150は、検査支援装置100の制御や処理を実行するプログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、表示要素データ、ルックアップテーブル等を記憶し得る。記憶部150は、特に、分析用ニューラルネットワーク151(以下「分析用NN151」と記す)を記憶している。分析用NN151は、具体的には後述するが、入力された診断画像内に病変が存在する領域と確率を出力する学習済みモデルである。なお、記憶部150は、複数のハードウェアで構成されていても良く、例えば、プログラムを記憶する記憶媒体と分析用NN151を記憶する記憶媒体が別々のハードウェアで構成されてもよい。
【0023】
演算処理部110は、検査支援プログラムが指示する処理に応じて様々な演算を実行する機能演算部としての役割も担う。演算処理部110は、情報取得部111、画像取得部112、診断部113、表示制御部114として機能し得る。情報取得部111は、内視鏡システム200の機種情報を取得する。画像取得部112は、内視鏡システム200から送られてくる表示信号を介して、カメラユニット210で撮像された撮像画像を取得する。診断部113は、情報取得部111が取得した機種情報と画像取得部112が取得した撮像画像とに基づいて入力データを生成し、学習済みモデルである分析用NN151へ入力することにより被検者の体内の診断を行う。表示制御部114は、表示モニタ120へ表示する表示画面の表示信号を生成し表示モニタ120へ送信することにより、表示モニタ120の表示を制御する。表示制御部114は、診断部113による診断結果を出力する出力部としての機能を担う。診断結果の出力先は表示モニタ120に限らず、例えば外部機器へ出力する場合には、演算処理部110と入出力インタフェース130が協働して出力部としての機能を担う。それぞれの機能演算部の具体的な処理については、後述する。
【0024】
さて、内視鏡システムに接続して当該内視鏡システムが出力する撮像画像を用いて医師の診断を補助する検査支援装置は、様々な機種の内視鏡システムに接続可能に利用できることが好ましい。したがって、このような検査支援装置は、複数機種の内視鏡システムに接続できるように設計されることがある。この場合、同一メーカが製造する複数機種の内視鏡システムに接続可能であるばかりではなく、異なるメーカが製造するそれぞれの機種の内視鏡システムにも接続可能なように設計されることもあり得る。例えば、A社が製造する内視鏡システムの機種X1、X2、X3のそれぞれと、B社が製造する内視鏡システムの機種Y1、Y2のそれぞれに接続可能なように設計される。
【0025】
それぞれの内視鏡システムは、少なくともカメラユニットと、当該カメラユニットから出力される撮像信号を処理して画像データを生成するシステム本体とを備える。カメラユニットは、被検者の体内で検査部位を撮像する撮像センサを含み、そこから出力される撮像信号は、当該撮像センサやそれを制御する制御回路の特性に応じたものとなる。すなわち、カメラユニットが異なれば同一の検査部位を撮像しても、それぞれが出力する撮像信号は異なるものとなる。また、カメラユニットからの撮像信号を受け取って画像データに処理するシステム本体は、それぞれに画像処理のパラメータが設定されていたり、画像生成のプログラムが異なっていたりするために、たとえ同一の撮像信号を受け取ったとしても、同一の画像データが生成されるとは限らない。すなわち、内視鏡システムは、その機種の特性に応じた画像データを生成すると言える。それぞれの内視鏡システムが生成する画像データの画像は、具体的には、色味、シャープネス、歪曲、ノイズなどが互いに異なり得る。
【0026】
従前の検査支援装置が、そのような画像データあるいは当該画像データから調整された画像信号を受け取って診断画像を生成し、学習済みモデルを用いて体内診断を行う場合に、同一被検者の同一検査部位を対象としても、接続された内視鏡システムによってその診断結果が異なってしまう場合があった。同一被検者の同一検査部位を対象としているにもかかわらず、接続している内視鏡システムの機種によって診断結果が異なることは、誤診にもつながる可能性があり、好ましくない。そこで、本実施形態における検査支援装置100は、接続している内視鏡システム200の機種情報も取り込むことにより、機種の違いに起因する診断結果の齟齬をできる限り抑制している。
【0027】
まず、本実施形態に係る検査支援装置100が、内視鏡システム200から表示信号を取り込んで診断結果を表示するまでの全体の流れについて説明する。図3は、検査支援装置100が診断結果を表示するまでの処理を説明する図である。
【0028】
内視鏡システム200から送られてくる表示信号を画像取得部112が取得して展開する信号再生画像225は、内視鏡システム200のシステムモニタ220で表示されている表示画像と同様である。信号再生画像225は、撮像画像221と検査情報222を含む。検査情報222は、例えばテキスト情報である。画像取得部112は、接続当初に逐次展開する信号再生画像225を用いて、信号再生画像225の画像領域のいずれの領域が撮像画像を表す画像領域であるかを確定する。画像領域は他の領域に比べて短時間に変化することが想定されるので、例えば、前後する信号再生画像間の差分量が基準量以上となる変化領域を当該画像領域として確定する。信号再生画像225の画像領域のいずれの領域が撮像画像を表す画像領域であるかが確定されると、画像取得部112は、その確定された画像領域を切り出して撮像画像121とする。撮像画像121は、実質的にはカメラユニット210が撮像しシステム本体211が画像処理した撮像画像を検査支援装置100で再現した画像と言える。
【0029】
画像取得部112は、その時点で診断トリガーを検出しておらず、切出した撮像画像121が診断対象の画像でない場合には、当該撮像画像121を表示制御部114へ引き渡す。表示制御部114は、図1で示した診断待機状態の表示画面を実現するために、撮像画像121を逐次更新して表示モニタ120へ表示する。画像取得部112は、その時点で診断トリガーを検出しており、切出した撮像画像121が診断対象の画像である場合には、当該撮像画像121を表示制御部114へ引き渡すと共に診断部113へ引き渡す。なお、図3は、診断トリガーを検出した場合を表している。
【0030】
診断部113は、分析用NN151の仕様等に応じて、撮像画像121を調整して診断画像を生成する。ここでの撮像画像121から診断画像への調整は、例えば画像のアスペクト比や画像サイズを対象とし、分析用NN151が入力を受容するデータ形式に整えるものであり、色味等の画像の質を調整するものではない。また、診断部113は、後述するように情報取得部111が取得した内視鏡システム200の機種情報を情報取得部111から受け取る。そして、機種情報と診断画像を一元化して入力データを生成し、記憶部150から読み出した分析用NN151へ入力する。分析用NN151は、画像内に存在する病変の疑いがある領域をその推定確率と共に診断結果として出力する。図3の例では、推定確率90%を示す中央付近の領域を出力している。診断部113は、診断結果を表示制御部114へ引き渡す。
【0031】
表示制御部114は、画像取得部112から受け取った撮像画像121の撮像画像データ、診断部113から受け取った診断結果、および診断に適用した機種情報を、予め設定された表示基準に従って展開、配列して表示モニタ120へ表示する。具体的には、診断画像として用いた撮像画像121が左側に配置され、診断結果を表すCG指標122が右側に配置されている。CG指標122は、病変であると推定される推定確率の数値(図の例では「90%」)を含むコンピュータグラフィックスである。また、病変であると推定した領域を示す診断領域枠121aを撮像画像121に重畳している。また、診断に適用した機種情報をテキストで表し、適用情報123としてCG指標122の下部に配置している。結果表示状態は一定時間(例えば2秒)に亘って継続し、その後診断待機状態の表示に戻る。
【0032】
なお、本実施形態においては、画像取得部112は、内視鏡システム200から受け取った表示信号から撮像画像121を抽出して取得するが、内視鏡システム200がデジタルデータとしての画像データを外部機器に提供する場合は、これを受け取って展開することにより撮像画像を取得してもよい。いずれの形式であっても、画像取得部112は、カメラユニット210で撮像されシステム本体211で処理された撮像画像を取得すればよい。
【0033】
次に、分析用NN151について説明する。記憶部150から読み出されて利用される分析用NN151は、運用に適するまで教師データを用いて学習を繰り返すことにより生成された学習済みモデルである。このような学習作業は他の装置を用いて実施されてもよく、その場合、検査支援装置100は、学習を終えた分析用NN151を当該他の装置から、入出力インタフェース130を介して取得する。
【0034】
図4は、分析用NN151を生成するための学習作業を説明する図である。分析用NN151の入力データは、上述のように、機種情報と診断画像が一元化されたデータである。本実施形態においては、機種情報は、内視鏡システム200において画像処理を実行するシステム本体211に関する本体情報と、システム本体211へ装着されるカメラユニット210に関するカメラ情報によって構成される。すなわち、機種情報は、対象の診断画像がいずれのシステム本体211といずれのカメラユニット210の組み合わせによって生成されたかを表す。例えば、対象の診断画像が、機種M3のシステム本体211に機種N7のカメラユニット210が組み合わされて構成された内視鏡システム200によって生成されたものであれば、機種情報は本体情報である機種M3とカメラ情報である機種N7を併せたものとなる。この機種情報を符号化して診断画像の画像データに付加させたデータが、分析用NN151の入力データとなる。
【0035】
なお、本実施形態においては、機種情報としていずれも診断画像の質に影響を与える本体情報とカメラ情報を組み合わせて採用する。これは、カメラユニット210がシステム本体211に着脱可能であり、それぞれ複数機種の間で組み合わせが変更できることを想定しているからであり、カメラユニット210とシステム本体211の組み合わせが変われば、生成される撮像画像および当該撮像画像から生成される診断画像の質が変わるからである。しかし、機種情報は本体情報とカメラ情報の組み合わせに限らない。内視鏡システム200の要素であって診断画像の質に影響を与えるものであれば、機種情報の対象となり得る。例えば、カメラユニットとは別に検査部位を照らす照明ユニットも任意に組み合わせられるのであれば、いずれの機種の照明ユニットを組み合わせたかの照明情報も機種情報として採用してもよい。逆に、カメラユニットとシステム本体の組み合わせが変更不可能な内視鏡システムにのみ検査支援装置を接続する場合であれば、機種情報は、カメラ情報と本体情報をそれぞれ含む必要はなく、内視鏡システムの機種を表すもので足りる。カメラ情報は、カメラユニット210の機種に関する情報に限られず、仕様(一例として、カメラユニット210のレンズの画角、焦点距離若しくはF値)に関する情報であってもよい。
【0036】
教師データは、上記の入力データに対してアノテーションデータが付与されたものである。アノテーションデータは、診断画像中にがんの病変領域が存在するかしないかの正解情報と、存在する場合にはその病変領域の領域情報である。それぞれの診断画像に対する判断は、例えば熟練の医師が診断画像を個々に観察して行うものであり、アノテーションデータは、当該医師あるいは補助者がその判断結果を学習作業装置へ入力することによって作成されるものである。なお、病変領域の領域情報は、例えば、がんと判断される部位を包含する矩形の左上座標Aの座標値と、右下座標Bの座標値によって表現される。
【0037】
このように入力データにアノテーションデータが付与された教師データは、診断画像の質に影響を与えた機種情報(ここでは本体情報と+カメラ情報)と、医師の判断による判断結果を含むものとなる。教師データは、学習によって実用に耐える分析用NN151を生成できるだけのデータ数が準備される。実用に耐えるか否かは、例えば、判断の正答率が基準値を超えるか否かによって判定される。このように準備された教師データによって学習された分析用NN151は、入力データが入力されると、入力データの一部である診断画像にがんが存在する確率と、その判断をした領域(例えば左上座標Aの座標値と右下座標Bの座標値)を出力する。このとき、学習済みモデルとしての分析用NN151は、機種に応じた診断画像の質の違いを踏まえたうえの診断結果を出力することができる。すなわち、機種情報の違いを含めて学習された分析用NN151は、例えば同一被検者の同一検査部位を対象とした場合に、接続している内視鏡システムの機種が異なる場合であっても、同一の診断結果を出力することが期待できる。なお、本実施形態においては、上記のような教師データを学習データとする教師あり学習を想定するが、複数の内視鏡システムのいずれかであることを示す機種情報とその内視鏡システムから出力された撮像画像とが対応付けられた学習データに基づいて学習するのであれば、他の機械学習の手法を採用しても構わない。
【0038】
機種情報は、例えば、検査を開始する前に医師や補助者の入力を受け付けることによって取得することができる。図5は、表示モニタ120に表示される、機種情報に関する設定画面の例を示す図である。
【0039】
情報取得部111は、表示制御部114を介して表示モニタ120に機種の設定に関する設定画面を表示する。具体的には、「機種の設定」と示すタイトル124と共に、システム本体211とカメラユニット210のそれぞれに対して選択可能な機種を示す選択項目125を表示する。
【0040】
例えば、表示モニタ120が入力デバイス140としてのタッチパネルを備える場合には、医師や補助者であるユーザがプルダウンボタン127をタップすると、情報取得部111はその操作を検出し、選択可能な機種名を展開する。図5は、カメラユニット210の機種選択に対するプルダウンボタン127がタップされ、選択可能な機種名が列挙されている様子を表している。スクロール指標128は、選択可能な機種名の一部が表示されていることを示し、ユーザは、これを上下に移動させることにより他の機種名を表示させることができる。ユーザが特定の機種名(図においては「X社 X-0B」)をタップすると、当該機種名は反転表示され、選択が受け入れられたことをユーザに知らせる。すなわち、情報取得部111は、このようなユーザインタフェースを通じてユーザから機種情報を取得する。
【0041】
なお、機種情報は、ユーザによる直接入力に限らず、他の手法によっても実現し得る。例えば、上述のように、信号再生画像225は検査情報222を含むので、もし検査情報222がシステム本体211やカメラユニット210の機種情報を含むのであれば、情報取得部111は、検査情報222をOCR解析して機種情報を取得してもよい。また、例えば内視鏡システム200がデジタルデータとしての画像データと共に機種情報も外部機器に提供しているのであれば、情報取得部111は、より直接的に機種情報を取得することができる。また、画像データと共に機種情報も外部機器に提供されていない場合であっても、画像データを解析することにより、画像データの特徴量、画像データのフォーマット、及び、画像データに含まれる文字列(一例として、機種情報を表す文字画像)の少なくとも1つに基づいて、機種情報を判定してもよい。
【0042】
次に、演算処理部110が実行する検査支援の主な処理についての処理手順の一例を、フロー図を用いて説明する。図6は、演算処理部110の処理手順を説明するフロー図である。フローは、検査支援装置100が起動され、検査支援プログラムが実行された時点から開始する。
【0043】
情報取得部111は、ステップS101で、ユーザによる入力デバイス140への入力を介して機種情報を取得する。情報取得部111は、取得した機種情報を診断部113へ引き渡す。機種情報の取得が完了したらステップS102へ進む。
【0044】
ステップS102へ進むと、画像取得部112は、内視鏡システム200から表示信号を取得して信号再生画像225を生成し、さらにステップS103で、信号再生画像225から撮像画像121を切り出して表示制御部114へ引き渡す。また、その時点で診断トリガーを検出していれば、診断部113へも引き渡す。診断部113は、画像取得部112から撮像画像121を受け取ると、ステップS104で、撮像画像121から診断画像を生成すると共に、当該診断画像と機種情報を一元化して入力データを生成する。
【0045】
診断部113は、ステップS105へ進み、記憶部150から読み出した分析用NN151へ生成した入力データを入力して、診断画像内に病変の疑いがある領域とその推定確率を演算させ、出力させる。診断部113は、分析用NN151が出力した診断結果を、診断に適用した機種情報と共に、表示制御部114へ引き渡す。
【0046】
表示制御部114は、ステップS106で、画像取得部112から受け取った撮像画像121の撮像画像データ、診断部113から受け取った診断結果、および診断に適用した機種情報を、図3で示したように表示モニタ120へ表示する。結果表示状態を一定時間に亘って継続したら、ステップS107へ進む。
【0047】
演算処理部110は、ステップS107で、カメラユニット210による体内検査が終了したか否かを検出する。終了を検出していなければステップS102へ戻り、検査を継続する。終了を検出したら規定された終了処理を実行して一連の処理を終了する。なお、演算処理部110は、体内検査の終了を、例えば、カメラユニット210が口腔から排出されることにより撮像画像121の輝度が急激に変化することを捉えて検出する。
【0048】
続いて、いくつかの変形例について説明する。上述の実施形態においては図4を用いて説明したように、機種情報と診断画像を一元化した入力データにアノテーションデータを付与して教師データを準備し、この教師データによって学習を実施することによって分析用NN151を生成した。すなわち、生成された分析用NN151は、機種情報と診断画像を一元化した入力データが入力されると、内視鏡システムの機種に応じた診断画像の質の違いを踏まえたうえの診断結果を出力する。しかし、機種に応じた診断画像の質の違いを事前の標準化処理で相殺すれば、分析用ニューラルネットワークとしては標準化処理された診断画像を受け付ければよく、分析用ニューラルネットワーク自身が機種に応じた診断画像の質の違いを吸収する必要はなくなる。第1の変形例は、このような標準化処理を前提とする分析用ニューラルネットワークを作成し、運用するものである。
【0049】
図7は、第1の変形例における分析用ニューラルネットワーク151’(以下、「分析用NN151’」と記す)を生成するための学習作業を説明する図である。第1の変形例においては、分析用NN151’の学習を始めるにあたり、まず、教師データとなる診断画像を事前に準備する。
【0050】
診断画像は、あるカメラユニット210で撮像され、あるシステム本体211で画像処理された撮像画像に対して、当該カメラユニット210の機種および当該システム本体211の機種に依存する特性を除去する標準化処理を施して標準化画像に変換したものである。標準化処理は、例えば、機種の違いが撮像画像の質の違いとなって生じる機種特有の癖を矯正する画像フィルタを撮像画像に適用するフィルタ処理である。例えば、機種M3のシステム本体211に機種N7のカメラユニット210が組み合わされて生成された撮像画像に対しては、この組み合わせの癖を矯正するために用意されたM3-N7用画像フィルタを適用することにより、標準化画像に変換する。このように標準化処理が施された標準化画像は、内視鏡システムの機種の違いによる質の相違が除去されたものとなる。なお、標準化処理によって変換する標準化画像の質(色味、シャープネス、歪曲、ノイズ等)は、フィルタ処理によって実現可能な範囲で予め設定される。
【0051】
したがって、分析用NN151’の入力データはこのように標準化された標準化画像としての診断画像となる。教師データは、このような診断画像に対してアノテーションデータが付与されたものである。アノテーションデータは、図4を用いて説明したアノテーションデータと同様に、診断画像中にがんの病変領域が存在するかしないかの正解情報と、存在する場合にはその病変領域の領域情報である。
【0052】
このように準備された教師データによって学習された分析用NN151’は、標準化処理された診断画像が入力されると、当該診断画像にがんが存在する確率と、その判断をした領域(例えば左上座標Aの座標値と右下座標Bの座標値)を出力する。すなわち、診断部113は、機種情報を用いて標準化処理を施した診断画像を生成し、これを学習済みモデルとしての分析用NN151’へ入力して演算させることにより、内視鏡システムの機種に起因する影響を極力排除した診断結果を得ることができる。
【0053】
図8は、第1の変形例における、診断結果を表示するまでの処理を説明する図である。ここでは、図3で説明した処理と相違する点を説明する。
【0054】
診断部113は、情報取得部111から機種情報を受け取ると、その機種情報に応じた画像フィルタを記憶部150から読み出す。そして、画像取得部112から受け取った撮像画像121に対して当該画像フィルタを適用する標準化処理を施し、診断画像を生成する。このとき、画像のアスペクト比や画像サイズ等を調整して分析用NN151’が入力を受容するデータ形式に整える調整処理も併せて実行する。
【0055】
診断部113は、このように生成された入力データとしての診断画像を、記憶部150から読み出した分析用NN151’へ入力する。分析用NN151’は、画像内に存在する病変の疑いがある領域をその推定確率と共に診断結果として出力する。診断部113は、診断結果を表示制御部114へ引き渡す。
【0056】
図9は、第1の変形例における、演算処理部110の処理手順を説明するフロー図である。図6に示すフロー図と同様の処理ステップについては、同一のステップ番号を付すことにより、その説明を省略する。
【0057】
診断部113は、画像取得部112から撮像画像121を受け取ると、ステップS204で、受け取った撮像画像121に対して標準化処理を実行する。具体的には、ステップS101で取得された機種情報に対応する画像フィルタを記憶部150から読み出し、受け取った撮像画像121に適用する。診断部113は、このように画像フィルタを適用して得た入力データとしての診断画像を、ステップS205で、分析用NN151’へ入力することにより、当該診断画像に対する診断結果を得る。そして、その診断結果を、診断に適用した機種情報と共に、表示制御部114へ引き渡す。
【0058】
次に、第2の変形例を説明するにあたり、その前提となる参考例を説明する。これまで説明した実施形態においては、内視鏡システムによって生成される画像データの画像の質は、内視鏡システムの機種ごとに異なり得ると説明した。しかし、たとえ同一の病変であってもそれを撮像した画像の色味や質感などの違いは、同一機種の内視鏡システムで撮像した画像であっても、他の要因によって生じることがあり得る。その要因の一つとして、被検者の既往歴が挙げられる。
【0059】
被検者の既往歴によっては、その影響が検査部位に現れることがある。例えば、検査部位の変色や萎縮となって現れる。このような検査部位を検査対象とした場合には、被検者の特定の既往歴の有無によって、診断結果が異なってしまうことがあった。同一の病変が同一の状況であるにもかかわらず、被検者の既往歴の違いによって診断結果が異なることは、誤診にもつながる可能性があり、好ましくない。そこで、参考例に係る検査支援装置においては、被検者の既往歴に関する既往歴情報も取り込むことにより、被検者間の既往歴の違いに起因する診断結果の齟齬をできる限り抑制する。
【0060】
図10は、参考例における、分析用ニューラルネットワーク152(以下、「分析用NN152」と記す)を生成するための学習作業を説明する図である。分析用NN152の入力データは、既往歴情報と診断画像が一元化されたデータである。ここでは、内視鏡システムによって撮像される検査部位の撮像画像に画像の質の差異を生じさせ得る既往歴が既往歴情報の対象となる。
【0061】
既往歴情報としては、例えば図示するように、ピロリ菌の除菌歴(あり/なし)、血清H. pylori抗体(陰性/陽性)、呼気テスト(陰性/陽性)、ペプシノゲン法(陰性/ 陽性)、前立腺癌(術後/なし)、肺癌(術後/なし)、腫瘍マーカー(高値/軽度高値/低値)、胃SMT(疑い/なし)、胃潰瘍既往歴(あり/なし)、胃悪性リンパ腫既往歴(あり/なし)、早期胃癌既往歴(あり/なし)、ESDの施行(あり/なし)、舌癌既往歴(あり/なし)、口腔底癌既往歴(あり/なし)、下咽頭癌既往歴(あり/なし)、大腸癌既往歴(あり/なし)等が対象となり得る。なお、内視鏡システムが特定の検査部位を対象とするものであれば、当該検査部位に影響を与える既往歴に限定してもよい。また、例えば、ピロリ菌の除菌歴がある場合には除菌後の経過年数なども既往歴情報に含めてもよい。この既往歴情報を符号化して診断画像の画像データに付加させたデータが、分析用NN152の入力データとなる。
【0062】
教師データは、上記の入力データに対してアノテーションデータが付与されたものである。アノテーションデータは、図4を用いて説明したアノテーションデータと同様に、診断画像中にがんの病変領域が存在するかしないかの正解情報と、存在する場合にはその病変領域の領域情報である。このように準備された教師データによって学習された分析用NN152は、入力データが入力されると、入力データの一部である診断画像にがんが存在する確率と、その判断をした領域(例えば左上座標Aの座標値と右下座標Bの座標値)を出力する。このとき、学習済みモデルとしての分析用NN152は、被検者の既往歴に応じた診断画像の質の違いを踏まえたうえの診断結果を出力することができる。すなわち、既往歴情報の違いを含めて学習された分析用NN152は、例えば同一の病変が同一の状況であれば、被検者の既往歴の違いによらず、同一の診断結果を出力することが期待できる。
【0063】
既往歴情報は、例えば、検査を開始する前に医師や補助者の入力を受け付けることによって取得することができる。図11は、参考例における、既往歴情報に関する設定画面の例を示す図である。
【0064】
情報取得部111は、表示制御部114を介して表示モニタ120に被検者既往歴の設定に関する設定画面を表示する。具体的には、「既往歴の設定」と示すタイトル124と共に、選択可能な既往歴を示す選択項目125を表示する。それぞれの選択項目125の先頭には、ラジオボタン129が配置されており、ユーザは、これをタップすることにより当該選択項目125を選択することができる。情報取得部111は、このようなユーザインタフェースを通じてユーザから被検者の既往歴情報を取得する。なお、情報取得部111は、例えば被検者情報が記録されている電子カルテシステム端末からネットワークを介して既往歴情報を取得してもよい。
【0065】
第2の変形例は、機種情報と診断画像から入力データを生成した上述の実施形態に対し、さらに既往歴情報を入力データへ加えるものである。このような入力データに対応する分析用ニューラルネットワークは、既往歴情報を含めて学習することにより作成される。図12は、第2の変形例における、分析用ニューラルネットワーク151”(以下、「分析用NN151”」と記す)を生成するための学習作業を説明する図である。
【0066】
分析用NN151”の入力データは、機種情報、既往歴情報および診断画像が一元化されたデータである。本変形例においては、機種情報は、内視鏡システム200において画像処理を実行するシステム本体211に関する本体情報と、システム本体211へ装着されるカメラユニット210に関するカメラ情報によって構成される。また、既往歴情報は、上述のように、内視鏡システムによって撮像される検査部位の撮像画像に画像の質の差異を生じさせ得る既往歴を対象とする。この機種情報と既往歴情報を符号化して診断画像の画像データに付加させたデータが、分析用NN151”の入力データとなる。
【0067】
教師データは、上記の入力データに対してアノテーションデータが付与されたものである。アノテーションデータは、図4を用いて説明したアノテーションデータと同様に、診断画像中にがんの病変領域が存在するかしないかの正解情報と、存在する場合にはその病変領域の領域情報である。このように準備された教師データによって学習された分析用NN151”は、入力データが入力されると、入力データの一部である診断画像にがんが存在する確率と、その判断をした領域(例えば左上座標Aの座標値と右下座標Bの座標値)を出力する。
このとき、学習済みモデルとしての分析用NN151”は、機種に応じた診断画像の質の違い、および被検者の既往歴に応じた診断画像の質の違いを踏まえたうえの診断結果を出力することができる。すなわち、機種情報および既往歴情報の違いを含めて学習された分析用NN151”は、内視鏡システムの機種の違いや被検者の既往歴の違いによらず、同一の診断結果を出力することが期待できる。
【0068】
図13は、第2の変形例における、診断結果を表示するまでの処理を説明する図である。ここでは、図3で説明した処理と相違する点を説明する。
【0069】
診断部113は、分析用NN151”の仕様等に応じて、撮像画像121を調整して診断画像を生成する。また、診断部113は、情報取得部111が取得した内視鏡システム200の機種情報と被検者の既往歴情報を情報取得部111から受け取る。そして、機種情報、既往歴情報および診断画像を一元化して入力データを生成し、記憶部150から読み出した分析用NN151”へ入力する。分析用NN151”は、画像内に存在する病変の疑いがある領域をその推定確率と共に診断結果として出力する。診断部113は、診断結果を表示制御部114へ引き渡す。
【0070】
表示制御部114は、画像取得部112から受け取った撮像画像121の撮像画像データ、診断部113から受け取った診断結果、および診断に適用した機種情報および既往歴情報を、予め設定された表示基準に従って展開、配列して表示モニタ120へ表示する。診断に適用した既往歴情報は、同じく機種情報と共に適用情報123としてCG指標122の下部に配置して表す。
【0071】
図14は、第2の変形例における、演算処理部の処理手順を説明するフロー図である。図6に示すフロー図と同様の処理ステップについては、同一のステップ番号を付すことにより、その説明を省略する。
【0072】
情報取得部111は、ステップS101で機種情報を取得したら、続いてステップS301で既往歴情報を取得する。具体的には、図11を用いて説明したユーザインタフェースを通じてユーザから被検者の既往歴情報を取得する。既往歴情報の取得が完了したらステップS102へ進む。なお、機種情報の取得と既往歴情報の取得の順番は逆であってもよく、並列して取得しても構わない。
【0073】
診断部113は、ステップS103で画像取得部112から撮像画像121を受け取ると、ステップS304で、撮像画像121から診断画像を生成すると共に、当該診断画像と機種情報および既往歴情報とを一元化して入力データを生成する。
【0074】
診断部113は、ステップS305へ進み、記憶部150から読み出した分析用NN151”へ生成した入力データを入力して、診断画像内に病変の疑いがある領域とその推定確率を演算させ、出力させる。診断部113は、分析用NN151”が出力した診断結果を、診断に適用した機種情報および既往歴情報と共に、表示制御部114へ引き渡す。
【0075】
以上説明した参考例および第2の変形例は、第1の変形例のように、既往歴情報に応じた標準化処理を施すことにより標準化された標準化画像としての診断画像を生成し、第1の変形例で用いた分析用NN151’へ入力するように構成することもできる。この場合、例えば、既往歴の有無の違いによって生じる撮像画像の質の違いを矯正する画像フィルタを対象となる既往歴ごとに事前に用意しておく。そして、検査段階において既往歴情報として例えば「胃潰瘍あり」の情報を取得した場合には、診断部113は、胃潰瘍の経験によって生じる画像の特徴を打ち消すための胃潰瘍用画像フィルタを撮像画像121に適用して標準化画像に変換する。
【0076】
以上説明した本実施形態においては、内視鏡システム200と検査支援装置100が接続ケーブル250を介して接続される場合を想定したが、有線接続でなく無線接続であっても構わない。また、以上説明した本実施形態においては、内視鏡システム200が備えるカメラユニット210が軟性内視鏡であることを想定して説明したが、カメラユニット210が硬性内視鏡であっても、検査支援装置100の構成や処理手順に違いは何ら生じない。なお、本実施形態における診断部による診断は、あくまで医師の診断を補助するものであり、最終的な決定は医師によって行われる。
【0077】
以上説明した本実施形態においては、検査支援装置100が、内視鏡システム200から機種情報を取得する例を示したが、検査支援装置100は、機種情報に加えて、撮像情報(例えば、撮像時のカメラユニット210のズーム倍率、光源強度、およびシャープネスの少なくとも1つ)を内視鏡システム200から取得してもよい。この場合、分析用NN151は、撮像情報を含む学習用データセットを用いて学習された学習済みモデルである。診断部113は、情報取得部111が取得した機種情報及び撮像情報と画像取得部112が取得した撮像画像とに基づいて入力データを生成し、分析用NN151へ入力することにより被検者の体内の診断を行う。
【0078】
また、以上説明した本実施形態において、診断結果を示すCG指標122は、病変であると推定される推定確率の数値を表示したが、診断結果の表示態様はこれに限らない。例えば、閾値以上の推定確率を出力した場合に、診断領域枠121aを強調表示するようにしてもよい。この場合、CG指標122は、その表示を省いてもよく、あるいは、単に閾値以上の結果が出力されたことを示す警告表示でもよい。
【符号の説明】
【0079】
100…検査支援装置、101…装置本体、110…演算処理部、111…情報取得部、112…画像取得部、113…診断部、114…表示制御部、120…表示モニタ、121…撮像画像、121a…診断領域枠、122…CG指標、123…適用情報、124…タイトル、125…選択項目、126…選択指標、127…プルダウンボタン、128…スクロール指標、129…ラジオボタン、130…入出力インタフェース、140…入力デバイス、150…記憶部、151、151’、151”、152…分析用ニューラルネットワーク、200…内視鏡システム、210…カメラユニット、211…システム本体、220…システムモニタ、221…撮像画像、222…検査情報、225…信号再生画像、250…接続ケーブル
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14