特開 2024-164943 医療画像処理装置及び内視鏡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024164943

(43)【公開日】2024-11-28

(54)【発明の名称】医療画像処理装置及び内視鏡システム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20241121BHJP

【ＦＩ】

A61B1/045 618

A61B1/045 614

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2023080690

(22)【出願日】2023-05-16

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001988

【氏名又は名称】弁理士法人小林国際特許事務所

(72)【発明者】

【氏名】加門 駿平

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA01

4C161AA02

4C161WW02

4C161WW04

4C161WW13

4C161WW14

(57)【要約】

【課題】医療画像に対する部位別の最適な検査支援モデル選択とリアルタイム処理の両立を可能とする医療画像処理装置及び内視鏡システムを提供する。
【解決手段】プロセッサと、医療画像における撮像部位を分類する分類器と、医療画像における注目領域を認識する認識器であって、撮像部位ごとに対応する複数の認識器を備え、プロセッサは、第１医療画像と、第１医療画像よりも後の時刻に取得された第２医療画像とを有する複数の医療画像を取得し、分類器から第１医療画像における撮像部位の分類結果を取得し、第１医療画像の分類結果に対応する認識器を複数の認識器から選択し、選択した認識器から第２医療画像における注目領域の認識結果を取得する。
【選択図】図７

【特許請求の範囲】

【請求項1】

プロセッサと、
医療画像における撮像部位を分類する分類器と、
前記医療画像における注目領域を認識する認識器であって、前記撮像部位ごとに対応する複数の前記認識器を備え、
前記プロセッサは、
第１医療画像と、前記第１医療画像よりも後の時刻に取得された第２医療画像とを有する複数の医療画像を取得し、
前記分類器から前記第１医療画像における前記撮像部位の分類結果を取得し、
前記第１医療画像の前記分類結果に対応する前記認識器を複数の前記認識器から選択し、
選択した前記認識器から前記第２医療画像における前記注目領域の認識結果を取得する医療画像処理装置。

【請求項2】

前記プロセッサは、
前記分類器による前記第２医療画像における前記撮像部位の分類と、
前記認識器による前記第２医療画像における前記注目領域の認識を並列処理する請求項１記載の医療画像処理装置。

【請求項3】

前記プロセッサは、
前記認識結果を報知する請求項１記載の医療画像処理装置。

【請求項4】

前記プロセッサは、
前記認識結果を用いて表示用画像を作成し、
前記表示用画像を画面表示することで報知する請求項３記載の医療画像処理装置。

【請求項5】

前記プロセッサは、
前記分類器による前記第２医療画像よりも後の時刻に取得された第３医療画像における前記撮像部位の分類と、
前記第２医療画像における前記撮像部位に基づいた前記認識器による前記第３医療画像における前記注目領域の認識と、
前記第２医療画像における前記認識結果の前記表示用画像の作成を並列処理する請求項４記載の医療画像処理装置。

【請求項6】

前記プロセッサは、
前記第３医療画像に、前記認識結果を重畳して前記表示用画像を作成する請求項５記載の医療画像処理装置。

【請求項7】

前記プロセッサは、
前記認識結果に加えて、前記注目領域の認識に用いた前記認識器の種類を報知する請求項３記載の医療画像処理装置。

【請求項8】

前記プロセッサは、
前記第１医療画像と、前記第２医療画像よりも前の時刻に取得された前記第１医療画像の時間的近傍の複数の前記医療画像を用いて前記分類結果を取得する請求項１記載の医療画像処理装置。

【請求項9】

前記プロセッサは、
前記分類結果と、前の時刻における認識器の選択履歴に応じて、前記認識器を選択する請求項８記載の医療画像処理装置。

【請求項10】

前記プロセッサは、
前記選択履歴に基づいて、前記時間的近傍の複数の前記医療画像の前記分類結果に重み付けを行い、
重み付け済みの前記分類結果を用いて前記認識器を選択する請求項９記載の医療画像処理装置。

【請求項11】

前記プロセッサは、
前記分類器から前記撮像部位ごとに確信度を算出した前記分類結果を取得し、
前記確信度が特定の基準値未満の場合は、前記選択履歴から前の時刻の前記認識器の使用を継続する請求項９記載の医療画像処理装置。

【請求項12】

複数の前記認識器は、それぞれ異なるデータセットで学習された学習済の深層学習モデルである請求項１記載の医療画像処理装置。

【請求項13】

前記プロセッサは、
前記分類結果が第１部位である場合、前記第１部位と異なる部位で撮像された画像よりも前記第１部位で撮像された画像を多く含むデータセットで学習された前記認識器を選択する請求項１２記載の医療画像処理装置。

【請求項14】

複数の前記認識器は、それぞれ異なる前記注目領域を認識する機能を有し、
選択された前記認識器は、前記医療画像における前記注目領域に対する位置検出、種別判定、及び領域測定のうちの少なくともいずれかを実行して前記認識結果を取得する請求項１記載の医療画像処理装置。

【請求項15】

前記分類器と、複数の前記認識器を統合した判別器であって、
前記医療画像における中間特徴量を算出し、前記中間特徴量から前記撮像部位を分類し、かつ前記中間特徴量及び前記撮像部位から前記注目領域を認識する前記判別器を備え、
前記プロセッサは、
前記第１医療画像から算出した第１中間特徴量と、前記第２医療画像から算出した第２中間特徴量を取得し、
前記第１中間特徴量に基づく前記分類結果を取得し、
複数の深層学習モデルから前記第１中間特徴量における前記分類結果に対応する前記深層学習モデルを選択し、
選択した前記深層学習モデルから前記第２中間特徴量における前記注目領域の認識結果を取得する請求項１記載の医療画像処理装置。

【請求項16】

請求項１ないし１５のいずれか１項記載の医療画像処理装置と、
前記医療画像を取得する内視鏡とを有する内視鏡システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医療画像処理装置及び内視鏡システムに関する。

【背景技術】

【0002】

内視鏡や超音波診断装置では一度の検査で複数部位の観察を行う。そのような医療機器に対して病変検出や病変鑑別などの機械学習による診断支援機能を実現する場合、部位によって画像特徴が異なるため、同一の機械学習のモデルでは所望の性能を達成できない問題がある。このような場合、部位毎に最適化した学習済みモデルを搭載し、検査中の部位分類結果に応じて、検査支援を行う学習済みモデルを使い分ける構成が考えられる。

【0003】

検査中のユーザは煩雑な手技が求められるため、分類結果に応じて自動的に選択し、切り替わる構成が好ましい。つまり、部位別の検査支援モデルとは別に、医療画像から撮像部位を分類する部位分類の学習済みモデルを用意し、その結果に応じて検査支援の学習済みを選択する。具体的には、特許文献１では、ＣＴ（Computed Tomography）画像やＭＲＩ（Magnetic Resonance Imaging）画像に対して、病変位置情報を取得して、位置に応じて病変の同一性判定を行う。特許文献２では、カプセル内視鏡の画像データから部位を特定し、部位に応じた解析を行う。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３－１２３５２８号公報

【特許文献2】特開２０１２－２４９９５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

一方で、特許文献１では対象が静止画であり動画に対する処理を想定しておらず、特許文献２では、同一画像に対して部位特定と解析を行うため高速処理が困難であるが、内視鏡や超音波診断装置といった動画的に検査を行うモダリティに対して機械学習等による支援を行う場合、検査中に処理結果をリアルタイムに出力することが求められる。

【0006】

本発明は、医療画像に対する部位別の最適な検査支援モデルの選択とリアルタイム処理の両立を可能とする医療画像処理装置及び内視鏡システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の医療画像処理装置は、プロセッサと、医療画像における撮像部位を分類する分類器と、医療画像における注目領域を認識する認識器であって、撮像部位ごとに対応する複数の認識器を備え、プロセッサは、第１医療画像と、第１医療画像よりも後の時刻に取得された第２医療画像とを有する複数の医療画像を取得し、分類器から第１医療画像における撮像部位の分類結果を取得し、第１医療画像の分類結果に対応する認識器を複数の認識器から選択し、選択した認識器から第２医療画像における注目領域の認識結果を取得する。

【0008】

分類器による第２医療画像における撮像部位の分類と、認識器による第２医療画像における注目領域の認識を並列処理することが好ましい。

【0009】

認識結果を報知することが好ましい。

【0010】

認識結果を用いて表示用画像を作成し、表示用画像を画面表示することで報知することが好ましい。

【0011】

分類器による第２医療画像よりも後の時刻に取得された第３医療画像における撮像部位の分類と、第２医療画像における撮像部位に基づいた認識器による第３医療画像における注目領域の認識と、第２医療画像における認識結果の表示用画像の作成を並列処理することが好ましい。

【0012】

第３医療画像に、認識結果を重畳して表示用画像を作成することが好ましい。

【0013】

認識結果に加えて、注目領域の認識に用いた認識器の種類を報知することが好ましい。

【0014】

第１医療画像と、第２医療画像よりも前の時刻に取得された第１医療画像の時間的近傍の複数の医療画像を用いて分類結果を取得することが好ましい。

【0015】

分類結果と、前の時刻における認識器の選択履歴に応じて、認識器を選択することが好ましい。

【0016】

選択履歴に基づいて、時間的近傍の複数の医療画像の分類結果に重み付けを行い、重み付け済みの分類結果を用いて認識器を選択することが好ましい。

【0017】

分類器から撮像部位ごとに確信度を算出した分類結果を取得し、確信度が特定の基準値未満の場合は、選択履歴から前の時刻の認識器の使用を継続することが好ましい。

【0018】

複数の認識器は、それぞれ異なるデータセットで学習された学習済の深層学習モデルであることが好ましい。

【0019】

分類結果が第１部位である場合、第１部位と異なる部位で撮像された画像よりも第１部位で撮像された画像を多く含むデータセットで学習された認識器を選択することが好ましい。

【0020】

複数の認識器は、それぞれ異なる注目領域を認識する機能を有し、選択された認識器は、医療画像における注目領域に対する位置検出、種別判定、及び領域測定のうちの少なくともいずれかを実行して認識結果を取得することが好ましい。

【0021】

分類器と、複数の認識器を統合した判別器であって、医療画像における中間特徴量を算出し、中間特徴量から撮像部位を分類し、かつ中間特徴量及び撮像部位から注目領域を認識する判別器を備え、第１医療画像から算出した第１中間特徴量と、第２医療画像から算出した第２中間特徴量を取得し、第１中間特徴量に基づく分類結果を取得し、複数の深層学習モデルから第１中間特徴量における分類結果に対応する深層学習モデルを選択し、選択した深層学習モデルから第２中間特徴量における注目領域の認識結果を取得することが好ましい。

【0022】

医療画像処理装置と、医療画像を取得する内視鏡とを有する内視鏡システムであることが好ましい。

【発明の効果】

【0023】

本発明によれば、医療画像に対する部位別の最適な検査支援モデルの選択とリアルタイム処理の両立を可能とする。

【図面の簡単な説明】

【0024】

【図1】医療画像処理装置の接続機器を示す説明図である。

【図2】医療画像処理装置が取得する時系列の医療画像群の説明図である。

【図3】医療画像処理装置の機能を示すブロック図である。

【図4】部位分類を行う対象の医療画像の説明図である。

【図5】分類結果を用いて注目領域認識を行う医療画像の説明図である

【図6】部位分類と注目領域認識において、（Ａ）直列処理を行う場合と、（Ｂ）並列処理を行う場合の説明図である。

【図7】部位分類と、前の時刻の分類結果を用いる注目領域認識の並列処理の説明図である。

【図8】第２選択モードにおける認識器の選択方法の説明図である。

【図9】第３選択モードにおける認識器の選択方法の説明図である。

【図10】第４選択モードにおける認識器の選択方法の説明図である。

【図11】部位分類と、前の時刻の分類結果を用いる注目領域認識と、前の時刻の認識結果を用いる画像作成の並列処理の説明図である。

【図12】１フレームごとに部位分類、注目領域検出及び画像作成の並列処理を行う説明図である。

【図13】表示用画像を表示した画像図である。

【図14】シェーマ図を画面表示する説明図である。

【図15】本発明の処理の一連の流れを示すフローチャートである。

【図16】第２実施形態における医療画像処理装置の機能を示すブロック図である。

【図17】第２実施形態における部位分類、注目領域検出及び表示用画像作成を行う並列処理の説明図である。

【発明を実施するための形態】

【0025】

［第１実施形態］
図１は、本発明の実施の形態の医療画像処理システム１０における医療画像処理装置１１の接続機器を示す図である。医療画像処理システム１０は、医療画像処理装置１１と、データベース１２と、内視鏡１３ａを含む内視鏡システム１３と、ユーザインターフェース（ＵＩ）１４を有する。医療画像処理装置１１は、データベース１２、内視鏡システム１３、ユーザインターフェース１４と電気的に接続する。また、医療画像処理システム１０に代えて、内視鏡システム１３が医療画像処理装置１１を備える構成であってもよい。

【0026】

データベース１２は、取得した画像を保管し、医療画像処理装置１１とデータの送受信ができる機器であり、ＵＳＢ(Universal Serial Bus)やＨＤＤ（Hard Disc Drive）などの記録媒体でも良い。

【0027】

ユーザインターフェース１４は、タッチパネルなどの報知手段と入力手段が一体化しデバイスでも良いし、ディスプレイとキーボードやマウスなどの報知手段と入力手段が異なるデバイスでも良い。また、それらデバイスをすべて備えてもよい。ユーザインターフェース１４における入力手段は、キーボードやマウスに加えて、又は代わりにフットペダル、音声認識器や内視鏡１３ａのスイッチなど医療機器に備わる入力手段を用いて入力を行ってもよい。

【0028】

図２に示すように、医療画像処理装置１１は、内視鏡システム１３や他の医療機器による医療検査で撮影した医療画像群１７を取得する。医療画像群１７は、時間的に連続した複数の医療画像１８により構成される時系列画像である。医療画像１８は、動画を構成するフレーム、又は静止画である。医療検査の撮影において特に指定がない場合は、照明光は白色光を使用し、１秒間に６０フレーム（６０ｆｐｓ（frame per second））の映像信号を取得し、撮影時間を記録する。また、映像信号が６０ｆｐｓの場合は１００分の１秒単位で時刻を計測することが好ましい。

【0029】

図３に示すように、医療画像処理装置１１においては、プロセッサによって構成される中央制御部（図示しない）によって、プログラム用メモリ内のプログラムが動作することで、入力受信部（図示しない）、画像取得部２０、部位分類器２１、分類結果決定部２２、注目領域認識部２４、認識結果取得部２９、画像作成部３０、及び出力制御部３１の機能を実現し、制御する。また注目領域認識部２４は、分類結果記憶部２５、第１認識器２６、第２認識器２７、及び第３認識器２８を有する。

【0030】

病変や臓器は撮像部位によって大きく異なるため、注目領域認識部２４は、部位毎に最適化した学習済みモデルを有する。部位別に学習済みモデルを撮像部位に応じて切り替えることで、常に高性能の学習済みモデルによる支援が可能となる。そのため、医療画像処理装置１１は、医療画像１８における撮像部位を分類する部位分類器２１と、医療画像１８における注目領域Ｒを認識する認識器であって、撮像部位ごとに対応する複数の認識器を備える。

【0031】

部位分類器２１が分類する撮像部位と、各認識器が学習した撮像部位の種類は対応させる。対応関係は、一致させるものでも良いし、分類結果が「胃底部」や「胃体部」の場合に「胃」で学習した認識器を選択するように対応させるものでも良い。これにより、同一検査中の複数部位を同一の学習済みモデルで網羅するよりも、精度の高い注目領域認識に対する病変の検出、鑑別、測定などの検査支援ができる。

【0032】

入力受信部は、ユーザインターフェース１４によるユーザからの入力を受け付ける。医療画像処理装置１１には、画像処理などの処理に関するプログラムがプログラム用メモリ（図示しない）に格納されている。

【0033】

画像取得部２０は、内視鏡システム１３などからフレーム画像である医療画像１８を取得する。医療画像１８を取得する毎に部位分類器２１、注目領域認識部２４、及び画像作成部３０に入力し、部位分類、注目領域認識、及び画像編集を実行させる。

【0034】

部位分類器２１は、医療画像１８が撮影した生体の臓器や組織などの部位の分類処理に必要な学習済みモデルの機能を有し、１枚ずつ部位分類処理を実行する。部位分類器２１は、機械学習を行うニューラルネットワークからなるコンピュータアルゴリズムであるＣＮＮ（Convolutional neural network）を備え、あらかじめ食道、胃、十二指腸、鼻腔、口腔、咽頭などの上部内視鏡検査で撮影される可能性のある部位を網羅したデータで学習し、入力された医療画像１８における部位分類の推論や、分類した部位の確信度算出を行う。推論した部位およびその確信度を分類結果とする。

【0035】

図４に示すように、医療画像１８を部位分類器２１に入力した場合、機械学習による推論で医療画像１８が該当する分類する部位の分類処理を行い、撮像部位を推論する。推論部位は、例えば、内視鏡で上部消化管を観察する場合は、医療画像１８の食道、胃、十二指腸などがある。また、推論した部位に対応する確信度を算出し、撮像部位と確信度を有する分類結果を分類結果決定部２２に送信する。

【0036】

確信度は、あらかじめ学習していた学習内容との一致率や、各分類対象における誤検出率、画質情報などを用いて学習モデルの推論により算出される分類結果の信頼性を示す指標であり、例えば、パーセンテージ（％）を用いて表す。

【0037】

分類結果決定部２２は、部位分類器２１から撮像部位ごとに確信度を算出した分類結果を取得し、確信度が予め設定した閾値などの特定の基準値以上であるか否かを判定する。確信度は、部位分類器２１の分類において、学習したデータセットとの一致率などから算出する。分類結果は、確信度が特定の基準値以上である場合は注目領域認識部２４に送信し、認識器の選択に使用できるが、確信度が特定の基準値未満の場合は、分類結果を「分類不能」に変更し、注目領域認識部２４に出力する。

【0038】

注目領域認識部２４は、分類結果決定部２２から出力された分類結果により、第１認識器２６、第２認識器２７、第３認識器２８から注目領域認識処理に用いる認識器を決定し、認識器を用いて入力された医療画像１８に対する注目領域認識を実行させる。認識器の決定には、分類結果記憶部２５に記憶した前の時刻の分類結果を用いてもよい。また、一定期間の認識器の選択履歴を記憶し、過去の選択履歴を認識器の選択に用いてもよい。

【0039】

分類結果記憶部２５では、注目領域認識部２４が部位分類器２１から取得した分類結果の一時保存を行う。記憶した分類結果は、後述する選択モードに応じて認識器の選択に用いる。一時保存は、医療画像処理装置に実現する保存メモリ（図示しない）に行うことが好ましい。また、保存メモリの代わりにデータベース１２がその機能を備えても良い。

【0040】

各認識器は、機械学習を行うニューラルネットワークからなるコンピュータアルゴリズムであるＣＮＮ（Convolutional neural network）を備え、あらかじめ実施した生体内のそれぞれの部位の学習内容に応じて、入力された医療画像１８が撮影した特定の被写体の認識を行う。注目領域の認識による診断支援は、病変の検出、病変の鑑別、臓器の検出、病変の測定などがある。各認識器は、それぞれ異なるデータセットで学習された学習済の深層学習モデルの機能を有する。

【0041】

各認識器における学習は、対応する撮像部位で撮影された画像を、部位分類器２１による分類対象の他の撮像部位で撮影された画像よりも多く含むデータセットを用いる。例えば、「食道」の医療画像に対して注目領域認識を行う認識器は、「食道」と異なる部位である「胃」や「十二指腸」で撮像された画像よりも、「食道」で撮像された画像を多く含むデータセットで学習された認識器である。各認識器は、部位分類器２１による分類対象の部位で撮像された画像で構成されたデータセットで学習を行うことが好ましい。

【0042】

図５に示すように、注目領域認識部２４は、分類結果決定部２２からの分類結果と、画像取得部２０からの医療画像１８の入力を受け付け、分類結果に応じて医療画像１８の認識処理に用いる認識器を選択する。注目領域認識では、入力された医療画像１８ごとの特定の被写体など注目領域Ｒの有無の判定を行う。また、有無の判定に加え、認識器は、それぞれ異なる注目領域認識の機能を有し、選択された認識器は、注目領域Ｒの位置検出、種別判定及びサイズ測定の少なくともいずれかを実行して認識結果を取得することが好ましい。注目領域Ｒとして認識する特定の被写体は、病変の可能性が高い被写体や、治療痕などである。

【0043】

具体的には、各認識器は、対応する撮像部位に応じて位置検出機能、種別判定機能、又はサイズ測定機能の少なくともいずれかを有する。位置検出機能は、注目領域Ｒに対する臓器内又は画像内の位置を検出し、種別判定機能は、注目領域Ｒが病変であるか否か、又は腫瘍や出血などの種類を判別し、サイズ測定機能は注目領域Ｒの全長などのサイズを測定する。例えば「食道」に対応する認識器では注目領域Ｒの位置検出機能を動作させ、「胃」に対応する認識器では注目領域の種別判定機能も動作させる。

【0044】

認識器は４種類以上備えてもよく、その場合は、部位分類器２１による分類結果が各認識器に対応するように分類する。例えば、「鼻腔」、「口腔」、「咽頭」についてそれぞれ学習した認識器などである。他にも、「胃」代えて、「胃底部」、「胃体部」及び「前庭部」でそれぞれ異なる認識器を備え、部位分類器２１は「胃」に代えて「胃底部」、「胃体部」及び「前庭部」について分類できるように学習させたものを用いてもよい。

【0045】

認識結果取得部２９は、各認識の認識結果、例えば、注目領域Ｒの位置、種別、又はサイズなどの情報を取得する。認識結果は、少なくとも医療画像１８内に注目領域Ｒの有無の判別結果と、使用した認識器の種類を有する。

【0046】

画像作成部３０は、認識結果及び分類結果を取得し、表示用画像の作成を行う。表示用画像は、認識結果や分類結果を医療画像１８やシェーマ図の重畳表示により作成する。作成した表示用画像は出力制御部３１に送信する。分類結果は、認識器の選択に使用したタイミングの医療画像１８のものである。

【0047】

出力制御部３１は、画像作成部３０で作成した表示用画像の表示などの分類結果及び認識結果の報知を画面表示させる制御を行う。画像表示とは別に、音声による報知を行ってもよい。表示用画像の表示を行う場合は、医療画像１８は同時に画面表示してもよいし、表示用画像のみによる表示でも良い。表示用画像を表示せずに音声報知する場合は、医療画像群１７を表示する。

【0048】

画像取得部２０がデータベース１２又は内視鏡システム１３から取得した医療画像群１７は、医療画像１８として１枚ずつ部位分類処理及び認識処理が行われる。分類した撮像部位について学習済みの認識器を用いることで、精度の高い注目領域認識ができる。

【0049】

一方、学習済みモデルを用いた画像の分類や認識は、処理時間を短くするためには、モデルサイズを削減する必要があり、その結果として精度が低下する。医療画像処理装置１１は、医療画像群１７のリアルタイムの部位分類と注目領域認識を行うため、どちらも十分な精度を維持するための処理時間を確保する必要がある。

【0050】

図６において、図６（Ａ）に示すように、部位分類処理を行った医療画像１８に対して注目領域認識処理を行う直列処理では、一定の精度を維持した状態では、部位分類器２１による処理時間と認識器による処理時間の合計がリアルタイムで処理可能な時間に収まらず、精度とリアルタイム処理を両立できない場合がある。そのため、図６（Ｂ）に示すように、前のフレームの分類結果に対応する認識器を選択することで、部位分類器２１による医療画像１８における部位分類と、いずれかの認識器による医療画像１８における注目領域認識を並列処理する。

【0051】

内視鏡や超音波診断の場合は連続的に検査を行うため、フレーム単位で部位の切替が頻繁に起こることはない。そのため、前フレームの部位認識結果を現在フレームに適用しても悪影響はほぼないといえる。なお、各認識器は、認識処理における注目領域に対する位置検出、サイズ測定、種類判別などの機能を任意に実行する場合、必要な処理時間に差異が生じうる。

【0052】

部位分類と注目領域認識の並列処理を行うことで、部位分類と注目領域認識の処理時間を個別に確保されるため、高性能な学習済みモデルを部位分類及び注目領域認識に用いることができる。

【0053】

認識結果は、画面表示や音声などを用いて報知することが好ましい。リアルタイム観察において、注目領域の認識した際にアラートを発するのみなど、画像作成を行わず注目領域の有無のみを区別する報知であれば、注目領域認識と連続して処理を行ってもよい。一方、注目領域の具体的な認識結果を報知する場合は、部位分類器２１の部位分類及び注目領域認識部２４の注目領域認識に加えて、画像作成部３０による画像編集の並列処理を行う。

【0054】

本実施形態における実施例について、第１実施例では認識結果において注目領域の有無のみの報知を行う並列処理を、第２実施例では認識結果の画像表示を行う並列処理を説明する。第１実施例及び第２実施例では、第１認識器２６は「食道」、第２認識器２７は「胃」、及び第３認識器２８は「十二指腸」の分類結果に対応する認識器とする。

【0055】

第１実施例について説明する。第１実施例では、リアルタイム観察では注目領域の有無のみを認識結果として出力する。リアルタイム処理時間内に、認識器による認識結果をユーザに報知する。報知方法は、例えば処理時間が短いビープ音などの音声や、定型の記号や文字の画面表示である。

【0056】

図７に示すように、任意の時刻Ｔ１で行う並列処理において、時刻Ｔ０の医療画像１８に対して行われた分類結果を時刻Ｔ１で使用するため、画像取得部２０は、時刻Ｔ０の医療画像１８と、時刻Ｔ０の医療画像１８よりも後の時刻に取得された時刻Ｔ１の医療画像１８とを有する時系列の医療画像である医療画像群１７を取得する。時刻Ｔ０からＴ１にかけて注目領域認識部２４は、部位分類器２１から時刻Ｔ０の医療画像１８における撮像部位の分類結果を取得し、時刻Ｔ０の医療画像１８分類結果に対応する認識器を、第１認識器２６、第２認識器２７、又は第３認識器２８から選択し、注目領域認識を実行する。選択された認識器から時刻Ｔ１の医療画像１８における注目領域の認識結果を取得する。取得した認識結果は、認識結果取得部２９に伝達される。

【0057】

例えば、分類結果決定部２２が時刻Ｔ０の部位分類において「食道」の分類結果を取得した場合は、時刻Ｔ０の次に並列処理を行うタイミングである時刻Ｔ１において注目領域認識に第１認識器２６を選択して、時刻Ｔ１の医療画像１８に対する注目領域認識を行う。また、時刻Ｔ１の医療画像１８の部位分類を並列処理する。

【0058】

分類結果決定部２２が時刻Ｔ１の部位分類において「胃」の分類結果を取得した場合は、時刻Ｔ１の次に並列処理を行うタイミングである時刻Ｔ２における認識器に第２認識器２７を選択する。時刻Ｔ２における部位分類でも「胃」の分類結果となるように、同じ分類結果が連続して得られる場合は、注目領域認識部２４では、選択状況をリセットして再び選択するのではなく、選択状況を継続させてもよい。

【0059】

分類結果決定部２２は、部位分類器２１から撮像部位ごとに確信度を算出した分類結果を取得し、確信度が予め設定した閾値などの特定の基準値以上であるか否か判別する。確信度が特定の基準値未満である場合は、推論した撮像部位に代えて「分類不能」とする分類結果を注目領域認識部２４に送信する。注目領域認識部２４が「分類不能」の分類結果を取得した場合は、認識器選択履歴から前の時刻に選択した認識器の使用を継続して注目領域認識を行う。

【0060】

認識器の選択に関して、１つ前の並列処理で取得した分類結果を用いるだけではなく、複数の前の時刻の分類結果を用いて認識器の選択を行ってもよい。例えば、分類結果決定部２２は、第１～第４選択モードを備え、各選択モードは、認識器の選択をそれぞれ異なるルールで実行する。各モードの切替はユーザが任意に実行できることが好ましい。また、各選択モードの内容を組み合わせて実行してもよい。

【0061】

第１選択モードは、上述したように、直前の並列処理における医療画像１８に対して確信度判定をした分類結果を使用して、認識器を選択する。

【0062】

第２選択モードは、並列処理を行った医療画像１８と、その時間的近傍の複数の医療画像１８を用いて、分類結果を決定する。時刻Ｔ１で並列処理を行う場合、時刻Ｔ０で並列処理を行った医療画像１８と、一時記憶された時刻Ｔ０から一定範囲内に取得された医療画像１８の分類結果を統合する。なお、認識器の選択に用いる複数の医療画像１８は、全てが並列処理に用いる時刻Ｔ１の医療画像１８よりも前のタイミングで取得されたものである。

【0063】

図８に示すように、最新の５回分の分類結果を統合する場合、時刻Ｔ５において分類結果記憶部２５は、時刻Ｔ０～Ｔ４の分類結果を記憶し、注目領域認識部２４は、最も多い分類結果を統合結果として認識器の選択に用いる。直前の時刻である時刻Ｔ４の分類結果「食道」があっても、多数決で「胃」が多い場合は、第２認識器２７を選択する。時間的近傍の分類結果は、少なくとも多数決が可能な３回分を用いる。統合結果は、複数の分類結果による多数決に代えて、ＣＮＮ結果の平均化や外れ値除去を行うことで取得してもよい。複数フレームでの結果を統合して用いることで、より精度良く分類することができる。

【0064】

第３選択モードは、取得した医療画像１８の分類結果と、前の時刻における認識器選択履歴に応じて、認識器を選択する。前回の並列処理にける認識器選択履歴と、取得した分類結果の撮像部位を比較し、撮像部位の分類結果の変遷が、人体構造上自然であるか不自然であるかを判断することで誤分類の可能性が高い分類結果を特定する。上部消化管では、少なくとも「食道」、「胃」、「十二指腸」の人体構造の順番を記憶する。

【0065】

図９に示すように、例えば時刻Ｔ１までの並列処理において連続して「食道」が検出された場合は、時刻Ｔ２までの並列処理において変遷状況が正常と判定され、「食道」の撮像部位に対応する第１認識器２６が選択される。時刻Ｔ２における並列処理に関して、「十二指腸」の分類結果を取得した場合は、誤分類の可能性が高い異常状態と判断し、時刻Ｔ３に使用する認識器選択において「十二指腸」の分類結果は利用せず、前回の選択結果である第２認識器２７を継続して利用する。誤った認識器を選択すること、及び誤った認識器による注目領域認識の精度低下や想定外の挙動の発生を防止することができる。誤分類の可能性が高い分類結果を除外することで適切な認識器を選択肢、精度の高い注目領域認識を行う。

【0066】

第４選択モードは、前の時刻における認識器選択履歴に基づいて、時間的近傍の複数の医療画像１８の分類結果に重み付けを行い、重み付けを行った分類結果を統合した統合結果から認識器を選択する。例えば、一定期間の各分類結果の検出回数に重み付け係数をかけてスコアを算出する。重み付けを行うため、使用する時間的近傍の医療画像１８は、２つでもよい。

【0067】

図１０に示すように、前回の選択結果が第２認識器２７である場合、「食道」に対応しない部位の分類結果は等倍とし、「食道」に対応する部位を１．５倍とする重み付けを行いスコア算出する。なお、「分類不能」の分類結果はスコア算出において採用しない。算出したスコアの合計値が最も高い部位を統合結果とし、統合結果に対応する認識器を選択する。時刻Ｔ０～Ｔ４において、「食道」が３回、「十二指腸」が１回、「分類不能」が１回の分類結果である場合、スコアは食道に対しては４．５、十二指腸に対しては１となり、時刻Ｔ５の並列処理には第２認識器２７を選択する。

【0068】

第２実施例について説明する。第２実施例では、リアルタイムで表示用画像を作成し、画面表示することで報知する。内視鏡による検査において、リアルタイムでの診断や治療の支援ができる表示用画像を作成することで同一検査中に治療の必要性の判断ができる。

【0069】

図１１に示すように、部位分類、注目領域認識、及び表示用画像作成を並列処理で行う場合は、注目領域認識は１つ前のタイミングの分類結果を使用し、表示用画像作成は２つ前のタイミングの分類結果に基づいた１つ前のタイミングの認識結果を使用する。具体的には、時刻Ｔ２における並列処理では、部位分類器２１による時刻Ｔ２の医療画像１８における撮像部位の分類と、時刻Ｔ１の医療画像１８における撮像部位に基づいた認識器による時刻Ｔ２の医療画像１８における注目領域の認識と、時刻Ｔ１の医療画像における認識結果を時刻Ｔ２の医療画像１８に重畳して表示用画像４０の作成を行う。

【0070】

図１２に示すように、医療画像群１７が有する複数の医療画像１８において１フレームずつ並列処理を行う場合は、２つ前のフレームにおける分類結果を用いた、１つ前のフレームにおける認識結果を用いて画像作成を行う。時刻Ｔ０で第ｎフレーム、時刻Ｔ１で第ｎ＋１フレーム、時刻Ｔ２で第ｎ＋２フレームの医療画像１８を取得する並列処理について説明する。時刻Ｔ２の並列処理は、部位分類器２１で第ｎ＋２フレームの部位分類を行い、第ｎ＋１フレームの分類結果に基づいた認識器で第ｎ＋２フレームの注目領域認識を行い、第ｎ＋１フレームの認識結果を用いて画像作成部３０で第ｎ＋２フレームを編集して表示用画像を作成する。作成した表示用画像はリアルタイムで画面表示される。

【0071】

図１３に示すように、画像表示には、画像作成部３０で認識結果に基づいて作成した表示用画像４０を用いる。表示用画像４０は、事前設定や認識器が実現する機能に応じてマーカー４１、種別表示欄４２、サイズ表示欄４３の表示または非表示は適宜決定される。使用認識器表示欄４４は、注目領域認識に用いた認識器の選択結果を表示する。

【0072】

医療画像１８に注目領域Ｒの位置を強調するマーカー４１を重畳表示し、種別表示欄４２は、認識器で注目領域Ｒの鑑別を実施した際に病変であるか否か、病変である場合は病変の種類を表示する。サイズ表示欄４３は、認識器で注目領域Ｒの測定を実施した際に得られた測定結果を表示する。使用認識器表示欄４４では、注目領域Ｒの認識に用いた認識器の種類を表示する。

【0073】

種別表示欄４２や、サイズ表示欄４３、及び使用認識器表示欄４４は、医療画像１８に重畳させて表示しても良いし、重畳せずに医療画像１８の領域の隣など重畳させずに表示してもよい。

【0074】

図１４に示すように、注目領域Ｒの情報を重畳表示したシェーマ図４５を作成し、表示用画像４０と共に画面表示してもよい。シェーマ図４５は、検査対象の生体範囲の模式図などであり、例えば、食道から十二指腸までの範囲を表示する。シェーマ図４５では、注目領域Ｒが被験者の体内のどの位置で検出されたかを報知できる。また、注目領域Ｒを複数検出した場合に、それぞれの注目領域Ｒの位置を同時に表示してもよい。

【0075】

図１５に示すフローチャートに沿って、本実施形態の医療画像処理の一連の流れについて説明する。医療画像処理装置１１は、医療検査により撮像した医療画像群１７を構成する時刻Ｔ０の医療画像１８を取得する（ステップＳＴ１００）。取得した医療画像１８を部位分類器２１に入力し、部位分類を行う（ステップＳＴ１１０）。取得した分類結果は、注目領域認識部２４に送信し、分類結果に対応する認識器を選択する（ステップＳＴ１２０）。

【0076】

選択した認識に入力する時刻Ｔ０の次のタイミングである時刻Ｔ１の医療画像１８を取得する（ステップＳＴ１３０）。選択した認識器を用いて時刻Ｔ１の医療画像１８の注目領域認識を行う（ステップＳＴ１４０）。取得した認識結果は、画像作成部３０に送信する（ステップＳＴ１５０）。

【0077】

画像作成部３０では、認識結果の表示用画像４０の作成に用いる時刻Ｔ１の次のタイミングである時刻Ｔ２の医療画像１８を取得する（ステップＳＴ１６０）。時刻Ｔ２の医療画像１８と認識結果を用いた表示用画像４０を作成する（ステップＳＴ１７０）。作成した表示用画像４０が、画面に表示することで認識結果を報知する（ステップＳＴ１８０）。

【0078】

以上の内容により、部位分類と注目領域の並列処理を行うことで、部位別の最適な検査支援モデルである認識器の選択とリアルタイム処理の両立が可能になる。

【0079】

［第２実施形態］
上記第１実施形態では、並列処理において医療画像１８毎に部位分類器２１から分類した部位分類結果を用いて、認識器の選択を制御する形態である。それに対して、部位分類器２１と撮像部位ごとに対応する複数の認識器の機能を統合した判定器を備え、中間特徴量の算出は共通の処理として実行する形態について説明する。なお、その他の上記実施形態と共通する内容に関しては説明を省略する。

【0080】

図１６に示すように、第２実施形態における医療画像処置装置５０では、医療画像処置装置５０では、画像取得部２０、統合判定器６０、認識結果取得部２９、画像作成部３０、及び出力制御部３１の機能を有する。統合判定器６０は、第１実施形態の部位分類器２１、分類結果決定部２２、及び注目領域認識部２４に代えて、医療画像１８に対する部位分類及び注目領域認識の並列処理を行う。

【0081】

統合判定器６０は、中間特徴量算出部６１と、部位分類部６２と、分類結果記憶部２５と、第１認識部６４と、第２認識部６５と、第３認識部６６を統合した機能を有する。統合判定器６０は、画像取得部２０から伝達された医療画像１８に対して、中間特徴量算出部６１で中間特徴量の算出を行い、算出した中間特徴量を部位分類部６２と、選択した認識部のいずれかに伝達する。

【0082】

中間特徴量算出部６１は、部位分類と、注目領域認識において共通する、医療画像１８の中間特量量の算出を行う。算出した中間特徴量は、部位分類部６２への伝達と、分類結果取得部６３で選択した認識部のいずれかへの伝達を行う。

【0083】

部位分類部６２は、取得した中間特徴量における部位分類処理を行う。部位分類部６２は、第１実施形態の部位分類器２１の機能を備え、医療画像１８に代えて中間特徴量の入力を受け付けて部位分類を実行することが好ましい。

【0084】

分類結果取得部６３は、部位分類部６２による分類結果を取得し、分類結果に対応する注目領域認識を行う認識部を、第１認識部６４、第２認識部６５、及び第３認識部６６のいずれかから選択する。選択された認識部に中間特徴量が伝達される。また、第１実施形態における分類結果決定部２２及び分類結果記憶部２５の機能を備え、第１～第４選択モードを切り替えて実行させてもよい。

【0085】

第１認識部６４は、分類結果取得部６３に選択された場合、伝達された中間特徴量における注目領域認識を行う。第１認識部６４は、第１実施形態の第１認識器２６の機能を備え、医療画像１８に代えて中間特徴量の入力を受け付けて注目領域認識を実行することが好ましい。

【0086】

第１認識部６４と同様に、第２認識部６５は第２認識器２７の機能を、第３認識部６６は第３認識器２８の機能を備え、医療画像１８に代えて中間特徴量の入力を受け付けて注目領域認識を実行することが好ましい。なお、各部位に対応し、中間特徴量から認識処理を行う深層学習モデルを各認識部に備えさせてもよい。

【0087】

並列処理では、統合判定器６０では、部位分類部６２から前の並列処理における中間特徴量に基づく分類結果を取得し、取得した医療画像１８において中間特徴量の注目領域認識に用いる。各認識部から前の並列処理における分類結果に対応する認識部を選択し、選択した認識部から中間特徴量における注目領域の認識結果を取得する。

【0088】

図１７に示すように、時刻Ｔ１における並列処理では、時刻Ｔ０の医療画像１８から分類した分類結果と、時刻Ｔ１の医療画像１８から算出した中間特徴量を使用して部位分類及び注目領域認識を行う。また、注目領域認識による認識結果は、認識結果取得部２９に送信する。例えば、統合判定器６０では、時刻Ｔ０における中間特徴量に対する「食道」の分類結果を時刻Ｔ１の中間特徴量算出時までに取得し、時刻Ｔ０の中間特徴量の分類結果である「食道」に対応する認識部である第１認識部６４を複数の認識部から選択する。時刻Ｔ１の中間特徴量は、部位分類部６２と、「食道」に対応する認識部である第１認識部６４に送信し、部位分類及び注目領域認識を実行させ、「胃」の分類結果と認識結果を取得する。

【0089】

時刻Ｔ２における並列処理においても同様に、時刻Ｔ１で分類した「胃」の分類結果は、時刻Ｔ２における医療画像１８の中間特徴量算出時までに分類結果取得部６３に伝達し、「胃」に対応する第２認識部６５を選択し、並列処理を行う。

【0090】

以上により、部位分類結果の取得前でも、各時刻における医療画像１８の部位分類及び注目領域認識の処理の一部を開始できるため、第１実施形態の構成よりも並列処理、特に注目領域認識の時間を長く確保できる。または、分類結果取得から注目領域認識の終了までの時間を短縮できるため第１実施形態よりも高いフレームレートの医療画像群１７のリアルタイム処理が可能となる。

【0091】

なお、部位分類器２１、分類結果決定部２２、及び注目領域認識部の機能と、統合判定器６０の機能を共に備え、必要に応じて使用する機能を使い分ける医療画像処理装置を備える医療画像処理システム１０を実現させてもよい。

【0092】

上記実施形態では、医療画像処理装置１１が、内視鏡１３ａの撮像による医療画像の並列処理を行う例で説明をしたが、本発明はこれに限定されず、超音波画像撮影装置や放射線撮影装置等、他の医療用検査装置等で取得した医療画像群１７の各医療画像１８に対して並列処理を実施してもよい。

【0093】

上記実施形態において、中央制御部、画像取得部２０、部位分類器２１、分類結果決定部２２、注目領域認識部２４、認識結果取得部２９、画像作成部３０、出力制御部３１、統合判定器６０といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0094】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0095】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。

【0096】

また、上記記載から、以下の付記１～１５に記載の医療画像処理装置、及び付記１６に記載の内視鏡システムを把握することができる。

【0097】

［付記１］
プロセッサと、
医療画像における撮像部位を分類する分類器と、
前記医療画像における注目領域を認識する認識器であって、前記撮像部位ごとに対応する複数の前記認識器を備え、
前記プロセッサは、
第１医療画像と、前記第１医療画像よりも後の時刻に取得された第２医療画像とを有する複数の医療画像を取得し、
前記分類器から前記第１医療画像における前記撮像部位の分類結果を取得し、
前記第１医療画像の前記分類結果に対応する前記認識器を複数の前記認識器から選択し、
選択した前記認識器から前記第２医療画像における前記注目領域の認識結果を取得する医療画像処理装置。
［付記２］
前記プロセッサは、
前記分類器による前記第２医療画像における前記撮像部位の分類と、
前記認識器による前記第２医療画像における前記注目領域の認識を並列処理する付記１記載の医療画像処理装置。
［付記３］
前記プロセッサは、
前記認識結果を報知する付記１又は２記載の医療画像処理装置。
［付記４］
前記プロセッサは、
前記認識結果を用いて表示用画像を作成し、
前記表示用画像を画面表示することで報知する付記３記載の医療画像処理装置。
［付記５］
前記プロセッサは、
前記分類器による前記第２医療画像よりも後の時刻に取得された第３医療画像における前記撮像部位の分類と、
前記第２医療画像における前記撮像部位に基づいた前記認識器による前記第３医療画像における前記注目領域の認識と、
前記第２医療画像における前記認識結果の前記表示用画像の作成を並列処理する付記４記載の医療画像処理装置。
［付記６］
前記プロセッサは、
前記第３医療画像に、前記認識結果を重畳して前記表示用画像を作成する付記５記載の医療画像処理装置。
［付記７］
前記プロセッサは、
前記認識結果に加えて、前記注目領域の認識に用いた前記認識器の種類を報知する付記３ないし６いずれか１つ記載の医療画像処理装置。
［付記８］
前記プロセッサは、
前記第１医療画像と、前記第２医療画像よりも前の時刻に取得された前記第１医療画像の時間的近傍の複数の前記医療画像を用いて前記分類結果を取得する付記１ないし７いずれか１つ記載の医療画像処理装置。
［付記９］
前記プロセッサは、
前記分類結果と、前記前の時刻における認識器の選択履歴に応じて、前記認識器を選択する付記８記載の医療画像処理装置。
［付記１０］
前記プロセッサは、
前記選択履歴に基づいて、前記時間的近傍の複数の前記医療画像の前記分類結果に重み付けを行い、
重み付け済みの前記分類結果を用いて前記認識器を選択する付記９記載の医療画像処理装置。
［付記１１］
前記プロセッサは、
前記分類器から前記撮像部位ごとに確信度を算出した前記分類結果を取得し、
前記確信度が特定の基準値未満の場合は、前記選択履歴から前の時刻の前記認識器の使用を継続する付記９記載の医療画像処理装置。
［付記１２］
複数の前記認識器は、それぞれ異なるデータセットで学習された学習済の深層学習モデルである請求項１ないし１１いずれか１つ記載の医療画像処理装置。
［付記１３］
前記プロセッサは、
前記分類結果が第１部位である場合、前記第１部位と異なる部位で撮像された画像よりも前記第１部位で撮像された画像を多く含むデータセットで学習された前記認識器を選択する付記１２記載の医療画像処理装置。
［付記１４］
複数の前記認識器は、それぞれ異なる前記注目領域を認識する機能を有し、
選択された前記認識器は、前記医療画像における前記注目領域に対する位置検出、種別判定、及び領域測定のうちの少なくともいずれかを実行して前記認識結果を取得する付記１ないし１３いずれか１つ記載の医療画像処理装置。
［付記１５］
前記分類器と、複数の前記認識器を統合した判別器であって、
前記医療画像における中間特徴量を算出し、前記中間特徴量から前記撮像部位を分類し、かつ前記中間特徴量及び前記撮像部位から前記注目領域を認識する前記判別器を備え、
前記プロセッサは、
前記第１医療画像から算出した第１中間特徴量と、前記第２医療画像から算出した第２中間特徴量を取得し、
前記第１中間特徴量に基づく前記分類結果を取得し、
複数の深層学習モデルから前記第１中間特徴量における前記分類結果に対応する前記深層学習モデルを選択し、
選択した前記深層学習モデルから前記第２中間特徴量における前記注目領域の認識結果を取得する付記１記載の医療画像処理装置。
［付記１６］
付記１ないし１５のいずれか１つ記載の医療画像処理装置と、
前記医療画像を取得する内視鏡とを有する内視鏡システム。

【符号の説明】

【0098】

１０ 医療画像処理システム
１１ 医療画像処理装置
１２ データベース
１３ 内視鏡システム
１３ａ 内視鏡
１４ ユーザインターフェース
１７ 医療画像群
１８ 医療画像
２０ 画像取得部
２１ 部位分類器
２２ 分類結果決定部
２４ 注目領域認識部
２５ 分類結果記憶部
２６ 第１認識器
２７ 第２認識器
２８ 第３認識器
２９ 認識結果取得部
３０ 画像作成部
３１ 出力制御部
４０ 表示用画像
４１ マーカー
４２ 種別表示欄
４３ サイズ表示欄
４４ 使用認識器表示欄
４５ シェーマ図
５０ 医療画像処理装置
６０ 統合判定器
６１ 中間特徴量算出部
６２ 部位分類部
６３ 分類結果取得部
６４ 第１認識部
６５ 第２認識部
６６ 第３認識部
Ｒ 注目領域
ＳＴ１００～１８０ ステップ
Ｔ０～Ｔ５ 時刻

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】