特開 2024-164938 医療画像処理装置、その作動方法、及び医療画像処理装置用プログラム、並びに内視鏡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024164938

(43)【公開日】2024-11-28

(54)【発明の名称】医療画像処理装置、その作動方法、及び医療画像処理装置用プログラム、並びに内視鏡システム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20241121BHJP

【ＦＩ】

A61B1/045 614

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023080678

(22)【出願日】2023-05-16

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001988

【氏名又は名称】弁理士法人小林国際特許事務所

(72)【発明者】

【氏名】加門 駿平

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA01

4C161AA02

4C161CC06

4C161DD03

4C161WW02

4C161WW10

4C161WW13

(57)【要約】

【課題】部位情報に応じた検出処理において誤検出を防ぎ、安定して検出を行うことを可能とする医療画像処理装置、その作動方法、及び医療画像処理装置用プログラム、並びに内視鏡システムを提供する。
【解決手段】 医療画像処理装置２０は、医療画像を取得する医療画像取得部４１と、被写体の部位を第１の部位および第２の部位に分類する部位分類部４２と、医療画像から注目領域を検出する注目領域検出部４３とを備え、注目領域検出部４３は、第1の部位のデータと第２の部位のデータとを有する第１データセットで機械学習により得られる第1の学習済みモデル、又は第２の部位のデータを有する第２データセットで機械学習により得られた第２の学習済みモデルによって注目領域を検出する。
【選択図】図３

【特許請求の範囲】

【請求項1】

プロセッサを備え、
前記プロセッサは、
被写体を撮像した医療画像を取得し、
前記医療画像の被写体の部位を第１の部位または第２の部位に分類し、
前記被写体の部位が前記第1の部位と分類された前記医療画像について、前記第１の部位のデータと前記第２の部位のデータとを有する第１データセットで機械学習により得られた第1の学習済みモデルによって前記医療画像から注目領域を検出し、
前記被写体の部位が前記第２の部位と分類された前記医療画像について、前記第２の部位のデータを有する第２データセットで機械学習により得られた第２の学習済みモデルによって前記医療画像から注目領域を検出し、
前記第１データセットは、前記第２の部位のデータに比べて、前記第1の部位のデータが相対的に多く含まれる医療画像処理装置。

【請求項2】

前記第１の学習済みモデルは、前記第１の部位における注目領域の検出精度が、前記第２の部位における注目領域の検出精度よりも高く、
前記第２の学習済みモデルは、前記第２の部位における注目領域の検出精度が、前記第１の部位における注目領域の検出精度よりも高い請求項１に記載の医療画像処理装置。

【請求項3】

前記第１データセットは、前記第1の部位のデータであり、かつ注目領域を含む画像及び注目領域を含まない画像と、第２の部位のデータであり、かつ注目領域を含まない画像とから構成される請求項１に記載の医療画像処理装置。

【請求項4】

前記第１の学習済みモデル又は前記第２の学習済みモデルは、データ及び／又はデータの組み合わせが異なる第１データセット又は第２データセットでそれぞれ学習された前記学習済みモデルである請求項1に記載の医療画像処理装置。

【請求項5】

前記プロセッサは、医療画像を解析することにより、前記医療画像が撮像された被写体の部位を示す分類結果を取得し、前記分類結果に応じた前記第１の学習済みモデル又は前記第２の学習済みモデルの選択を行う請求項１に記載の医療画像処理装置。

【請求項6】

前記プロセッサは、ユーザの入力に応じて、前記医療画像が撮像された被写体の部位を示す分類結果を取得し、前記分類結果に応じた前記第１の学習済みモデル又は前記第２の学習済みモデルの選択を行う請求項１に記載の医療画像処理装置。

【請求項7】

前記プロセッサは、前記第１の学習済みモデル又は前記第２の学習済みモデルによる検出結果を報知する制御を行う請求項１に記載の医療画像処理装置。

【請求項8】

前記プロセッサは、取得された前記時系列順の医療画像を医療画像表示ディスプレイに表示する表示制御を行い、
前記報知として、前記注目領域が検出された医療画像に、前記検出結果を重畳して前記医療画像表示ディスプレイに表示する請求項７に記載の医療画像処理装置。

【請求項9】

前記プロセッサは、前記検出結果に加えて、前記第１の学習済みモデル又は前記第２の学習済みモデルの選択状況も報知する請求項７に記載の医療画像処理装置。

【請求項10】

前記機械学習は、深層学習である請求項１に記載の医療画像処理装置。

【請求項11】

前記医療画像を撮像する内視鏡と、
請求項１ないし１０のいずれか１項に記載の医療画像処理装置とを備える内視鏡システム。

【請求項12】

被写体を撮像した医療画像を取得するステップと、
前記医療画像が撮像された被写体の部位を第１の部位または第２の部位に分類するステップと、
前記被写体の部位が第1の部位と分類された前記医療画像について、前記第１の部位のデータと前記第２の部位のデータとを有する第１データセットで機械学習により得られた第1の学習済みモデルによって前記医療画像から注目領域を検出するステップと、
前記被写体の部位が前記第２の部位と分類された前記医療画像について、前記第２の部位のデータを有する第２データセットで機械学習により得られた第２の学習済みモデルによって前記医療画像から注目領域を検出するステップとを備え、前記第１データセットは、前記第２の部位のデータに比べて、前記第1の部位のデータが相対的に多く含まれる医療画像処理装置の作動方法。

【請求項13】

医療画像処理装置用のプログラムであって、
被写体を撮像した医療画像を取得する処理と、
前記医療画像が撮像された被写体の部位を第１の部位または第２の部位に分類する処理と、
前記被写体の部位が第1の部位と分類された前記医療画像について、前記第１の部位のデータと前記第２の部位のデータとを有する第１データセットで機械学習により得られた第1の学習済みモデルによって前記医療画像から注目領域を検出する処理と、
前記被写体の部位が前記第２の部位と分類された前記医療画像について、前記第２の部位のデータを有する第２データセットで機械学習により得られた第２の学習済みモデルによって前記医療画像から注目領域を検出する処理とをコンピュータに実行させ、前記第１データセットは、前記第２の部位のデータに比べて、前記第1の部位のデータが相対的に多く含まれる医療画像処理装置用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医療画像処理装置、その作動方法、及び医療画像処理装置用プログラム、並びに内視鏡システムに関する。

【背景技術】

【0002】

医療分野では、医師が医療画像の観察又は診断を行う場合、内視鏡システムや、超音波診断システム等で取得した時系列順の医療画像に対して、様々な画像処理を施したものを用いる。特許文献１記載の医療画像処理装置では、取得した医療画像の生体内の部位を示す部位情報を取得し、医療画像に対して注目領域の検出等の認識処理を行う。認識処理では、深層学習等で学習した部位情報に応じた複数の学習済みモデルのいずれかを用いる。これらの学習済みモデルは、対象となる部位に応じて生体内の各部位を撮像した画像セットを用いて学習したものである。また、特許文献１には、注目領域を検出した結果を撮像部位に応じた態様で表示装置に表示させることが記載されている。

【0003】

特許文献２に記載のプロセッサ装置（医療画像処理装置）においても、取得した医療画像に写る生体の撮像部位を認識し、さらに、医療画像に対して撮像部位に係る情報を取得する認識処理を行う。これらの認識処理には、深層学習等で学習した学習済みモデルを用いる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０２０／１６２２７５号

【特許文献2】特開２０２２－１３７２７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記特許文献１、２に記載のように、部位情報に応じた認識処理等に用いられる学習済みモデルは、対象となる生体内の部位を撮像した医療画像から構成される画像セットを用いて学習したものである。もし仮に、取得した部位情報が間違っていたり、ユーザである医師が間違って部位情報を入力した場合、実際の部位とは異なる部位の医療画像から構成される画像セットに基づく学習済みモデルで認識処理を行うことになる。このように、実際の部位とは異なる部位の画像セットに基づく学習済みモデルで認識処理を行うと、誤検出の多発、あるいは、実際は注目領域ではない箇所を注目領域として検出し、また逆に、実際は注目領域である箇所を注目領域ではないとして検出するなど不安定な挙動を示すことがある。

【0006】

本発明は、部位情報に応じた検出処理において誤検出を防ぎ、安定して検出を行うことを可能とする医療画像処理装置、その作動方法、及び医療画像処理装置用プログラム、並びに内視鏡システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の医療画像処理装置は、プロセッサを備え、プロセッサは、被写体を撮像した医療画像を取得し、医療画像の被写体の部位を第１の部位または第２の部位に分類し、被写体の部位が第1の部位と分類された医療画像について、第１の部位のデータと第２の部位のデータとを有する第１データセットで機械学習により得られた第1の学習済みモデルによって医療画像から注目領域を検出し、被写体の部位が第２の部位と分類された医療画像について、第２の部位のデータを有する第２データセットで機械学習により得られた第２の学習済みモデルによって医療画像から注目領域を検出し、第１データセットは、第２の部位のデータに比べて、第1の部位のデータが相対的に多く含まれる。

【0008】

第１の学習済みモデルは、第１の部位における注目領域の検出精度が、第２の部位における注目領域の検出精度よりも高く、第２の学習済みモデルは、第２の部位における注目領域の検出精度が、第１の部位における注目領域の検出精度よりも高いことが好ましい。

【0009】

第１データセットは、第1の部位のデータであり、かつ注目領域を含む画像及び注目領域を含まない画像と、第２の部位のデータであり、かつ注目領域を含まない画像とから構成されることが好ましい。

【0010】

第１の学習済みモデル又は第２の学習済みモデルは、データ及び／又はデータの組み合わせが異なる第１データセット又は第２データセットでそれぞれ学習された学習済みモデルであることが好ましい。

【0011】

プロセッサは、医療画像を解析することにより、医療画像が撮像された被写体の部位を示す分類結果を取得し、分類結果に応じた第１の学習済みモデル又は第２の学習済みモデルの選択を行うことが好ましい。

【0012】

プロセッサは、ユーザの入力に応じて、医療画像が撮像された被写体の部位を示す分類結果を取得し、分類結果に応じた第１の学習済みモデル又は第２の学習済みモデルの選択を行うことが好ましい。

【0013】

プロセッサは、第１の学習済みモデル又は第２の学習済みモデルによる検出結果を報知する制御を行うことが好ましい。プロセッサは、取得された時系列順の医療画像を医療画像表示ディスプレイに表示する表示制御を行い、報知として、注目領域が検出された医療画像に、検出結果を重畳して医療画像表示ディスプレイに表示することが好ましい。。

【0014】

プロセッサは、検出結果に加えて、第１の学習済みモデル又は第２の学習済みモデルの選択状況も報知することが好ましい。機械学習は、深層学習であることが好ましい。

【0015】

本発明の内視鏡システムは、医療画像を撮像する内視鏡と、上記の医療画像処理装置とを備える。

【0016】

本発明の医療画像処理装置の作動方法は、被写体を撮像した医療画像を取得するステップと、医療画像が撮像された被写体の部位を第１の部位または第２の部位に分類するステップと、被写体の部位が第1の部位と分類された医療画像について、第１の部位のデータと第２の部位のデータとを有する第１データセットで機械学習により得られた第1の学習済みモデルによって医療画像から注目領域を検出するステップと、被写体の部位が第２の部位と分類された医療画像について、第２の部位のデータを有する第２データセットで機械学習により得られた第２の学習済みモデルによって医療画像から注目領域を検出するステップとを備え、第１データセットは、第２の部位のデータに比べて、第1の部位のデータが相対的に多く含まれる。

【0017】

本発明の医療画像処理装置のプログラムは、被写体を撮像した医療画像を取得する処理と、医療画像が撮像された被写体の部位を第１の部位または第２の部位に分類する処理と、被写体の部位が第1の部位と分類された医療画像について、第１の部位のデータと第２の部位のデータとを有する第１データセットで機械学習により得られた第1の学習済みモデルによって医療画像から注目領域を検出する処理と、被写体の部位が第２の部位と分類された医療画像について、第２の部位のデータを有する第２データセットで機械学習により得られた第２の学習済みモデルによって医療画像から注目領域を検出する処理とをコンピュータに実行させ、第１データセットは、第２の部位のデータに比べて、第1の部位のデータが相対的に多く含まれる。

【発明の効果】

【0018】

本発明によれば、部位情報に応じた検出処理において誤検出を防ぎ、安定して検出を行うことができる。

【図面の簡単な説明】

【0019】

【図1】内視鏡システムの概略図である。

【図2】医療画像処理装置の構成を説明するブロック図である。

【図3】医療画像処理装置の機能を示すブロック図である。

【図4】内視鏡システムによる検査の状態を説明する説明図である。

【図5】部位分類部及び注目領域検出部の処理を説明する説明図である。

【図6】医療画像表示ディスプレイの表示態様を示す画像図である。

【図7】学習部による学習済みモデルを生成する学習を説明する説明図であり、第１データセットを入力する場合（Ａ）と、第２データセットを入力する場合（Ｂ）の説明図である。

【図8】医療画像処理装置の動作を示すフローチャートである。

【図9】部位分類部及び注目領域検出部の処理の具体例であり、部位の分類結果として胃が認識された場合（Ａ）、食道が認識された場合（Ｂ）の説明図である。

【図10】第２実施形態に係る医療画像処理装置の構成の一部を示すブロック図である。

【図11】第２実施形態に係る医療画像処理装置が、ユーザの操作により部位情報の入力を受け付ける場合の表示画面を示す画像図である。

【図12】第１変形例における学習済みモデルを生成する学習を説明する説明図である。

【図13】第３変形例における医療画像表示ディスプレイの表示画面を示す画像図である。

【発明を実施するための形態】

【0020】

［第１実施形態］
図１に示すように、本発明に係る医療画像処理装置２０は、内視鏡システム１０に含まれる。内視鏡システム１０は、観察対象を撮像して内視鏡画像などの医療画像を取得する。

【0021】

内視鏡システム１０は、内視鏡１２、光源装置１３、プロセッサ装置１４、ディスプレイ１５、及び、プロセッサ装置側入力デバイス１６、医療画像処理装置２０、医療画像表示ディスプレイ２１、及び、医療画像処理装置側入力デバイス２２を備える。内視鏡１２は、光源装置１３と光学的又は電気的に接続され、かつ、プロセッサ装置１４と電気的に接続される。医療画像処理装置２０は、光源装置１３及びプロセッサ装置１４と電気的に接続される。

【0022】

内視鏡１２は、挿入部１２ａ、操作部１２ｂ、湾曲部１２ｃ及び先端部１２ｄを有している。挿入部１２ａは、被検体の体内に挿入される。操作部１２ｂは、挿入部１２ａの基端部分に設けられる。湾曲部１２ｃ及び先端部１２ｄは、挿入部１２ａの先端側に設けられる。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。

【0023】

内視鏡１２の内部には、被写体の像を結像するための撮像光学系、及び、被写体に照明光を照射するための照明光学系が設けられる。操作部１２ｂには、アングルノブ１２ｅ、モード切替スイッチ１２ｆ、静止画像取得指示スイッチ１２ｈ、及びズーム操作部１２ｉが設けられる。モード切替スイッチ１２ｆは、観察モードの切り替え操作に用いる。静止画像取得指示スイッチ１２ｈは、被写体の静止画像の取得指示に用いる。ズーム操作部１２ｉは、観察対象の拡大又は縮小の操作に用いる。なお、操作部１２ｂには、モード切替スイッチ１２ｆ及び静止画像取得指示スイッチ１２ｈの他、プロセッサ装置１４に対する各種の操作を行うためのスコープ側入力デバイス１９を設けてもよい。

【0024】

光源装置１３は、照明光を発生する。プロセッサ装置１４は、内視鏡システム１０のシステム制御を行い、さらに、内視鏡１２から送信された画像信号に対して画像処理等を行うことによって医療画像を生成等する。プロセッサ装置１４は、ディスプレイ１５に加えて、医療画像処理装置２０に医療画像を送信する。ディスプレイ１５は、プロセッサ装置１４から送信される医療画像の他、操作画像等を表示する。プロセッサ装置側入力デバイス１６は、キーボード、マウス、フットスイッチ、及びタッチペン等を有し、ユーザによる機能設定等の入力操作を受け付ける。

【0025】

医療画像処理装置２０は、医療画像表示ディスプレイ２１と接続されている。医療画像処理装置２０は、プロセッサ装置１４から送信される医療画像を受信し、受信した医療画像に基づいて、各種処理を行う。医療画像処理装置２０は、医療画像の他、各種処理の結果を医療画像表示ディスプレイ２１に送信する。医療画像表示ディスプレイ２１は、医療画像処理装置２０から送信される医療画像などを表示する。

【0026】

内視鏡システム１０は、通常モード、注目領域検出モード、及び、部位分類モードを備えている。通常モードは、医療画像として、白色光を観察対象に照明して得られるカラーの通常画像をディスプレイ１５に表示する。部位分類モードでは、医療画像に対して部位分類処理を行い、分類結果に応じた注目領域検出器を選択する検出器選択処理を行う。また、部位分類モードでは、分類した部位の種類等を必要に応じて医療画像表示ディスプレイ２１に表示する。注目領域検出モードでは、医療画像に対して注目領域検出処理を行い、注目領域を検出した場合に、注目領域が存在することを医療画像表示ディスプレイ２１で表示する。

【0027】

以上の通常モード、注目領域検出モード、及び、部位分類モードについては、医療画像処理装置側入力デバイス２２によって設定が可能である。モードの設定については、順次切り替えの他、２つ以上のモードを同時に実行すること（例えば、部位分類モード、及び、注目領域検出モードを全て実行する）も可能である。医療画像処理装置２０が実施する部位分類モード、及び、注目領域検出モードの詳細については、後述する。

【0028】

図２に示すように、本実施形態の医療画像処理装置２０は、ハードウェア構成としては、制御部２５、通信部２６、及び記憶部２７が、データバス２８を介して電気的に相互接続されているコンピュータである。医療画像処理装置２０には、上述した医療画像表示ディスプレイ２１と、医療画像処理装置側入力デバイス２２とが接続されている。また、医療画像処理装置２０は、報知を行うためのスピーカ２９を備えている。

【0029】

医療画像処理装置側入力デバイス２２は、上述したプロセッサ装置側入力デバイス１６と同様の構成、すなわち、キーボード、マウス、フットスイッチ等の入力装置である。なお、これに限らず、医療画像表示ディスプレイ２１に設けたタッチパネル、及び／又は、内視鏡１２のスコープ側入力デバイス１９等を、医療画像処理装置側入力デバイス２２に含めてもよい。あるいは、プロセッサ装置側入力デバイス１６と、医療画像処理装置側入力デバイス２２とを、共通の入力デバイスから構成し、使用目的、又は使用状況に合わせて、プロセッサ装置１４の操作と、医療画像処理装置２０の操作とを切り替えて行うようにしてもよい。

【0030】

医療画像処理装置２０を構成するコンピュータは、医療画像処理装置側入力デバイス２２からの各種の指示の入力を受け付ける。医療画像処理装置２０は、プロセッサ装置１４から送信される医療画像を受信し、受信した医療画像に基づいて、部位分類処理、又は、注目領域検出処理などの各種処理を行う。医療画像処理装置２０は、医療画像の他、各種処理の結果を医療画像表示ディスプレイ２１に送信する。医療画像表示ディスプレイ２１は、プロセッサ装置１４から取得した医療画像の他に、医療画像処理装置側入力デバイス２２の操作に応じた各種操作画面を表示する場合もある。例えば、操作画面にはＧＵＩ(Graphical User Interface)による操作機能が備えられる。医療画像処理装置２０を構成するコンピュータは、操作画面を通じてユーザから入力を受け付けることができる。

【0031】

制御部２５は、プロセッサであるＣＰＵ（Central Processing Unit)３１、ＲＡＭ（Random Access Memory）３２、及びＲＯＭ（Read Only Memory）３３等を含む。ＣＰＵ３１は、記憶部２７等に記憶されたプログラムをＲＡＭ３２、又はＲＯＭ３３へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。通信部２６は、ネットワーク３０を介した各種情報の伝送制御を行うネットワークインターフェースである。なお、ＲＡＭ３２、又はＲＯＭ３３は、記憶部２７の機能を備えていてもよい。

【0032】

記憶部２７は、メモリの一例であり、例えば、医療画像処理装置２０を構成するコンピュータに内蔵、もしくはケーブルやネットワーク３０を通じて接続されたハードディスクドライブ、ソリッドステートドライブ、又はハードディスクドライブ等を複数台連装したディスクアレイである。記憶部２７には、制御プログラム、各種アプリケーションプログラム、これらのプログラムに使用するための各種データ、及び、これらのプログラムに付随する各種操作画面の表示データ等が記憶されている。

【0033】

本実施形態の記憶部２７は、医療画像処理装置用プログラム３４、医療画像処理装置用データ３５等の各種データを記憶する。医療画像処理装置用プログラム３４又は医療画像処理装置用データ３５は、医療画像処理装置２０の各種機能を実施するためのプログラム又はデータである。医療画像処理装置用プログラム３４と医療画像処理装置用データ３５とにより、医療画像処理装置２０の機能が実現される。医療画像処理装置用データ３５には、例えば、データが一時的に保存される領域である一時保存部３５ａと、プログラムのデータ等が記憶されるデータ記憶部３５ｂとを含む。

【0034】

医療画像処理装置２０を構成するコンピュータは、専用に設計された装置の他、汎用のサーバ装置、又はＰＣ（Personal Computer）等とすることができる。また、医療画像処理装置２０の機能を発揮することができればよく、他の機能を果たす装置とコンピュータを共用してもよいし、内視鏡用プロセッサ装置、及び／又は、診療情報管理装置等に医療画像処理装置２０の機能を組み込むこともできる。医療画像処理装置２０には医療画像処理に関するプログラムがプログラム用メモリである記憶部２７に格納されている。

【0035】

図３に示すように、医療画像処理装置２０は、制御部２５により、記憶部２７内の医療画像処理装置用プログラム３４が動作することによって、医療画像取得部４１と、部位分類部４２と、注目領域検出部４３と、表示制御部４４と、報知制御部４５と、学習部４６との機能が実現する。

【0036】

医療画像取得部４１は、プロセッサ装置１４から順次医療画像を取得することによって、被写体を撮像した医療画像を取得する。本実施形態では、医療画像取得部４１がプロセッサ装置１４から取得する医療画像は、時系列順の複数の医療画像である。本実施形態では、医療画像として、内視鏡１２で得られる内視鏡画像を取得するが、これに限らず、超音波画像、ＣＴ（Computed Tomography）画像、ＭＲＩ（Magnetic Resonance Imaging）画像などその他の医療画像を受信してもよい。

【0037】

部位分類部４２は、医療画像取得部４１が取得した医療画像を解析することにより、医療画像が撮像された被写体の部位を分類する部位分類処理を行う。注目領域検出部４３は、部位分類部４２で行った部位分類処理に基づき、注目領域検出器を選択する検出器選択処理、及び選択された注目領域検出器によって医療画像から注目領域を検出する注目領域検出処理を行う。部位分類処理、検出器選択処理、及び注目領域検出処理の具体的な内容については後述する。

【0038】

注目領域検出処理、又は、部位分類処理としては、例えば、ＮＮ（Neural Network）、ＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）などを用いた深層学習（ディープラーニング）により得られた学習済みモデルが行う処理であることが好ましい。あるいは、深層学習に限らず、他の機械学習、例えば、Adaboost、ランダムフォレストを用いた学習により得られた学習済みモデルが行う処理でもよい。

【0039】

なお、注目領域検出部４３により注目領域検出処理で検出される注目領域は、例えば、がんに代表される病変部、処理の跡、手術の跡、出血箇所、良性腫瘍部、炎症部（いわゆる炎症の他、出血または萎縮等の変化がある部分を含む）を含む領域である。すなわち、病変を含む領域、病変の可能性がある領域、または、暗部領域（ヒダ（襞）の裏、管腔奥のため観察光が届きにくい領域）など病変の可能性にかかわらず詳細な観察が必要である領域等が注目領域になり得る。注目領域検出処理は、病変部、良性腫瘍部、炎症部のうち少なくともいずれかを含む領域を注目領域として検出する。

【0040】

また、部位分類部４２が行う部位分類処理では、医療画像５０が撮像された被写体の部位を、第１の部位または第２の部位に分類する。部位分類部４２では、第１の部位および第２の部位を含む予め設定された複数の被写体の部位を認識するため、上述したように医療画像を学習し、生成した学習済みを用いる。そして、部位分類処理では、学習済みモデルを利用して、第１の部位または第２の部位が医療画像に含まれるか否かを判定する。部位分類処理において、検査対象である複数の被写体の部位は、検査の目的等に応じて設定される。

【0041】

図４に示すように、本実施形態では、内視鏡システム１０は上部消化管１００の検査を行う。すなわち、内視鏡１２による上部消化管１００の撮像を行う場合であり、部位分類部４２により予め設定された複数の被写体の部位として、食道１０１、胃１０２、十二指腸１０３が設定されている場合を例示する。このように、部位分類部４２により予め設定された複数の被写体の部位のいずれかが、特許請求の範囲における「第１の部位」および「第２の部位」に相当する。なお、これに限らず、部位分類部４２により予め設定された複数の被写体の部位は、「第１の部位」および「第２の部位」を少なくとも含んでいればよく、３つ以上の部位を含んでもよい。

【0042】

なお、これに限らず、内視鏡システム１０が行う検査としては、例えば下部消化管の検査等、被写体の他の部分の検査でもよい。なお、下部消化管の検査の場合、予め設定された複数の被写体の部位としては、例えば、大腸と小腸とが設定されている。また、部位分類処理において、予め設定された被写体の部位としては、さらに細かい部位に設定してもよい。例えば、胃内部を検査する場合には、予め設定された被写体の部位としては、穹窿部、胃体上部、胃体中部、胃体下部、噴門部、胃角部等に設定してもよい。また、大腸内部を検査する場合には、予め設定された被写体の部位としては、直腸、Ｓ字結腸、下行結腸、横行結腸等に設定してもよい。

【0043】

図５に示すように、医療画像取得部４１が時系列順に取得した医療画像５０が、部位分類部４２に入力される。部位分類部４２は、医療画像５０を用いて、部位分類処理を行う。上述したように、本実施形態では、予め設定された複数の被写体の部位として、食道１０１、胃１０２、十二指腸１０３が設定されている。すなわち、部位分類部４２は、医療画像５０を解析することにより、医療画像５０が撮像された被写体の部位が、食道１０１、胃１０２、十二指腸１０３のうち、いずれの部位であるかを認識して分類する部位分類処理を行う。部位分類部４２が行った部位分類処理による分類結果と、部位分類処理が行われた医療画像５０が注目領域検出部４３に入力される。

【0044】

注目領域検出部４３は、複数の注目領域検出器である、食道用病変検出器４３Ａ、胃用病変検出器４３Ｂ、及び、十二指腸用病変検出器４３Ｃを含む。食道用病変検出器４３Ａ、胃用病変検出器４３Ｂ、及び、十二指腸用病変検出器４３Ｃは、予め設定された複数の被写体の部位である、食道１０１、胃１０２、十二指腸１０３にそれぞれ対応している。

【0045】

注目領域検出部４３は、部位分類部４２による分類結果を取得し、分類結果に応じた食道用病変検出器４３Ａ、胃用病変検出器４３Ｂ、及び、十二指腸用病変検出器４３Ｃのいずれか１つを選択する。すなわち、注目領域検出部４３は、部位分類部４２が医療画像５０を分類した分類結果が食道１０１の場合、食道用病変検出器４３Ａを選択し、また同様に分類結果が胃１０２の場合、胃用病変検出器４３Ｂを選択し、また同様に分類結果が十二指腸１０３の場合、十二指腸用病変検出器４３Ｃを選択する。このように、被写体の部位が第１の部位と分類された場合に、注目領域検出部４３により選択される注目領域検出器が、「第１の学習済みモデル」に相当する。同様に、被写体の部位が第２の部位と分類された場合に、注目領域検出部４３により選択される注目領域検出器が、「第２の学習済みモデル」に相当する。

【0046】

注目領域検出部４３は、検出器選択処理により選択された食道用病変検出器４３Ａ、胃用病変検出器４３Ｂ、及び、十二指腸用病変検出器４３Ｃのいずれか１つによって医療画像５０から注目領域を検出する注目領域検出処理を行う。検出された注目領域の情報、及び、注目領域が検出された医療画像５０は、表示制御部４４に入力される。表示制御部４４は、時系列順に、医療画像５０を医療画像表示ディスプレイ２１に表示させる表示制御を行う。また、表示制御部４４は、注目領域が検出された場合、検出結果を報知する。

【0047】

表示制御部４４は、時系列順に取得され、部位分類処理、及び注目領域検出処理が施された医療画像５０を医療画像表示ディスプレイ２１に表示する表示制御を行うとともに、注目領域の検出結果を報知する制御を行う。表示制御部４４による検出結果の報知は、検査中に行われることが好ましい。具体的には、報知制御部４５は、時系列順の医療画像５０が医療画像表示ディスプレイ２１に表示された場合、注目領域の検出結果を、注目領域が検出された医療画像５０に重畳して医療画像表示ディスプレイ２１に表示する。

【0048】

例えば、図６に示すように、注目領域検出部４３により医療画像５０から注目領域５５が検出された場合、表示制御部４４は、検査中動画として医療画像５０をリアルタイムに表示するメイン画面５１の外枠５１Ａを、検出結果報知用の色で強調表示することが好ましい。また、検出結果報知用の色は、注目領域が未検出の場合の色と異ならせることが好ましい。例えば、注目領域が未検出の場合の色を黄色とした場合には、検出結果報知用の色は、黄色に対して補色となる青色とすることが好ましい。

【0049】

また、表示制御部４４による検出結果の報知は、これらに限定するものではなく、メイン画面５１に表示する医療画像５０内の注目領域５５を含む部分を、実際の色とは異なる色（濃淡、明度、彩度等を異ならせた色）で強調表示したり、注目領域５５を含む部分又は注目領域５５の周辺に図形を重畳表示してもよい。

【0050】

報知制御部４５は、医療画像表示ディスプレイ２１への表示とは異なる方法で、注目領域の検出結果を報知する制御を行う。例えば、報知制御部４５は、スピーカ２９を制御し、注目領域検出部４３により医療画像５０から注目領域が検出された場合、報知音をスピーカ２９から再生する。また、例えば、上述した表示制御部４４での検出結果報知用の強調表示に合わせて報知音をスピーカ２９から再生させる。

【0051】

学習部４６は、上述した食道用病変検出器４３Ａ、胃用病変検出器４３Ｂ、十二指腸用病変検出器４３Ｃを深層学習によって生成する。食道用病変検出器４３Ａ、胃用病変検出器４３Ｂ、十二指腸用病変検出器４３Ｃは、学習部４６が行う深層学習により得られる学習済みモデルである。なお、注目領域検出部４３に含まれる注目領域検出器を深層学習により生成する構成としてはこれに限らず、医療画像処理装置２０の外部に設けた装置で、学習部４６と同様の深層学習を行い、生成した学習済みモデルを取得して、注目領域検出器として使用してもよい。例えば、ネットワーク３０を介して接続された外部のクラウドサーバなどに学習部４６と同様の機能を実行させ、このクラウドサーバ上の学習部により深層学習した学習済みモデルを医療画像処理装置２０が取得し、注目領域検出部４３に含まれる複数の注目領域検出器としてもよい。

【0052】

図７（Ａ）及び図７（Ｂ）に示すように、学習部４６による深層学習は、複数の医療画像を有する第１データセットＤＳ１、又は第２データセットＤＳ２を入力して行う。学習部４６により生成し、食道用病変検出器４３Ａ、胃用病変検出器４３Ｂ、及び十二指腸用病変検出器４３Ｃのいずれかとして用いる第１の学習済みモデル４３Ｘ１は、第１データセットＤＳ１で上述した深層学習により得られた学習済みモデルである。第１データセットＤＳ１は、複数の第1の部位のデータＤ１と、複数の第２の部位のデータＤ２とを有する。具体的には、データＤ１は、第１の部位を撮像した医療画像のデータであり、データＤ２は、第２の部位を撮像した医療画像のデータである。

【0053】

なお、「第１の部位」、及び「第２の部位」は、第１の学習済みモデルが、食道用病変検出器４３Ａ、胃用病変検出器４３Ｂ、及び、十二指腸用病変検出器４３Ｃのどれに該当するかに応じて内容が変わる。具体的には、第１の学習済みモデルが食道用病変検出器４３Ａの場合、「第１の部位」は、食道用病変検出器４３Ａが対応する部位、すなわち食道であり、「第２の部位」とは、予め設定された複数の被写体の部位のうち、第１の部位を除くもの、胃、又は十二指腸である。

【0054】

図７（Ｂ）に示すように、第２の学習済みモデル４３Ｘ２は、第２データセットＤＳ２で上述した深層学習により得られた学習済みモデルである。第２データセットＤＳ２は、複数の第２の部位のデータＤ２を有する。上述した具体例のように、第１の部位が食道、第２の部位が胃である場合、第１の部位のデータＤ１は、食道を撮像した医療画像のデータであり、第２の部位のデータＤ２は、胃を撮像した医療画像のデータである。

【0055】

また、上述した具体例では、第２の部位を十二指腸としてもよい。この場合、第２の部位のデータＤ２は、十二指腸を撮像した医療画像のデータであり、第２データセットＤＳ２は、複数の第２の部位のデータＤ２、すなわち十二指腸を撮像した医療画像のデータを有する。

【0056】

また、第１の学習済みモデルが胃用病変検出器４３Ｂの場合、「第１の部位」は、胃用病変検出器４３Ｂが対応する部位、すなわち胃であり、「第２の部位」とは、予め設定された複数の被写体の部位のうち、第１の部位を除くもの、食道、又は十二指腸である。また、第１の学習済みモデルが十二指腸用病変検出器４３Ｃの場合、「第１の部位」は、十二指腸であり、「第２の部位」とは、予め設定された複数の被写体の部位のうち、第１の部位を除くもの、胃、又は食道である。以上の場合においても、上述した具体例と同様に、第1の部位のデータＤ１と第２の部位のデータＤ２とを有する第１データセットＤＳ１、及び第２の部位のデータＤ２を有する第２データセットＤＳ２を学習部４６がそれぞれ深層学習して、第１の学習済みモデル、及び第２の学習済みモデルが得られる。

【0057】

以上のように、第1のデータセットＤＳ１又は第２データセットＤＳ２を学習部４６に入力し、深層学習を行って第１の学習済みモデル又は第２の学習済みモデルである食道用病変検出器４３Ａ、胃用病変検出器４３Ｂ、及び、十二指腸用病変検出器４３Ｃを得ている。

【0058】

第１データセットＤＳ１は、第２の部位のデータＤ２に比べて、第1の部位のデータＤ１が相対的に多く含まれる。例えば、第１データセットＤＳ１は、第１の部位が食道である場合、第２の部位のデータＤ２である胃、又は十二指腸のデータに比べて、第1の部位のデータＤ１である食道のデータが相対的に多く含まれる。

【0059】

食道用病変検出器４３Ａ、胃用病変検出器４３Ｂ、及び、十二指腸用病変検出器４３Ｃは、それぞれのデータＤ１、Ｄ２、及び／又はデータＤ１、Ｄ２の組み合わせが異なる第１データセットＤＳ１又は第２データセットＤＳ２で学習された第１の学習済みモデル又は第２の学習済みモデルであることが好ましい。これにより、食道用病変検出器４３Ａ、胃用病変検出器４３Ｂ、十二指腸用病変検出器４３Ｃにそれぞれ最適な第１の学習済みモデル又は第２の学習済みモデルが生成される。

【0060】

次に、内視鏡システム１０を用いて検査を行う場合、医療画像処理装置２０の処理の流れについて、図８に示すフローチャート、及び、図９に示す説明図を用いて説明する。なお、図８及び図９に示す例は、内視鏡システム１０において、注目領域検出モード、及び、部位分類モードという２つのモードを同時に実行する場合の動作を示す。ユーザである医師は、内視鏡システム１０を電源オン状態とし、被検体内を観察する。そして、内視鏡システム１０は、医療画像５０である内視鏡画像を順次撮影する。

【0061】

医療画像処理装置２０では、先ず、医療画像取得部４１がプロセッサ装置１４から複数の医療画像を時系列順に取得する（ステップＳＴ１１０）。次に、部位分類部４２が取得した医療画像５０の部位分類処理を行う（ステップＳＴ１２０）。本実施形態では、部位分類部４２は、医療画像５０が撮像された被写体の部位を、第１の部位または第２の部位に分類する部位分類処理を行う。具体的には、食道１０１、胃１０２、十二指腸１０３のうち、いずれの部位であるかを認識して分類する部位分類処理を行う。

【0062】

次に、注目領域検出部４３が部位分類部４２による分類結果を用いて、食道用病変検出器４３Ａ、胃用病変検出器４３Ｂ、及び、十二指腸用病変検出器４３Ｃのいずれか１つ、すなわち第１の学習済みモデル又は第２の学習済みモデルを選択する検出器選択処理を行い（ステップＳＴ１３０）、これに続いて、検出器選択処理により選択された食道用病変検出器４３Ａ、胃用病変検出器４３Ｂ、及び、十二指腸用病変検出器４３Ｃのいずれか１つ、すなわち第１の学習済みモデル又は第２の学習済みモデルによって医療画像５０から注目領域を検出する注目領域検出処理を行う（ステップＳＴ１４０）。

【0063】

注目領域検出部４３による注目領域の検出結果、及び、医療画像５０に基づき、表示制御部４４及び報知制御部４５が、注目領域の検出結果を報知する（ステップＳＴ１５０）。ユーザが検査を続行したい場合（ステップＳＴ１６０でＹ）、医療画像取得部４１による医療画像５０の取得に戻り（ステップＳＴ１１０）、上記の処理を繰り返す。ユーザが検査を終了したい場合（ステップＳＴ１６０でＮ）、内視鏡システム１０の電源をオフ状態とする。

【0064】

以上のように、内視鏡システム１０を用いて検査を行う場合、実際は、第１の部位を撮像して取得した医療画像５０にも関わらず、部位分類部４２が行った部位分類処理で、第２の部位に分類してしまうことがある。例えば、被写体の部位の境界付近で撮像された医療画像５０については、部位分類部４２が行う部位分類処理が誤った分類結果を出すことがある。または、被写体である消化管の蠕動による管腔の形態変化、被写体に対して液体等を噴射した場合の水被り、あるいは、内視鏡１２の撮像光学系にピントずれが起きた場合の影響等によっても、部位分類部４２が行う部位分類処理が誤った分類結果を出すことがある。図４に示す例では、食道１０１と胃１０２との境界１０４付近、胃１０２と十二指腸との境界付近１０５で撮像された医療画像５０が該当する。

【0065】

図９（Ａ）に示すように、分類結果が胃１０２である場合、注目領域検出部４３では、胃用病変検出器４３Ｂが選択され、医療画像５０に対して注目領域５５の検出が行われる。一方、図９（Ｂ）に示すように、分類結果が食道１０１である場合、注目領域検出部４３では、食道用病変検出器４３Ａが選択され、医療画像５０に対して注目領域５５の検出が行われる。

【0066】

上述したような、境界１０４、１０５付近で医療画像５０を撮像した場合、例えば、実際は、胃１０２を撮像して医療画像５０を取得しているにも関わらず、部位分類部４２は、食道１０１であるという分類結果を出す可能性がある。この場合、注目領域検出部４３は、誤った分類結果に基づき、食道用病変検出器４３Ａを選択してしまう。

【0067】

しかしながら、本実施形態では、第1の部位のデータＤ１と、第２の部位のデータＤ２とを有する第１データセットＤＳ１を学習部４６に入力しているため、食道用病変検出器４３Ａを学習した第１データセットＤＳ１の中に、第２の部位のデータＤ２、すなわち、胃のデータも含まれている。よって、実際には、胃を撮像して取得した医療画像５０に対して、胃のデータを含む第１データセットＤＳ１で学習した第１の学習済みモデルで検出を行っているため、注目領域検出部４３による誤検出が少ない。また、注目領域検出部４３が、実際は注目領域ではない箇所を注目領域として検出すること、および、実際は注目領域である箇所を注目領域ではないとして検出することが少なくなり、安定した挙動で、注目領域を検出することができる。

【0068】

一方、胃１０２を撮像して医療画像５０を取得した場合、部位分類部４２は、胃１０２という正しい分類結果を出すことがほとんどである。この場合、注目領域検出部４３は、正しい分類結果に基づき、胃用病変検出器４３Ｂが選択され、医療画像５０に対して注目領域５５の検出が行われる。上述した具体例のように、第１の部位が食道、第２の部位が胃である場合、胃用病変検出器４３Ｂを学習した第２データセットＤＳ２の中に、第２の部位である胃の医療画像のデータが含まれている。よって、注目領域検出部４３による誤検出が少ない。

【0069】

また、本実施形態では、深層学習を行う第１データセットＤＳ１は、第２の部位のデータＤ２に比べて、第1の部位のデータＤ１が相対的に多く含まれる。例えば、第１の部位が食道である場合、第２の部位のデータＤ２である胃、又は十二指腸のデータに比べて、第1の部位のデータＤ１である食道のデータが相対的に多い。このようにして生成された第１の学習済みモデルは、食道用病変検出器４３Ａとなる。これにより、分類結果が食道１０１である場合、食道のデータを多く含む第１データセットＤＳ１で学習した食道用病変検出器４３Ａで注目領域の検出を行っているため、注目領域検出部４３がさらに高い精度で注目領域の検出を行うことが可能となり、安定した挙動で、注目領域を検出することができる。

【0070】

［第２実施形態］
上記第１実施形態では、部位分類部４２が医療画像を解析することにより、医療画像５０が撮像された被写体の部位を示す分類結果を取得しているが、本発明はこれに限らず、図１０に示すように、ユーザの入力に応じて、医療画像５０が撮像された被写体の部位を示す分類結果を取得してもよい。この場合、例えば、部位分類部４２は、ユーザが医療画像処理装置側入力デバイス２２を操作して入力した部位情報Ｓを受け付ける。そして、部位分類部４２は、ユーザが入力した部位情報Ｓを分類結果として用いる。なお、本実施形態に係る医療画像処理装置の構成は、部位分類部４２以外については、上記第１実施形態に係る医療画像処理装置２０と同様であり、説明を省略する。

【0071】

部位情報Ｓを入力する場合、例えば、図１１に示すように、医療画像表示ディスプレイ２１に、検査中動画として医療画像５０をリアルタイムに表示するとともに、被写体の部位を示す模式図ＰＤを表示する。なお、図１１に示す例では、上記第１実施形態と同様に、被写体の部位として、食道、胃、十二指腸が設定されている。ユーザは、医療画像５０を観察しながら、医療画像処理装置側入力デバイス２２を操作して、ポインタ５６の位置を、模式図ＰＤにおける部位（食道、胃、十二指腸のいずれか１つ）の位置に合わせる。これにより、ユーザが部位情報Ｓを入力することができる。

【0072】

本実施形態に係る医療画像処理装置の処理の流れでは、上記第１実施形態における部位分類処理（ステップＳＴ１２０；図８参照）のときに、ユーザである医師が医療画像処理装置側入力デバイス２２を操作して部位情報を入力する。そして、ユーザが入力した部位情報を分類結果として用いて、食道用病変検出器４３Ａ、胃用病変検出器４３Ｂ、及び、十二指腸用病変検出器４３Ｃのいずれか１つを選択する検出器選択処理を行う（ステップＳＴ１３０；図８参照）。以降の処理は、上記第１実施形態と同様である。

【0073】

以上のように、本実施形態に係る医療画像処理装置を含む内視鏡システムを用いて検査を行う場合、実際は、第１の部位を撮像して取得した医療画像５０にも関わらず、ユーザが入力した部位情報が誤りで、第２の部位に分類してしまうことがある。特に、被写体の部位の境界付近で撮像された医療画像５０については、判断が難しく、誤った分類結果を出すことがある。または、検査中にユーザが操作を忘れてしまうことにより、適切な分類結果に切り替えることができない場合もある。

【0074】

しかしながら、上記第１実施形態と同様に、第1の部位のデータＤ１と、第２の部位のデータＤ２とを有する第１データセットＤＳ１を学習部４６に入力しているため、第１の学習済みモデルを学習した第１データセットＤＳ１の中に、第２の部位のデータＤ２も含まれている。よって、ユーザが入力した部位情報が誤りで、第２の部位に分類してしまった場合、例えば、実際には胃を撮像して取得した医療画像５０に対して、ユーザの入力により食道に分類してしまった場合、胃のデータを含む第1データセットＤＳ１で学習した学習済みモデルで検出を行っているため、注目領域検出部４３による誤検出が少ない。また、上記第１実施形態と同様に、注目領域検出部４３は、安定した挙動で、注目領域を検出することができる。

【0075】

［第１変形例］
上記各実施形態では、深層学習を行うデータセットについて、これらのデータの中に注目領域を含むか否かについては限定していない。図１２に示す変形例では、第１データセットＤＳ１は、第1の部位のデータＤ１であり、かつ注目領域を含む画像Ｄ１１及び注目領域を含まない画像Ｄ１２と、第２の部位のデータＤ２であり、かつ注目領域を含まない画像Ｄ２１とから構成される。これにより、部位分類部４２による分類結果が第１の部位である場合、第１の部位のデータとして注目領域を含む画像Ｄ１１から構成される第１データセットＤＳ１で学習した第１の学習済みモデル４３Ｘ１で注目領域の検出を行っているため、注目領域検出部４３がさらに高い精度で注目領域の検出を行うことが可能となり、安定した挙動で、注目領域を検出することができる。特に、第２の部位の医療画像５０が、第１の学習済みモデルに入力された場合に、注目領域の誤検出を抑制することができる。

【0076】

［第２変形例］
上記各自実施形態及び第１変形例では、第１の学習済みモデル及び第２の学習済みモデルによる検出精度を調整するため、第１の学習済みモデル及び第２の学習済みモデルを学習するための第１データセットＤＳ１及び第２データセットＤＳ２において、データＤ１、Ｄ２の数及び内容を異なるようにしているが、本発明は、これに限らず、学習部４６による学習時の各データＤ１、Ｄ２の比重（重みづけ）を異ならせることで調整してもよい。この場合、各データＤ１、Ｄ２の比重を異ならせることにより、第１の学習済みモデルは、第１の部位における注目領域の検出精度が、第２の部位における注目領域の検出精度よりも高く、第２の学習済みモデルは、第２の部位における注目領域の検出精度が、第１の部位における注目領域の検出精度よりも高いことが好ましい。

【0077】

なお、本明細書において検出精度が高いとは、感度が高いこと及び／又は特異度が高いことであることが好ましい。感度が高いとは、注目領域と判定されるべきものを正しく注目領域と判定する可能性が高いことであり、特異度が高いとは、正常である（注目領域が無い）のに、注目領域があると判断される可能性が低いことである。

【0078】

［第３変形例］
上記各実施形態では、注目領域検出部４３により医療画像５０から注目領域５５が検出された場合、表示制御部４４は、注目領域５５の検出結果を、注目領域が検出された医療画像５０に重畳して医療画像表示ディスプレイ２１に表示させているが、本発明はこれに限らず、図１３に示すように、注目領域５５の検出を示すメッセージＭＳ１を重畳して、医療画像表示ディスプレイ２１に表示させてもよい。また、このように、注目領域５５の検出を示すメッセージＭＳ１としては、注目領域検出部４３で選択された第１の学習済みモデル又は第２の学習済みモデルの選択状況を表示させてもよい。

【0079】

図１３に示す変形例では、注目領域検出部４３で選択された第１の学習済みモデル又は第２の学習済みモデルとして、胃用病変検出器４３Ｂが選択されていることを示す「Ｓｔｏｍａｃｈ」というメッセージＭＳ１が表示されている。なお、注目領域検出部４３で選択された第１の学習済みモデル又は第２の学習済みモデルの選択状況を表示させる表示態様としては、これに限らず、図１１に示すように、被写体の部位に対応する模式図ＰＤを第１の学習済みモデル又は第２の学習済みモデルの選択状況として、医療画像表示ディスプレイ２１に表示させてもよい。

【0080】

また、表示制御部４４は、上記各実施形態のように、注目領域５５の検出結果を表示する表示形態に加えて、図１３に示す変形例のように、第１の学習済みモデル又は第２の学習済みモデルの選択状況を示すメッセージも報知する表示を行ってもよい。これにより第１の学習済みモデル又は第２の学習済みモデルの選択状況と、医療画像表示ディスプレイ２１に表示されている医療画像５０とを比較して、第１の学習済みモデル又は第２の学習済みモデルが正しく選択されているか否かをユーザが確認することができる。

【0081】

上記各実施形態において、医療画像取得部、部位分類部、注目領域検出部、表示制御部、報知制御部、学習部といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0082】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡ、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0083】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。

【0084】

［付記項１］
プロセッサを備え、
前記プロセッサは、
被写体を撮像した医療画像を取得し、
前記医療画像の被写体の部位を第１の部位または第２の部位に分類し、
前記被写体の部位が前記第1の部位と分類された前記医療画像について、前記第１の部位のデータと前記第２の部位のデータとを有する第１データセットで機械学習により得られた第1の学習済みモデルによって前記医療画像から注目領域を検出し、
前記被写体の部位が前記第２の部位と分類された前記医療画像について、前記第２の部位のデータを有する第２データセットで機械学習により得られた第２の学習済みモデルによって前記医療画像から注目領域を検出し、
前記第１データセットは、前記第２の部位のデータに比べて、前記第1の部位のデータが相対的に多く含まれる医療画像処理装置。
［付記項２］
前記第１の学習済みモデルは、前記第１の部位における注目領域の検出精度が、前記第２の部位における注目領域の検出精度よりも高く、
前記第２の学習済みモデルは、前記第２の部位における注目領域の検出精度が、前記第１の部位における注目領域の検出精度よりも高い請求項１に記載の医療画像処理装置。
［付記項３］
前記第１データセットは、前記第1の部位のデータであり、かつ注目領域を含む画像及び注目領域を含まない画像と、第２の部位のデータであり、かつ注目領域を含まない画像とから構成される請求項１又は２に記載の医療画像処理装置。
［付記項４］
前記第１の学習済みモデル又は前記第２の学習済みモデルは、データ及び／又はデータの組み合わせが異なる第１データセット又は第２データセットでそれぞれ学習された前記学習済みモデルである請求項1ないし３のいずれか１項に記載の医療画像処理装置。
［付記項５］
前記プロセッサは、医療画像を解析することにより、前記医療画像が撮像された被写体の部位を示す分類結果を取得し、前記分類結果に応じた前記第１の学習済みモデル又は前記第２の学習済みモデルの選択を行う請求項１ないし４のいずれか１項に記載の医療画像処理装置。
［付記項６］
前記プロセッサは、ユーザの入力に応じて、前記医療画像が撮像された被写体の部位を示す分類結果を取得し、前記分類結果に応じた前記第１の学習済みモデル又は前記第２の学習済みモデルの選択を行う請求項１ないし５のいずれか１項に記載の医療画像処理装置。
［付記項７］
前記プロセッサは、前記第１の学習済みモデル又は前記第２の学習済みモデルによる検出結果を報知する制御を行う請求項１ないし６のいずれか１項に記載の医療画像処理装置。
［付記項８］
前記プロセッサは、取得された前記時系列順の医療画像を医療画像表示ディスプレイに表示する表示制御を行い、
前記報知として、前記注目領域が検出された医療画像に、前記検出結果を重畳して前記医療画像表示ディスプレイに表示する請求項７に記載の医療画像処理装置。
［付記項９］
前記プロセッサは、前記検出結果に加えて、前記第１の学習済みモデル又は前記第２の学習済みモデルの選択状況も報知する請求項７に記載の医療画像処理装置。
［付記項１０］
前記機械学習は、深層学習である請求項１ないし９のいずれか１項に記載の医療画像処理装置。
［付記項１１］
前記医療画像を撮像する内視鏡と、
請求項１ないし１０のいずれか１項に記載の医療画像処理装置とを備える内視鏡システム。
［付記項１２］
被写体を撮像した医療画像を取得するステップと、
前記医療画像が撮像された被写体の部位を第１の部位または第２の部位に分類するステップと、
前記被写体の部位が第1の部位と分類された前記医療画像について、前記第１の部位のデータと前記第２の部位のデータとを有する第１データセットで機械学習により得られた第1の学習済みモデルによって前記医療画像から注目領域を検出するステップと、
前記被写体の部位が前記第２の部位と分類された前記医療画像について、前記第２の部位のデータを有する第２データセットで機械学習により得られた第２の学習済みモデルによって前記医療画像から注目領域を検出するステップとを備え、前記第１データセットは、前記第２の部位のデータに比べて、前記第1の部位のデータが相対的に多く含まれる医療画像処理装置の作動方法。
［付記項１３］
医療画像処理装置用のプログラムであって、
被写体を撮像した医療画像を取得する処理と、
前記医療画像が撮像された被写体の部位を第１の部位または第２の部位に分類する処理と、
前記被写体の部位が第1の部位と分類された前記医療画像について、前記第１の部位のデータと前記第２の部位のデータとを有する第１データセットで機械学習により得られた第1の学習済みモデルによって前記医療画像から注目領域を検出する処理と、
前記被写体の部位が前記第２の部位と分類された前記医療画像について、前記第２の部位のデータを有する第２データセットで機械学習により得られた第２の学習済みモデルによって前記医療画像から注目領域を検出する処理とをコンピュータに実行させ、前記第１データセットは、前記第２の部位のデータに比べて、前記第1の部位のデータが相対的に多く含まれる医療画像処理装置用プログラム。

【符号の説明】

【0085】

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｆ モード切替スイッチ
１２ｈ 静止画像取得指示スイッチ
１２ｉ ズーム操作部
１３ 光源装置
１４ プロセッサ装置
１５ ディスプレイ
１６ プロセッサ装置側入力デバイス
１９ スコープ側入力デバイス
２０ 医療画像処理装置
２１ 医療画像表示ディスプレイ
２２ 医療画像処理装置側入力デバイス
２５ 制御部
２６ 通信部
２７ 記憶部
２８ データバス
２９ スピーカ
３０ ネットワーク
３１ ＣＰＵ（Central Processing Unit)
３２ ＲＡＭ（Random Access Memory）
３３ ＲＯＭ（Read Only Memory）
３４ 医療画像処理装置用プログラム
３５ 医療画像処理装置用データ
３５ａ 一時保存部
３５ｂ データ記憶部
４１ 医療画像取得部
４２ 部位分類部
４３ 注目領域検出部
４３Ａ 食道用病変検出器
４３Ｂ 胃用病変検出器
４３Ｃ 十二指腸用病変検出器
４３Ｘ１ 第１の学習済みモデル
４３Ｘ２ 第２の学習済みモデル
４４ 表示制御部
４５ 報知制御部
４６ 学習部
５０ 医療画像
５１ メイン画面
５１Ａ 外枠
５５ 注目領域
５６ ポインタ
１００ 上部消化管
１０１ 食道
１０２ 胃
１０３ 十二指腸
１０４、１０５ 境界
Ｄ１、Ｄ２ データ
Ｄ１１ 注目領域を含む画像
Ｄ１２ 注目領域を含まない画像
Ｄ２１ 注目領域を含まない画像
ＤＳ１ 第１データセット
ＤＳ２ 第２データセット
ＭＳ１ メッセージ
ＰＤ 模式図

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】