特許 7092888 医療画像処理システム及び学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-20

(45)【発行日】2022-06-28

(54)【発明の名称】医療画像処理システム及び学習方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20220621BHJP

   A61B 1/00 20060101ALI20220621BHJP

   G06T 7/00 20170101ALI20220621BHJP

【ＦＩ】

A61B1/045 618

A61B1/045 614

A61B1/00 513

G06T7/00 350B

【請求項の数】 7

(21)【出願番号】P 2020553158

(86)(22)【出願日】2019-10-11

(86)【国際出願番号】 JP2019040247

(87)【国際公開番号】W WO2020080299

(87)【国際公開日】2020-04-23

【審査請求日】2021-05-11

(31)【優先権主張番号】P 2018195034

(32)【優先日】2018-10-16

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001988

【氏名又は名称】特許業務法人小林国際特許事務所

(72)【発明者】

【氏名】青山 達也

【審査官】磯野 光司

(56)【参考文献】

【文献】国際公開第２０１８／００８５９３（ＷＯ，Ａ１）

【文献】FUNKE, Isabel et al.，Generative adversarial networks for specular highlight removal in endoscopic images，Proceedings of SPIE，2018年03月12日，Vol.10576，pp.1-9，ISSN:0277-786X, DOI:10.1117/12.2293755

【文献】CHEN, Honghan et al.，Automatic content understanding with cascaded spatial-temporal deep framework for capsule endoscopy，Neurocomputing，2017年，Vol.229，pp.77-87，ISSN:0925-2312, DOI:10.1016/j.neucom.2016.06.077

【文献】RODRIGUEZ-SANCHEZ, Antonio et al.，A deep learning approach for detecting and correcting highlights in endoscopic images，2017 Seventh International Conference on Image Processing Theory, Tools and Applications (IPTA)，2017年，ISSN:2154-512X, DOI:10.1109/IPTA.2017.8310082

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

Ｇ０６Ｔ ７／００

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

Ｓｃｏｐｕｓ

医中誌ＷＥＢ

(57)【特許請求の範囲】

【請求項1】

観察対象を撮像して得られる第１医療画像を取得する医療画像取得部と、
前記第１医療画像から、前記観察対象のうち注目領域以外の注目領域対象外が除去された有効診断領域を検出する有効診断領域検出部と、
前記有効診断領域から前記注目領域を検出する注目領域検出部とを備え、
前記有効診断領域検出部は、前記第１医療画像と前記有効診断領域に関する有効診断領域情報とを含む第１学習データを用いた学習によって得られる有効診断領域検出用モデルを用いて、前記第１医療画像から前記有効診断領域を検出し、
前記医療画像取得部は、前記第１医療画像の撮影時とは異なる波長の照明を用いて撮影された第２医療画像を取得し、
前記注目領域検出部は、前記第２医療画像の前記有効診断領域から前記注目領域を検出する医療画像処理システム。

【請求項2】

前記注目領域検出部は、前記有効診断領域と前記注目領域とを含む第２学習データを用いた学習によって得られる注目領域検出用モデルを用いて、前記有効診断領域から前記注目領域を検出する請求項１記載の医療画像処理システム。

【請求項3】

前記第１医療画像は白色光が照明された観察対象を撮像して得られる請求項１または２記載の医療画像処理システム。

【請求項4】

前記第２医療画像は青色の狭帯域光が照明された観察対象を撮像して得られる請求項１記載の医療画像処理システム。

【請求項5】

前記注目領域対象外には、水たまり、血たまり、暗部、鏡面反射、ひずみ、画像ぼけ、泡、キャップ、残渣、残液が含まれる請求項１ないし４いずれか１項記載の医療画像処理システム。

【請求項6】

観察対象を撮像して得られる第１医療画像と、前記観察対象のうち注目領域以外の注目領域対象外が除去された有効診断領域に関する有効診断領域情報とを含む第１学習データを登録する登録部と、
前記第１学習データを複数用いて、前記第１医療画像の入力に対して、前記有効診断領域を出力する有効診断領域検出用モデルを生成するための学習を行う学習部とを備え、
前記登録部は、前記有効診断領域と前記注目領域とを含む第２学習データを登録しており、
前記学習部は、前記第２学習データを用いて、前記有効診断領域の入力に対して、前記注目領域を出力する注目領域検出用モデルを生成するための学習を行い、
前記注目領域検出用モデルは、前記第１医療画像の撮影時とは異なる波長の照明を用いて撮影された第２医療画像の前記有効診断領域の入力に対して、前記注目領域を出力する医療画像処理システム。

【請求項7】

学習部が、観察対象を撮像して得られる第１医療画像と、前記観察対象のうち注目領域以外の注目領域対象外が除去された有効診断領域に関する有効診断領域情報とを含む第１学習データを複数用いて、前記第１医療画像の入力に対して、前記有効診断領域を出力する有効診断領域検出用モデルを生成するための第１学習ステップと、
前記学習部が、前記有効診断領域と前記注目領域とを含む第２学習データを複数用いて、前記有効診断領域の入力に対して、前記注目領域を出力する注目領域検出用モデルを生成するための学習を行う第２学習ステップを有し、
前記注目領域検出用モデルは、前記第１医療画像の撮影時とは異なる波長の照明を用いて撮影された第２医療画像の前記有効診断領域の入力に対して、前記注目領域を出力する学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医療画像の解析結果を用いる医療画像処理システム及び学習方法に関する。

【背景技術】

【0002】

現在の医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムなどのように、医療画像を用いる医療画像処理システムが普及している。また、近年においては、医療画像から病変部の可能性のある注目領域を抽出し、抽出した注目領域に対して画像解析を行うことによって、病態に関する診断情報を取得することが行われている。

【0003】

注目領域の検出に用いる医療画像においては、病変などの注目領域の他に、暗部、ぼけ、残渣、鏡面反射などの注目領域以外の注目領域対象外が写り込むことがある。このような注目領域対象外の存在は、注目領域の検出の妨げになり、注目領域の検出精度を低下させる要因の一つである。これに対して、特許文献１では、注目領域対象外を色特徴、周波数成分をもとに除去してから、色特徴、輪郭、形状、テクスチャ等によって注目領域を検出している。また、特許文献２では、注目領域を粘膜領域とした場合において、粘膜領域と残渣などの非粘膜領域とのいずれかを色、エッジの特徴量を用いて判別している。また、特許文献３では、医療画像からテカリなどの不適当領域を除去してから、注目領域に相当する画像内の異常領域の検出を行っている。特許文献３では、画素値が閾値Ｔを超える領域を不適当領域として除去を行っている。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１７／００２１８４号

【文献】特開２０１２－１４３３４０号公報

【文献】国際公開第２０１８／００８５９３号

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記のように、注目領域対象外を医療画像から除去する場合において、上記特許文献１～３のように、色特徴量、画素値などの特定の画像特徴量を用いる場合、観察状態、照明状態などによる注目領域対象外の変化に個別に対処しなければならず、注目領域対象外を確実に除去することは難しい。したがって、特許文献１～３のように医療画像の画像特徴量を特定して用いるのではなく、注目領域対象外を特定し、且つ、注目領域対象外が除去された領域から注目領域を検出することによって、注目領域の検出精度を向上させることが求められていた。

【0006】

本発明は、医療画像から注目領域を検出する場合において、医療画像の画像特徴量を特定することなく、注目領域以外の注目領域対象外を特定することができる医療画像処理システム及び学習方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の医療画像処理システムは、観察対象を撮像して得られる第１医療画像を取得する医療画像取得部と、第１医療画像から、観察対象のうち注目領域以外の注目領域対象外が除去された有効診断領域を検出する有効診断領域検出部と、有効診断領域から注目領域を検出する注目領域検出部とを備え、有効診断領域検出部は、第１医療画像と有効診断領域に関する有効診断領域情報とを含む第１学習データを用いた学習によって得られる有効診断領域検出用モデルを用いて、第１医療画像から前記有効診断領域を検出し、医療画像取得部は、第１医療画像の撮影時とは異なる波長の照明を用いて撮影された第２医療画像を取得し、注目領域検出部は、第２医療画像の有効診断領域から注目領域を検出する。

【0008】

注目領域検出部は、有効診断領域と注目領域とを含む第２学習データを用いた学習によって得られる注目領域検出用モデルを用いて、有効診断領域から注目領域を検出することが好ましい。第１医療画像は白色光が照明された観察対象を撮像して得られることが好ましい。医療画像取得部は、第１医療画像と異なる第２医療画像を取得し、注目領域検出部は、第２医療画像の有効診断領域から注目領域を検出することが好ましい。第２医療画像は青色の狭帯域光が照明された観察対象を撮像して得られることが好ましい。注目領域対象外には、水たまり、血たまり、暗部、鏡面反射、ひずみ、画像ぼけ、泡、キャップ、残渣、残液が含まれる。

【0009】

本発明の医療画像処理システムは、観察対象を撮像して得られる第１医療画像と、観察対象のうち注目領域以外の注目領域対象外が除去された有効診断領域に関する有効診断領域情報とを含む第１学習データを登録する登録部と、第１学習データを複数用いて、第１医療画像の入力に対して、有効診断領域を出力する有効診断領域検出用モデルを生成するための学習を行う学習部とを備え、登録部は、有効診断領域と注目領域とを含む第２学習データを登録しており、学習部は、第２学習データを用いて、有効診断領域の入力に対して、注目領域を出力する注目領域検出用モデルを生成するための学習を行い、注目領域検出用モデルは、第１医療画像の撮影時とは異なる波長の照明を用いて撮影された第２医療画像の有効診断領域の入力に対して、注目領域を出力する。

【0010】

登録部は、有効診断領域と注目領域とを含む第２学習データを登録しており、学習部は、第２学習データを用いて、有効診断領域の入力に対して、注目領域を出力する注目領域検出用モデルを生成するための学習を行うことが好ましい。

【0011】

本発明の学習方法は、学習部が、観察対象を撮像して得られる第１医療画像と、観察対象のうち注目領域以外の注目領域対象外が除去された有効診断領域に関する有効診断領域情報とを含む第１学習データを複数用いて、第１医療画像の入力に対して、有効診断領域を出力する有効診断領域検出用モデルを生成するための第１学習ステップと、学習部が、有効診断領域と注目領域とを含む第２学習データを複数用いて、有効診断領域の入力に対して、注目領域を出力する注目領域検出用モデルを生成するための学習を行う第２学習ステップを有し、注目領域検出用モデルは、第１医療画像の撮影時とは異なる波長の照明を用いて撮影された第２医療画像の有効診断領域の入力に対して、注目領域を出力する。

【0012】

学習部が、有効診断領域と注目領域とを含む第２学習データを複数用いて、有効診断領域の入力に対して、注目領域を出力する注目領域検出用モデルを生成するための学習を行う第２学習ステップを有する。

【発明の効果】

【0013】

本発明によれば、医療画像から注目領域を検出する場合において、医療画像の画像特徴量を特定することなく、注目領域以外の注目領域対象外を特定することができる。

【図面の簡単な説明】

【0014】

【図1】画像処理システムと内視鏡システムなどを示すブロック図である。

【図2】内視鏡システムを示すブロック図である。

【図3】医療画像解析処理部の機能を示すブロック図である。

【図4】特定のたまり部を有する第１医療画像の画像図である。

【図5】画像周辺部及び鏡面反射部を有する第１医療画像の画像図である。

【図6】泡を有する第１医療画像の画像図である。

【図7】キャップの縁部が写り込んだ第１医療画像の画像図である。

【図8】有効診断領域検出用モデル、有効診断領域検出用モデルに対して入力される第１医療画像、及び有効診断領域検出用モデルから出力される有効診断領域情報を示す説明図である。

【図9】有効診断領域検出用モデルに対する学習の説明に用いられる説明図である。

【図10】第１学習データを示す説明図である。

【図11】注目領域検出用モデル、注目領域検出用モデルに対して入力される第２医療画像、及び注目領域検出用モデルから出力される注目領域情報を示す説明図である。

【図12】注目領域検出用モデルに対する学習の説明に用いられる説明図である。

【図13】第２学習データを示す説明図である。

【図14】画像処理システムを含む診断支援装置である。

【図15】画像処理システムを含む医療業務支援装置である。

【発明を実施するための形態】

【0015】

図１に示すように、画像処理システム１０は、医療画像取得部１１、医療画像解析処理部１２、表示部１３、表示制御部１５、入力受信部１６、統括制御部１７、及び、保存部１８を備える。

【0016】

医療画像取得部１１は、医療装置である内視鏡システム２１等から直接に、または、ＰＡＣＳ（Picture Archiving and Communication System）２２等の管理システムもしくはその他情報システムを介して、被写体像を含む医療画像を取得する。医療画像は静止画像または動画（いわゆる検査動画）である。医療画像が動画である場合、医療画像取得部１１は、検査後に動画を構成するフレーム画像を静止画像として取得することができる。また、医療画像が動画である場合、医療画像の表示には、動画を構成する１つの代表フレームの静止画像を表示することのほか、動画を１または複数回、再生することを含む。また、医療画像取得部１１が取得する医療画像には、内視鏡システム２１等の医療装置を用いて医師が撮影した画像の他、内視鏡システム２１等の医療装置が医師の撮影指示に依らず自動的に撮影した画像を含む。なお、本実施形態では、画像処理システム１０及び内視鏡システム２１ともに医療画像を用いて画像処理を行うことから、画像処理システム１０及び内視鏡システム２１はいずれも医療画像処理システムに相当する。医療画像システムとしては、その他、リアルタイムに画像を取得して表示する超音波診断装置も含まれる。

【0017】

医療画像取得部１１は、複数の医療画像を取得し得る場合、これらの医療画像のうち１または複数の医療画像を選択的に取得できる。また、医療画像取得部１１は、複数の互いに異なる検査において取得した複数の医療画像を取得できる。例えば、過去に行った検査で取得した医療画像と、最新の検査で取得した医療画像と、の一方または両方を取得できる。すなわち、医療画像取得部１１は、任意に医療画像を取得できる。

【0018】

本実施形態においては、被写体像を含む医療画像を複数取得する。より具体的には、１回の特定の検査において撮影した医療画像を取得し、かつ、１回の特定の検査において撮影した医療画像が複数ある場合には、一連の医療画像のうち複数の医療画像を取得する。また、本実施形態においては、画像処理システム１０は、内視鏡システム２１と接続し、内視鏡システム２１から医療画像を取得する。すなわち、本実施形態において医療画像は、内視鏡画像である。

【0019】

表示部１３は、医療画像取得部１１が取得した医療画像、及び、医療画像解析処理部１２の解析結果を表示するディスプレイである。画像処理システム１０が接続するデバイス等が含むモニタまたはディスプレイを共用し、画像処理システム１０の表示部１３として使用できる。表示制御部１５は、表示部１３における医療画像及び解析結果の表示態様を制御する。

【0020】

入力受信部１６は、画像処理システム１０に接続するマウス、キーボード、その他操作デバイスからの入力を受け付ける。画像処理システム１０の各部の動作はこれらの操作デバイスを用いて制御できる。

【0021】

統括制御部１７は、画像処理システム１０の各部の動作を統括的に制御する。入力受信部１６が操作デバイスを用いた操作入力を受信した場合には、統括制御部１７は、その操作入力にしたがって画像処理システム１０の各部を制御する。

【0022】

保存部１８は、画像処理システム１０が含むメモリ等の記憶デバイス（図示しない）、または、内視鏡システム２１等の医療装置もしくはＰＡＣＳ２２が含む記憶デバイス（図示しない）に、医療画像の静止画等を保存する。

【0023】

図２に示すように、本実施形態において画像処理システム１０が接続する内視鏡システム２１は、白色の波長帯域の光もしくは特定の波長帯域の光の少なくともいずれかを照射して被写体を撮影することにより画像を取得する内視鏡３１、内視鏡３１を介して被写体内に照明光を照射する光源装置３２、プロセッサ装置３３、及び、内視鏡３１を用いて撮影した内視鏡画像等の医療画像を表示するモニタ３４を有する。内視鏡３１が照明光に使用する特定の波長帯域の光は、例えば、緑色波長帯域よりも短波長帯域の光、特に可視域の青色帯域または紫色帯域の光である。

【0024】

プロセッサ装置３３は、医療画像取得部３５、医療画像解析処理部３６、表示制御部３７を備えている。医療画像取得部３５は、内視鏡３１から出力される医療画像を取得する。医療画像解析処理部３６は、医療画像取得部３５で取得した医療画像に対して、解析処理を行う。医療画像解析処理部３６での処理内容は、画像処理システム１０の医療画像解析処理部１２での処理内容と同様である。表示制御部３７は、医療画像解析処理部３６で得られた医療画像をモニタ３４（表示部）に表示する。プロセッサ装置３３は画像処理システム１０と接続される。なお、医療画像取得部３５は医療画像取得部１１と同様であり、医療画像解析処理部３６は医療画像解析処理部１２と同様であり、表示制御部３７は表示制御部１５と同様である。

【0025】

医療画像解析処理部３６は、医療画像取得部１１が取得した医療画像を用いて解析処理をする。図３に示すように、医療画像解析処理部３６は、有効診断領域検出部４０と、注目領域検出部４２と、登録部４４と、学習部４６とを備える。

【0026】

有効診断領域検出部４０は、医療画像のうち有効診断領域の検出に用いる第１医療画像から、ユーザーが診断対象とする注目領域が含まる可能性がある領域であって、観察対象のうち注目領域以外の注目領域対象外が除去された有効診断領域を検出する。ここで、注目領域とは、ユーザーが注目する領域であって、ユーザーが医師であれば診断を行う上で注目する領域を示す。具体的には、病変部などである。注目領域対象外は、ユーザーが診断対象とする注目領域に含まれる対象物とは明らかに異なる対象物である。注目領域対象外としては、例えば、注目領域が病変部であれば、図４に示すように、観察対象を覆う水たまり、血だまりなどの特定のたまり部４８が含まれる。有効診断領域検出部４０は、図４に示す第１医療画像に対しては、特定のたまり部４８が除去された領域を有効診断領域として検出する。

【0027】

また、注目領域対象外には、図５に示すように、画像周辺部５０に発生するひずみ（観察対象の撮像に用いられる対物レンズによるひずみ）や画像ぼけが含まれる。また、注目領域対象外には、観察対象が透明の粘膜に覆われていることによって生じる鏡面反射５２が含まれる。有効診断領域検出部４０は、図５に示す第１医療画像に対しては、画像周辺部５０のひずみ、画像ぼけが除かれた領域を有効診断領域として検出する。また、注目領域対象外には、図６に示すように、泡５４が含まれる。有効診断領域検出部４０は、図６に示す第１医療画像に対しては、泡５４が除かれた領域を有効診断領域として検出する。

【0028】

また、内視鏡３１の挿入部の先端部にキャップを装着し、図７に示すように、医療画像上にキャップの縁部５６が写り込んでいる場合には、注目領域対象外にはキャップの縁部５６の画像も含まれる。有効診断領域検出部４０は、図７に示す第１医療画像に対しては、キャップの縁部５６が除かれた領域を有効診断領域として検出する。なお、以上のような注目領域対象外は、白色光を照明した場合に検出し易くなることから、有効診断領域の検出に用いる第１医療画像は、白色光によって照明された観察対象を撮像して得られる画像とすることが好ましい。また、第１医療画像については、後述する第２医療画像のように、青色の狭帯域光によって照明された観察対象を撮像して得られる画像としてもよい。

【0029】

有効診断領域検出部４０は、図８に示すように、第１医療画像と有効診断領域に関する有効診断領域情報とを含む第１学習データを用いた学習によって得られる有効診断領域検出用モデル４０ａを備えている。有効診断領域検出用モデル４０ａは、第１医療画像６０の入力に対して、有効診断領域に関する有効診断領域情報６２、具体的には、第１医療画像のうち有効診断領域が占める位置情報を出力する。この出力された有効診断領域情報６２によって、有効診断領域の検出が可能となる。有効診断領域検出用モデル４０ａは、図９に示すように、学習部４６において、ディープラーニングなどの機械学習手法を用いて生成される。具体的には、学習部４６は、登録部４４に登録された第１学習データ４４ａを教師データとして用いて、有効診断領域検出用モデル４０ａを学習させる。

【0030】

例えば、図１０に示すような、特定のたまり部４８を有する第１医療画像６０の場合であれば、第１医療画像のうち、特定のたまり部４８の領域を、有効診断領域でないことを示すフラグ「０」とし、特定のたまり部４８以外の領域を、有効診断領域であることを示すフラグ「１」とした二値化のデータを、有効診断領域情報６２とすることが好ましい。ここで、フラグ「０」、「１」の指定については、ユーザーが、内視鏡システム２１に接続されるユーザーインタフェース（図示しない）を操作して行われることが好ましい。また、注目領域対象外のうち暗部、鏡面反射５２（図５参照）などのように、プロセッサ装置３３の画像処理によって検出可能なものについては、フラグ「０」、「１」の指定を自動的に行うことで、第１医療画像を自動的に生成することも可能である。以上の第１医療画像６０と有効診断領域情報６２とは、それぞれを関連付けた第１学習データ４４ａとして、登録部４４に登録される。登録部４４に登録された第１学習データ４４ａが、有効診断領域検出用モデル４０ａに用いられる。

【0031】

以上のように、特定のたまり部４８に限らず、画像ぼけ（図５参照）、鏡面反射５２（図５参照）、泡５４（図６参照）、キャップの縁部５６（図７参照）、残渣、残液などの注目領域対象外については、病変等の診断を行うドクターでなくとも、内視鏡システム２１を開発する研究者等でも、判別することが可能である。したがって、研究者等のより多くの関係者によって、有効診断領域の指定が可能になることから、第１学習データ４４ａは、後述する第２学習データ４４ｂと比較して、より多く作成することが可能となる。

【0032】

注目領域検出部４２は、有効診断領域検出部４０での検出結果に基づいて、医療画像のうち注目領域の検出に用いる第２医療画像の有効診断領域ＲＸから注目領域を検出する。具体的には、注目領域検出部４２は、第２医療画像のうち有効診断領域ＲＸ（フラグ「１」）のみ注目領域の検出を行い、有効診断領域以外の領域ＲＹ（フラグ「０」）は注目領域の検出を行わない。ここで、注目領域検出部４２で検出される注目領域は、例えば、がんに代表される病変部、良性腫瘍部、炎症部（いわゆる炎症の他、出血または萎縮等の変化がある部分を含む）、大腸憩室、治療痕（ＥＭＲ（Endoscopic mucosal resection）瘢痕、ＥＳＤ（Endoscopic Submucosal Dissection）瘢痕、クリップ箇所）、出血点、穿孔、血管異形性、加熱による焼灼跡もしくは着色剤、蛍光薬剤等による着色によってマーキングしたマーキング部、または、生体検査（いわゆる生検）を実施した生検実施部を含む領域である。すなわち、病変を含む領域、病変の可能性がある領域、生検等の何らかの処置をした領域、クリップやかん子などの処置具、または、暗部領域（ヒダ（襞）の裏、管腔奥のため観察光が届きにくい領域）など病変の可能性にかかわらず詳細な観察が必要である領域等が注目領域になり得る。内視鏡システム２１においては、注目領域検出部４２は、病変部、良性腫瘍部、炎症部、大腸憩室、治療痕、出血点、穿孔、血管異形性マーキング部、または、生検実施部のうち少なくともいずれかを含む領域を注目領域として検出する。

【0033】

なお、注目領域の中でも病変の領域を検出する場合には、青色の狭帯域光、例えば、波長帯域が４００ｎｍ～４５０ｎｍの狭帯域光を照明した場合に、血管構造又は腺管構造のように、病変の領域を特定するために有用な構造情報など検出し易くなることから、注目領域の検出に用いる第２医療画像は、青色の狭帯域光によって照明された観察対象を撮像して得られる画像とすることが好ましい。ここで、第１医療画像を白色光の画像とし、第２医療画像を青色の狭帯域光の画像とする場合、白色光と青色の狭帯域光とを交互に照明して撮像することになるため、第１医療画像と第２医療画像とは撮影のタイミングが異なる。そのため、第１医療画像と第２医療画像の位置合わせを行ってから、第１医療画像と第２医療画像に対して有効診断領域の設定を行うことが好ましい。例えば、第１医療画像の有効診断領域の検出を先に行った場合には、第２医療画像のうち第１医療画像の有効診断領域に対応する領域を、有効診断領域とすることが好ましい。画像の位置合わせでは、第２医療画像の形状に合うように、第１医療画像に対して位置合わせ処理を行うことが好ましい。なお、第２医療画像についても、第１医療画像と同様に、白色光によって照明された観察対象を撮像して得られる画像としてもよい。

【0034】

注目領域検出部４２は、図１１に示すように、第２医療画像と注目領域に関する注目領域情報とを含む第２学習データを用いた学習によって得られる注目領域検出用モデル４２ａを備えている。注目領域検出用モデル４２ａは、第２医療画像７０の入力に対して、有効診断領域に関する注目領域情報７２、具体的には、第２医療画像のうち注目領域が占める位置情報を出力する。この出力された注目領域情報７２によって、注目領域の検出が可能となる。注目領域検出用モデル４２ａは、図１２に示すように、学習部４６において、ディープラーニングなどの機械学習手法を用いて生成される。具体的には、学習部４６は、登録部４４に登録された第１学習データ４４ａを教師データとして用いて、注目領域検出用モデル４２ａを学習させる。

【0035】

例えば、図１３に示すような、特定の病変部７４を有する第２医療画像７０の場合であれば、第２医療画像７０のうち、特定の病変部７４以外領域を、注目領域でないことを示すフラグ「０」とし、特定の病変部７４の領域を、注目領域であることを示すフラグ「１」とした二値化のデータを、注目領域情報７２とすることが好ましい。ここで、フラグ「０」、「１」の指定については、医師など、注目領域の診断に知見を有するユーザーの指示に従って、内視鏡システム２１に接続されるユーザーインタフェース（図示しない）を操作して行われることが好ましい。以上の第２医療画像７０と注目領域情報７２とは、それぞれを関連付けた第２学習データ４４ｂとして、登録部４４に登録される。登録部４４に登録された第２学習データ４４ｂが、注目領域検出用モデル４２ａの学習に用いられる。

【0036】

以上のように、注目領域検出部４２は、注目領域対象外が除去された有効診断領域から注目領域を検出しているため、注目領域対象外が除去されていない画像から注目領域の検出を行う場合と比較して、学習のノイズとなる特徴が除かれていることによって、注目領域の検出精度が向上している。即ち、本実施形態では、「注目領域対象外の検出（有効診断領域以外の検出）」と「注目領域の検出」とを分けて行うことにより、病変などの注目領域の検出に必要な学習データの数を減らすことが可能となるため、最終的に注目領域の検出精度を向上させることができる。

【0037】

なお、図１４に示すように、内視鏡システム２１その他モダリティやＰＡＣＳ２２とを組み合わせて使用する診断支援装置６１０は、上記実施形態及びその他変形例の画像処理システム１０を含むことができる。また、図１５に示すように、例えば内視鏡システム２１を含む、第１検査装置６２１、第２検査装置６２２、…、第Ｎ検査装置６３３等の各種検査装置と任意のネットワーク６２６を介して接続する医療業務支援装置６３０は、上記実施形態及びその他変形例の画像処理システム１０を含むことができる。

【0038】

なお、上記実施形態では、有効診断領域検出部４０において、有効診断領域とそれ以外の注目領域対象外の領域とを区別して検出しているが、注目領域対象外についても複数種類に区別して検出するようにしてもよい。例えば、注目領域対象外として、泡、鏡面反射、キャップの周縁の画像、又は、正常な扁平上皮などそれぞれを区別して検出する。この場合には、検出された泡、鏡面反射、キャップの周縁の画像、又は、正常な扁平上皮などをそれぞれ除去した領域を有効診断領域とし、この有効診断領域から注目領域を検出する。

【0039】

この他、画像処理システム１０、内視鏡システム２１、及び、画像処理システム１０を含む各種装置またはシステムは、以下の種々の変更等をして使用できる。

【0040】

医療画像としては、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像を用いることができる。

【0041】

医療画像としては、特定の波長帯域の光を照射して得た画像を使用する場合、特定の波長帯域は、白色の波長帯域よりも狭い帯域を用いることができる。

【0042】

特定の波長帯域は、例えば、可視域の青色帯域または緑色帯域である。

【0043】

特定の波長帯域が可視域の青色帯域または緑色帯域である場合、特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有することが好ましい。

【0044】

特定の波長帯域は、例えば、可視域の赤色帯域である。

【0045】

特定の波長帯域が可視域の赤色帯域である場合、特定の波長帯域は、５８５ｎｍ以上６１５ｎｍまたは６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有することが好ましい。

【0046】

特定の波長帯域は、例えば、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有することができる。

【0047】

特定の波長帯域が、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有することが好ましい。

【0048】

医療画像が生体内を写した生体内画像である場合、この生体内画像は、生体内の蛍光物質が発する蛍光の情報を有することができる。

【0049】

また、蛍光は、ピーク波長が３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る蛍光を利用できる。

【0050】

医療画像が生体内を写した生体内画像である場合、前述の特定の波長帯域は、赤外光の波長帯域を利用することができる。

【0051】

医療画像が生体内を写した生体内画像であり、前述の特定の波長帯域として、赤外光の波長帯域を利用する場合、特定の波長帯域は、７９０ｎｍ以上８２０ｎｍまたは９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有することが好ましい。

【0052】

医療画像取得部１１は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の信号を有する特殊光画像を取得する特殊光画像取得部を有することができる。この場合、医療画像として特殊光画像を利用できる。

【0053】

特定の波長帯域の信号は、通常光画像に含むＲＧＢまたはＣＭＹの色情報に基づく演算により得ることができる。

【0054】

白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備えることができる。この場合、医療画像として特徴量画像を利用できる。

【0055】

内視鏡システム２１については、内視鏡３１としてカプセル内視鏡を使用できる。この場合、光源装置３２と、プロセッサ装置３３の一部と、はカプセル内視鏡に搭載できる。

【0056】

上記実施形態及び変形例において、医療画像取得部１１、医療画像解析処理部１２及び医療画像解析処理部１２を構成する各部、表示制御部１５、入力受信部１６、統括制御部１７、並びに、医療画像取得部３５、医療画像解析処理部３６、表示制御部３７、有効診断領域検出部４０、注目領域検出部４２、登録部４４、学習部４６といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路、GPU (Graphical Processing Unit)などが含まれる。

【0057】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ、ＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0058】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。

【0059】

本発明は、以下の別形態により実施可能である。
プロセッサ装置において、
医療画像取得部によって、観察対象を撮像して得られる第１医療画像を取得し、
有効診断領域検出部によって、第１医療画像から、観察対象のうち注目領域以外の注目領域対象外が除去された有効診断領域を検出し、
注目領域検出部によって、有効診断領域から注目領域を検出し、
有効診断領域検出部によって有効診断領域を検出する際には、有効診断領域検出部によって、第１医療画像と有効診断領域に関する有効診断領域情報とを含む第１学習データを用いた学習によって得られる有効診断領域検出用モデルを用いて、第１医療画像から有効診断領域を検出するプロセッサ装置。

【符号の説明】

【0060】

１０ 画像処理システム
１１ 医療画像取得部
１２ 医療画像解析処理部
１３ 表示部
１５ 表示制御部
１６ 入力受信部
１７ 統括制御部
１８ 保存部
２１ 内視鏡システム
２２ ＰＡＣＳ
３１ 内視鏡
３２ 光源装置
３３ プロセッサ装置
３４ モニタ
３５ 医療画像取得部
３６ 医療画像解析処理部
３７ 表示制御部
４０ 有効診断領域検出部
４０ａ 有効診断領域検出用モデル
４２ 注目領域検出部
４２ａ 注目領域検出用モデル
４４ 登録部
４４ａ 第１学習データ
４４ｂ 第２学習データ
４６ 学習部
４８ 特定のたまり部
５０ 画像周辺部
５２ 鏡面反射
５４ 泡
５６ 縁部
６０ 第１医療画像
６２ 有効診断領域情報
７０ 第２医療画像
７２ 注目領域情報
７４ 病変部
６１０ 診断支援装置
６２１ 第１検査装置
６２２ 第２検査装置
６２３ 第Ｎ検査装置
６２６ ネットワーク
６３０ 医療業務支援装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】