特許 7485193 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-08

(45)【発行日】2024-05-16

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240509BHJP

【ＦＩ】

A61B1/045 618

A61B1/045 614

【請求項の数】 12

(21)【出願番号】P 2023501952

(86)(22)【出願日】2021-02-26

(86)【国際出願番号】 JP2021007346

(87)【国際公開番号】W WO2022180786

(87)【国際公開日】2022-09-01

【審査請求日】2023-08-18

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】西光 雅弘

【審査官】瓦井 秀憲

(56)【参考文献】

【文献】国際公開第２０２０／０１２５３０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２０／００６５９６１（ＵＳ，Ａ１）

【文献】国際公開第２０２０／００３９９２（ＷＯ，Ａ１）

【文献】特開２０１６－１５４５８８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－ １／３２

(57)【特許請求の範囲】

【請求項1】

内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得する取得手段と、
前記撮影画像に対する注目箇所の候補領域を異なる粒度により表した複数のマスク画像を生成するマスク画像生成手段と、
前記複数のマスク画像に基づき、前記注目箇所を特定する特定手段と、
を有する画像処理装置。

【請求項2】

前記複数のマスク画像は、前記撮影画像の複数の画素に対応するグリッドごとに前記注目箇所となる信頼度を表した画像であり、前記粒度に応じて定まる前記グリッドの数は前記複数のマスク画像間において異なる、請求項１に記載の画像処理装置。

【請求項3】

前記マスク画像生成手段は、前記撮影画像に基づきスケールが異なる複数の特徴マップを生成し、当該複数の特徴マップから前記複数のマスク画像を夫々生成する、請求項１または２に記載の画像処理装置。

【請求項4】

前記特定手段は、前記複数のマスク画像から選択された１のマスク画像に基づき、前記注目箇所を特定する、、請求項１～３のいずれか一項に記載の画像処理装置。

【請求項5】

前記特定手段は、前記複数のマスク画像が統合されたマスク画像に基づき、前記注目箇所を特定する、請求項１～３のいずれか一項に記載の画像処理装置。

【請求項6】

前記特定手段は、前記複数のマスク画像間の類似度を算出し、前記類似度に基づき、選択又は統合する対象となるマスク画像を決定する、請求項４または５に記載の画像処理装置。

【請求項7】

前記特定手段が特定した前記注目箇所に関する情報を出力する出力制御手段をさらに有する、請求項１～６のいずれか一項に記載の画像処理装置。

【請求項8】

前記出力制御手段は、前記注目箇所の存否に関する情報又は前記注目箇所が存在する前記撮影画像中の位置に関する情報の少なくとも一方を、前記注目箇所に関する情報として出力する、請求項７に記載の画像処理装置。

【請求項9】

前記注目箇所を特定した画像を、指定された粒度により前記注目箇所を表した画像である粒度調整画像に変換する粒度調整手段をさらに有し、
前記出力制御手段は、前記粒度調整画像又は前記粒度調整画像に基づく画像を表示装置に表示させる、請求項７または８に記載の画像処理装置。

【請求項10】

前記注目箇所は、生体組織採取検査の対象となる箇所である、請求項１～９のいずれか一項に記載の画像処理装置。

【請求項11】

コンピュータが、
内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得し、
前記撮影画像に対する注目箇所の候補領域を異なる粒度により表した複数のマスク画像を生成し、
前記複数のマスク画像に基づき、前記注目箇所を特定する、
画像処理方法。

【請求項12】

内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得し、
前記撮影画像に対する注目箇所の候補領域を異なる粒度により表した複数のマスク画像を生成し、
前記複数のマスク画像に基づき、前記注目箇所を特定する処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、内視鏡検査において取得される画像の処理を行う画像処理装置、画像処理方法及び記憶媒体の技術分野に関する。

【背景技術】

【0002】

従来から、臓器の管腔内を撮影した画像を表示する内視鏡システムが知られている。例えば、特許文献１には、撮影デバイスが生成した撮影画像データが入力される場合に撮影画像データに含まれる病変部位に関する情報を出力する学習モデルの学習方法が開示されている。また、非特許文献１には、マルチスケールの特徴マップを用いて推論を行うニューラルネットワークのアーキテクチャであるＦｅａｔｕｒｅ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋｓが開示されている。また、非特許文献２には、生検箇所の採取に関する英国のガイドラインが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開ＷＯ２０２０／００３６０７

【非特許文献】

【0004】

【文献】T.-Y. Lin, P. Dollar, R. Girshick, K. He, B. Hariharan, and S. Belongie. Feature pyramid networks for object detection.In CVPR, 2017.

【文献】Rebecca C Fitzgerald, Massimiliano di Pietro, Krish Ragunath, et al., British Society of Gastroenterology guidelines on the diagnosis and management of Barrett's oesophagus, < https://www.bsg.org.uk/wp-content/uploads/2019/12/BSG-guidelines-on-the-diagnosis-and-management-of-Barretts-oesophagus.pdf>, October 28, 2013, P17.

【発明の概要】

【発明が解決しようとする課題】

【0005】

内視鏡検査において撮影された画像から病変部位等の注目箇所の領域を検出する場合、対象とする注目箇所（例えば平坦病変等）によっては検出が難しいという問題がある。このような場合、例えば、ピクセル単位により病変部位の位置の特定を行うと、本来検出すべき注目箇所が検出できない場合がある。

【0006】

本開示の目的は、上述した課題を鑑み、内視鏡検査において、病変部位などの注目箇所を撮影した画像から好適に特定することが可能な画像処理装置、画像処理方法及び記憶媒体を提供することである。

【課題を解決するための手段】

【0007】

画像処理装置の一の態様は、
内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得する取得手段と、
前記撮影画像に対する注目箇所の候補領域を異なる粒度により示した複数のマスク画像を生成するマスク画像生成手段と、
前記複数のマスク画像に基づき、前記注目箇所を特定する特定手段と、
を有する画像処理装置である。

【0008】

画像処理方法の一の態様は、
コンピュータが、
内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得し、
前記撮影画像に対する注目箇所の候補領域を異なる粒度により示した複数のマスク画像を生成し、
前記複数のマスク画像に基づき、前記注目箇所を特定する、
画像処理方法である。

【0009】

プログラムの一の態様は、
内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得し、
前記撮影画像に対する注目箇所の候補領域を異なる粒度により表した複数のマスク画像を生成し、
前記複数のマスク画像に基づき、前記注目箇所を特定する処理をコンピュータに実行させるプログラムである。

【発明の効果】

【0010】

本開示によれば、内視鏡の画像において検出すべき注目箇所を好適に特定することができる。

【図面の簡単な説明】

【0011】

【図1】内視鏡検査システムの概略構成を示す。

【図2】画像処理装置のハードウェア構成を示す。

【図3】生検箇所領域の抽出及び表示に関する処理の概要を示す図である。

【図4】画像処理装置の機能ブロック図である。

【図5】（Ａ）マスク画像を生検箇所特定画像として選択する処理の概要を示した図である。（Ｂ）マスク画像を統合した生検箇所特定画像を生成する処理の概要を示した図である。

【図6】粒度調整部の処理の概要を表す図である

【図7】内視鏡検査において表示装置が表示する表示画面の表示例を示す。

【図8】第１実施形態において内視鏡検査時に画像処理装置が実行する処理の概要を示すフローチャートの一例である。

【図9】第２実施形態における画像処理装置のブロック図である。

【図10】第２実施形態において画像処理装置が実行するフローチャートの一例である。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら、画像処理装置、画像処理方法及び記憶媒体の実施形態について説明する。

【0013】

＜第１実施形態＞
図１は、内視鏡検査システム１００の概略構成を示す。図１に示すように、内視鏡検査システム１００は、内視鏡を利用した検査又は治療を行う医師等の検査者に対して生検箇所（生体組織採取検査の対象となる箇所）の候補を提示するシステムであって、主に、画像処理装置１と、表示装置２と、画像処理装置１に接続された内視鏡スコープ３と、を備える。生検箇所は「注目箇所」の一例である。

【0014】

画像処理装置１は、内視鏡スコープ３が時系列により撮影する画像（「撮影画像Ｉａ」とも呼ぶ。）を内視鏡スコープ３から取得し、撮影画像Ｉａに基づく画面を表示装置２に表示させる。撮影画像Ｉａは、被検者への内視鏡スコープ３の挿入工程又は排出工程の少なくとも一方において所定の時間間隔により撮影された画像である。本実施形態においては、画像処理装置１は、撮影画像Ｉａを解析することで、生検箇所を撮影画像Ｉａから特定し、特定した生検箇所に関する情報を表示装置２に表示させる。

【0015】

表示装置２は、画像処理装置１から供給される表示信号に基づき所定の表示を行うディスプレイ等である。

【0016】

内視鏡スコープ３は、主に、検査者が所定の入力を行うための操作部３６と、被検者の撮影対象となる臓器内に挿入され、柔軟性を有するシャフト３７と、超小型撮像素子などの撮影部を内蔵した先端部３８と、画像処理装置１と接続するための接続部３９とを有する。

【0017】

なお、以後では、代表例として、大腸の内視鏡検査における処理の説明を行うが、検査対象は、大腸に限らず、食道又は胃を対象としてもよい。また、本開示において対象となる内視鏡は、例えば、咽頭内視鏡、気管支鏡、上部消化管内視鏡、十二指腸内視鏡、小腸内視鏡、大腸内視鏡、カプセル内視鏡、胸腔鏡、腹腔鏡、膀胱鏡、胆道鏡、関節鏡、脊椎内視鏡、血管内視鏡、硬膜外腔内視鏡などが挙げられる。

【0018】

図２は、画像処理装置１のハードウェア構成を示す。画像処理装置１は、主に、プロセッサ１１と、メモリ１２と、インターフェース１３と、入力部１４と、光源部１５と、音出力部１６と、を含む。これらの各要素は、データバス１９を介して接続されている。

【0019】

プロセッサ１１は、メモリ１２に記憶されているプログラム等を実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサである。プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。

【0020】

メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの、作業メモリとして使用される各種の揮発性メモリ及び画像処理装置１の処理に必要な情報を記憶する不揮発性メモリにより構成される。なお、メモリ１２は、画像処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリなどの記憶媒体を含んでもよい。メモリ１２には、画像処理装置１が本実施形態における各処理を実行するためのプログラムが記憶される。また、メモリ１２は、マスク画像生成モデル情報Ｄ１を記憶している。

【0021】

マスク画像生成モデル情報Ｄ１は、撮影画像Ｉａ中における生検箇所を表す画像であるマスク画像を生成するモデル（「マスク画像生成モデル」とも呼ぶ。）に関する情報である。マスク画像生成モデル情報Ｄ１は、例えば、マスク画像生成モデルを構成するために必要なパラメータを含んでいる。マスク画像生成モデルは、任意の機械学習モデル又は統計モデルであって、撮影画像Ｉａが入力された場合に、入力された撮影画像Ｉａ中の生検箇所の候補領域を異なる粒度（即ち解像度）により示した複数のマスク画像を出力するように学習されたモデルである。なお、マスク画像生成モデルがニューラルネットワークにより構成される場合、マスク画像生成モデル情報Ｄ１は、例えば、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの各種パラメータを含む。本実施形態では、一例として、マスク画像生成モデルは、Ｆｅａｔｕｒｅ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋｓであるものとする。マスク画像生成モデルの詳細については、図３を参照して後述する。

【0022】

なお、マスク画像生成モデル情報Ｄ１は、メモリ１２に代えて、画像処理装置１と有線又は無線によりデータ通信が可能な外部装置に記憶されてもよい。この外部装置は、１又は複数のサーバ装置であってもよい。

【0023】

インターフェース１３は、画像処理装置１と外部装置とのインターフェース動作を行う。例えば、インターフェース１３は、プロセッサ１１が生成した表示情報「Ｉｂ」を表示装置２に供給する。また、インターフェース１３は、光源部１５が生成する光等を内視鏡スコープ３に供給する。また、インターフェース１３は、内視鏡スコープ３から供給される撮影画像Ｉａを示す電気信号をプロセッサ１１に供給する。インターフェース１３は、外部装置と有線又は無線により通信を行うためのネットワークアダプタなどの通信インターフェースであってもよく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＳＡＴＡ（Ｓｅｒｉａｌ ＡＴ Ａｔｔａｃｈｍｅｎｔ）などに準拠したハードウェアインターフェースであってもよい。

【0024】

入力部１４は、検査者による操作に基づく入力信号を生成する。入力部１４は、例えば、ボタン、タッチパネル、リモートコントローラ、音声入力装置等である。後述するように、入力部１４は、表示する生検箇所の粒度を指定する入力（外部入力）を受け付ける。光源部１５は、内視鏡スコープ３の先端部３８に供給するための光を生成する。また、光源部１５は、内視鏡スコープ３に供給する水や空気を送り出すためのポンプ等も内蔵してもよい。音出力部１６は、プロセッサ１１の制御に基づき音を出力する。

【0025】

次に、画像処理装置１による生検箇所の特定及び表示に関する処理について具体的に説明する。

【0026】

図３は、生検箇所領域の抽出及び表示に関する処理の概要を示す図である。

【0027】

まず、画像処理装置１は、撮影画像Ｉａに対し、マスク画像生成モデル情報Ｄ１に基づき構成されるマスク画像生成モデルに基づき、粒度の異なる複数のマスク画像「Ｉｍ１」～「ＩｍＮ」（Ｎは２以上の整数）を生成する。

【0028】

マスク画像Ｉｍ１～ＩｍＮは、生検箇所の信頼度をグリッドごとに示した画像である。ここで、グリッドは、撮影画像Ｉａを格子状に分割した仮想的な領域であり、撮影画像Ｉａの複数の画素に対応する矩形領域である。マスク画像Ｉｍ１～ＩｍＮは、撮影画像Ｉａ上での上記信頼度のヒートマップ（信頼度マップ）を示す画像であってもよく、グリッドごとに生検箇所であるか否かを示す２値画像であってもよい。図３では、一例として、生検箇所となる画素を白、それ以外の画素を黒とした２値画像のマスク画像Ｉｍ１～ＩｍＮが示されている。

【0029】

そして、マスク画像Ｉｍ１～ＩｍＮは、生検箇所の信頼度を表す粒度（解像度）が夫々異なっており、粒度に応じたグリッド数を有している。例えば、マスク画像Ｉｍ１は、縦及び横のグリッド数が４×４となるグリッドを有する画像となっており、マスク画像Ｉｍ２は、縦及び横のグリッド数が８×８となるグリッドを有する画像となっている。

【0030】

次に、画像処理装置１は、生成した粒度の異なるＮ枚のマスク画像Ｉｍ１～ＩｍＮに対し、所定のアルゴリズムに基づき選択又は統合を行うことで、生検箇所を特定する画像（「生検箇所特定画像Ｉｅ」とも呼ぶ。）を生成する。図３では、一例として、画像処理装置１は、マスク画像Ｉｍ１を、生検箇所特定画像Ｉｅとして選択している。

【0031】

そして、画像処理装置１は、ユーザが入力部１４等により指定した粒度により、特定した生検箇所を提示する。ここでは、一例として、６×６の粒度が指定されており、画像処理装置１は、生検箇所特定画像Ｉｅ（ここでは４×４のマスク画像）を６×６のマスク画像に変換し、変換後のマスク画像に基づき、特定した生検箇所を指定された粒度により撮影画像Ｉａ上において強調表示している。これにより、画像処理装置１は、生検箇所の候補を好適にユーザに提示することができる。なお、画像処理装置１は、撮影画像Ｉａに重ねて特定した生検箇所を明示する代わりに、特定した生検箇所を表す画像を撮影画像Ｉａとは別個に表示してもよい。この表示例については、図７を参照して説明する。

【0032】

ここで、マスク画像生成モデルについて補足説明する。マスク画像生成モデルは、Ｆｅａｔｕｒｅ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋｓに基づくネットワークアーキテクチャを有している。この場合、マスク画像生成モデルは、入力画像である撮影画像Ｉａに対して畳み込み演算を行うことで、マルチスケールの特徴マップ（即ち畳み込みによって得られたテンソル）を生成し、特徴マップごとに生検箇所の推論（本実施形態では粒度の異なるマスク画像の生成）を行う。マスク画像生成モデルが出力するマスク画像の数、及び、各マスク画像の粒度（解像度）については、学習段階において予め設定されている。そして、このようなマスク画像生成モデルが訓練用データに基づき予め学習され、学習されたパラメータがマスク画像生成モデル情報Ｄ１に記憶されている。訓練用データは、入力画像となる撮影画像と正解データとなる複数のマスク画像との複数の組となる。学習では、例えば、入力画像を入力した場合のマスク画像生成モデルの出力と正解データとの誤差（損失）が最小化されるように、勾配降下法や誤差逆伝播法などにより、マスク画像生成モデルのパラメータが決定される。

【0033】

なお、マスク画像生成モデルは、Ｆｅａｔｕｒｅ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋｓに限らず、入力された画像に対して粒度の異なるマスク画像を出力する任意の学習モデルであってもよい。例えば、このようなニューラルネットワークのアーキテクチャとして、入力画像である撮影画像Ｉａを複数の解像度にリサイズした画像を生成し、生成した複数の画像に対して推論（本実施形態ではマスク画像の生成）を行うＦｅａｔｕｒｉｚｅｄ ｉｍａｇｅ ｐｙｒａｍｉｄなどが存在する。

【0034】

図４は、画像処理装置１の機能ブロックの一例である。図４に示すように、画像処理装置１のプロセッサ１１は、機能的には、撮影画像取得部３１と、マスク画像生成部３２と、特定部３３と、粒度調整部３４と、表示制御部３５と、を有する。なお、図４では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せは図４に限定されない。後述する他の機能ブロックの図においても同様である。

【0035】

撮影画像取得部３１は、インターフェース１３を介して内視鏡スコープ３が撮影した撮影画像Ｉａを所定間隔により取得する。そして、撮影画像取得部３１は、取得した撮影画像Ｉａを、マスク画像生成部３２、粒度調整部３４、及び表示制御部３５に夫々供給する。

【0036】

マスク画像生成部３２は、撮影画像取得部３１から供給される撮影画像Ｉａを取得し、マスク画像生成モデル情報Ｄ１に基づき構成されるマスク画像生成モデルに撮影画像Ｉａを入力することで、マスク画像Ｉｍ１～ＩｍＮを生成する。

【0037】

特定部３３は、マスク画像生成部３２が生成したマスク画像Ｉｍ１～ＩｍＮに基づき、生検箇所を特定する。一例として、特定部３３は、マスク画像Ｉｍ１～ＩｍＮに基づき、生検箇所特定画像Ｉｅを生成する。そして、特定部３３は、生検箇所特定画像Ｉｅに基づき生検箇所を特定する。この場合、特定部３３は、マスク画像Ｉｍ１～ＩｍＮから１つのマスク画像を生検箇所特定画像Ｉｅとして選択してもよく、マスク画像Ｉｍ１～ＩｍＮ又はその一部を統合することで生検箇所特定画像Ｉｅを生成してもよい。特定部３３の処理の具体例については後述する。

【0038】

粒度調整部３４は、特定部３３から供給される生検箇所特定画像Ｉｅを、ユーザが指定した粒度（即ち縦及び横のグリッド数）となるように調整した画像（「粒度調整画像Ｉｅｃ」とも呼ぶ。）に変換する。この場合、粒度調整部３４は、例えば、入力部１４から粒度を指定する情報を取得し、取得した情報が示す粒度に基づき、粒度調整画像Ｉｅｃを生成する。なお、ユーザが予め指定した粒度の設定情報又はデフォルトの粒度の設定情報がメモリ１２等に予め記憶されていてもよい。この場合、粒度調整部３４は、上述の設定情報をメモリ１２等から参照することで、粒度調整画像Ｉｅｃを生成する。粒度調整部３４による粒度調整画像Ｉｅｃの生成については、図６を参照して補足説明する。なお、粒度調整部３４による処理は、表示に用いる粒度のユーザによる指定又は設定があった場合に行われる処理であって、必須の構成ではない。

【0039】

表示制御部３５は、表示に用いる粒度のユーザによる指定又は設定があった場合、粒度調整部３４が生成した粒度調整画像Ｉｅｃに基づき、表示情報Ｉｂを生成し、生成した表示情報Ｉｂを表示装置２に供給することで、表示装置２に生検箇所領域に関する情報を表示させる。一方、表示制御部３５は、表示に用いる粒度のユーザによる指定又は設定がない場合、生検箇所特定画像Ｉｅに基づき表示情報Ｉｂを生成し、生成した表示情報Ｉｂを表示装置２に供給することで、表示装置２に生検箇所領域に関する情報を表示させる。表示制御部３５が表示装置２に表示させる表示例については、図７を参照して後述する。

【0040】

ここで、撮影画像取得部３１、マスク画像生成部３２、特定部３３、粒度調整部３４及び表示制御部３５の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばＦＰＧＡ（Field-Programmable Gate Array）又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ＡＳＳＰ（Application Specific Standard Produce）、ＡＳＩＣ（Application Specific Integrated Circuit）又は量子プロセッサ（量子コンピュータ制御チップ）により構成されてもよい。このように、各構成要素は、種々のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は、例えば、クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。

【0041】

まず、特定部３３による生検箇所特定画像Ｉｅの生成方法について具体的に説明する。図５（Ａ）は、マスク画像Ｉｍ１～ＩｍＮから１つのマスク画像を生検箇所特定画像Ｉｅとして選択する処理の概要を示した図である。図５（Ｂ）は、マスク画像Ｉｍ１～ＩｍＮを統合した生検箇所特定画像Ｉｅを生成する処理の概要を示した図である。

【0042】

まず、生検箇所特定画像Ｉｅとなるマスク画像を選択する方法（図５（Ａ）参照）について説明する。

【0043】

生検箇所特定画像Ｉｅの選択に関する第１の例では、特定部３３は、マスク画像がグリッドごとに生検箇所の信頼度のスコアを表す場合に、マスク画像毎の最大スコアを特定し、最大スコアが最も大きいマスク画像を、生検箇所特定画像Ｉｅとして選択する。ここで、信頼度は、生検箇所が存在する可能性の高さを表す指標であり、信頼度が高いほど生検箇所が存在する可能性が高いことを表す。これにより、特定部３３は、信頼性が最も高いマスク画像を生検箇所特定画像Ｉｅとして選択することができる。

【0044】

生検箇所特定画像Ｉｅの選択に関する第２の例では、特定部３３は、マスク画像Ｉｍ１～ＩｍＮ間の各ペアに対して類似度を算出し、類似度に基づき生検箇所特定画像Ｉｅを選択する。ここで、特定部３３は、ＭＳＥ（Mean Squared Error）やＳＳＩＭ（Structural Similarity）などの任意の画像類似度指標を用いて上述の類似度を算出してもよい。

【0045】

具体的には、特定部３３は、類似度に基づき外れ値となるマスク画像を特定し、特定したマスク画像を、生検箇所特定画像Ｉｅとして選択する対象から除外する。この場合、特定部３３は、例えば、他のマスク画像との類似度の平均値が所定値より小さいマスク画像を、生検箇所特定画像Ｉｅとして選択する対象から除外する。そして、特定部３３は、残りのマスク画像群から、例えば、最も粒度が低い（即ち解像度が低い）マスク画像を、生検箇所特定画像Ｉｅとして選択する。

【0046】

なお、生検箇所特定画像Ｉｅの選択に関する第２の例において、特定部３３は、マスク画像Ｉｍ１～ＩｍＮ間の各ペアの類似度に基づき外れ値となるマスク画像を特定する代わりに、類似度に基づきマスク画像Ｉｍ１～ＩｍＮのクラスタリングを行い、最も数が大きいクラスタのマスク画像群から生検箇所特定画像Ｉｅを選択してもよい。この場合、特定部３３は、ｘ－ｍｅａｎｓ法などの任意のクラスタリング手法を用いてクラスタリングを行ってもよい。そして、特定部３３は、最も数が大きいクラスタのマスク画像群から、最も粒度が低い（即ち解像度が低い）マスク画像を、生検箇所特定画像Ｉｅとして選択する。

【0047】

次に、マスク画像Ｉｍ１～ＩｍＮを統合して生検箇所特定画像Ｉｅを生成する方法（図５（Ｂ）参照）について説明する。

【0048】

この場合、特定部３３は、マスク画像Ｉｍ１～ＩｍＮを共通の粒度となるようにリサイズし、リサイズした各マスク画像Ｉｍ１～ＩｍＮを対応するグリッドごとに平均化した（又は足し合わせた）生検箇所特定画像Ｉｅを生成する。図５（Ｂ）の例では、特定部３３は、マスク画像Ｉｍ１～ＩｍＮを、８×８の粒度（グリッド数）となるマスク画像に変換した後、変換後のマスク画像を統合した８×８の粒度の生検箇所特定画像Ｉｅを生成している。

【0049】

なお、特定部３３は、各マスク画像Ｉｍ１～ＩｍＮに対して重み「ｗ１」～「ｗＮ」を設定し、これらの重みを用いて重み付け平均することで生検箇所特定画像Ｉｅを生成してもよい。この場合の重みｗ１～ｗＮは、予め定められた値であってもよく、各マスク画像のグリッドごとの信頼度の最大スコアに応じた値に設定されてもよい。

【0050】

また、特定部３３は、マスク画像Ｉｍ１～ＩｍＮ間の類似度に基づき、統合する対象となるマスク画像をマスク画像Ｉｍ１～ＩｍＮから選択してもよい。この場合、例えば、特定部３３は、類似度に基づき外れ値となるマスク画像を特定し、特定したマスク画像を除外したマスク画像群を統合することで、生検箇所特定画像Ｉｅを生成する。他の例では、特定部３３は、上述したクラスタリング手法により、最も数が大きいクラスタとなるマスク画像群を特定し、特定したマスク画像群を統合した生検箇所特定画像Ｉｅを生成する。これにより、特定部３３は、外乱等により誤差を含むマスク画像を好適に除外し、生検箇所の候補となる領域を高精度に表した生検箇所特定画像Ｉｅを生成することができる。

【0051】

次に、粒度調整画像Ｉｅｃの生成について説明する。図６は、粒度調整部３４の処理の概要を表す図である。図６では、粒度調整部３４は、４×４の粒度を有する生検箇所特定画像Ｉｅを、ユーザにより指定された粒度である６×６の粒度調整画像Ｉｅｃに変換している。

【0052】

この場合、粒度調整部３４は、任意の画像のリサイズ手法を用いて図６に示す変換処理を行う。例えば、粒度調整部３４は、各マスク画像に対して四隅のいずれかを原点として共通の値域となる２次元座標系を定義し、生検箇所特定画像Ｉｅ及び粒度調整画像Ｉｅｃでの各グリッドの座標値（例えば中心の座標値）を決定する。そして、粒度調整部３４は、粒度調整画像Ｉｅｃのグリッドの値（スコア）を、当該グリッドに対応する座標値に最も近い生検箇所特定画像Ｉｅのグリッドの値に定める。なお、粒度調整部３４は、座標値に基づき公知の重み付け平均処理を行うことで、複数の生検箇所特定画像Ｉｅのグリッドの値から粒度調整画像Ｉｅｃの各グリッドの値を決定してもよい。

【0053】

次に、表示制御部３５が実行する表示装置２の表示制御について説明する。図７は、内視鏡検査において表示装置２が表示する表示画面の表示例を示す。画像処理装置１の表示制御部３５は、撮影画像取得部３１が取得する撮影画像Ｉａ及び粒度調整部３４が生成する粒度調整画像Ｉｅｃに基づき生成した表示情報Ｉｂを表示装置２に送信することで、図７に示す表示画面を表示装置２に表示させている。

【0054】

図７の例では、画像処理装置１の表示制御部３５は、最新撮影画像７０と、生検箇所マップ７１と、粒度表示領域７２とを表示画面上に表示している。表示制御部３５は、撮影画像取得部３１が取得した最新の撮影画像Ｉａに基づく動画を、最新撮影画像７０として表示する。また、表示制御部３５は、粒度調整部３４から取得した粒度調整画像Ｉｅｃに基づき、生検箇所マップ７１を表示している。この場合、表示制御部３５は、粒度調整画像Ｉｅｃをそのまま生検箇所マップ７１として表示してもよく、粒度調整画像Ｉｅｃに対して所定の加工処理を行った画像を生検箇所マップ７１として表示してもよい。後者の例では、例えば、表示制御部３５は、粒度調整画像Ｉｅｃを２値画像又は３以上の所定階調の画像に変換する処理を行ってもよい。

【0055】

なお、表示制御部３５は、生検箇所マップ７１に相当する表示を、最新撮影画像７０に重ねて表示してもよい。この場合、表示制御部３５は、生検箇所マップ７１上に、粒度調整画像Ｉｅｃに基づくヒートマップを表示してもよく、粒度調整画像Ｉｅｃにおいて値が所定の閾値以上となる範囲を縁取り効果により強調表示してもよい。このように、表示制御部３５は、粒度調整画像Ｉｅｃに基づく画像を表示させてもよい。

【0056】

また、表示制御部３５は、粒度表示領域７２において、現在の粒度の設定（ここでは１６×１６）を表示すると共に、粒度の設定変更を指示する変更ボタン７３を表示している。そして、表示制御部３５は、変更ボタン７３が選択されたことを検知した場合、設定する粒度を指定する入力を入力部１４により受け付ける。この場合、表示制御部３５は、入力部１４が取得する音声入力信号に基づき、設定する粒度の指定を受け付けてもよい。この場合、表示制御部３５は、変更ボタン７３を設けることなく、音声入力信号に基づき、粒度の設定変更の要否及び変更後の粒度を決定してもよい。

【0057】

図７に示す表示画面によれば、画像処理装置１は、検査者に対して生検箇所の候補となる領域を好適に提示し、効率的かつ効果的な生検の実施を支援することができる。この場合、画像処理装置１は、ユーザが指定した粒度により生検箇所の候補を好適に検査者に提示することができる。

【0058】

図８は、第１実施形態において内視鏡検査時に画像処理装置１が実行する処理の概要を示すフローチャートの一例である。

【0059】

まず、画像処理装置１の撮影画像取得部３１は、撮影画像Ｉａを取得する（ステップＳ１１）。この場合、画像処理装置１の撮影画像取得部３１は、インターフェース１３を介して内視鏡スコープ３から撮影画像Ｉａを受信する。

【0060】

次に、画像処理装置１のマスク画像生成部３２は、マスク画像生成モデル情報Ｄ１に基づき構成されるマスク画像生成モデルにより、ステップＳ１１で取得された撮影画像Ｉａから粒度の異なるＮ枚のマスク画像Ｉｍ１～ＩｍＮを生成する（ステップＳ１２）。そして、特定部３３は、Ｎ枚のマスク画像Ｉｍ１～ＩｍＮに基づき、生検箇所領域を示すマスク画像である生検箇所特定画像Ｉｅを生成する（ステップＳ１３）。

【0061】

そして、粒度調整部３４は、ユーザ指定の粒度に基づく粒度調整画像Ｉｅｃを生成する（ステップＳ１４）。そして、表示制御部３５は、ステップＳ１１で取得した撮影画像Ｉａと、生検箇所に関する情報とを表示装置２に表示させる（ステップＳ１５）。この場合、表示制御部３５は、生検箇所に関する情報として、粒度調整画像Ｉｅｃ又は粒度調整画像Ｉｅｃに基づく画像を表示装置２に表示させる。これにより、表示制御部３５は、特定した生検箇所の存在及び位置を、ユーザが指定した粒度により好適に提示することができる。

【0062】

なお、表示装置２に出力された生検箇所特定画像Ｉｅをユーザが見て、ユーザがその場で粒度変更の入力を行ってもよい。この場合、表示制御部３５は、ステップＳ１３後に表示装置２に生検箇所特定画像Ｉｅを表示し、粒度調整部３４は、入力部１４による粒度変更の入力を検知した場合に、ステップＳ１４において、ユーザ指定の粒度に基づく粒度調整画像Ｉｅｃを生成する。そして、ステップＳ１５において、表示制御部３５は、ステップＳ１１で取得した撮影画像Ｉａと、生検箇所に関する情報とを表示装置２に表示させる。

【0063】

そして、画像処理装置１は、内視鏡検査が終了したか否か判定する（ステップＳ１６）。例えば、画像処理装置１は、入力部１４又は操作部３６への所定の入力等を検知した場合に、内視鏡検査が終了したと判定する。そして、画像処理装置１は、内視鏡検査が終了したと判定した場合（ステップＳ１６；Ｙｅｓ）、フローチャートの処理を終了する。一方、画像処理装置１は、内視鏡検査が終了していないと判定した場合（ステップＳ１６；Ｎｏ）、ステップＳ１１へ処理を戻す。そして、画像処理装置１は、内視鏡スコープ３が新たに生成する撮影画像Ｉａに対してステップＳ１１～ステップＳ１６の処理を実行する。

【0064】

次に、本実施形態における技術的効果について補足説明する。

【0065】

一般に、生検箇所の選定は、ガンなどの病状の判定に極めて重要な一方で、平坦病変における生検箇所の選定は難しいという課題がある。そして、現状では、医師の生検箇所の選定スキルの差による検査ミスを避けるため、例えば、英国におけるバレット食道の標準検査手法では、生検箇所を一定間隔で採取する生検採取が採用されている。一方、このような生検採取方法では、採取箇所が多くなるため、検査者である医師の手間、患者の負担、生検検査コストが大きくなるという問題がある（非特許文献２参照）。一方、従来の病変領域抽出技術では、ピクセル単位での領域抽出が行われており、この手法を用いて生検箇所を提示することも考えられる。しかしながら、この手法では、平坦病変などの医師でも判断が難しい箇所に対して十分な抽出精度が得られないという問題がある。

【0066】

以上を勘案し、本実施形態では、画像処理装置１は、撮影画像Ｉａを複数パターンのグリッドに分割し、グリッドパターンごとの生検箇所の検出結果であるマスク画像Ｉｍ１～ＩｍＮに基づき、生検箇所を特定する。これにより、平坦病変などの医師でも判断が難しい箇所に対しても、生検箇所を適切な精度で特定することができ、生検箇所の候補として検査者に好適に提示することができる。従って、この場合、効率的かつ効果的な生検の実施を支援することができる。また、画像処理装置１は、ユーザが指定した粒度により生検箇所領域を好適に検査者に提示し、ユーザの利便性を高めることができる。

【0067】

次に、上述した実施形態に好適な変形例について説明する。以下の変形例は、組み合わせて上述の実施形態に適用してもよい。

【0068】

（変形例１）
画像処理装置１は、内視鏡検査時に生成された撮影画像Ｉａから構成された映像を、検査後において処理してもよい。

【0069】

例えば、画像処理装置１は、検査後の任意のタイミングにおいて、入力部１４によるユーザ入力等に基づき、処理を行う対象となる映像が指定された場合に、当該映像を構成する時系列の撮影画像Ｉａに対して逐次的に図８のフローチャートの処理を行う。そして、画像処理装置１は、ステップＳ１６において対象の映像が終了したと判定した場合に、フローチャートの処理を終了し、対象の映像が終了していない場合にはステップＳ１１に戻り、時系列において次の撮影画像Ｉａを対象としてフローチャートの処理を行う。

【0070】

（変形例２）
画像処理装置１は、生検箇所の撮影画像Ｉａ中の位置に関する情報を出力する制御に代えて、又は、これに加えて、生検箇所の存否に関する情報を通知する出力を行ってもよい。

【0071】

この場合、例えば、表示制御部３５は、表示及び音の出力を制御する出力制御部として機能し、上述した実施形態に基づく表示装置２の表示を制御すると共に、生検箇所特定画像Ｉｅ又は粒度調整画像Ｉｅｃに基づき、生検箇所の存否判定を行い、音出力部１６を制御する。この場合、表示制御部３５は、例えば、生検箇所特定画像Ｉｅ又は粒度調整画像Ｉｅｃにおいて、生検箇所が存在する信頼度を表すグリッドの値が所定の閾値以上となるグリッドが存在する場合、生検箇所が存在すると判定し、所定の音又は音声の出力を音出力部１６に指示する。上述の閾値は、例えば予めメモリ１２等に記憶されている。

【0072】

なお、画像処理装置１は、生検箇所の存否に関する情報を音により通知する代わりに、生検箇所の存否に関する情報を表示させてもよい。この場合、画像処理装置１は、例えば、生検箇所が存在すると判定した場合に、最新撮影画像７０を縁取り効果により強調表示することで、生検箇所が存在することをユーザに通知してもよい。

【0073】

以上説明したように、本変形例では、画像処理装置１は、生検箇所の存否を検査者に好適に通知し、生検箇所の見逃し等を好適に抑制することができる。そして、本変形例によれば、画像処理装置１は、生検箇所の存否に関する情報又は注目箇所が存在する撮影画像Ｉａ中の位置に関する情報の少なくとも一方を出力すればよい。

【0074】

（変形例３）
マスク画像生成モデルにより検知する対象は、生検箇所に限らず、検査者が注目する必要がある任意の注目箇所であってもよい。このような注目箇所は、病変部位、炎症が生じている箇所、手術痕その他の切り傷が生じている箇所、ひだや突起が生じている箇所、内視鏡スコープ３の先端部３８が管腔内の壁面において接触しやすい（閊えやすい）箇所などであってもよい。例えば、病変部位の場合、検出対象となる病変部位の病状は、以下の（ａ）～（ｆ）ように例示される。

【0075】

（ａ）頭頚部：咽頭ガン、悪性リンパ腫、乳頭腫
（ｂ）食道：食道ガン、食道炎、食道裂孔ヘルニア、バレット食道、食道静脈瘤、食道アカラシア、食道粘膜下腫瘍、食道良性腫瘍
（ｃ）胃：胃ガン、胃炎、胃潰瘍、胃ポリープ、胃腫瘍
（ｄ）十二指腸：十二指腸ガン、十二指腸潰瘍、十二指腸炎、十二指腸腫瘍、十二指腸リンパ腫
（ｅ）小腸：小腸ガン、小腸腫瘍性疾患、小腸炎症性疾患、小腸血管性疾患
（ｆ）大腸：大腸ガン、大腸腫瘍性疾患、大腸炎症性疾患、大腸ポリープ、大腸ポリポーシス、クローン病、大腸炎、腸結核、痔

【0076】

そして、マスク画像生成モデルは、撮影画像Ｉａが入力された場合に、所定の注目箇所を異なる粒度により示したマスク画像を出力するように学習される。そして、画像処理装置１のマスク画像生成部３２は、このようなマスク画像生成モデルを用いて撮影画像Ｉａから注目箇所に関するマスク画像Ｉｍ１～ＩｍＮを生成し、特定部３３は、マスク画像Ｉｍ１～ＩｍＮから選択又はこれらを統合したマスク画像を生成する。そして、粒度調整部３４は、ユーザ指定の粒度になるようにマスク画像の粒度を変更し、表示制御部３５は、粒度調整部３４が生成したマスク画像に基づき、注目箇所に関する表示を行う。これによっても、画像処理装置１は、検査者に注目箇所を好適に提示することができる。また、本変形例においても、本変形例前の第１実施形態において述べた生検箇所の抽出における効果と同等の効果を奏する。

【0077】

＜第２実施形態＞
図９は、第２実施形態における画像処理装置１Ｘのブロック図である。画像処理装置１Ｘは、取得手段３１Ｘと、マスク画像生成手段３２Ｘと、特定手段３３Ｘとを備える。画像処理装置１Ｘは、複数の装置から構成されてもよい。

【0078】

取得手段３１Ｘは、内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得する。取得手段３１Ｘは、第１実施形態（変形例を含む、以下同じ。）における撮影画像取得部３１とすることができる。なお、取得手段３１Ｘは、撮影部が生成した撮影画像を即時に取得してもよく、予め撮影部が生成して記憶装置に記憶された撮影画像を、所定のタイミングにおいて取得してもよい。

【0079】

マスク画像生成手段３２Ｘは、撮影画像に対する注目箇所の候補領域を異なる粒度により示した複数のマスク画像を生成する。マスク画像生成手段３２Ｘは、例えば、第１実施形態におけるマスク画像生成部３２とすることができる。

【0080】

特定手段３３Ｘは、複数のマスク画像に基づき、注目箇所を特定する。特定手段３３Ｘは、例えば、第１実施形態における特定部３３とすることができる。

【0081】

図１０は、第２実施形態における処理手順を示すフローチャートの一例である。まず、取得手段３１Ｘは、内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得する（ステップＳ２１）。次に、マスク画像生成手段３２Ｘは、撮影画像に対する注目箇所の候補領域を異なる粒度により示した複数のマスク画像を生成する（ステップＳ２２）。そして、特定手段３３Ｘは、複数のマスク画像に基づき、注目箇所を特定する（ステップＳ２３）。

【0082】

第２実施形態によれば、画像処理装置１Ｘは、注目箇所の候補領域を異なる粒度により示した複数のマスク画像に基づき、検査対象を撮影した撮影画像中における注目箇所を好適に特定することができる。

【0083】

その他、上記の各実施形態（変形例を含む、以下同じ）の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。

【0084】

［付記１］
内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得する取得手段と、
前記撮影画像に対する注目箇所の候補領域を異なる粒度により表した複数のマスク画像を生成するマスク画像生成手段と、
前記複数のマスク画像に基づき、前記注目箇所を特定する特定手段と、
を有する画像処理装置。
［付記２］
前記複数のマスク画像は、前記撮影画像の複数の画素に対応するグリッドごとに前記注目箇所となる信頼度を表した画像であり、前記粒度に応じて定まる前記グリッドの数は前記複数のマスク画像間において異なる、付記１に記載の画像処理装置。
［付記３］
前記マスク画像生成手段は、前記撮影画像に基づきスケールが異なる複数の特徴マップを生成し、当該複数の特徴マップから前記複数のマスク画像を夫々生成する、付記１または２に記載の画像処理装置。
［付記４］
前記特定手段は、前記複数のマスク画像から選択された１のマスク画像に基づき、前記注目箇所を特定する、、付記１～３のいずれか一項に記載の画像処理装置。
［付記５］
前記特定手段は、前記複数のマスク画像が統合されたマスク画像に基づき、前記注目箇所を特定する、付記１～３のいずれか一項に記載の画像処理装置。
［付記６］
前記特定手段は、前記複数のマスク画像間の類似度を算出し、前記類似度に基づき、選択又は統合する対象となるマスク画像を決定する、付記４または５に記載の画像処理装置。
［付記７］
前記特定手段が特定した前記注目箇所に関する情報を出力する出力制御手段をさらに有する、付記１～６のいずれか一項に記載の画像処理装置。
［付記８］
前記出力制御手段は、前記注目箇所の存否に関する情報又は前記注目箇所が存在する前記撮影画像中の位置に関する情報の少なくとも一方を、前記注目箇所に関する情報として出力する、付記７に記載の画像処理装置。
［付記９］
前記注目箇所を特定した画像を、指定された粒度により前記注目箇所を表した画像である粒度調整画像に変換する粒度調整手段をさらに有し、
前記出力制御手段は、前記粒度調整画像又は前記粒度調整画像に基づく画像を表示装置に表示させる、付記７または８に記載の画像処理装置。
［付記１０］
前記注目箇所は、生体組織採取検査の対象となる箇所である、付記１～９のいずれか一項に記載の画像処理装置。
［付記１１］
コンピュータが、
内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得し、
前記撮影画像に対する注目箇所の候補領域を異なる粒度により表した複数のマスク画像を生成し、
前記複数のマスク画像に基づき、前記注目箇所を特定する、
画像処理方法。
［付記１２］
内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得し、
前記撮影画像に対する注目箇所の候補領域を異なる粒度により表した複数のマスク画像を生成し、
前記複数のマスク画像に基づき、前記注目箇所を特定する処理をコンピュータに実行させるプログラムを格納した記憶媒体。

【0085】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

【符号の説明】

【0086】

１、１Ｘ 画像処理装置
２ 表示装置
３ 内視鏡スコープ
１１ プロセッサ
１２ メモリ
１３ インターフェース
１４ 入力部
１５ 光源部
１６ 音出力部
１００ 内視鏡検査システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】