特許 6984020 画像解析装置および画像解析方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6984020

(24)【登録日】2021年11月26日

(45)【発行日】2021年12月17日

(54)【発明の名称】画像解析装置および画像解析方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20211206BHJP

【ＦＩ】

   G06T7/00 612

   G06T7/00 350C

【請求項の数】24

【全頁数】25

(21)【出願番号】特願2020-533937(P2020-533937)

(86)(22)【出願日】2018年7月31日

(86)【国際出願番号】JP2018028664

(87)【国際公開番号】WO2020026341

(87)【国際公開日】20200206

【審査請求日】2020年9月29日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(72)【発明者】

【氏名】大澤 健郎

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１１−５８９２６（ＪＰ，Ａ）

【文献】 特開２０１１−１０１６２（ＪＰ，Ａ）

【文献】 特開２００５−３０１８２３（ＪＰ，Ａ）

【文献】 特開平７−３７０５６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

入力画像の第１の局所領域カテゴリを算出する第１局所領域カテゴリ算出部と、
前記第１の局所領域カテゴリから、画像カテゴリを算出する画像カテゴリ算出部と、
前記画像カテゴリを出力する画像カテゴリ出力部と、
前記入力画像の第２の局所領域カテゴリを算出する第２局所領域カテゴリ算出部と、
前記第２の局所領域カテゴリを出力する局所領域カテゴリ出力部と、を備え、
前記第２局所領域カテゴリ算出部が算出する複数の前記第２の局所領域カテゴリに占める検出対象カテゴリの割合は、前記第１局所領域カテゴリ算出部が算出する複数の前記第１の局所領域カテゴリに占める検出対象カテゴリの割合以上である、
ことを特徴とする画像解析装置。

【請求項2】

入力画像の第１の局所領域カテゴリを算出する第１局所領域カテゴリ算出部と、
前記第１の局所領域カテゴリから、画像カテゴリを算出する画像カテゴリ算出部と、
前記画像カテゴリを出力する画像カテゴリ出力部と、
前記入力画像の第２の局所領域カテゴリを算出する第２局所領域カテゴリ算出部と、
前記第２の局所領域カテゴリを出力する局所領域カテゴリ出力部と、を備え、
前記画像カテゴリが第１画像カテゴリである場合に、前記第２局所領域カテゴリ算出部は、前記第２の局所領域カテゴリを算出し、
前記画像カテゴリが第２画像カテゴリである場合に、前記第２局所領域カテゴリ算出部は、前記第２の局所領域カテゴリを算出しない、
ことを特徴とする画像解析装置。

【請求項3】

入力画像の第１の局所領域カテゴリを算出する第１局所領域カテゴリ算出部と、
前記第１の局所領域カテゴリから、画像カテゴリを算出する画像カテゴリ算出部と、
前記画像カテゴリを出力する画像カテゴリ出力部と、
前記入力画像の第２の局所領域カテゴリを算出する第２局所領域カテゴリ算出部と、
前記第２の局所領域カテゴリを出力する局所領域カテゴリ出力部と、
前記入力画像から、局所領域カテゴリを算出するための中間情報を局所領域ごとに算出する中間情報算出部と、を備え、
前記第１局所領域カテゴリ算出部は前記中間情報を用いて前記第１の局所領域カテゴリを算出し、
前記第２局所領域カテゴリ算出部は前記中間情報を用いて前記第２の局所領域カテゴリを算出する、
ことを特徴とする画像解析装置。

【請求項4】

入力画像の第１の局所領域カテゴリを算出する第１局所領域カテゴリ算出部と、
前記第１の局所領域カテゴリから、画像カテゴリを算出する画像カテゴリ算出部と、
前記画像カテゴリを出力する画像カテゴリ出力部と、
前記入力画像の第２の局所領域カテゴリを算出する第２局所領域カテゴリ算出部と、
前記第２の局所領域カテゴリを出力する局所領域カテゴリ出力部と、を備え、
前記第１の局所領域カテゴリは、第１グループに含まれるカテゴリの１つとして決定され、前記第２の局所領域カテゴリは、第２グループに含まれるカテゴリの１つとして決定されるものであって、
前記第１グループと前記第２グループは異なる、
ことを特徴とする画像解析装置。

【請求項5】

入力画像の第１の局所領域カテゴリを算出する第１局所領域カテゴリ算出部と、
前記第１の局所領域カテゴリから、画像カテゴリを算出する画像カテゴリ算出部と、
前記画像カテゴリを出力する画像カテゴリ出力部と、
前記入力画像の第２の局所領域カテゴリを算出する第２局所領域カテゴリ算出部と、
前記第２の局所領域カテゴリを出力する局所領域カテゴリ出力部と、
複数の入力画像のそれぞれに対応する第３の局所領域カテゴリを算出する第３局所領域カテゴリ算出部と、
複数の第３の局所領域カテゴリから、それぞれの前記第３の局所領域カテゴリに対応する第２画像カテゴリを算出する第２画像カテゴリ算出部と、
複数の第２画像カテゴリから画像セットカテゴリを算出する画像セットカテゴリ算出部と、
を備えることを特徴とする画像解析装置。

【請求項6】

前記第１局所領域カテゴリ算出部により前記検出対象カテゴリと算出された局所領域の第１集合は、前記第２局所領域カテゴリ算出部により前記検出対象カテゴリと算出された局所領域の第２集合の部分集合である、
ことを特徴とする請求項１に記載の画像解析装置。

【請求項7】

前記入力画像は病理画像であり、前記検出対象カテゴリは病変であることを示すカテゴリである、
ことを特徴とする請求項１または６に記載の画像解析装置。

【請求項8】

前記画像カテゴリが第１画像カテゴリである場合に、前記第２局所領域カテゴリ算出部は、前記第２の局所領域カテゴリを算出し、
前記画像カテゴリが第２画像カテゴリである場合に、前記第２局所領域カテゴリ算出部は、前記第２の局所領域カテゴリを算出しない、
ことを特徴とする請求項１に記載の画像解析装置。

【請求項9】

前記入力画像から、局所領域カテゴリを算出するための中間情報を局所領域ごとに算出する中間情報算出部を、さらに備え、
前記第１局所領域カテゴリ算出部は前記中間情報を用いて前記第１の局所領域カテゴリを算出し、
前記第２局所領域カテゴリ算出部は前記中間情報を用いて前記第２の局所領域カテゴリを算出する、
ことを特徴とする請求項１、２、８のいずれかに記載の画像解析装置。

【請求項10】

前記中間情報は、局所領域の画像特徴量、または局所領域の複数のカテゴリそれぞれの確率である、
ことを特徴とする請求項３または９に記載の画像解析装置。

【請求項11】

前記第１の局所領域カテゴリは、第１グループに含まれるカテゴリの１つとして決定され、前記第２の局所領域カテゴリは、第２グループに含まれるカテゴリの１つとして決定されるものであって、
前記第１グループと前記第２グループは異なる、
ことを特徴とする請求項１、２、３、８、９のいずれかに記載の画像解析装置。

【請求項12】

複数の入力画像のそれぞれに対応する第３の局所領域カテゴリを算出する第３局所領域カテゴリ算出部と、
複数の第３の局所領域カテゴリから、それぞれの前記第３の局所領域カテゴリに対応する第２画像カテゴリを算出する第２画像カテゴリ算出部と、
複数の第２画像カテゴリから画像セットカテゴリを算出する画像セットカテゴリ算出部と、をさらに備える、
ことを特徴とする請求項１、２、３、４、８、９、１１のいずれかに記載の画像解析装置。

【請求項13】

前記第１局所領域カテゴリ算出部が算出する複数の前記第１の局所領域カテゴリに占める検出対象カテゴリの割合は、前記第３局所領域カテゴリ算出部が算出する複数の前記第３の局所領域カテゴリに占める検出対象カテゴリの割合以上である、
ことを特徴とする請求項５または１２に記載の画像解析装置。

【請求項14】

前記複数の入力画像は、１人の標本から取得された複数の病理画像である、
ことを特徴とする請求項５、１２、１３のいずれかに記載の画像解析装置。

【請求項15】

入力画像の第１の局所領域カテゴリを算出するステップと、
前記第１の局所領域カテゴリから、画像カテゴリを算出するステップと、
前記画像カテゴリを出力するステップと、
前記入力画像の第２の局所領域カテゴリを算出するステップと、
前記第２の局所領域カテゴリを出力するステップと、を備え、
複数の前記第２の局所領域カテゴリに占める検出対象カテゴリの割合は、複数の前記第１の局所領域カテゴリに占める検出対象カテゴリの割合以上である、
ことを特徴とする画像解析方法。

【請求項16】

入力画像の第１の局所領域カテゴリを算出する第１ステップと、
前記第１の局所領域カテゴリから、画像カテゴリを算出する第２ステップと、
前記画像カテゴリを出力する第３ステップと、
前記入力画像の第２の局所領域カテゴリを算出する第４ステップと、
前記第２の局所領域カテゴリを出力する第５ステップと、を備え、
前記画像カテゴリが第１画像カテゴリである場合に、前記第４ステップは、前記第２の局所領域カテゴリを算出し、
前記画像カテゴリが第２画像カテゴリである場合に、前記第４ステップは、前記第２の局所領域カテゴリを算出しない、
ことを特徴とする画像解析方法。

【請求項17】

入力画像の第１の局所領域カテゴリを算出する第１ステップと、
前記第１の局所領域カテゴリから、画像カテゴリを算出する第２ステップと、
前記画像カテゴリを出力する第３ステップと、
前記入力画像の第２の局所領域カテゴリを算出する第４ステップと、
前記第２の局所領域カテゴリを出力する第５ステップと、
前記入力画像から、局所領域カテゴリを算出するための中間情報を局所領域ごとに算出する第６ステップと、を備え、
前記第１ステップは前記中間情報を用いて前記第１の局所領域カテゴリを算出し、
前記第４ステップは前記中間情報を用いて前記第２の局所領域カテゴリを算出する、
ことを特徴とする画像解析方法。

【請求項18】

入力画像の第１の局所領域カテゴリを算出するステップと、
前記第１の局所領域カテゴリから、画像カテゴリを算出するステップと、
前記画像カテゴリを出力するステップと、
前記入力画像の第２の局所領域カテゴリを算出するステップと、
前記第２の局所領域カテゴリを出力するステップと、を備え、
前記第１の局所領域カテゴリは、第１グループに含まれるカテゴリの１つとして決定され、前記第２の局所領域カテゴリは、第２グループに含まれるカテゴリの１つとして決定されるものであって、
前記第１グループと前記第２グループは異なる、
ことを特徴とする画像解析方法。

【請求項19】

入力画像の第１の局所領域カテゴリを算出するステップと、
前記第１の局所領域カテゴリから、画像カテゴリを算出するステップと、
前記画像カテゴリを出力するステップと、
前記入力画像の第２の局所領域カテゴリを算出するステップと、
前記第２の局所領域カテゴリを出力するステップと、
複数の入力画像のそれぞれに対応する第３の局所領域カテゴリを算出するステップと、
複数の第３の局所領域カテゴリから、それぞれの前記第３の局所領域カテゴリに対応する第２画像カテゴリを算出するステップと、
複数の第２画像カテゴリから画像セットカテゴリを算出するステップと、
を備えることを特徴とする画像解析方法。

【請求項20】

コンピュータに、
入力画像の第１の局所領域カテゴリを算出する機能と、
前記第１の局所領域カテゴリから、画像カテゴリを算出する機能と、
前記画像カテゴリを出力する機能と、
前記入力画像の第２の局所領域カテゴリを算出する機能と、
前記第２の局所領域カテゴリを出力する機能と、を実現させるためのプログラムであって、
複数の前記第２の局所領域カテゴリに占める検出対象カテゴリの割合は、複数の前記第１の局所領域カテゴリに占める検出対象カテゴリの割合以上である、
プログラム。

【請求項21】

コンピュータに、
入力画像の第１の局所領域カテゴリを算出する第１機能と、
前記第１の局所領域カテゴリから、画像カテゴリを算出する第２機能と、
前記画像カテゴリを出力する第３機能と、
前記入力画像の第２の局所領域カテゴリを算出する第４機能と、
前記第２の局所領域カテゴリを出力する第５機能と、を実現させるためのプログラムであって、
前記画像カテゴリが第１画像カテゴリである場合に、前記第４機能は、前記第２の局所領域カテゴリを算出し、
前記画像カテゴリが第２画像カテゴリである場合に、前記第４機能は、前記第２の局所領域カテゴリを算出しない、
プログラム。

【請求項22】

コンピュータに、
入力画像の第１の局所領域カテゴリを算出する第１機能と、
前記第１の局所領域カテゴリから、画像カテゴリを算出する第２機能と、
前記画像カテゴリを出力する第３機能と、
前記入力画像の第２の局所領域カテゴリを算出する第４機能と、
前記第２の局所領域カテゴリを出力する第５機能と、
前記入力画像から、局所領域カテゴリを算出するための中間情報を局所領域ごとに算出する第６機能と、を実現させるためのプログラムであって、
前記第１機能は前記中間情報を用いて前記第１の局所領域カテゴリを算出し、
前記第４機能は前記中間情報を用いて前記第２の局所領域カテゴリを算出する、
プログラム。

【請求項23】

コンピュータに、
入力画像の第１の局所領域カテゴリを算出する機能と、
前記第１の局所領域カテゴリから、画像カテゴリを算出する機能と、
前記画像カテゴリを出力する機能と、
前記入力画像の第２の局所領域カテゴリを算出する機能と、
前記第２の局所領域カテゴリを出力する機能と、を実現させるためのプログラムであって、
前記第１の局所領域カテゴリは、第１グループに含まれるカテゴリの１つとして決定され、前記第２の局所領域カテゴリは、第２グループに含まれるカテゴリの１つとして決定されるものであって、
前記第１グループと前記第２グループは異なる、
プログラム。

【請求項24】

コンピュータに、
入力画像の第１の局所領域カテゴリを算出する機能と、
前記第１の局所領域カテゴリから、画像カテゴリを算出する機能と、
前記画像カテゴリを出力する機能と、
前記入力画像の第２の局所領域カテゴリを算出する機能と、
前記第２の局所領域カテゴリを出力する機能と、
複数の入力画像のそれぞれに対応する第３の局所領域カテゴリを算出する機能と、
複数の第３の局所領域カテゴリから、それぞれの前記第３の局所領域カテゴリに対応する第２画像カテゴリを算出する機能と、
複数の第２画像カテゴリから画像セットカテゴリを算出する機能と、
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入力画像を解析する技術に関する。

【背景技術】

【0002】

被写体画像を局所的に解析して、画像内の複数の局所領域ごとに異常領域であるか、異常のない正常領域であるかを判定する画像解析技術が知られている（特許文献１、非特許文献１参照）。この画像解析技術では、局所領域ごとの解析結果にもとづいて、画像全体として異常領域を含む異常画像であるか、異常領域を含まない正常画像であるかが判定される。このように異常画像を特定し、特定した異常画像を画像の観察者に提示することで、観察者による効率的な観察を支援できる。

【0003】

ニューラルネットワークを用いて、画像内の複数の局所領域のそれぞれをカテゴリ分類する画像解析技術が提案されている（非特許文献２参照）。この画像解析技術では、局所領域ごとに、複数のカテゴリのそれぞれが該当する確率を推定して、最も高い確率のカテゴリを特定し、局所領域カテゴリとして定める。入力画像と、入力画像を分割した複数の局所領域の正しいカテゴリとのデータセットを多数用意し、ニューラルネットワークのパラメータ（ウェイトとバイアス）を教師あり学習することで、局所領域カテゴリを高精度に推定するパラメータが取得される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０−２０３９４９号公報

【非特許文献】

【0005】

【非特許文献1】Yun Liu, Krishna Gadepalli, Mohammad Norouzi, George E. Dahl, Timo Kohlberger, Aleksey Boyko, Subhashini Venugopalan, Aleksei Timofeev, Philip Q. Nelson, Greg S. Corrado, Jason D. Hipp, Lily Peng, and Martin C. Stumpe, "Detecting Cancer Metastases on Gigapixel Pathology Images", arXiv:1703.02442v2 [cs.CV] 8 Mar 2017

【非特許文献2】Liang-Chieh Chen, George Papandreou, Iasonas Kokkinos, Kevin Murphy, Alan L. Yuille, "SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS", arXiv:1412.7062v4 [cs.CV] 7 Jun 2016

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記した判定手法によれば、画像内の複数の局所領域のうち１つでも異常領域と分類される局所領域が存在すれば、その画像は異常画像と判定され、１つも異常領域と分類される局所領域が存在しなければ、その画像は正常画像と判定される。病理医による病理診断に際して、病変が含まれている画像を異常画像として提示できれば、病理医の効率的な診断につながる。

【0007】

このような画像解析処理において、病変が含まれている画像を正常画像と誤判定することは、病理医による見落としの可能性を生じさせるため、許容されない。そのため多数の病理画像を効果的に学習して、局所領域の各カテゴリの推定精度を高めたニューラルネットワークのパラメータ（ウェイトとバイアス）を取得しておく必要がある。しかしながら実際には、１００％のカテゴリ推定精度を実現することは容易でなく、病変であることを示すカテゴリの確率と、病変でないことを示すカテゴリの確率とが、ほぼ同じ値となる事態も生じうる。

【0008】

なお病変が含まれている画像を正常画像と誤判定しないための手法として、局所領域カテゴリを定める際に、病変であることを示すカテゴリの確率を計算値よりもかさ上げすることが考えられる。かさ上げ処理をすることで、病変であることを示すカテゴリが最も高い確率のカテゴリとして特定されやすくなり、結果として、病変が含まれている画像を正常画像と誤判定する可能性を低減できる。

【0009】

しかしながら、かさ上げ処理により、病変が含まれていない画像を異常画像と誤判定する可能性は必然的に高まる。病変が含まれていない画像を異常画像として病理医に提示すると、病理医は、存在しない病変を時間をかけて必死に探すことになり、時間をロスする。そのため病変が含まれていない画像を異常画像と誤判定することは、病理医による画像診断の支援にはならず、むしろ迅速な画像診断の障害となるため、許容されない。そのため画像のカテゴリを高精度に算出する技術が望まれている。

【0010】

正しく判定された異常画像に対して、局所領域のカテゴリを出力することは、観察者の観察効率を向上させることに役立つ。たとえば局所領域のカテゴリは、異常領域と分類された局所領域の位置を色づけするなどの可視化処理結果として出力されてよい。特に標本全体を高解像度で撮影した画像内で、複数の病変がごく小さな領域に点在するような場合、異常（病変）位置をマーキングすることは、効果的な診断支援になると考えられる。

【0011】

本発明はかかる状況においてなされたものであり、そのある態様の例示的な目的のひとつは、入力画像を解析して、画像カテゴリを高精度に算出しつつ、ユーザによる画像観察に有用な局所領域のカテゴリを出力する技術を提供することにある。

【課題を解決するための手段】

【0012】

上記課題を解決するために、本発明のある態様の画像解析装置は、入力画像の第１の局所領域カテゴリを算出する第１局所領域カテゴリ算出部と、第１の局所領域カテゴリから、画像カテゴリを算出する画像カテゴリ算出部と、画像カテゴリを出力する画像カテゴリ出力部と、入力画像の第２の局所領域カテゴリを算出する第２局所領域カテゴリ算出部と、第２の局所領域カテゴリを出力する局所領域カテゴリ出力部と、を備える。

【0013】

本発明の別の態様は、画像解析方法である。この方法は、入力画像の第１の局所領域カテゴリを算出するステップと、第１の局所領域カテゴリから、画像カテゴリを算出するステップと、画像カテゴリを出力するステップと、入力画像の第２の局所領域カテゴリを算出するステップと、第２の局所領域カテゴリを出力するステップと、を備える。

【0014】

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0015】

本発明のある態様によれば、入力画像を解析して、ユーザによる画像観察に有用な画像解析結果を出力する技術を提供できる。

【図面の簡単な説明】

【0016】

【図1】実施形態の画像解析システムの構成を示す図である。

【図2】病理画像の例を示す図である。

【図3】異常領域を含む病理画像の例を示す図である。

【図4】ＣＮＮの構成を示す図である。

【図5】実施例１の画像解析装置の構成を示す図である。

【図6】第１局所領域カテゴリの出力例を示す図である。

【図7】画像カテゴリおよび第２局所領域カテゴリの出力例を示す図である。

【図8】実施例２の画像解析装置の構成を示す図である。

【図9】実施例３の画像解析装置の構成を示す図である。

【図10】実施例４の画像解析装置の構成を示す図である。

【図11】実施例５の画像解析装置の構成を示す図である。

【図12】実施例６の画像解析装置の構成を示す図である。

【図13】実施例７の画像解析装置の構成を示す図である。

【図14】実施例８の画像解析装置の構成を示す図である。

【発明を実施するための形態】

【0017】

図１は、実施形態の画像解析システム１の構成を示す。画像解析システム１は、画像供給部１０、画像解析装置２０および表示装置４０を備える。画像供給部１０は、入力画像を画像解析装置２０に供給する。画像解析装置２０は、入力画像を複数の局所領域に分割して、複数の局所領域それぞれのカテゴリを算出し、複数の局所領域カテゴリから、画像全体のカテゴリを算出する。

【0018】

実施形態の入力画像は、スライドガラス上の病理標本（組織）を顕微鏡を通して拡大撮影した病理診断用画像（病理画像）であってよい。病理画像は、ＲＧＢの３チャンネルからなるカラー画像であり、病理標本のサイズに応じて異なる画像サイズ（縦横の画素数）を有してよい。

【0019】

図２は、病理画像の例を示す。病理画像は、病理標本を撮影した組織領域と、病理標本が配置されないスライドガラスを撮影した背景領域とを含む。組織領域は、がんなどの病変が存在しなければ、病変画像を含まない正常領域により構成される。この病理画像は、横方向および縦方向に１２分割され、計１４４個の局所領域に分割されている。

【0020】

図３は、異常領域を含む病理画像の例を示す。組織に病変が含まれる場合、組織領域は、病変を含まない正常領域と、病変を含む異常領域により構成される。図３において異常領域は、ある程度の大きさをもつ連続領域として示されているが、領域の大きさは様々であり、１つの細胞の大きさであることもある。

【0021】

画像解析装置２０は、入力画像を複数の局所領域に分割して、複数の局所領域それぞれのカテゴリを算出する。局所領域は、１以上の連続する画素から構成される。実施形態において、各局所領域のカテゴリは、正常であることを示すカテゴリ（正常領域カテゴリ）、病変であることを示すカテゴリ（異常領域カテゴリ）、背景領域であることを示すカテゴリ（背景領域カテゴリ）のいずれかに設定される。

【0022】

画像解析装置２０は、局所領域およびその周辺領域を画像解析して、当該局所領域の各カテゴリの確率（当該局所領域のカテゴリであると推定される確率）を算出する。図３において、横軸をＸ軸、縦軸をＹ軸とし、局所領域の位置を（Ｘ座標、Ｙ座標）で表現する。以下、いくつかの局所領域において算出されるカテゴリの確率を例示する。

【0023】

（７，５）の局所領域における各カテゴリの確率
・正常領域カテゴリ ２０％
・異常領域カテゴリ ７０％
・背景領域カテゴリ １０％

【0024】

（４，１０）の局所領域における各カテゴリの確率
・正常領域カテゴリ ３０％
・異常領域カテゴリ １０％
・背景領域カテゴリ ６０％

【0025】

（７，８）の局所領域における各カテゴリの確率
・正常領域カテゴリ ４６％
・異常領域カテゴリ ４４％
・背景領域カテゴリ １０％

【0026】

後述するが、画像解析装置２０は、算出した各カテゴリの確率を調整する確率変更処理を目的に応じて実行する。確率変更処理は、算出した確率を演算して変更する処理であり、算出した確率に、所定値を加算、減算、乗算、除算等してよい。確率変更処理は、すべてのカテゴリの確率に対して実行されてもよい。なお実施形態の画像解析装置２０は、異常領域カテゴリを検出対象カテゴリとして設定しているため、確率変更処理は、異常領域カテゴリの確率に対してのみ実行されてよい。

【0027】

画像解析装置２０は、確率変更処理を実行した後、局所領域ごとに、正常領域カテゴリの確率、異常領域カテゴリの確率、背景領域カテゴリの確率の中から、最も高い確率のカテゴリを特定して、局所領域のカテゴリとして算出する。

【0028】

画像解析装置２０は、各局所領域のカテゴリを算出すると、算出した各局所領域のカテゴリから、画像全体のカテゴリ（画像カテゴリ）を算出する。画像カテゴリは、正常画像であることを示すカテゴリ（正常画像カテゴリ）、異常画像であることを示すカテゴリ（異常画像カテゴリ）のいずれかである。実施形態では、複数の局所領域カテゴリの中に異常領域カテゴリが１つでも含まれていれば、その入力画像のカテゴリは、異常画像カテゴリと算出される。一方で、複数の局所領域カテゴリの中に異常領域カテゴリが含まれていなければ、その入力画像のカテゴリは、正常画像カテゴリと算出される。

【0029】

実施形態の画像解析装置２０は、局所領域カテゴリを、少なくとも２系統で算出する。第１の系統で算出される第１局所領域カテゴリは、画像全体のカテゴリ（画像カテゴリ）を算出するために利用される。第２の系統で算出される第２局所領域カテゴリは、病理医などのユーザへの出力のために利用される。第２局所領域カテゴリは、異常領域カテゴリの局所領域に色づけした画像として出力されてもよい。画像解析装置２０は、画像カテゴリおよび第２局所領域カテゴリを表示装置４０に出力し、表示装置４０は、画像カテゴリおよび第２局所領域カテゴリを表示装置４０に画面表示する。

【0030】

画像解析装置２０は、局所領域を画像解析する畳み込みニューラルネットワーク（ＣＮＮ）を有する。
図４は、ＣＮＮ１００の構成を示す。ＣＮＮ１００は、入力層１０１と、複数の中間層１０２ａ〜１０２ｎ（以下、特に区別しない場合には「中間層１０２」と呼ぶ）と、出力層１０３とを備える。中間層１０２は、畳み込み層とプーリング層を含み、畳み込み層のノードのパラメータであるウェイト（weight）とバイアス（bias）を学習することで、入力画像の解析精度を向上する。実施形態でＣＮＮ１００に要求される解析精度は、局所領域を正確にカテゴライズする精度である。

【0031】

ＣＮＮ１００では、各層の複数のノードが次の層の複数のノードと接続する。各ノードは、前の層からの入力値とウェイトとのベクトル積を求めてバイアスを加算した総和を、所定の活性化関数に通して次の層のノードに出力する。各ノードのウェイトおよびバイアスは、バックプロパゲーションとして知られる学習アルゴリズムにより変更される。バックプロパゲーションでは、ＣＮＮ１００の後方から前方までウェイトとバイアスを補正しながら値を伝搬させる。各ウェイトとバイアスについて補正した量は、誤差への寄与として扱われて最急降下法で計算され、ウェイトとバイアスの値を変更することにより、誤差関数の値を最小化する。

【0032】

ＣＮＮ１００は、多数の病理画像を用いた教師あり学習によって、各ノードのウェイトとバイアスを最適に設定される。画像解析装置２０は、学習済の固定したパラメータをもつＣＮＮ１００を用いて、画像解析処理を実施する。実施形態において、ＣＮＮ１００は、局所領域カテゴリを算出する機能、または局所領域カテゴリを算出するための中間情報を算出する機能を有する。

【0033】

以下、図面を参照して、画像解析装置２０の実施例を説明する。複数の図面において同一の符号で示される構成要素は、同一または同様の機能および動作を実現する。

【0034】

＜実施例１＞
図５は、実施例１の画像解析装置２０ａの構成を示す。画像解析装置２０ａは、第１局所領域カテゴリ算出部２２ａ、画像カテゴリ算出部２４、画像カテゴリ出力部２６、第２局所領域カテゴリ算出部２２ｂおよび局所領域カテゴリ出力部２８を備える。第１局所領域カテゴリ算出部２２ａは、第１系統で、入力画像の複数の局所領域のカテゴリを算出し、第２局所領域カテゴリ算出部２２ｂは、第２系統で、同じ入力画像の複数の局所領域のカテゴリを算出する。第１局所領域カテゴリ算出部２２ａおよび第２局所領域カテゴリ算出部２２ｂは、学習済のパラメータを設定されたＣＮＮ１００を含んで構成されてよい。

【0035】

第１局所領域カテゴリ算出部２２ａは、入力画像から、第１の局所領域カテゴリを算出する。局所領域カテゴリの種類は、正常領域カテゴリ、異常領域カテゴリ、背景領域カテゴリであり、第１局所領域カテゴリ算出部２２ａは、局所領域を画像解析して、局所領域の各カテゴリの確率を算出し、各カテゴリの算出した確率を調整する確率変更処理を実行する。なお第１局所領域カテゴリ算出部２２ａは、異常領域カテゴリの確率のみを調整してもよい。第１局所領域カテゴリ算出部２２ａは、局所領域ごとに、確率変更処理した各カテゴリの確率を比較し、最も高い確率のカテゴリを、当該局所領域のカテゴリとして算出する。

【0036】

画像カテゴリ算出部２４は、第１局所領域カテゴリ算出部２２ａにより算出された複数の第１局所領域カテゴリから、画像カテゴリを算出する。実施例１の画像カテゴリ算出部２４は、画像に含まれる全ての局所領域カテゴリを参照して、異常領域カテゴリが１つでも存在していれば、異常画像カテゴリを算出し、異常領域カテゴリが１つも存在していなければ、正常画像カテゴリを算出する。画像カテゴリ出力部２６は、画像カテゴリ算出部２４により算出された画像カテゴリを表示装置４０などに出力する。なお画像カテゴリ出力部２６は、算出された画像カテゴリを、当該入力画像に関連づけるために、所定の記憶装置に出力してよい。記憶装置において、画像カテゴリは、当該入力画像に関連づけられて記憶される。なお画像解析装置２０ａにおいて、第１局所領域カテゴリは、画像カテゴリを算出するために利用され、表示のためには出力されない。後述するが画像解析装置２０ａでは、局所領域カテゴリとして、後述する第２局所領域カテゴリが表示装置４０から出力される。これにより画像解析装置２０ａは、画像カテゴリを高精度に算出しつつ、ユーザによる画像観察に有用な局所領域のカテゴリを出力する。

【0037】

第２局所領域カテゴリ算出部２２ｂは、同じ入力画像から、第２の局所領域カテゴリを算出する。局所領域カテゴリの種類は、正常領域カテゴリ、異常領域カテゴリ、背景領域カテゴリであり、第２局所領域カテゴリ算出部２２ｂは、局所領域を画像解析して、局所領域の各カテゴリの確率を算出し、各カテゴリの算出した確率を調整する確率変更処理を実行する。第２局所領域カテゴリ算出部２２ｂは、異常領域カテゴリの確率のみを調整してもよい。第２局所領域カテゴリ算出部２２ｂは、局所領域ごとに、確率変更処理した各カテゴリの確率を比較し、最も高い確率のカテゴリを、当該局所領域のカテゴリとして算出する。

【0038】

局所領域カテゴリ出力部２８は、第２局所領域カテゴリ算出部２２ｂにより算出された第２局所領域カテゴリを表示装置４０に出力する。局所領域カテゴリ出力部２８は、第２局所領域カテゴリを様々な態様で出力してよいが、一つの出力態様として、異常領域カテゴリに分類された局所領域の画像中の位置を色づけするなどの可視化処理した病理画像を生成して出力してもよい。異常領域カテゴリに分類された局所領域を可視化することで、病理医による観察効率の向上が期待される。

【0039】

第１局所領域カテゴリ算出部２２ａと第２局所領域カテゴリ算出部２２ｂにおいて、確率変更処理前の各カテゴリ確率の算出は、同じ学習済のパラメータを設定されたＣＮＮ１００を用いて実行されてよい。したがって第１局所領域カテゴリ算出部２２ａと第２局所領域カテゴリ算出部２２ｂの双方において、算出される各カテゴリの確率は同じとなる。実施例１では、第１局所領域カテゴリと第２局所領域カテゴリの利用目的の違いから、第１局所領域カテゴリ算出部２２ａと第２局所領域カテゴリ算出部２２ｂは、算出した同じカテゴリ確率に対して、異なる確率変更処理を実行する。

【0040】

画像カテゴリ算出部２４による画像カテゴリの算出を高精度に実現するために、第１局所領域カテゴリ算出部２２ａは、確率変更処理を実行して、画像カテゴリ算出用に各カテゴリ確率を最適化する。病理画像の場合、正常な局所領域にも異常と類似した特徴をもつ構造が多くあるため、異常領域カテゴリが１つでも存在すると画像全体を異常画像と判定するアルゴリズムにおいては、正常な局所領域を異常領域カテゴリと誤分類して、異常を含まない画像を異常画像と誤判定しやすい。そのため第１局所領域カテゴリ算出部２２ａは、異常領域カテゴリの確率値を下げる確率変更処理を実行することで、異常を含まない画像を異常画像と誤判定する可能性を低減する。

【0041】

第１局所領域カテゴリ算出部２２ａは、異常領域カテゴリの確率値を、たとえば２０％下げる。この確率変更処理によれば、第１局所領域カテゴリ算出部２２ａにおいて算出される（７，５）、（４，１０）、（７，８）における各カテゴリの確率は、以下のようになる。

【0042】

（７，５）の局所領域における各カテゴリの確率
・正常領域カテゴリ ２０％
・異常領域カテゴリ ５０％（＝７０％−２０％）
・背景領域カテゴリ １０％

【0043】

（４，１０）の局所領域における各カテゴリの確率
・正常領域カテゴリ ３０％
・異常領域カテゴリ −１０％（＝１０％−２０％）
・背景領域カテゴリ ６０％

【0044】

（７，８）の局所領域における各カテゴリの確率
・正常領域カテゴリ ４６％
・異常領域カテゴリ ２４％（＝４４％−２０％）
・背景領域カテゴリ １０％

【0045】

したがって第１局所領域カテゴリ算出部２２ａは、第１局所領域のカテゴリを、以下のように算出する。
（７，５）の局所領域カテゴリ ： 異常領域カテゴリ
（４，１０）の局所領域カテゴリ ： 背景領域カテゴリ
（７，８）の局所領域カテゴリ ： 正常領域カテゴリ

【0046】

第２局所領域カテゴリ算出部２２ｂは、確率変更処理を実行して、ユーザへの提示目的で使用する各カテゴリ確率を最適化する。第２局所領域カテゴリ算出部２２ｂが算出する第２局所領域カテゴリは、異常領域カテゴリと分類された局所領域をマーキング処理するために利用される。そのため、たとえば異常領域カテゴリと正常領域カテゴリの確率がほぼ同じである局所領域は、ある意味、強制的に異常領域カテゴリに分類して、病理医に慎重に観察してもらうことが好ましい。

【0047】

そのため第１局所領域カテゴリ算出部２２ａと第２局所領域カテゴリ算出部２２ｂの確率変更処理を比べると、第２局所領域カテゴリ算出部２２ｂが算出する複数の第２の局所領域カテゴリに占める検出対象カテゴリ（異常領域カテゴリ）の割合は、第１局所領域カテゴリ算出部２２ａが算出する複数の第１の局所領域カテゴリに占める検出対象カテゴリ（異常領域カテゴリ）の割合以上となる。つまり第１局所領域カテゴリ算出部２２ａにより異常領域カテゴリと算出された局所領域の第１集合は、第２局所領域カテゴリ算出部２２ｂにより異常領域カテゴリと算出された局所領域の第２集合の部分集合となる。

【0048】

第２局所領域カテゴリ算出部２２ｂは、異常領域カテゴリの確率値を、たとえば１０％上げる。この確率変更処理によれば、第２局所領域カテゴリ算出部２２ｂにおいて算出される（７，５）、（４，１０）、（７，８）における各カテゴリの確率は、以下のようになる。

【0049】

（７，５）の局所領域における各カテゴリの確率
・正常領域カテゴリ ２０％
・異常領域カテゴリ ８０％（＝７０％＋１０％）
・背景領域カテゴリ １０％

【0050】

（４，１０）の局所領域における各カテゴリの確率
・正常領域カテゴリ ３０％
・異常領域カテゴリ ２０％（＝１０％＋１０％）
・背景領域カテゴリ ６０％

【0051】

（７，８）の局所領域における各カテゴリの確率
・正常領域カテゴリ ４６％
・異常領域カテゴリ ５４％（＝４４％＋１０％）
・背景領域カテゴリ １０％

【0052】

したがって第２局所領域カテゴリ算出部２２ｂは、第２局所領域カテゴリを、以下のように算出する。
（７，５）の局所領域カテゴリ ： 異常領域カテゴリ
（４，１０）の局所領域カテゴリ ： 背景領域カテゴリ
（７，８）の局所領域カテゴリ ： 異常領域カテゴリ

【0053】

第１局所領域カテゴリ算出部２２ａにより算出された局所領域カテゴリと比較すると、（７，８）の局所領域カテゴリの算出結果が異なっている。つまり（７，８）の第１局所領域カテゴリは正常領域カテゴリであるのに対し、第２局所領域カテゴリは異常領域カテゴリとして算出されている。

【0054】

図６は、第１局所領域カテゴリ算出部２２ａにより算出された第１局所領域カテゴリの出力例を示す。なお図６に示す第１局所領域カテゴリの出力例は、図７に示す第２局所領域カテゴリの出力例と比較するためのものであり、実施形態の画像解析装置２０において、第１局所領域カテゴリが出力されることはない。

【0055】

第１局所領域カテゴリ算出部２２ａは、（３，５）、（３，６）、（３，７）、（４，５）、（４，６）、（４，７）、（７，４）、（７，５）、（７，６）、（８，４）、（８，５）、（８，６）の局所領域を、異常領域カテゴリに分類している。

【0056】

図７は、画像カテゴリ出力部２６による画像カテゴリの出力、および第２局所領域カテゴリ算出部２２ｂにより算出された第２局所領域カテゴリの出力例を示す。表示装置４０は、画像カテゴリをテキスト表示し、異常領域カテゴリの局所領域をマーキング処理により色づけして表示する。

【0057】

第２局所領域カテゴリ算出部２２ｂは、（３，５）、（３，６）、（３，７）、（４，５）、（４，６）、（４，７）、（６，９）、（７，４）、（７，５）、（７，６）、（７，８）、（８，４）、（８，５）、（８，６）、（９，４）、（９，５）、（９，６）の局所領域を、異常領域カテゴリに分類している。

【0058】

図６と図７を比較すると、第２局所領域カテゴリ算出部２２ｂは、第１局所領域カテゴリ算出部２２ａで算出された異常領域カテゴリの局所領域に加えて、（６，９）、（７，８）、（９，４）、（９，５）、（９，６）の局所領域を異常領域カテゴリに分類している。つまり第２局所領域カテゴリにおいては、より多くの局所領域が異常領域カテゴリに分類されている。ＣＮＮ１００により、正常領域か異常領域かを完璧に判断できない場合であっても、当該領域をマーキングして病理医に提示することで、病理医は、マーキングされた局所領域を慎重に観察でき、病理医の効率的な診断を支援できる。

【0059】

なお実施例１では、第１局所領域カテゴリ算出部２２ａと第２局所領域カテゴリ算出部２２ｂにおいて、各カテゴリ確率の算出が同じ学習済のパラメータを設定されたＣＮＮ１００を用いて実行されてよいことを説明したが、第１局所領域カテゴリを決定する局所領域の大きさと、第２局所領域カテゴリを決定する局所領域の大きさは、異なっていてもよい。

【0060】

たとえば第２局所領域カテゴリ算出部２２ｂにより算出される第２局所領域カテゴリの解像度は、第１局所領域カテゴリ算出部２２ａにより算出される第１局所領域カテゴリの解像度よりも低くてよい。第２局所領域カテゴリ算出部２２ｂでは、第１局所領域カテゴリ算出部２２ａと比べて、ＣＮＮ１００のストライドを２倍にしてもよく、またＣＮＮ１００の出力データの解像度を変換してもよい。たとえば第２局所領域カテゴリ算出部２２ｂで分割する局所領域数は、第１局所領域カテゴリ算出部２２ａで分割する局所領域数の１／４倍であってもよい。

【0061】

画像解析装置２０ａにおいて、局所領域カテゴリ出力部２８は、異常領域カテゴリの局所領域の位置をマーキングした画像データを生成して表示装置４０に出力してよいが、画像データの生成は、別の処理ユニットで実行されてもよい。この場合、局所領域カテゴリ出力部２８は、第２局所領域カテゴリを当該処理ユニットに出力し、当該処理ユニットが画像データを生成して、表示装置４０に出力してもよい。また局所領域カテゴリ出力部２８は、算出された第２の局所領域カテゴリを、当該入力画像に関連づけるために、所定の記憶装置に出力してよい。記憶装置において、画像解析装置２０ａから出力された画像カテゴリおよび第２の局所領域カテゴリは、当該入力画像に関連づけられて記憶される。

【0062】

実施例１の画像解析装置２０ａによれば、２系統で局所領域カテゴリを算出することで、画像カテゴリを高精度に推定し、且つ、ユーザによる画像観察に有用な局所領域カテゴリを算出することが可能となる。

【0063】

＜実施例２＞
図８は、実施例２の画像解析装置２０ｂの構成を示す。画像解析装置２０ｂは、第１局所領域カテゴリ算出部２２ａ、画像カテゴリ算出部２４、画像カテゴリ出力部２６、第２局所領域カテゴリ算出部２２ｂおよび局所領域カテゴリ出力部２８を備える。第１局所領域カテゴリ算出部２２ａは、第１系統で、入力画像の複数の局所領域のカテゴリを算出し、第２局所領域カテゴリ算出部２２ｂは、第２系統で、同じ入力画像の複数の局所領域のカテゴリを算出する。第１局所領域カテゴリ算出部２２ａおよび第２局所領域カテゴリ算出部２２ｂは、学習済のパラメータを設定されたＣＮＮ１００を含んで構成されてよい。

【0064】

実施例１の画像解析装置２０ａと比較すると、実施例２の画像解析装置２０ｂでは、画像カテゴリ算出部２４が算出した画像カテゴリが、局所領域カテゴリ出力部２８に対する制御情報として、局所領域カテゴリ出力部２８に供給される。算出される画像カテゴリは、正常画像カテゴリまたは異常画像カテゴリのいずれかであり、画像カテゴリ算出部２４が画像カテゴリを算出すると、画像カテゴリが局所領域カテゴリ出力部２８に供給される。

【0065】

画像カテゴリが異常画像カテゴリである場合、局所領域カテゴリ出力部２８は、第２局所領域カテゴリを出力する。第２局所領域カテゴリは、異常領域カテゴリの局所領域の位置を可視化した病理画像データとして出力されてよい。

【0066】

一方で、画像カテゴリが正常画像カテゴリである場合、局所領域カテゴリ出力部２８は、第２局所領域カテゴリを出力しない。正常画像カテゴリは、画像に異常が含まれていないことを示すが、局所領域カテゴリ出力部２８から出力される局所領域カテゴリに異常領域カテゴリが含まれていると、画像解析結果が整合していないことになる。そこで画像解析装置２０ｂでは、画像カテゴリが正常画像カテゴリである場合に、局所領域カテゴリ出力部２８が第２局所領域カテゴリを出力しないことで、ユーザに不整合な解析結果を提示する状況を回避する。

【0067】

＜実施例３＞
図９は、実施例３の画像解析装置２０ｃの構成を示す。画像解析装置２０ｃは、第１局所領域カテゴリ算出部２２ａ、画像カテゴリ算出部２４、画像カテゴリ出力部２６、第２局所領域カテゴリ算出部２２ｂおよび局所領域カテゴリ出力部２８を備える。第１局所領域カテゴリ算出部２２ａは、第１系統で、入力画像の複数の局所領域のカテゴリを算出し、第２局所領域カテゴリ算出部２２ｂは、第２系統で、同じ入力画像の複数の局所領域のカテゴリを算出する。第１局所領域カテゴリ算出部２２ａおよび第２局所領域カテゴリ算出部２２ｂは、学習済のパラメータを設定されたＣＮＮ１００を含んで構成されてよい。

【0068】

実施例１の画像解析装置２０ａと比較すると、実施例３の画像解析装置２０ｃでは、画像カテゴリ算出部２４が算出した画像カテゴリが、第２局所領域カテゴリ算出部２２ｂに対する制御情報として、第２局所領域カテゴリ算出部２２ｂに供給される。算出される画像カテゴリは、正常画像カテゴリまたは異常画像カテゴリのいずれかであり、画像カテゴリ算出部２４が画像カテゴリを算出すると、画像カテゴリが第２局所領域カテゴリ算出部２２ｂに供給される。

【0069】

画像カテゴリが異常画像カテゴリである場合、第２局所領域カテゴリ算出部２２ｂは、第２局所領域カテゴリを算出する。算出した第２局所領域カテゴリは局所領域カテゴリ出力部２８に供給されて、画像カテゴリとともに、表示装置４０に出力される。

【0070】

一方で、画像カテゴリが正常画像カテゴリである場合、第２局所領域カテゴリ算出部２２ｂは、第２局所領域カテゴリを算出しない。正常画像カテゴリは、画像に異常が含まれていないことを示すが、第２局所領域カテゴリ算出部２２ｂが算出する局所領域カテゴリに異常領域カテゴリが含まれていると、画像解析結果が整合していないことになる。そこで画像カテゴリが正常画像カテゴリである場合には、第２局所領域カテゴリ算出部２２ｂに第２局所領域カテゴリを算出させないことで、ユーザに不整合な解析結果を提示する状況を回避し、また第２局所領域カテゴリ算出部２２ｂによる演算処理を停止する。

【0071】

＜実施例４＞
図１０は、実施例４の画像解析装置２０ｄの構成を示す。画像解析装置２０ｄは、局所領域カテゴリ確率算出部３０、第１局所領域カテゴリ算出部２２ｃ、画像カテゴリ算出部２４、画像カテゴリ出力部２６、第２局所領域カテゴリ算出部２２ｄおよび局所領域カテゴリ出力部２８を備える。第１局所領域カテゴリ算出部２２ｃは、第１系統で、入力画像の複数の局所領域のカテゴリを算出し、第２局所領域カテゴリ算出部２２ｄは、第２系統で、同じ入力画像の複数の局所領域のカテゴリを算出する。

【0072】

実施例４の局所領域カテゴリ確率算出部３０は、実施例１における確率変更処理前の各カテゴリ確率の算出処理を実施する。実施例１では、第１局所領域カテゴリ算出部２２ａと第２局所領域カテゴリ算出部２２ｂにおいて、確率変更処理前の各カテゴリ確率の算出をＣＮＮ１００を用いて実行することを説明したが、実施例４の局所領域カテゴリ確率算出部３０はＣＮＮ１００を用いて、確率変更処理前の各カテゴリの確率を算出する。

【0073】

実施例１では、第１局所領域カテゴリ算出部２２ａと第２局所領域カテゴリ算出部２２ｂとが、重複して各カテゴリの確率を算出していたが、実施例４では、局所領域カテゴリ確率算出部３０が、代表して各カテゴリの確率を算出して、第１局所領域カテゴリ算出部２２ｃおよび第２局所領域カテゴリ算出部２２ｄの双方に供給する。これにより実施例１では重複していた各カテゴリ確率の算出処理が１回で済む。

【0074】

第１局所領域カテゴリ算出部２２ｃは、供給された各カテゴリの確率値に対して確率変更処理を実行し、確率変更処理した各カテゴリの確率を比較し、最も高い確率のカテゴリを、第１の局所領域カテゴリとして算出する。同様に第２局所領域カテゴリ算出部２２ｄは、供給された各カテゴリの確率値に対して確率変更処理を実行し、確率変更処理した各カテゴリの確率を比較し、最も高い確率のカテゴリを、第２の局所領域カテゴリとして算出する。第１局所領域カテゴリ算出部２２ｃによる確率変更処理、第２局所領域カテゴリ算出部２２ｄによる確率変更処理は、実施例１における第１局所領域カテゴリ算出部２２ａによる確率変更処理、第２局所領域カテゴリ算出部２２ｂによる確率変更処理と同じである。画像カテゴリ算出部２４、画像カテゴリ出力部２６、局所領域カテゴリ出力部２８の動作については、実施例１の画像カテゴリ算出部２４、画像カテゴリ出力部２６、局所領域カテゴリ出力部２８の動作と同じである。

【0075】

実施例４の画像解析装置２０ｄによれば、局所領域カテゴリ確率算出部３０が、局所領域におけるカテゴリ確率を算出することで、重複したカテゴリ確率の算出処理を回避できる。

【0076】

＜実施例５＞
図１１は、実施例５の画像解析装置２０ｅの構成を示す。画像解析装置２０ｅは、局所領域カテゴリ確率算出部３０、第１局所領域カテゴリ算出部２２ｃ、画像カテゴリ算出部２４、画像カテゴリ出力部２６、第２局所領域カテゴリ算出部２２ｄおよび局所領域カテゴリ出力部２８を備える。第１局所領域カテゴリ算出部２２ｃは、第１系統で、入力画像の複数の局所領域のカテゴリを算出し、第２局所領域カテゴリ算出部２２ｄは、第２系統で、同じ入力画像の複数の局所領域のカテゴリを算出する。

【0077】

実施例４の画像解析装置２０ｄと比較すると、実施例５の画像解析装置２０ｅでは、画像カテゴリ算出部２４が算出した画像カテゴリが、局所領域カテゴリ出力部２８に対する制御情報として、局所領域カテゴリ出力部２８に供給される。算出される画像カテゴリは、正常画像カテゴリまたは異常画像カテゴリのいずれかであり、画像カテゴリ算出部２４が画像カテゴリを算出すると、画像カテゴリが局所領域カテゴリ出力部２８に供給される。

【0078】

画像カテゴリが異常画像カテゴリである場合、局所領域カテゴリ出力部２８は、第２局所領域カテゴリを出力する。第２局所領域カテゴリは、異常領域カテゴリの局所領域の位置を可視化した病理画像データとして出力されてよい。

【0079】

一方で、画像カテゴリが正常画像カテゴリである場合、局所領域カテゴリ出力部２８は、第２局所領域カテゴリを出力しない。正常画像カテゴリは、画像に異常が含まれていないことを示すが、局所領域カテゴリ出力部２８から出力される局所領域カテゴリに異常領域カテゴリが含まれていると、画像解析結果が整合していないことになる。そこで画像解析装置２０ｅでは、画像カテゴリが正常画像カテゴリである場合に、局所領域カテゴリ出力部２８が第２局所領域カテゴリを出力しないことで、ユーザに不整合な解析結果を提示する状況を回避する。

【0080】

＜実施例６＞
図１２は、実施例６の画像解析装置２０ｆの構成を示す。画像解析装置２０ｆは、局所領域カテゴリ確率算出部３０、第１局所領域カテゴリ算出部２２ｃ、画像カテゴリ算出部２４、画像カテゴリ出力部２６、第２局所領域カテゴリ算出部２２ｄおよび局所領域カテゴリ出力部２８を備える。第１局所領域カテゴリ算出部２２ｃは、第１系統で、入力画像の複数の局所領域のカテゴリを算出し、第２局所領域カテゴリ算出部２２ｄは、第２系統で、同じ入力画像の複数の局所領域のカテゴリを算出する。

【0081】

実施例４の画像解析装置２０ｄと比較すると、実施例６の画像解析装置２０ｆでは、画像カテゴリ算出部２４が算出した画像カテゴリが、第２局所領域カテゴリ算出部２２ｄに対する制御情報として、第２局所領域カテゴリ算出部２２ｄに供給される。算出される画像カテゴリは、正常画像カテゴリまたは異常画像カテゴリのいずれかであり、画像カテゴリ算出部２４が画像カテゴリを算出すると、画像カテゴリが第２局所領域カテゴリ算出部２２ｄに供給される。

【0082】

画像カテゴリが異常画像カテゴリである場合、第２局所領域カテゴリ算出部２２ｄは、第２局所領域カテゴリを算出する。算出した第２局所領域カテゴリは局所領域カテゴリ出力部２８に供給されて、画像カテゴリとともに、表示装置４０に出力される。

【0083】

一方で、画像カテゴリが正常画像カテゴリである場合、第２局所領域カテゴリ算出部２２ｄは、第２局所領域カテゴリを算出しない。正常画像カテゴリは、画像に異常が含まれていないことを示すが、第２局所領域カテゴリ算出部２２ｄが算出する局所領域カテゴリに異常領域カテゴリが含まれていると、画像解析結果が整合していないことになる。そこで画像カテゴリが正常画像カテゴリである場合には、第２局所領域カテゴリ算出部２２ｄに第２局所領域カテゴリを算出させないことで、ユーザに不整合な解析結果を提示する状況を回避し、また第２局所領域カテゴリ算出部２２ｄによる演算処理を停止する。

【0084】

＜実施例７＞
図１３は、実施例７の画像解析装置２０ｇの構成を示す。画像解析装置２０ｇは、中間情報算出部３２、第１局所領域カテゴリ算出部２２ｅ、画像カテゴリ算出部２４、画像カテゴリ出力部２６、第２局所領域カテゴリ算出部２２ｆおよび局所領域カテゴリ出力部２８を備える。第１局所領域カテゴリ算出部２２ｅは、第１系統で、入力画像の複数の局所領域のカテゴリを算出し、第２局所領域カテゴリ算出部２２ｆは、第２系統で、同じ入力画像の複数の局所領域のカテゴリを算出する。

【0085】

実施例７の中間情報算出部３２は、入力画像から、局所領域カテゴリを算出するための中間情報を局所領域ごとに算出して、第１局所領域カテゴリ算出部２２ｃおよび第２局所領域カテゴリ算出部２２ｄの双方に供給する。実施例７の中間情報算出部３２は、ＣＮＮ１００を用いて、中間情報を算出してよい。中間情報は、局所領域の画像特徴量、または局所領域の複数のカテゴリそれぞれの確率であってよい。

【0086】

中間情報が局所領域の画像特徴量である場合、第１局所領域カテゴリ算出部２２ｅは、中間情報から、局所領域の複数のカテゴリのそれぞれの確率を算出し、各カテゴリの確率値に対して確率変更処理を実行し、確率変更処理した各カテゴリの確率を比較し、最も高い確率のカテゴリを、第１の局所領域カテゴリとして算出する。同様に第２局所領域カテゴリ算出部２２ｆは、中間情報から、局所領域の複数のカテゴリのそれぞれの確率を算出し、各カテゴリの確率値に対して確率変更処理を実行し、確率変更処理した各カテゴリの確率を比較し、最も高い確率のカテゴリを、第２の局所領域カテゴリとして算出する。第１局所領域カテゴリ算出部２２ｅによる確率変更処理、第２局所領域カテゴリ算出部２２ｆによる確率変更処理は、実施例１における第１局所領域カテゴリ算出部２２ａによる確率変更処理、第２局所領域カテゴリ算出部２２ｂによる確率変更処理と同じである。画像カテゴリ算出部２４、画像カテゴリ出力部２６、局所領域カテゴリ出力部２８の動作については、実施例１の画像カテゴリ算出部２４、画像カテゴリ出力部２６、局所領域カテゴリ出力部２８の動作と同じである。

【0087】

＜実施例８＞
図１４は、実施例８の画像解析装置２０ｈの構成を示す。画像解析装置２０ｈは、局所領域カテゴリ確率算出部３０、第１局所領域カテゴリ算出部２２ｃ、第１画像カテゴリ算出部２４ａ、画像カテゴリ出力部２６、第２局所領域カテゴリ算出部２２ｄ、局所領域カテゴリ出力部２８、第３局所領域カテゴリ算出部２２ｇ、第２画像カテゴリ算出部２４ｂ、画像セットカテゴリ算出部３４および画像セットカテゴリ出力部３６を備える。実施例８の画像解析装置２０ｈにおける局所領域カテゴリ確率算出部３０、第１局所領域カテゴリ算出部２２ｃ、第１画像カテゴリ算出部２４ａ、画像カテゴリ出力部２６、第２局所領域カテゴリ算出部２２ｄ、局所領域カテゴリ出力部２８は、実施例６の画像解析装置２０ｆにおける局所領域カテゴリ確率算出部３０、第１局所領域カテゴリ算出部２２ｃ、画像カテゴリ算出部２４、画像カテゴリ出力部２６、第２局所領域カテゴリ算出部２２ｄ、局所領域カテゴリ出力部２８に対応する。

【0088】

画像解析システム１において、画像供給部１０は、１人の標本（患者）から取得されたＮ（Ｎは１以上）枚の組織切片の病理画像を１つの画像セットとして画像解析装置２０ｈに入力する。画像解析装置２０ｈは、画像セットが正常であるか、異常であるかを示す画像セットカテゴリと、画像セットが異常の場合には、Ｎ枚の画像がそれぞれ正常であるか、異常であるかを示すＮ個の画像カテゴリと、更に画像カテゴリが異常の画像に関し、画像の局所領域が異常であるか、異常でないかを表す局所領域カテゴリを出力する。

【0089】

局所領域カテゴリ確率算出部３０は、Ｎ枚の入力画像を入力されて、複数の入力画像のそれぞれに対応するＮ個の局所領域カテゴリ確率を算出する。１つの入力画像に対する局所領域カテゴリ確率算出部３０の処理は、図１０に示す実施例４の画像解析装置２０ｄにおける局所領域カテゴリ確率算出部３０の処理と同様である。実施例８の局所領域カテゴリ確率算出部３０は、ＣＮＮ１００を用いて、確率変更処理前の各カテゴリの確率を算出する。画像解析装置２０ｈの局所領域カテゴリ確率算出部３０は、Ｎ枚の入力画像のそれぞれの局所領域カテゴリ確率を算出する。

【0090】

第３局所領域カテゴリ算出部２２ｇは、複数の入力画像のそれぞれに対応する第３の局所領域カテゴリを算出する。具体的に第３局所領域カテゴリ算出部２２ｇは、供給された各カテゴリの確率値に対して確率変更処理を実行し、確率変更処理した各カテゴリの確率を比較し、最も高い確率のカテゴリを、第３の局所領域カテゴリとして算出する。

【0091】

第２画像カテゴリ算出部２４ｂは、第３局所領域カテゴリ算出部２２ｇにより算出された各入力画像の複数の第３局所領域カテゴリから、それぞれの第３局所領域カテゴリに対応する画像カテゴリを算出する。実施例８の第２画像カテゴリ算出部２４ｂは、画像に含まれる全ての局所領域カテゴリを参照して、異常領域カテゴリが１つでも存在していれば、異常画像カテゴリを算出し、異常領域カテゴリが１つも存在していなければ、正常画像カテゴリを算出する。

【0092】

画像セットカテゴリ算出部３４は、複数の画像カテゴリから、画像セットカテゴリを算出する。具体的に画像セットカテゴリ算出部３４はＮ個の画像カテゴリを入力されて、全ての画像カテゴリのうち異常の画像カテゴリが１つでも含まれていた場合には画像セットカテゴリとして異常を判定し、異常の画像カテゴリが１つも含まれていない場合には画像カテゴリとして正常を判定して、画像セットカテゴリを出力する。

【0093】

実施例８では、第１局所領域カテゴリ、第２局所領域カテゴリ、第３局所領域カテゴリの利用目的の違いから、第１局所領域カテゴリ算出部２２ｃ、第２局所領域カテゴリ算出部２２ｄ、第３局所領域カテゴリ算出部２２ｇは、局所領域カテゴリ確率算出部３０が算出したカテゴリ確率に対して、異なる確率変更処理を実行する。なお第１局所領域カテゴリ算出部２２ｃによる確率変更処理、第２局所領域カテゴリ算出部２２ｄによる確率変更処理は、実施例１における第１局所領域カテゴリ算出部２２ａによる確率変更処理、第２局所領域カテゴリ算出部２２ｂによる確率変更処理と同じであってよい。

【0094】

第３局所領域カテゴリは、画像セットが正常であるか、異常であるかを示す画像セットカテゴリを算出するために利用される。画像セットが正常であるか、または異常であるかは、当該患者が病変を有していないか、または病変を有しているかと同義である。第３局所領域カテゴリ算出部２２ｇは、確率変更処理を実行して、画像セットカテゴリ算出用に各カテゴリ確率を最適化する。第３局所領域カテゴリ算出部２２ｇは、異常領域カテゴリの確率値を下げる確率変更処理を実行することで、異常を含まない画像セットを異常と誤判定する可能性を低減する。

【0095】

第３局所領域カテゴリ算出部２２ｇと第１局所領域カテゴリ算出部２２ｃの確率変更処理を比べると、第１局所領域カテゴリ算出部２２ｃが算出する複数の第１の局所領域カテゴリに占める検出対象カテゴリ（異常領域カテゴリ）の割合は、第３局所領域カテゴリ算出部２２ｇが算出する複数の第３の局所領域カテゴリに占める検出対象カテゴリ（異常領域カテゴリ）の割合以上となる。つまり第３局所領域カテゴリ算出部２２ｇにより異常領域カテゴリと算出された局所領域の第３集合は、第１局所領域カテゴリ算出部２２ｃにより異常領域カテゴリと算出された局所領域の第１集合の部分集合となる。

【0096】

第３局所領域カテゴリ算出部２２ｇは、異常領域カテゴリの確率値を、たとえば３０％下げる。この確率変更処理によれば、第３局所領域カテゴリ算出部２２ｇにおいて算出される（７，５）、（４，１０）、（７，８）における各カテゴリの確率は、以下のようになる。

【0097】

（７，５）の局所領域における各カテゴリの確率
・正常領域カテゴリ ２０％
・異常領域カテゴリ ４０％（＝７０％−３０％）
・背景領域カテゴリ １０％

【0098】

（４，１０）の局所領域における各カテゴリの確率
・正常領域カテゴリ ３０％
・異常領域カテゴリ −２０％（＝１０％−３０％）
・背景領域カテゴリ ６０％

【0099】

（７，８）の局所領域における各カテゴリの確率
・正常領域カテゴリ ４６％
・異常領域カテゴリ １４％（＝４４％−３０％）
・背景領域カテゴリ １０％

【0100】

したがって第１局所領域カテゴリ算出部２２ａは、第１局所領域のカテゴリを、以下のように算出する。
（７，５）の局所領域カテゴリ ： 異常領域カテゴリ
（４，１０）の局所領域カテゴリ ： 背景領域カテゴリ
（７，８）の局所領域カテゴリ ： 正常領域カテゴリ

【0101】

画像セットカテゴリ算出部３４は、１人の患者の画像セットに対して正常か異常かを表現する画像セットカテゴリを算出し、画像セットカテゴリが異常を示す場合に、第１局所領域カテゴリ算出部２２ｃが、Ｎ枚の入力画像の第１局所領域カテゴリを算出する。第１画像カテゴリ算出部２４ａが、各入力画像のそれぞれの画像カテゴリを算出すると、画像カテゴリが異常を示す画像について、第２局所領域カテゴリ算出部２２ｄが、局所領域のカテゴリを算出する。画像セットカテゴリ出力部３６は、画像セットカテゴリを出力し、画像カテゴリ出力部２６は、画像カテゴリを出力し、局所領域カテゴリ出力部２８は、局所領域カテゴリを出力する。実施例８の画像解析装置２０ｈによれば、１人の患者の画像セットを、効率的に解析できる。

【0102】

以上、本発明を実施形態および複数の実施例をもとに説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0103】

実施例においては、第１の局所領域カテゴリおよび第２の局所領域カテゴリは、ともに共通のグループに含まれるカテゴリの１つとして決定される。つまり実施例では、正常領域カテゴリ、異常領域カテゴリ、背景領域カテゴリの３つのカテゴリからなる局所領域カテゴリグループの中から、第１の局所領域カテゴリおよび第２の局所領域カテゴリが決定されている。

【0104】

変形例では、局所領域カテゴリの第１グループと第２グループとが用意され、第１の局所領域カテゴリが、第１グループに含まれるカテゴリの１つとして決定され、第２の局所領域カテゴリが、第２グループに含まれるカテゴリの１つとして決定されてよい。第１グループを構成するカテゴリ群と、第２グループを構成するカテゴリ群は、異なる。

【0105】

たとえば第１局所領域カテゴリは、異常領域を細分化したサブカテゴリを含む。異常領域が、胃癌に属する病変画像を含む場合に、管状腺癌の高分化カテゴリ、管状腺癌の中分化カテゴリ、低分化腺癌カテゴリの３つに細分化されてよい。つまり第１局所領域カテゴリ算出部２２ａ、２２ｃ、２２ｅは、局所領域ごとに、正常領域カテゴリ、管状腺癌の高分化カテゴリ、管状腺癌の中分化カテゴリ、低分化腺癌カテゴリ、背景領域カテゴリのいずれかに分類した第１の局所領域カテゴリを算出する。変形例で画像カテゴリ算出部２４は、管状腺癌の高分化カテゴリ、管状腺癌の中分化カテゴリ、低分化腺癌カテゴリを、異常領域カテゴリとして扱う。この変形例では、第１の局所領域カテゴリの異常を細分化したサブカテゴリに分類することにより、第１の局所領域カテゴリを高精度に解析できるという効果がある。このとき、第２の局所領域カテゴリは、サブカテゴリを含まず、実施例のカテゴリ群と同じであってよい。

【0106】

実施形態、実施例および変形例において、画像解析装置は、プロセッサと、メモリ等のストレージを含んでよい。ここでのプロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、あるいは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路およびアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置（例えばＩＣ等）や、１又は複数の回路素子（例えば抵抗、キャパシタ等）で構成することができる。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただしプロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、あるいはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを含んでよい。またプロセッサはＡＳＩＣ（application specific integrated circuit）又はＦＰＧＡ（field-programmable gate array）によるハードウェア回路でもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルタ回路等を含んでもよい。メモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスタであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、画像解析装置の各部の機能が実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

【0107】

また実施形態、実施例および変形例において、画像解析装置の各処理部は、例えば通信ネットワークのようなデジタルデータ通信の任意の型式または媒体によって接続されてもよい。通信ネットワークの例は、例えば、ＬＡＮと、ＷＡＮと、インターネットを形成するコンピュータおよびネットワークとを含む。

【符号の説明】

【0108】

１・・・画像解析システム、２０，２０ａ，２０ｂ，２０ｃ，２０ｄ，２０ｅ，２０ｆ，２０ｇ，２０ｈ・・・画像解析装置、２２ａ・・・第１局所領域カテゴリ算出部、２２ｂ・・・第２局所領域カテゴリ算出部、２２ｃ・・・第１局所領域カテゴリ算出部、２２ｄ・・・第２局所領域カテゴリ算出部、２２ｅ・・・第１局所領域カテゴリ算出部、２２ｆ・・・第２局所領域カテゴリ算出部、２２ｇ・・・第３局所領域カテゴリ算出部、２４・・・画像カテゴリ算出部、２４ａ・・・第１画像カテゴリ算出部、２４ｂ・・・第２画像カテゴリ算出部、２６・・・画像カテゴリ出力部、２８・・・局所領域カテゴリ出力部、３０・・・局所領域カテゴリ確率算出部、３２・・・中間情報算出部、３４・・・画像セットカテゴリ算出部、３６・・・画像セットカテゴリ出力部。

【産業上の利用可能性】

【0109】

本発明の画像解析技術は、病理画像、内視鏡画像、Ｘ線画像などの医療画像の診断支援や、工業製品の傷の検査などに利用できる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】