特許 6959114 誤判別可能性評価装置、誤判別可能性評価方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6959114

(24)【登録日】2021年10月11日

(45)【発行日】2021年11月2日

(54)【発明の名称】誤判別可能性評価装置、誤判別可能性評価方法及びプログラム

(51)【国際特許分類】

   G06T 7/143 20170101AFI20211021BHJP

【ＦＩ】

   G06T7/143

【請求項の数】6

【全頁数】17

(21)【出願番号】特願2017-222856(P2017-222856)

(22)【出願日】2017年11月20日

(65)【公開番号】特開2019-95910(P2019-95910A)

(43)【公開日】2019年6月20日

【審査請求日】2020年9月14日

(73)【特許権者】

【識別番号】000135771

【氏名又は名称】株式会社パスコ

(74)【代理人】

【識別番号】110000154

【氏名又は名称】特許業務法人はるか国際特許事務所

(72)【発明者】

【氏名】野嶋 大輝

(72)【発明者】

【氏名】今泉 友之

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２０１０−０８６２７６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／１４３

(57)【特許請求の範囲】

【請求項1】

分類の判別対象であるターゲット画像を取得するターゲット画像取得手段と、
所与の複数の分類のうちのいずれかを、前記ターゲット画像の分類である可能性が最も高い第１分類として判別する第１分類判別手段と、
前記第１分類の物体が表れている確率が第１の確率より低く前記複数の分類のうち前記第１分類とは異なる分類の物体が表れている確率が第２の確率より高い前記ターゲット画像内の領域の大きさの、前記ターゲット画像の全体の大きさに対する比率を特定する比率特定手段と、
前記比率に基づいて、前記第１分類判別手段の判別結果が誤判別である可能性を示す値を決定する誤判別可能性評価手段と、
を含むことを特徴とする誤判別可能性評価装置。

【請求項2】

前記ターゲット画像に基づいて、前記複数の分類のうちから、当該ターゲット画像の分類である可能性が２番目に高い分類を第２分類として判別する第２分類判別手段、をさらに含み、
前記比率特定手段は、前記第１分類の物体が表れている確率が前記第１の確率より低く、前記第２分類の物体が表れている確率が前記第２の確率より高い、前記ターゲット画像内の領域の大きさの、前記ターゲット画像の大きさに対する比率を特定する、
ことを特徴とする請求項１に記載の誤判別可能性評価装置。

【請求項3】

前記比率特定手段は、前記ターゲット画像内の着目領域を占める画像内における、前記第１分類の物体が表れている確率が前記第１の確率より低く前記複数の分類のうち前記第１分類とは異なる分類の物体が表れている確率が前記第２の確率より高い領域の大きさの、当該画像の大きさに対する比率を特定する、
ことを特徴とする請求項１又は２に記載の誤判別可能性評価装置。

【請求項4】

前記比率特定手段は、前記ターゲット画像内の着目領域を占める画像内における、前記第１分類の物体が表れている確率が前記第１の確率より低く前記複数の分類のうち前記第１分類とは異なる分類の物体が表れている確率が前記第２の確率より高い領域の大きさの、当該画像の大きさに対する比率を第１比率として特定し、
前記比率特定手段は、前記ターゲット画像内の前記着目領域以外の領域を占める画像内における、前記第１分類の物体が表れている確率が前記第１の確率より低く前記複数の分類のうち前記第１分類とは異なる分類の物体が表れている確率が前記第２の確率より高い領域の大きさの、当該画像の大きさに対する比率を第２比率として特定し、
前記誤判別可能性評価手段は、所定の重みに基づく前記第１比率と前記第２比率との重み付き平均値に基づいて、前記第１分類判別手段の判別結果が誤判別である可能性を示す値を決定する、
ことを特徴とする請求項１又は２に記載の誤判別可能性評価装置。

【請求項5】

分類の判別対象であるターゲット画像を取得するターゲット画像取得ステップと、
所与の複数の分類のうちのいずれかを、前記ターゲット画像の分類である可能性が最も高い第１分類として判別する第１分類判別ステップと、
前記第１分類の物体が表れている確率が第１の確率より低く前記複数の分類のうち前記第１分類とは異なる分類の物体が表れている確率が第２の確率より高い前記ターゲット画像内の領域の大きさの、前記ターゲット画像の全体の大きさに対する比率を特定する比率特定ステップと、
前記比率に基づいて、前記第１分類判別ステップでの判別結果が誤判別である可能性を示す値を決定する誤判別可能性評価ステップと、
を含むことを特徴とする誤判別可能性評価方法。

【請求項6】

分類の判別対象であるターゲット画像を取得するターゲット画像取得手順、
所与の複数の分類のうちのいずれかを、前記ターゲット画像の分類である可能性が最も高い第１分類として判別する第１分類判別手順、
前記第１分類の物体が表れている確率が第１の確率より低く前記複数の分類のうち前記第１分類とは異なる分類の物体が表れている確率が第２の確率より高い前記ターゲット画像内の領域の大きさの、前記ターゲット画像の全体の大きさに対する比率を特定する比率特定手順、
前記比率に基づいて、前記第１分類判別手順での判別結果が誤判別である可能性を示す値を決定する誤判別可能性評価手順、
をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、誤判別可能性評価装置、誤判別可能性評価方法及びプログラムに関する。

【背景技術】

【0002】

手作業によって、あるいは、学習済の機械学習モデルを用いて、画像に表れている樹木種別の判別などといった、画像分類の判別が行われている。このような判別において、判別精度を高めるため熟練者などといった担当者による画像分類の判別結果の確認作業が行われることがある。

【0003】

また特許文献１には、分光特性や放射特性などによる画像の自動分類の結果に基づいて、センシング画像内の位置と関連付けて保存された判読結果の地物のうちから特異な尤度を有する地物を判読修正候補として出力する技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９−２５１７９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

手作業による判別であっても学習済の機械学習を用いた判別であっても、例えば樹木種別の境界付近を撮影した画像などといった複数の分類の物体が混在して表れている画像については、画像分類の誤判別の可能性が高くなる傾向にある。一方、単一の分類の物体しか表れていない画像については、画像分類の誤判別の可能性は低い。このように、画像分類の誤判別の可能性は画像によってまちまちである。

【0006】

しかし誤判別の可能性の高さとは無関係に担当者による画像分類の判別結果の確認作業はすべての画像について同様に行われており、このことは担当者にとって多大な負荷となっていた。

【0007】

ここで画像分類の誤判別の可能性を的確に評価できれば評価結果に応じた確認作業が可能となるため、画像分類の判別結果の確認作業の効率化が期待できる。

【0008】

なお特許文献１に記載の技術では、判読修正候補の特定において判読結果の地物が異なる地物である確率について考慮されておらず、そのため判読結果の地物を判読修正候補とするか否かが的確に評価されないことがあった。

【0009】

本発明は上記課題に鑑みてなされたものであって、その目的の１つは、画像分類の誤判別の可能性を的確に評価できる誤判別可能性評価装置、誤判別可能性評価方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0010】

（１）本発明に係る誤判別可能性評価装置は、分類の判別対象であるターゲット画像を取得するターゲット画像取得手段と、所与の複数の分類のうちのいずれかを、前記ターゲット画像の分類である可能性が最も高い第１分類として判別する第１分類判別手段と、前記第１分類の物体が表れている確率が第１の確率より低く前記複数の分類のうち前記第１分類とは異なる分類の物体が表れている確率が第２の確率より高い前記ターゲット画像内の領域の大きさの、前記ターゲット画像の全体の大きさに対する比率を特定する比率特定手段と、前記比率に基づいて、前記第１分類判別手段の判別結果が誤判別である可能性を示す値を決定する誤判別可能性評価手段と、を含む。

【0011】

（２）上記（１）に記載の誤判別可能性評価装置において、前記ターゲット画像に基づいて、前記複数の分類のうちから、当該ターゲット画像の分類である可能性が２番目に高い分類を第２分類として判別する第２分類判別手段、をさらに含み、前記比率特定手段は、前記第１分類の物体が表れている確率が前記第１の確率より低く、前記第２分類の物体が表れている確率が前記第２の確率より高い、前記ターゲット画像内の領域の大きさの、前記ターゲット画像の大きさに対する比率を特定する構成とすることができる。

【0012】

（３）上記（１）又は（２）に記載の誤判別可能性評価装置において、前記比率特定手段は、前記ターゲット画像内の着目領域を占める画像内における、前記第１分類の物体が表れている確率が前記第１の確率より低く前記複数の分類のうち前記第１分類とは異なる分類の物体が表れている確率が前記第２の確率より高い領域の大きさの、当該画像の大きさに対する比率を特定する構成とすることができる。

【0013】

（４）上記（１）又は（２）に記載の誤判別可能性評価装置において、前記比率特定手段は、前記ターゲット画像内の着目領域を占める画像内における、前記第１分類の物体が表れている確率が前記第１の確率より低く前記複数の分類のうち前記第１分類とは異なる分類の物体が表れている確率が前記第２の確率より高い領域の大きさの、当該画像の大きさに対する比率を第１比率として特定し、前記比率特定手段は、前記ターゲット画像内の前記着目領域以外の領域を占める画像内における、前記第１分類の物体が表れている確率が前記第１の確率より低く前記複数の分類のうち前記第１分類とは異なる分類の物体が表れている確率が前記第２の確率より高い領域の大きさの、当該画像の大きさに対する比率を第２比率として特定し、前記誤判別可能性評価手段は、所定の重みに基づく前記第１比率と前記第２比率との重み付き平均値に基づいて、前記第１分類判別手段の判別結果が誤判別である可能性を示す値を決定する構成とすることができる。

【0014】

（５）本発明に係る誤判別可能性評価方法は、分類の判別対象であるターゲット画像を取得するターゲット画像取得ステップと、所与の複数の分類のうちのいずれかを、前記ターゲット画像の分類である可能性が最も高い第１分類として判別する第１分類判別ステップと、前記第１分類の物体が表れている確率が第１の確率より低く前記複数の分類のうち前記第１分類とは異なる分類の物体が表れている確率が第２の確率より高い前記ターゲット画像内の領域の大きさの、前記ターゲット画像の全体の大きさに対する比率を特定する比率特定ステップと、前記比率に基づいて、前記第１分類判別ステップでの判別結果が誤判別である可能性を示す値を決定する誤判別可能性評価ステップと、を含む。

【0015】

（６）本発明に係るプログラムは、分類の判別対象であるターゲット画像を取得するターゲット画像取得手順、所与の複数の分類のうちのいずれかを、前記ターゲット画像の分類である可能性が最も高い第１分類として判別する第１分類判別手順、前記第１分類の物体が表れている確率が第１の確率より低く前記複数の分類のうち前記第１分類とは異なる分類の物体が表れている確率が第２の確率より高い前記ターゲット画像内の領域の大きさの、前記ターゲット画像の全体の大きさに対する比率を特定する比率特定手順、前記比率に基づいて、前記第１分類判別手順での判別結果が誤判別である可能性を示す値を決定する誤判別可能性評価手順、をコンピュータに実行させる。

【発明の効果】

【0016】

本発明によれば、画像の分類の誤判別の可能性を的確に評価できる。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態に係る画像分類判別装置の構成図である。

【図2】ターゲット画像の一例を示す図である。

【図3】第１分類評価画像の一例を示す図である。

【図4】対比分類評価画像の一例を示す図である。

【図5】誤判別評価画像の一例を示す図である。

【図6】ターゲット画像の別の一例を示す図である。

【図7】第１分類評価画像の別の一例を示す図である。

【図8】対比分類評価画像の別の一例を示す図である。

【図9】誤判別評価画像の別の一例を示す図である。

【図10】画像分類判別モジュール、及び、可視化マップ生成モジュールの一例を示す図である。

【図11】本発明の一実施形態に係る画像分類判別装置の機能の一例を示す機能ブロック図である。

【図12】図２に示すターゲット画像における着目領域の一例を示す図である。

【図13】本発明の一実施形態に係る画像分類判別装置で行われる処理の流れの一例を示すフロー図である。

【発明を実施するための形態】

【0018】

以下、本発明の一実施形態について図面に基づき詳細に説明する。

【0019】

図１は、本発明の一実施形態に係る画像分類判別装置１０の構成図である。本実施形態に係る画像分類判別装置１０は、パーソナルコンピュータなどのコンピュータである。図１に示すように画像分類判別装置１０は、例えば、プロセッサ１２、記憶部１４、表示部１６、操作部１８を含んでいる。

【0020】

プロセッサ１２は、例えば画像分類判別装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。

【0021】

記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１４には、プロセッサ１２によって実行されるプログラムなどが記憶される。

【0022】

表示部１６は、液晶ディスプレイ等の表示デバイスであって、プロセッサ１２の指示に従って各種の画像を表示する。

【0023】

操作部１８は、キーボードやマウスなどといったユーザインタフェースであって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ１２に出力する。

【0024】

なお、画像分類判別装置１０は、ネットワークボードなどの通信インタフェース、ＤＶＤ−ＲＯＭやＢｌｕ−ｒａｙ（登録商標）ディスクなどの光ディスクを読み取る光ディスクドライブ、ＵＳＢ（Universal Serial Bus）ポートなどを含んでいてもよい。

【0025】

本実施形態に係る画像分類判別装置１０では、分類の判別対象である画像について、所与の複数の分類のうちのいずれかを、当該画像の分類である可能性が最も高い第１分類として判別する処理が実行される。以下、画像の分類である可能性がｎ番目に高い分類として判別される分類を第ｎ分類（ｎ＝１，２，３，・・・）と呼ぶこととする。また本実施形態に係る画像分類判別装置１０では、当該判別の結果が誤判別である可能性を評価する処理が実行される。以下、これらの処理の対象である画像をターゲット画像と呼ぶこととする。

【0026】

図２は、ターゲット画像２０の一例を示す図である。図２に示すターゲット画像２０は、森林等を撮影した航空機画像から縦横それぞれ１０メートル間隔で切り出された複数のパッチ画像のうちの１つであってもよい。またターゲット画像２０は、１ピクセルが縦横１６センチメートルに相当する、縦横それぞれ２２４ピクセルの画像（縦横３５．８４メートルに相当）であってもよい。

【0027】

そして本実施形態では例えば、ターゲット画像２０に表れている樹木種別の分類を判別する処理、及び、当該判別の結果が誤判別である可能性を評価する処理が実行される。ここで樹木種別の分類の例としては、スギ、ヒノキ、マツ、タケ、落葉広葉樹、常緑広葉樹、森林外などが挙げられる。なお樹木種別の分類の判別において、例えばターゲット画像２０の中心付近に表れている樹木種別である可能性が最も高い分類が判別されるようにしてもよい。より具体的には例えば、ターゲット画像２０と中心が同じである、ターゲット画像２０の一部を占める領域に表れている樹木種別である可能性が最も高い分類が判別されるようにしてもよい。

【0028】

また本実施形態では、ターゲット画像２０内の各画素について、当該画素に第１分類の物体が表れている確率が特定される。以下、当該確率を第１分類確率と呼ぶこととする。そして当該第１分類確率が所定の第１の確率より低い領域が表現された、図３に例示する第１分類評価画像２２が生成される。第１分類評価画像２２では、第１分類確率が第１の確率よりも低い画素が占める領域がドットで示されている。以下、当該領域を第１領域２４と呼ぶこととする。第１分類評価画像２２の全体の大きさに対する第１領域２４の大きさの比率は、ターゲット画像２０内において第１分類確率が上述の第１の確率よりも低い画素が占める領域の大きさの、ターゲット画像２０の全体の大きさに対する比率に相当する。

【0029】

また本実施形態では例えば、ターゲット画像２０内の各画素について、第１分類とは異なる分類（以下、対比分類と呼ぶ。）の物体が表れている確率が特定される。以下、当該確率を対比分類確率と呼ぶこととする。そして当該対比分類確率が所定の第２の確率より高い領域が表現された、図４に例示する対比分類評価画像２６が生成される。ここで第２の確率は上述の第１の確率と同じであってもよいし異なっていてもよい。対比分類評価画像２６では、対比分類確率が第２の確率よりも高い画素が占める領域がドットで示されている。以下、当該領域を対比領域２８と呼ぶこととする。対比分類評価画像２６の全体の大きさに対する対比領域２８の大きさの比率は、ターゲット画像２０内において対比分類確率が上述の第２の確率よりも高い画素が占める領域の大きさの、ターゲット画像２０の全体の大きさに対する比率に相当する。ここで対比分類は、ターゲット画像２０の分類である可能性が２番目に高い分類として判別される分類（第２分類）であっても構わない。

【0030】

本実施形態に係る第１分類評価画像２２、及び、対比分類評価画像２６は、ターゲット画像２０と同形同サイズ同画素数である。そしてターゲット画像２０内の画素は、第１分類評価画像２２内の画素と１対１で対応付けられる。またターゲット画像２０内の画素は、対比分類評価画像２６内の画素と１対１で対応付けられる。

【0031】

そして本実施形態では、第１分類評価画像２２と対比分類評価画像２６とに基づいて、図５に例示する誤判別評価画像３０が生成される。本実施形態に係る誤判別評価画像３０は、ターゲット画像２０と同形同サイズ同画素数である。そしてターゲット画像２０内の画素は、誤判別評価画像３０内の画素とも１対１で対応付けられる。

【0032】

本実施形態では例えば、第１分類評価画像２２におけるドット部分と対比分類評価画像２６におけるドット部分との論理積が、誤判別評価画像３０におけるドット部分として示されている。以下、誤判別評価画像３０内においてドット部分が占める領域を誤判別領域３２と呼ぶこととする。誤判別領域３２内の画素に対応付けられるターゲット画像２０内の画素は、第１分類確率が上述の第１の確率よりも低く、かつ、対比分類確率が上述の第２の確率よりも高い画素であることとなる。

【0033】

そして本実施形態では例えば、誤判別領域３２の大きさの、誤判別評価画像３０の全体の大きさに対する比率に基づいて、ターゲット画像２０の分類である可能性が最も高い分類を上述の第１分類とする判別結果が誤判別である可能性を示す値が決定される。

【0034】

ここで例えば当該比率が所定の閾値よりも大きい場合に上述の判別結果が誤判別である可能性を示す値として１が決定されてもよい。逆に、当該比率が当該所定の閾値よりも小さい場合に上述の判別結果が誤判別である可能性を示す値として０が決定されてもよい。

【0035】

図５に示す誤判別評価画像３０では、誤判別領域３２の大きさの、誤判別評価画像３０の全体の大きさに対する比率は４６．８％である。ここで例えば閾値が３０％である場合に、上述の判別結果が誤判別である可能性を示す値として１が決定されてもよい。

【0036】

図６は、ターゲット画像２０とは別のターゲット画像４０の一例を示す図である。図７は、図６に示すターゲット画像４０に基づいて生成される第１分類評価画像４２の一例を示す図である。図７に示す第１分類評価画像４２には、第１領域４４が示されている。図８は、図６に示すターゲット画像４０に基づいて生成される対比分類評価画像４６の一例を示す図である。図８に示す対比分類評価画像４６には、対比領域４８が示されている。図９は、図７に示す第１分類評価画像４２及び図８に示す対比分類評価画像４６に基づいて生成される誤判別評価画像５０の一例を示す図である。図９に示す誤判別評価画像５０には、誤判別領域５２が示されている。

【0037】

図９に示す誤判別評価画像５０では、誤判別領域５２の大きさの、誤判別評価画像５０の全体の大きさに対する比率は５．８％である。ここで例えば閾値が３０％である場合に、上述の判別結果が誤判別である可能性を示す値として０が決定されてもよい。

【0038】

以上のようにして本実施形態に係る画像分類判別装置１０によれば、画像の分類の誤判別の可能性を的確に評価できることとなる。そのため例えば誤判別である可能性を示す値として１が決定されるターゲット画像を重点的に確認作業の担当者に確認させることで、当該担当者によるターゲット画像の分類の判別結果の確認作業が効率化される。

【0039】

ここで例えば上述のように、航空機画像から縦横それぞれ１０メートル間隔で切り出された複数のパッチ画像がターゲット画像として用いられることとする。この場合に、それぞれのターゲット画像について判別された第１分類に対応付けられる色の画素が縦横に配置されたマップが表示部１６に表示されるようにしてもよい。そして当該マップにおいて、誤判別である可能性を示す値として１が決定されたターゲット画像に対応付けられる画素は黒枠で囲まれる等の強調表示がされるようにしてもよい。そして確認作業の担当者が表示されたマップを確認するようにしてもよい。

【0040】

また例えば、誤判別領域の大きさの、誤判別評価画像の全体の大きさに対する比率自体が、画像の分類の誤判別の可能性を示す値として決定されてもよい。この場合に、誤判別領域の大きさの、誤判別評価画像の全体の大きさに対する比率を示す値が、ターゲット画像とともに確認作業の担当者に提示されるようにしてもよい。この場合は、当該担当者は、画像の分類の誤判別の可能性を示す値を参照しながらターゲット画像の確認が行えるので、当該担当者によるターゲット画像の分類の判別結果の確認作業が効率化される。

【0041】

以下、図２に示すターゲット画像２０を題材として、画像分類の判別、及び、画像分類の誤判別の可能性の評価の一例についてさらに説明する。

【0042】

図１０には、本実施形態に係る画像分類判別装置１０において実装される画像分類判別モジュール６０及び可視化マップ生成モジュール６４の一例が示されている。ここで画像分類判別モジュール６０は例えば、ターゲット画像２０の分類を判別するモジュールである。また可視化マップ生成モジュール６４は例えば、第１分類評価画像２２や対比分類評価画像２６の基礎となる可視化マップ６２を生成するモジュールである。

【0043】

画像分類判別モジュール６０は、本実施形態では例えば、学習済の畳み込みニューラルネットワーク（ＣＮＮ）を含んで構成される。このＣＮＮは、例えば、ターゲット画像２０と同形同サイズ同画素数の画像を入力データとして含み当該画像の樹木種別に対応付けられるラベルを教師データとして含む学習データを学習した機械学習モデルである。ここで教師データとして、入力データである画像の中心に表れている樹木種別に対応付けられるラベルを含んでいてもよい。

【0044】

そして本実施形態では例えば、特徴抽出部６６にターゲット画像２０が入力６８として入力される。特徴抽出部６６は、例えばＣＮＮの畳み込み層やプーリング層を含んで構成される。そして特徴抽出部６６は、当該入力６８に応じて、それぞれがチャネル（フィルタ）に対応付けられる複数の特徴マップ７０を出力する。

【0045】

特徴抽出部６６が出力する特徴マップ７０は、画像分類判別モジュール６０に含まれる１又は複数の全結合層７２に入力される。ここで全結合層７２の数は特に問わない。そして全結合層７２からの出力が、画像分類判別モジュール６０に含まれるソフトマックス層７３に入力される。そして、ソフトマックス層７３は、画像の分類に対応付けられる確率値を要素として含む確率ベクトルを出力７４として出力する。ここで例えば、ターゲット画像２０に表れている樹木種別の分類を判別する場面における分類として、スギ、ヒノキ、マツ、タケ、落葉広葉樹、常緑広葉樹、及び、森林外の７個を採用することとする。この場合は、当該７個の確率値を要素として含む確率ベクトルが出力されることとなる。

【0046】

そしてこのようにして出力される確率ベクトルにおいて最も大きな確率値が示されている要素に対応する分類が、入力６８として入力されたターゲット画像２０の分類である可能性が最も高い第１分類として判別される。またここで対比分類も判別される。例えば対比分類が第２分類である場合は、２番目に大きな確率値に対応付けられる分類が対比分類として判別される。また例えば対比分類が第３分類である場合は、３番目に大きな確率値に対応付けられる分類が対比分類として判別される。

【0047】

そして本実施形態では、可視化マップ生成モジュール６４において、ＣＮＮの判断根拠を可視化するＧｒａｄ−ｃａｍ（Gradient-weighted Class Activation Mapping）の技術等を用いて可視化マップ６２が生成される。

【0048】

可視化マップ生成モジュール６４では、例えば、第１分類に対応する要素が１であり他の分類に対応する要素が０であるｏｎｅ−ｈｏｔベクトル７６と、出力７４である確率ベクトルと、の要素積７８が計算される。そして計算された要素積７８を、出力７４である確率ベクトル、ソフトマックス層７３、及び、全結合層７２に逆伝搬させることで、それぞれがチャネル（フィルタ）に対応付けられる複数の勾配マップ８０が生成される。

【0049】

そして例えばＧＡＰ（Global Average Pooling）の技術を用いて、複数の勾配マップ８０のそれぞれに対応付けられる代表値（例えば勾配マップ８０に含まれる画素の画素値の平均値）を要素として含む代表値ベクトル８２が算出される。ここで代表値ベクトル８２の要素の数は、特徴マップ７０のチャネルの数となる。

【0050】

そして各チャネルについて、当該チャネルの特徴マップ７０に含まれる各画素の画素値に当該特徴マップ７０に対応付けられる代表値ベクトル８２の要素の値を乗ずることで、当該特徴マップ７０に対応する個別マップ８４が生成される。そして、すべてのチャネルの個別マップ８４を合成した総合マップ８６が生成される。ここでは例えば、総合マップ８６に含まれる画素の画素値として、すべてのチャネルの個別マップ８４についての当該画素に相当する画素の画素値の合計が設定されてもよい。

【0051】

そして総合マップ８６を正規化線形関数（ＲｅＬＵ）等の活性化関数に入力した際の出力を、０以上１以下となるよう正規化することで、第１分類に対応付けられる可視化マップ６２が生成される。このようにすることで当該可視化マップ６２においては、負の勾配に対応付けられる画素については画素値が０となる。そのため、第１分類である確率を高めることに寄与する画素のみについて当該可視化マップ６２においては正の画素値が設定されることとなる。

【0052】

そして本実施形態では同様にして、可視化マップ生成モジュール６４において、対比分類に対応する要素が１であり他の分類に対応する要素が０であるｏｎｅ−ｈｏｔベクトル７６と、出力７４である確率ベクトルと、の要素積７８が計算される。そして計算された要素積７８を、出力７４である確率ベクトル、ソフトマックス層７３、及び、全結合層７２に逆伝搬させることで、それぞれがチャネル（フィルタ）に対応付けられる複数の勾配マップ８０が生成される。そして複数の勾配マップ８０のそれぞれに対応付けられる代表値を要素として含む代表値ベクトル８２が算出される。

【0053】

そして各チャネルについて、当該チャネルの特徴マップ７０に含まれる各画素の画素値に当該特徴マップ７０に対応付けられる代表値ベクトル８２の要素の値を乗ずることで、当該特徴マップ７０に対応する個別マップ８４が生成される。そして、すべてのチャネルの個別マップ８４を合成した総合マップ８６が生成される。

【0054】

そして総合マップ８６を正規化線形関数等の活性化関数に入力した際の出力を、０以上１以下となるよう正規化することで、対比分類に対応付けられる可視化マップ６２が生成される。当該可視化マップ６２においても、負の勾配に対応付けられる画素については画素値が０となる。そのため、対比分類である確率を高めることに寄与する画素のみについて当該可視化マップ６２においては正の画素値が設定されることとなる。

【0055】

そして本実施形態では例えば、双線形補間等の補間技術を用いて、第１分類に対応付けられる可視化マップ６２をターゲット画像２０と同じ大きさに拡大した第１拡大可視化画像が生成される。第１拡大可視化画像に含まれる画素は、ターゲット画像２０に含まれる画素に１対１で対応付けられることとなる。そして、第１拡大可視化画像に含まれる画素の画素値は、当該画素に対応付けられるターゲット画像２０内の画素の第１分類確率を示すこととなる。ここで例えば第１拡大可視化画像に含まれる画素の画素値が１に近いほど当該画素に対応付けられるターゲット画像２０内の画素に、第１分類の樹木が表れている確率が高いこととなる。また例えば、第１拡大可視化画像に含まれる画素の画素値が０に近いほど当該画素に対応付けられるターゲット画像２０内の画素に、第１分類の樹木が表れている確率が低いこととなる。

【0056】

そして本実施形態では例えば、第１拡大可視化画像に基づいて、画素値が示す確率が所定の第１の確率よりも低い画素が占める領域が表現された、図３に例示する第１分類評価画像２２が生成される。

【0057】

また本実施形態では、双線形補間等の補間技術を用いて、対比分類に対応付けられる可視化マップ６２をターゲット画像２０と同じ大きさに拡大した対比拡大可視化画像が生成される。対比拡大可視化画像に含まれる画素は、ターゲット画像２０に含まれる画素に１対１で対応付けられることとなる。そして、対比拡大可視化画像に含まれる画素の画素値は、当該画素に対応付けられるターゲット画像２０内の画素の対比分類確率を示すこととなる。ここで例えば対比拡大可視化画像に含まれる画素の画素値が１に近いほど当該画素に対応付けられるターゲット画像２０内の画素に、対比分類の樹木が表れている確率が高いこととなる。また例えば、対比拡大可視化画像に含まれる画素の画素値が０に近いほど当該画素に対応付けられるターゲット画像２０内の画素に、対比分類の樹木が表れている確率が低いこととなる。

【0058】

そして本実施形態では例えば、対比拡大可視化画像に基づいて、画素値が示す確率が所定の第２の確率よりも高い画素が占める領域が表現された、図４に例示する対比分類評価画像２６が生成される。

【0059】

そして上述のように、第１分類評価画像２２と対比分類評価画像２６とに基づいて生成される誤判別評価画像３０に基づいて、ターゲット画像２０の分類である可能性が最も高い分類を第１分類とする判別結果が誤判別である可能性を示す値が決定されることとなる。

【0060】

以下、本実施形態に係る画像分類判別装置１０の機能並びに本実施形態に係る画像分類判別装置１０で実行される処理についてさらに説明する。

【0061】

図１１は、本実施形態に係る画像分類判別装置１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る画像分類判別装置１０で、図１１に示す機能のすべてが実装される必要はなく、また、図１１に示す機能以外の機能が実装されていても構わない。

【0062】

図１１に示すように、本実施形態に係る画像分類判別装置１０には、機能的には例えば、ターゲット画像取得部９０、分類判別部９２、可視化マップ生成部９４、比率特定部９６、誤判別可能性評価部９８、が含まれる。分類判別部９２は、図１０に示されている画像分類判別モジュール６０に相当する。可視化マップ生成部９４は、図１０に示されている可視化マップ生成モジュール６４に相当する。ターゲット画像取得部９０、分類判別部９２、可視化マップ生成部９４、比率特定部９６、誤判別可能性評価部９８は、プロセッサ１２及び記憶部１４を主として実装される。

【0063】

本実施形態に係る画像分類判別装置１０は、ターゲット画像２０の分類を判別する装置としての役割だけでなく、当該判別の結果が誤判別である可能性を評価する誤判別可能性評価装置としての役割も担っている。

【0064】

以上の機能は、コンピュータである画像分類判別装置１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して画像分類判別装置１０に供給されてもよい。

【0065】

ターゲット画像取得部９０は、本実施形態では例えば、分類の判別対象であるターゲット画像２０を取得する。

【0066】

分類判別部９２は、本実施形態では例えば、所与の複数の分類のうちのいずれかを、ターゲット画像２０の分類である可能性が最も高い第１分類として判別する。ここでターゲット画像２０に基づいて、当該ターゲット画像２０の分類である可能性が最も高い分類が第１分類として判別されてもよい。

【0067】

ここで予め、第ｎ分類が対比分類として定められていることとする。この場合、分類判別部９２は、ターゲット画像２０の分類である可能性がｎ番目に高い分類を対比分類として判別する処理も実行する。ここで第２分類が対比分類として判別されてもよいし、第３分類が対比分類として判別されてもよい。

【0068】

なお分類判別部９２が、複数の分類を対比分類として判別してもよい。具体的には例えば、第２分類及び第３分類が、対比分類として判別されてもよい。

【0069】

また以上の説明では、分類判別部９２が画像分類判別モジュール６０によって実装されている例について説明したが、分類判別部９２が画像分類判別モジュール６０によって実装されている必要はない。

【0070】

例えば分類判別部９２が、テンプレートマッチング等の他の画像処理技術を用いて、所与の複数の分類のうちのいずれかを、ターゲット画像２０の分類である可能性が最も高い第１分類として判別してもよい。また分類判別部９２が、テンプレートマッチング等の他の画像処理技術を用いて、ターゲット画像２０の対比分類を判別してもよい。

【0071】

また例えば、操作部１８を介して、ユーザが目視にて判別したターゲット画像２０の第１分類を表すデータを分類判別部９２が受け付けてもよい。そして分類判別部９２が、当該データが表す分類を、ターゲット画像２０の分類である可能性が最も高い第１分類として判別してもよい。また同様に、操作部１８を介して、ユーザが目視にて判別したターゲット画像２０の対比分類を表すデータを分類判別部９２が受け付けてもよい。そして分類判別部９２が、当該データが表す分類を、ターゲット画像２０の対比分類として判別してもよい。

【0072】

可視化マップ生成部９４は、本実施形態では例えば、第１分類に対応付けられる可視化マップ６２、及び、対比分類に対応付けられる可視化マップ６２を生成する。

【0073】

可視化マップ生成部９４は、例えば上述のように第１分類について生成される総合マップ８６をＲｅＬＵ等の活性化関数に入力した際の出力を、０以上１以下となるよう正規化することで、第１分類に対応付けられる可視化マップ６２を生成する。

【0074】

また可視化マップ生成部９４は、例えば上述のように対比分類について生成される総合マップ８６をＲｅＬＵ等の活性化関数に入力した際の出力を、０以上１以下となるよう正規化することで、対比分類に対応付けられる可視化マップ６２を生成する。

【0075】

比率特定部９６は、本実施形態では例えば、第１分類確率が第１の確率より低く対比分類確率が第２の確率より高いターゲット画像２０内の領域の大きさの、ターゲット画像２０の全体の大きさに対する比率を特定する。

【0076】

ここで上述の第１拡大可視化画像や対比拡大可視化画像に基づいて第１分類確率が第１の確率より低く対比分類確率が第２の確率より高いターゲット画像２０内の領域の大きさの、ターゲット画像２０の全体の大きさに対する比率が特定される必要はない。

【0077】

例えば比率特定部９６が、第１分類に対応付けられる可視化マップ６２において、画素値が示す確率が第１の確率よりも低い画素が占める領域が表現された第１分類評価画像２２を生成してもよい。また比率特定部９６が、対比分類に対応付けられる可視化マップ６２において、画素値が示す確率が第２の確率よりも高い画素が占める領域が表現された対比分類評価画像２６を生成してもよい。当該第１分類評価画像２２と当該対比分類評価画像２６は、可視化マップ６２と同形同サイズ同画素数となる。

【0078】

そして当該第１分類評価画像２２と当該対比分類評価画像２６とに基づいて、誤判別領域３２が設定された誤判別評価画像３０が生成されてもよい。当該誤判別評価画像３０は、可視化マップ６２と同形同サイズ同画素数となる。ここで当該誤判別領域３２内の画素に対応する可視化マップ６２内の画素は、第１分類確率が上述の第１の確率よりも低く、かつ、対比分類確率が上述の第２の確率よりも高い画素であることとなる。

【0079】

また上述のように複数の分類が対比分類として判別されるとする。この場合に、第１分類確率が第１の確率より低く、複数の対比分類について当該対比分類についての対比分類確率が当該対比分類に対応する所定の確率より高いターゲット画像２０内の領域の大きさの、ターゲット画像２０の全体の大きさに対する比率が特定されてもよい。例えば第１分類確率が第１の確率より低く第２分類の対比分類確率が第２の確率より高く第３分類の対比分類確率が第３の確率より高いターゲット画像２０内の領域の大きさの、ターゲット画像２０の全体の大きさに対する比率が特定されてもよい。ここで第３の確率は第１の確率や第２の確率と同じであってもよいし異なっていてもよい。

【0080】

また比率特定部９６が例えば、テンプレートマッチング等の画像処理技術を用いて、ターゲット画像２０内の各画素について、第１分類確率や対比分類確率を特定してもよい。そしてこのようにして特定される第１分類確率や対比分類確率に基づいて、第１分類確率が第１の確率より低く対比分類確率が第２の確率より高いターゲット画像２０内の領域の大きさの、ターゲット画像２０の全体の大きさに対する比率が特定されてもよい。

【0081】

誤判別可能性評価部９８は、本実施形態では例えば、比率特定部９６が特定する比率に基づいて、分類判別部９２による、ターゲット画像２０の分類である可能性が最も高い分類を第１分類とする判別結果が誤判別である可能性を示す値を決定する。例えば比率特定部９６が特定する比率が所定の閾値よりも大きい場合にターゲット画像２０の分類である可能性が最も高い分類を第１分類とする判別結果が誤判別である可能性を示す値として１が決定されてもよい。また例えば比率特定部９６が特定する比率が所定の閾値よりも小さい場合にターゲット画像２０の分類である可能性が最も高い分類を第１分類とする判別結果が誤判別である可能性を示す値として０が決定されてもよい。

【0082】

なお可視化マップ生成部９４は、例えば第１分類について生成される総合マップ８６に含まれるすべての画素について、画素値の正負を反転しても（−１を乗じても）よい。そして画素値の正負を反転させた総合マップ８６をＲｅＬＵ等の活性化関数に入力した際の出力を、０以上１以下となるよう正規化することで、第１分類に対応付けられる可視化マップ６２を生成してもよい。このようにすることで当該可視化マップ６２においては、正の勾配に対応付けられる画素については画素値が０となる。そのため当該可視化マップ６２においては、第１分類である確率を低めることに寄与する画素のみについて正の画素値が設定されることとなる。そしてこの場合に比率特定部９６が、第１分類確率が第１の確率より高く対比分類確率が第２の確率より高いターゲット画像２０内の領域の大きさの、ターゲット画像２０の全体の大きさに対する比率を特定してもよい。

【0083】

また図１２に示すように、比率特定部９６が、ターゲット画像２０内の着目領域１００を占める画像１０２内における、第１分類確率が第１の確率より低く対比分類確率が第２の確率より高い領域の大きさの、当該画像１０２の大きさに対する比率を特定してもよい。ここで着目領域１００は、ターゲット画像２０の中心を含む領域であってもよい。例えば着目領域１００が、ターゲット画像２０と中心が同じであり、ターゲット画像２０を囲む領域の大きさを所定倍に縮小した領域であってもよい。

【0084】

また比率特定部９６が、着目領域１００を占める画像１０２内における、第１分類確率が第１の確率より低く対比分類確率が第２の確率より高い領域の大きさの、当該画像１０２の大きさに対する比率を第１比率として特定してもよい。また比率特定部９６が、ターゲット画像２０内の着目領域１００以外の領域を占める画像１０４内における、第１分類確率が第１の確率より低く対比分類確率が第２の確率より高い領域の大きさの、当該画像１０４の大きさに対する比率を第２比率として特定してもよい。

【0085】

そして誤判別可能性評価部９８が、所定の重みに基づく第１比率と第２比率との重み付き平均値に基づいて、分類判別部９２による、ターゲット画像２０の分類である可能性が最も高い分類を第１分類とする判別結果が誤判別である可能性を示す値を決定してもよい。ここで第１比率に対する重みが第２比率に対する重みよりも大きくてもよい。こうすればターゲット画像２０の分類である可能性が最も高い分類を第１分類とする判別結果が誤判別である可能性の評価において第２比率よりも第１比率がより重視されることとなる。

【0086】

ここで例えば所定の重みに基づく第１比率と第２比率との重み付き平均値が所定の閾値より大きい場合に、ターゲット画像２０の分類である可能性が最も高い分類を第１分類とする判別結果が誤判別である可能性を示す値として１が決定されてもよい。また例えば所定の重みに基づく第１比率と第２比率との重み付き平均値が所定の閾値より小さい場合に、ターゲット画像２０の分類である可能性が最も高い分類を第１分類とする判別結果が誤判別である可能性を示す値として０が決定されてもよい。

【0087】

以下、本実施形態に係る画像分類判別装置１０において行われる処理の流れの一例を、図１３に例示するフロー図を参照しながら説明する。なお図１３に示す処理例においては、第２分類が対比分類であることとする。

【0088】

まず、ターゲット画像取得部９０が、ターゲット画像２０を取得する（Ｓ１０１）。

【0089】

そして分類判別部９２が、Ｓ１０１に示す処理で取得されたターゲット画像２０の分類である可能性が最も高い分類を第１分類として判別する（Ｓ１０２）。

【0090】

そして分類判別部９２が、Ｓ１０１に示す処理で取得されたターゲット画像２０の分類である可能性が２番目に高い分類を対比分類として判別する（Ｓ１０３）。

【0091】

そして可視化マップ生成部９４が、Ｓ１０２に示す処理で判別された第１分類に対応付けられる可視化マップ６２を生成する（Ｓ１０４）。

【0092】

そして可視化マップ生成部９４が、Ｓ１０３に示す処理で判別された対比分類に対応付けられる可視化マップ６２を生成する（Ｓ１０５）。

【0093】

そして比率特定部９６が、Ｓ１０４に示す処理で生成された可視化マップ６２に基づいて、第１拡大可視化画像を生成する（Ｓ１０６）。

【0094】

そして比率特定部９６が、Ｓ１０５に示す処理で生成された可視化マップ６２に基づいて、対比拡大可視化画像を生成する（Ｓ１０７）。

【0095】

そして比率特定部９６が、Ｓ１０６に示す処理で生成された第１拡大可視化画像に基づいて、第１分類評価画像２２を生成する（Ｓ１０８）。

【0096】

そして比率特定部９６が、Ｓ１０７に示す処理で生成された対比拡大可視化画像に基づいて、対比分類評価画像２６を生成する（Ｓ１０９）。

【0097】

そして比率特定部９６が、Ｓ１０８に示す処理で生成された第１分類評価画像２２と、Ｓ１０９に示す処理で生成された対比分類評価画像２６と、に基づいて、誤判別評価画像３０を生成する（Ｓ１１０）。

【0098】

そして比率特定部９６が、Ｓ１１０に示す処理で生成された誤判別評価画像３０内における誤判別領域３２の大きさの、誤判別評価画像３０の全体の大きさに対する比率を特定する（Ｓ１１１）。

【0099】

そして誤判別可能性評価部９８が、Ｓ１１１に示す処理で特定された比率に基づいて、Ｓ１０２に示す処理で判別された、ターゲット画像２０の分類である可能性が最も高い分類を第１分類とする判別結果が誤判別である可能性を示す値を決定する（Ｓ１１２）。そして本処理例に示す処理は終了される。

【0100】

なおＳ１０１〜Ｓ１１２に示す処理の実行順序は上述のものに限定されず、上述に示す順序とは異なる実行順序でこれらの処理が実行されてもよい。具体的には例えば、Ｓ１０２、Ｓ１０４、Ｓ１０６、及び、Ｓ１０８に示す処理が実行された後で、Ｓ１０３、Ｓ１０５、Ｓ１０７、及び、Ｓ１０９に示す処理が実行されてもよい。

【0101】

なお、本発明は上述の実施形態に限定されるものではない。

【0102】

また、本実施形態の適用範囲は、ターゲット画像２０に表れている樹木種別の分類を判別する場面に限定されない。例えば人工物、水域、草地、樹木、裸地などといった所与の複数の分類のうちから、ターゲット画像２０に表れている土地被覆の分類を判別する場面に本発明が適用されてもよい。

【0103】

また、上述の具体的な文字列や数値、並びに、図面中の具体的な文字列は例示であり、これらの文字列や数値には限定されない。

【符号の説明】

【0104】

１０ 画像分類判別装置、１２ プロセッサ、１４ 記憶部、１６ 表示部、１８ 操作部、２０ ターゲット画像、２２ 第１分類評価画像、２４ 第１領域、２６ 対比分類評価画像、２８ 対比領域、３０ 誤判別評価画像、３２ 誤判別領域、４０ ターゲット画像、４２ 第１分類評価画像、４４ 第１領域、４６ 対比分類評価画像、４８ 対比領域、５０ 誤判別評価画像、５２ 誤判別領域、６０ 画像分類判別モジュール、６２ 可視化マップ、６４ 可視化マップ生成モジュール、６６ 特徴抽出部、６８ 入力、７０ 特徴マップ、７２ 全結合層、７３ ソフトマックス層、７４ 出力、７６ ｏｎｅ−ｈｏｔベクトル、７８ 要素積、８０ 勾配マップ、８２ 代表値ベクトル、８４ 個別マップ、８６ 総合マップ、９０ ターゲット画像取得部、９２ 分類判別部、９４ 可視化マップ生成部、９６ 比率特定部、９８ 誤判別可能性評価部、１００ 着目領域、１０２ 画像、１０４ 画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】