特許 7139369 検出結果分析装置、検出結果分析方法及び検出結果分析プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-09

(45)【発行日】2022-09-20

(54)【発明の名称】検出結果分析装置、検出結果分析方法及び検出結果分析プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220912BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 8

(21)【出願番号】P 2020040424

(22)【出願日】2020-03-10

(65)【公開番号】P2021140705

(43)【公開日】2021-09-16

【審査請求日】2021-09-14

(73)【特許権者】

【識別番号】394013002

【氏名又は名称】三菱電機インフォメーションシステムズ株式会社

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110002491

【氏名又は名称】弁理士法人クロスボーダー特許事務所

(72)【発明者】

【氏名】伊佐野 勝人

(72)【発明者】

【氏名】相馬 仁志

(72)【発明者】

【氏名】山足 光義

(72)【発明者】

【氏名】中尾 尭理

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１９－１５３０９２（ＪＰ，Ａ）

【文献】特開２０１９－１２５２０４（ＪＰ，Ａ）

【文献】VGC16ネットワークの各レイヤの特徴を可視化する，初心者のためのAI人工知能テクノロジーブログ AI人工知能テクノロジー，2019年02月03日，<URL:https://newtechnologylifestyle.net/vgg16networkvisual/>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

画像データに含まれる対象物体を検出する物体検出モデルであって、ニューラルネットワークを用いて構成された物体検出モデルにおける複数の層それぞれを対象の層として、対象の層の出力結果から得られる前記画像データにおける画素毎の活性度を表すヒートマップと、前記対象物体が検出された検出領域とに基づき、前記ヒートマップが表す前記活性度の前記検出領域の内側と外側との比率から前記対象の層の評価値を計算する評価値計算部と、
前記評価値計算部によって計算された前記評価値に基づき、前記複数の層から少なくとも一部の層を選択する層選択部と
を備える検出結果分析装置。

【請求項2】

前記評価値計算部は、前記検出領域の外側における前記活性度の合計値に対する、前記検出領域の内側における前記活性度の合計値の割合から前記評価値を計算する
請求項１に記載の検出結果分析装置。

【請求項3】

前記評価値計算部は、前記活性度が活性閾値よりも高い場合には前記活性度を前記活性閾値に対応する変換活性度に変換し、前記活性度が活性閾値以下の場合には前記活性閾値より１つ下の活性閾値に対応する変換活性度に前記活性度を変換した上で、前記評価値を計算する
請求項２に記載の検出結果分析装置。

【請求項4】

前記層選択部は、前記評価値が評価閾値よりも高い層のうち、基準個の層を選択する
請求項１から３までのいずれか１項に記載の検出結果分析装置。

【請求項5】

前記検出結果分析装置は、さらに、
前記層選択部によって選択された層についての前記ヒートマップを合成して合成マップを生成する合成部
を備える請求項１から４までのいずれか１項に記載の検出結果分析装置。

【請求項6】

前記合成部は、前記画像データの各画素を対象の画素として、選択された前記一部の層それぞれについての前記ヒートマップが表す前記対象の画素の活性度のうち、最も高い活性度を、前記合成マップにおける前記対象の画素の活性度に設定することにより、前記合成マップを生成する
請求項５に記載の検出結果分析装置。

【請求項7】

評価値計算部が、画像データに含まれる対象物体を検出する物体検出モデルであって、ニューラルネットワークを用いて構成された物体検出モデルにおける複数の層それぞれを対象の層として、対象の層の出力結果から得られる前記画像データにおける画素毎の活性度を表すヒートマップと、前記対象物体が検出された検出領域とに基づき、前記ヒートマップが表す前記活性度の前記検出領域の内側と外側との比率から前記対象の層の評価値を計算し、
層選択部が、前記評価値に基づき、前記複数の層から少なくとも一部の層を選択する検出結果分析方法。

【請求項8】

画像データに含まれる対象物体を検出する物体検出モデルであって、ニューラルネットワークを用いて構成された物体検出モデルにおける複数の層それぞれを対象の層として、対象の層の出力結果から得られる前記画像データにおける画素毎の活性度を表すヒートマ
ップと、前記対象物体が検出された検出領域とに基づき、前記ヒートマップが表す前記活性度の前記検出領域の内側と外側との比率から前記対象の層の評価値を計算する評価値計算処理と、
前記評価値計算処理によって計算された前記評価値に基づき、前記複数の層から少なくとも一部の層を選択する層選択処理と
を行う検出結果分析装置としてコンピュータを機能させる検出結果分析プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ニューラルネットワークを用いて構成された物体検出モデルによる検出結果を分析する技術に関する。

【背景技術】

【0002】

画像データから対象物体を検出する物体検出モデルによる検出結果を分析して、物体検出モデルに不足している学習データを特定するといったことが行われている（特許文献１参照）。

【0003】

検出結果を分析する際、物体検出モデルによる判断根拠となった箇所を可視化することが行われる。判断根拠となった箇所を可視化する技術としては、ＧｒａｄＣＡＭ（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ）がある。

【0004】

物体検出モデルには、２ステージタイプのモデルと、１ステージタイプのモデルとがある。２ステージタイプのモデルは、対象物体であると思われる範囲を示すＲｏＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）を絞り込んだ上で、対象物体を特定するモデルである。１ステージタイプのモデルは、アンカーボックスと呼ばれる特定サイズの境界ボックスのセットを用いて物体及び物体の位置を特定するモデルである。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－１９２０８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

２ステージタイプのモデルについては、ＲｏＩを絞り込んだ後のプーリング層がＧｒａｄＣＡＭによる可視化に適していると言われている。これに対して、１ステージタイプのモデルについては、対象物体の種類と、検出された対象物体の大きさといった条件によってＧｒａｄＣＡＭによる可視化に適する層が異なる。
なお、２ステージタイプのモデルについても、ＲｏＩを絞り込んだ後のプーリング層がＧｒａｄＣＡＭによる可視化に最も適しているとは限らない。
本開示は、物体検出モデルによる判断根拠となった箇所を可視化するのに適した層を特定可能にすることを目的とする。

【課題を解決するための手段】

【0007】

本開示に係る検出結果分析装置は、
画像データに含まれる対象物体を検出する物体検出モデルであって、ニューラルネットワークを用いて構成された物体検出モデルにおける複数の層それぞれを対象の層として、対象の層の出力結果から得られる前記画像データにおける画素毎の活性度を表すヒートマップと、前記対象物体が検出された検出領域とから、前記対象の層の評価値を計算する評価値計算部と、
前記評価値計算部によって計算された前記評価値に基づき、前記複数の層から少なくとも一部の層を選択する層選択部と
を備える。

【0008】

前記評価値計算部は、前記ヒートマップが表す前記活性度の前記検出領域の内側と外側との比率から前記評価値を計算する。

【0009】

前記評価値計算部は、前記検出領域の外側における前記活性度の合計値に対する、前記検出領域の内側における前記活性度の合計値の割合から前記評価値を計算する。

【0010】

前記評価値計算部は、前記活性度が活性閾値よりも高い場合には前記活性度を前記活性閾値に対応する変換活性度に変換し、前記活性度が活性閾値以下の場合には前記活性閾値より１つ下の活性閾値に対応する変換活性度に前記活性度を変換した上で、前記評価値を計算する。

【0011】

前記層選択部は、前記評価値が評価閾値よりも高い層のうち、基準個の層を選択する。

【0012】

前記検出結果分析装置は、さらに、
前記層選択部によって選択された層についての前記ヒートマップを合成して合成マップを生成する合成部
を備える。

【0013】

前記合成部は、前記画像データの各画素を対象の画素として、選択された前記一部の層それぞれについての前記ヒートマップが表す前記対象の画素の活性度のうち、最も高い活性度を、前記合成マップにおける前記対象の画素の活性度に設定することにより、前記合成マップを生成する。

【0014】

本開示に係る検出結果分析方法は、
評価値計算部が、画像データに含まれる対象物体を検出する物体検出モデルであって、ニューラルネットワークを用いて構成された物体検出モデルにおける複数の層それぞれを対象の層として、対象の層の出力結果から得られる前記画像データにおける画素毎の活性度を表すヒートマップと、前記対象物体が検出された検出領域とから、前記対象の層の評価値を計算し、
層選択部が、前記評価値に基づき、前記複数の層から少なくとも一部の層を選択する。

【0015】

本開示に係る検出結果分析プログラムは、
画像データに含まれる対象物体を検出する物体検出モデルであって、ニューラルネットワークを用いて構成された物体検出モデルにおける複数の層それぞれを対象の層として、対象の層の出力結果から得られる前記画像データにおける画素毎の活性度を表すヒートマップと、前記対象物体が検出された検出領域とから、前記対象の層の評価値を計算する評価値計算処理と、
前記評価値計算処理によって計算された前記評価値に基づき、前記複数の層から少なくとも一部の層を選択する層選択処理と
を行う検出結果分析装置としてコンピュータを機能させる。

【発明の効果】

【0016】

本開示では、画像データにおける画素毎の活性度を表すヒートマップと、対象物体が検出された検出領域とから、層の評価値を計算し、評価値に基づき複数の層から少なくとも一部の層を選択する。これにより、可視化に適した層を特定可能である。

【図面の簡単な説明】

【0017】

【図1】実施の形態１に係る検出結果分析装置１０の構成図。

【図2】実施の形態１に係る検出結果分析装置１０の全体的な動作を示すフローチャート。

【図3】実施の形態１に係る評価値計算処理のフローチャート。

【図4】実施の形態１に係る評価値計算処理の説明図。

【図5】実施の形態１に係る層選択処理及び合成処理の説明図。

【図6】実施の形態１に係る合成処理の説明図。

【図7】実施の形態１に係る合成マップ３４に基づく分析の例の説明図。

【図8】基準個が２以上である方が望ましい場合についての説明図。

【図9】基準個が２以上である方が望ましい場合についての説明図。

【図10】変形例１に係る検出結果分析装置１０の構成図。

【図11】実施の形態２に係る評価値計算処理のフローチャート。

【図12】実施の形態２に係る２値化処理の説明図。

【図13】実施の形態２に係る２値化の効果の説明図。

【図14】変形例３に係る３値化処理の説明図。

【図15】変形例３に係るｎ値化処理の説明図。

【発明を実施するための形態】

【0018】

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る検出結果分析装置１０の構成を説明する。
検出結果分析装置１０は、物体検出モデルによる判断根拠となった箇所を可視化するのに適した層を特定するコンピュータである。
検出結果分析装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

【0019】

プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

【0020】

メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

【0021】

ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。

【0022】

通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。

【0023】

検出結果分析装置１０は、機能構成要素として、画像取得部２１と、評価値計算部２２と、層選択部２３と、合成部２４とを備える。検出結果分析装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、検出結果分析装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、検出結果分析装置１０の各機能構成要素の機能が実現される。

【0024】

図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。

【0025】

＊＊＊動作の説明＊＊＊
図２から図６を参照して、実施の形態１に係る検出結果分析装置１０の動作を説明する。
実施の形態１に係る検出結果分析装置１０の動作手順は、実施の形態１に係る検出結果分析方法に相当する。また、実施の形態１に係る検出結果分析装置１０の動作を実現するプログラムは、実施の形態１に係る検出結果分析プログラムに相当する。

【0026】

図２を参照して、実施の形態１に係る検出結果分析装置１０の全体的な動作を説明する。
物体検出モデルは、画像データに含まれる対象物体を検出するモデルである。物体検出モデルは、ニューラルネットワークを用いて構成されたモデルである。ニューラルネットワークを用いて構成されているため、物体検出モデルは、複数の層から構成される。

【0027】

（図２のステップＳ１１：画像取得処理）
画像取得部２１は、処理対象とする画像データ３１を取得する。
具体的には、画像取得部２１は、検出結果分析装置１０の利用者によってストレージ１３に設定された画像データ３１を読み込むことにより、画像データ３１を取得する。

【0028】

（図２のステップＳ１２：評価値計算処理）
評価値計算部２２は、物体検出モデルを構成する複数の層それぞれを対象の層として、対象の層の評価値を計算する。
この際、評価値計算部２２は、対象の層の出力結果から得られる画像データ３１における画素毎の活性度を表すヒートマップ３３と、ステップＳ１１で取得された画像データ３１から対象物体が検出された検出領域３２とから、評価値を計算する。

【0029】

図３を参照して、実施の形態１に係る評価値計算処理を説明する。
（図３のステップＳ２１：物体検出処理）
評価値計算部２２は、ステップＳ１１で取得された画像データ３１を入力として物体検出モデルにより、対象物体を検出する。ここでは、対象物体の種類は事前に指定されていてもよいし、利用者によって指定されてもよい。図４では、対象物体の種類として瓶が指定された場合を示している。

【0030】

（図３のステップＳ２２：検出領域特定処理）
評価値計算部２２は、ステップＳ２１で対象物体を検出することによって特定された、対象物体が検出された領域である検出領域３２を特定する。

【0031】

（図３のステップＳ２３：ヒートマップ生成処理）
評価値計算部２２は、物体検出モデルを構成する複数の層それぞれを対象の層として、ヒートマップ３３を生成する。
具体的には、評価値計算部２２は、ステップＳ２１で対象物体を検出する際において得られた対象の層の出力結果から、対象の層についてのヒートマップ３３を生成する。ヒートマップ３３は、ステップＳ１１で取得された画像データ３１における画素毎の活性度を表す。ここでは、ヒートマップ３３は、活性度が高い画素ほど大きい値を示すとする。

【0032】

物体検出モデルを構成する複数の層のうち対象の層となる層は、物体検出モデルを構成する層のうち、畳み込み層とプーリング層といったヒートマップ３３を生成可能な層だけである。ヒートマップ３３を生成可能な層とは、具体的には縦横それぞれ２画素以上の複数チャンネルをもつ勾配が計算可能な層を指す。
実施の形態１では、ヒートマップ３３を生成可能な全ての層それぞれが対象の層として設定されるものとする。しかし、ヒートマップ３３を生成可能な全ての層のうち一部の層だけが対象の層として設定されてもよい。例えば、ヒートマップ３３を生成可能な全ての層のうち、ある層以降の層のみが対象の層として設定されてもよい。

【0033】

なお、物体検出モデルを構成する複数の層のうち後に処理される層ほど、処理対象の画像データの画素数が少なくなる。しかし、評価値計算部２２は、対象の層の出力結果を拡張して、画像データ３１の画素毎の活性度を表すヒートマップ３３を生成する。
例えば、ある層では、画素数がステップＳ１１で取得された画像データ３１の１／４になっている場合がある。この場合には、１つの画素が、画像データ３１の４つの画素を表しているので、評価値計算部２２は、１つの画素が画像データ３１の４つの画素を表しているとしてヒートマップ３３を生成する。
また物体検出モデルによっては、複数の層のうち後に処理される層であっても、出力結果の画像データの画素数が増える場合もある。層により出力結果の画素数が変動する可能性があるが、いずれの場合も画像データ３１の画素数に合うように、出力結果の画素数を拡大または縮小すればよい。

【0034】

（図３のステップＳ２４：評価処理）
評価値計算部２２は、ヒートマップ３３が生成された複数の層それぞれを対象の層として、対象の層についてステップＳ２３で生成されたヒートマップ３３と、ステップＳ２２で特定された検出領域３２とから評価値を計算する。
具体的には、評価値計算部２２は、対象の層についてのヒートマップが表す活性度の検出領域３２の内側と外側との比率から評価値を計算する。実施の形態１では、評価値計算部２２は、検出領域３２の外側における活性度の合計値に対する、検出領域３２の内側における活性度の合計値の割合を評価値として計算する。
図４では、濃いハッチングが付された画素ほど活性度が高いとする。図４では、検出領域３２の内側に濃いハッチングが付された画素が多く存在しており、検出領域３２の外側には薄めのハッチングが付された画素が少し存在している。そのため、検出領域３２の外側における活性度の合計値よりも、検出領域３２の内側における活性度の合計値の方が大きな値になり、評価値は１以上の値になる。

【0035】

ここでは、検出領域３２の外側における活性度の合計値に対する、検出領域３２の内側における活性度の合計値の割合が評価値として計算された。これに限らず、例えば、画像データ３１全体の活性度の合計値に対する、検出領域３２の内側における活性度の合計値の割合が評価値として計算されてもよい。

【0036】

（図２のステップＳ１３：層選択処理）
層選択部２３は、ステップＳ１２で計算された評価値に基づき、物体検出モデルを構成する複数の層から少なくとも一部の層を選択する。
具体的には、層選択部２３は、評価値が評価閾値よりも高い層のうち、基準個の層を選択する。したがって、評価値が評価閾値よりも高い層が基準個以上存在する場合には、基準個の層が選択される。一方、評価値が評価閾値よりも高い層が基準個未満しか存在しない場合には、評価値が評価閾値よりも高い全ての層が選択される。
評価閾値は、対象物体の検出にどの程度貢献した層であれば分析対象とするか等に応じて、事前に設定される値である。基準個は、物体検出モデルを構成する層の数等に応じて、事前に設定される値である。

【0037】

図５では、層ｃｏｎｖ０から層ｃｏｎｖ１７＿１までの層のうち、評価閾値である１．０よりも高い評価値が得られた層は、層ｃｏｎｖ１１と層ｃｏｎｖ１３と層ｃｏｎｖ１４＿１と層ｃｏｎｖ１４＿２との４つである。なお、図５では、層ｃｏｎｖ１１の評価値はｉｎｆと示されている。ｉｎｆは、活性化された画素が全て検出領域３２の内部にあり、評価値が無限大であったことを示している。
図５では、基準個が５であることが想定されており、層ｃｏｎｖ１１と層ｃｏｎｖ１３と層ｃｏｎｖ１４＿１と層ｃｏｎｖ１４＿２との４つ全てが選択されている。

【0038】

（図２のステップＳ１４：合成処理）
合成部２４は、ステップＳ１３で選択された層についてのヒートマップ３３を合成して合成マップ３４を生成する
具体的には、合成部２４は、画像データ３１の各画素を対象の画素として、ステップＳ１３選択された複数の層それぞれについてのヒートマップが表す対象の画素の活性度のうち、最も高い活性度を、合成マップ３４における対象の画素の活性度に設定することにより、合成マップ３４を生成する。
例えば、図６に示すように、ある画素ｐ_ｉ，ｊについて、選択された層についてのヒートマップが表す活性度がそれぞれ１５、２３９、７６であったとする。この場合には、合成マップ３４における画素ｐ_ｉ，ｊについての活性度は、１５、２３９、７６のうち最も高い２３９になる。

【0039】

図５では、層ｃｏｎｖ１１と層ｃｏｎｖ１３と層ｃｏｎｖ１４＿１と層ｃｏｎｖ１４＿２との４つの層についてのヒートマップ３３が合成され、合成マップ３４が生成される。そのため、合成マップ３４の各画素が示す活性度は、層ｃｏｎｖ１１と層ｃｏｎｖ１３と層ｃｏｎｖ１４＿１と層ｃｏｎｖ１４＿２とのうちの最も高い活性度を示す。

【0040】

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る検出結果分析装置１０は、各層について、ヒートマップ３３と検出領域３２とから評価値を計算し、評価値に基づき層を選択する。これにより、可視化に適した層を特定可能である。

【0041】

ある層について、検出領域３２の内側における活性度の合計値が大きいということは、その層の結果が対象物体の検出に貢献した可能性が高いことを意味する。特に、ある層について、検出領域３２の外側における活性度の合計値に対する、検出領域３２の内側における活性度の合計値の割合が高いということは、その層の結果が対象物体の検出結果に強く反映されていることを意味する。なお、検出領域３２の外側における活性度の合計値に対する、検出領域３２の内側における活性度の合計値の割合は、実施の形態１で評価値として用いた指標である。
したがって、評価値が高い層を選択するということは、物体検出モデルによる判断根拠となった箇所を可視化するのに適した層を選択するということになる。

【0042】

実施の形態１に係る検出結果分析装置１０は、可視化するのに適した層を選択し、合成マップ３４を生成する。そのため、物体検出モデルによる判断根拠となった箇所を適切に表した合成マップ３４を生成することが可能である。その結果、物体検出モデルについて、適切な分析を行うことが可能である。

【0043】

図７を参照して、実施の形態１に係る合成マップ３４に基づく分析の例を説明する。
図７では、対象物体の種類は自転車である。図７では、自転車全体が検出領域３２として特定されず、自転車の前輪からチェーンホイール付近までが検出領域３２として特定されている。つまり、物体検出モデルにより適切に自転車が検出されているとは言えない状態である。
合成マップ３４では、ペダルと、クランクと、フレームの一部と、前輪の一部とが判断根拠となっている。そして、ハンドルと、サドルと、後輪とについては、判断根拠としてあまり利用されていないことが分かる。そこで、この結果から、例えば、判断根拠としてあまり利用されていないハンドルと、サドルと、後輪とについての学習データを物体検出モデルに与え、学習させることが考えられる。

【0044】

実施の形態１では、図２のステップＳ１３で評価値が評価閾値よりも高い層のうち、基準個の層が選択された。ここで、基準個は、１でも構わない。但し、基準個は、２以上である方が望ましいことがある。
基準個が１である場合には、合成部２４は、選択された層についてのヒートマップ３３をそのまま合成マップ３４として出力すればよい。

【0045】

基準個が２以上である方が望ましい場合について図８及び図９を参照して説明する。
図８では、対象物体の種類はバイクである。図８では、層ｃｏｎｖ７と層ｃｏｎｖ９と層ｃｏｎｖ１２と層ｃｏｎｖ１３と層ｃｏｎｖ１４＿１と層ｃｏｎｖ１４＿２と層ｃｏｎｖ１５＿１とが評価閾値である１．０よりも高い評価値が得られたとする。そして、図８では、基準個が５であることが想定されており、層ｃｏｎｖ９と、層ｃｏｎｖ１２と、層ｃｏｎｖ１４＿１と、層ｃｏｎｖ１４＿２と、層ｃｏｎｖ１５＿１とが選択され、合成マップ３４が生成されている。その結果、合成マップ３４から、バイクの前輪及び前輪の周辺とハンドルの一部とが判断根拠となった箇所であることが分かる。バイクの場合には、むき出しの車輪が判断根拠となることが多く、合成マップ３４から物体検出モデルによって適切に判定されていることが分かる。
ここで、最も評価値が高い層は、層ｃｏｎｖ９である。そのため、もし基準個が１である場合、つまり評価値が最も高い層だけを選択する場合には、層ｃｏｎｖ９だけが選択される。すると、合成マップ３４からは、ハンドルの一部が判断根拠となった箇所であるように見える。このように、狭い領域にだけ着目しているような層の評価値が最も高くなってしまい、判断根拠となった箇所を適切に表しているとは言えない層だけが選択されてしまう可能性がある。

【0046】

図９では、対象物体の種類は自転車である。図９の画像データ３１には、２台の自転車が含まれている。
図９で最も評価値が高い層は、層ｃｏｎｖ１５＿１である。そのため、もし基準個が１である場合、つまり評価値が最も高い層だけを選択する場合には、層ｃｏｎｖ１５＿１だけが選択される。しかし、層ｃｏｎｖ１５＿１では、手前にある自転車の付近のみが活性化しており、奥にある自転車の付近は活性化していない。そのため、このように、複数の対象物体がある場合に、一部の対象物体にだけ着目しているような層の評価値が最も高くなってしまい、判断根拠となった箇所を適切に表しているとは言えない層だけが選択されてしまう可能性がある。

【0047】

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例１として、各機能構成要素はハードウェアで実現されてもよい。この変形例１について、実施の形態１と異なる点を説明する。

【0048】

図１０を参照して、変形例１に係る検出結果分析装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、検出結果分析装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。

【0049】

電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。

【0050】

＜変形例２＞
変形例２として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。

【0051】

プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。

【0052】

実施の形態２．
実施の形態２は、ヒートマップ３３が表す各画素の活性度をｎ値化した上で、評価値を計算する点が実施の形態１と異なる。ここで、ｎは２以上の整数である。実施の形態２では、この異なる点を説明して、同一の点については説明を省略する。

【0053】

＊＊＊動作の説明＊＊＊
図１１及び図１２を参照して、実施の形態２に係る検出結果分析装置１０の動作を説明する。
実施の形態２に係る検出結果分析装置１０の動作手順は、実施の形態２に係る検出結果分析方法に相当する。また、実施の形態２に係る検出結果分析装置１０の動作を実現するプログラムは、実施の形態２に係る検出結果分析プログラムに相当する。

【0054】

図１１を参照して、実施の形態２に係る評価値計算処理を説明する。
ステップＳ３１からステップＳ３３の処理は、図３のステップＳ２１からステップＳ２３の処理と同じである。

【0055】

（図１１のステップＳ３４：ｎ値化処理）
評価値計算部２２は、ステップＳ３３で生成された各層のヒートマップ３３をｎ値化する。実施の形態２では、評価値計算部２２は、各層のヒートマップ３３を２値化する。
具体的には、評価値計算部２２は、ヒートマップ３３における各画素を対象の画素として、対象の画素の活性度が活性閾値より高い場合には、対象の画素の活性度を１に変換し、対象の画素の活性度が活性閾値以下の場合には、対象の画素の活性度を０に変換する。その結果、図１２に示すように、ヒートマップ３３において濃いハッチングが付された画素の活性度が１になり、その他の画素の活性度が０になる。図１２では、活性度が１の画素を白で表し、活性度が０の画素を黒で表している。

【0056】

（図１１のステップＳ３５：評価処理）
評価値計算部２２は、ステップＳ３４で変換された後の活性度を用いて、検出領域３２の外側における活性度の合計値に対する、検出領域３２の内側における活性度の合計値の割合を評価値として計算する。
図１２では、検出領域３２の外側における活性度が１の画素が８６４個であり、検出領域３２の内側における活性度が１の画素が２９４４個である。したがって、評価値は、２９４４／８６４≒３．４である。

【0057】

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る検出結果分析装置１０は、ヒートマップ３３における各画素の活性度を２値化した上で、評価値を計算する。活性度を２値化することにより、重要な層はより評価値が高くなり、重要でない層はより評価値が低くなる。これにより、より適切に可視化に適した層を特定可能である。
実施の形態２では、２値化の例示として、活性度が活性閾値より高い場合には、変換活性度を１とし、活性度が活性閾値以下の場合には、変換活性度を０とした。活性閾値毎の変換活性度は、任意の数に設定することができる。

【0058】

例えば、図１３に示すように、２値化していない場合には、多くの層の評価値が評価閾値である１．０を少し超えた状態であった。これに対して、２値化した場合には、一部の評価値が評価閾値を少しだけ超えていた層については評価値が低くなり、評価値が評価閾値である１．０未満になる。一方で、元々比較的評価値が高かった層は、より評価値が高くなる。その結果、評価値が評価閾値である１．０を超えた層の数が少なくなる。

【0059】

＊＊＊他の構成＊＊＊
＜変形例３＞
実施の形態２では、ヒートマップ３３が２値化された。しかし、２値化に限らず、ｎ値化されてもよい。
例えば３値化の場合、評価値計算部２２は、活性閾値として、閾値Ｘと閾値Ｙとの２つの閾値を用いる。この場合には、図１４に示すように、活性度が閾値Ｘ以下の画素については、変換活性度に０が設定される。活性度が閾値Ｘより高く、閾値Ｙ以下の画素については、変換活性度に０．５が設定される。活性度が閾値Ｙより高い画素については、変換活性度に１が設定される。
このようにｎ値化の場合、ｎ－１の活性閾値が設定され、活性閾値毎の変換活性度が設定される。ｎ値化処理については、活性度がｉ（０＜ｉ＜ｎ）からｉ－１で区切られる範囲毎に変換活性度が定まる。ｎ－１の活性閾値より活性度が高い場合は、ｎ－１の活性閾値に対応する変換活性度に変換され、活性度がｎ－１の活性閾値以下かつ、ｎ－２の活性閾値より高い場合はｎ－２の活性閾値に対応する変換活性度に変換される。
計算を簡単にするため、例えば、ｎ－１より高い活性閾値に対応する変換活性度を１とし、活性度がｎ－ｎ＋１（＝１）以下の活性閾値に対応する変換活性度を０に変換し、ｎ－２から２までについては、変換活性度を１から０の間の値に変換して、ｎ値化する。変換活性度の下限値を０に設定することにより、計算を簡単にすることができる。なお、変換活性度の上限値は１に限らず他の値にしてもよい。

【0060】

また、閾値をずらしたＲｅＬＵ関数を用いてｎ値化されてもよい。
具体的には、図１５に示すように、活性度が評価閾値Ｘ以下の画素については、活性度に０が設定される。活性度が評価閾値Ｘより高い画素については、活性度の値が維持される。

【0061】

＜変形例４＞
各実施の形態における検出結果分析装置１０は、無人搬送車（ＡＧＶ，Ａｕｔｏｍａｔｅｄ ｇｕｉｄｅｄ ｖｅｈｉｃｌｅ）に用いられる物体検出モデルに適用してもよい。誘導方式として画像認識方式を採用する無人搬送車においては、床や天井に描かれた記号を読み取り、それによって自車の位置を把握するようにしている。各実施の形態に係る検出結果分析装置１０を無人搬送車に用いられる物体検出モデルに適用することにより、無人搬送車に用いられる物体検出モデルの精度を高くすることが可能になる。その結果、より高精度な移動が可能な無人搬送車を提供することが可能になる。

【0062】

以上、この発明の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、この発明は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。

【符号の説明】

【0063】

１０ 検出結果分析装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 画像取得部、２２ 評価値計算部、２３ 層選択部、２４ 合成部、３１ 画像データ、３２ 検出領域、３３ ヒートマップ、３４ 合成マップ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】