特許 7607610 対象物検知装置、対象物検知方法及び対象物検知プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-19

(45)【発行日】2024-12-27

(54)【発明の名称】対象物検知装置、対象物検知方法及び対象物検知プログラム

(51)【国際特許分類】

   G06V 10/82 20220101AFI20241220BHJP

   G06T 7/00 20170101ALI20241220BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

【請求項の数】 8

(21)【出願番号】P 2022058515

(22)【出願日】2022-03-31

(65)【公開番号】P2023149762

(43)【公開日】2023-10-13

【審査請求日】2023-03-29

(73)【特許権者】

【識別番号】000006208

【氏名又は名称】三菱重工業株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】亀尾 成寿

(72)【発明者】

【氏名】杉本 喜一

(72)【発明者】

【氏名】中尾 健太

(72)【発明者】

【氏名】松本 知浩

(72)【発明者】

【氏名】飯尾 聡

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０１８－０６７１４９（ＪＰ，Ａ）

【文献】特開２０２１－１６３１２６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ １０／８２

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

画像に対象物が表示される領域に関する情報と当該画像とを用いた複数の学習済みプログラムを記憶する記憶部と、
画像を取得するカメラ部と、
取得した画像の領域に応じた前記複数の学習済みプログラムそれぞれを並列処理し、それぞれの検出結果から対象物を検知する対象物検知処理部と、を含み、
前記学習済みプログラムは、他の学習済みプログラムと抽出する対象物の大きさが異なる対象物検知装置。

【請求項2】

画像から対象物を検知する、深層学習ネットワークモデルを用いた複数の学習済みプログラムを記憶する記憶部と、
画像を取得するカメラ部と、
取得した画像を複数の学習済みプログラムで並列処理を実行し、それぞれの検出結果から対象物を検知する対象物検知処理部と、を含み、
前記学習済みプログラムは、他の学習済みプログラムと抽出する対象物の大きさが異なり、
前記学習済みプログラムは、影響度が小さい選択肢を削除され、他の学習済みプログラムと深層学習ネットワークモデルが異なる対象物検知装置。

【請求項3】

前記学習済みプログラムは、ビット幅が８ビット以下の深層学習ネットワークモデルを用いる請求項１または請求項２に記載の対象物検知装置。

【請求項4】

前記複数の学習済みプログラムのうち１つは、画像の分割線よりも上側に対象物が含まれる場合に対象物を検出し、
前記複数の学習済みプログラムのうち１つは、画像の前記分割線よりも下側に対象物が含まれる場合に対象物を検出する請求項１から請求項３のいずれか一項に記載の対象物検知装置。

【請求項5】

前記対象物検知処理部は、前記複数の学習済みプログラムのうち１つを用いた処理の前に、所定の領域をマスクする加工を行い、所定の領域をマスクした画像を当該学習済みプログラムで処理して、対象物の検知を行う請求項１から請求項４のいずれか一項に記載の対象物検知装置。

【請求項6】

前記対象物検知処理部は、前記複数の学習済みプログラムのうち１つを用いた処理が、前記画像に対して前記画像の撮影時にセンサで検出した位置情報が対応付けたデータの処理である請求項１から請求項５いずれか一項に記載の対象物検知装置。

【請求項7】

画像に対象物が表示される領域に関する情報と当該画像とを用いた複数の学習済みプログラムを記憶するステップと、
画像を取得するステップと、
取得した画像の領域に応じた前記複数の学習済みプログラムそれぞれを並列処理し、それぞれの検出結果から対象物を検知する対象物検知ステップと、を含み、
前記学習済みプログラムは、他の学習済みプログラムと抽出する対象物の大きさが異なる対象物検知方法。

【請求項8】

画像に対象物が表示される領域に関する情報と当該画像とを用いた複数の学習済みプログラムを記憶するステップと、
画像を取得するステップと、
取得した画像の領域に応じた前記複数の学習済みプログラムそれぞれを並列処理し、それぞれの検出結果から対象物を検知する対象物検知ステップと、を含み、含む処理を実行させ、
前記学習済みプログラムは、他の学習済みプログラムと抽出する対象物の大きさが異なる
対象物検知プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、対象物検知装置、対象物検知方法及び対象物検知プログラムに関する。

【背景技術】

【0002】

取得した画像から物体を検出するシステムとして、多数の画像で深層学習させた学習済みプログラムを用いて物体を検出するシステムがある。特許文献１には、メモリから撮像対象物及び撮像対象物の周辺環境を含む第１の計算撮像画像を取得し、第１の計算撮像画像は複数の第１の画素を有し、メモリから撮像対象物及び撮像対象物の周辺環境を含む撮像画像を取得し、撮像画像は複数の第２の画素を有し、撮像画像に含まれる撮像対象物及び撮像対象物の周辺環境の識別結果を取得し、複数の第１の画素及び複数の第２の画素の対応関係を参照して、撮像画像の識別結果に基づいて、第１の計算撮像画像を識別するための識別モデルを生成し、第２の計算撮像画像を識別する画像識別装置に、識別モデルを出力する学習装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－２００７６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

深層学習に用いるモデルは、解析モデルの層数や演算のビット数が大きくなると演算量が増加する。しかしながら、実際に使用する装置は、装置の制約等で、使用可能な演算量が限られる場合、モデルが適用できない。また、単純に解析モデルの層数や演算のビット数を小さくすると、対象物の検知が適切に行えない場合がある。以上より、処理量を抑えつつ、対象物の検知の精度を高めることが求められている。

【0005】

本開示の少なくとも一実施形態は、上記課題を解決するために、処理量を抑えつつ、高い精度で対象物を検知できる対象物検知装置、対象物検知方法及び対象物検知プログラムを提供することを課題とする。

【課題を解決するための手段】

【0006】

また、本開示は、画像から対象物を検知する、深層学習ネットワークモデルを用いた複数の学習済みプログラムを記憶する記憶部と、画像を取得するカメラ部と、取得した画像を複数の学習済みプログラムで並列処理を実行し、それぞれの検出結果から対象物を検知する対象物検知処理部と、を含み、前記学習済みプログラムは、他の学習済みプログラムと抽出する対象物の大きさが異なる対象物検知装置を提供する。

【0007】

また、本開示は、画像から対象物を検知する、深層学習ネットワークモデルを用いた複数の学習済みプログラムを記憶するステップと、画像を取得するステップと、取得した画像を複数の学習済みプログラムで並列処理を実行し、それぞれの検出結果から対象物を検知する対象物検知ステップと、を含み、前記学習済みプログラムは、他の学習済みプログラムと抽出する対象物の大きさが異なる対象物検知方法を提供する。

【0008】

また、本開示は、画像から対象物を検知する、深層学習ネットワークモデルを用いた複数の学習済みプログラムを記憶するステップと、画像を取得するステップと、取得した画像を複数の学習済みプログラムで並列処理を実行し、それぞれの検出結果から対象物を検知する対象物検知ステップと、を含む処理を実行させ、前記学習済みプログラムは、他の学習済みプログラムと抽出する対象物の大きさが異なる対象物検知プログラムを提供する。

【発明の効果】

【0009】

上記構成とすることで、処理量を抑えつつ、高い精度で対象物を検知できるという効果を奏する。

【図面の簡単な説明】

【0010】

【図1】図１は、対象物検知装置の一例を示すブロック図である。

【図2】図２は、対象物の処理の一例を示すフローチャートである。

【図3】図３は、画像の一例を説明する説明図である。

【図4】図４は、検知処理の一例を説明する説明図である。

【図5】図５は、検知処理の一例を説明する説明図である。

【図6】図６は、検知処理の画像の一例を説明する説明図である。

【図7】図７は、学習済みプログラムの一例を示す説明図である。

【図8】図８は、学習済みプログラムの一例を示す説明図である。

【図9】図９は、対象物検知装置の一例を示すブロック図である。

【図10】図１０は、学習済みプログラムの作成方法の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下に、本開示に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能であり、また、実施形態が複数ある場合には、各実施形態を組み合わせることも可能である。

【0012】

＜対象物検知装置＞
図１は、対象物検知装置の一例を示すブロック図である。対象物検知装置１０２は、深層学習を用いて画像から対象物の検知を行う対象物検知処理を実行できる学習済みプログラムを用いて、対象物の検知を行う。対象物検知装置１０２は、例えば、車両や飛行体等の移動体や、建造物に設置される。また、対象物は、特に限定されず、人間、機械、犬、猫、車両、植物等、種々の分類の物体を対象とすることができる。対象物検知装置１０２は、検出した結果を設置されている機構を制御する制御装置に出力してもよい。これにより、例えば移動体の場合、対象物を検知した場合、停止する処理や、対象物を回避する処理等を実行することができる。

【0013】

対象物検知装置１０２は、カメラ部１１２と、センサ１１３と、報知部１１５と、演算部１１６と、記憶部１１８と、を含む。カメラ部１１２は、対象視野の画像を取得する。カメラ部１１２は、所定のフレームレートで連続して画像を取得しても、所定の操作をトリガーとして画像を取得してもよい。センサ１１３は、カメラ部１１２で撮影した領域を含む、周囲の情報を取得する。センサ１１３は、赤外線センサや、ＬＩＤＡＲを用いることができる。

【0014】

報知部１１４は、オペレータに報知する。報知部１１４は、スピーカ、発光装置、ディスプレイ等である。報知部１１４は、演算部１１６で処理を実行し、画像に含まれる対象物を検出した場合、対象物があることをオペレータに通知する。対象物が人である場合、検知の対象である人に通知してもよい。

【0015】

演算部１１６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の集積回路（プロセッサ）と、作業領域となるメモリとを含み、これらのハードウェア資源を用いて各種プログラムを実行することによって各種処理を実行する。具体的に、演算部１１６は、記憶部１１８に記憶されているプログラムを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をプロセッサに実行させることで、各種処理を実行する。演算部１１６は、記憶部１１８に記憶されているプログラムを実行することで、画像から対象物を検出する処理を実行する。演算部１１６は、対象物検知処理部１３０と、報知処理部１３２と、を備える。各部は、記憶部１１８の説明の後に説明する。

【0016】

記憶部１１８は、磁気記憶装置や半導体記憶装置等の不揮発性を有する記憶装置からなり、各種のプログラムおよびデータを記憶する。記憶部１１８は、設定データ１３４と、対象物検知プログラム１３６と、学習済みプログラム１３８、１４０とを記憶する。なお、図１では、学習済みプログラムを２つ示したが、学習済みプログラムは、対象物検知プログラム１３６で並列に実行される処理と同じ数備えている。

【0017】

また、記憶部１８に記憶されるデータとしては、設定データ４２が含まれる。設定データ４２は、対象物検知プログラムを実行するための各種条件、学習済みプログラムを実行するための条件の情報等を含む。

【0018】

記憶部１８に記憶されるプログラムとしては、対象物検知プログラム１３６と、学習済みプログラム１３８、１４０と、がある。対象物検知プログラム１３６は、複数の学習済みプログラム１３８、１４０を用いて、対象物の検出処理を実行するプログラムである。対象物検知プログラム１３６は、画像の取得処理と、対象物の有無の判定を行う処理、判定結果の出力処理も設定されている。対象物検知プログラム１３６は、画像データを加工する処理を設定してもよい。対象物検知プログラム１３６は、学習済みプログラム１３８、１４０を、画像処理を行う演算部で実行することで、学習した判断基準となる特徴量（スコア）を算出でき、特徴量に基づいて対象物を検出する処理を実行する。

【0019】

学習済みプログラム１３８、１４０は、画像データを入力して、対象物の有無と位置を出力した深層学習モデルを学習して作成したプログラムである。深層学習モデルとしては、Ｒ－ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）やＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）等、いわゆるアンカーと言われるバウンディングボックスを画像に対して設定し、設定に基づいたアンカー内の特徴量を処理することで、画像に対象物が含まれているかを検出する深層学習モデルを用いることができる。

【0020】

記憶部１８は、記録媒体に記録された対象物検知プログラム１３６と、学習済みプログラム１３８、１４０と、を読み込むことで、対象物検知プログラム１３６と、学習済みプログラム１３８、１４０と、がインストールされてもよいし、ネットワーク上で提供される対象物検知プログラム１３６と、学習済みプログラム１３８、１４０と、を読み込むことで、対象物検知プログラム１３６と、学習済みプログラム１３８、１４０と、がインストールされてもよい。

【0021】

演算部１１６の各部の機能について説明する。演算部１１６の各部は、記憶部１１８に記憶されるプログラムを実行することで、実行することができる。対象物検知処理部１３０は、対象物検知プログラム１３６を用いて、学習済みプログラム１３８、１４０を処理し、取得した画像に対象物が含まれているかを判定する処理、つまり対象物検知処理を実行する。報知処理部１３２は、対象物検知処理部１３０の処理結果を、報知部１１４を用いて、報知する。

【0022】

＜対象物検知方法＞
次に、図２を用いて、対象物検知方法について説明する。図２は、対象物検知装置の動作の一例を示すフローチャートである。対象物検知装置１０２は、演算部１１６で、対象物検知プログラム１３６を処理することで、図２の処理を実行する。演算部１１６は、対象物検知プログラム１３６での処理時に学習済みプログラム１３８、１４０を用いた演算を行う。図５の処理は、対象物検知装置１０２で実行する処理として説明するが、プログラム作成装置１０に画像データを供給し、対象物検知処理部３６で同様の処理を実行してもよい。

【0023】

対象物検知装置１０２は、学習済みプログラムを読み込む（ステップＳ３０）。対象物検知装置１０２は、プログラム作成装置１０で作成した学習済みプログラムを取得する。対象物検知装置１０２は、画像データを取得する（ステップＳ３２）。具体的には、対象物検知装置１０２は、カメラ部１１２で画像を取得する。

【0024】

対象物検知装置１０２は、それぞれの学習済プログラムに基づいてそれぞれの対象物を抽出する（ステップＳ３４）。対象物検知装置１０２は、取得した画像を複数の学習済みプログラムで並列に処理し、それぞれの学習済みプログラムで対象物の抽出処理を実行する。

【0025】

対象物検知装置１０２は、それぞれの学習済みプログラムの抽出結果から対象物を特定する（ステップＳ３６）。対象物検知装置１０２は、いずれかの学習済みプログラムで対象物を抽出した結果が検出された場合、検出した位置に対象物があると特定する。具体的には、対象物検知装置１０２は、複数の学習済みプログラムでそれぞれ設定された領域での対象物の検出を行う。複数の学習済みプログラムでそれぞれ設定された領域の対象物を検出することで、画面の全域に対する対象物の検出を行う。学習済みプログラムが、対象物で検出する領域は、他の学習済みプログラムで対象物を検出する領域と一部が重なっていてもよい。対象物検知装置１０２は、いずれのプログラムでも対象物が検出されていない場合、対象物がないと判定する。対象物検知装置１０２は、特定した結果を報知部１１４から報知する（ステップＳ３８）。

【0026】

図３は、画像の一例を説明する説明図である。図３に示す画像１５０は、２つの対象物１５２、１５４が含まれる。対象物１５２、１５４は、同じ平面の異なる位置に配置される。対象物１５２は、対象物１５４よりも下側に表示される。画像１５０は、画像の上側に遠くの対象物が映り、画像の下側に近傍の対象物が表示される。そのため、対象物１５２は、対象物１５４よりも大きく表示される。

【0027】

本実施形態の対象物検知装置１０２は、画像１５０を上側領域１６０と、下側領域１６２とに上下で半分割し、学習済みプログラム１３８、１４０を、それぞれの領域での対象物の検知に特化させる。つまり、学習済みプログラム１３８、１４０は、検出する対象物の大きさまたは位置の少なくとも一方が異なる。例えば、学習済みプログラム１３８は、対象物１５４が含まれる上側領域１６０の検知に特化している。学習済みプログラム１４０は、対象物１５２が含まれる下側領域１６２の検知に特化している。なお、画像の分割方法はこれに限定されず、３分割しても、左右で分割しても、分割位置を異なる位置としてもよい。対象物検知装置１０２は、対象物のある位置毎に分類して、領域ごとに特化した学習済みプログラムを備え、画像を複数の学習済みプログラムで処理する。ここで、複数の学習済みプログラムは、種々の深層学習モデルを用いることができる。例えば、領域ごとに、別々の深層学習モデルを学習した学習済みプログラムを作成し、それぞれの領域での対象物の検出を行う。また、１つの学習済みプログラムを作成し、その学習済みプログラムのモデルを、検出する特性に基づいて、処理量を低減する変更を行うことで、異なるモデルの学習済みプログラムとしてもよい。

【0028】

図３では、対象物がある位置に応じて別々の学習済みプログラムを備えたが、これに限定されない。対象物検知装置１０２は、複数の学習済みプログラムの１つとして、学習済みプログラムに入力する前に画像処理を行い、決定した同じ領域をマスク処理するようにしてもよい。マスク処理としては、画像の一部を処理対象外とする処理、マスクする領域以外を切り出す抽出処理がある。

【0029】

図４は、画像の一例を説明する説明図である。図４に示す画像２００は、対象物２０２が含まれる。画像２００は、画像の大部分が壁となり、対象物２０２が、通路２０６に置かれている。この場合、対象物検知装置１０２は、対応する学習済みプログラムの処理を行う際に、領域２１０を切り出し、領域２１０以外をマスク処理した画像データを作成し、その画像を該当する学習済みプログラムで処理して、対象物を抽出する。この学習済みプログラムは、画像２００をそのまま処理するよりも処理量を低減することができる。このように、画像の多くの領域が壁２０４等で対象物２０２がない領域となり、領域２１０に対象物２０２がある画像での対象物の抽出に特化した学習済みプログラムを含めることもできる。対象物検知装置１０２は、この学習済みブログラムでの解析を、領域２１０のみを抽出した画像で実行することで、高い精度で、領域２１０内の対象物を抽出することができる。

【0030】

対象物検知装置１０２は、複数の学習済みプログラムの１つとして、対象物検知装置１０２に搭載されたセンサの結果を用いて画像領域を設定する処理を含めたプログラムを用いてもよい。

【0031】

図５は、検知処理の一例を説明する説明図である。図６は、検知処理の画像の一例を説明する説明図である。図５は、画像の一例を説明する説明図である。図６は、センサの検出結果の一例を説明する説明図である。図５に示すように、対象物検知装置１０２は、センサ１１３で起点３００から対象物の検出を行う。対象物検知装置１０２は、センサ１１３で起点３００から検波３０２を出力し、対象物３０４がある方向と距離を検出する。この場合、図６に示すように、対象物検知装置１０２は、カメラで取得した画像３２０となる。画像３２０には、対象物３２８が含まれる。対象物３２８は、検波３２２が照射された領域に配置される。対象物検知装置１０２は、学習済みプログラムの１つとして、センサ１１３の検出結果と画像を入力として、対象物の検出を行うプログラムを含む。対象物検知装置１０２は、センサ１１３で検出した情報に基づいて、領域３２６に対象物３２８の画像が表示されることを検出することができる。

【0032】

対象物検知装置１０２は、センサ１１３の情報で領域３２６を特定し、領域３２６のみの画像を抽出して、領域３２６のみに画像処理を行い、対象物を検出することができる。この場合、対象物検知装置１０２は、複数の学習済みモデルのうち、領域３２６に対応するモデルのみで処理を行うようにしても、領域３２６以外をマスクした画像を複数の学習済みモデルに入力して解析を行ってもよい。

【0033】

対象物検知装置１０２は、以上のように、画像の対象物のそれぞれの特性に合わせた学習済みプログラム１３８、１４０を複数設け、画像を入力として、並行して学習済みプログラム１３８、１４０で処理することで、処理量を低減しつつ、対象物の検出精度を高くすることができる。具体的には、複数の学習済みプログラムが、別々の特性の検出に特化することで、少ない処理量で対象の特性の対象物を検出することができる。また上述したように、一部マスク処理をした画像を用いた学習済みプログラムや、センサの結果を用いる学習済みプログラムも同様に１つ１つの学習済みプログラムの負荷を低減することができる。

【0034】

このように、それぞれの特性に特化した学習済みプログラムは、全体の画像を解析する学習済みプログラムよりも少ない処理量で、高い精度の結果を出力することができる。これにより、画像の領域によって複数のモデル（演算量が少ない圧縮モデル）を使い分けることによって、未圧縮モデルと比べて、全体の処理負荷を低減しつつ、未圧縮モデルと同等の結果が得られる。これにより、対象物検知装置１０２は、複数の学習済みプログラムで並行した処理を行っても、全体の処理量を低減しつつ、検出精度を維持することができる。

【0035】

図７は、学習済みプログラムの処理の一例を示す説明図である。具体的には、対象物検知装置１０２は、深層学習ネットワークモデルを枝刈りしたモデル、つまり選択肢の一部を削除したモデルとすることができる。学習モデル１７０は、多層のノード１７２と、ノード１７２とノード１７２とをつなげる重み１７４とで構成される。学習部３４は、学習モデル１７０を用いて学習処理を実行することで、各層のノード１７２を移動するそれぞれの重み１７４の係数を算出する。学習部３４は、算出した値に基づいて、解析に影響が少ない（影響度が小さい）と判断できる基準を満たす、ノード１７２、重み１７４を削除する。これにより、学習モデル１７０よりもノード１７２、重み１７４を減少させたモデル１８０を作成する。モデル１８０は、ノード１８６、重み１８８を削除したモデルとなる。対象物検知装置１０２は、１の学習済みプログラムが検出する対象物を、選択した特性に特化させることで、枝刈り処理を行ったモデル１８０、つまり影響度が小さい選択肢を削除したモデルで、高い精度の検出を行うことができる。

【0036】

また、プログラム作成装置１０は、深層学習ネット―ワークモデルの重みのビット数を８ビット以下としてもよい。図８は、学習済みプログラムの処理の一例を示す説明図である。例えば、図８に示すメモリデータ１９０は、重みを３２ビットの場合である。これに対してメモリデータ１９２は、重みを８ビットの場合である。メモリデータ１９２は、メモリデータ１９０に対してデータ量が約１／４となる。対象物検知装置１０２は、画像の領域ごとで対象物の検出精度が高いモデルを設けることで、処理するデータの分解能を低減した場合も、高い精度で対象物を検知することができる。

【0037】

次に、対象物検知装置１０２で用いる学習済みプログラムの作成について説明する。図９は、プログラム作成装置の一例を示すブロック図である。プログラム作成装置１０は、入力部１２と、出力部１４と、演算部１６と、記憶部１８と、を含む。入力部１２は、キーボード及びマウス、タッチパネル、またはオペレータからの発話を集音するマイク等の入力装置を含み、オペレータが入力装置に対して行う操作に対応する信号を演算部１６へ出力する。出力部１４は、ディスプレイ等の表示装置を含み、演算部１６から出力される表示信号に基づいて、処理結果や処理対象の画像等、各種情報を含む画面を表示する。また、出力部１４は、データを記録媒体で出力する記録装置を含んでもよい。また、プログラム作成装置１０は、入力部１２及び出力部１４として、通信インターフェースを用いて、データの送信を行う通信部を含んでいてもよい。通信部は、外部機器と通信を行い取得した各種データ、プログラムを記憶部１８に送り、保存する。通信部は、有線の通信回線で外部機器と接続しても、無線の通信回線で外部機器と接続してもよい。

【0038】

演算部１６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の集積回路（プロセッサ）と、作業領域となるメモリとを含み、これらのハードウェア資源を用いて各種プログラムを実行することによって各種処理を実行する。具体的に、演算部１６は、記憶部１８に記憶されているプログラムを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をプロセッサに実行させることで、各種処理を実行する。演算部１６は、教師データ作成部３０と、設定処理部３２と、学習部３４と、対象物検知処理部３６と、を含む。演算部１６の各部の説明の前に記憶部１８について説明する。

【0039】

記憶部１８は、磁気記憶装置や半導体記憶装置等の不揮発性を有する記憶装置からなり、各種のプログラムおよびデータを記憶する。記憶部１８は、画像データ４０と、設定データ４２と、学習実行プログラム４４と、学習条件設定プログラム４６と、対象物検知プログラム４８と、学習済みプログラム５０と、を含む。

【0040】

また、記憶部１８に記憶されるデータとしては、画像データ４０と、設定データ４２と、が含まれる。画像データ４０は、学習に使用する教師データを含む。教師データは、画像のデータと、画像に対象物が含まれる場合、対象物が表示される領域（バウンディングボックス）とが対応付けられたデータである。教師データの画像は、学習に用いるデータと、学習後のプログラムの精度の評価するデータとに分かれていてもよい。また、画像データは、対象物を検出する必要がある画像データを含んでいてもよい。設定データ４２は、教師データを分類する条件、教師データを加工する条件や、学習済みプログラムを実行するための条件の情報等を含む。

【0041】

図３は、教師データの画像の一例を説明する説明図である。図３に示す画像１５０は、２つの対象物１５２、１５４が含まれる。対象物１５２、１５４は、同じ平面の異なる位置に配置される。対象物１５２は、対象物１５４よりも撮影位置に近い位置に配置される。そのため、対象物１５２は、対象物１５４よりも大きく表示される。また、画像１５０は、同じ平面上で、撮影位置からの距離が異なる位置に配置されている場合、画像の上側に遠くの対象物が映り、画像の下側に近傍の対象物が表示される。そのため、対象物１５２は、対象物１５４よりも下側に表示される。

【0042】

本実施形態の教師データは、対象物がある領域を画像に対応付けた画像データである。また、記憶部１８は、対象物の特性ごとに分類した情報を画像データに付加してもよい。画像データは、対象物のある位置毎に分類することができる。本実施形態のプログラム作成装置１０は、上側領域１６０に対象物がある画像のグループに対して対象物の検出に特化した学習済みプログラムと、下側領域１６２に対象物がある画像のグループに対して対象物の検出に特化した学習済みプログラムと、を作成する。本実施形態では、画像１５０を上側領域１６０と、下側領域１６２とに上下で半分割する。なお、画像の分割方法はこれに限定されず、３分割しても、左右で分割しても、分割位置を異なる位置としてもよい。

【0043】

記憶部１８に記憶されるプログラムとしては、学習実行プログラム４４と、学習条件設定プログラム４６と、対象物検知プログラム４８と、学習済みプログラム５０と、がある。学習実行プログラム４４は、画像データ４０に含まれる教師データを、設定データ４２の設定に基づいて深層学習処理を行い、学習済みプログラム５０を作成する。

【0044】

学習条件設定プログラム４６は、学習実行プログラム４４で深層学習モデルを用いて画像処理を実行する際の各種条件を設定する。具体的には、検知処理時の画像の加工条件、深層学習モデルの変更条件を設定する処理を実行する。学習条件設定プログラム４６は、教師モデルの分類条件を設定する。学習条件設定プログラム４６は、対象物の検出特性の設定の条件、深層学習モデルの枝刈りの条件を設定する。学習条件設定プログラム４６で設定した情報は、設定データ４２に記憶される。

【0045】

対象物検知プログラム４８は、複数の学習済みプログラム５０を用いて、対象物の検出処理を実行するプログラムである。学習済みプログラム５０は、学習実行プログラム４４を実行して作成されたプログラムである。図９では１つのみを示しているがモデルが異なる複数の学習済みプログラムが記憶される。対象物検知プログラム４８は、学習済みプログラム５０を、画像処理を行う演算部で実行することで、学習した判断基準となる特徴量（スコア）を算出でき、特徴量に基づいて対象物を検出する処理を実行する。

【0046】

記憶部１８は、記録媒体に記録された学習実行プログラム４４と、学習条件設定プログラム４６と、対象物検知プログラム４８と、を読み込むことで、学習実行プログラム４４と、学習条件設定プログラム４６と、対象物検知プログラム４８と、がインストールされてもよいし、ネットワーク上で提供される学習実行プログラム４４と、学習条件設定プログラム４６と、対象物検知プログラム４８と、を読み込むことで、学習実行プログラム４４と、学習条件設定プログラム４６と、対象物検知プログラム４８と、がインストールされてもよい。

【0047】

演算部１６の各部の機能について説明する。演算部１６の各部は、記憶部１８に記憶されるプログラムを実行することで、実行することができる。教師データ作成部３０は、画像データに対象物がある場合、対象物の領域を示す枠情報（バウンディングボックス）を対応付ける。設定される枠は、矩形である。教師データ作成部３０は、例えば画像を出力部１４に表示させた状態で、入力部１２に入力される操作から枠情報を設定する。入力部１２に入力される操作は、オペレータが画像を見ながら枠の位置（対象物）を囲う位置の情報を入力する操作である。また、教師データ作成部３０は、対象物検知処理部３６で実行した画像の抽出処理の結果を取得してもよい。この場合、抽出した枠の位置が、教師データの正解のデータできるか判定するオペレータの操作を検出し、オペレータにより枠の位置が正しいと判定されたデータを教師データとして取得するようにしてもよい。

【0048】

設定処理部３２は、学習条件設定プログラム４６の処理を実行し、学習部３４で実行する深層学習モデルの処理条件を設定する。設定処理部３２は、処理する教師データを設定する。設定処理部３２は、教師データの画像データを加工する条件を設定する。

【0049】

学習部３４は、設定処理部３２で設定した条件を用いて、学習実行プログラム４４の処理を実行して、画像データ４０の教師データとして深層学習を行い、学習済みプログラムを作成する。学習部３４の処理は後述する。

【0050】

対象物検知処理部３６は、対象物検知プログラム４８を用いて、学習済みプログラム５０を処理し、取得した画像に対象物が含まれているかを判定する処理、つまり対象物検知処理を実行する。

【0051】

なお、本実施形態では、プログラム作成部１０に、教師データ作成部３０と、対象物検知処理部３６と、を備える構成としたが、プログラム作成装置１０が備えていなくてもよい。つまり、教師データは、別の装置で作成してもよい。この場合、教師データ作成部３０の機能を実現する装置が教師データ作成装置となる。また、画像から対象物を検出する処理を実行する対象物検知処理部３６は、対象物検知装置１０２のみに備えていてもよい。

【0052】

＜学習済みプログラム作成方法＞
図１０は、学習済みプログラムの処理の一例を示すフローチャートである。図１０に示す処理は、教師データ作成部３０と学習部３４が学習実行プログラムを演算処理することで実行する。また、図１０は、枝刈り処理を行う場合として説明する。また、枝刈り処理は、オペレータが操作してもよい。

【0053】

教師データ作成部３０は、教師データを作成する（ステップＳ１１２）。例えば、上側領域１６０に対象物がある画像データと、下側領域１６２に対象物がある画像データとを含む教師データを作成する。教師データは、画像データと対象物がある位置の情報が対応付けられたユニットが複数の画像データが含まれる。

【0054】

学習部３４は、教師データを処理して学習済みプログラムを作成する（ステップＳ１１４）。学習部３４は、教師データを用いて学習モデルの深層学習を行い、学習済みプログラムを作成する。

【0055】

学習部３４は、対象物の検出特性を設定する（ステップＳ１１６）。学習部３４は、例えば、検出特性を上側領域１６０に対象物がある場合と設定する。学習部３４は、学習済みプログラムのモデルに対して枝刈りを実行する（ステップＳ１１８）。学習部３４は、設定した対象物の検出特性と設定処理部３２で設定した条件に基づいて、深層学習モデルの選択肢のうち、ステップＳ１１４で作成した学習済みプログラムのモデルから変更すると判定したノード、重みを削除する。学習部３４は、対象物の検出特性に基づいて、対象の検出物の検出に影響しないノード、重みを抽出し、抽出したノード、重みを削除して、検出特性に特化したモデルを作成する。

【0056】

学習部３４は、設定対象の検出特性があるかを判断する（ステップＳ１２０）。学習部３４は、設定対象の検出特性がある（ステップＳ１２０でＹｅｓ）と判定した場合、ステップＳ１１６に戻る。これにより、異なる検出特性、例えば、検出特性を下側領域１６２に対象物がある場合の設定を行い、下側領域１６２に対象物がある場合に特化させ、モデルを一部枝刈りしたモデルを作成する。なお、検出特性は、上側領域１６０、下側領域１６２のそれぞれに対象物がある場合に限定されず、上述した各種特性に対応したモデルを作成することができる。学習部３４は、設定対象の検出特性がない（ステップＳ１２０でＮｏ）と判定した場合、各特性の学習済みプログラムに決定し（ステップＳ１２２）、処理を終了する。

【0057】

学習部３４は、以上のように、深層学習処理を実行して学習済みプログラムを作成する。学習部３４は、次に、設定した検出特性に基づいてモデルの修正を行い、それぞれの検出特性に対応し、かつ、処理量を低減させたモデルを用いる学習済みプログラムを作成する。このように、検出特性を特定し、各特性に応じてモデルの処理量を低減させることで、検出特性の対象物に必要な部分を残しつつ、モデルの処理量を低減することができるため、演算量の少ないモデルを用いて、高い精度での解析を実行することができる。また、上記実施形態では、モデルの枝刈りを行う場合として説明したが、検出特性に応じて、処理するデータの分解能を低減するモデルとしてもよい。例えば、画像内で大きい対象物を検出する場合や、コントラストが発揮した対象物を検出する場合が検出特性であると、画像の分解能（ビット数）を低減させたモデルしても、高い精度で検出することができる。

【符号の説明】

【0058】

１０ プログラム作成装置
１２ 入力部
１４ 出力部
１６、１１６ 演算部
１８、１１８ 記憶部
３０ 教師データ作成部
３２ 設定処理部
３４ 学習部
３６ 対象物検知処理部
４０ 画像データ
４２、１３４ 設定データ
４４ 学習実行プログラム
４６ 学習条件設定プログラム
４８、１３６ 対象物検知プログラム
５０、１３８、１４０ 学習済みプログラム
１０２ 対象物検知装置
１１２ カメラ部
１１３ センサ
１１４ 報知部
１３０ 対象物検知処理部
１３２ 報知処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】