特許 7414456 情報処理装置、同一性判定方法、および同一性判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-05

(45)【発行日】2024-01-16

(54)【発明の名称】情報処理装置、同一性判定方法、および同一性判定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240109BHJP

【ＦＩ】

G06T7/00 Z

【請求項の数】 14

(21)【出願番号】P 2019188124

(22)【出願日】2019-10-11

(65)【公開番号】P2021064138

(43)【公開日】2021-04-22

【審査請求日】2022-09-01

(73)【特許権者】

【識別番号】000005119

【氏名又は名称】日立造船株式会社

(73)【特許権者】

【識別番号】516283603

【氏名又は名称】東京エコサービス株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】三木 裕介

(72)【発明者】

【氏名】三宅 寿英

(72)【発明者】

【氏名】藤丸 雅弘

(72)【発明者】

【氏名】牧 恒男

(72)【発明者】

【氏名】桑野 雅史

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０１４－１８２６２７（ＪＰ，Ａ）

【文献】特開２０１４－００２４５４（ＪＰ，Ａ）

【文献】特開２０１７－１７５４６３（ＪＰ，Ａ）

【文献】特開２０１９－０９５９７４（ＪＰ，Ａ）

【文献】特開２０００－１０５８３５（ＪＰ，Ａ）

【文献】岡田 亜沙美 外，大域的最適な複数対象追跡における進行方向制約を用いた精度向上，電子情報通信学会技術研究報告 Ｖｏｌ．１１３ Ｎｏ．４０３，2014年01月16日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

時系列で撮影された複数の画像のそれぞれから物体を検出し、検出した物体の縦幅および横幅を検出する物体検出部と、
上記複数の画像のうち第１の画像から検出された第１の物体と、上記複数の画像のうち第２の画像から検出された第２の物体とが同一の物体であるか否かを判定する同一性判定部と、
上記第１の物体または上記第２の物体の縦幅と横幅の値を入れ替える入替部と、を備え、
上記入替部が上記の入れ替えを行った場合、上記同一性判定部は、入れ替え後の縦幅と横幅の値に基づいて上記判定を行い、
上記複数の画像は、動画像から抽出されたフレーム画像であり、
複数の上記フレーム画像のそれぞれで検出された物体を節点とし、上記同一性判定部が同一であると判定した物体に対応する上記節点を結ぶ線分を枝としたときに、
上記枝で結ばれた上記節点が検出された上記フレーム画像が所定数以上連続している場合に、上記枝で結ばれた上記節点に対応する上記物体を、上記動画像に写る物体として検出する動画物体検出部を備え、
上記動画物体検出部は、所定数以上連続する上記フレーム画像の中に、上記物体が検出されなかったフレーム画像が含まれている場合であっても、上記物体が検出されなかったフレーム画像から所定の物体が検出されているときには、当該物体を上記動画像に写る物体として検出し、
上記物体は、上記所定の物体であると誤検出される可能性のある物体である、ことを特徴とする情報処理装置。

【請求項2】

時系列で撮影された複数の画像のそれぞれから物体を検出し、検出した物体の縦幅および横幅を検出する物体検出部と、
上記複数の画像のうち第１の画像から検出された第１の物体と、上記複数の画像のうち第２の画像から検出された第２の物体とが同一の物体であるか否かを判定する同一性判定部と、
上記第１の物体または上記第２の物体の縦幅と横幅の値を入れ替える入替部と、を備え、
上記入替部が上記の入れ替えを行った場合、上記同一性判定部は、入れ替え後の縦幅と横幅の値に基づいて上記判定を行い、
上記画像は、ごみピットに投入される途中のごみを撮影した画像であり、
上記物体検出部は、上記第１の物体と上記第２の物体の回転角度をさらに検出し、
上記同一性判定部は、上記第１の物体と上記第２の物体の回転角度の差を９０°補正した値、または９０°補正した上記第１の物体の回転角度と上記第２の物体の回転角度との差と、上記入替部が入れ替えた縦幅および横幅の値と、に基づいて上記第１の物体と上記第２の物体とが同一の物体であるか否かを判定する、ことを特徴とする情報処理装置。

【請求項3】

上記第１の物体と上記第２の物体の回転角度の差が所定の閾値以上である場合に、
上記入替部は、上記第１の物体の縦幅と横幅とを入れ替え、
上記同一性判定部は、上記第１の物体と上記第２の物体の回転角度の差を９０°補正した値と、上記入替部が入れ替えた縦幅および横幅の値と、に基づいて上記第１の物体と上記第２の物体とが同一の物体であるか否かを判定する、ことを特徴とする請求項２に記載の情報処理装置。

【請求項4】

上記物体検出部は、上記第１の物体と上記第２の物体の位置情報をさらに検出し、
上記同一性判定部は、上記第１の物体の位置情報と上記第２の物体の位置情報とが所定の関係にあることを条件として、上記第１の物体と上記第２の物体とが同一の物体であると判定する、ことを特徴とする請求項１から３の何れか一項に記載の情報処理装置。

【請求項5】

上記動画物体検出部は、所定数以上連続する上記フレーム画像の中に、上記物体が検出されなかったフレーム画像が含まれている場合であっても、上記物体が検出されなかったフレーム画像の前後の所定範囲内のフレーム画像から上記物体が検出されているときには、当該物体を上記動画像に写る物体として検出する、ことを特徴とする請求項１に記載の情報処理装置。

【請求項6】

時系列で撮影された複数の画像のそれぞれから物体を検出し、検出した物体の縦幅および横幅を検出する物体検出部と、
上記複数の画像のうち第１の画像から検出された第１の物体と、上記複数の画像のうち第２の画像から検出された第２の物体とが同一の物体であるか否かを判定する同一性判定部と、
上記第１の物体または上記第２の物体の縦幅と横幅の値を入れ替える入替部と、を備え、
上記入替部が上記の入れ替えを行った場合、上記同一性判定部は、入れ替え後の縦幅と横幅の値に基づいて上記判定を行い、
上記複数の画像は、動画像から抽出されたフレーム画像であり、
複数の上記フレーム画像のそれぞれで検出された物体を節点とし、上記同一性判定部が同一であると判定した物体に対応する上記節点を結ぶ線分を枝としたときに、
上記枝で結ばれた上記節点が検出された上記フレーム画像が所定数以上連続している場合に、上記枝で結ばれた上記節点に対応する上記物体を、上記動画像に写る物体として検出する動画物体検出部を備え、
上記動画物体検出部が、上記動画像の複数箇所において物体を検出した場合、当該複数箇所のうち所定時間以上離れた箇所の上記フレーム画像を表示装置に表示させる表示制御部を備えている、ことを特徴とする情報処理装置。

【請求項7】

時系列で撮影された複数の画像のそれぞれから物体を検出し、検出した物体の縦幅および横幅を検出する物体検出部と、
上記複数の画像のうち第１の画像から検出された第１の物体と、上記複数の画像のうち第２の画像から検出された第２の物体とが同一の物体であるか否かを判定する同一性判定部と、
上記第１の物体または上記第２の物体の縦幅と横幅の値を入れ替える入替部と、を備え、
上記入替部が上記の入れ替えを行った場合、上記同一性判定部は、入れ替え後の縦幅と横幅の値に基づいて上記判定を行い、
上記複数の画像は、動画像から抽出されたフレーム画像であり、
複数の上記フレーム画像のそれぞれで検出された物体を節点とし、上記同一性判定部が同一であると判定した物体に対応する上記節点を結ぶ線分を枝としたときに、
上記枝で結ばれた上記節点が検出された上記フレーム画像が所定数以上連続している場合に、上記枝で結ばれた上記節点に対応する上記物体を、上記動画像に写る物体として検出する動画物体検出部を備え、
上記物体検出部は、複数の分類に属する物体をそれぞれ検出し、
上記動画物体検出部が上記動画像の複数箇所でそれぞれ異なる分類の物体を検出した場合には、各箇所の上記フレーム画像を表示装置に表示させ、上記動画物体検出部が上記動画像の複数箇所で同じ分類の物体を検出した場合には、何れか一箇所の上記フレーム画像を表示装置に表示させる表示制御部を備えている、ことを特徴とする情報処理装置。

【請求項8】

時系列で撮影された複数の画像のそれぞれから物体を検出し、検出した物体の縦幅および横幅を検出する物体検出部と、
上記複数の画像のうち第１の画像から検出された第１の物体と、上記複数の画像のうち第２の画像から検出された第２の物体とが同一の物体であるか否かを判定する同一性判定部と、
上記第１の物体または上記第２の物体の縦幅と横幅の値を入れ替える入替部と、を備え、
上記入替部が上記の入れ替えを行った場合、上記同一性判定部は、入れ替え後の縦幅と横幅の値に基づいて上記判定を行い、
上記複数の画像は、動画像から抽出されたフレーム画像であり、
複数の上記フレーム画像のそれぞれで検出された物体を節点とし、上記同一性判定部が同一であると判定した物体に対応する上記節点を結ぶ線分を枝としたときに、
上記枝で結ばれた上記節点が検出された上記フレーム画像が所定数以上連続している場合に、上記枝で結ばれた上記節点に対応する上記物体を、上記動画像に写る物体として検出する動画物体検出部を備え、
上記物体検出部は、検出結果の確からしさを示す指標値を出力し、
所定数以上連続する上記フレーム画像のうち、上記指標値に基づいて選択した上記フレーム画像を表示装置に表示させる表示制御部を備えていることを特徴とする情報処理装置。

【請求項9】

一または複数の情報処理装置により実行される同一性判定方法であって、
時系列で撮影された複数の画像のそれぞれから物体を検出し、検出した物体の縦幅および横幅を検出する物体検出ステップと、
上記複数の画像のうち第１の画像から検出された第１の物体、または上記複数の画像のうち第２の画像から検出された第２の物体の縦幅と横幅の値を入れ替える入替ステップと、
入れ替え後の縦幅と横幅の値に基づいて、上記第１の物体と上記第２の物体とが同一の物体であるか否かを判定する同一性判定ステップと、を含み、
上記複数の画像は、動画像から抽出されたフレーム画像であり、
複数の上記フレーム画像のそれぞれで検出された物体を節点とし、上記同一性判定ステップにて同一であると判定された物体に対応する上記節点を結ぶ線分を枝としたときに、
上記枝で結ばれた上記節点が検出された上記フレーム画像が所定数以上連続している場合に、上記枝で結ばれた上記節点に対応する上記物体を、上記動画像に写る物体として検出する動画物体検出ステップを含み、
上記動画物体検出ステップでは、所定数以上連続する上記フレーム画像の中に、上記物体が検出されなかったフレーム画像が含まれている場合であっても、上記物体が検出されなかったフレーム画像から所定の物体が検出されているときには、当該物体を上記動画像に写る物体として検出し、
上記物体は、上記所定の物体であると誤検出される可能性のある物体である、ことを特徴とする同一性判定方法。

【請求項10】

一または複数の情報処理装置により実行される同一性判定方法であって、
時系列で撮影された複数の画像のそれぞれから物体を検出し、検出した物体の縦幅および横幅を検出する物体検出ステップと、
上記複数の画像のうち第１の画像から検出された第１の物体、または上記複数の画像のうち第２の画像から検出された第２の物体の縦幅と横幅の値を入れ替える入替ステップと、
入れ替え後の縦幅と横幅の値に基づいて、上記第１の物体と上記第２の物体とが同一の物体であるか否かを判定する同一性判定ステップと、を含み、
上記画像は、ごみピットに投入される途中のごみを撮影した画像であり、
上記物体検出ステップでは、上記第１の物体と上記第２の物体の回転角度をさらに検出し、
上記同一性判定ステップでは、上記第１の物体と上記第２の物体の回転角度の差を９０°補正した値、または９０°補正した上記第１の物体の回転角度と上記第２の物体の回転角度との差と、上記入替ステップにて入れ替えた縦幅および横幅の値と、に基づいて上記第１の物体と上記第２の物体とが同一の物体であるか否かを判定する、ことを特徴とする同一性判定方法。

【請求項11】

一または複数の情報処理装置により実行される同一性判定方法であって、
時系列で撮影された複数の画像のそれぞれから物体を検出し、検出した物体の縦幅および横幅を検出する物体検出ステップと、
上記複数の画像のうち第１の画像から検出された第１の物体、または上記複数の画像のうち第２の画像から検出された第２の物体の縦幅と横幅の値を入れ替える入替ステップと、
入れ替え後の縦幅と横幅の値に基づいて、上記第１の物体と上記第２の物体とが同一の物体であるか否かを判定する同一性判定ステップと、を含み、
上記複数の画像は、動画像から抽出されたフレーム画像であり、
複数の上記フレーム画像のそれぞれで検出された物体を節点とし、上記同一性判定ステップにて同一であると判定された物体に対応する上記節点を結ぶ線分を枝としたときに、
上記枝で結ばれた上記節点が検出された上記フレーム画像が所定数以上連続している場合に、上記枝で結ばれた上記節点に対応する上記物体を、上記動画像に写る物体として検出する動画物体検出ステップを含み、
上記動画物体検出ステップにて、上記動画像の複数箇所において物体を検出した場合、当該複数箇所のうち所定時間以上離れた箇所の上記フレーム画像を表示装置に表示させる、ことを特徴とする同一性判定方法。

【請求項12】

一または複数の情報処理装置により実行される同一性判定方法であって、
時系列で撮影された複数の画像のそれぞれから物体を検出し、検出した物体の縦幅および横幅を検出する物体検出ステップと、
上記複数の画像のうち第１の画像から検出された第１の物体、または上記複数の画像のうち第２の画像から検出された第２の物体の縦幅と横幅の値を入れ替える入替ステップと、
入れ替え後の縦幅と横幅の値に基づいて、上記第１の物体と上記第２の物体とが同一の物体であるか否かを判定する同一性判定ステップと、を含み、
上記複数の画像は、動画像から抽出されたフレーム画像であり、
複数の上記フレーム画像のそれぞれで検出された物体を節点とし、上記同一性判定ステップにて同一であると判定された物体に対応する上記節点を結ぶ線分を枝としたときに、
上記枝で結ばれた上記節点が検出された上記フレーム画像が所定数以上連続している場合に、上記枝で結ばれた上記節点に対応する上記物体を、上記動画像に写る物体として検出する動画物体検出ステップを含み、
上記物体検出ステップでは、複数の分類に属する物体をそれぞれ検出し、
上記動画物体検出ステップにて上記動画像の複数箇所でそれぞれ異なる分類の物体を検出した場合には、各箇所の上記フレーム画像を表示装置に表示させ、上記動画物体検出ステップにて上記動画像の複数箇所で同じ分類の物体を検出した場合には、何れか一箇所の上記フレーム画像を表示装置に表示させる、ことを特徴とする同一性判定方法。

【請求項13】

一または複数の情報処理装置により実行される同一性判定方法であって、
時系列で撮影された複数の画像のそれぞれから物体を検出し、検出した物体の縦幅および横幅を検出する物体検出ステップと、
上記複数の画像のうち第１の画像から検出された第１の物体、または上記複数の画像のうち第２の画像から検出された第２の物体の縦幅と横幅の値を入れ替える入替ステップと、
入れ替え後の縦幅と横幅の値に基づいて、上記第１の物体と上記第２の物体とが同一の物体であるか否かを判定する同一性判定ステップと、を含み、
上記複数の画像は、動画像から抽出されたフレーム画像であり、
複数の上記フレーム画像のそれぞれで検出された物体を節点とし、上記同一性判定ステップにて同一であると判定された物体に対応する上記節点を結ぶ線分を枝としたときに、
上記枝で結ばれた上記節点が検出された上記フレーム画像が所定数以上連続している場合に、上記枝で結ばれた上記節点に対応する上記物体を、上記動画像に写る物体として検出する動画物体検出ステップを含み、
上記物体検出ステップでは、検出結果の確からしさを示す指標値を出力し、
所定数以上連続する上記フレーム画像のうち、上記指標値に基づいて選択した上記フレーム画像を表示装置に表示させるステップを含む、ことを特徴とする同一性判定方法。

【請求項14】

請求項１に記載の情報処理装置としてコンピュータを機能させるための同一性判定プログラムであって、上記物体検出部、上記同一性判定部、上記入替部、および上記動画物体検出部としてコンピュータを機能させるための同一性判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像から物体を検出する情報処理装置等に関する。

【背景技術】

【0002】

近年、深層学習などの機械学習の発展により、画像上での物体の認識・検出精度が向上し、画像認識を用いた用途が広がりつつある。しかし、現状の検出精度は１００％ではないため、用途をさらに広げるためにさらなる工夫が必要となる。深層学習（または他のニューラルネットワーク系の検出技術等）を用いて画像上の物体を検出する場合、まず教師データを準備する。教師データは、画像と画像に写る物体の詳細情報（例えば物体識別子、物体の位置や大きさ、形状、角度等）とを対応付けて作成される。そして教師データを用いて機械学習を行い、学習結果として一つまたは複数の重み（学習済みモデル）が出力される。そして、この学習済みモデルを使って物体検出を行う。

【0003】

また、動画像から物体検出を行う場合、動画像のあるフレームで検出された物体と、そのフレームの前後のフレームで検出された物体とが同一の物体であるかが判定される。例えば、下記の特許文献１では、現在と過去のフレーム画像に対して、物体や人物の位置の差異や移動方向の差異を用いて、移動する物体や人物の検出（追跡）を行っている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－２５７４４１号公報（２０１０年１１月１１日公開）

【発明の概要】

【発明が解決しようとする課題】

【0005】

機械学習アルゴリズムを用いた物体検出においては、物体の検出を行うことができると共に、検出した物体の大きさや回転角度も検出することが可能である。そして、大きさや回転角度は、異なるフレームで検出された物体の同一性判定に利用することができる。

【0006】

しかしながら、検出対象とする物体が同一であっても、学習設定情報（教師データ、パラメータ設定等）が異なる学習済みモデルを用いた場合、回転角度を算出する基準となる軸の向きが変わることがある。そして、これにより検出される回転角度や物体の縦幅・横幅にも差異が生じることがある。

【0007】

これについて、図１６に基づいて説明する。図１６は、物体検出に使用する学習済みモデルが相違することにより、同じ物体の回転角度が異なって検出される例を示す図である。図１６の例では、物体１０１０を撮影した動画像から抽出した２枚の画像１０００と１１００のそれぞれから物体検出を行っている。画像１０００に写る物体１０１０と画像１１００に写る物体１０１０は同一の物体であるが、時間の経過に伴って回転している（画像１０００の方が、撮影タイミングが早い）。

【0008】

物体検出は、学習済みモデルａとｂとを用いて行っている。学習済みモデルａとｂは、何れも物体１０１０を検出するためのモデルであるが、異なる学習設定情報（教師データ、パラメータ設定等）での機械学習によって構築されたものである。そして、図１６では、学習済みモデルａによる画像１０００、１１００からの物体検出結果を、ボックス１０２０ａ、１１２０ａとして示している。このようなボックスは、学習済みモデルａが出力する、検出物体の位置を示す情報（例えば中心位置の座標）等の情報を用いて描画することができる。

【0009】

ボックス１０２０ａは、縦幅が３２、横幅が１０、角度が－９°である。また、ボックス１１２０ａは、縦幅と横幅はボックス１０２０ａと同じであり、角度は７°である。なお、縦横の幅の単位は任意である。また、物体の分類についても学習させた学習済みモデルを用いた場合、分類結果も出力される。

【0010】

これらの学習済みモデルａによる物体検出結果に基づいて、画像１０００と１１００から検出された各物体が同一のものであるか判定した場合には、同一物体であると正しく判定される。ボックス１０２０ａと１１２０ａは、縦横の幅が等しく、角度の差の絶対値は１６°（７°＋９°）と十分に小さい値であるからである。なお、角度の差が小さいか否かは、画像１０００と１１００の抽出元である動画像のフレームレート（例えば１０ｆｐｓ：Frames Per Second）に基づいて設定した閾値を基準として判定することができる。

【0011】

また、学習済みモデルｂによる画像１０００、１１００からの物体検出結果を、ボックス１０２０ｂ、１１２０ｂとして示している。ボックス１０２０ｂは、ボックス１０２０aと同じく、縦幅が３２、横幅が１０、角度が－９°である。一方、ボックス１１２０ｂは、ボックス１１２０ａとは異なり、縦幅が１０、横幅が３２、角度は９７°である。

【0012】

ボックス１１２０ａと１１２０ｂは、外観は同じであるが、縦と横が逆になっており、これに伴って角度も９０°ずれている。このため、学習済みモデルｂによる物体検出結果に基づいて、画像１０００と１１００から検出された各物体が同一のものであるか判定すると、同一物体ではないと誤判定される。ボックス１０２０ｂと１１２０ｂは、縦横の幅が異なり、角度の差の絶対値は１０６°（９７°＋９°）と大きく、閾値を超えるからである。なお、このような問題は、深層学習に限られず、他の学習済みモデルを用いた物体検出においても同様に生じる可能性がある問題である。

【0013】

本発明の一態様は、時系列の複数の画像でそれぞれ検出された物体の同一性の判定精度を高めることができる情報処理装置等を実現することを目的とする。

【課題を解決するための手段】

【0014】

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、時系列で撮影された複数の画像のそれぞれから物体を検出し、検出した物体の縦幅および横幅を検出する物体検出部と、上記複数の画像のうち第１の画像から検出された第１の物体と、上記複数の画像のうち第２の画像から検出された第２の物体とが同一の物体であるか否かを判定する同一性判定部と、上記第１の物体または上記第２の物体の縦幅と横幅の値を入れ替える入替部と、を備え、上記入替部が上記の入れ替えを行った場合、上記同一性判定部は、入れ替え後の縦幅と横幅の値に基づいて上記判定を行う。

【0015】

上記の課題を解決するために、本発明の一態様に係る同一性判定方法は、一または複数の情報処理装置により実行される同一性判定方法であって、時系列で撮影された複数の画像のそれぞれから物体を検出し、検出した物体の縦幅および横幅を検出する物体検出ステップと、上記複数の画像のうち第１の画像から検出された第１の物体、または上記複数の画像のうち第２の画像から検出された第２の物体の縦幅と横幅の値を入れ替える入替ステップと、入れ替え後の縦幅と横幅の値に基づいて、上記第１の物体と上記第２の物体とが同一の物体であるか否かを判定する同一性判定ステップと、を含む。

【発明の効果】

【0016】

本発明の一態様によれば、時系列の複数の画像でそれぞれ検出された物体の同一性の判定精度を高めることができる。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態に係る情報処理装置の制御部の機能ブロック図の一例である。

【図2】上記情報処理装置を含む不適物検出システムの構成例を示すブロック図である。

【図3】ごみ焼却施設において、ごみ収集車がごみをごみピット内に投下している様子を示す図である。

【図4】ごみピット内を示す図である。

【図5】ごみ撮影装置によって撮影される画像を説明する図である。

【図6】ごみ画像から不適物を検出する処理の一例を示すフローチャートである。

【図7】静止画像からの物体検出処理の一例を示すフローチャートである。

【図8】静止画像からの物体検出結果を保存する際のデータ構造の例を示す図である。

【図9】根付きグラフの例を示す図である。

【図10】根付きグラフに関する情報を保存する際のデータ構造の一例を示す図である。

【図11】節点作成処理の一例を示すフローチャートである。

【図12】節点接続処理の一例を示すフローチャートである。

【図13】動画像からの物体検出処理の一例を示すフローチャートである。

【図14】目視確認のための処理を説明する図である。

【図15】不適物の画像を表示させる処理を説明する図である。

【図16】物体検出に使用する学習済みモデルが相違することにより、同じ物体の回転角度が異なって検出される例を示す図である。

【発明を実施するための形態】

【0018】

近年、ごみ焼却施設への焼却不適物（以下、単に不適物と呼ぶ）の投入が問題となっている。不適物が焼却炉に投入されることで、焼却炉における燃焼の悪化、焼却炉の灰出し設備での閉塞などが発生したり、場合によっては、焼却炉を緊急停止させたりすることもある。従来は、ごみ焼却施設の従業員が、収集したごみをランダムに選択し、選択したごみに不適物が含まれていないかを手作業で確認しており、作業員の負担が大きかった。

【0019】

また、ごみ焼却施設へ運搬される不適物を減らすために、ごみを収集する担当者に注意喚起しようとした場合、運搬されたごみの中から不適物を検出して、検出された不適物を収集の担当者に提示するシステムが必要となる。この場合、実際には不適物ではないものを、不適物であるとして提示することは好ましくない。また、撮影した画像をそのまま担当者に見せる場合、不適物がどのタイミングでどの位置に写っているかを把握しにくいため好ましくない。

【0020】

本発明の一実施形態に係る情報処理装置１は、上記のような問題点を解決できるものである。情報処理装置１は、ごみ焼却施設に搬入されたごみから不適物を検出する機能を備えている。具体的には、情報処理装置１は、ごみピットに投入される途中のごみを撮影した画像を用いて、不適物を検出する。なお、ごみピットについては図４に基づいて後述する。また、不適物はごみの投下後に検出してもよい。また、不適物とは、ごみ焼却施設に設けられた焼却炉で焼却すべきでない物体である。不適物の具体例については後述する。

【0021】

〔システム構成〕
本実施形態に係る不適物検出システムの構成を図２に基づいて説明する。図２は、不適物検出システム１００の構成例を示すブロック図である。不適物検出システム１００は、情報処理装置１、ごみ撮影装置２、車両情報収集装置３、選択表示装置４、および不適物表示装置５を含む。

【0022】

また、図２には、情報処理装置１のハードウェア構成の例についても示している。図示のように、情報処理装置１は、制御部１０、高速記憶部１１、大容量記憶部１２、画像ＩＦ（インタフェース）部１３、車両情報ＩＦ部１４、選択表示ＩＦ部１５、不適物表示ＩＦ部１６を備えている。情報処理装置１は、一例として、パーソナルコンピュータ、サーバー、またはワークステーションであってもよい。

【0023】

制御部１０は、情報処理装置１の各部を統括して制御するものである。図１に基づいて後述する制御部１０の各部の機能は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現することもできるし、ソフトウェアによって実現することもできる。このソフトウェアには、コンピュータを後述する物体検出部、入替部、および同一性判定部として機能させる同一性判定プログラムが含まれていてもよい。ソフトウェアによって実現する場合、制御部１０は、例えばＣＰＵ（Central Processing Unit）で構成してもよいし、ＧＰＵ（Graphics Processing Unit）で構成してもよく、これらの組み合わせで構成してもよい。また、この場合、上記ソフトウェアは、大容量記憶部１２に保存しておく。そして、制御部１０は、上記ソフトウェアを高速記憶部１１に読み込んで実行する。

【0024】

高速記憶部１１と大容量記憶部１２は、何れも情報処理装置１が使用する各種データを記憶する記憶装置である。高速記憶部１１は大容量記憶部１２と比べて高速でデータの書き込みおよび読出しが可能な記憶装置である。大容量記憶部１２は高速記憶部１１と比べてデータの記憶容量が大きい。高速記憶部１１としては、例えばＳＤＲＡＭ（Synchronous Dynamic Random-Access Memory）等の高速アクセスメモリを適用することもできる。また、大容量記憶部１２としては、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid-State Drive）、ＳＤ（Secure Digital）カード、あるいはｅＭＭＣ（embedded Multi-Media Controller）等を適用することもできる。

【0025】

画像ＩＦ部１３は、ごみ撮影装置２と情報処理装置１とを通信接続するためのインタフェースである。また、車両情報ＩＦ部１４は、車両情報収集装置３と情報処理装置１とを通信接続するためのインタフェースである。これらのＩＦ部は、有線通信用のものであってもよいし、無線通信用のものであってもよい。例えば、これらのＩＦ部として、ＵＳＢ（Universal Serial Bus）、ＬＡＮ（Local-Area Network）や無線ＬＡＮ等を適用することもできる。

【0026】

選択表示ＩＦ部１５は、選択表示装置４と情報処理装置１とを通信接続するためのインタフェースである。また、不適物表示ＩＦ部１６は、不適物表示装置５と情報処理装置１とを通信接続するためのインタフェースである。これらのＩＦ部も、有線通信用のものであってもよいし、無線通信用のものであってもよい。例えば、これらのＩＦ部として、ＨＤＭＩ（High-Definition Multimedia Interface、登録商標）、ＤｉｓｐｌａｙＰｏｒｔ、ＤＶＩ（Digital Visual Interface）、ＶＧＡ（Video Graphics Array）端子、Ｓ端子、あるいはＲＣＡ端子等を適用することもできる。

【0027】

ごみ撮影装置２は、ごみピットに投下される途中のごみを撮影し、撮影画像を情報処理装置１へ送信する。以降、この撮影画像をごみ画像と呼ぶ。一例として、ごみ撮影装置２は、動画を撮影するハイスピードシャッターカメラであってもよい。なお、ごみ画像は、動画像であってもよいし、連続して撮影された時系列の静止画像であってもよい。ごみ画像は、画像ＩＦ部１３を介して情報処理装置１に入力される。そして、入力されたごみ画像は、そのまま制御部１０で処理することもできるし、高速記憶部１１あるいは大容量記憶部１２に保存した後で、制御部１０で処理することもできる。

【0028】

車両情報収集装置３は、ごみを搬入し、該ごみをごみピット内に投下する車両（いわゆるごみ収集車）の識別情報を収集して情報処理装置１へ送信する。なお、ごみ収集車によるごみピットへのごみの投下については図４に基づいて後述する。この識別情報は、搬入車両特定部１０７が、ごみの搬入主体を特定するために使用される。上記識別情報は、例えば、ナンバープレートのナンバー等を示す情報であってもよい。この場合、車両情報収集装置３は、ナンバープレートを撮影し、撮影した画像を識別情報として情報処理装置１へ送信するものであってもよい。また、車両情報収集装置３は、ごみ収集車２００の識別情報の入力を受け付けて情報処理装置１へ送信するものであってもよい。

【0029】

選択表示装置４は、情報処理装置１が検出した不適物の画像を表示する。不適物検出システム１００では、情報処理装置１が、不適物ではないものを不適物と誤判定する可能性を考慮して、情報処理装置１が検出した不適物の画像を選択表示装置４に表示させて、その画像に写っているものが不適物であるか否かを目視確認させる。そして、目視確認の担当者は、選択表示装置４に表示された画像の中から、不適物が写っている画像を選定する。

【0030】

不適物表示装置５は、情報処理装置１が検出した不適物の画像のうち、選択表示装置４を介して選定された不適物の画像、すなわち不適物が写っていることが目視確認された画像を表示する。不適物表示装置５は、上記不適物を搬入した担当者や事業者等への注意喚起のために上記画像を表示する。

【0031】

〔ごみ画像の撮影〕
図３は、ごみ焼却施設において、ごみ収集車２００がごみをごみピット内に投下している様子を示す図である。図４は、ごみピット内を示す図である。ごみピットは、ごみ焼却施設に収集されたごみを一時的に格納する場所であり、ごみピット内のごみは順次焼却炉に送り込まれて焼却される。図３に示すように、ごみ焼却施設には扉３００Ａ、３００Ｂといった複数の扉（以降、区別する必要が無い場合、扉３００と総称する）が設けられている。また、図４に示すように、扉３００の先にはごみピットが設けられている。つまり、扉３００が開放されることで、ごみピットへごみを投下するための投下口が現れる。図３に示すように、ごみ収集車２００は、投下口からごみをごみピット内に投下する。

【0032】

ごみ撮影装置２は、図４のスロープ６００を流れるごみを撮影可能な位置に取り付ける。例えば、図３および図４に示す取付箇所４００にごみ撮影装置２を取り付けてもよい。取付箇所４００は、各扉３００の表面に位置しているから、取付箇所４００にごみ撮影装置２を取り付けた場合、扉３００が開いたときにごみ撮影装置２がスロープ６００の上方に位置することになり、この位置がごみの撮影に好適である。無論、ごみ撮影装置２の取り付け箇所は、スロープ６００を流れるごみを撮影可能な任意の位置とすることができる。

【0033】

また、車両情報収集装置３が撮影装置である場合、車両情報収集装置３も取付箇所４００に取り付けてもよい。ごみ収集車２００が扉３００に接近する段階では、扉３００が閉まっているため、取付箇所４００に取り付けた車両情報収集装置３からごみ収集車２００のナンバープレート等を撮影することができる。無論、車両情報収集装置３の取り付け箇所は、ごみ収集車２００を撮影可能な任意の位置とすることができ、ごみ撮影装置２とは異なる箇所に取り付けてもよい。また、車両情報収集装置３は、例えば情報の入力装置であってもよく、この場合、車両情報収集装置３をオペレータルームに取り付けて、オペレータによるごみ収集車２００の識別情報の入力を受け付ける構成としてもよい。

【0034】

図５は、ごみ撮影装置２によって撮影される画像を説明する図である。同図の画像６１０は、不適物である板６２０がスロープ６００を滑り落ちる様子を撮影した動画像から抽出したフレーム画像６１０ａ～６１０ｈを合成した画像である。各フレーム画像６１０ａ～６１０ｈに写った板６２０を、図５ではそれぞれ６２０ａ～６２０ｈとしている。なお、同図における上下方向をＹ軸方向、上向き方向をＹ軸の正の向きとし、左右方向をＸ軸方向、右向きをＸ軸の正の向きとする。

【0035】

また、図５の左下にはフレーム画像６１０ａを示し、右下にはフレーム画像６１０ｆを示している。フレーム画像６１０ａに写る板６２０ａと、フレーム画像６１０ｆに写る板６２０ｆは、何れも同一の板６２０が撮影されたものであるが、その写る位置、回転角度、および大きさが異なっている。大きさが異なっている理由は、スロープ６００が傾斜しており、スロープ６００の下流側ほどごみ撮影装置２から離れた位置となるためである。詳細は後述するが、情報処理装置１によれば、このような位置、回転角度、および大きさの変化を考慮して、フレーム画像６１０ａ～６１０ｈから検出した板６２０ａ～６２０ｈの同一性を判定することが可能である。

【0036】

また、画像６１０における板６２０ｄは白飛びしている。フレーム画像６１０ｄの撮影時に、板６２０とその周囲に強い光が当たったときなどには、その部分が白飛びした画像となり、そのような画像からは板６２０が検出できないことがある。板６２０が一時的に他のごみ等に隠れた状態となる場合も同様に、一部のフレーム画像から板６２０が検出できないことがある。詳細は後述するが、情報処理装置１によれば、一部のフレーム画像から物体検出できなかった場合であっても、その前後のフレーム画像から物体検出できていれば、その物体を正しく検出することができる。

【0037】

〔装置構成〕
情報処理装置１の構成を図１に基づいて説明する。図１は、情報処理装置１の制御部１０の機能ブロック図の一例である。図１に示す制御部１０には、物体検出部１０１、グラフ生成部１０２、入替部１０３、同一性判定部１０４、動画物体検出部１０５、選択表示制御部１０６、搬入車両特定部１０７、および不適物表示制御部１０８が含まれている。

【0038】

物体検出部１０１は、時系列で撮影された複数の画像のそれぞれから物体を検出する。また、物体検出部１０１は、検出物の物体情報も検出する。この物体情報には、検出物の縦幅および横幅を示す情報が含まれている。この他にも、物体情報には、検出物の回転角度を示す情報、検出物の位置情報、および検出物の分類を示す分類情報等が含まれていてもよい。

【0039】

物体検出部１０１は、例えばニューラルネットワーク等の機械学習済みモデルにより、物体を検出するものであってもよい。この場合、各不適物の画像を教師データとした機械学習により算出された重み値等を大容量記憶部１２等に記憶しておき、物体検出部１０１が物体検出時にその重み値等を読み出す構成とすればよい。なお、不適物に加えて、外観が不適物に類似した類似物も検出対象として学習させてもよい。これにより、不適物の検出精度を向上させることができる。また、機械学習の際に、検出物の分類等についても学習させることができる。

【0040】

上記のような学習済みモデルを用いる場合、物体検出部１０１は、学習済みモデルにごみ画像を入力して得た出力値に基づき、該画像から検出された物体の物体情報を生成し、出力する。また、物体検出部１０１は、検出結果の確度を示す確率値を出力する。

【0041】

グラフ生成部１０２は、物体検出部１０１の検出結果に基づいて根付きグラフを生成する。詳細は後述するが、根付きグラフは、動画像から抽出された各フレーム画像からの物体検出部１０１による物体検出結果に基づいて生成される。

【0042】

入替部１０３は、同一性判定部１０４による同一性判定の対象となる２つの物体についての物体検出部１０１の検出結果のうち、何れか一方の物体の縦幅と横幅の値を入れ替える。入替部１０３がこの入れ替えを行った場合、同一性判定部１０４は、入れ替え後の縦幅と横幅の値に基づいて同一性の判定を行う。

【0043】

同一性判定部１０４は、時系列の複数の画像の１つから物体検出部１０１が検出した物体と、上記時系列の複数の画像の他の１つから検出された物体とが同一の物体であるか否かを判定する。

【0044】

動画物体検出部１０５は、グラフ生成部１０２が生成する根付きグラフを用いて、動画像から物体を検出する。物体検出部１０１が単体の画像から物体を検出するのに対し、動画物体検出部１０５は、複数の画像からの物体検出結果に基づいて、動画像に写る物体を検出する点でこれらの検出部は相違している。動画像からの物体検出の詳細は後述する。

【0045】

選択表示制御部１０６は、動画物体検出部１０５が検出した物体の画像を選択表示装置４に表示させる。目視確認の担当者は、表示された画像に不適物が写っているかを確認し、不適物が写っている画像を選定する。そして、選択表示制御部１０６は、目視確認の担当者による画像の選定を受け付ける。

【0046】

搬入車両特定部１０７は、車両情報収集装置３から受信する識別情報を用いてごみの搬入車両（例えば図３のごみ収集車２００）を特定する。そして、不適物表示制御部１０８は搬入車両特定部１０７が特定した搬入車両が過去に搬入したごみから情報処理装置１が不適物を検出していた場合、上記不適物の画像を不適物表示装置５に表示させる。これにより、当該搬入車両でごみを搬入した担当者に対して不適物の画像を提示して注意喚起することができる。

【0047】

以上のように、情報処理装置１は、時系列で撮影された複数の画像のそれぞれから物体を検出し、検出した物体の縦幅および横幅を検出する物体検出部１０１と、上記複数の画像の１つから検出された物体と、上記複数の画像のうち他の１つから検出された物体とが同一の物体であるか否かを判定する同一性判定部１０４と、上記の２つの物体の縦幅と横幅の値を入れ替える入替部１０３と、を備えている。そして、入替部１０３が上記の入れ替えを行った場合、同一性判定部１０４は、入れ替え後の縦幅と横幅の値に基づいて同一性の判定を行う。これにより、物体の縦と横を判定する基準となる軸が９０°ずれたときにも、物体の同一性を正しく判定することができるので、時系列の複数の画像でそれぞれ検出された物体の同一性の判定精度を高めることができる。

【0048】

〔全体の処理の流れ〕
図６は、ごみ画像から不適物を検出する処理の一例を示すフローチャートである。この処理を行う前提として、ごみ撮影装置２で撮影されたごみ画像のファイルが大容量記憶部１２に保存されているとする。また、上記ファイルは動画ファイルであるとする。なお、動画ファイルの代わりに、時系列の複数の静止画ファイルを用いてもよい。この場合、使用する静止画ファイルは、例えば大容量記憶部１２に保存されたファイルリストで管理されていてもよい。また、使用する静止画ファイルを大容量記憶部１２の所定のディレクトリにまとめて格納しておいてもよい。以下の説明では、動画ファイルおよび静止画ファイルを単に動画像および静止画像と表記する場合がある。

【0049】

Ｓ２００では、情報処理装置１は、静止画像からの物体検出処理を行う。詳細は図７に基づいて後述するが、物体検出処理では、上記動画像から抽出された全ての静止画像、すなわち全フレーム画像から物体の検出が行われる。

【0050】

情報処理装置１は、Ｓ３００において節点作成処理を行い、Ｓ６００において節点接続処理を行う。これらの処理により、図９に示すような根付きグラフが作成される。物体検出処理の詳細は図１０に基づいて後述し、節点接続処理の詳細は図１１に基づいて後述する。

【0051】

Ｓ８００では、情報処理装置１は、動画像からの物体検出処理を行う。詳細は図１３に基づいて後述するが、Ｓ８００の判定には上記根付きグラフが用いられる。Ｓ８００の処理が終了することにより、図６の全処理は終了する。

【0052】

なお、図６の処理では、Ｓ２００、Ｓ３００、Ｓ６００、Ｓ８００を順番（直列）に処理する。すなわち、動画ファイル全体をＳ２００で確認し、次に根付きグラフをＳ３００とＳ６００で作成して、最後にＳ８００で根付きグラフを用いて物体を検出している。撮影が終了した動画像からではなく、撮影中の画像から物体検出を行う場合、Ｓ２００、Ｓ３００、Ｓ６００、およびＳ８００の内部処理を並列に行えばよい。並列処理の詳細は省略する。

【0053】

〔静止画像からの物体検出処理の流れ〕
図６のＳ２００における物体検出処理の詳細を図７に基づいて説明する。図７は、静止画像からの物体検出処理の一例を示すフローチャートである。物体検出処理は、同一性判定方法の前段部分である。

【0054】

Ｓ２２０では、物体検出部１０１は、初期化処理を行う。初期化処理の具体例は図８に基づいて後述する。続いてＳ２３０では、物体検出部１０１は、動画ファイルから物体検出の対象とする次の静止画像を取得する。なお、初期化処理の直後であれば、物体検出部１０１は、動画像における最初の静止画像を取得する。

【0055】

Ｓ２４０（物体検出ステップ）では、物体検出部１０１は、Ｓ２３０で取得した静止画像から物体検出を行い、その検出結果を保存する。保存先は例えば高速記憶部１１である。そして、Ｓ２５０では、物体検出部１０１は、物体検出処理を終了するか否かを判定する。具体的には、物体検出部１０１は、動画像から抽出した静止画像の全てについて物体検出を行っていれば物体検出処理を終了する（Ｓ２５０でＹＥＳ）と判定し、物体検出を行っていない静止画像があれば終了しない（Ｓ２５０でＮＯ）と判定する。Ｓ２５０でＹＥＳと判定された場合にはＳ２００における処理は終了し、Ｓ２５０でＮＯと判定された場合にはＳ２３０の処理に戻る。Ｓ２００における処理が終了すると、Ｓ３００の処理である節点作成処理が行われる。

【0056】

〔静止画像からの物体検出結果を保存する際のデータ構造例〕
Ｓ２４０では、例えば図８に示すデータ構造で物体検出結果を保存してもよい。図８は、静止画像からの物体検出結果を保存する際のデータ構造の例を示す図である。図８のデータ構造は、検出配列１１０および検出数１１１の配列を含む。また、このデータ構造には、動画中の画像数を示す情報１１２と、分類数を示す情報１１３も含まれる。

【0057】

検出配列１１０は、三次元（画像番号、検出した物体の識別情報、検出番号）のデータ構造の配列である。検出数１１１は、二次元のデータ構造であり、検出配列１１０の識別情報内の検出数を示す。

【0058】

上記画像番号は、動画像から抽出した各静止画像の識別番号であり、例えば図７のＳ２３０で取得された順に画像番号を設定してもよい。図８の例では、検出した物体の識別情報として、０～４の５通りの数値が記載されている。これらの数値は、検出した物体の分類を示している。例えば、識別情報０～４は、検出された物体の分類が、段ボール、板、木、ござ、および長尺物であることを示すものであってもよい。この場合、物体検出部１０１は、これらの各分類に該当する物体を検出できるように機械学習した学習済みモデルを用いる。なお、これらの分類のうち、段ボールは不適物ではないが、段ボールと板を区別するために（段ボールに似ている板の誤検出を防ぐために）分類に含めている。

【0059】

検出配列１１０には、検出物の回転、検出物の中心位置座標、検出物の大きさ（横幅と縦幅）、および検出物の確率を示す情報が含まれる。これらの情報のうち、回転、中心位置、および大きさは、学習時に与えた情報を元に計算される。検出物の回転は、例えば基準軸に対する検出物の回転角度で表してもよい。角度の単位は°（度）であってもよいし、ラジアンであってもよい。また、確率は、検出物結果の確からしさを示す数値である。この確率は、検出物の画像を元に検出物がどの程度の確率で分類された物体を表現できているのかを示す０～１の数値であってもよい。

【0060】

中心位置は、画像上のピクセルで表してもよい。また、例えば（画像上のピクセル）／（画像のピクセル幅）の値で表してもよい。この場合、中心位置座標の値は、０～１の範囲となる。この他にも、例えば射影変換等を用いてピクセル値を例えばｍｍ等の実寸法に変換した数値で中心位置を表してもよい。なお、同じ物体が複数回検出（例えば別の分類の物体）されることもあるとする。

【0061】

図８のデータ構造を適用する場合、図７のＳ２２０における初期化処理では、物体検出部１０１は、例えば、検出配列１１０と検出数１１１を空に設定し、画像数を示す情報１１２の値を０に設定し、分類数を示す情報１１３の値を設定する。例えば、検出物の識別情報が０～４の５通りであれば情報１１３の値は５となる。なお、利用する分類情報は例えば大容量記憶部１２に保存されているファイルから取得してもよい。また、動画像から取得する静止画像の数が事前に確認できる場合、Ｓ２２０で全ての静止画像に対応する領域を確保してもよい。

【0062】

また、Ｓ２４０では、物体検出部１０１は、物体検出により検出された情報を元に検出配列１１０および検出数１１１を更新する。具体的には、物体検出部１０１は、検出配列１１０および検出数１１１に、直前のＳ２３０の処理で取得した静止画像のための領域を増やす。検出配列１１０では、一次元目には画像数１１２目の領域を追加し、二次元目には分類数１１３を追加し、三次元目には分類毎の検出数のデータ構造を追加する。なお、画像数と分類数は、図８の１１２および１１３の情報を参照して特定する。そして、物体検出部１０１は、検出された物体毎の情報を検出配列１１０に追加した領域に更新する。

【0063】

検出数１１１については、物体検出部１０１は、一次元目には画像数１１２目の領域を追加し、二次元目には分類数１１３を追加する。そして、物体検出部１０１は、検出された分類毎の物体数を更新する。最後に、物体検出部１０１は、画像数を示す情報１１２に１を加算する。

【0064】

〔根付きグラフの例〕
図９は、Ｓ３００とＳ６００の処理により作成される根付きグラフの例を示す図である。根付きグラフは、節点を枝で結んだ構成のグラフであり、検出物の分類毎に作成される。図９では、物体Ａのグラフ０とグラフ２が例示されていると共に、物体Ｂのグラフ１が例示されている。

【0065】

根付きグラフは、節点を作成するＳ３００の処理と、作成した接点のうち同一の物体に対応する節点を枝で接続するＳ６００の処理という２段階の処理で作成される。複数のフレーム画像のそれぞれで検出された物体が節点とされる。図９の例では、動画像から抽出した静止画像であるフレーム画像を、その画像番号の昇順で上から下に並べている。また、節点には、上から順に０～２４の番号を付している。図５に示したような、ごみがスロープ６００を滑り落ちていく様子を撮影した動画像から抽出した静止画像を使用する場合、１つのグラフを構成する節点は、上側の節点ほどスロープ６００の上流側での検出を示す。なお、画像を図９とは逆の順序、すなわち画像番号の降順で配列してもよく、この場合グラフの下側がスロープ６００の上流側に対応することになる。

【0066】

１つのグラフを構成する節点のうち、最も上流側の節点を根と呼ぶ。また、ある節点と接続されている節点のうち、上記ある節点の上流側に位置する節点を親節点と呼び、下流側に位置する節点を子節点と呼ぶ。

【0067】

図９の例では、画像番号が２つ違いの画像における同一物体に対応する節点を枝で接続していると共に、画像番号が１つ違いの画像における同一物体に対応する節点を枝で接続している。つまり、同一性判定部１０４が同一であると判定した物体に対応する節点を結ぶ線分が枝である。例えば、物体Ａの節点０については、画像１における節点１および２とそれぞれ枝で接続していると共に、画像２における節点４と枝で接続している。

【0068】

動画物体検出部１０５は、上記のようにして生成した根付きグラフを用いて、所定数以上連続するフレーム画像から物体検出する。この場合、動画物体検出部１０５は、物体が検出されなかったフレーム画像があっても、その前後の所定範囲内のフレーム画像から物体が検出されているときにはその物体を検出する。

【0069】

したがって、一部のフレーム画像で物体が検出されなかった場合であっても、その物体が動画像に写っていると正しく検出することができる。例えば、図５の画像６１０に示される板６２０ｄは検出が困難であるが、その前後のフレーム画像における板６２０ｃおよび板６２０ｅは検出可能である。よって、物体検出部１０１が板６２０ｄを検出できなかった場合であっても、これらのフレーム画像からなる動画像に板６２０が写っていると正しく検出することができる。なお、上記所定範囲は、検出対象物の移動速度、動画像のフレームレート、およびフレーム画像の時間間隔等に応じて設定すればよい。

【0070】

根付きグラフの生成において、１つの親節点に対して、１つのフレーム画像から複数の子節点が検出されることがある。例えば、図９の例では、親節点０に対し、画像１から子節点１と子節点２が検出されている。このような場合、子節点１と子節点２の何れかが誤検出である。

【0071】

動画物体検出部１０５は、グラフ生成部１０２が生成した上記のような根付きグラフにおいて、枝で結ばれた節点が検出されたフレーム画像が所定数以上連続している場合に、当該節点に対応する物体を、動画像に写る物体として検出してもよい。誤検出が複数フレーム以上続く確率は低いため、この構成によれば、動画像からの物体の誤検出の可能性を低減することができる。

【0072】

図９の例では、上記所定数を５としている。この場合、動画物体検出部１０５は、下記の関係式が成立する根付きグラフの物体を検出する。

【0073】

（一番下の節点の画像番号）―（根の節点の画像番号）≧４
上記関係式の右辺の数値は、検出対象物の移動速度、動画像のフレームレート、およびフレーム画像の時間間隔等に応じて設定すればよい。上記の関係式を用いて物体検出する場合、動画物体検出部１０５が物体を検出するのは、図９の根付きグラフのうちグラフ０のみとなる。

【0074】

〔根付きグラフに関する情報を保存する際のデータ構造例〕
図１０は、根付きグラフに関する情報を保存する際のデータ構造の一例を示す図である。図１０に示す各種データは、例えば高速記憶部１１に保存される。図１０のデータ構造には、節点配列１１５と節点数を示す情報１１６が含まれている。また、節点配列１１５は、各節点に付与した節点番号により各節点を識別して管理する構成となっている。そして、各節点について、親節点番号と、当該節点の検出配列の特定情報、子節点の検出配列の特定情報の配列、および子節点番号の配列を示す情報が対応付けられている。

【0075】

このようなデータ構造により、作成された各節点と、その親節点および子節点を表すことができる。つまり、図１０のデータ構造によれば、図９のような根付きグラフの構成を表すことができる。無論、根付きグラフを表すデータ構造は任意であり、図１０の例に限られない。

【0076】

〔節点作成処理の流れ〕
図１１に基づいて節点作成処理の流れを説明する。図１１は、節点作成処理（同一性判定方法）の一例を示すフローチャートである。なお、図１０のデータ構造を採用する場合の処理を説明する。

【0077】

Ｓ３２０では、グラフ生成部１０２は、初期化処理を行う。例えば、グラフ生成部１０２は、初期化処理として、図１０のデータ構造における節点配列１１５を空に設定し、節点数を示す情報１１６の値を０に設定し、処理の対象とする画像番号である現画像番号を１に設定する処理を行ってもよい。

【0078】

Ｓ３３０では、グラフ生成部１０２は、古画像の画像番号である古画像番号を決定する。詳細は以下説明するが、現画像番号の画像から検出された物体と、古画像番号の画像から検出された物体との同一性が判定され、同一であると判定された物体に対応する節点が、１つの根付きグラフの構成要素として特定される。

【0079】

図１１の例では、現画像番号から２を減算して古画像番号としている。この場合、動画像から抽出されたフレーム画像のうち、画像番号が２つ違いのフレーム画像までが同一性の判定の対象となる。図９に基づいて説明したように、同一性の判定の範囲をどの程度に設定するかは任意であり、Ｓ３３０で現画像番号から減じる値も任意である。なお、現画像番号から所定の値を減じたときに負の値となった場合には、古画像番号を０に設定する。

【0080】

Ｓ３４０では、グラフ生成部１０２は、処理対象とする分類の識別番号（以下、分類識別番号と呼ぶ）を０に設定する。続いて、Ｓ３５０では、グラフ生成部１０２は、現画像と古画像の検出結果を取得して、現検出番号を０に設定する。より詳細には、グラフ生成部１０２は、図６のＳ２００における物体検出処理の検出結果のうち、現画像と古画像からの、分類識別番号が０の物体の検出結果を取得する。なお、これらの検出結果は、例えば図８に示すような検出配列１１０から取得すればよい。

【0081】

Ｓ３６０では、グラフ生成部１０２は、未処理の現検出結果がまだあるか否かを判定する。具体的には、グラフ生成部１０２は、現検出番号がＳ３５０で取得した全現検出結果数未満であるか否かを判定する。この判定結果が真の場合には未処理の現検出結果がある（つまりＳ３６０の判定結果がＹＥＳである）ためＳ３７０の処理に遷移する。一方、偽の場合にはＳ３６０の判定結果はＮＯとなり、Ｓ４４０の処理に遷移する。

【0082】

Ｓ３７０では、グラフ生成部１０２は、現検出番号を用いて現検出結果を取得して、古検出番号を０に設定する。そして、Ｓ３８０では、グラフ生成部１０２は、未処理の古検出結果がまだあるか否かを判定する。具体的には、グラフ生成部１０２は、古検出番号がＳ３５０で取得した古現検出結果数未満であるか否かを判定する。この判定結果が真の場合には未処理の古検出結果がある（つまりＳ３８０の判定結果がＹＥＳである）ためＳ３９０の処理に遷移する。一方、偽の場合にはＳ３８０の判定結果はＮＯとなり、Ｓ４３０の処理に遷移する。

【0083】

Ｓ３９０では、同一性判定部１０４が、現検出番号の検出結果が示す検出物と、古検出番号の検出結果が示す検出物とが、同物体であるか否かを判定するための条件を確認する。この条件は、例えば検出物の大きさ、回転角度、および位置に関するものであってもよい。例えば、同一性判定部１０４は、Ｓ３９０では、下記の値を算出してもよい。

【0084】

角度差＝ 古検出の回転角度 － 現検出の回転角度
Ｘ差 ＝ 古検出のｘ座標値 － 現検出のｘ座標値
Ｙ差 ＝ 古検出のy座標値 － 現検出のｙ座標値
横幅比＝ 古検出の横幅 ／ 現検出の横幅
縦幅比＝ 古検出の縦幅 ／ 現検出の縦幅
そして、同一性判定部１０４は、上記の値が下記の条件を充足するか否かにより同一性を判定してもよい。なお、下記の各条件における不等号は、等号付き不等号に置き換えてもよい。

【0085】

角度条件： 角度差の絶対値 ＜ 角度閾値
Ｘ条件 ： Ｘ閾値の下限値 ＜ Ｘ差 ＜ Ｘ閾値の上限値
Ｙ条件 ： Ｙ差の絶対値 ＜ Ｙ閾値
横幅条件： 横幅比の下限値 ＜ 横幅比 ＜ 横幅比の上限値
縦幅条件： 縦幅比の下限値 ＜ 縦幅比 ＜ 縦幅比の上限値
図５に示したように、スロープ６００の下流側（画像におけるＸ軸の負の方向）に進むほど、物体は小さく写る。このため、上記の横幅および縦幅の上限値および下限値を、画像番号の大きい画像程、小さい値としてもよい。これにより、誤検出が発生する可能性を低減することができる。

【0086】

なお、Ｘ条件に絶対値がないのは、本例では図５のようにスロープ６００上の物体を検出対象としており、図５の画像６１０上では物体は右（Ｘ値がより大きい）から左に移動するためである。一方、スロープ６００上の物体は、Ｙ軸方向においては正の向き（上向き）にも負の向き（下向き）にも移動し得るため、Ｙ条件には絶対値がある。このように、画像において物体の移動方向に制約がある場合には、その制約に応じた条件を設定することにより、誤検出が発生する可能性を低減することができる。

【0087】

以上のように、物体検出部１０１が、同一性の判定対象とする２つの物体の位置情報（上記の例ではＸ値とＹ値）を検出する場合、同一性判定部１０４は、それらの位置情報が所定の関係にあることを条件として、当該２つの物体が同一の物体であると判定する。これにより、上述のとおり誤検出が発生する可能性を低減することができる。

【0088】

なお、上記の各閾値は、例えば動画ファイルのフレームレート（ｆｐｓ）やスロープ６００上での物体の移動の速さ等により調整してもよい。例えば、上記の閾値を画像番号の差（現画像番号から古画像番号を減算した値）に比例する値としてもよい。例えば、１０°に画像番号の差を乗じた値を角度閾値としてもよい。また、Ｘ閾値（下限、上限）、Ｙ閾値、横幅閾値（下限、上限）、および縦幅閾値（下限、上限）は、さらに用いた単位（例えばピクセル、または変換したｍｍ等）に依存する。

【0089】

なお、物体検出部１０１は、検出物の回転角度を検出してもよいし、回転角度の正弦すなわちsine（角度）の値を検出してもよい。この場合、回転角度の検出値から角度を算出して上述の角度条件の判定を行ってもよいし、回転角度の正弦の値を用いて判定できるように上述の角度条件の方を変更してもよい。同様に、回転角度の余弦（cosine）または正接（tan）を用いてもよいし、それらの組み合わせを用いてもよい。例えば、物体検出部１０１が回転角度をsine（角度）とcosine（角度）の組み合わせとして検出した場合、角度条件を充足するか否かは、arcsine（検出情報）とarccosine（検出情報）の両方または平均で確認をしてもよい。

【0090】

Ｓ３９２では、入替部１０３が、縦幅と横幅の入れ替えを行うか否かを判定する。例えば、入替部１０３は、上記の角度差の絶対値が、所定の閾値（以下、入替閾値と呼ぶ）以上であるか否かによって上記判定を行ってもよい。この場合、入替部１０３は、角度差の絶対値が入替閾値以上であれば入れ替えを行う（Ｓ３９２でＹＥＳ）と判定し、角度差の絶対値が入替閾値未満であれば入れ替えは行わない（Ｓ３９２でＮＯ）と判定する。入れ替えは、図１６に基づいて説明した回転角度の検出値が９０°ずれる場合に行うことが望ましい。このため、入替閾値は、例えば６０°に設定してもよい。Ｓ３９２において、入れ替えを行うと判定された場合にはＳ３９４の処理に遷移し、入れ替えを行わないと判定された場合にはＳ４００の処理に遷移する。

【0091】

このように、入替部１０３は、同一性の判定対象とする２つの物体の回転角度の差が所定の閾値（入替閾値）以上である場合に、当該物体の一方の縦幅と横幅とを入れ替える。これにより、回転角度の差からみて、当該回転角度を算出する基準となる軸の向きが９０°異なっている可能性の高い状態において入れ替えを行うという効率的な処理が実現できる。なお、効率性を求めなければ、同一性判定部１０４は、同一性の判定において、入替部１０３による入れ替えを行う前と後とで２回の判定を行い、何れかの判定結果が同一であれば同一と判定する構成としてもよい。

【0092】

Ｓ３９４（入替ステップ）では、入替部１０３は、縦幅と横幅の入れ替えを行う。また、同一性判定部１０４は、上記の角度差の絶対値の調整を行う。具体的には、入替部１０３は、現検出番号の検出結果が示す検出物と、古検出番号の検出結果が示す検出物の何れかについて、縦幅と横幅の入れ替えを行う。そして、入替部１０３は、入れ替え後の縦幅値と横幅値を用いて、横幅条件と縦幅条件が充足されるか否かの判定を同一性判定部１０４に行わせる。また、同一性判定部１０４は、上記の角度差の絶対値から９０°減算した値を用いて角度条件が充足されるか否かを判定する。

【0093】

このように、物体検出部１０１が、物体の回転角度を検出する場合、同一性判定部１０４は、物体の回転角度の差を９０°補正した値と、入替部１０３が入れ替えた縦幅および横幅の値と、に基づいて同一の物体であるか否かを判定する。これにより、同一性の判定対象である２つの物体の回転角度を検出する際の基準軸が９０°ずれている場合にも、実際の回転角度の差異を適切に考慮して物体の同一性を正しく判定することができる。

【0094】

例えば、図１６に示した学習済みモデルｂによる検出結果に基づいて同一性を判定する場合、入替部１０３は、ボックス１１２０ｂの縦幅と横幅を入れ替えてもよい。この場合、同一性判定部１０４は、ボックス１０２０ｂの縦幅（３２）および横幅（１０）と、上記入れ替え後におけるボックス１１２０ｂの縦幅（３２）および横幅（１０）に基づいて上述の条件が充足されているか判定する。また、同一性判定部１０４は、ボックス１０２０ｂの角度（－９°）とボックス１１２０ｂの角度（９７°）との差の絶対値から９０°減算した値である１６°に基づいて上述の条件が充足されているか判定する。これにより、ボックス１０２０ｂの物体と、ボックス１１２０ｂの物体とが同一の物体であると正しく判定することができる。

【0095】

なお、物体検出部１０１が検出物の回転角度を示す情報として、sine（角度）とcosine（角度）を出力する場合、入替部１０３は、出力されたsine（角度）とcosine（角度）を入れ替えればよい。また、物体の回転角度の差を９０°補正する代わりに、同一性の判定対象とする２つの物体の一方の回転角度を９０°補正した後、両物体の回転角度の差を算出してもよい。なお、回転角度を考慮せずに物体の同一性を判定することも可能である。

【0096】

Ｓ４００（同一性判定ステップ）では、同一性判定部１０４は、現検出番号の検出結果に示される物体と、古検出番号の検出結果に示される物体と、が同一の物体であるか否かを判定する。例えば、同一性判定部１０４は、Ｓ３９０の全ての条件（角度、Ｘ、Ｙ、横幅、および縦幅の各条件）が真の場合に同一の物体である（Ｓ４００でＹＥＳ）と判定し、真ではない条件が存在する場合には同一の物体ではない（Ｓ４００でＮＯ）と判定してもよい。なお、Ｓ３９４で調整が行われていた場合には、同一性判定部１０４は、調整後の値を用いてＳ３９０の条件を充足するか否かを判定する。Ｓ４００でＹＥＳと判定された場合にはＳ４１０に遷移し、Ｓ４００でＮＯと判定された場合にはＳ４２０に遷移する。

【0097】

なお、同一性判定部１０４は、Ｓ３９０の一部の条件のみを確認してもよい。例えば、同一性判定部１０４は、回転しない物体の同一性を判定する場合、角度条件を考慮する必要はない。また、Ｘ方向に移動しない物体の同一性を判定する場合、Ｘ条件の確認は不要であり、Ｙ方向に移動しない物体の同一性を判定する場合、Ｙ条件の確認は不要である。

【0098】

Ｓ４１０では、グラフ生成部１０２は、根付きグラフの節点を更新する。例えば、グラフ生成部１０２は、（１）Ｓ４００の判定結果に基づいて情報を追加する節点である情報追加節点を検出または追加し、（２）その情報追加節点に対して情報を追加するという２段階の手順で根付きグラフの節点を更新してもよい。

【0099】

この場合、グラフ生成部１０２は、節点配列１１５中の全ての節点に対して古検出が存在するか否かを確認する。なお、節点の総数は、節点数を示す情報１１６に示されている。すなわち、グラフ生成部１０２は、各節点について下記の何れかの条件が充足された場合に、古検出が存在すると判定する。

【0100】

節点配列１１５に示される画像番号が古画像番号と一致する。

【0101】

節点配列１１５に示される検出物の分類識別が分類識別番号に一致する。

【0102】

節点配列１１５に示される識別情報内の検出番号が古検出番号に一致する。

【0103】

そして、グラフ生成部１０２は、古検出が存在する、すなわち上記３つの条件の何れかが充足されると判定した節点を情報追加節点とする。なお、１回のＳ４１０の処理では、１つの情報追加節点に対して後述の各情報を追加するので、節点配列１１５中の何れかの節点を情報追加節点とした後は、残りの節点について確認する必要はない。

【0104】

グラフ生成部１０２は、節点配列１１５中の全ての節点について上記の確認を行っても、古検出が存在する節点が検出されなかった場合、グラフ生成部１０２は、節点配列１１５に新たな節点を追加し、追加した節点を情報追加節点とする。また、グラフ生成部１０２は、節点数を示す情報１１６の値に１を加算する。そして、グラフ生成部１０２は、節点配列１１５に追加した情報追加節点に対し、下記の情報を追加する。

【0105】

動画中の画像番号＝古画像番号
検出物の分類識別＝分類識別番号
識別情報内の検出番号＝古検出番号
なお、親節点番号と子節点番号の配列の全項目は未設定にする。すなわち、これらの配列の全項目が未設定項になる。なお、未設定であることは例えば「－１」等の値で表してもよい。

【0106】

そして、グラフ生成部１０２は、上述のようにして検出又は追加した情報追加節点について、節点配列１１５における子節点の検出配列の特定情報のうち、未設定の項目に対して下記の情報を追加する。

【0107】

画像番号＝現画像番号
検出物の分類識別＝分類識別番号
識別情報内の検出番号＝現検出番号
Ｓ４２０では、グラフ生成部１０２は、古検出番号に１を加算し、この後、Ｓ３８０の処理に戻る。また、Ｓ４３０では、グラフ生成部１０２は、現検出番号に１を加算し、この後、Ｓ３６０の処理に戻る。また、Ｓ４４０では、グラフ生成部１０２は、分類識別番号に１を加算し、その後処理はＳ４５０に遷移する。

【0108】

Ｓ４５０では、グラフ生成部１０２は、全分類について判定が終了したか否かを判定する。具体的には、グラフ生成部１０２は、分類識別番号と分類数（図８において情報１１３で示される分類数）とを比較し、等しくない場合（Ｓ４５０でＮＯ）にはＳ３５０の処理に戻り、等しい場合（Ｓ４５０でＹＥＳ）にはＳ４６０の処理に進む。

【0109】

Ｓ４６０では、グラフ生成部１０２は、古画像番号に１を加算し、その後処理はＳ４７０に遷移する。Ｓ４７０では、グラフ生成部１０２は、全ての古画像についての判定が終了したか否かを判定する。具体的には、グラフ生成部１０２は、古画像番号と現画像番号とを比較し、等しくない場合（Ｓ４７０でＮＯ）にはＳ３４０の処理に戻り、等しい場合（Ｓ４７０でＹＥＳ）にはＳ４８０の処理に進む。

【0110】

Ｓ４８０では、グラフ生成部１０２は、現画像番号に１を加算し、その後処理はＳ４９０に遷移する。Ｓ４９０では、グラフ生成部１０２は、全ての画像を現画像とした判定が終了したか否かを判定する。具体的には、グラフ生成部１０２は、現画像番号と画像数（図８において情報１１２で示される画像数）とを比較し、等しくない場合（Ｓ４９０でＮＯ）にはＳ３３０の処理に戻り、等しい場合（Ｓ４９０でＹＥＳ）には図１１の処理を終了する。図１１の処理の終了後は、図６のＳ６００の節点接続処理が行われる。

【0111】

〔節点接続処理の流れ〕
図１２に基づいて節点接続処理の流れを説明する。図１２は、節点接続処理の一例を示すフローチャートである。節点接続処理では、上述の節点作成処理では未設定であった、節点配列１１５における親節点番号と子節点番号の配列を更新する。この更新が、節点を枝で接続することに相当する。

【0112】

図１２の例では、現節点番号、古節点番号、および子節点配列番号という３つの追加変数を用いる。これらの追加変数は、例えば高速記憶部１１に保存される。

【0113】

Ｓ６２０では、グラフ生成部１０２は、初期化処理を行う。例えば、初期化処理において、グラフ生成部１０２は、節点数から１を減算した値を現節点番号とする。なお、節点数は、図１０に示したように、節点数を示す情報１１６から特定できる。また、Ｓ６３０では、グラフ生成部１０２は、現節点番号から１を減算した値を古節点番号とする。そして、Ｓ６４０では、グラフ生成部１０２は、子節点配列番号を０とする。

【0114】

Ｓ６５０では、グラフ生成部１０２は、親子節点の確認、すなわち古節点の子節点が現節点と一致するか否かの確認を行う。具体的には、グラフ生成部１０２は、節点配列１１５の古節点番号目における子節点の検出配列の特定情報が、節点配列１１５の現節点番号目における子節点の検出配列の特定情報と一致するか否かを判定する。なお、子節点の検出配列の特定情報には、画像番号、検出物の分類識別、および識別情報内の検出番号が含まれる。これらの全てが一致した場合にはＳ６５０の判定結果はＹＥＳとなりＳ６６０に遷移する。一方、一致しないものがある場合には、Ｓ６５０の判定結果はＮＯとなりＳ６７０に遷移する。

【0115】

Ｓ６６０では、グラフ生成部１０２は、親子節点の更新、すなわち親接点番号および子接点番号の配列の更新を行う。具体的には、グラフ生成部１０２は、節点配列１１５の古節点番号目の子節点番号の配列中、最初の未設定項を現節点番号に設定する。また、グラフ生成部１０２は、節点配列１１５の現節点番号目の親節点番号を古節点番号に設定する。

【0116】

Ｓ６７０では、グラフ生成部１０２は、子節点配列番号に１を加算する。そして、Ｓ６８０では、グラフ生成部１０２は、子節点についての処理が終了したか否かを判定する。具体的には、グラフ生成部１０２は、子節点配列番号が、節点配列１１５における子節点の検出配列の特定情報の配列の項目数より小さいか否かを判定する。そして、グラフ生成部１０２は、小さいと判定した場合（Ｓ６８０でＮＯ）にはＳ６５０の処理に戻り、そうではない場合（Ｓ６８０でＹＥＳ）にはＳ６９０の処理に進む。

【0117】

Ｓ６９０では、グラフ生成部１０２は、古節点番号から１を減算する。そして、Ｓ７００では、グラフ生成部１０２は、古節点についての処理が終了したか否かを判定する。具体的には、グラフ生成部１０２は、古節点番号が正の値であるか否かを判定する。そして、グラフ生成部１０２は、正の値であると判定した場合（Ｓ６９０でＮＯ）にはＳ６４０の処理に戻り、そうではない場合（Ｓ６９０でＹＥＳ）にはＳ７１０の処理に進む。

【0118】

Ｓ７１０では、グラフ生成部１０２は、現節点番号から１を減算する。そして、Ｓ７２０では、グラフ生成部１０２は、現節点についての処理が終了したか否かを判定する。具体的には、グラフ生成部１０２は、現節点番号が正の値であるか否かを判定する。そして、グラフ生成部１０２は、正の値であると判定した場合（Ｓ７２０でＮＯ）にはＳ６３０の処理に戻り、そうではない場合（Ｓ７２０でＹＥＳ）には図１２の処理を終了する。図１２の処理の終了後は、図６のＳ８００における動画像からの物体検出処理が行われる。なお、図１２では、現節点番号および古節点番号を大きい数字から小さくして（１ずつ減算しながら）処理を行ったが、逆の処理（現節点番号および古節点番号の初期値を０として１ずつ加算する）としてもよい。

【0119】

〔動画像からの物体検出処理の流れ〕
図１３に基づいて動画像からの物体検出処理の流れを説明する。図１３は、動画像からの物体検出処理の一例を示すフローチャートである。動画像からの物体検出処理では、上述のようにして作成した根付きグラフ、具体的には完成した節点配列１１５を用いて物体を検出する。この処理では、根付きグラフの長さ、すなわち根付きグラフの根から最新の節点までの画像数に基づいて物体が検出される。

【0120】

Ｓ８２０では、動画物体検出部１０５は、初期化処理を行う。例えば、初期化処理において、動画物体検出部１０５は、古節点番号を０に設定する。続いてＳ８３０では、動画物体検出部１０５は、古節点番号の節点が根であるか否かを判定する。具体的には、動画物体検出部１０５は、節点配列１１５における古節点番号目の節点の親節点番号が未設定である場合にはＳ８３０でＹＥＳと判定してＳ８４０の処理に進み、設定されている場合にはＳ８３０でＮＯと判定してＳ８８０の処理に進む。

【0121】

Ｓ８４０では、動画物体検出部１０５は、根付きグラフにおける最新の節点、すなわち枝で結ばれた一連の節点のうち、最も画像番号が大きいフレーム画像の節点を探索する。具体的には、動画物体検出部１０５は、古節点番号目から始まる根付きグラフの全節点を再帰的（詳細省略）に辿って一番新しい節点を探索する。そして、動画物体検出部１０５は、検出した最新の節点の節点番号を現節点番号とする。

【0122】

Ｓ８５０では、動画物体検出部１０５は、節点配列１１５における現節点番号目の節点の検出配列の特定情報に設定されている画像番号と、節点配列１１５における古節点番号目の節点の検出配列の特定情報に設定されている画像番号との差分を算出する。そして、Ｓ８６０では、動画物体検出部１０５は、Ｓ８５０で算出した差分が４以上であるか否かを判定する。この判定の結果が４以上である場合（Ｓ８６０でＹＥＳ）には物体が検出されたとしてＳ８７０に遷移し、４未満である場合（Ｓ８６０でＮＯ）にはＳ８８０に遷移する。なお、判定の基準とした数値「４」は、図９に基づいて説明した通り、状況に応じて調整可能である。

【0123】

Ｓ８７０では、動画物体検出部１０５は、検出された物体に関する情報を保存する。例えば、動画物体検出部１０５は、当該物体の検出に用いた根付きグラフの各節点に対応するフレーム画像と、当該物体の物体情報とを対応付けて保存してもよい。物体情報としては、図８に示した検出配列１１０に記述されている情報を保存してもよい。

【0124】

Ｓ８８０では、動画物体検出部１０５は、古節点番号に１を加算する。そして、Ｓ８９０では、動画物体検出部１０５は、全ての古節点についての処理が終了したか否かを判定する。具体的には、動画物体検出部１０５は、古節点番号が節点数（節点数を示す情報１１６から特定した節点数）より小さいか否かを判定する。そして、動画物体検出部１０５は、小さいと判定した場合（Ｓ８９０でＹＥＳ）にはＳ８３０の処理に戻り、そうではない場合（Ｓ８９０でＮＯ）には図１３の処理を終了する。なお、上記では複数の配列を用いた例を説明したが、配列の代わりに連結リストを用いてもよい。

【0125】

なお、本例では分類毎に物体検出を行ったが、例えば板と木のように人間でも区別が難しい物体があり、これらの教師データ作成の際、人間の判断誤差も生じ得る。このため、物体検出の際、板と木の境界線が曖昧になり、同じ物体が画像により、板と判定されたり、木と判定されたりすることがある。この問題を改善するため、分類のグループ化を行って同物体検出を行ってもよい。これは、例えば板と木を一つのグループにして処理を行う、または不適物全てを一つのグループにまとめて処理を行うことである。

【0126】

例えば、グラフ生成部１０２は、同一のグループに属する検出物の全てを節点として根付きグラフを作成してもよい。１つのグループには、例えば板と段ボール等のように誤検出される可能性のある物体を含めておけばよい。このようにして作成された根付きグラフを用いて物体を検出する場合、動画物体検出部１０５は、所定数以上連続するフレーム画像の中に、ある物体が検出されなかったフレーム画像が含まれている場合であっても、その物体が検出されなかったフレーム画像からその物体と同じグループに属する物体が検出されているときには、上記ある物体を動画像に写る物体として検出することができる。これにより、連続するフレーム画像の一部で物体の誤検出が生じた場合であっても、その物体を正しく検出することが可能になる。

【0127】

〔目視確認のための処理〕
情報処理装置１が検出した画像に不適物が写っているか否かを、選択表示装置４を用いて目視確認させる処理について、図１４に基づいて説明する。図１４は、目視確認のための処理を説明する図である。図１４には、目視確認させる処理の一例を示すフローチャートと、該フローチャートの処理によって選択表示装置４に表示される画面例とを示している。

【0128】

Ｓ１０１０では、選択表示制御部１０６は、初期化処理を行う。初期化処理において、選択表示制御部１０６は、図６の処理によって不適物の検出が行われた動画ファイルのリストを取得し、処理対象とする動画ファイルの番号をゼロに設定する。なお、図６の処理が行われた全ての動画ファイルのリストを取得する必要はない。例えば、選択表示制御部１０６は、期間やファイル名でリストに含める動画ファイルを絞り込んでもよいし、直近に行われた図１４の処理の終了時点以降に蓄積された動画ファイルのリストを取得してもよい。

【0129】

Ｓ１０２０では、選択表示制御部１０６は、動画リストに含まれる動画ファイルの中に、Ｓ１０３０以降の処理が行われていないものがまだあるか否かを判定する。具体的には、選択表示制御部１０６は、「処理対象の動画ファイル番号 ＜ 動画ファイルリストに含まれる全ファイル数」の真偽を判定する。そして、選択表示制御部１０６は、判定結果が真の場合（Ｓ１０２０でＹＥＳ）にはＳ１０３０の処理に進み、偽の場合（Ｓ１０２０でＮＯ）にはＳ１０５０の処理に進む。

【0130】

Ｓ１０３０では、選択表示制御部１０６は、処理対象とする動画ファイルから選択表示装置４に表示させる画像を選定する。選定方法は特に限定されない。例えば、選択表示制御部１０６は、処理対象とする動画ファイルから図６の処理によって作成された根付きグラフ中の全ての画像を選定してもよいし、一部の画像を選定してもよい。一部の画像を選定する場合、動画ファイル１つ当りに設定された上限数までの画像を選定してもよいし、根付きグラフ１つ当りに設定された上限数までの画像を選定してもよい。そして、Ｓ１０４０では、選択表示制御部１０６は、処理対象とする動画ファイルの番号に１を加算する。この後、処理はＳ１０２０に戻る。

【0131】

なお、一部の画像を選定する場合には、その選定はランダムに行ってもよいし、物体検出部１０１が出力した確率値の大きいものを優先して選定するようにしてもよい。物体検出部１０１が、検出結果の確からしさを示す指標値である上記確率値を出力する場合、選択表示制御部１０６は、所定数以上連続するフレーム画像のうち、確率値に基づいて選択したフレーム画像を表示装置に表示させてもよい。例えば、選択表示制御部１０６は、１つの根付きグラフから２つの画像を選定する場合、その根付きグラフの各節点について、物体検出部１０１が出力した確率を特定し、その確率が最も高い節点に対応する画像と、次に確率が高い節点に対応する画像を選定してもよい。フレーム画像上で物体が明瞭に写っている程、上記の確率値は高い値となる傾向があるから、上記構成によれば、目視検査の担当者が適否を確認しやすいフレーム画像を表示させることができる。

【0132】

また、選択表示制御部１０６が選定する画像が複数の場合、選定画像間の時間条件も入れてもよい。例えば、選択表示制御部１０６は、５秒以上の時間差がある画像を選定してもよい。または、選択表示制御部１０６は、時間差が大きい順に画像（例えば最大Ｎ個）を選定してもよい。この場合、選択表示制御部１０６は、根付きグラフを構成する全ての画像の中から選定を行うのではなく、一部の画像（例えば根付きグラフ内からランダムまたは確率値等を基準に選んだ画像）の中から選定を行ってもよい。あるいは、選択表示制御部１０６は、根付きグラフを構成する全ての画像の中から時間差が大きい順にＮ個の画像を選定した上で、さらにそのＮ個の画像の中から確率値等を基準に画像を選定してもよい。

【0133】

また、動画物体検出部１０５が、動画像の複数箇所において物体を検出した場合、選択表示制御部１０６は、当該複数箇所のうち所定時間以上離れた箇所のフレーム画像を選択表示装置４に表示させてもよい。これにより、同一の物体が写ったフレーム画像を表示させる可能性を低減して、効率よく目視確認を行わせることができる。なお、動画像の複数箇所において物体を検出した場合とは、動画物体検出部１０５が、動画像ファイルから作成された根付きグラフのうち複数から物体を検出した場合を指す。このような場合に、２つの根付きグラフ間の距離が近い場合、より正確には上流側の根付きグラフの最新の節点から、下流側の根付きグラフの根までの間隔が短い場合には、それらの根付きグラフは同一の物体に対応している可能性がある。よって、上述の構成を採用することにより、同一の物体が写ったフレーム画像を表示させる可能性を低減することができる。なお、根付きグラフ間の間隔は、画像数または時間で表すことができる。

【0134】

また、本実施形態の物体検出部１０１は、複数の分類に属する物体をそれぞれ検出する。動画物体検出部１０５が動画像の複数箇所でそれぞれ異なる分類の物体を検出した場合には、選択表示制御部１０６は、各箇所のフレーム画像を選択表示装置４に表示させてもよい。一方、動画物体検出部１０５が動画像の複数箇所で同じ分類の物体を検出した場合には、選択表示制御部１０６は、何れか一箇所のフレーム画像を選択表示装置４に表示させてもよい。これにより、分類が異なる物体については、それぞれを目視確認させることができると共に、分類が同じ物体については目視確認を１回で済ませることができるので、目視確認を効率的に行わせることができる。

【0135】

Ｓ１０５０では、選択表示制御部１０６は、Ｓ１０３０で選定した画像を、選択表示ＩＦ部１５を介して選択表示装置４に送信し、表示させる。なお、選択表示制御部１０６は、画像を表示させる際に、以下の（１）～（７）の何れかまたは複数の処理を行ってもよい。（１）画像を動画ファイル毎に整列して表示させる。（２）動画ファイルの日付や時刻も表示させる。（３）画像の選定を受け付けるための情報（例えばチェックボックス）を画像に対応付けて表示させる。（４）検出された不適物を強調表示（例えば不適物を四角い線で囲んで表示させる等）。（５）不適物に関連する情報（例えば物体検出部１０１が出力した確率や、搬入車両特定部１０７が特定した搬入車両等）も表示させる。（６）画像から検出された不適物の部分を切り出して表示させる。（７）拡大して表示させる。

【0136】

図１４の例では、選択表示装置４には、2019/xx/xxに撮影された動画ファイルＸＸから不適物として検出された物体（具体的には板と長尺物）の画像が表示されている。また、この選択表示装置４には、2019/yy/yyに撮影された動画ファイルＹＹから不適物として検出された物体（具体的にはごみ袋と段ボール）の画像が表示されている。また、各物体の画像においては、検出された物体を囲む枠線が表示されていると共に、チェックボックスが表示されている。

【0137】

Ｓ１０６０では、選択表示制御部１０６は、目視確認の担当者による画像の選定を受け付ける。図１４の例のように、チェックボックスを表示している場合、選択表示制御部１０６は、チェックが入れられたチェックボックスに対応する画像が選定された画像、すなわち不適物の画像であると判定すればよい。なお、選択表示制御部１０６は、例えば上述の画像と共に終了ボタンを表示させ、その終了ボタンが選択されたときに、画像の選定が終了したと判定してもよい。そして、Ｓ１０７０では、選択表示制御部１０６は、選定された画像を高速記憶部１１または大容量記憶部１２に保存し、これにより図１４の処理は終了する。

【0138】

〔不適物の画像を表示させる処理〕
不適物の画像を不適物表示装置５に表示させる処理について、図１５に基づいて説明する。図１５は、不適物の画像を表示させる処理を説明する図である。図１５には、不適物の画像を表示させる処理の一例を示すフローチャートと、該フローチャートの処理によって不適物表示装置５に表示される画面例とを示している。なお、この処理の前提として、ごみ焼却施設にごみを搬入しに来たごみ収集車２００の識別情報を車両情報収集装置３が取得して情報処理装置１に送信しているとする。

【0139】

Ｓ１１１０では、搬入車両特定部１０７が、車両情報収集装置３から受信した識別情報に基づいてごみの搬入車両を特定する。例えば、受信した識別情報がごみの搬入車両を撮影した画像である場合、搬入車両特定部１０７はその画像を解析することにより、その搬入車両を特定してもよい。

【0140】

Ｓ１１２０では、不適物表示制御部１０８が、Ｓ１１１０で特定された搬入車両に関連する不適物の画像があるか否かを判定する。Ｓ１１２０でＹＥＳと判定された場合にはＳ１１３０の処理に遷移し、Ｓ１１２０でＮＯと判定された場合には図１５の処理は終了する。

【0141】

なお、Ｓ１１２０の判定を行う前提として、情報処理装置１が検出した各不適物について、その不適物を搬入した搬入車両を示す情報を大容量記憶部１２等に記憶しているとする。このような不適物と搬入車両との紐付けは、例えば、図６の処理の前後に行ってもよい。この紐付けの際の搬入車両の特定も搬入車両特定部１０７が行えばよい。そして、不適物表示制御部１０８は、Ｓ１１１０で特定された搬入車両が、過去に不適物を搬入した搬入車両であれば、関連する不適物の画像があると判定してもよい。なお、Ｓ１１１０で特定された搬入車両について、過去に図１５の処理が行われていた場合には、前回の処理後に蓄積された画像を対象としてＳ１１２０の判定を行ってもよい。

【0142】

Ｓ１１３０では、不適物表示制御部１０８は、Ｓ１１１０で特定された搬入車両に関連する不適物の画像を不適物表示装置５に表示させる。これにより、図１５の処理は終了する。なお、不適物表示装置５に表示させた画像は、Ｓ１１１０で特定された搬入車両が搬入したごみを撮影したごみ画像について図１４の処理が開始されたタイミングや、Ｓ１１３０の表示開始から所定時間が経過したタイミング等に表示を終了させてもよい。

【0143】

Ｓ１１３０で画像を表示させる際に、不適物表示制御部１０８は、以下の（１）～（６）の何れかまたは複数の処理を行ってもよい。（１）不適物が検出された動画ファイルが複数ある場合、画像を動画ファイル毎に整列して表示させる。（２）動画ファイルの日付や時刻も表示させる。（３）検出された不適物を強調表示（例えば不適物を四角い線で囲んで表示させる等）。（４）不適物に関連する情報（例えば物体検出部１０１が出力した確率等）も表示させる。（５）画像から検出された不適物の部分を切り出して表示させる。（６）拡大して表示させる。

【0144】

図１５の例では、不適物表示装置５には、2019/xx/xxに撮影された動画ファイルＸＸから不適物として検出された物体（具体的には板と長尺物）の画像が表示されている。また、この不適物表示装置５には、検出された物体を囲む枠線が表示されていると共に、不適物を搬入しないように注意喚起するメッセージが表示されている。

【0145】

〔変形例〕
上述の各実施形態における物体検出や物体の分類等には、機械学習済みのニューラルネットワーク（深層学習したものを含む）以外の人工知能・機械学習アルゴリズムを用いることもできる。

【0146】

上記各実施形態で説明した各処理の実行主体は、適宜変更することが可能である。例えば、図１に示す各ブロックの少なくとも何れかを省略し、省略した処理部を他の一または複数の装置に設けてもよい。この場合、上述した各実施形態の処理は、一または複数の情報処理装置により実行される。

【0147】

また、上記各実施形態ではごみ画像から不適物等を検出する例を説明したが、検出対象物は任意であり、不適物等に限られない。情報処理装置１は、任意の対象が時系列で撮影された複数の画像のそれぞれから上記対象を検出することが可能であり、検出した対象の同一性を精度よく判定することができる。例えば、情報処理装置１を物体や人物等の追跡（トラッキング）に利用することもできる。

【0148】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0149】

１ 情報処理装置
１０１ 物体検出部
１０３ 入替部
１０４ 同一性判定部
１０５ 動画物体検出部
１０６ 選択表示制御部（表示制御部）
４ 選択表示装置（表示装置）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】