知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022011202
(43)【公開日】2022-01-17
(54)【発明の名称】物体情報処理装置
(51)【国際特許分類】
G06T 7/215 20170101AFI20220107BHJP
G06T 7/00 20170101ALI20220107BHJP
G08G 1/015 20060101ALI20220107BHJP
H04N 7/18 20060101ALI20220107BHJP
【ＦＩ】
G06T7/215
G06T7/00 650B
G08G1/015
H04N7/18 D
H04N7/18 K
【審査請求】有
【請求項の数】2
【出願形態】ＯＬ
(21)【出願番号】P 2020112184
(22)【出願日】2020-06-29
(11)【特許番号】
(45)【特許公報発行日】2021-12-01
(71)【出願人】
【識別番号】501198084
【氏名又は名称】ナカシャ クリエイテブ株式会社
(74)【代理人】
【識別番号】100087778
【弁理士】
【氏名又は名称】丸山 明夫
(72)【発明者】
【氏名】野原 佐知世
(72)【発明者】
【氏名】渡邉 裕樹
【テーマコード（参考）】
5C054
5H181
5L096
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054FC12
5C054FC15
5C054HA19
5H181AA01
5H181AA02
5H181AA03
5H181AA05
5H181AA07
5H181AA21
5H181BB20
5H181CC04
5H181EE07
5L096AA06
5L096BA02
5L096CA04
5L096DA02
5L096FA16
5L096FA60
5L096FA64
5L096FA67
5L096FA69
5L096HA05
5L096HA11
5L096JA22
5L096MA07
(57)【要約】
【課題】踏切を通過する人や自動車等の物体を物体種別に且つ通過方向別に精度良く計数できるようにする。
【解決手段】踏切を通過する所定の物体を各物体が属するクラス別に計数する物体情報処理装置。踏切を定位置から撮像するカメラと、カメラから時系列で入力されてくる各画像フレームから所定の物体を検出及び識別し且つ追跡する画像処理手段と、画像処理手段から得られる所定の物体の２つの画像フレーム内の位置に基づいて各物体の移動方向を求める移動方向演算手段と、踏切内での所定の物体の通過方向と交差する仮想の分割線を各画像フレーム内に設定する分割線設定手段と、前記画像処理手段により追跡されている物体の重心位置が前記分割線を越えると当該物体を計数して計数値に加算する計数手段と、計数された物体を以後の計数対象から除外する計数除外手段とを有する。
【選択図】図１
【解決手段】踏切を通過する所定の物体を各物体が属するクラス別に計数する物体情報処理装置。踏切を定位置から撮像するカメラと、カメラから時系列で入力されてくる各画像フレームから所定の物体を検出及び識別し且つ追跡する画像処理手段と、画像処理手段から得られる所定の物体の２つの画像フレーム内の位置に基づいて各物体の移動方向を求める移動方向演算手段と、踏切内での所定の物体の通過方向と交差する仮想の分割線を各画像フレーム内に設定する分割線設定手段と、前記画像処理手段により追跡されている物体の重心位置が前記分割線を越えると当該物体を計数して計数値に加算する計数手段と、計数された物体を以後の計数対象から除外する計数除外手段とを有する。
【選択図】図１
【特許請求の範囲】
【請求項1】
所定の領域を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、
前記所定の領域を定位置から撮像することにより得られる時系列の各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段と、
前記画像処理手段により追跡されている物体の重心位置が、前記所定の物体の通過方向と交差するように各画像フレーム内に設定される仮想の分割線を越えると、当該物体を計数して当該物体が属するクラスの計数値に加算する計数手段と、
前記計数手段により計数された物体を、以後の計数対象から除外する計数除外手段と、
を有することを特徴とする物体情報処理装置。
前記所定の領域を定位置から撮像することにより得られる時系列の各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段と、
前記画像処理手段により追跡されている物体の重心位置が、前記所定の物体の通過方向と交差するように各画像フレーム内に設定される仮想の分割線を越えると、当該物体を計数して当該物体が属するクラスの計数値に加算する計数手段と、
前記計数手段により計数された物体を、以後の計数対象から除外する計数除外手段と、
を有することを特徴とする物体情報処理装置。
【請求項2】
所定の領域を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、
前記所定の領域を定位置から撮像するように設けられ得るカメラと、
前記カメラから時系列で入力されてくる各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段と、
前記所定の領域内での前記所定の物体の通過方向と交差する仮想の分割線を前記各画像フレーム内に設定する分割線設定手段と、
前記画像処理手段により追跡されている物体の重心位置が前記分割線を越えると、当該物体を計数して当該物体が属するクラスの計数値に加算する計数手段と、
前記計数手段により計数された物体を、以後の計数対象から除外する計数除外手段と、
を有することを特徴とする物体情報処理装置。
前記所定の領域を定位置から撮像するように設けられ得るカメラと、
前記カメラから時系列で入力されてくる各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段と、
前記所定の領域内での前記所定の物体の通過方向と交差する仮想の分割線を前記各画像フレーム内に設定する分割線設定手段と、
前記画像処理手段により追跡されている物体の重心位置が前記分割線を越えると、当該物体を計数して当該物体が属するクラスの計数値に加算する計数手段と、
前記計数手段により計数された物体を、以後の計数対象から除外する計数除外手段と、
を有することを特徴とする物体情報処理装置。
【請求項3】
所定の領域を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、
前記所定の領域を定位置から撮像するように設けられ得るカメラと、
前記カメラから時系列で入力されてくる各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段と、
前記画像処理手段から得られる前記所定の物体の２つの画像フレーム内の位置に基づいて、前記所定の領域内での各物体の移動方向をそれぞれ求める移動方向演算手段と、
前記所定の領域内での前記所定の物体の通過方向と交差する仮想の分割線を前記各画像フレーム内に設定する分割線設定手段と、
前記画像処理手段により追跡されている物体の重心位置が前記分割線を越えると、当該物体を計数して当該物体が属するクラスで且つ当該物体の移動方向の計数値に加算する計数手段と、
前記計数手段により計数された物体を、以後の計数対象から除外する計数除外手段と、
を有することを特徴とする物体情報処理装置。
前記所定の領域を定位置から撮像するように設けられ得るカメラと、
前記カメラから時系列で入力されてくる各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段と、
前記画像処理手段から得られる前記所定の物体の２つの画像フレーム内の位置に基づいて、前記所定の領域内での各物体の移動方向をそれぞれ求める移動方向演算手段と、
前記所定の領域内での前記所定の物体の通過方向と交差する仮想の分割線を前記各画像フレーム内に設定する分割線設定手段と、
前記画像処理手段により追跡されている物体の重心位置が前記分割線を越えると、当該物体を計数して当該物体が属するクラスで且つ当該物体の移動方向の計数値に加算する計数手段と、
前記計数手段により計数された物体を、以後の計数対象から除外する計数除外手段と、
を有することを特徴とする物体情報処理装置。
【請求項4】
線路を横切って踏切を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、
前記踏切を線路外で且つ道路外の上方の定位置から撮像するように設けられ得るカメラと、
前記カメラから時系列で入力されてくる各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段と、
前記画像処理手段から得られる前記所定の物体の２つの画像フレーム内の位置に基づいて、前記踏切内での各物体の移動方向をそれぞれ求める移動方向演算手段と、
前記踏切内での前記所定の物体の通過方向と交差する仮想の分割線を前記各画像フレーム内に設定する分割線設定手段と、
前記画像処理手段により追跡されている物体の重心位置が前記分割線を越えると、当該物体を計数して当該物体が属するクラスで且つ当該物体の移動方向の計数値に加算する計数手段と、
前記計数手段により計数された物体を、以後の計数対象から除外する計数除外手段と、
を有することを特徴とする物体情報処理装置。
前記踏切を線路外で且つ道路外の上方の定位置から撮像するように設けられ得るカメラと、
前記カメラから時系列で入力されてくる各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段と、
前記画像処理手段から得られる前記所定の物体の２つの画像フレーム内の位置に基づいて、前記踏切内での各物体の移動方向をそれぞれ求める移動方向演算手段と、
前記踏切内での前記所定の物体の通過方向と交差する仮想の分割線を前記各画像フレーム内に設定する分割線設定手段と、
前記画像処理手段により追跡されている物体の重心位置が前記分割線を越えると、当該物体を計数して当該物体が属するクラスで且つ当該物体の移動方向の計数値に加算する計数手段と、
前記計数手段により計数された物体を、以後の計数対象から除外する計数除外手段と、
を有することを特徴とする物体情報処理装置。
【請求項5】
請求項４に於いて、
前記分割線設定手段は、前記所定の物体が通過する踏切の手前位置に前記画像フレームのＸ軸と平行に前記仮想の分割線を設定する、
ことを特徴とする物体情報処理装置。
前記分割線設定手段は、前記所定の物体が通過する踏切の手前位置に前記画像フレームのＸ軸と平行に前記仮想の分割線を設定する、
ことを特徴とする物体情報処理装置。
【請求項6】
請求項２～請求項４の何れかに於いて、
前記分割線設定手段は、前記画像フレームのＸ軸又はＹ軸と平行に前記仮想の分割線を設定する、
ことを特徴とする物体情報処理装置。
前記分割線設定手段は、前記画像フレームのＸ軸又はＹ軸と平行に前記仮想の分割線を設定する、
ことを特徴とする物体情報処理装置。
【請求項7】
請求項３～請求項６の何れかに於いて、
前記移動方向演算手段は、物体が前記画像処理手段により最初に検出された画像フレーム内の位置と、当該画像フレームから所定フレーム後の画像フレーム内の当該物体の位置に基づいて、当該物体の移動方向を求める、
ことを特徴とする物体情報処理装置。
前記移動方向演算手段は、物体が前記画像処理手段により最初に検出された画像フレーム内の位置と、当該画像フレームから所定フレーム後の画像フレーム内の当該物体の位置に基づいて、当該物体の移動方向を求める、
ことを特徴とする物体情報処理装置。
【請求項8】
請求項１～請求項７の何れかに於いて、
前記物体の重心位置は当該物体のバウンディングボックスの中心位置である、
ことを特徴とする物体情報処理装置。
前記物体の重心位置は当該物体のバウンディングボックスの中心位置である、
ことを特徴とする物体情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、所定の領域（踏切等）を通過する１種又は２種以上の所定の物体（人、乗用車、トラック、二輪車等）を検出・識別（クラス分け）して、その種類毎にそれぞれカウント・集計する物体情報処理の手法に関する。
【背景技術】
【0002】
特開２００５－１９０１４２号公報（特許文献１）には、交差点を撮像したフレーム画像を処理して、分岐方向別（直進、右折、左折）に車両台数を計数する交差点交通量計測装置が開示されている。
【0003】
ディープラーニングによる物体検知はオブジェクト・ディテクションと称され、２０１６年頃から海外の論文（非特許文献１，２）に掲載され、オープンソースソフトウェアでの実装も行われるようになり、２０１８年春には、既存のコンピュータによるリアルタイム処理（３０［ｆｐｓ］以上）が可能となっている。
例えば、ディープラーニングによる物体検知・識別（クラス分け）に於いて、比較的知られた実装であるＳＳＤやＹＯＬＯでは、膨大な教師画像を用いた学習済モデルを使った転移学習によって、最小限の計算量で、オリジナルデータによるモデル構築が可能となっている。
例えば、ディープラーニングによる物体検知・識別（クラス分け）に於いて、比較的知られた実装であるＳＳＤやＹＯＬＯでは、膨大な教師画像を用いた学習済モデルを使った転移学習によって、最小限の計算量で、オリジナルデータによるモデル構築が可能となっている。
【0004】
物体追跡の手法として、ＳＯＲＴ（Simple Online and Realtime Tracking)の拡張であるＤｅｅｐ－ＳＯＲＴを挙げることができる。Ｄｅｅｐ－ＳＯＲＴについては、例えば、非特許文献３に掲載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２００５－１９０１４２号公報
【非特許文献1】YOLOv3: An Incremental Improvement / Joseph Redmon, Ali Farhadi / University of Washington
【非特許文献2】SSD: Single Shot MultiBox Detector / Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg
【非特許文献3】https:nanonets.com/blog/object-tracking-deepsort/（２０２０年６月１６日現在）
【発明の概要】
【発明が解決しようとする課題】
【0006】
所定の領域を通過する１種又は２種以上の所定の物体を検出・識別して、その種類毎にそれぞれ計数・集計できるようにしたいという要請がある。
例えば、踏切を横断する乗用車、トラック、その他の自動車、人、二輪車等を、それぞれ計数・集計できるようにしたいという要請がある。
或いは、高速道路のＳＡやＰＡの入口／出口の流量を、乗用車、トラック、二輪車等の車種別に計数・集計できるようにしたいという要請もある。
その他、船への積み荷数量や、貨物車両の往来についても略同様の要請がある。
例えば、踏切を横断する乗用車、トラック、その他の自動車、人、二輪車等を、それぞれ計数・集計できるようにしたいという要請がある。
或いは、高速道路のＳＡやＰＡの入口／出口の流量を、乗用車、トラック、二輪車等の車種別に計数・集計できるようにしたいという要請もある。
その他、船への積み荷数量や、貨物車両の往来についても略同様の要請がある。
【0007】
しかるに、例えば、踏切を横断する乗用車等を撮像して、その動画データに基づいて乗用車等を検出・識別して計数・集計しようとする場合、幾つかの問題がある。
即ち、カメラの設置場所が制約される、種々の車種の自動車や人が混在する、それらが種々の速度で横断する／一時停止する／戻る、踏切内の路面の凹凸が大きいため横断時に自動車が上下動する、小物体（例：人、自転車）が大物体（大型車両）の影に隠れる、等の問題がある。このため、良好に計数・集計することが困難である。
高速道路のＳＡやＰＡの入口／出口についても、例えば、カメラの設置箇所が制約される、カメラの設置箇所によっては個々の自動車の速度が大きく異なる等の問題があり、同様に、良好に計数・集計することが困難である。
船への積み荷数量や、貨物車両の往来の計数・集計に関しても、略同様の問題がある。
即ち、カメラの設置場所が制約される、種々の車種の自動車や人が混在する、それらが種々の速度で横断する／一時停止する／戻る、踏切内の路面の凹凸が大きいため横断時に自動車が上下動する、小物体（例：人、自転車）が大物体（大型車両）の影に隠れる、等の問題がある。このため、良好に計数・集計することが困難である。
高速道路のＳＡやＰＡの入口／出口についても、例えば、カメラの設置箇所が制約される、カメラの設置箇所によっては個々の自動車の速度が大きく異なる等の問題があり、同様に、良好に計数・集計することが困難である。
船への積み荷数量や、貨物車両の往来の計数・集計に関しても、略同様の問題がある。
【0008】
本発明は、所定の領域を通過する１種又は２種以上の所定の物体を検出・識別（クラス分け）して、その種類毎にそれぞれ計数・集計できるようにすることを目的とする。
例えば、踏切を横断する乗用車、トラック、その他の自動車、人、二輪車等を、それぞれ精度良く、また、方向別にも計数・集計できるようにすることを目的とする。
また、高速道路のＳＡやＰＡの入口／出口の流量を、乗用車、トラック、二輪車等の車種別に精度良く計数・集計できるようにすることを目的とする。
また、船への積み荷数量や、貨物車両の往来についても同様に精度良く計数・集計できるようにすることを目的とする。
例えば、踏切を横断する乗用車、トラック、その他の自動車、人、二輪車等を、それぞれ精度良く、また、方向別にも計数・集計できるようにすることを目的とする。
また、高速道路のＳＡやＰＡの入口／出口の流量を、乗用車、トラック、二輪車等の車種別に精度良く計数・集計できるようにすることを目的とする。
また、船への積み荷数量や、貨物車両の往来についても同様に精度良く計数・集計できるようにすることを目的とする。
【課題を解決するための手段】
【0009】
本発明の例を、下記［１］～［８］に記す。なお、この項（［課題を解決するための手段］）と次項（［発明の効果］）に於いて、符号は理解を容易にするために付したものであり、本発明を符号の構成に限定する趣旨ではない。
【0010】
［１］発明１
所定の領域を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、
前記所定の領域を定位置から撮像することにより得られる時系列の各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段２１と、
前記画像処理手段２１により追跡されている物体の重心位置が、前記所定の物体の通過方向と交差するように各画像フレーム内に設定される仮想の分割線Ｌｘ／Ｌｙ／Ｌｏを越えると、当該物体を計数して当該物体が属するクラスの計数値に加算する計数手段Ｓ３３と、
前記計数手段Ｓ３３により計数された物体を、以後の計数対象から除外する計数除外手段Ｓ３３・４３と、
を有することを特徴とする物体情報処理装置。
［２］発明２
所定の領域を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、
前記所定の領域を定位置から撮像するように設けられ得るカメラ１０と、
前記カメラ１０から時系列で入力されてくる各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段２１と、
前記所定の領域内での前記所定の物体の通過方向と交差する仮想の分割線Ｌｘ／Ｌｙ／Ｌｏを前記各画像フレーム内に設定する分割線設定手段４５・Ｓ２３と、
前記画像処理手段２１により追跡されている物体の重心位置が前記分割線Ｌｘ／Ｌｙ／Ｌｏを越えると、当該物体を計数して当該物体が属するクラスの計数値に加算する計数手段Ｓ３３と、
前記計数手段Ｓ３３により計数された物体を、以後の計数対象から除外する計数除外手段Ｓ３３・４３と、
を有することを特徴とする物体情報処理装置。
［３］発明３
所定の領域を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、
前記所定の領域を定位置から撮像するように設けられ得るカメラ１０と、
前記カメラ１０から時系列で入力されてくる各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段２１と、
前記画像処理手段２１から得られる前記所定の物体の２つの画像フレーム内の位置に基づいて、前記所定の領域内での各物体の移動方向をそれぞれ求める移動方向演算手段Ｓ２３と、
前記所定の領域内での前記所定の物体の通過方向と交差する仮想の分割線Ｌｘ／Ｌｙ／Ｌｏを前記各画像フレーム内に設定する分割線設定手段４５・Ｓ２３と、
前記画像処理手段２１により追跡されている物体の重心位置が前記分割線Ｌｘ／Ｌｙ／Ｌｏを越えると、当該物体を計数して当該物体が属するクラスで且つ当該物体の移動方向の計数値に加算する計数手段Ｓ３３と、
前記計数手段Ｓ３３により計数された物体を、以後の計数対象から除外する計数除外手段Ｓ３３・４３と、
を有することを特徴とする物体情報処理装置。
画像処理手段（検出器・分類器・追跡器）２１は、例えば、Ｄｅｅｐ－ＳＯＲＴ・ＹＯＬＯｖ３を実装することにより構成できる。物体の検出・識別（クラス分け）は、要求される性能によっては、ＹＯＬＯｖ３に代えて、例えばＳＳＤを用いることもできる。検出領域に於ける検出対象物体の挙動等を考慮して、また、物体情報処理装置に要求される精度や性能を考慮して、適宜のオープンソース（ライブラリ／プラットフォーム／ＡＩアプリケーション）を選定してよい。物体の検出と識別（クラス分け）は、同時でもよく、２段階で行うアプリケーションでもよい。また、学習データとしては、カメラの設置箇所から見た撮像対象の所定領域の画角等を考慮した画像を適宜に用いると良好である。
所定の領域を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、
前記所定の領域を定位置から撮像することにより得られる時系列の各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段２１と、
前記画像処理手段２１により追跡されている物体の重心位置が、前記所定の物体の通過方向と交差するように各画像フレーム内に設定される仮想の分割線Ｌｘ／Ｌｙ／Ｌｏを越えると、当該物体を計数して当該物体が属するクラスの計数値に加算する計数手段Ｓ３３と、
前記計数手段Ｓ３３により計数された物体を、以後の計数対象から除外する計数除外手段Ｓ３３・４３と、
を有することを特徴とする物体情報処理装置。
［２］発明２
所定の領域を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、
前記所定の領域を定位置から撮像するように設けられ得るカメラ１０と、
前記カメラ１０から時系列で入力されてくる各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段２１と、
前記所定の領域内での前記所定の物体の通過方向と交差する仮想の分割線Ｌｘ／Ｌｙ／Ｌｏを前記各画像フレーム内に設定する分割線設定手段４５・Ｓ２３と、
前記画像処理手段２１により追跡されている物体の重心位置が前記分割線Ｌｘ／Ｌｙ／Ｌｏを越えると、当該物体を計数して当該物体が属するクラスの計数値に加算する計数手段Ｓ３３と、
前記計数手段Ｓ３３により計数された物体を、以後の計数対象から除外する計数除外手段Ｓ３３・４３と、
を有することを特徴とする物体情報処理装置。
［３］発明３
所定の領域を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、
前記所定の領域を定位置から撮像するように設けられ得るカメラ１０と、
前記カメラ１０から時系列で入力されてくる各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段２１と、
前記画像処理手段２１から得られる前記所定の物体の２つの画像フレーム内の位置に基づいて、前記所定の領域内での各物体の移動方向をそれぞれ求める移動方向演算手段Ｓ２３と、
前記所定の領域内での前記所定の物体の通過方向と交差する仮想の分割線Ｌｘ／Ｌｙ／Ｌｏを前記各画像フレーム内に設定する分割線設定手段４５・Ｓ２３と、
前記画像処理手段２１により追跡されている物体の重心位置が前記分割線Ｌｘ／Ｌｙ／Ｌｏを越えると、当該物体を計数して当該物体が属するクラスで且つ当該物体の移動方向の計数値に加算する計数手段Ｓ３３と、
前記計数手段Ｓ３３により計数された物体を、以後の計数対象から除外する計数除外手段Ｓ３３・４３と、
を有することを特徴とする物体情報処理装置。
画像処理手段（検出器・分類器・追跡器）２１は、例えば、Ｄｅｅｐ－ＳＯＲＴ・ＹＯＬＯｖ３を実装することにより構成できる。物体の検出・識別（クラス分け）は、要求される性能によっては、ＹＯＬＯｖ３に代えて、例えばＳＳＤを用いることもできる。検出領域に於ける検出対象物体の挙動等を考慮して、また、物体情報処理装置に要求される精度や性能を考慮して、適宜のオープンソース（ライブラリ／プラットフォーム／ＡＩアプリケーション）を選定してよい。物体の検出と識別（クラス分け）は、同時でもよく、２段階で行うアプリケーションでもよい。また、学習データとしては、カメラの設置箇所から見た撮像対象の所定領域の画角等を考慮した画像を適宜に用いると良好である。
【0011】
［４］発明４
線路を横切って踏切を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、
前記踏切を線路外で且つ道路外の上方の定位置から撮像するように設けられ得るカメラ１０と、
前記カメラ１０から時系列で入力されてくる各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段２１と、
前記画像処理手段２１から得られる前記所定の物体の２つの画像フレーム内の位置に基づいて、前記踏切内での各物体の移動方向をそれぞれ求める移動方向演算手段Ｓ２３と、
前記踏切内での前記所定の物体の通過方向と交差する仮想の分割線Ｌｘ／Ｌｙ／Ｌｏを前記各画像フレーム内に設定する分割線設定手段４５・Ｓ２３と、
前記画像処理手段２１により追跡されている物体の重心位置が前記分割線Ｌｘ／Ｌｙ／Ｌｏを越えると、当該物体を計数して当該物体が属するクラスで且つ当該物体の移動方向の計数値に加算する計数手段Ｓ３３と、
前記計数手段Ｓ３３により計数された物体を、以後の計数対象から除外する計数除外手段Ｓ３３・４３と、
を有することを特徴とする物体情報処理装置。
上記発明２～４に於いて、「定位置から撮像するように設けられ得るカメラ」とは、撮影対象の領域や踏切を持続的に撮影して動画像を出力できるように、当該の領域や踏切の近傍へ運ぶことができ、適宜の支持具等を用いて一時的に固定できる（設置できる）カメラを言う。
［５］発明５
発明４に於いて、
前記分割線設定手段は、前記所定の物体が通過する踏切の手前位置に前記画像フレームのＸ軸と平行に前記仮想の分割線を設定する、
ことを特徴とする物体情報処理装置。
［６］発明６
発明２～発明４の何れかに於いて、
前記分割線設定手段は、前記画像フレームのＸ軸又はＹ軸と平行に前記仮想の分割線を設定する、
ことを特徴とする物体情報処理装置。
［７］発明７
発明３～発明６の何れかに於いて、
前記移動方向演算手段は、物体が前記画像処理手段により最初に検出された画像フレーム内の位置と、当該画像フレームから所定フレーム後の画像フレーム内の当該物体の位置に基づいて、当該物体の移動方向を求める、
ことを特徴とする物体情報処理装置。
［８］発明８
発明１～発明７の何れかに於いて、
前記物体の重心位置は当該物体のバウンディングボックスの中心位置である、
ことを特徴とする物体情報処理装置。
線路を横切って踏切を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、
前記踏切を線路外で且つ道路外の上方の定位置から撮像するように設けられ得るカメラ１０と、
前記カメラ１０から時系列で入力されてくる各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段２１と、
前記画像処理手段２１から得られる前記所定の物体の２つの画像フレーム内の位置に基づいて、前記踏切内での各物体の移動方向をそれぞれ求める移動方向演算手段Ｓ２３と、
前記踏切内での前記所定の物体の通過方向と交差する仮想の分割線Ｌｘ／Ｌｙ／Ｌｏを前記各画像フレーム内に設定する分割線設定手段４５・Ｓ２３と、
前記画像処理手段２１により追跡されている物体の重心位置が前記分割線Ｌｘ／Ｌｙ／Ｌｏを越えると、当該物体を計数して当該物体が属するクラスで且つ当該物体の移動方向の計数値に加算する計数手段Ｓ３３と、
前記計数手段Ｓ３３により計数された物体を、以後の計数対象から除外する計数除外手段Ｓ３３・４３と、
を有することを特徴とする物体情報処理装置。
上記発明２～４に於いて、「定位置から撮像するように設けられ得るカメラ」とは、撮影対象の領域や踏切を持続的に撮影して動画像を出力できるように、当該の領域や踏切の近傍へ運ぶことができ、適宜の支持具等を用いて一時的に固定できる（設置できる）カメラを言う。
［５］発明５
発明４に於いて、
前記分割線設定手段は、前記所定の物体が通過する踏切の手前位置に前記画像フレームのＸ軸と平行に前記仮想の分割線を設定する、
ことを特徴とする物体情報処理装置。
［６］発明６
発明２～発明４の何れかに於いて、
前記分割線設定手段は、前記画像フレームのＸ軸又はＹ軸と平行に前記仮想の分割線を設定する、
ことを特徴とする物体情報処理装置。
［７］発明７
発明３～発明６の何れかに於いて、
前記移動方向演算手段は、物体が前記画像処理手段により最初に検出された画像フレーム内の位置と、当該画像フレームから所定フレーム後の画像フレーム内の当該物体の位置に基づいて、当該物体の移動方向を求める、
ことを特徴とする物体情報処理装置。
［８］発明８
発明１～発明７の何れかに於いて、
前記物体の重心位置は当該物体のバウンディングボックスの中心位置である、
ことを特徴とする物体情報処理装置。
【発明の効果】
【0012】
発明１は、所定の領域を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、前記所定の領域を定位置から撮像することにより得られる時系列の各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段２１と、前記画像処理手段２１により追跡されている物体の重心位置が前記所定の物体の通過方向と交差するように各画像フレーム内に設定される仮想の分割線Ｌｘ／Ｌｙ／Ｌｏを越えると当該物体を計数して当該物体が属するクラスの計数値に加算する計数手段Ｓ３３と、前記計数手段Ｓ３３により計数された物体を以後の計数対象から除外する計数除外手段Ｓ３３・４３とを有する物体情報処理装置であるため、所定の領域を通過する物体を、物体種別（物体が属するクラス別）に重複無く計数することができる。
発明２は、所定の領域を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、前記所定の領域を定位置から撮像するように設けられ得るカメラ１０と、前記カメラ１０から時系列で入力されてくる各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段２１と、前記所定の領域内での前記所定の物体の通過方向と交差する仮想の分割線Ｌｘ／Ｌｙ／Ｌｏを前記各画像フレーム内に設定する分割線設定手段４５・Ｓ２３と、前記画像処理手段２１により追跡されている物体の重心位置が前記分割線Ｌｘ／Ｌｙ／Ｌｏを越えると当該物体を計数して当該物体が属するクラスの計数値に加算する計数手段Ｓ３３と、前記計数手段Ｓ３３により計数された物体を以後の計数対象から除外する計数除外手段Ｓ３３・４３とを有する物体情報処理装置であるため、所定の領域を通過する物体を定位置から撮像するように設けられたカメラ１０から入力される画像に基づいて、所定の領域を通過する物体を、物体種別（物体が属するクラス別）に重複無く計数することができる。
発明３は、所定の領域を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、前記所定の領域を定位置から撮像するように設けられ得るカメラ１０と、前記カメラ１０から時系列で入力されてくる各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段２１と、前記画像処理手段２１から得られる前記所定の物体の２つの画像フレーム内の位置に基づいて前記所定の領域内での各物体の移動方向をそれぞれ求める移動方向演算手段Ｓ２３と、前記所定の領域内での前記所定の物体の通過方向と交差する仮想の分割線Ｌｘ／Ｌｙ／Ｌｏを前記各画像フレーム内に設定する分割線設定手段４５・Ｓ２３と、前記画像処理手段２１により追跡されている物体の重心位置が前記分割線Ｌｘ／Ｌｙ／Ｌｏを越えると当該物体を計数して当該物体が属するクラスで且つ当該物体の移動方向の計数値に加算する計数手段Ｓ３３と、前記計数手段Ｓ３３により計数された物体を以後の計数対象から除外する計数除外手段Ｓ３３・４３とを有する物体情報処理装置であるため、所定の領域を通過する物体を定位置から撮像するように設けられたカメラ１０から入力される画像に基づいて、所定の領域を通過する物体を、物体種別（物体が属するクラス別）且つ移動方向別に重複無く計数することができる。
発明４は、線路を横切って踏切を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、前記踏切を線路外で且つ道路外の上方の定位置から撮像するように設けられ得るカメラ１０と、前記カメラ１０から時系列で入力されてくる各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段２１と、前記画像処理手段２１から得られる前記所定の物体の２つの画像フレーム内の位置に基づいて前記踏切内での各物体の移動方向をそれぞれ求める移動方向演算手段Ｓ２３と、前記踏切内での前記所定の物体の通過方向と交差する仮想の分割線Ｌｘ／Ｌｙ／Ｌｏを前記各画像フレーム内に設定する分割線設定手段４５・Ｓ２３と、前記画像処理手段２１により追跡されている物体の重心位置が前記分割線Ｌｘ／Ｌｙ／Ｌｏを越えると当該物体を計数して当該物体が属するクラスで且つ当該物体の移動方向の計数値に加算する計数手段Ｓ３３と、前記計数手段Ｓ３３により計数された物体を以後の計数対象から除外する計数除外手段Ｓ３３・４３とを有する物体情報処理装置であるため、カメラ１０の設置場所が制約されるにもかかわらず、種々の車種の自動車や人が混在してそれらが種々の速度で横断する／一時停止する／戻るという不規則な動きをするにもかかわらず、踏切内の路面の凹凸が大きいため横断時に自動車が不規則に上下動するにもかかわらず、小物体（例：人、自転車）が大物体（大型車両）の影に隠れ得るにもかかわらず、踏切を通過する各種の車両や人を、物体種別（物体が属するクラス別；車種／人／自転車等別）且つ移動方向別に重複無く計数することができる。
発明５は、発明４に於いて、前記分割線設定手段は前記所定の物体が通過する踏切の手前位置に前記画像フレームのＸ軸と平行に前記仮想の分割線を設定する物体情報処理装置であるため、発明４の効果に加えて、分割線を越えたか否かの判定処理が容易となる効果がある。
発明６は、発明２～発明４の何れかに於いて、前記分割線設定手段は前記画像フレームのＸ軸又はＹ軸と平行に前記仮想の分割線を設定する物体情報処理装置であるため、発明２～発明４の効果に加えて、分割線を越えたか否かの判定処理が容易となる効果がある。
発明７は、発明３～発明６の何れかに於いて、前記移動方向演算手段は物体が前記画像処理手段により最初に検出された画像フレーム内の位置と当該画像フレームから所定フレーム後の画像フレーム内の当該物体の位置に基づいて当該物体の移動方向を求める物体情報処理装置であるため、発明３～発明６に於いて、移動方向を求める具体的手法を提供できる効果がある。
発明８は、発明１～発明７の何れかに於いて、前記物体の重心位置は当該物体のバウンディングボックスの中心位置である物体情報処理装置であるため、発明１～発明７に於いて、重心を容易に求めることができる効果がある。
発明２は、所定の領域を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、前記所定の領域を定位置から撮像するように設けられ得るカメラ１０と、前記カメラ１０から時系列で入力されてくる各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段２１と、前記所定の領域内での前記所定の物体の通過方向と交差する仮想の分割線Ｌｘ／Ｌｙ／Ｌｏを前記各画像フレーム内に設定する分割線設定手段４５・Ｓ２３と、前記画像処理手段２１により追跡されている物体の重心位置が前記分割線Ｌｘ／Ｌｙ／Ｌｏを越えると当該物体を計数して当該物体が属するクラスの計数値に加算する計数手段Ｓ３３と、前記計数手段Ｓ３３により計数された物体を以後の計数対象から除外する計数除外手段Ｓ３３・４３とを有する物体情報処理装置であるため、所定の領域を通過する物体を定位置から撮像するように設けられたカメラ１０から入力される画像に基づいて、所定の領域を通過する物体を、物体種別（物体が属するクラス別）に重複無く計数することができる。
発明３は、所定の領域を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、前記所定の領域を定位置から撮像するように設けられ得るカメラ１０と、前記カメラ１０から時系列で入力されてくる各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段２１と、前記画像処理手段２１から得られる前記所定の物体の２つの画像フレーム内の位置に基づいて前記所定の領域内での各物体の移動方向をそれぞれ求める移動方向演算手段Ｓ２３と、前記所定の領域内での前記所定の物体の通過方向と交差する仮想の分割線Ｌｘ／Ｌｙ／Ｌｏを前記各画像フレーム内に設定する分割線設定手段４５・Ｓ２３と、前記画像処理手段２１により追跡されている物体の重心位置が前記分割線Ｌｘ／Ｌｙ／Ｌｏを越えると当該物体を計数して当該物体が属するクラスで且つ当該物体の移動方向の計数値に加算する計数手段Ｓ３３と、前記計数手段Ｓ３３により計数された物体を以後の計数対象から除外する計数除外手段Ｓ３３・４３とを有する物体情報処理装置であるため、所定の領域を通過する物体を定位置から撮像するように設けられたカメラ１０から入力される画像に基づいて、所定の領域を通過する物体を、物体種別（物体が属するクラス別）且つ移動方向別に重複無く計数することができる。
発明４は、線路を横切って踏切を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、前記踏切を線路外で且つ道路外の上方の定位置から撮像するように設けられ得るカメラ１０と、前記カメラ１０から時系列で入力されてくる各画像フレームから前記１種又は２種以上の所定の物体を検出及び識別し且つ追跡する画像処理手段２１と、前記画像処理手段２１から得られる前記所定の物体の２つの画像フレーム内の位置に基づいて前記踏切内での各物体の移動方向をそれぞれ求める移動方向演算手段Ｓ２３と、前記踏切内での前記所定の物体の通過方向と交差する仮想の分割線Ｌｘ／Ｌｙ／Ｌｏを前記各画像フレーム内に設定する分割線設定手段４５・Ｓ２３と、前記画像処理手段２１により追跡されている物体の重心位置が前記分割線Ｌｘ／Ｌｙ／Ｌｏを越えると当該物体を計数して当該物体が属するクラスで且つ当該物体の移動方向の計数値に加算する計数手段Ｓ３３と、前記計数手段Ｓ３３により計数された物体を以後の計数対象から除外する計数除外手段Ｓ３３・４３とを有する物体情報処理装置であるため、カメラ１０の設置場所が制約されるにもかかわらず、種々の車種の自動車や人が混在してそれらが種々の速度で横断する／一時停止する／戻るという不規則な動きをするにもかかわらず、踏切内の路面の凹凸が大きいため横断時に自動車が不規則に上下動するにもかかわらず、小物体（例：人、自転車）が大物体（大型車両）の影に隠れ得るにもかかわらず、踏切を通過する各種の車両や人を、物体種別（物体が属するクラス別；車種／人／自転車等別）且つ移動方向別に重複無く計数することができる。
発明５は、発明４に於いて、前記分割線設定手段は前記所定の物体が通過する踏切の手前位置に前記画像フレームのＸ軸と平行に前記仮想の分割線を設定する物体情報処理装置であるため、発明４の効果に加えて、分割線を越えたか否かの判定処理が容易となる効果がある。
発明６は、発明２～発明４の何れかに於いて、前記分割線設定手段は前記画像フレームのＸ軸又はＹ軸と平行に前記仮想の分割線を設定する物体情報処理装置であるため、発明２～発明４の効果に加えて、分割線を越えたか否かの判定処理が容易となる効果がある。
発明７は、発明３～発明６の何れかに於いて、前記移動方向演算手段は物体が前記画像処理手段により最初に検出された画像フレーム内の位置と当該画像フレームから所定フレーム後の画像フレーム内の当該物体の位置に基づいて当該物体の移動方向を求める物体情報処理装置であるため、発明３～発明６に於いて、移動方向を求める具体的手法を提供できる効果がある。
発明８は、発明１～発明７の何れかに於いて、前記物体の重心位置は当該物体のバウンディングボックスの中心位置である物体情報処理装置であるため、発明１～発明７に於いて、重心を容易に求めることができる効果がある。
【図面の簡単な説明】
【0013】
【図1】実施の形態の物体情報処理装置の構成と該物体情報処理装置各部の機能及びデータの流れを示すブロック図。
【図2】画像処理部２１での処理により検出・識別（分類，クラス分け）・追跡される各物体のデータが記録されるテーブル２３３の説明図。
【図3】（ａ）は画像処理装置２０から送られて来るデータに基づいて制御装置３０が生成・記録するデータテーブル４１の説明図（バウンディングボックスＢＢＸの左下座標と右上座標は図示を省略）、（ｂ）は制御装置３０での処理により生成されるカウント管理データ４３の説明図、（ｃ）は操作入力装置６０からの操作入力により予め設定されて保持されている分割線データを示す説明図。
【図4】画像処理部２１での処理により検出・識別（分類，クラス分け）・追跡されるバウンディングボックスの位置・サイズを表すデータとして「中心位置座標」「幅」「サイズ」が出力される場合の図２と図３に相当する説明図。（ａ）は画像処理部２１での処理により検出・識別（分類，クラス分け）・追跡される各物体のデータが記録されるテーブル２３３と、画像処理装置２０から送られて来るデータに基づいて制御装置３０が生成及び記録するデータテーブル４１の一部の説明図、（ｂ）は（ａ）のデータテーブル４１の残部の説明図、（ｃ）は制御装置３０での処理により生成されるカウント管理データ４３の説明図、（ｄ）は操作入力装置６０からの操作入力により予め設定されて保持されている分割線データを示す説明図。
【図6】踏切の画像に分割線Ｌｘ／Ｌｙ／Ｌｏを例示する説明図。
【図7】通過方向（移動方向）の説明図。
【図8】計数・集計データの時間的推移を例示する説明図。
【発明を実施するための形態】
【0014】
図面を参照して、本発明の実施の形態を説明する。図１は実施の形態の物体情報処理装置各部の機能とデータの流れを示すブロック図、図２は画像処理装置２０の記憶装置２３が持つテーブル２３３の説明図、図３は制御装置３０での処理結果等を記録する記憶装置４０が持つデータテーブル４１とカウント管理４３と分割線データ４５の説明図、図５は制御装置３０での処理を示すフローチャートである。
【0015】
図１に示すように、本実施の形態の物体情報処理装置は、カメラ１０と、カメラ１０からの画像を入力して処理する画像処理装置２０と、画像処理装置２０から出力される画像等を表示する表示装置５０と、キーボード等で構成される操作入力装置６０と、記憶装置４０と、これら各部を制御する制御装置３０を有する。これら各装置は独立の装置でもよく、また、一体型の装置でもよい。また、画像処理装置２０や制御装置３０は、一般的には、画像処理基盤や制御基盤として実装される。また、記憶装置４０は、メモリやハードディスク或いはＳＳＤ等のような異なる部材で構成されていてもよい。
【0016】
カメラ１０は、踏切等の撮像対象領域を定位置から撮像し得る装置であり、例えば、３０ｆｐｓの動画像を画像処理装置２０へ出力する。定位置としては、踏切外で且つ踏切を横断する道路外の位置であって、斜め上方から踏切を撮像できるような位置である。例えば、図６のような画角で踏切を撮像できる位置である。かかる位置に適宜の支持具等を用いてカメラ１０を一時的に固定して、所望の動画像を撮像する。
【0017】
画像処理装置２０は、カメラ１０から入力される動画像の各画像フレームから１種又は２種以上の所定の物体（人、自転車、トラック、乗用車、自動二輪車等）を検出及び識別し且つ追跡する画像処理部２１と、記憶装置２３を有する。記憶装置２３は、画像処理部２１で検出・識別され、追跡されている各物体のデータを記録するテーブル２３３（図２参照）と、画像処理部２１での処理後の画像データ（例：元の画像データにバウンディングボックスＢＢＸを重ねて表示する画像データ）を記憶するとともに適宜のタイミングで表示装置５０へ出力する記憶部２３１を有する。表示装置５０は、この動画像を、制御装置３０からの指示に応じて表示する。
【0018】
画像処理部２１としては、撮像対象の特性等（通過する物体の種別や通過速度或いはオクルージョン等の頻度や態様等）に応じて要求される性能・精度の画像処理（各物体の検出・識別・追跡）を行い得る公知のＡＩアプリケーションを用いることができる。本実施の形態では、Ｄｅｅｐ－ＳＯＲＴ－ＹＯＬＯ．ｖ３に基づく構成を採用しているが、物体の通過速度や要求される検出等の速度、或いは、オクルージョンの頻度等によって適宜に他の公知のＡＩアプリケーションを採用してもよい。例えば、ＹＯＬＯ（You Only Look Once）に代えて、ＳＳＤ（Single Shot Multibox Detector）や、Ｆａｓｔｅｒ－Ｒ－ＣＮＮ等を採用してもよい。
【0019】
制御装置３０は、操作入力装置（キーボード等）からの操作入力に応じて、各装置を制御する。例えば、操作入力装置から「撮像開始」が指示されると、カメラ１０に撮像開始を指示する。これに応じてカメラ１０は撮像を開始し、動画像の時系列の各画像フレームを画像処理装置２０の画像処理部２１へ出力する。本実施の形態では、カメラ１０が出力する動画像は、３０ｆｐｓである。画像処理部２１は、カメラ１０から入力されて来る動画像の各画像フレームから、所定の物体（例：人、自転車、乗用車、トラック、自動二輪車）を検出及び識別（分類，クラス分け）するとともに、追跡し、各物体のデータ（バウンディングボックスＢＢＸの位置・サイズ、物体の種別、ＩＤ、画像フレームの番号）を、テーブル２３３に記録するとともに、制御装置３０へ出力する。
【0020】
制御装置３０は、画像処理部２１から現在の画像フレームのデータが入力されると、図５に示す処理を実行する。即ち、現在の画像フレーム内の各物体の移動方向、重心（バウンディングボックスＢＢＸの中心）位置、各物体の重心位置と仮想の分割線の位置との比較・分割線を越えたか否かの判断、越えた場合の計数、物体別・移動方向別の集計、計数済みの物体の計数済みフラグのセット等の処理を実行する。これにより、カウント管理データ４３が得られる。カウント管理データとは、物体種別・移動方向別の通過数の集計値や、計数済みの物体を管理するフラグ（ＩＤに対応付けられたフラグ）である。
【0021】
次に、物体情報処理装置での処理に則して、本実施の形態を説明する。
操作入力装置（例：キーボード等）から操作入力される指示に応じて、制御装置３０がカメラ１０に対して撮像を指示し、カメラ１０は撮像を開始する。
カメラ１０から画像処理装置２０へ画像フレームが入力されると、画像処理装置２０の画像処理部２１は、当該画像フレームから物体を検出するとともに識別し、且つ、物体を追跡する。「物体を追跡する」とは、追跡を開始する、又は、先行画像フレームにて既に追跡が開始されている物体の場合は当該物体の追跡を継続する、ことを言う。また、「識別し」とは、本実施の形態では、踏切を通過する物体を、人、トラック、乗用車、自動二輪車、自転車に分類する（クラス分けする）ことを言う。
操作入力装置（例：キーボード等）から操作入力される指示に応じて、制御装置３０がカメラ１０に対して撮像を指示し、カメラ１０は撮像を開始する。
カメラ１０から画像処理装置２０へ画像フレームが入力されると、画像処理装置２０の画像処理部２１は、当該画像フレームから物体を検出するとともに識別し、且つ、物体を追跡する。「物体を追跡する」とは、追跡を開始する、又は、先行画像フレームにて既に追跡が開始されている物体の場合は当該物体の追跡を継続する、ことを言う。また、「識別し」とは、本実施の形態では、踏切を通過する物体を、人、トラック、乗用車、自動二輪車、自転車に分類する（クラス分けする）ことを言う。
【0022】
検出等された各物体のデータは、画像処理装置２０が持つ記憶装置２３のデータテーブル２３３（図２参照）に追加・記録される。データとしては、検出・識別・追跡に係る各物体のバウンディングボックスＢＢＸの位置・サイズと、当該各物体が属するクラス（物体の種別；人／トラック／乗用車／自動二輪車／自転車）を挙げることができる。これらのデータが、当該の物体に画像処理部２１が付与したＩＤに対応付けて、データテーブル２３３に記録される。
【0023】
バウンディングボックスＢＢＸの位置・サイズは、本実施の形態では、画像処理部（物体の検出・識別・追跡機能を奏する手段）２１がＤｅｅｐ－ＳＯＲＴ・ＹＯＬＯｖ３に基づいて構成されているため左下座標と右上座標で規定されているが、図４に例示するようにバウンディングボックスＢＢＸの中心座標と幅及び高さで規定されてもよい。なお、画像処理部２１は、本発明の機能を実現し得るのであれば、他の公知のＡＩアプリケーション（検出器・分類（識別）器・追跡器）に基づいて構成されてもよい。例えば、ＹＯＬＯに代えてＳＳＤを用いることも考慮され得る。「本発明の機能を実現し得る」とは、例えば、踏切を通過する自動車（トラック、乗用車、自動二輪車等）、人、自転車等を検出・識別・追跡する本実施の形態の場合であれば、それらを、リアルタイムで、且つ、要求される精度で、検出・識別・追跡し得ることを言う。
【0024】
カメラ１０から入力された現在の画像フレーム内から各物体を検出・識別・追跡する処理（画像処理部２１の処理）が終了すると、データテーブル２３３へのデータの追加・記録と並行して、当該現在の画像フレームに関する制御装置３０での処理（図５参照）がスタートする。
【0025】
まず、当該現在の画像フレーム内から検出された物体（人／トラック／乗用車／自動二輪車／自転車）のデータを、画像処理部２１から取得する（Ｓ１１）。
なお、取得すべきデータが無かった場合、即ち、当該の画像フレーム内から物体が検出されなかった場合（Ｓ２１でＮＯ）は、当該の画像フレームに関する処理を終了して、次の画像フレームまで待機する。
なお、取得すべきデータが無かった場合、即ち、当該の画像フレーム内から物体が検出されなかった場合（Ｓ２１でＮＯ）は、当該の画像フレームに関する処理を終了して、次の画像フレームまで待機する。
【0026】
当該現在の画像フレーム内から何らかの物体が検出・識別された場合は（Ｓ２１でＹＥＳ）、ステップＳ２３へ進む。ステップＳ２３では、
＊検出・識別した各物体のデータ（各物体のＩＤ、バウンディングボックスＢＢＸの位置・サイズ、種別）を、記憶装置４０のデータテーブル４１に追加・記録する。前述のように、本実施の形態では、バウンディングボックスＢＢＸの位置・サイズは、左下座標と右上座標で規定されているため、これらから当該バウンディングボックスＢＢＸの中心位置座標を求め、該中心位置座標も、データテーブル４１に追加・記録する（図３（ａ）参照）。なお、図３（ａ）では、左下座標と右上座標の図示は省略している。
＊検出・識別した各物体のデータ（各物体のＩＤ、バウンディングボックスＢＢＸの位置・サイズ、種別）を、記憶装置４０のデータテーブル４１に追加・記録する。前述のように、本実施の形態では、バウンディングボックスＢＢＸの位置・サイズは、左下座標と右上座標で規定されているため、これらから当該バウンディングボックスＢＢＸの中心位置座標を求め、該中心位置座標も、データテーブル４１に追加・記録する（図３（ａ）参照）。なお、図３（ａ）では、左下座標と右上座標の図示は省略している。
【0027】
また、ステップＳ２３では、
＊追跡中の物体の移動方向を求める。本実施の形態では、或る物体が最初に検出された画像フレーム内の位置と、該最初に検出された画像フレームから１０フレーム経過後の画像フレーム内の当該或る物体の位置に基づいて、当該或る物体の移動方向が上方向であるか下方向であるかを判別し、その結果を、データテーブル４１に記録する。上方向とは図６の踏切を手前側から奥側へ通過する場合（図７参照）を言い、下方向とは奥側から手前側へ通過する場合を言う。
例えば、図２及び図３（ａ）に示すように、ＩＤ＝１の物体（乗用車）は、フレーム番号４で初めて検出され、そのときの中心位置座標は（x1-1，y1-1）である。また、その１０フレーム経過後のフレーム番号１４での中心位置座標は（x1-10，y1-10）である。
ここで、
x1-1＜x1-10、 y1-1＜y1-10
が成り立つとすると、ＩＤ＝１の物体（乗用車）は、図６内を、左下から右上の方向へ移動したと言える。これより、移動方向として「上方向」が１０フレーム後のフレーム番号１４で求まり、データテーブル４１に記録される。
同様に、図２及び図３（ａ）に示すように、ＩＤ＝２の物体（人）は、フレーム番号５で初めて検出され、そのときの中心位置座標は（x2-1，y2-1）である。また、その１０フレーム経過後のフレーム番号１５での中心位置座標は（x2-10，y2-10）である。
ここで、
x2-1＞x2-10、 y2-1＞y2-10
が成り立つとすると、ＩＤ＝２の物体（人）は、図６内を、右上から左下の方向へ移動したと言える。これより、移動方向として「下方向」が１０フレーム後のフレーム番号１５で求まり、データテーブル４１に記録される。
＊追跡中の物体の移動方向を求める。本実施の形態では、或る物体が最初に検出された画像フレーム内の位置と、該最初に検出された画像フレームから１０フレーム経過後の画像フレーム内の当該或る物体の位置に基づいて、当該或る物体の移動方向が上方向であるか下方向であるかを判別し、その結果を、データテーブル４１に記録する。上方向とは図６の踏切を手前側から奥側へ通過する場合（図７参照）を言い、下方向とは奥側から手前側へ通過する場合を言う。
例えば、図２及び図３（ａ）に示すように、ＩＤ＝１の物体（乗用車）は、フレーム番号４で初めて検出され、そのときの中心位置座標は（x1-1，y1-1）である。また、その１０フレーム経過後のフレーム番号１４での中心位置座標は（x1-10，y1-10）である。
ここで、
x1-1＜x1-10、 y1-1＜y1-10
が成り立つとすると、ＩＤ＝１の物体（乗用車）は、図６内を、左下から右上の方向へ移動したと言える。これより、移動方向として「上方向」が１０フレーム後のフレーム番号１４で求まり、データテーブル４１に記録される。
同様に、図２及び図３（ａ）に示すように、ＩＤ＝２の物体（人）は、フレーム番号５で初めて検出され、そのときの中心位置座標は（x2-1，y2-1）である。また、その１０フレーム経過後のフレーム番号１５での中心位置座標は（x2-10，y2-10）である。
ここで、
x2-1＞x2-10、 y2-1＞y2-10
が成り立つとすると、ＩＤ＝２の物体（人）は、図６内を、右上から左下の方向へ移動したと言える。これより、移動方向として「下方向」が１０フレーム後のフレーム番号１５で求まり、データテーブル４１に記録される。
【0028】
さらに、ステップＳ２３では、
＊追跡中の物体の位置と、仮想の分割線Ｌｘ／Ｌｙ／Ｌｏの位置を、比較する。
本実施の形態では、仮想の分割線として、図６内に実線で示す分割線Ｌｘを採用している。つまり、踏切の手前側に、画像フレーム内のｘ座標軸と平行に設けた線Ｌｘを、分割線として採用している。この分割線Ｌｘは、操作入力装置６０からの操作入力に応じて予め設定されて、記憶装置４０の所定の領域４５に保持されているものであり、
ｙ＝ａｘ＋ｂ
として表される。分割線Ｌｘの場合、ａ＝０，したがって、「ｙ＝ｂ」である。
＊追跡中の物体の位置と、仮想の分割線Ｌｘ／Ｌｙ／Ｌｏの位置を、比較する。
本実施の形態では、仮想の分割線として、図６内に実線で示す分割線Ｌｘを採用している。つまり、踏切の手前側に、画像フレーム内のｘ座標軸と平行に設けた線Ｌｘを、分割線として採用している。この分割線Ｌｘは、操作入力装置６０からの操作入力に応じて予め設定されて、記憶装置４０の所定の領域４５に保持されているものであり、
ｙ＝ａｘ＋ｂ
として表される。分割線Ｌｘの場合、ａ＝０，したがって、「ｙ＝ｂ」である。
【0029】
例えば、ＩＤ＝１の物体（乗用車）に着目する。
当該の物体（ＩＤ＝１）がフレーム番号６４に至ったとき、当該物体の重心（中心位置座標（x1-60，y1-60））が、初めて分割線Ｌｘを越えたとする。
つまり、当該ＩＤ＝１物体の「計数済みフラグ＝０」の条件下で、
y1-60＞ｂ
になったとする。
これにより、ステップＳ３１での判定が「ＹＥＳ」となり、当該ＩＤ＝１物体のデータテーブル４１内の「境界越えデータ」が「１」にセットされる（Ｓ３３）。
また、当該ＩＤ＝１物体の、移動方向が「上方向」のカウント値が「＋１」され、計数済みフラグが「１」にセットされる（Ｓ３３）。これらは、記憶装置４０内の「カウント管理」に記録される（Ｓ３３）。
このように、計数済みフラグで計数の可否（或る物体が分割線を越えたときに当該物体が属するクラスの通過数として計数するか否か）を管理しているため、人が踏切内で少し戻った後に再び分割線を越えた場合や、踏切内の凹凸で自動車が微小に上下動して分割線を複数回に渡って越える・戻るを繰り返した場合でも、同一の物体を重複カウントすることが防止される。
当該の物体（ＩＤ＝１）がフレーム番号６４に至ったとき、当該物体の重心（中心位置座標（x1-60，y1-60））が、初めて分割線Ｌｘを越えたとする。
つまり、当該ＩＤ＝１物体の「計数済みフラグ＝０」の条件下で、
y1-60＞ｂ
になったとする。
これにより、ステップＳ３１での判定が「ＹＥＳ」となり、当該ＩＤ＝１物体のデータテーブル４１内の「境界越えデータ」が「１」にセットされる（Ｓ３３）。
また、当該ＩＤ＝１物体の、移動方向が「上方向」のカウント値が「＋１」され、計数済みフラグが「１」にセットされる（Ｓ３３）。これらは、記憶装置４０内の「カウント管理」に記録される（Ｓ３３）。
このように、計数済みフラグで計数の可否（或る物体が分割線を越えたときに当該物体が属するクラスの通過数として計数するか否か）を管理しているため、人が踏切内で少し戻った後に再び分割線を越えた場合や、踏切内の凹凸で自動車が微小に上下動して分割線を複数回に渡って越える・戻るを繰り返した場合でも、同一の物体を重複カウントすることが防止される。
【0030】
以上のようにして、現在の画像フレームに関する制御装置３０での処理（図５参照）が行われる。即ち、現在の画像フレーム内の各物体（人／トラック／乗用車／自動二輪車／自転車）について、物体種別・移動方向別の通過数が計数されて、現在までの計数値が集計される。この結果は、例えば、制御装置３０が内蔵する時計（不図示）のデータと組み合わせることで、図８のように表示され得る。時々刻々の通過数の変動をグラフ化する等することができる。
【0031】
上記では、踏切を通過する人、乗用車、トラック、自動二輪車、自転車を計数する場合に即して説明したが、高速道路のＳＡやＰＡの入口／出口の流量を乗用車／トラック／自動二輪車等の車種別に計数・集計する場合や、船への積み荷数量や貨物車両の往来についても略同様に処理可能である。
【符号の説明】
【0032】
１０ カメラ
２０ 画像処理装置
２１ 画像処理部
２３３ データテーブル
３０ 制御装置
４０ 記憶装置
４１ データテーブル
４３ カウント管理データ
４５ 分割線データ
５０ 表示装置
６０ 操作入力装置
２０ 画像処理装置
２１ 画像処理部
２３３ データテーブル
３０ 制御装置
４０ 記憶装置
４１ データテーブル
４３ カウント管理データ
４５ 分割線データ
５０ 表示装置
６０ 操作入力装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【手続補正書】
【提出日】2021-02-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
線路を横切って踏切を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、
前記踏切を踏切外上方の定位置から撮像することにより得られる時系列の各画像フレームから前記所定の物体を各々検出及び識別し且つ追跡する画像処理手段と、
前記画像処理手段により検出される各物体について、それぞれ、第１の画像フレーム内の物体の位置と、該第１の画像フレームから所定フレーム後に離れた第２の画像フレーム内の当該物体の位置に基づいて、当該物体の移動方向を求める移動方向演算手段と、
前記画像処理手段による追跡中の物体の重心位置が、前記通過の方向と交差するように各画像フレーム内に設定される仮想の分割線を越えると、当該物体を計数して当該物体が属するクラスで且つ当該物体の移動方向の集計値に加算する計数手段と、
前記計数手段により計数された物体を、以後の計数対象から除外する計数除外手段と、
を有することを特徴とする物体情報処理装置。
前記踏切を踏切外上方の定位置から撮像することにより得られる時系列の各画像フレームから前記所定の物体を各々検出及び識別し且つ追跡する画像処理手段と、
前記画像処理手段により検出される各物体について、それぞれ、第１の画像フレーム内の物体の位置と、該第１の画像フレームから所定フレーム後に離れた第２の画像フレーム内の当該物体の位置に基づいて、当該物体の移動方向を求める移動方向演算手段と、
前記画像処理手段による追跡中の物体の重心位置が、前記通過の方向と交差するように各画像フレーム内に設定される仮想の分割線を越えると、当該物体を計数して当該物体が属するクラスで且つ当該物体の移動方向の集計値に加算する計数手段と、
前記計数手段により計数された物体を、以後の計数対象から除外する計数除外手段と、
を有することを特徴とする物体情報処理装置。
【請求項2】
請求項１に於いて、
前記移動方向演算手段は、前記画像処理手段により検出される各物体について、それぞれ、物体が最初に検出された第１の画像フレーム内の位置と、該第１の画像フレームから所定フレーム後に離れた第２の画像フレーム内の当該物体の位置に基づいて、当該物体の移動方向を求める、
ことを特徴とする物体情報処理装置。
前記移動方向演算手段は、前記画像処理手段により検出される各物体について、それぞれ、物体が最初に検出された第１の画像フレーム内の位置と、該第１の画像フレームから所定フレーム後に離れた第２の画像フレーム内の当該物体の位置に基づいて、当該物体の移動方向を求める、
ことを特徴とする物体情報処理装置。
【請求項3】
請求項１又は請求項２に於いて、
さらに、踏切外で且つ該踏切と交差する道路外の上方の定位置から当該踏切の全景を撮像するように設けられ得るカメラを有し、
前記画像処理手段は、前記カメラから時系列で入力されてくる各画像フレームから前記所定の物体を各々検出及び識別し且つ追跡する、
ことを特徴とする物体情報処理装置。
さらに、踏切外で且つ該踏切と交差する道路外の上方の定位置から当該踏切の全景を撮像するように設けられ得るカメラを有し、
前記画像処理手段は、前記カメラから時系列で入力されてくる各画像フレームから前記所定の物体を各々検出及び識別し且つ追跡する、
ことを特徴とする物体情報処理装置。
【請求項4】
請求項１～請求項３の何れかに於いて、
前記分割線は、踏切外で且つ該踏切と交差する道路外の上方の定位置から当該踏切の全景を撮像するように設けられたカメラから見て当該踏切の手前位置に設定されている、
ことを特徴とする物体情報処理装置。
前記分割線は、踏切外で且つ該踏切と交差する道路外の上方の定位置から当該踏切の全景を撮像するように設けられたカメラから見て当該踏切の手前位置に設定されている、
ことを特徴とする物体情報処理装置。
【請求項5】
請求項１～請求項３の何れかに於いて、
前記分割線は、前記画像フレームのＸ軸又はＹ軸と平行に設定されている、
ことを特徴とする物体情報処理装置。
前記分割線は、前記画像フレームのＸ軸又はＹ軸と平行に設定されている、
ことを特徴とする物体情報処理装置。
【請求項6】
請求項１～請求項５の何れかに於いて、
前記物体の重心位置は当該物体のバウンディングボックスの中心位置である、
ことを特徴とする物体情報処理装置。
前記物体の重心位置は当該物体のバウンディングボックスの中心位置である、
ことを特徴とする物体情報処理装置。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【0009】
本発明の例を、下記［１］～［６］に記す。なお、この項（［課題を解決するための手段］）と次項（［発明の効果］）に於いて、符号は理解を容易にするために付したものであり、本発明を符号の構成に限定する趣旨ではない。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【0010】
［１］発明１
線路を横切って踏切を通行する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、
前記踏切を踏切外上方の定位置から撮像することにより得られる時系列の各画像フレームから前記所定の物体を各々検出及び識別し且つ追跡する画像処理手段２１と、
前記画像処理手段２１により検出される各物体について、それぞれ、第１の画像フレーム内の物体の位置と、該第１の画像フレームから所定フレーム後に離れた第２の画像フレーム内の当該物体の位置に基づいて、当該物体の移動方向を求める移動方向演算手段と、
前記画像処理手段２１による追跡中の物体の重心位置が、前記通行の方向と交差するように各画像フレーム内に設定される仮想の分割線を越えると、当該物体を計数して当該物体が属するクラスで且つ当該物体の移動方向の集計値に加算する計数手段Ｓ３３と、
前記計数手段Ｓ３３により計数された物体を、以後の計数対象から除外する計数除外手段Ｓ３３・４３と、
を有することを特徴とする物体情報処理装置。
［２］発明２
発明１に於いて、
前記移動方向演算手段は、前記画像処理手段２１により検出される各物体について、それぞれ、物体が最初に検出された第１の画像フレーム内の位置と、該第１の画像フレームから所定フレーム後に離れた第２の画像フレーム内の当該物体の位置に基づいて、当該物体の移動方向を求める、
ことを特徴とする物体情報処理装置。
［３］発明３
発明１又は発明２に於いて、
さらに、踏切外で且つ該踏切と交差する道路外の上方の定位置から当該踏切の全景を撮像するように設けられ得るカメラ１０を有し、
前記画像処理手段２１は、前記カメラ１０から時系列で入力されてくる各画像フレームから前記所定の物体を各々検出及び識別し且つ追跡する、
ことを特徴とする物体情報処理装置。
画像処理手段（検出器・分類器・追跡器）２１は、例えば、Ｄｅｅｐ－ＳＯＲＴ・ＹＯＬＯｖ３を実装することにより構成できる。物体の検出・識別（クラス分け）は、要求される性能によっては、ＹＯＬＯｖ３に代えて、例えばＳＳＤを用いることもできる。検出領域に於ける検出対象物体の挙動等を考慮して、また、物体情報処理装置に要求される精度や性能を考慮して、適宜のオープンソース（ライブラリ／プラットフォーム／ＡＩアプリケーション）を選定してよい。物体の検出と識別（クラス分け）は、同時でもよく、２段階で行うアプリケーションでもよい。また、学習データとしては、カメラの設置箇所から見た撮像対象の所定領域の画角等を考慮した画像を適宜に用いると良好である。
線路を横切って踏切を通行する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、
前記踏切を踏切外上方の定位置から撮像することにより得られる時系列の各画像フレームから前記所定の物体を各々検出及び識別し且つ追跡する画像処理手段２１と、
前記画像処理手段２１により検出される各物体について、それぞれ、第１の画像フレーム内の物体の位置と、該第１の画像フレームから所定フレーム後に離れた第２の画像フレーム内の当該物体の位置に基づいて、当該物体の移動方向を求める移動方向演算手段と、
前記画像処理手段２１による追跡中の物体の重心位置が、前記通行の方向と交差するように各画像フレーム内に設定される仮想の分割線を越えると、当該物体を計数して当該物体が属するクラスで且つ当該物体の移動方向の集計値に加算する計数手段Ｓ３３と、
前記計数手段Ｓ３３により計数された物体を、以後の計数対象から除外する計数除外手段Ｓ３３・４３と、
を有することを特徴とする物体情報処理装置。
［２］発明２
発明１に於いて、
前記移動方向演算手段は、前記画像処理手段２１により検出される各物体について、それぞれ、物体が最初に検出された第１の画像フレーム内の位置と、該第１の画像フレームから所定フレーム後に離れた第２の画像フレーム内の当該物体の位置に基づいて、当該物体の移動方向を求める、
ことを特徴とする物体情報処理装置。
［３］発明３
発明１又は発明２に於いて、
さらに、踏切外で且つ該踏切と交差する道路外の上方の定位置から当該踏切の全景を撮像するように設けられ得るカメラ１０を有し、
前記画像処理手段２１は、前記カメラ１０から時系列で入力されてくる各画像フレームから前記所定の物体を各々検出及び識別し且つ追跡する、
ことを特徴とする物体情報処理装置。
画像処理手段（検出器・分類器・追跡器）２１は、例えば、Ｄｅｅｐ－ＳＯＲＴ・ＹＯＬＯｖ３を実装することにより構成できる。物体の検出・識別（クラス分け）は、要求される性能によっては、ＹＯＬＯｖ３に代えて、例えばＳＳＤを用いることもできる。検出領域に於ける検出対象物体の挙動等を考慮して、また、物体情報処理装置に要求される精度や性能を考慮して、適宜のオープンソース（ライブラリ／プラットフォーム／ＡＩアプリケーション）を選定してよい。物体の検出と識別（クラス分け）は、同時でもよく、２段階で行うアプリケーションでもよい。また、学習データとしては、カメラの設置箇所から見た撮像対象の所定領域の画角等を考慮した画像を適宜に用いると良好である。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【0011】
［４］発明４
発明１～発明３の何れかに於いて、
前記分割線は、踏切外で且つ該踏切と交差する道路外の上方の定位置から当該踏切の全景を撮像するように設けられたカメラ１０から見て当該踏切の手前位置に設定されている、
ことを特徴とする物体情報処理装置。
上記に於いて、「定位置から当該踏切の全景を撮像するように設けられ得るカメラ」とは、撮影対象の踏切を持続的に撮影して動画像を出力できるように、当該の踏切の近傍へ運ぶことができ、適宜の支持具等を用いて一時的に固定できる（設置できる）カメラを言う。
［５］発明５
発明１～発明３の何れかに於いて、
前記分割線は、前記画像フレームのＸ軸又はＹ軸と平行に設定されている、
ことを特徴とする物体情報処理装置。
［６］発明６
発明１～発明５の何れかに於いて、
前記物体の重心位置は当該物体のバウンディングボックスの中心位置である、
ことを特徴とする物体情報処理装置。
発明１～発明３の何れかに於いて、
前記分割線は、踏切外で且つ該踏切と交差する道路外の上方の定位置から当該踏切の全景を撮像するように設けられたカメラ１０から見て当該踏切の手前位置に設定されている、
ことを特徴とする物体情報処理装置。
上記に於いて、「定位置から当該踏切の全景を撮像するように設けられ得るカメラ」とは、撮影対象の踏切を持続的に撮影して動画像を出力できるように、当該の踏切の近傍へ運ぶことができ、適宜の支持具等を用いて一時的に固定できる（設置できる）カメラを言う。
［５］発明５
発明１～発明３の何れかに於いて、
前記分割線は、前記画像フレームのＸ軸又はＹ軸と平行に設定されている、
ことを特徴とする物体情報処理装置。
［６］発明６
発明１～発明５の何れかに於いて、
前記物体の重心位置は当該物体のバウンディングボックスの中心位置である、
ことを特徴とする物体情報処理装置。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【0012】
本発明によると、踏切内の路面の凹凸が大きいため横断時に不規則に上下動するにもかかわらず、踏切を通過する各種の車両や人を、物体種別（物体が属するクラス別；車種／人／自転車等別）且つ移動方向別に重複無く計数することができる。
【手続補正書】
【提出日】2021-07-19
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
線路を横切って踏切を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、
前記踏切を踏切外上方の定位置から撮像することにより得られる時系列の各画像フレームから前記所定の物体を各々検出及び識別し且つ追跡する画像処理手段と、
前記画像処理手段により検出される各物体について、それぞれ、第１の画像フレーム内での物体の重心位置に対して、該第１の画像フレームから時間軸上で１０フレーム後の第２の画像フレーム内での当該物体の重心位置が何れの方向に位置するかを判別し、その結果に基づいて当該物体の移動方向を求める移動方向演算手段と、
前記画像処理手段による追跡中の物体の重心位置が、前記通過の方向と交差するように各画像フレーム内に共通してそれぞれ設定される仮想の分割線を越えると、当該物体が計数対象から除外されていないことを条件として、当該物体が属するクラスで且つ当該物体の移動方向と同じ移動方向についての計数値に１加算する処理を、追跡中の各物体についてそれぞれ実行する計数手段と、
前記計数手段により計数された物体を、以後の計数対象から除外する計数除外手段と、
を有することを特徴とする物体情報処理装置。
前記踏切を踏切外上方の定位置から撮像することにより得られる時系列の各画像フレームから前記所定の物体を各々検出及び識別し且つ追跡する画像処理手段と、
前記画像処理手段により検出される各物体について、それぞれ、第１の画像フレーム内での物体の重心位置に対して、該第１の画像フレームから時間軸上で１０フレーム後の第２の画像フレーム内での当該物体の重心位置が何れの方向に位置するかを判別し、その結果に基づいて当該物体の移動方向を求める移動方向演算手段と、
前記画像処理手段による追跡中の物体の重心位置が、前記通過の方向と交差するように各画像フレーム内に共通してそれぞれ設定される仮想の分割線を越えると、当該物体が計数対象から除外されていないことを条件として、当該物体が属するクラスで且つ当該物体の移動方向と同じ移動方向についての計数値に１加算する処理を、追跡中の各物体についてそれぞれ実行する計数手段と、
前記計数手段により計数された物体を、以後の計数対象から除外する計数除外手段と、
を有することを特徴とする物体情報処理装置。
【請求項2】
請求項１に於いて、
前記移動方向演算手段は、前記画像処理手段により検出される各物体について、それぞれ、物体が最初に検出された第１の画像フレーム内での当該物体の重心位置に対して、該第１の画像フレームから時間軸上で１０フレーム後の第２の画像フレーム内での当該物体の重心位置が何れの方向に位置するかを判別し、その結果に基づいて当該物体の移動方向を求める、
ことを特徴とする物体情報処理装置。
前記移動方向演算手段は、前記画像処理手段により検出される各物体について、それぞれ、物体が最初に検出された第１の画像フレーム内での当該物体の重心位置に対して、該第１の画像フレームから時間軸上で１０フレーム後の第２の画像フレーム内での当該物体の重心位置が何れの方向に位置するかを判別し、その結果に基づいて当該物体の移動方向を求める、
ことを特徴とする物体情報処理装置。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【0009】
本発明の例を、下記［１］～［２］に記す。なお、この項（［課題を解決するための手段］）と次項（［発明の効果］）に於いて、符号は理解を容易にするために付したものであり、本発明を符号の構成に限定する趣旨ではない。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【0010】
［１］発明１
線路を横切って踏切を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、
前記踏切を踏切外上方の定位置から撮像することにより得られる時系列の各画像フレームから前記所定の物体を各々検出及び識別し且つ追跡する画像処理手段２１と、
前記画像処理手段２１により検出される各物体について、それぞれ、第１の画像フレーム内での物体の重心位置に対して、該第１の画像フレームから時間軸上で１０フレーム後の第２の画像フレーム内での当該物体の重心位置が何れの方向に位置するかを判別し、その結果に基づいて当該物体の移動方向を求める移動方向演算手段と、
前記画像処理手段２１による追跡中の物体の重心位置が、前記通過の方向と交差するように各画像フレーム内に共通してそれぞれ設定される仮想の分割線を越えると、当該物体が計数対象から除外されていないことを条件として、当該物体が属するクラスで且つ当該物体の移動方向と同じ移動方向についての計数値に１加算する処理Ｓ３３を、追跡中の各物体についてそれぞれ実行する計数手段と、
前記計数手段により計数された物体を、以後の計数対象から除外する計数除外手段と、
を有することを特徴とする物体情報処理装置。
［２］発明２
請求項１に於いて、
前記移動方向演算手段は、前記画像処理手段２１により検出される各物体について、それぞれ、物体が最初に検出された第１の画像フレーム内での当該物体の重心位置に対して、該第１の画像フレームから時間軸上で１０フレーム後の第２の画像フレーム内での当該物体の重心位置が何れの方向に位置するかを判別し、その結果に基づいて当該物体の移動方向を求める、
ことを特徴とする物体情報処理装置。
上記に於いて、
さらに、踏切外で且つ該踏切と交差する道路外の上方の定位置から当該踏切の全景を撮像するように設けられ得るカメラ１０を有し、
前記画像処理手段２１は、前記カメラ１０から時系列で入力されてくる各画像フレームから前記所定の物体を各々検出及び識別し且つ追跡する、
ように構成してもよい。
画像処理手段（検出器・分類器・追跡器）２１は、例えば、Ｄｅｅｐ－ＳＯＲＴ・ＹＯＬＯｖ３を実装することにより構成できる。物体の検出・識別（クラス分け）は、要求される性能によっては、ＹＯＬＯｖ３に代えて、例えばＳＳＤを用いることもできる。検出領域に於ける検出対象物体の挙動等を考慮して、また、物体情報処理装置に要求される精度や性能を考慮して、適宜のオープンソース（ライブラリ／プラットフォーム／ＡＩアプリケーション）を選定してよい。物体の検出と識別（クラス分け）は、同時でもよく、２段階で行うアプリケーションでもよい。また、学習データとしては、カメラの設置箇所から見た撮像対象の所定領域の画角等を考慮した画像を適宜に用いると良好である。
線路を横切って踏切を通過する１種又は２種以上の所定の物体を各物体が属するクラス別に計数する物体情報処理装置であって、
前記踏切を踏切外上方の定位置から撮像することにより得られる時系列の各画像フレームから前記所定の物体を各々検出及び識別し且つ追跡する画像処理手段２１と、
前記画像処理手段２１により検出される各物体について、それぞれ、第１の画像フレーム内での物体の重心位置に対して、該第１の画像フレームから時間軸上で１０フレーム後の第２の画像フレーム内での当該物体の重心位置が何れの方向に位置するかを判別し、その結果に基づいて当該物体の移動方向を求める移動方向演算手段と、
前記画像処理手段２１による追跡中の物体の重心位置が、前記通過の方向と交差するように各画像フレーム内に共通してそれぞれ設定される仮想の分割線を越えると、当該物体が計数対象から除外されていないことを条件として、当該物体が属するクラスで且つ当該物体の移動方向と同じ移動方向についての計数値に１加算する処理Ｓ３３を、追跡中の各物体についてそれぞれ実行する計数手段と、
前記計数手段により計数された物体を、以後の計数対象から除外する計数除外手段と、
を有することを特徴とする物体情報処理装置。
［２］発明２
請求項１に於いて、
前記移動方向演算手段は、前記画像処理手段２１により検出される各物体について、それぞれ、物体が最初に検出された第１の画像フレーム内での当該物体の重心位置に対して、該第１の画像フレームから時間軸上で１０フレーム後の第２の画像フレーム内での当該物体の重心位置が何れの方向に位置するかを判別し、その結果に基づいて当該物体の移動方向を求める、
ことを特徴とする物体情報処理装置。
上記に於いて、
さらに、踏切外で且つ該踏切と交差する道路外の上方の定位置から当該踏切の全景を撮像するように設けられ得るカメラ１０を有し、
前記画像処理手段２１は、前記カメラ１０から時系列で入力されてくる各画像フレームから前記所定の物体を各々検出及び識別し且つ追跡する、
ように構成してもよい。
画像処理手段（検出器・分類器・追跡器）２１は、例えば、Ｄｅｅｐ－ＳＯＲＴ・ＹＯＬＯｖ３を実装することにより構成できる。物体の検出・識別（クラス分け）は、要求される性能によっては、ＹＯＬＯｖ３に代えて、例えばＳＳＤを用いることもできる。検出領域に於ける検出対象物体の挙動等を考慮して、また、物体情報処理装置に要求される精度や性能を考慮して、適宜のオープンソース（ライブラリ／プラットフォーム／ＡＩアプリケーション）を選定してよい。物体の検出と識別（クラス分け）は、同時でもよく、２段階で行うアプリケーションでもよい。また、学習データとしては、カメラの設置箇所から見た撮像対象の所定領域の画角等を考慮した画像を適宜に用いると良好である。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【0011】
また、上記に於いて、
前記分割線は、踏切外で且つ該踏切と交差する道路外の上方の定位置から当該踏切の全景を撮像するように設けられたカメラ１０から見て当該踏切の手前位置に設定されている、
ように構成してもよい。
上記に於いて、「定位置から当該踏切の全景を撮像するように設けられ得るカメラ」とは、撮影対象の踏切を持続的に撮影して動画像を出力できるように、当該の踏切の近傍へ運ぶことができ、適宜の支持具等を用いて一時的に固定できる（設置できる）カメラを言う。
上記の何れかに於いて、
前記分割線は、前記画像フレームのＸ軸又はＹ軸と平行に設定されている、
ように構成してもよい。
上記の何れかに於いて、
前記物体の重心位置は当該物体のバウンディングボックスの中心位置である、
ように構成してもよい。
前記分割線は、踏切外で且つ該踏切と交差する道路外の上方の定位置から当該踏切の全景を撮像するように設けられたカメラ１０から見て当該踏切の手前位置に設定されている、
ように構成してもよい。
上記に於いて、「定位置から当該踏切の全景を撮像するように設けられ得るカメラ」とは、撮影対象の踏切を持続的に撮影して動画像を出力できるように、当該の踏切の近傍へ運ぶことができ、適宜の支持具等を用いて一時的に固定できる（設置できる）カメラを言う。
上記の何れかに於いて、
前記分割線は、前記画像フレームのＸ軸又はＹ軸と平行に設定されている、
ように構成してもよい。
上記の何れかに於いて、
前記物体の重心位置は当該物体のバウンディングボックスの中心位置である、
ように構成してもよい。