特開 2022-191007 検知枠位置精度向上システム、及び検知枠位置補正方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022191007

(43)【公開日】2022-12-27

(54)【発明の名称】検知枠位置精度向上システム、及び検知枠位置補正方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221220BHJP

【ＦＩ】

G06T7/00 650B

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021099602

(22)【出願日】2021-06-15

(71)【出願人】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】佐々木 剛志

(72)【発明者】

【氏名】笹谷 聡

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA04

5L096CA04

5L096DA02

5L096FA33

5L096FA67

5L096FA69

5L096GA17

5L096GA30

5L096HA05

5L096HA08

5L096HA11

5L096JA11

5L096JA18

5L096KA04

(57)【要約】

【課題】対象フレーム前後の情報を利用して、検知枠位置を高精度に推定することができる検知枠位置精度向上システム、及び検知枠位置補正方法を提供する。
【解決手段】時系列の画像を入力する時系列画像入力部１０と、前記時系列の画像で対象物を検知する物体検知部２０と、時刻t-1（tは正の整数）までの前記対象物の検知結果から時刻tの検知枠位置座標の分布を推定する検知枠位置分布推定部３０と、前記検知結果と前記分布に従い時刻t+1～t+n（nは正の整数）の検知枠の位置を予測する検知枠予測部４０と、時刻t+1～t+nにおいて前記対象物の検知結果と前記予測した検知枠との重なり度合いにより時刻tにおける検知枠位置座標の分布を更新し、時刻tにおける検知枠の不確実性を推定する検知枠不確実性推定部５０と、前記検知枠と前記不確実性に基づき、時刻tにおける前記検知枠を補正する検知枠補正部６０と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

時系列の画像を入力する時系列画像入力部と、
前記時系列の画像で対象物を検知する物体検知部と、
補正対象時刻より前の時刻までの前記対象物の検知結果から補正対象時刻の検知枠位置座標の分布を推定する検知枠位置分布推定部と、
前記検知結果と前記分布に従い補正対象時刻より後の時刻の検知枠の位置を予測する検知枠予測部と、
補正対象時刻より後の時刻において前記対象物の検知結果と前記予測した検知枠との重なり度合いにより補正対象時刻における検知枠位置座標の分布を更新し、補正対象時刻における検知枠の不確実性を推定する検知枠不確実性推定部と、
前記検知枠と前記不確実性に基づき、補正対象時刻における前記検知枠を補正する検知枠補正部と、を備えることを特徴とする検知枠位置精度向上システム。

【請求項2】

請求項１に記載の検知枠位置精度向上システムにおいて、
前記検知枠予測部は、前記検知結果により推定した前記分布から補正対象時刻の検知枠の位置座標をサンプリングする検知枠位置サンプリング部を有することを特徴とする検知枠位置精度向上システム。

【請求項3】

請求項１に記載の検知枠位置精度向上システムにおいて、
前記検知枠予測部は、検知枠の移動先を決定する補正対象時刻より後の時刻の対象物の相対速度または向きの少なくとも一つを含む移動量を取得する検知枠移動量取得部を有することを特徴とする検知枠位置精度向上システム。

【請求項4】

請求項１に記載の検知枠位置精度向上システムにおいて、
前記検知枠予測部は、前記検知結果により推定した前記分布から補正対象時刻の検知枠の位置座標をサンプリングする検知枠位置サンプリング部と、検知枠の移動先を決定する補正対象時刻より後の時刻の対象物の相対速度または向きの少なくとも一つを含む移動量を取得する検知枠移動量取得部と、を備え、前記検知枠位置サンプリング部により補正対象時刻における検知枠位置を決定し、前記検知枠移動量取得部による移動量により補正対象時刻より後の時刻における検知枠の位置を予測することを特徴とする検知枠位置精度向上システム。

【請求項5】

請求項１に記載の検知枠位置精度向上システムにおいて、
前記検知枠不確実性推定部は、更新された前記検知枠位置座標の分布から補正対象時刻における検知枠の存在範囲を限定することを特徴とする検知枠位置精度向上システム。

【請求項6】

請求項５に記載の検知枠位置精度向上システムにおいて、
前記検知枠不確実性推定部は、前記存在範囲を限定した検知枠として、更新された前記検知枠位置座標の分布の標準偏差を基にした大きさが最小となる検知枠および最大となる検知枠と、更新された前記検知枠位置座標の分布の最も確率が高い座標による検知枠とを備えることを特徴とする検知枠位置精度向上システム。

【請求項7】

請求項１に記載の検知枠位置精度向上システムにおいて、
前記時系列の画像において同一対象物を判定する検知補正対象物決定部を備えることを特徴とする検知枠位置精度向上システム。

【請求項8】

請求項７に記載の検知枠位置精度向上システムにおいて、
前記検知補正対象物決定部は、各検知枠の特徴量を抽出し、前記特徴量から前記時系列の画像において同一対象物を判定し、検知枠補正対象物とする検知補正対象物出力部を有することを特徴とする検知枠位置精度向上システム。

【請求項9】

時系列の画像を入力し、
前記時系列の画像で対象物を検知し、
補正対象時刻より前の時刻までの前記対象物の検知結果から補正対象時刻の検知枠位置座標の分布を推定し、
前記検知結果と前記分布に従い補正対象時刻より後の時刻の検知枠の位置を予測し、
補正対象時刻より後の時刻において前記対象物の検知結果と前記予測した検知枠との重なり度合いにより補正対象時刻における検知枠位置座標の分布を更新し、補正対象時刻における検知枠の不確実性を推定し、
前記検知枠と前記不確実性に基づき、補正対象時刻における前記検知枠を補正することを特徴とする検知枠位置補正方法。

【請求項10】

請求項９に記載の検知枠位置補正方法において、
前記検知結果により推定した前記分布から補正対象時刻の検知枠の位置座標をサンプリングし、検知枠の移動先を決定する補正対象時刻より後の時刻の対象物の相対速度または向きの少なくとも一つを含む移動量を取得し、前記サンプリングにより補正対象時刻における検知枠位置を決定し、前記取得した移動量により補正対象時刻より後の時刻における検知枠の位置を予測することを特徴とする検知枠位置補正方法。

【請求項11】

請求項９に記載の検知枠位置補正方法において、
更新された前記検知枠位置座標の分布から補正対象時刻における検知枠の存在範囲を限定することで、補正対象時刻における検知枠の不確実性を推定することを特徴とする検知枠位置補正方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検知枠位置精度向上システム、及び検知枠位置補正方法に関する。

【背景技術】

【0002】

車載カメラの普及等により、取得できる車両データの多様性が増加している。これにより、事故発生時等において、取得した車両データを記録した記録端末装置の情報を用いた客観的な状況把握や原因解析のニーズが高まっている。車載カメラの画像（カメラ画像）を用いた状況把握や原因解析においては、検知枠（カメラ画像における前方車両等の対象物の大きさ）の位置精度が重要である。

【0003】

検知枠位置精度の向上において、特許第６６１４２４７号公報（特許文献１）に記載の技術がある。この公報には、「現在のフレームに対する前のフレームにおける物体の位置から、現在のフレームにおける物体の位置を予測して予測領域を特定する予測手段と、前のフレームにおける物体の距離に基づいて、物体が第１距離域に存在するか、第１距離域よりも遠い第２距離域に存在するかを判定する判定手段と、判定手段により物体が第１距離域に存在すると判定された場合、現在のフレームの予測領域において、前のフレームの物体についての第１テンプレートを用いたテンプレートマッチングを行い、物体を検出する第１マッチング処理手段と、判定手段により物体が第２距離域に存在すると判定された場合、現在のフレームの予測領域において、前のフレームの物体についての、第１テンプレートとは異なる第２テンプレートを用いたテンプレートマッチングを行い、物体を検出する第２マッチング処理手段と、を備えた」という記載がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６６１４２４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記特許文献１では、対象のフレームの前のフレームのみを用いて高精度に検知枠位置を推定しようとしている。そのため、対象のフレームの検知枠位置精度の向上は、前のフレームにおける検知枠位置精度が良い場合に限定されており、対象フレーム前後を利用した検知枠位置修正による検知枠位置精度の向上について想定されていない。

【0006】

そこで、本発明では、上記事情に鑑み、対象フレーム前後の情報を利用して、検知枠位置を高精度に推定することができる検知枠位置精度向上システム、及び検知枠位置補正方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、代表的な本発明の検知枠位置精度向上システムの一つは、時系列の画像を入力する時系列画像入力部と、前記時系列の画像で対象物を検知する物体検知部と、補正対象時刻より前の時刻までの前記対象物の検知結果から補正対象時刻の検知枠位置座標の分布を推定する検知枠位置分布推定部と、前記検知結果と前記分布に従い補正対象時刻より後の時刻の検知枠の位置を予測する検知枠予測部と、補正対象時刻より後の時刻において前記対象物の検知結果と前記予測した検知枠との重なり度合いにより補正対象時刻における検知枠位置座標の分布を更新し、補正対象時刻における検知枠の不確実性を推定する検知枠不確実性推定部と、前記検知枠と前記不確実性に基づき、補正対象時刻における前記検知枠を補正する検知枠補正部と、を備えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、検知枠位置の精度を向上させることが可能となる。

【0009】

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施例１のブロック図。

【図2】物体検知部２０を説明する図。

【図3】検知枠位置分布推定部３０を説明する図。

【図4】検知枠予測部４０の構成図。

【図5】検知枠不確実性推定部５０の構成図。

【図6】検知枠予測部４０と検知枠不確実性推定部５０を説明する図。

【図7】検知枠不確実性推定部５０を説明する図。

【図8】検知枠予測部４０と検知枠不確実性推定部５０のフローチャート図。

【図9】検知枠補正部６０を説明する図。

【図10】本発明の実施例２のブロック図。

【図11】検知補正対象物決定部４５０の構成図。

【発明を実施するための形態】

【0011】

以下、本発明の実施例を図面を用いて説明する。

【0012】

［実施例１］
図１は本発明の実施例１のブロック図である。本実施例では、車両から得られたセンサー情報に適用した場合について説明する。図１に示す検知枠位置精度向上システム１は、時系列画像や測距センサーを利用して、画像上における対象物の検知枠位置をオフラインで補正するシステムである。

【0013】

なお、以下の説明において、補正を実施する（詳しくは、補正を行う必要があるか否かを判定し、必要と判定した場合に補正を行う）補正対象時刻を時刻t（tは正の整数）とし、補正対象時刻より前の（過去の）時刻を時刻t-n（nは正の整数）、補正対象時刻より後の（未来の）時刻を時刻t+n（nは正の整数）と表記する。

【0014】

また、以下の説明においては、例えば先行車両等の車両を検知・補正対象としているが、車両のみに限定されないことは勿論である。

【0015】

図１に示す検知枠位置精度向上システム１は、本システムとは別に車両に搭載されたドライブレコーダー等で撮影、保存された時系列画像を入力する時系列画像入力部１０と、時系列画像入力部１０で入力された画像において車両や二輪車、歩行者などの対象となる物体（対象物）を検知する物体検知部２０と、補正を実施するある時刻tにおける画像の検知枠位置座標の分布を推定する検知枠位置分布推定部３０と、物体検知部２０と検知枠位置分布推定部３０の出力を基に時刻t+1～t+nの検知枠位置を予測する検知枠予測部４０と、予測した検知枠と検知器により各画像で検知した検知枠との重なり度合いを基に時刻tにおける画像位置（＝検知枠）の不確実性を推定する検知枠不確実性推定部５０と、不確実性を利用して検知枠の補正を行う検知枠補正部６０と、を有する。以下、１０、２０、３０、４０、５０、６０の各機能の詳細について説明する。

【0016】

時系列画像入力部１０は、単眼カメラやステレオカメラなどの撮像装置により得られた画像を時系列順に並べて入力する。

【0017】

図２を利用して、物体検知部２０について説明する。物体検知部２０では、時系列画像それぞれにおいて人間や検知器により対象物を含む領域（検知枠とも呼ぶ）を推定する。７０は時系列画像のある１画像、８０は検知対象となる対象物で、図２では対象物を自動車としている。９０は対象物を検知した場合の検知枠で、検知枠左上の(x1,y1)と検知枠右下の(x2,y2)を指定することで検知枠の位置が確定する。ここでは、縦と横の２次元で検知枠を示したが、縦と横と高さの３次元の検知枠が対象でも構わない。

【0018】

図３を利用して検知枠位置分布推定部３０について説明する。検知枠位置分布推定部３０では、時刻t-1までの検知枠位置を利用して、補正を行う時刻tにおける画像の検知枠位置座標の確率分布を推定する。１００は時系列画像のある１枚の画像で、１１０は検知枠を構成するx1が存在する画像上の座標の確率分布を示し、１２０はx2が存在する画像上の座標の確率分布を示し、１３０は検知枠を構成するy1が存在する画像上の座標の確率分布を示し、１４０はy2が存在する画像上の座標の確率分布を示している。ここでは、１１０、１２０、１３０、１４０の確率分布として正規分布を図示しているが、座標の分布としては、正規分布に限定しない。１５０は対象物の検知枠の左上座標(x1,y1)におけるx1,y1の２変数の正規分布の等高線を表す。１６０は対象物の検知枠の右下座標(x2,y2)におけるx2,y2の２変数の正規分布の等高線を表す。１５０や１６０の等高線の高い部分が検知枠位置座標として確率が高い場所になる。この確率分布の予測には、カルマンフィルタなどの統計的手法を適用することができる。

【0019】

図４を利用して検知枠予測部４０を説明する。検知枠予測部４０は、時刻t～t+nにおける対象物の相対速度等から、検知枠の移動量を推定する検知枠移動量取得部４１と、検知枠位置分布推定部３０で推定した確率分布に基づいて時刻tにおける検知枠の左上座標と右下座標（検知枠位置座標）をサンプリングする検知枠位置サンプリング部４２と、検知枠移動量取得部４１と検知枠位置サンプリング部４２から時刻t+1～t+nの検知枠位置を決定する検知枠位置予測出力部４３と、を有する。４１、４２、４３について詳細に説明する。

【0020】

検知枠移動量取得部４１は、時刻1～t-1までの検知情報からカルマンフィルタ等により時刻t+1～t+nにおける検知枠の大きさの変化や位置（移動先）を決定する対象物の向きや自車と対象物との相対速度等を予測し、検知枠の移動量を決定する。また、時刻t+1～t+nのLIDARやミリ波などの測距センサーを使用することが可能であれば、これらのセンサーにより対象物までの距離計測や物体領域範囲を求め、相対速度や向きを求めても良い。さらに、移動量については物理法則に照らし合わせ、移動量の上限を限定する方法も考えられる。

【0021】

検知枠位置サンプリング部４２は、検知枠位置分布推定部３０で推定した確率分布に基づいて確率が高い時刻tにおける検知枠の左上座標と右下座標（検知枠位置座標）を出力する。さらに、ある確率εでは確率が低い座標についてもランダムで出力するようにして、大域的に検知枠位置座標を出力できるようにする。

【0022】

検知枠位置予測出力部４３は、検知枠位置サンプリング部４２により決定した時刻tにおける検知枠（確率分布に基づく検知枠）を初期値として、検知枠移動量取得部４１による移動量を拘束条件として時刻t+1～t+nでの検知枠の位置座標（予測検知枠とも呼ぶ）を求める。

【0023】

図５を利用して検知枠不確実性推定部５０を説明する。検知枠不確実性推定部５０は、検知枠予測部４０で予測した検知枠（予測検知枠）と物体検知部２０で推定した検知枠との重なり度合いについて算出する検知枠重なり算出部５１と、重なり度合いを基に検知枠位置分布推定部３０で推定した確率分布を更新する検知枠位置分布更新部５２と、推定した確率分布から時刻tにおいて検知枠が存在する可能性がある領域（不確実性を加味した検知枠）を算出する検知枠不確実性出力部５３と、を有する。５１、５２、５３について詳細に説明する。

【0024】

検知枠重なり算出部５１では、検知枠予測部４０で予測した検知枠（予測検知枠）と物体検知部２０で推定した検知枠とがどの程度一致しているかを検知枠間の重なり度合いで評価する。重なり度合いの評価指標としてはIoU（Intersection over Union）等が考えられる。

【0025】

検知枠位置分布更新部５２では、検知枠重なり算出部５１の値（重なり度合い）を利用して、検知枠位置座標の多変量正規分布の平均と分散をベイズ更新を利用して更新したり、重なり度合いを報酬として報酬が最大となる平均と分散を強化学習を利用して求める手法等が考えられる。

【0026】

検知枠不確実性出力部５３では、検知枠不確実性推定部５０の検知枠位置分布更新部５２で推定した検知枠位置座標の確率分布の標準偏差等を利用して時刻tにおいて検知枠が存在する可能性がある領域（不確実性を加味した検知枠）を出力する。詳細については後ほど図７を利用して説明する。

【0027】

検知枠予測部４０から検知枠不確実性推定部５０の検知枠重なり算出部５１までについて図６を利用して説明する。時系列画像２００は、ある時刻t+1、t+2、t+3における画像であり、時刻tにおいて対象物の上部にある検知枠がサンプリングされた場合である。１７０は、時刻t+1における予測検知枠と、検知器等により推定された検知枠（つまり、物体検知部２０で推定した検知枠）と、これらが重なっている領域で構成されている。１８０は、時刻t+2における予測検知枠と、検知器等により推定された検知枠と、これらが重なっている領域で構成されている。１９０は、時刻t+3における予測検知枠と、検知器等により推定された検知枠と、これらが重なっている領域で構成されている。時系列画像２００では時刻tにおいてサンプリングされた検知枠が対象物に対して上部にあるため、予測された移動量（検知枠移動量取得部４１）を加味しても時刻t～t+3のような比較的短時間の予測検知枠は対象物に対して上部に存在する。時系列画像２１０は、ある時刻t+1、t+2、t+3における画像であり、時刻tにおいて対象物の下部にある検知枠がサンプリングされた場合である。時系列画像２１０では時刻tにおいてサンプリングされた検知枠が対象物に対して下部にあるため、予測された移動量（検知枠移動量取得部４１）を加味しても時刻t～t+3のような比較的短時間の予測検知枠は対象物に対して下部に存在する。時系列画像２２０は、ある時刻t+1、t+2、t+3における画像であり、時刻tにおいて対象物に対して大きな検知枠がサンプリングされた場合である。時系列画像２２０では時刻tにおいて検知枠が対象物に対して大きく予測されたため、予測された移動量（検知枠移動量取得部４１）を加味しても時刻t～t+3のような比較的短時間の予測検知枠は対象物に対して大きくなる。また、２００、２１０、２２０においてそれぞれ時刻tにおける座標値が異なるため、時刻t+1～t+3の検知枠位置座標は異なるが、検知枠のサイズ（例えば時刻t+1、t+2、t+3間の拡大率）は検知枠移動量取得部４１（の移動量）により決定されるため、２００、２１０、２２０においてすべて等しい。

【0028】

検知枠不確実性推定部５０について図７を利用して説明する。不確実性を可視化した検知枠２３０は、本実施例では、検知枠位置分布更新部５２で得られた確率分布を基にして、事前に設定した対象物の検知枠として許容できる大きさ（確率分布が多変量正規分布の場合は、標準偏差）の最小となる検知枠２４０と、最も確率が高い（確率分布が多変量正規分布の場合は、平均）座標による検知枠２５０と、事前に設定したある１つの対象物の検知枠として許容できる大きさ（確率分布が多変量正規分布の場合は、標準偏差）の最大となる検知枠２６０の３つで構成される。２４０、２５０、２６０の検知枠の大きさは、位置座標の確率分布で決定することができ（換言すると、更新された検知枠位置座標の確率分布から時刻tにおける検知枠の存在範囲を限定することができ）、大きくばらつくと仮定する場合には標準偏差を大きく取る。例えば、標準偏差の３倍を取ると、２４０から２６０に設定した範囲内に９９％の確率で検知枠が含まれると予測することになる。

【0029】

検知枠予測部４０と検知枠不確実性推定部５０について図８のフローチャートを利用して説明する。まず、ステップ２７０では、物体検知部２０と検知枠位置分布推定部３０の出力から時刻t+1～t+nにおける対象物（の検知枠）の移動量をカルマンフィルタ等を利用して推定する（検知枠移動量取得部４１）。または、測距センサーを利用することで、相対速度等の移動量を推定する。ここで、nに大きな値を設定すると、予測範囲が長くなりすぎて予測精度が低下するが、一方で、nが小さすぎると、検知器で自動で検知枠を出力した場合、不検知画像（検知枠不検出画像）が多くなることや、１つの検知枠位置の大きなズレが外れ値となり補正精度を低下させる可能性が高くなるため、得られた画像のフレームレートを考慮して、nの値を決定する必要がある。

【0030】

ステップ２８０では、検知枠位置分布推定部３０で推定した確率分布に従って時刻tにおける検知枠位置座標を出力する（検知枠位置サンプリング部４２）。この際、確率の高い座標のみを出力すると、検知枠位置分布推定部３０の推定精度が低い場合にサンプリングした位置精度が低下するため、確率εで確率が低い座標についてもランダムで出力するようにし、大域的に検知枠位置座標を出力できるようにする。

【0031】

ステップ２９０では、ステップ２７０とステップ２８０の結果を利用して時刻t+1～t+nにおける検知枠位置（検知枠位置座標）を予測する（検知枠位置予測出力部４３）。

【0032】

ステップ３００では、時刻t+1～t+nにおける予測の検知枠と各時刻において検知器から出力した検知枠との重なり度合いを算出する（検知枠重なり算出部５１）。重なり度合いはIoU（Intersection over Union）等を用いることで算出する。

【0033】

ステップ３１０では、重なり度合いにより時刻tの検知枠位置座標分布（確率分布）を更新する（検知枠位置分布更新部５２）。つまり、重なり度合いが高くなる時刻tの検知枠位置座標に関しては確率を高くするように更新し、重なり度合いが低くなる時刻tの検知枠位置座標に関しては確率を低くするように更新をする。

【0034】

ステップ３２０では、ユーザーが事前に設定した設定値にサンプリング回数が達しているかを判定する。サンプリング回数に達した場合は、処理が終了となり、サンプリング回数に達していない場合はステップ２８０に戻り、再度時刻tにおける検知枠位置座標をサンプリングする。ステップ３１０で時刻tの検知枠位置座標分布が更新されるため、繰り返しサンプリングをすることで、時刻t+1～t+nの検知器等から出力した検知枠との重なり度合いが高くなる座標が多くサンプリングされることになる。

【0035】

検知枠補正部６０について図９を利用して説明する。３３０、３４０、３５０、及び３６０は本図で用いる検知枠の種類を示したものである。実線３３０は各画像で人間や検知器により出力した（換言すると、物体検知部２０で推定した）検知枠である。一方、検知枠位置分布更新部５２で得られた確率分布を基にして、二点鎖線３４０は想定する（事前に設定した対象物の検知枠として許容できる）最小の大きさとなる検知枠で、破線３５０は最も確率が高い検知枠で、一点鎖線３６０は想定する（事前に設定した対象物の検知枠として許容できる）最大の大きさとなる検知枠となる（検知枠不確実性出力部５３）。

【0036】

３７０は、検知枠３３０と３４０、３５０、３６０の不確実性の検知枠を可視化したある画像で、検知器により出力した検知枠３３０はノイズ３８０を含んでいる。３８０のノイズは、逆光による対象物の影等が該当する。ここで検知枠３３０はノイズ３８０を含んでおり、対象物のみを検知した検知枠よりも大きく出力されている。このとき、検知枠３３０は（不確実性の）最大の検知枠３６０よりも大きくなり、補正対象の検知枠となる。補正する場合は、検知枠３３０を検知枠の確率が最大となる検知枠３５０に置き換える方法等が考えられる。画像３９０は、画像３７０における検知枠３３０を補正した結果である（検知枠補正部６０）。補正後は４００のノイズを含まない、対象物のみを検知した検知枠となる。画像３７０では、検知枠３３０が想定する最大の検知枠３６０より大きい場合を説明したが、逆に検知枠３３０が想定する最小の検知枠３４０より小さい場合にも同様に修正（補正）することができる。

【0037】

４１０は、検知枠３３０と３４０、３５０、３６０の不確実性の検知枠を可視化したある画像で、検知器により出力した検知枠３３０はノイズ４２０により分断されている。４２０のノイズは、ワイパーや二輪車等により前方車両の一部が隠れてしまう場合が該当する。画像４１０において、２つの検知枠３３０は、許容最大となる検知枠３６０の内側にあり、許容最小となる検知枠３４０の外側にあることから、同一対象物に対する検知枠であると判定され、補正対象の検知枠となる。補正する場合は、２つの検知枠３３０を統合する方法や検知枠の確率が最大となる検知枠３５０に置き換える方法等が考えられる。画像４３０は、画像４１０における検知枠３３０を補正した結果である（検知枠補正部６０）。補正後は４４０のノイズに影響されず、対象物を検知した検知枠となる。

【0038】

ただし、検知枠補正部６０による検知枠不確実性を利用した検知枠補正方法はここで記載した方法に限定しない。

【0039】

本発明の実施例１では上記で説明した機能構成により、補正対象の画像の前後の情報を利用して、検知枠位置の不確実性を推定することにより、ノイズによる検知枠のばらつきを高精度に補正することができる。

【0040】

以上説明したように、本発明の実施例１の検知枠位置精度向上システム１は、時系列の画像を入力する時系列画像入力部１０と、前記時系列の画像で対象物を検知する物体検知部２０と、補正対象時刻より前の時刻（時刻t-1）までの前記対象物の検知結果から補正対象時刻（時刻t）の検知枠位置座標の分布を推定する検知枠位置分布推定部３０と、前記検知結果と前記分布に従い補正対象時刻より後の時刻（時刻t+1～t+n）の検知枠の位置を予測する検知枠予測部４０と、補正対象時刻より後の時刻（時刻t+1～t+n）において前記対象物の検知結果と前記予測した検知枠との重なり度合いにより補正対象時刻（時刻t）における検知枠位置座標の分布を更新し、補正対象時刻（時刻t）における検知枠の不確実性を推定する検知枠不確実性推定部５０と、前記検知枠と前記不確実性に基づき、補正対象時刻（時刻t）における前記検知枠を補正する検知枠補正部６０と、を備える。

【0041】

また、前記検知枠予測部４０は、前記検知結果により推定した前記分布から補正対象時刻（時刻t）の検知枠の位置座標をサンプリングする検知枠位置サンプリング部４２と、検知枠の移動先を決定する補正対象時刻より後の時刻（時刻t+1～t+n）の対象物の相対速度または向き等の少なくとも一つを含む移動量を取得する検知枠移動量取得部４１と、を備え、前記検知枠位置サンプリング部４２により補正対象時刻（時刻t）における検知枠位置を決定し、前記検知枠移動量取得部４１による移動量により補正対象時刻より後の時刻（時刻t+1～t+n）における検知枠の位置を予測する。

【0042】

また、前記検知枠不確実性推定部５０は、更新された前記検知枠位置座標の分布から補正対象時刻（時刻t）における検知枠の存在範囲を限定する。

【0043】

また、本発明の実施例１の検知枠位置補正方法は、時系列の画像を入力し、前記時系列の画像で対象物を検知し、補正対象時刻より前の時刻（時刻t-1）までの前記対象物の検知結果から補正対象時刻（時刻t）の検知枠位置座標の分布を推定し、前記検知結果と前記分布に従い補正対象時刻より後の時刻（時刻t+1～t+n）の検知枠の位置を予測し、補正対象時刻より後の時刻（時刻t+1～t+n）において前記対象物の検知結果と前記予測した検知枠との重なり度合いにより補正対象時刻（時刻t）における検知枠位置座標の分布を更新し、補正対象時刻（時刻t）における検知枠の不確実性を推定し、前記検知枠と前記不確実性に基づき、補正対象時刻（時刻t）における前記検知枠を補正する。

【0044】

すなわち、本実施例１は、検知枠位置修正の対象フレームの前後の時系列の画像や距離センサーなどのデータを利用して、現在の検知枠の存在する領域（不確実性）を推定し、検知器等により出力された検知結果を修正するものである。

【0045】

本実施例１によれば、検知枠位置の精度を向上させることが可能となる。

【0046】

［実施例２］
図１０は本発明の実施例２のブロック図である。本実施例では、同一画像内に複数の対象物が含まれ、検知枠が複数ある場合を対象とする。

【0047】

図１０に示す検知枠位置精度向上システム２は、本システムとは別に車両に搭載されたドライブレコーダー等で撮影、保存された時系列画像を入力する時系列画像入力部１０と、時系列画像入力部１０で入力された画像において車両や二輪車、歩行者などの対象となる物体（対象物）を検知する物体検知部２０と、時系列画像において補正対象とする検知枠を決定する検知補正対象物決定部４５０と、補正を行うある時刻tにおける画像の検知枠位置座標の分布を推定する検知枠位置分布推定部３０と、物体検知部２０と検知枠位置分布推定部３０の出力を基に時刻t+1～t+nの検知枠位置を予測する検知枠予測部４０と、予測した検知枠と検知器により画像から検知した検知枠との重なり度合いを基に時刻tにおける画像位置（＝検知枠）の不確実性を推定する検知枠不確実性推定部５０と、不確実性を利用して検知枠の補正を行う検知枠補正部６０と、を有する。１０、２０、３０、４０、５０、６０は実施例１で説明したものと同等の機能を有する。

【0048】

検知補正対象物決定部４５０について図１１を利用して説明する。検知補正対象物決定部４５０は、同一の対象物であるか否かを判定するのに利用する対象物（検知枠）の特徴量等を抽出する検知情報抽出部４５１と、検知情報抽出部４５１の情報を基に時系列画像全体で対象物を分類する検知対象分類部４５２と、検知補正対象となる物体（検知補正対象物）の検知枠を出力する検知補正対象物出力部４５３で構成される。

【0049】

検知情報抽出部４５１で抽出する特徴量としては、各検知枠ごとに自動車、人間、二輪車等の検知した対象物のラベル、SIFT（Scale invariant feature transform）をはじめとしたスケールや回転などに普遍の特徴量記述子、学習済みの畳み込みニューラルネットワーク（Convolutional Neural Network）等を複数回適用して出力した特徴量記述子等が考えられる。

【0050】

検知対象分類部４５２では、各画像、各検知枠ごとに検知情報抽出部４５１により得られた特徴量についてユークリッド距離やコサイン類似度を利用することで時系列画像において同一対象物ごとに検知枠を判定・分類する。

【0051】

検知補正対象物出力部４５３では、補正対象となる検知枠を出力する。また、検知器により自動で検知枠を出力した場合、検知漏れが数多く発生して検知数が少なく、補正が困難、もしくは、補正精度の低下の可能性が高い場合は、ユーザーへ通知を行う。

【0052】

本発明の実施例２では上記で説明した機能構成により、画像に複数の物体が含まれている場合でも、補正対象を事前に１つに絞ることが可能となり、補正対象の画像の前後の情報を利用して、検知枠位置の不確実性を推定することにより、ノイズによる検知枠のばらつきを高精度に補正することができる。

【0053】

以上説明したように、本発明の実施例２の検知枠位置精度向上システム２は、上記実施例１に加えて、前記時系列の画像において同一対象物を判定する検知補正対象物決定部４５０を備える。

【0054】

また、前記検知補正対象物決定部４５０は、各検知枠の特徴量を抽出し（検知情報抽出部４５１）、前記特徴量から前記時系列の画像において同一対象物を判定し（検知対象分類部４５２）、検知枠補正対象物とする検知補正対象物出力部４５３を有する。

【0055】

本実施例２によれば、同一画像内に複数の対象物が含まれている場合でも、検知枠位置の精度を向上させることが可能となる。

【0056】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0057】

１…検知枠位置精度向上システム（実施例１）、２…検知枠位置精度向上システム（実施例２）、１０…時系列画像入力部、２０…物体検知部、３０…検知枠位置分布推定部、４０…検知枠予測部、５０…検知枠不確実性推定部、６０…検知枠補正部、４５０…検知補正対象物決定部（実施例２）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】