特許 6431204 状態予測装置及び状態予測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6431204

(24)【登録日】2018年11月9日

(45)【発行日】2018年11月28日

(54)【発明の名称】状態予測装置及び状態予測方法

(51)【国際特許分類】

   G06T 7/246 20170101AFI20181119BHJP

   G06T 7/00 20170101ALI20181119BHJP

   G06T 7/20 20170101ALI20181119BHJP

   G06T 7/254 20170101ALI20181119BHJP

   G05B 23/02 20060101ALI20181119BHJP

   H04N 7/18 20060101ALI20181119BHJP

   B60W 40/04 20060101ALI20181119BHJP

   B60W 30/08 20120101ALI20181119BHJP

【ＦＩ】

   G06T7/246

   G06T7/00 650B

   G06T7/20 100

   G06T7/254 A

   G05B23/02 R

   H04N7/18 J

   H04N7/18 K

   B60W40/04

   B60W30/08

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2017-541735(P2017-541735)

(86)(22)【出願日】2016年9月13日

(86)【国際出願番号】JP2016076934

(87)【国際公開番号】WO2018051399

(87)【国際公開日】20180322

【審査請求日】2017年8月7日

(73)【特許権者】

【識別番号】000233295

【氏名又は名称】株式会社日立情報通信エンジニアリング

(74)【代理人】

【識別番号】110000442

【氏名又は名称】特許業務法人 武和国際特許事務所

(72)【発明者】

【氏名】上嶋 利明

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 特開２００７−０７２９８７（ＪＰ，Ａ）

【文献】 特開２０１１−０４４０４６（ＪＰ，Ａ）

【文献】 特開２００５−０４４２２４（ＪＰ，Ａ）

【文献】 特開平６−１３３６２４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ３／００ − ７／００

Ｂ６０Ｗ ４０／０４

Ｇ０５Ｂ ２３／０２

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

観測対象物の第１時刻における状態を周辺監視センサにより観測して得た第１センサ情報を取得するセンサ情報取得部と、
前記観測対象物の使用目的又は観測目的を示す目的属性、及び前記観測対象物の状態変化に影響を与える環境要因の使用目的又は観測目的を示す目的属性を格納する目的属性記憶部と、
前記第１センサ情報に基づいて前記観測対象物の種類を識別し、前記目的属性記憶部から当該観測対象物の目的属性を読み出すと共に、前記第１センサ情報に基づいて前記環境要因の種類を識別し、前記目的属性記憶部から当該環境要因の目的属性を読み出す対象物識別部と、
前記観測対象物の種類に対応した、時間経過に伴う複数の状態変化の系列を規定した有限状態系列を記憶する有限状態系列記憶部と、
前記有限状態系列記憶部から前記観測対象物の種類に対応する有限状態系列を複数検索し、前記観測対象物の目的属性及び前記環境要因の目的属性に基づいて、前記複数検索された有限状態系列の選択数を絞り込み、前記観測対象物を観測して得られた観測値を取得し、絞り込んだ有限状態系列を前記観測値に基づいて補正をし、補正後の有限状態系列を状態予測として出力する状態予測部と、
を備えることを特徴とする状態予測装置。

【請求項2】

請求項１に記載の状態予測装置において、
前記観測対象物の目的属性、及び前記観測対象物の目的属性に規定された各目的を実現するために設定された目標パラメータ情報を格納する目標パラメータ情報記憶部を更に備え、
前記対象物識別部は、前記観測対象物の目的属性に対応する目標パラメータ情報を前記目標パラメータ情報記憶部から読み出し、前記環境要因の目的属性に対応する目標パラメータ情報を前記目標パラメータ情報記憶部から読み出し、
前記状態予測部は、前記観測対象物の目的属性に対応する目標パラメータ情報及び前記環境要因の目的属性に対応する目標パラメータ情報を更に用いて、前記複数検索された有限状態系列の選択数の絞込みを行う、
を備えることを特徴とする状態予測装置。

【請求項3】

請求項１に記載の状態予測装置において、
前記センサ情報取得部は、前記第１時刻よりも後の第２時刻において前記周辺監視センサが前記観測対象物を観測して得た第２センサ情報を取得し、
前記状態予測部が出力した状態予測と、前記第２センサ情報に含まれる前記観測対象物の状態とのマッチング処理を行うマッチング部を更に備える、
ことを特徴とする状態予測装置。

【請求項4】

請求項１に記載の状態予測装置において、
前記観測対象物は、車両であり、
前記周辺監視センサは、前記車両に搭載されたカメラである、
ことを特徴とする状態予測装置。

【請求項5】

請求項１に記載の状態予測装置において、
前記観測対象物は、定点観測対象物であり、
前記周辺監視センサは、前記定点観測対象物を撮像する定点カメラである、
ことを特徴とする状態予測装置。

【請求項6】

観測対象物の第１時刻における状態を周辺監視センサにより観測して得た第１センサ情報を取得するステップと、
前記第１センサ情報に基づいて前記観測対象物の種類を識別し、前記観測対象物の使用目的又は観測目的を示す目的属性、及び前記観測対象物の状態変化に影響を与える環境要因の使用目的又は観測目的を示す目的属性を格納する目的属性記憶部から当該観測対象物の目的属性を読み出すと共に、前記第１センサ情報に基づいて前記環境要因の種類を識別し、前記目的属性記憶部から当該環境要因の目的属性を読み出すステップと、
前記観測対象物の種類に対応した、時間経過に伴う複数の状態変化の系列を規定した有限状態系列を記憶する有限状態系列記憶部から前記観測対象物の種類に対応する有限状態系列を複数検索し、前記観測対象物の目的属性及び前記環境要因の目的属性に基づいて、前記複数検索された有限状態系列の選択数を絞り込み、前記観測対象物を観測して得られた観測値を取得し、絞り込んだ有限状態系列を前記観測値に基づいて補正をし、絞り込んだ有限状態系列を状態予測として出力するステップと、
を含むことを特徴とする状態予測方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は状態予測装置及び状態予測方法に係り、特に観測対象物の状態を取得する周辺監視センサからの出力を基に観測対象物の状態変化を予測する技術に関する。

【背景技術】

【0002】

特許文献１には、撮像された画像から、パーティクルフィルタ法により対象物の物理量を推定したり、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の位置を推定したりする技術が提案されている。

【0003】

特許文献２には、三次元座標値を有する複数の特徴点と、各特徴点に関連付けられた部分画像を表す部分画像情報とから構成される三次元モデルを二次元の観測空間に投影して、二次元の観測空間において選択した特徴点セットを用いて三次元モデルの状態量を推定して、推定した三次元モデル状態を観測空間に投影して適合度を繰り返し計算して三次元モデルの状態量を推定する技術が提案されている。

【0004】

特許文献３には、ターゲットの存否を判定するための注目領域を、画像における複数の位置に順次設定し、注目領域にターゲットが存在すると仮定した場合のパーツの基準位置をバネモデルに基づいて設定し、基準位置からのずれの度合いを表す値であるバネコストを、検出したパーツのそれぞれについて算出する。そして、算出したバネコストが所定範囲内の同一種類のパーツが複数存在することを条件として、注目領域を、集団を構成するターゲットが存在するターゲット領域として判定する技術が提案されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００５−４４３５２号公報

【特許文献2】特開２００７−２９９３１２号公報

【特許文献3】特開２０１４−６３２７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１のパーティクルフィルタを応用した追跡手法は、類似した対象物が複数あって交差があるとパーティクルを混同し個々の対象の追跡を誤るという問題があった。また対象物の遮蔽があるとパーティクルが消滅し対象の追跡を誤るという問題があった。また対象物の動きの変化が一様でない場合でも安定な追跡を実現するためには、多数のサンプルを生成する必要があり、処理速度が低下してしまう問題があった。また対象物が増加すると生成するサンプルが増大し、処理速度が低下してしまう問題があった。

【0007】

特許文献２の二次元の観測空間において選択した有効な特徴点セットにより三次元モデルの状態量を推定しているが、前回の三次元モデルの状態から今回の三次元モデルの状態の予測は位置と速度と加速度による演算による位置予測のみを行っているため、加速度が変化する複雑な動きを追跡するには観測間隔を短くする必要があり、観測の間に他の処理を行うだけの時間間隔がない問題があった。

【0008】

特許文献３のバネモデルによる画像処理装置は、対象の集団の領域を精度よく検出する方法を示しているが、類似した複数の対象が分かれていく場合の追跡の効率が良くないという問題があった。

【0009】

本発明の目的は上記問題点を解決し、実環境における対象物に関連する物理量の観測値に基づいて、観測対象物の状態変化を精度よく推定する技術を提供することにある。

【課題を解決するための手段】

【0010】

上記目的を達成するために本発明は、観測対象物の第１時刻における状態を周辺監視センサにより観測して得た第１センサ情報を取得するセンサ情報取得部と、前記観測対象物の使用目的又は観測目的を示す目的属性、及び前記観測対象物の状態変化に影響を与える環境要因の使用目的又は観測目的を示す目的属性を格納する目的属性記憶部と、前記第１センサ情報に基づいて前記観測対象物の種類を識別し、前記目的属性記憶部から当該観測対象物の目的属性を読み出すと共に、前記第１センサ情報に基づいて前記環境要因の種類を識別し、前記目的属性記憶部から当該環境要因の目的属性を読み出す対象物識別部と、前記観測対象物の種類に対応した、時間経過に伴う複数の状態変化の系列を規定した有限状態系列を記憶する有限状態系列記憶部と、前記有限状態系列記憶部から前記観測対象物の種類に対応する有限状態系列を複数検索し、前記観測対象物の目的属性及び前記環境要因の目的属性に基づいて、前記複数検索された有限状態系列の選択数を絞り込み、前記観測対象物を観測して得られた観測値を取得し、絞り込んだ有限状態系列を前記観測値に基づいて補正をし、絞り込んだ有限状態系列を状態予測として出力する状態予測部と、を備えることを特徴とする。

【発明の効果】

【0011】

上記発明により、実環境における対象物に関連する物理量の観測値に基づいて、観測対象物の状態変化を精度よく推定する技術を提供することができる。なお上記した以外の課題、解決手段は以下の実施形態により明らかにされる。

【図面の簡単な説明】

【0012】

【図1】第１実施形態に係る状態予測装置のハードウェア構成図

【図2】状態予測装置で実行される状態変化予測プログラムの構成を示す機能ブロック図

【図3】本実施形態に係る状態予測装置を用いて車両の動き予測を行う処理の流れを示すフローチャート

【図4】カーナビゲーションシステムに本実施形態に係る動き予測処理を適用した際の予測探索窓の設定例を示す図であって、（ａ）は探索ルートに沿って予測探索窓が隙間なく設定された状態を示し、（ｂ）は交差点を含む予測探索窓例を示す。

【図5】トポロジー名がＴ字路の場合の目的属性及び目標パラメータの例を示す図

【図6】有限状態系列例を示す図であって、（ａ）は道路／レーンに目的属性を持たないときの動き系列の選択例、（ｂ）は道路／レーンに目的属性を持たせて動き系列を絞り込んだ状態例を示す図である。

【図7】動き系列と動きベクトルによる動き予測を示す図

【図8】観測対象物に選択された動き系列１３１を割り当てた状態を示す図

【図9】観測対象物の動きベクトルを示す図

【図10】状態予測例を示す図であって、（ａ）は道路／レーンに目的属性を持たせない例、（ｂ）は道路／レーンに目的属性を持たせた例を示す。

【図11】状態予測を継続的に行った結果を示す図

【発明を実施するための形態】

【0013】

以下、本発明の好適な実施形態を図面を参照しながら詳細に説明する。

【0014】

＜第１実施形態＞
第１実施形態は、状態予測装置を車両に搭載して観測対象物（以下「対象物」と略記する）、例えば前方車両や隣のレーンを走行する車両、対向車、歩行者、自転車の行動を予測する例である。

【0015】

図１に第１実施形態に係る状態予測装置のハードウェア構成を示す。図１に示すように本実施形態に係る状態予測装置１０は、対象物の状態変化を予測する演算処理を司るＣＰＵ１４、データ記憶装置としてのＲＯＭ１６、ＲＡＭ１８、ファイルユニット２０、及び外部インターフェース（Ｉ／Ｆ）２２の各々がバス２８を介して互いに接続され、コマンドやデータを授受可能に接続されたコンピュータとして構成される。外部Ｉ／Ｆ２２には、状態予測装置１０が監視対象とする対象物の状態情報を取得するための周辺監視センサ２４と車両の現在位置を算出する位置算出装置２６とが接続される。

【0016】

本実施形態では、周辺監視センサ２４として車両内に搭載されたカメラを用い、対象物である車両外の他車車両や歩行者等を撮像するので以後カメラ２４と記載するが、カメラが撮影した画像を基に周囲監視を行うが、対象物が検出できるセンサであればその種類は問わず、ミリ波レーダやライダーでもよい。

【0017】

また、位置算出装置２６はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）の他、慣性計測装置、また走行ルート上に設置された位置情報出力装置との間で路車間通信を行い、車両の位置を算出する位置算出装置等、その種類を問わない。

【0018】

また、ファイルユニット２０には、状態予測を行う対象物の種類に応じたモデルを規定するモデル情報辞書２０１（図２参照）、モデルの時間経過に伴う複数の状態変化の系列を規定した状態系列辞書２０２（図２参照）、観測対象物及び観測対象物の状態変化に影響を与える環境要因の使用目的又は観測目的を示す目的属性が記憶された目的属性辞書２１１、及び各目的属性を実現するために設定された目標パラメータが記憶された目標パラメータ辞書２１２（図２参照）が予め格納されている。モデル情報辞書２０１は主に第２実施形態で用いる。状態系列辞書２０２は有限状態系列記憶部に相当する。目的属性辞書２１１（目的属性記憶部に相当する）、及び目標パラメータ辞書２１２（目標パラメータ情報記憶部に相当する）の構成は後述する。

【0019】

ＲＯＭ１６には、処理ルーチン等のプログラムが予め記憶されている。なお、本実施形態に係る状態予測装置１０には、以上の構成の他に、電源装置等、多数の電気系の構成要素が含まれているが、周知又は一般的なものであるため詳細な説明を省略する。

【0020】

バス２８には、車載ネットワーク（ＣＡＮ）Ｉ／Ｆ３０が接続される。ＣＡＮＩ／Ｆ３０には、電子制御ユニット（ＥＣＵ）３２が接続される。ＥＣＵ３２はブレーキ装置３４、及び車速センサ３６に接続される。状態予測装置１０はＥＣＵ３２を介して自車の車速情報を取得する。車速情報は、速度だけでもよいし、加速度を含んでもよい。また状態予測装置１０は、衝突危険性を判断する機能を備える場合は、その判断結果を基のＥＣＵ３２を介してブレーキ装置３４を作動させるための制御情報を出力してもよい。

【0021】

更にバス２８にはモニタ３８を接続しておき、状態予測装置１０が衝突危険性を判断する機能を備える場合は警告表示を行ってもよい。また警告は不図示の警報装置をバス２８に接続しておき、警告音を発生させるように構成してもよい。

【0022】

図２は、状態予測装置１０で実行される状態変化予測プログラムの構成を示す機能ブロック図である。

【0023】

状態予測装置１０は、センサ情報取得部１４ａ、対象物識別部１４ｂ、状態予測部１４ｃ、及びマッチング部１４ｄを含む。上記各構成要素は、機能を実現するプログラムをＣＰＵ１４がＲＡＭ１８にロードして実行することにより構成される。またファイルユニット２０には、モデル情報辞書２０１、状態系列辞書２０２、目的属性辞書２１１、及び目標パラメータ辞書２１２を含む。これら各構成要素の機能は、図３を参照しながら状態予測装置１０の処理動作の中で説明する。

【0024】

モデル情報辞書２０１及び状態系列辞書２０２は、既述の通りファイルユニット２０に格納されるデータとして構成される。

【0025】

次に、本実施形態の状態予測装置１０で実行される対象物の動き予測処理について説明する。図３は、本実施形態に係る状態予測装置を用いて車両の動き予測を行う処理の流れを示すフローチャートである。なお、第１実施形態では車両の動きを予測するので本処理において動き予測を出力するが、第２実施形態では静止物の状態予測を出力する。つまり動き予測は状態予測に含まれる概念であり、下記フローチャートにおいて動き予測を状態予測に読み替えることにより、第２実施形態でも第１実施形態と同様、環境要因を考慮した対象物の状態予測が行える。

【0026】

センサ情報取得部１４ａは、周辺監視センサとしてのカメラ２４で第１時刻において撮影した第１画像（第１センサ情報に相当する）を読込み（Ｓ１００）、対象物識別部１４ｂに出力する。

【0027】

対象物識別部１４ｂは、実空間内における対象物の動き予測処理を実行する領域（予測探索窓という）を設定する（Ｓ１０１）。図４はカーナビゲーションシステムに本実施形態に係る動き予測処理を適用した際の予測探索窓の設定例を示す図であって、（ａ）は探索ルートに沿って予測探索窓が隙間なく設定された状態を示し、（ｂ）は交差点を含む予測探索窓例を示す。

【0028】

カーナビゲーションシステムにおいて出発地と目的地とを設定すると、探索ルートが表示され、ユーザが実際の走行ルートを決定する。その走行ルート上を走行中、状態予測装置１０は随時予測探索窓を設定し、その予測探索窓内にある対象物の動きを探索する。対象物識別部１４ｂは、予測探索窓の長さを自車両の走行速度が速くなるにつれて長くしてもよい（図４（ａ）参照）。

【0029】

図４（ｂ）に示す予測探索窓は、片側１車線の交差点を含む。本例では１車線の幅が約４ｍ幅あるので、１車線に対して仮想的な２レーンを設定し、いずれのレーン、例えば右端レーンか中央レーンかのいずれに観測対象物である前方車両がいるかによって、後述する有限状態系列を絞込みを行ってもよい。

【0030】

このように走行ルートに沿って随時予測探索窓を生成することで、走行中に切れ間なく対象物の動き予測を実行することができる。なお、カーナビゲーションシステムに限らず、対象物識別部１４ｂは、走行中にＥＣＵ３２を介して車速センサ３６から自車の車速情報を取得し、これに基づいて探索窓の長さを決定して予測探索窓を決定して、走行中にカーナビゲーションシステムとは独立して周囲監視処理を実行し、衝突危険性の判断を行って警報を出力するように構成してもよい。なお、ステップＳ１００とＳ１０１とは順序が逆でもよい。

【0031】

対象物識別部１４ｂは、第１画像から周知の方法により自動車、人物、二輪車などの特徴を検出して識別し（Ｓ１０２）、識別した結果を識別した対象の識別データとしてＲＡＭ１８に格納する。対象の特徴の検出は、例えば、撮影した画像からＨＯＧ特徴量をＣＰＵ１４で演算することにより行い、対象の識別は、ＲＯＭ１６もしくはファイルユニット２０に予め格納した識別辞書から演算した特徴量との類似度を、ＲＯＭ１６に予め格納したサポートベクトルマシンやブースティング等の演算処理をＣＰＵ１４が行うことにより実現できる。このとき、識別した対象と識別データに対応する識別子を付けてもよい。

【0032】

本ステップにより、第１画像の被写体の種類が識別され、車両、歩行者、信号機が区別される。

【0033】

更に、対象物識別部１４ｂは、複数の被写体のうち、動き予測を行う被写体を対象物として特定し、観測対象物の目的属性、目標パラメータを選択する（Ｓ１０３）。例えば第１画像の被写体から車両を観測対象として決定する。観測する対象物が車両の場合は、カメラ２４の画像を基に自車両と観測対象との車両の相対位置を認識し、その車両が前方車両であるか、隣レーンの車両であるか、更には対向車であるかを識別する。例えばカメラ２４の画像中央に車両の後部が撮影されている場合は前方車両と認識し、画像の左右どちらかに偏った位置に車両の後部が撮影されている場合には、隣レーンの車両であると認識する。また、車両の前面が撮影されている場合には対向車であると認識する。

【0034】

対象物識別部１４ｂは、対象物の目的属性、目的パラメータを選択し（Ｓ１０４）、更に対象物の動きに制約を与える環境要因の目的属性、目標パラメータを選択する（Ｓ１０５）。本実施形態では対象物を車両とし、車両の動きに制約を与える環境要因として道路／レーンを例に挙げて説明するが、実際には車両の動きを予測するための環境要因は道路／レーンに限定されず、第１画像内に撮像された全ての被写体、例えば、信号、対向車、自転車、歩行者、交差点に接続する各道路／レーンの情報を環境要因として選択し、各環境要因の目的属性、及び目標パラメータを選択して、動き観測の演算エンジン、例えばニューラルネットワークに入力してもよい。更に環境要因として、ＶＩＣＳ(vehicle information and communication system)からの渋滞情報や道路規制情報などのリアルタイム情報を環境要因として動き観測の演算エンジンに入力してもよい。

【0035】

対象物識別部１４ｂは、対象物が前方車両である場合、環境要因として道路／レーンの目的属性、目標パラメータを選択する。そして、前方車両が走行する道路／レーンの目的属性を読み取るために、対象物識別部１４ｂは、位置算出装置２６から自車両が走行しているレーンを特定する。対象物が前方車両の場合は前方車両の速度／加速度と、自車の走行レーンが直進、左折、右折のどのレーンに該当するかを特定することで、前方車両の走行レーンが特定できる。

【0036】

対象物識別部１４ｂは、目的属性辞書２１１から前方車両の走行レーンに関する道路／レーンの目的属性を読み取る。ここで、目的（ｐｕｒｓｅ）属性とは観測対象物の使用目的を表すものであり、目標（ｔａｒｇｅｔ）パラメータとは、目的を実現するために設定されたデータ構造である。目的属性辞書には、観測対象物及び環境要因毎の目的属性を規定したデータが格納され、目標パラメータ情報記憶部には、環境要因毎の目的属性に対応させた目標パラメータが記憶される。以下に目的属性辞書及び目標パラメータ／に記憶されるデータ例として、車両、及び道路／レーンの各モデル例を説明する。各モデルは、目的属性及び目標パラメータが含まれる。

【0037】

（車両の場合）
目的属性：｛走行,移動,駐車,停車（停止）,乗降,輸送,運搬,牽引,給油,充電,放電｝
目標パラメータ｛発進地（時間）,目的地（時間）,経路,経由地（時間）,駐車地（時間）｝
（道路／レーンの場合）
目的属性：順序付き道路名,｛直進 , 左折 , 右折 , 合流 , 分岐 , Ｕターン｝
目標パラメータ：｛トポロジー名, 目的 ,目標 , 接続角, レーン数,長さ, 幅員, 曲率 ,勾配 , 等｝

【0038】

図５は、トポロジー名がＴ字路の場合の目的属性及び目標パラメータの例を示す。

【0039】

対象物識別部１４ｂは、対象物に関して読み取った目的属性及び目標パラメータを状態予測部１４ｃに出力する。

【0040】

状態予測部１４ｃは、周辺監視センサ２４からの出力に基づいて、識別した対象物の動き観測を行い、動き系列（有限状態系列に相当する）、加速度を求める（Ｓ１０６）。周辺監視センサ２４がカメラである場合は、第１画像とそのあとに撮影した第２画像（第２センサ情報に相当する）との比較により動き観測を行うが、ミリ波レーダやライダーを用いる場合は、対象物の自車両に対する相対速度（微分演算をすれば加速度も得られる）が得られるので、これと自車両の速度センサが出力した自車速度とを基に対象物の動き系列、加速度が求まる。このステップを最初に処理する場合、対象を最初に識別した時点から一定時間後に対象を観測して対象の速度を求め、更に一定時間後に対象を観測して対象の加速度を求める。

【0041】

そして、状態予測部１４ｃは、対象物の動き観測の結果を基にファイルユニット２０に格納された状態系列辞書２０２を検索し、識別した対象物の動きベクトルの集合体からなる有限状態系列を抽出する（Ｓ１０７）。

【0042】

状態予測部１４ｃは、検索した有限状態系列からステップＳ１０５の目的属性、目標パラメータを基に動き系列を絞り込む（Ｓ１０８）。図６は動き系列例を示し、（ａ）は道路／レーンに目的属性を持たないときの動き系列の選択例、（ｂ）は道路／レーンに目的属性を持たせて動き系列の絞りこみ例を概念的に示す図である。

【0043】

道路／レーンに目的属性を持たない場合は、主に、道路上の位置と速度、加速度により動き系列を選択することになるので、交差点付近で速度、加速度が小さい場合、動き系列の選択範囲を絞り込めず広がる（図６（ａ）参照）。これに対して、道路／レーンの目的属性がある場合は、速度、加速度が小さい場合でも、動き系列の選択範囲を絞り込める。例えば図６（ｂ）では道路／レーンの目的属性により、直進又は左折レーンを走行中の前方車両は動き系列のうち右方向を向いた動き系列は選択されず、直進又は左方向を向いた動き系列だけが選択されるので、全方向の動き系列よりも動き系列の選択範囲を絞り込める。同様に、右折レーンを走行中の前方車両は動き系列のうち右方向を向いた動き系列だけが選択されるので、全方向の動き系列よりも動き系列の選択範囲を絞り込める。

【0044】

状態予測部１４ｃは、選択した複数の系列を対象物にあてはめる（Ｓ１０９）。図６に示すように、対象物に絞り込んだ動き系列を重畳することが、本ステップのあてはめ処理に相当する。

【0045】

状態予測部１４ｃは、動き予測をした対象物にＳ１０６で観測した動き系列や加速度を重畳する（Ｓ１１０）。状態予測部１４ｃは第１画像を基に観測対象物を観測して得られた観測値を取得してもよいし、他の種類の周辺監視センサを用いて観測対象物を観測した結果、例えばミリ波レーダによる前方車両の相対速度と車速センサ３６からの自車速度を取得し、両者を用いて前方車両の加速度を演算して観測値を演算してもよい。そしてこの観測値を用いて、絞り込んだ有限状態系列を補正する。

【0046】

以下、図７〜図９を参照して本ステップの処理について説明する。図７は動き系列と動きベクトルによる動き予測を示す図である。図８は、観測対象物に選択された動き系列１３１を割り当てた状態を示す。図９は観測対象物の動きベクトルを示す図である。図７の動き予測１６０は、図８の観測対象物１３０に選択された動き系列１３１を割り当てた状態に、動きベクトル（図９参照）を重畳した状態を示す。動き予測１６０（図７参照）は、重畳された動き系列１５０によって、重畳前の動き系列１３１（図８）とは異なる大きさ、本例では図８の動き系列１３１よりも図７の動き予測１６０における動き系列の方がベクトルの長さが長くなる。

【0047】

この処理を２次元の道路地図上の動き予測に適用した例を図１０に示す。図１０の（ａ）は道路／レーンに目的属性を持たせない例、（ｂ）は道路／レーンに目的属性を持たせた例を示す。道路／レーンに目的属性を持たせることにより、複数検索された動き系列の選択数が絞り込まれた動き予測がされる。そのため動き予測の精度を向上させることができる。

【0048】

状態予測部１４ｃは、状態予測（第１実施形態では動き予測に相当する）を出力する（Ｓ１１１）。図１１は状態予測を継続的に行った結果を示す図である。観測対象物である車両１１０３の動き系列の系列探索を行うと符号１１０１に示すように複数の動き系列が得られる。これから絞込みを行って残った動き系列を順次繋ぎ合わせると符号１１０２に示すように一つの動き系列の流れが生成される。この符号１１０２が示す動き系列を、モニタ３８に予測探索窓を表示し、予測探索窓中の車両１１０３に付加して表示することにより、ドライバーに対して車両１１０３が左折することが状態予測情報として提供することができる。

【0049】

また、動き予測の出力の一態様として、状態予測部１４ｃは動き予測の結果をマッチング部１４ｄに出力してもよい。

【0050】

マッチング部１４ｄは、第１画像で行った動き予測と、第２画像において対象物が撮影された被写体領域とを比較することで、動き予測の検証を行ってもよい。その結果を第三画像に対する対象物識別部の処理に順次フィードバックすることで動き予測の精度を向上させたり、修正を施すことができる。また、マッチング処理を実行した結果に基づいて前方車両や歩行者との衝突危険性があると判定された場合には、車両に搭載したＨＵＤや警報装置に出力して注意を喚起させてもよいし、ＥＣＵ３２に対してブレーキ装置３４を作動させるための制御情報を出力してもよい。

【0051】

また状態予測部１４ｃは、動き予測をモニタ３８に出力して対象物の動き予測をモニタの画面に表示してもよい。例えばモニタに直前車両の画像を表示し、動き予測を示す矢印をモニタの直前車両の画像に重畳表示してもよい。

【0052】

本実施形態によれば、対象物の動き予測をする際に、その対象物の動きに対して制約を与える環境要因の目的属性や目標パラメータを事前に用意しておくことにより、対象物の動き予測の候補を絞り込むことできる。これにより、動き予測の精度を向上させることができる。

【0053】

＜第２実施形態＞
第２実施形態は、周辺監視センサとして定点カメラを用い、状態予測の定点観測対象物である作物を定点撮影し、作物の成長観察、例えば作物の成長予測や異常監視、作物生育環境の状態予測や異常監視を行う実施形態である。本実施形態では、作物の成長に伴う形状変化の系列を規定した有限状態系列を適用し、初期状態の作物の形状をモデル化したモデルを用意する。そして状態予測時における画像から作物の形状変化量を算出し、その変化量に応じてモデルを有限状態系列を基に幾何変換させて予測状態を演算してもよい。更に予測と観測の偏差から異常の検知通報や異常原因の推定をすることができる。

【0054】

その際、作物や作物の生育環境に目的属性と目標パラメータを対応させる辞書を用意して、状態系列の探索に用いることができる。作物自体の目的の例として、発芽、生育、着花、開花、結実、枯れ死、などがあり、目標パラメータの例として茎の高さ、葉の大きさ、枚数、葉の色、葉の間隔、花の数、実の大きさ、形などがある。目的属性、目標パラメータを状態系列の探索に用いることにより、例えば蕾や実が観測されない時点から開花や結実状態を予測した状態系列の探索が可能になる。また生育環境の例として、作物の生育温度を適度に保つためのヒーターや温度を観測する温度計、作物に給水する給水器や、作物に光を与える照明などがある。外部から作物の育成計画として作物の生育予定や、生育環境の温度、給水、照明の制御情報が目的属性及び目的パラメータとして与えられていれば、それらも状態系列の探索に用いて作物の生育予測を行うと共に、ヒーターの温度センサや給水器の給水センサや照明の照度センサの予測値として用い、観測値との偏差を検出したら、観測値に合うように作物や生育環境の状態系列を逆探索することで、温度、給水、照明などの過不足情報や制御へのフィードバック情報として出力したり、温度、給水、照明の各センサの異常検知として出力したり、病虫害の可能性情報として出力してもよい。

【0055】

第２実施形態では、作物の状態予測を行うことで作物の生育環境を改善し、収穫量の増加、また収穫時期の調整を行える効果が期待できる。

【0056】

上記実施形態は本発明を限定する趣旨ではなく、本発明の趣旨を逸脱しない範囲の様々な変更態様は、本発明に含まれる。

【0057】

例えば第１実施形態では、車両に状態予測装置を搭載して車両周辺の対象物、例えば、前方車両や隣レーンの車両、対向車両、歩行者、自転車などの状態予測を行ったので対象物は移動物であった。しかし、対象物は移動物に限らず、静止物でもよい。例えば、ビル内の夜間警備に本実施形態に係る状態予測装置を適用し、対象物を廊下やドア、出入口とし、状態予測のモデルとして静止状態を維持し続けるモデル（ベクトルが０）を適用し、周辺監視センサとして音声信号を収集するマイクを用いてもよい。この場合、夜間のビル内で静止物が静止し続けた場合は無音状態が続くが、例えば侵入者がいた場合には音声信号を拾って異常を検知するように構成してもよい。

【0058】

また第２実施形態において定点カメラを用いた状態予測の対象を建物出入口や玄関などの空間とし、定点カメラの画像に撮像された対象物、例えば不審者の動き予測（状態予測）を行ってもよい。

【0059】

更に上記実施形態では、状態予測部１４ｃは観測対象物及び環境要因のそれぞれの目的属性及び目標パラメータを用いて有限状態系列の絞り込みを行ったが、目的属性だけを用いて有限状態系列の絞り込みを行ってもよい。この場合、例えば前方車両の状態予測を行う例では、前方車両の走行レーンの目的属性が右折レーンである場合、有限状態系列は右方向の状態遷移を示す有限状態系列だけを絞り込むように構成してもよい。

【符号の説明】

【0060】

１０ ・・・状態予測装置
１４ ・・・ＣＰＵ
１６ ・・・ＲＯＭ
１８ ・・・ＲＡＭ
２０ ・・・ファイルユニット
２２ ・・・外部Ｉ／Ｆ
２４ ・・・周辺監視センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】