特許 6793448 車両状態判定装置、表示処理装置および車両状態判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6793448

(24)【登録日】2020年11月12日

(45)【発行日】2020年12月2日

(54)【発明の名称】車両状態判定装置、表示処理装置および車両状態判定方法

(51)【国際特許分類】

   G01P 13/00 20060101AFI20201119BHJP

   G01P 3/36 20060101ALI20201119BHJP

   G08G 1/16 20060101ALI20201119BHJP

【ＦＩ】

   G01P13/00 A

   G01P3/36 C

   G08G1/16 C

【請求項の数】7

【全頁数】21

(21)【出願番号】特願2015-209907(P2015-209907)

(22)【出願日】2015年10月26日

(65)【公開番号】特開2017-83232(P2017-83232A)

(43)【公開日】2017年5月18日

【審査請求日】2018年9月28日

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】松本 裕生

(72)【発明者】

【氏名】三野 敦

(72)【発明者】

【氏名】垣田 直士

【審査官】 越川 康弘

(56)【参考文献】

【文献】 特開２０１５−１８６０８５（ＪＰ，Ａ）

【文献】 特開２０１２−１７３８７４（ＪＰ，Ａ）

【文献】 特開２００９−２９４８４２（ＪＰ，Ａ）

【文献】 特開２００９−０１７４６２（ＪＰ，Ａ）

【文献】 特開２００９−００２７５４（ＪＰ，Ａ）

【文献】 特開２００１−２１９７８３（ＪＰ，Ａ）

【文献】 特開２００１−１９１８７７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｐ １３／００

Ｇ０１Ｐ ３／３６

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

車両に搭載される撮像装置の撮像画像から特徴点を抽出する抽出部と、
前記抽出部が抽出した前記特徴点に基づいて前記車両の所定時間ごとの移動量を推定する推定部と、
前記推定部が推定した前記移動量と、当該移動量の変化量とに基づいて、前記車両の移動を判定する判定部と、
を備え、
前記判定部は、
前記移動量が第１閾値以上かつ前記変化量が第２閾値未満である場合にカウンタ値に第１の値を加算するカウンタ部と、
前記カウンタ値が第３閾値以上である場合に前記車両は移動状態であると判定し、前記カウンタ値が第３閾値未満である場合に前記車両は停止状態であると判定する移動判定部と、を備え、
前記カウンタ部は、
前記移動量が第１閾値未満または前記変化量が第２閾値以上である場合に前記カウンタ値から第２の値を減算すること
を特徴とすることを特徴とする車両状態判定装置。

【請求項2】

異なる時刻における複数の前記特徴点であって、対応する複数の前記特徴点に基づき、オプティカルフローを算出する算出部をさらに備え、
前記推定部は、前記オプティカルフローから前記移動量を推定する
請求項１に記載の車両状態判定装置。

【請求項3】

前記カウンタ部は、
前記移動量が第１閾値未満または前記変化量が第２閾値以上である場合に、前記カウンタ値から前記第１の値より大きい前記第２の値を減算すること
を特徴とする請求項１または２に記載の車両状態判定装置。

【請求項4】

前記判定部は、
前記カウンタ部による減算処理が連続して第４閾値以上継続する場合に、前記カウンタ値を初期化する初期化処理部をさらに備えること
を特徴とする請求項１〜３のいずれか１項に記載の車両状態判定装置。

【請求項5】

請求項１〜４のいずれか一項に記載の車両状態判定装置と、
前記車両の移動経路を予測する予測部と、
前記車両が移動状態であると前記判定部が判定した場合に、前記予測部が予測した前記移動経路を示す予測経路画像を前記撮像画像に重畳して表示装置に表示させる表示制御部と、をさらに備えること
を特徴とする表示処理装置。

【請求項6】

前記車両が停止状態であると前記判定部が判定した場合に、前記車両が前記停止状態であると前記判定部が判定してから経過した時間に応じた表示態様の前記移動経路を示す前記予測経路画像を生成する画像生成部をさらに備えること
を特徴とする請求項５に記載の表示処理装置。

【請求項7】

車両に搭載される撮像装置の撮像画像から特徴点を抽出する抽出工程と、
前記抽出工程で抽出した前記特徴点に基づいて前記車両の所定時間ごとの移動量を推定する推定工程と、
前記推定工程で推定した前記移動量と、当該移動量の変化量に基づいて、前記車両の移動を判定する判定工程と、
を含み、
前記判定工程は、
前記移動量が第１閾値以上かつ前記変化量が第２閾値未満である場合にカウンタ値に第１の値を加算するカウント工程と、
前記カウンタ値が第３閾値以上である場合に前記車両は移動状態であると判定し、前記カウンタ値が第３閾値未満である場合に前記車両は停止状態であると判定する移動判定工程と、を含み、
前記カウント工程は、
前記移動量が第１閾値未満または前記変化量が第２閾値以上である場合に前記カウンタ値から第２の値を減算する
ことを特徴とする車両状態判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両状態判定装置、表示処理装置および車両状態判定方法に関する。

【背景技術】

【0002】

従来、車両に搭載した撮像装置による撮像画像に基づいて車両状態を検出する装置が知られている。（例えば、特許文献１参照）。かかる装置では、例えば撮像画像に基づいてオプティカルフローを選択し、選択したオプティカルフローに基づいて車両の移動状態を検出している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−３１１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の装置では、撮像画像から選択したオプティカルフローに基づいて車両の状態を検出しているため、例えば車両のハザードランプが点滅した場合など、車両周囲の状況が変化すると、車両の移動状態の検出精度が低下する恐れがあった。

【0005】

本発明は、上記に鑑みてなされたものであって、車両の移動状態を高精度に判定することができる車両状態判定装置、表示処理装置および車両状態判定方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決し、目的を達成するために、本発明の車両状態判定装置は、抽出部と、推定部と、判定部とを備える。抽出部は、車両に搭載される撮像装置の撮像画像から特徴点を抽出する。推定部は、前記抽出部が抽出した前記特徴点に基づいて前記車両の所定時間ごとの移動量を推定する。判定部は、前記推定部が推定した前記移動量と、当該移動量の変化量とに基づいて、前記車両の移動を判定する。

【発明の効果】

【0007】

本発明によれば、車両の移動状態を高精度に判定することができる車両状態判定装置、表示処理装置および車両状態判定方法を提供することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る車両状態判定方法を示す説明図である。

【図2】図２は、実施形態に係る運転支援システムの構成例を示す図である。

【図3】図３は、実施形態に係る撮像装置の配置例を示す図である。

【図4】図４は、実施形態に係る特徴点抽出部が抽出する特徴点を示す図である。

【図5】図５は、実施形態に係る移動ベクトルの説明図である。

【図6】図６は、実施形態に係るカウンタ部の構成例を示す図である。

【図7】図７は、実施形態に係るカウンタ部が行う処理を説明する図である。

【図8】図８は、実施形態に係る固定ガイド線および予測ガイド線を示す図である。

【図9】図９は、実施形態に係る走行状態、描画モードおよび長さ調整倍率の対応関係を示すタイミングチャートである。

【図10】図１０は、実施形態に係る表示画像を示す画像である。

【図11】図１１は、実施形態に係る表示画像を示す画像である。

【図12】図１２は、実施形態に係る表示画像を示す画像である。

【図13】図１３は、実施形態に係る画像表示処理を示すフローチャートである。

【図14】図１４は、実施形態に係る表示処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本願の開示する車両状態判定装置、表示処理装置および車両状態判定方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0010】

［１．車両状態判定方法］
図１は、本発明の実施形態に係る車両状態判定方法を示す説明図である。かかる車両状態判定方法は、例えば車両Ｃに搭載される車両状態判定装置によって実行される。車両状態判定装置は、例えば車両Ｃ内に設けられる（図示せず）。以下、車両Ｃが空きスペースに駐車される場合を例にとって、車両Ｃの状態を判定する方法について説明する。

【0011】

車両Ｃにはカメラ等の撮像装置が設置されており、かかる撮像装置は所定時間Ｔごとに車両Ｃの周囲（例えば、車両Ｃ後方）を撮像し撮像画像を生成する。車両状態判定装置は、撮像装置から撮像画像を取得する。

【0012】

車両状態判定装置は、撮像画像から特徴点を抽出する。車両状態判定装置は、抽出した特徴点に基づいて車両Ｃの所定時間Ｔごとの移動量Ｄを推定する。かかる移動量Ｄは、車両Ｃの速度とも言える。車両状態判定装置は、例えば複数の特徴点の移動量Ｄの平均値を車両Ｃの移動量Ｄとすることができる。

【0013】

例えば車両Ｃが停止した状態から移動を開始し、徐々に速度を上昇させた場合、車両Ｃの所定時間Ｔごとの移動量Ｄは、図１（ａ）に示すようにほぼゼロの状態から緩やかに上昇する。なお、図１（ａ）は、移動量Ｄの時間変化を示すグラフであり、縦軸は移動量、横軸は時間を示している。

【0014】

ここで、例えば、撮像画像に車両Ｃ以外の移動物が含まれるなど車両Ｃ周囲の状況が変化すると、変化の状況によっては移動量Ｄが正しく検出されない場合がある。この場合、例えば、車両Ｃが停止している場合であっても、移動していると判定してしまうおそれがある。そこで、本実施形態に係る車両状態判定方法では、移動量Ｄに加え、移動量Ｄの変化量Ａに基づいて、移動状態を判定するようにした。

【0015】

例えば、撮像画像に車両Ｃ以外の移動物体として他車両Ｃ１が写り込む場合について説明する。図１（ｂ）は、かかる場合における移動量Ｄの時間変化を示すグラフである。図１（ｂ）に示すグラフの縦軸は移動量、横軸は時間を示している。

【0016】

この場合、車両状態判定装置は、他車両Ｃ１の移動を車両Ｃの移動として検出してしまう。そのため、車両Ｃの所定時間Ｔごとの移動量Ｄのグラフは、他車両Ｃ１が移動した期間（図１（ｂ）の時刻Ｔ１１から時刻Ｔ１２まで）において、他車両Ｃ１の移動量に応じた値をとるグラフとなる。車両状態判定装置が、例えば移動量Ｄと第１閾値ＴＨ１との比較のみで車両Ｃの移動を判定すると、図１（ｂ）の時刻Ｔ１１から時刻Ｔ１２までの期間において車両状態判定装置は、車両Ｃが移動していない停止状態であるにもかかわらず、移動している移動状態であると誤判定してしまう。

【0017】

そこで、本実施形態に係る車両状態判定装置は、移動量Ｄに加え、移動量Ｄの変化量Ａに基づいて、移動状態を判定する。例えば、車両状態判定装置は、移動量Ｄが第１閾値ＴＨ１以上かつ変化量Ａが第２閾値ＴＨ２未満である状態の出現状態に基づいて車両Ｃの移動を判定する。ここで、変化量Ａは、所定時間Ｔごとの移動量Ｄの変化量Ａであり、例えば所定タイミングＴ１の移動量Ｄ１と、所定タイミングＴ１より一つ前のタイミングＴ０の移動量Ｄ０との差分の絶対値である。したがって、車両状態判定装置は、車両Ｃの速度の変化量Ａである加速度の絶対値に基づいて、移動状態を判定するとも言える。

【0018】

図１（ｃ）は、変化量Ａの時間変化を示すグラフである。図１（ｃ）に示すグラフの縦軸は変化量、横軸は時間を示している。図１（ｃ）に示すように、移動量Ｄの増減に従って移動量Ｄの変化量Ａも増減する。他車両Ｃ１が移動する場合など、車両Ｃ以外の移動物体によって移動量Ｄが変化する場合、移動量Ｄの変化量Ａは大きくなる。

【0019】

そのため、車両状態判定装置は、図１（ｂ）の時刻Ｔ１１から時刻Ｔ１２までの間に示すように、車両Ｃの移動量Ｄが第１閾値ＴＨ１以上となっていても、図１（ｃ）に示すように、移動量Ｄの変化量Ａが、第２閾値ＴＨ２以上である場合、車両状態判定装置は、車両Ｃ以外の移動物体によって移動量Ｄが変化している可能性があると判定する。本実施形態では、この場合、車両状態判定装置は、車両Ｃが停止状態であると判定する。

【0020】

このように、車両状態判定装置が、移動量Ｄと、当該移動量Ｄの変化量Ａに基づいて、車両Ｃの移動を判定することで、例えば車両Ｃ以外の他車両Ｃ１が移動するなど車両Ｃの周囲の状況が変化した場合であっても、車両Ｃが移動しているか否か、すなわち車両Ｃの移動状態を高精度に判定することができる。

【0021】

なお、ここでは、他車両Ｃ１などの移動体が撮像装置の撮像範囲に含まれる場合について説明したが、これに限られない。例えば、ハザードランプが点滅している場合などであっても、車両Ｃの状態の判定精度を向上させることができる。

【0022】

例えば夜間などにおいてハザードランプが点滅している場合、ランプが点灯している状態で撮像した撮像画像と、ランプが消灯している状態で撮像した撮像画像とでは、抽出される特徴点が異なる場合がある。この場合、かかる特徴点に基づいて移動量Ｄを推定すると、ランプが点滅状態によって移動量Ｄが大きく変化してしまう。このような場合であっても、車両状態判定装置が、移動量Ｄと、当該移動量Ｄの変化量Ａに基づいて、車両Ｃの移動を判定することで、ランプの点滅による移動量Ｄの変化の影響を受けにくくなり、車両Ｃの状態を高精度に判定することができる。

【0023】

なお、ここで、停止状態とは、車両Ｃが所定の速度以下で移動している状態、あるいは速度ゼロで完全に停止している状態を指す。また、移動状態とは、車両Ｃが所定の速度以上で移動している状態を指す。以下、かかる車両状態判定装置を含む表示処理装置１および運転支援システムＳについてさらに説明する。

【0024】

［２．運転支援システムＳ］
図２は、本発明の実施形態に係る運転支援システムＳの構成例を示す図である。図２に示すように、運転支援システムＳは、表示処理装置１と、撮像装置２と、表示装置３とを備える。

【0025】

［２．１．撮像装置２］
撮像装置２は、例えば車両Ｃの後方に配置される、いわゆるバックカメラである。図３に示すように、撮像装置２は、車両Ｃの後端の背面ドアに設けられ、画角θを有する。撮像装置２の光軸１５は、車両Ｃの前後方向に沿って後方に向けられる。したがって、撮像装置２は、例えば所定時間Ｔごとに車両Ｃの後方に拡がる画角θの領域を撮影して、車両Ｃの後方の様子を示す撮像画像Ｇ１を生成することができる。撮像装置２のレンズは、例えば魚眼レンズである。なお、図３は、撮像装置２の配置例を示す図である。

【0026】

［２．２．表示処理装置１］
図２に示す表示処理装置１は、撮像画像Ｇ１に基づいて、車両Ｃの移動経路を予測し、予測した移動経路を示す予測経路画像を撮像画像Ｇ１に重畳して表示装置３に表示させることで、車両Ｃの運転者による運転を支援する。表示処理装置１は、車両状態判定装置１０と、取得部２０と、予測部３０と、画像生成部４０と、表示制御部５０と、記憶部６０とを備える。

【0027】

［２．２．１．取得部２０］
取得部２０は、撮像装置２が生成するフレーム単位の撮像画像Ｇ１を繰り返して取得する。取得した撮像画像Ｇ１がアナログの場合、取得部２０は、かかるアナログの撮像画像Ｇ１をデジタルの撮像画像Ｇ１に変換（Ａ／Ｄ変換）する。取得部２０は、取得した撮像画像Ｇ１を車両状態判定装置１０および表示制御部５０に出力する。

【0028】

［２．２．２．車両状態判定装置１０］
車両状態判定装置１０は、撮像画像Ｇ１に基づいて車両Ｃの移動を判定する。車両状態判定装置１０は、抽出部１００と、移動ベクトル算出部２００と、移動量推定部３００と、変化量検出部４００と、判定部５００とを備える。

【0029】

［２．２．２．１．抽出部１００］
抽出部１００は、撮像画像Ｇ１から複数の特徴点を抽出する。抽出部１００は、俯瞰画像生成部１１０と、特徴点抽出部１２０とを備える。

【0030】

俯瞰画像生成部１１０は、撮像画像Ｇ１に対して座標変換処理を行い、車両Ｃ上方から見た画像である俯瞰画像Ｇ２を生成する。例えば、俯瞰画像生成部１１０は、撮像画像Ｇ１を所定の投影面に投影（マッピング）し、所定の投影面に投影された撮像画像Ｇ１のうち、車両Ｃ上方から見て所定の視野角に含まれる領域の画像を俯瞰画像Ｇ２とする。

【0031】

特徴点抽出部１２０は、俯瞰画像生成部１１０によって生成された俯瞰画像Ｇ２から特徴点を抽出する。特徴点とは、俯瞰画像Ｇ２のうち、際だって検出できる点である。特徴点抽出部１２０は、例えばエッジ検出処理を用いて複数のエッジを検出し、複数のエッジの交点を特徴点として抽出する。特徴点抽出部１２０は、図４に示すように、俯瞰画像Ｇ２から複数の特徴点Ｐを抽出する。なお、図４は、特徴点抽出部１２０が抽出する特徴点Ｐを示す図である。

【0032】

なお、特徴点の抽出方法はこれに限られず、俯瞰画像Ｇ２に含まれる輝度情報や色情報に基づいて特徴点Ｐを抽出してもよい。特徴点抽出部１２０は、抽出した特徴点を移動ベクトル算出部２００に出力する。

【0033】

［２．２．２．２．移動ベクトル算出部２００］
移動ベクトル算出部２００は、抽出部１００の特徴点抽出部１２０が抽出した特徴点に基づいて、移動ベクトルＶを算出する。具体的に、移動ベクトル算出部２００は、異なる時刻における俯瞰画像Ｇ２から抽出した特徴点同士を対応付ける。

【0034】

移動ベクトル算出部２００は、対応付けた特徴点を例えば所定の座標平面Ｒ上にマッピングする。図５には、対応付けた特徴点Ｐ０およびＰ１を示している。特徴点Ｐ０、Ｐ１は同じ特徴点であるが、抽出した画像の撮像時刻がそれぞれ異なるため、画像における位置がそれぞれ異なる。なお、特徴点Ｐ１は、所定時刻ｔ１の俯瞰画像Ｇ２１から抽出した特徴点であり、特徴点Ｐ０は、所定時刻ｔ１より１つ前に俯瞰画像生成処理を行った時刻ｔ０の俯瞰画像Ｇ２０から抽出した特徴点である。移動ベクトル算出部２００は、特徴点Ｐ０を始点とし、特徴点Ｐ１を終点とするベクトルを時刻ｔ１における移動ベクトル（オプティカルフロー）Ｖ１０として算出する。なお、図５は、移動ベクトルＶ１０の説明図である。

【0035】

［２．２．２．３．移動量推定部３００］
移動量推定部３００は、抽出部１００の特徴点抽出部１２０が抽出した特徴点Ｐに基づいて、所定時間Ｔごとの車両Ｃの移動量Ｄを推定する推定部である。所定時間Ｔは、車両状態判定装置１０が行う判定処理にかかる時間であり、例えば撮像画像Ｇ１の１フレームの周期（フレームレートの逆数）に相当する。移動量推定部３００は、移動ベクトル算出部２００が算出した移動ベクトルＶの大きさを算出することで、移動量Ｄを推定する。移動量推定部３００は、推定した移動量Ｄを変化量検出部４００および判定部５００に出力する。

【0036】

なお、ここでは、移動量推定部３００が移動ベクトルＶから移動量Ｄを推定する場合について説明したが、これに限られない。例えば移動量推定部３００が、抽出部１００の特徴点抽出部１２０が抽出した特徴点Ｐから直接移動量Ｄを推定するようにしてもよい。この場合、移動量推定部３００は、例えば図５に示すように座標平面Ｒ上にマッピングされた特徴点Ｐ１、Ｐ０の距離を移動量Ｄとして推定する。

【0037】

このように、移動量推定部３００は、所定時間Ｔごとの車両Ｃの移動量Ｄを推定する。したがって、移動量推定部３００は、車両Ｃの速度を推定しているとも言える。

【0038】

［２．２．２．４．変化量検出部４００］
変化量検出部４００は、移動量推定部３００が推定した所定時間Ｔごとの移動量Ｄに基づいて、移動量Ｄの変化量Ａを検出する。変化量検出部４００は、例えば時刻ｔ１における車両Ｃの移動量Ｄ１と時刻ｔ１の一つ前の時刻Ｔ０における車両Ｃの移動量Ｄ０との差分を、時刻ｔ１における移動量Ｄ１の変化量Ａ１として検出する。変化量検出部４００は、検出した変化量Ａを判定部５００に出力する。

【0039】

このように、変化量検出部４００は、車両Ｃの移動量Ｄの変化量Ａを検出する。そのため、変化量検出部４００は、車両Ｃの加速度を推定しているとも言える。このように、変化量検出部４００は、所定時間Ｔごとの移動量Ｄの微分値を算出することで変化量Ａを検出する。

【0040】

［２．２．２．５．判定部５００］
判定部５００は、移動量推定部３００が推定した移動量Ｄと、変化量検出部４００が検出した変化量Ａとに基づいて、車両Ｃの移動、すなわち走行状態を判定する。判定部５００は、例えばカウンタ部５１０と、初期化処理部５２０と、移動判定部５３０とを備える。

【0041】

カウンタ部５１０は、移動量Ｄが第１閾値ＴＨ１以上かつ変化量Ａが第２閾値ＴＨ２未満である場合にカウンタ値ＣＶに第１の値Ｅ１を加算し、移動量Ｄが第１閾値ＴＨ１未満または変化量Ａが第２閾値ＴＨ２以上である場合にカウンタ値ＣＶから第２の値Ｅ２を減算する。

【0042】

図６および図７を用いて、カウンタ部５１０の詳細を説明する。図６は、カウンタ部５１０の構成例を示す図である。図７は、カウンタ部５１０が行う処理を説明する図である。図６に示すように、カウンタ部５１０は、移動量比較器５１１と、変化量比較器５１２と、ＡＮＤ演算器５１３と、カウンタ５１４とを備える。

【0043】

移動量比較器５１１は、移動量推定部３００が推定した所定時間Ｔごとの移動量Ｄと第１閾値ＴＨ１とを比較し、比較結果をＡＮＤ演算器５１３に出力する。移動量比較器５１１は、例えば移動量Ｄが第１閾値ＴＨ１以上である場合「１」を示す信号を出力し、移動量Ｄが第１閾値ＴＨ１未満である場合「０」を示す出力信号をＡＮＤ演算器５１３に出力する。

【0044】

図７（ａ）に示すような移動量Ｄが移動量比較器５１１に入力された場合、移動量比較器５１１は、図７（ｂ）に示すように時刻Ｔ１１までは「０」、時刻Ｔ１１から時刻Ｔ１２までの間は「１」、時刻Ｔ１２以降は「０」を示す出力信号をＡＮＤ演算器５１３に出力する。なお、図７（ａ）は、移動量Ｄの時間変化を示すグラフであり、図７（ｂ）は、移動量比較器５１１の出力信号を示す図である。

【0045】

変化量比較器５１２は、変化量検出部４００が推定した所定時間Ｔごとの変化量Ａと第２閾値ＴＨ２とを比較し、比較結果をＡＮＤ演算器５１３に出力する。変化量比較器５１２は、例えば変化量Ａが第２閾値ＴＨ２未満である場合「１」を示す信号を出力し、変化量Ａが第２閾値ＴＨ２以上である場合「０」を示す出力信号をＡＮＤ演算器５１３に出力する。

【0046】

図７（ｃ）に示すような変化量Ａが変化量比較器５１２に入力された場合、変化量比較器５１２は、図７（ｄ）に示すように時刻Ｔ２１から時刻Ｔ２２までの間および時刻Ｔ２３から時刻Ｔ２４までの間は「０」、それ以外の時刻では「１」を示す出力信号をＡＮＤ演算器５１３に出力する。なお、図７（ｃ）は、変化量Ａの時間変化を示すグラフであり、図７（ｄ）は、変化量比較器５１２の出力信号を示す図である。

【0047】

ＡＮＤ演算器５１３は、移動量比較器５１１の出力信号と変化量比較器５１２の出力信号とのＡＮＤ演算を行い、演算結果である演算信号をカウンタ５１４に出力する。例えば、図７（ｂ）に示す信号および図７（ｄ）に示す信号がそれぞれＡＮＤ演算器５１３に入力されると、ＡＮＤ演算器５１３は、時刻Ｔ２２から時刻Ｔ１２までの間は「１」、それ以外の時刻では「０」を示す演算信号をカウンタ５１４に出力する。なお、図７（ｅ）は、ＡＮＤ演算器５１３の演算信号を示す図である。

【0048】

カウンタ５１４は、演算信号が「１」である場合にカウンタ値ＣＶに第１の値Ｅ１を加算し、演算信号が「０」である場合にカウンタ値ＣＶから第１の値Ｅ１より大きい第２の値Ｅ２（Ｅ１＜Ｅ２）を減算する。カウンタ５１４は、カウンタ値ＣＶを移動判定部５３０に出力する。

【0049】

ここで、カウンタ５１４がカウンタ値ＣＶから第１の値Ｅ１より大きい第２の値Ｅ２を減算することで、例えばハザードランプが点滅している場合や、移動体が撮像装置２の撮像範囲を繰り返し移動する場合など、所定の周期で外乱が発生する場合に、車両状態判定装置１０による車両Ｃの走行状態の誤判定を低減することができる。

【0050】

例えば、図７（ｅ）に示すＡＮＤ演算器５１３の演算信号が入力される場合、カウンタ５１４は、図７（ｆ）に示すように時刻Ｔ２２から時刻Ｔ１２までの間はカウンタ値ＣＶに第１の値Ｅ１を加算し、時刻Ｔ１２以降はカウンタ値ＣＶから第２の値Ｅ２を減算する。なお、例えば時刻Ｔ３で、初期化処理部５２０からカウンタ値ＣＶを初期化する旨の通知を受けると、カウンタ５１４はカウンタ値ＣＶを初期化する。ここでは、例えばカウンタ値ＣＶをゼロとする。なお、図７（ｆ）は、カウンタ５１４が出力するカウンタ値ＣＶを示す図である。

【0051】

移動判定部５３０は、図７（ｆ）に示すように、カウンタ値ＣＶと第３閾値ＴＨ３とを比較し、カウンタ値ＣＶが第３閾値ＴＨ３以上である場合に、移動量Ｄが第１閾値ＴＨ１以上かつ変化量Ａが第２閾値ＴＨ２未満である状態が継続した状態であるとして、車両Ｃが移動状態であると判定する。一方、カウンタ値ＣＶが第３閾値ＴＨ３未満である場合に、移動量Ｄが第１閾値ＴＨ１以上かつ変化量Ａが第２閾値ＴＨ２未満である状態が継続した状態でないとして、移動判定部５３０は車両Ｃが停止状態であると判定する。移動判定部５３０は、判定結果を画像生成部４０に出力する。

【0052】

初期化処理部５２０は、カウンタ部５１０による減算処理が連続して第４閾値ＴＨ４以上継続する場合に、カウンタ値ＣＶを初期化する。具体的には、初期化処理部５２０は、例えばカウンタ値ＣＶに基づいて、カウンタ５１４が加算処理および減算処理のうちどちらの処理を行ったかを判定する。

【0053】

初期化処理部５２０は、例えば、時刻ｔ１におけるカウンタ値ＣＶ１と時刻ｔ０におけるカウンタ値ＣＶ０との差分に応じてカウンタ５１４がカウンタ値ＣＶに第１の値Ｅ１を加算する加算処理を行ったか、カウンタ値ＣＶから第２の値Ｅ２を減算する減算処理を行ったかを判定する。初期化処理部５２０は、減算処理が連続して第４閾値ＴＨ４以上継続する場合に、カウンタ値ＣＶを初期化する旨の通知をカウンタ５１４に出力する。

【0054】

ここで、初期化処理部５２０が所定条件でカウンタ値ＣＶを初期化することで、例えばハザードランプが点滅している場合や、移動体が撮像装置２の撮像範囲を繰り返し移動する場合など、短い周期で何度も外乱が発生する場合に、カウンタ値ＣＶが第３閾値ＴＨ３以上となってしまう可能性を低減することができる。これにより、車両状態判定装置１０による車両Ｃの走行状態の誤判定を低減することができる。

【0055】

なお、ここでは、判定部５００が、移動量Ｄが第１閾値ＴＨ１以上かつ変化量Ａが第２閾値ＴＨ２未満である状態（以下、所定状態と記載する）の出現状態として、カウンタ値ＣＶを用いて所定状態の継続状態を検出し、かかる継続状態に基づいて車両Ｃの走行状態を判定する場合について説明したが、これに限られない。例えば、所定状態であるか否かに基づいて走行状態を判定するようにしてもよい。すなわち、判定部５００は、移動量Ｄが第１閾値ＴＨ１以上かつ変化量Ａが第２閾値ＴＨ２未満の場合に、車両Ｃが移動状態であると判定し、判定部５００は、移動量Ｄが第１閾値ＴＨ１未満または変化量Ａが第２閾値ＴＨ２以上の場合に、車両Ｃが停止状態であると判定するようにし、かかる判定を所定時間ごとに行うようにしてもよい。

【0056】

あるいは、出現状態として、第２閾値ＴＨ２未満である変化量Ａの出現間隔や出現頻度に応じて、移動の判定を行うようにしてもよい。

【0057】

例えば、判定部５００は、時刻ｔ４で変化量Ａが第２閾値ＴＨ２以上から第２閾値ＴＨ２未満に変化したとしても、以前に変化量Ａが第２閾値ＴＨ２未満であった時刻ｔ３から所定期間Ｔ２を経過していな場合（Ｔ２＜ｔ４−ｔ３）は、移動量Ｄの値にかかわらず車両Ｃは停止していると判定する。すなわち、変化量Ａが第２閾値ＴＨ２以上になってから所定期間Ｔ２が経過するまでの間は不安定領域であるとし、判定部５００は、かかる不安定領域では車両Ｃの移動の判定を行わないものとする。

【0058】

あるいは、変化量Ａが第２閾値ＴＨ２未満になってから所定期間Ｔ３が経過するまでの間は不安定領域であるとし、判定部５００は、かかる不安定領域では車両Ｃの移動の判定を行わないようにしてもよい。なお、かかる所定期間Ｔ２、Ｔ３は、固定の期間であってもよく、例えば第２閾値ＴＨ２未満である変化量Ａの出現頻度に応じて変更されるなど可変の期間であってもよい。

【0059】

また、判定部５００は、時刻ｔ４で変化量Ａが第２閾値ＴＨ２以上から第２閾値ＴＨ２未満に変化したとしても、変化量Ａが第２閾値ＴＨ２未満である頻度（出現頻度）が、所定値未満である場合は、移動量Ｄの値にかかわらず車両Ｃは停止していると判定する。すなわち、変化量Ａが第２閾値ＴＨ２未満である頻度が所定値未満である間は不安定領域であるとし、判定部５００は、かかる不安定領域では車両Ｃの移動の判定を行わないものとする。

【0060】

このように、第２閾値ＴＨ２未満である変化量Ａの出現間隔や出現頻度に応じて、移動の判定を行うことで、例えばハザードランプが点滅している場合など移動量Ｄの変化量Ａが頻繁に変化する場合に、車両Ｃの走行状態が頻繁に変化することがなく、車両Ｃの走行状態の誤判定を低減することができる。また、走行状態に基づいて予測ガイド線Ｌ１２を描画する場合であっても、予測ガイド線Ｌ１２の表示・非表示が頻繁に変更されにくくなる。

【0061】

ここでは、判定部５００が、移動量Ｄが第１閾値ＴＨ１以上かつ変化量Ａが第２閾値ＴＨ２未満である状態の継続状態に基づいて移動を判定するとしたが、これに限られない。例えば、変化量Ａが第２閾値ＴＨ２未満になってからの第１閾値ＴＨ１以上の移動量Ｄの継続時間に基づいて、判定部５００が移動判定を行うようにしてもよい。あるいは、移動量Ｄが第１閾値ＴＨ１以上になってからの第２閾値ＴＨ２未満の変化量Ａの継続時間に基づいて移動判定を行うようにしてもよい。

【0062】

また、カウンタ部５１０がカウンタ値ＣＶに第１の値Ｅ１を加算するとしたが、これに限られない。例えばカウンタ部５１０が、移動量Ｄに応じた値を加算するようにしてもよい。例えば、移動量Ｄが大きいほどカウンタ値ＣＶに加算する値を小さくする。
具体的には、例えば移動量Ｄと複数の閾値とを比較し、比較結果に応じた加算値をカウンタ値ＣＶに加算する。あるいは、例えばカウンタ部５１０が、変化量Ａに応じた値を加算するようにしてもよい。例えば、変化量Ａが大きいほどカウンタ値ＣＶに加算する値を小さくするようにしてもよい。

【0063】

例えば、駐車する場合など車両Ｃを後退させている場合、車両Ｃの速度（移動量Ｄ）や加速度（変化量Ａ）は比較的遅く（小さく）なる。したがって、移動量Ｄや変化量Ａが大きい場合、車両Ｃ以外の移動体の影響やハザードランプの点滅による影響によって大きくなっている可能性が高い。そこで、移動量Ｄや変化量Ａが大きい程、カウンタ値ＣＶに加算する値を小さくする。これにより、車両Ｃの走行状態の誤判定を低減することができる。

【0064】

なお、カウンタ値ＣＶから減算する場合も同様に、移動量Ｄや変化量Ａに応じた値を減算するようにしてもよい。この場合、移動量Ｄや変化量Ａが大きいほどカウンタ値ＣＶから減算する値を大きくする。これにより、車両Ｃの走行状態の誤判定を低減することができる。

【0065】

［２．２．３．予測部３０］
予測部３０は、抽出部１００が抽出した特徴点Ｐに基づいて、車両Ｃの移動経路を予測する。予測部３０は、移動ベクトル算出部２００が算出した移動ベクトルＶに基づいて車両Ｃの移動経路を予測する。

【0066】

予測部３０は、移動ベクトル算出部２００が算出した移動ベクトルＶに基づいて車両Ｃの旋回量を算出する。ここで、車両Ｃの旋回量とは、旋回方向や旋回角度、並進量などを含む概念である。予測部３０は、移動ベクトル算出部２００が算出した移動ベクトルＶの中から路面の移動ベクトルを抽出し、抽出した路面の移動ベクトルに基づいて車両Ｃの旋回量を算出する。予測部３０は、算出した旋回量に基づいて車両Ｃの移動経路を予測する。予測部３０は、予測した移動経路を画像生成部４０に出力する。

【0067】

なお、ここでは、表示処理装置１が予測部３０を備えるものとしたが、これに限られない。例えば車両状態判定装置１０が予測部３０を備えるようにしてもよい。また、予測部３０が舵角センサなどの他のセンサを用いて移動経路を予測するようにしてもよい。

【0068】

［２．２．４．画像生成部４０］
画像生成部４０は、判定部５００の判定結果に応じて、車両Ｃの運転者による運転を支援するための画像を生成する。画像生成部４０は、固定ガイド線Ｌ１１および車両Ｃの走行状態に応じた表示態様の予測ガイド線Ｌ１２を含む予測経路画像を生成する。

【0069】

ここで、図８を用いて固定ガイド線Ｌ１１および予測ガイド線Ｌ１２を説明する。図８は車両Ｃの上方からみた固定ガイド線Ｌ１１および予測ガイド線Ｌ１２を示す図である。

【0070】

図８（ａ）に示す固定ガイド線Ｌ１１は、予め定められた領域に描画される線であり、車両Ｃの移動経路や走行状態とは関係なく表示される所定の枠線である。固定ガイド線Ｌ１１は、車両Ｃの後部から車幅とほぼ同様の幅Ｗ１で車両Ｃの後方に長さＨ１だけ延びた線と、それらを結ぶ線とで囲まれた線である。なお、図８（ａ）に示す固定ガイド線Ｌ１１は一例であり、これに限られない。例えば固定ガイド線Ｌ１１が車両Ｃの後方からの距離を示す線を有するようにしてもよい。

【0071】

図８（ｂ）に示す予測ガイド線Ｌ１２は、車両Ｃの移動経路であると予測される位置に描画されるガイド線である。車両Ｃの後部から車幅とほぼ同様の幅Ｗ２の線であって、移動経路と予測された位置に延びた線が予測ガイド線である。予測ガイド線Ｌ１２は、例えば予測部３０が算出した旋回量の旋回中心を中心とした円弧（予測経路）の一部であり、幅Ｗ０、長さＨ２の矩形の描画領域に含まれる。このように、予測ガイド線Ｌ１２は、予測部３０が予測した予測経路に基づいて決定される。

【0072】

本実施形態では、画像生成部４０は、車両Ｃの走行状態に応じて上述した描画領域の車両Ｃ前後方向の長さＨ２を所定の範囲（Ｈ１≧Ｈ２≧０）で変化させることで、その範囲内に描画される予測ガイド線Ｌ１２の長さを変化させる。画像生成部４０は、例えば長さＨ２に長さ調整倍率を乗算することで、描画領域の長さを所定の範囲（Ｈ１≧Ｈ２≧０）で変化させる。

【0073】

次に、画像生成部４０は、車両Ｃの走行状態に応じて、予測ガイド線Ｌ１２の描画モードをＡ〜Ｄのモードにわけて描画した予測経路画像を生成する。図９は、走行状態、描画モードおよび長さ調整倍率の対応関係を示すタイミングチャートである。

【0074】

図９に示すように、走行状態が「停止」である場合（モードＡ）、画像生成部４０は、予測ガイド線Ｌ１２の描画領域の長さ調整倍率を０．０倍にする。すなわち、画像生成部４０は、予測ガイド線Ｌ１２を描画しない（図１０参照）。

【0075】

次に、走行状態が「移動」に変化した場合（モードＢ）、画像生成部４０は、長さ調整倍率を０．０倍から１．０倍に変化させる。つまり、画像生成部４０は、長さが長くなるように変化する予測ガイド線Ｌ１２を描画する（図１２参照）。

【0076】

長さ調整倍率が１．０倍に変化した後の走行状態が「移動」である場合（モードＣ）、画像生成部４０は、長さ調整倍率を１．０倍のままにする。すなわち、画像生成部４０は、長さが最大の予測ガイド線Ｌ１２を描画する（図１１参照）。

【0077】

次に、走行状態が「移動」から「停止」に変化した場合（モードＤ）、画像生成部４０は、長さ調整倍率を１．０倍から０．０倍に変化させる。つまり、画像生成部４０は、長さが短くなる予測ガイド線Ｌ１２を描画する（図１２参照）。これは、走行状態が「移動」から「停止」に変化したため、予測ガイド線Ｌ１２の表示が不要になるからである。また、前述のように、予測部３０は移動ベクトルＶに基づいて車両Ｃの移動経路を予測するため、走行状態が「停止」に変化すると車両Ｃの移動経路の予測精度が低下する。すなわち、予測ガイド線Ｌ１２の信頼性が低下するため、信頼性の低い予測ガイド線Ｌ１２の長さが短くされる。

【0078】

なお、モードＢ、Ｄにおいて、予測ガイド線Ｌ１２の長さを変化させる速度は任意であるが、モードＤの変化速度はモードＢの変化速度よりも遅い方が好ましい。これは、停止状態から移動状態に変化したときは直ぐに予測ガイド線Ｌ１２が確認できるようにした方が好ましく、移動状態から停止状態に変化したときは徐々に短くしていく方が停止状態に移行していることを運転者が把握しやすいからである。

【0079】

以降、同様に、画像生成部４０は、走行状態に応じた描画モードに基づいて予測ガイド線Ｌ１２を描画する。

【0080】

なお、例えば、モードＤにおいて長さ調整倍率が０．０倍まで変化する途中で、走行状態が変化し、モードＢが選択された場合には、長さ調整倍率が変化した途中の倍率から再び１．０倍まで変化するようにする。このように、長さ調整倍率が変化している途中で描画モードが変更された場合であっても、変更後のモードに従って予測経路画像が生成される。

【0081】

このように車両Ｃの走行状態やその変化などに応じて表示するガイド線の種類や長さを変えるため、状態に応じた適切なガイド線を表示することが可能になる。

【0082】

［２．２．５．表示制御部５０］
表示制御部５０は、車両Ｃが移動状態であると判定部５００が判定した場合に、予測部３０が予測する移動経路を示す予測経路画像を撮像画像Ｇ１に重畳して表示装置３に表示させる。表示制御部５０は、画像生成部４０が生成した予測経路画像を撮像画像Ｇ１に重畳して表示画像Ｇ３を生成する。表示制御部５０は、表示装置３に表示画像Ｇ３を表示させる。

【0083】

図１０〜図１２を用いて表示画像Ｇ３の一例を説明する。図１０は、描画モードＡの場合の表示画像Ｇ３１を示す画像である。図１０に示すように、描画モードＡの場合、表示制御部５０は、固定ガイド線Ｌ１１を撮像画像Ｇ１に重畳した表示画像Ｇ３１を表示装置３に表示させる。

【0084】

図１１は、描画モードＣの場合の表示画像Ｇ３２を示す画像である。図１１に示すように、描画モードＣの場合、表示制御部５０は、固定ガイド線Ｌ１１および長さＨ２が最大値Ｈ１である（Ｈ２＝Ｈ１）予測ガイド線Ｌ１２を撮像画像Ｇ１に重畳した表示画像Ｇ３２を表示装置３に表示させる。

【0085】

図１２は、描画モードＢ、Ｄの場合の表示画像Ｇ３３を示す画像である。図１２に示すように、描画モードＢ、Ｄの場合、表示制御部５０は、長さがＨ１である固定ガイド線Ｌ１１および長さＨ２が変化する予測ガイド線Ｌ１２を撮像画像Ｇ１に重畳した表示画像Ｇ３３を表示装置３に表示させる。

【0086】

［２．２．６．記憶部６０］
記憶部６０は、第１〜第４閾値ＴＨ１〜ＴＨ４やカウンタ値ＣＶなど、車両状態判定装置１０の各部が行う処理に必要な情報を記憶する。また、記憶部６０は、表示処理装置１の各部が行う必要な情報を記憶する。

【0087】

記憶部６０は、例えばＲＡＭ（Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置である。

【0088】

［２．３．表示装置３］
図２の表示装置３は、ＬＣＤ（Liquid Crystal Display）を備え、表示制御部５０が生成する表示画像Ｇ３を表示する。かかる表示装置３は例えばタッチパネル式ディスプレイであり、例えば表示処理装置１の入力部の機能を備えるようにしてもよい。

【0089】

［３．画像表示処理］
図１３を用いて、表示処理装置１が行う画像表示処理について説明する。図１３は、本実施形態に係る画像表示処理を示すフローチャートである。表示処理装置１は、例えば車両Ｃのギアが「Ｒ」に変更され、車両Ｃが後退することを契機として画像表示処理を実行する。画像表示処理は、例えば所定時間Ｔごとに繰り返し実行される。

【0090】

表示処理装置１は、撮像装置２から撮像画像Ｇ１を取得する（ステップＳ１０１）。表示処理装置１は、撮像画像Ｇ１に基づいて特徴点Ｐを抽出する（ステップＳ１０２）。続いて、表示処理装置１は、特徴点Ｐに基づいて移動ベクトルＶを算出する（ステップＳ１０３）。

【0091】

表示処理装置１は、移動ベクトルＶに基づいて車両Ｃの移動量Ｄを算出する（ステップＳ１０４）。表示処理装置１は、移動量Ｄに基づいて、移動量Ｄの変化量Ａを算出する（ステップＳ１０５）。表示処理装置１は、移動量Ｄが第１閾値ＴＨ１以上かつ変化量Ａが第２閾値ＴＨ２未満である状態が継続した状態か否かを判定する（ステップＳ１０６）。

【0092】

移動量Ｄが第１閾値ＴＨ１以上かつ変化量Ａが第２閾値ＴＨ２未満である状態が継続した状態である場合（ステップＳ１０６のＹｅｓ）、表示処理装置１は、車両Ｃの走行状態が移動状態であると判定し（ステップＳ１０７）、車両Ｃの移動経路を示す予測経路画像を生成する（ステップＳ１０９）。具体的に、表示処理装置１は、移動経路を示す予測ガイド線Ｌ１２を含む予測経路画像を生成する。一方、移動量Ｄが第１閾値ＴＨ１以上かつ変化量Ａが第２閾値ＴＨ２未満である状態が継続した状態でない場合（ステップＳ１０６のＮｏ）、表示処理装置１は、車両Ｃの走行状態が停止状態であると判定し（ステップＳ１０８）、ステップＳ１１０に進む。

【0093】

表示処理装置１は、表示装置３に表示画像Ｇ３を表示させる（ステップＳ１１０）。具体的には、ステップＳ１０９にて予測経路画像を生成した場合は、予測経路画像を撮像画像Ｇ１に重畳した表示画像Ｇ３を表示装置３に表示する。一方、予測経路画像を生成しなかった場合は、表示処理装置１は、撮像画像Ｇ１を表示画像Ｇ３として表示装置３に表示する。なお、この場合、撮像画像Ｇ１に固定ガイド線Ｌ１１を重畳した画像を表示画像Ｇ３としてもよい。

【0094】

なお、図１３に示す画像表示処理では、ステップＳ１０６で移動量Ｄが第１閾値ＴＨ１以上かつ変化量Ａが第２閾値ＴＨ２未満であるか否かを判定するようにしているが、これに限られない。例えば第１閾値ＴＨ１以上であるか否かおよび変化量Ａが第２閾値ＴＨ２未満であるか否かをそれぞれ判定し、かかる判定結果に応じて車両Ｃの走行状態を判定するようにしてもよい。

【0095】

また、ここでは、表示処理装置１が画像表示処理を行うものとしたが、例えばステップＳ１０２〜ステップＳ１０８に示す処理など一部の処理を車両状態判定装置１０が行うものとしてもよい。

【0096】

ここでは、表示処理装置１が、車両Ｃのギアの状態（進行方向）が前方から後方に切り替わったことを契機として画像表示処理を行うものとしたがこれに限られない。例えば運転者が運転支援システムＳの支援ボタン（図示せず）を操作したことを契機として画像表示処理を実行するようにしてもよい。

【0097】

以上のように、本実施形態に係る車両状態判定装置１０は、移動量Ｄと、当該移動量Ｄの変化量Ａに基づいて、車両Ｃの走行状態を判定することで、判定精度を向上させることができる。

【0098】

また、表示処理装置１は、車両状態判定装置１０の判定に基づいて表示画像Ｇ３を表示するため、車両Ｃが移動状態である場合に、予測経路を示す予測ガイド線Ｌ１２を表示することができ、運転者に対してより適切な支援を行うことができる。

【0099】

［４．ハードウェア構成］
本実施形態に係る表示処理装置１は、図１４に一例として示す構成のコンピュータ６００で実現することができる。図１４は、表示処理装置１の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【0100】

コンピュータ６００は、ＣＰＵ（Central Processing Unit）６１０と、ＲＯＭ（Read Only Memory）６２０と、ＲＡＭ（Random Access Memory）６３０と、ＨＤＤ（Hard Disk Drive）６４０とを備える。また、コンピュータ６００は、メディアインターフェイス（Ｉ／Ｆ）６５０と、通信インターフェイス（Ｉ／Ｆ）６６０と、入出力インターフェイス（Ｉ／Ｆ）６７０とを備える。

【0101】

なお、コンピュータ６００は、ＳＳＤ（Solid State Drive）を備え、かかるＳＳＤがＨＤＤ６４０の一部または全ての機能を実行するようにしてもよい。また、ＨＤＤ６４０に代えてＳＳＤを設けることとしてもよい。

【0102】

ＣＰＵ６１０は、ＲＯＭ６２０およびＨＤＤ６４０の少なくとも一方に格納されるプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ６２０は、コンピュータ６００の起動時にＣＰＵ６１０によって実行されるブートプログラムや、コンピュータ６００のハードウェアに依存するプログラムなどを格納する。ＨＤＤ６４０は、ＣＰＵ６１０によって実行されるプログラムおよびかかるプログラムによって使用されるデータ等を格納する。

【0103】

メディアＩ／Ｆ６５０は、記憶媒体６８０に格納されたプログラムやデータを読み取り、ＲＡＭ６３０を介してＣＰＵ６１０に提供する。ＣＰＵ６１０は、かかるプログラムを、メディアＩ／Ｆ６５０を介して記憶媒体６８０からＲＡＭ６３０上にロードし、ロードしたプログラムを実行する。あるいは、ＣＰＵ６１０は、かかるデータを用いてプログラムを実行する。記憶媒体６８０は、例えばＤＶＤ（Digital Versatile Disc）などの光磁気記録媒体やＳＤカード、ＵＳＢメモリなどである。

【0104】

通信Ｉ／Ｆ６６０は、ネットワーク６９０を介して他の機器からデータを受信してＣＰＵ６１０に送り、ＣＰＵ６１０が生成したデータを、ネットワーク６９０を介して他の機器へ送信する。あるいは、通信Ｉ／Ｆ６６０は、ネットワーク６９０を介して他の機器からプログラムを受信してＣＰＵ６１０に送り、ＣＰＵ６１０がかかるプログラムを実行する。

【0105】

ＣＰＵ６１０は、入出力Ｉ／Ｆ６７０を介して、ディスプレイ等の表示装置３、スピーカ等の出力部、キーボードやマウス、ボタン等の入力部を制御する。ＣＰＵ６１０は、入出力Ｉ／Ｆ６７０を介して、入力部からデータを取得する。また、ＣＰＵ６１０は、生成したデータを入出力Ｉ／Ｆ６７０を介して表示装置３や出力部に出力する。

【0106】

例えば、コンピュータ６００が表示処理装置１として機能する場合、コンピュータ６００のＣＰＵ６１０は、ＲＡＭ６３０上にロードされたプログラムを実行することにより、車両状態判定装置１０、取得部２０、予測部３０、画像生成部４０および表示制御部５０の各部の機能を実現する。

【0107】

コンピュータ６００のＣＰＵ６１０は、例えばこれらのプログラムを記憶媒体６８０から読み取って実行するが、他の例として、他の装置からネットワーク６９０を介してこれらのプログラムを取得してもよい。また、ＨＤＤ６４０は、記憶部６０が記憶する情報を記憶することができる。

【0108】

［５．変形例］
以上、本発明の実施形態について説明してきたが、この発明は上記実施形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施形態および以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

【0109】

上記実施形態では、俯瞰画像Ｇ２を用いて移動ベクトルＶを算出する場合について説明したが、これに限られない。例えば、カメラの撮像画像Ｇ１から画像上での移動ベクトルＶを導出するようにしてもよい。この場合、算出した移動ベクトルＶを所定の投影面（例えば路面など）に投影して移動量Ｄを推定する。これにより、撮像画像Ｇ１から俯瞰画像Ｇ２を生成することなく移動ベクトルＶが算出でき、処理負荷を低減することができる。また、撮像画像Ｇ１から俯瞰画像Ｇ２を生成すると、画質が劣化してしまうため、移動ベクトルＶの算出精度も低下してしまうおそれがあるが、俯瞰画像Ｇ２への変換処理を省略することで、かかる算出精度の低下も回避することができる。

【0110】

上記実施形態では、描画モードＤに移行すると長さ調整倍率を１．０倍から小さくし、描画領域を小さくすることで、予測ガイド線Ｌ１２を徐々に短くするものとしたが、これに限られない。例えば、モードＤに移行した後、所定時間が経過してから長さ調整倍率を小さくする構成としてもよい。自車両を後退させながら駐車する場合などには、低速で走行していて移動と停止を繰り返す場合がある。このような場合に、予測ガイド線Ｌ１２の長さを短くしたり長くしたりする処理を頻繁に繰り返すことがなくなり、運転者が予測ガイド線Ｌ１２を視認しやすくなる。また、上記実施の形態では、車両Ｃが停止状態であると判定部５００が判定してから経過した時間に応じて予測ガイド線Ｌ１２の長さを変更するものとしたが、これに限られない。例えば、予測ガイド線Ｌ１２の濃度、太さ、点線の隙間などの表示態様を、車両Ｃが停止状態であると判定部５００が判定してから経過した時間に応じて変更してもよい。

【0111】

以上のように、上記実施形態に係る車両状態判定装置１０は、抽出部１００と、推定部（移動量推定部３００）と、判定部５００とを備える。抽出部１００は、車両Ｃに搭載される撮像装置２の撮像画像Ｇ１から特徴点Ｐを抽出する。移動量推定部３００は、抽出部１００が抽出した特徴点Ｐに基づいて車両Ｃの所定時間Ｔごとの移動量Ｄを推定する。判定部５００は、移動量推定部３００が推定した移動量Ｄと、当該移動量Ｄの変化量Ａとに基づいて、車両Ｃの移動を判定する。

【0112】

これにより、例えば車両Ｃ以外の他車両Ｃ１が移動するなど車両Ｃの周囲の状況が変化した場合であっても、車両Ｃが移動しているか否か、すなわち車両Ｃの移動状態を高精度に判定することができる。

【0113】

上記実施形態に係る車両状態判定装置１０の判定部５００は、移動量Ｄが第１閾値ＴＨ１以上かつ当該移動量Ｄの変化量Ａが第２閾値ＴＨ２未満である状態の出現状態に基づいて、車両Ｃの移動を判定する。

【0114】

このように、移動量Ｄおよび変化量Ａをそれぞれ閾値判定した結果の出現状態に基づいて車両Ｃの移動を判定することで、車両Ｃの移動状態を高精度に判定することができる。

【0115】

上記実施形態に係る車両状態判定装置１０の判定部５００は、カウンタ部５１０と、移動判定部５３０とを備える。カウンタ部５１０は、移動量Ｄが第１閾値ＴＨ１以上かつ変化量Ａが第２閾値ＴＨ２未満である場合にカウンタ値ＣＶに第１の値Ｅ１を加算する。カウンタ値ＣＶが第３閾値ＴＨ３以上である場合に車両Ｃは移動状態であると判定し、カウンタ値ＣＶが第３閾値ＴＨ３未満である場合に車両Ｃは停止状態であると判定する。

【0116】

これにより、移動量Ｄおよび変化量Ａをそれぞれ閾値判定した結果の継続状態に基づいて車両Ｃの移動を判定することができ、車両Ｃの移動状態を高精度に判定することができる。

【0117】

上記実施形態に係る車両状態判定装置１０のカウンタ部５１０は、移動量Ｄが第１閾値ＴＨ１未満または変化量Ａが第２閾値ＴＨ２以上である場合にカウンタ値ＣＶから第２の値Ｅ２を減算する。

【0118】

これにより、例えば移動量Ｄが第１閾値ＴＨ１以上かつ変化量Ａが第２閾値ＴＨ２未満である状態が間欠的に発生する状態であっても、車両Ｃの移動状態を高精度に判定することができる。

【0119】

上記実施形態に係る車両状態判定装置１０の判定部５００は、カウンタ部５１０による減算処理が連続して第４閾値ＴＨ４以上継続する場合に、カウンタ値ＣＶを初期化する初期化処理部５２０をさらに備える。

【0120】

これにより、例えば移動量Ｄが第１閾値ＴＨ１以上かつ変化量Ａが第２閾値ＴＨ２未満である状態が間欠的に発生する状態であっても、車両Ｃの走行状態の誤判定を低減することができ、車両Ｃの移動状態を高精度に判定することができる。

【0121】

上記実施形態に係る表示処理装置１は、上記車両状態判定装置１０と、予測部３０と、
表示制御部５０と、を備える。予測部３０は、車両Ｃの移動経路を予測する。表示制御部５０は、車両Ｃが移動状態であると判定部５００が判定した場合に、予測部３０が予測した移動経路を示す予測ガイド線Ｌ１２（予測経路画像の一例）を撮像画像Ｇ１に重畳して表示装置３に表示させる。

【0122】

このように、車両状態判定装置１０が高精度に判定した車両Ｃの移動状態に応じて予測ガイド線Ｌ１２を撮像画像Ｇ１に重畳することで、移動状態に応じた画像を表示装置３に表示させることができる。これにより、運転者に対して移動状態に応じた適切な画像を提示することができる。

【0123】

上記実施形態に係る表示処理装置１は、車両Ｃが停止状態であると判定部５００が判定した場合に、車両Ｃが停止状態であると判定部５００が判定してから経過した時間に応じた表示態様の移動経路を示す予測経路画像を生成する画像生成部４０をさらに備える。

【0124】

これにより、停止状態に移行していることを運転者が把握しやすいように予測経路を提示することができる。また、車両Ｃの走行状態が移動状態および停止状態を交互に繰り返す場合であっても、移動経路の表示・非表示が頻繁に切り替わりにくくなり、運転者を煩わせることなく移動経路を提示することができる。

【0125】

上記実施形態に係る車両状態判定方法は、抽出工程と、推定工程と、判定工程と、を含む。抽出工程では、抽出部１００が車両Ｃに搭載される撮像装置２の撮像画像Ｇ１から特徴点Ｐを抽出する。推定工程では、抽出工程で抽出した特徴点Ｐに基づいて移動量推定部３００が車両Ｃの所定時間Ｔごとの移動量Ｄを推定する。判定工程では、推定工程で推定した移動量Ｄと、当該移動量Ｄの変化量Ａに基づいて、判定部５００が車両Ｃの移動を判定する。

【0126】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0127】

１ 表示処理装置
１０ 車両状態判定装置
２０ 取得部
３０ 予測部
４０ 画像生成部
５０ 表示制御部
６０ 記憶部
１００ 抽出部
２００ 移動ベクトル算出部
３００ 移動量推定部
４００ 変化量検出部
５００ 判定部
５１０ カウンタ部
５２０ 初期化処理部
５３０ 移動判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】