特許 5890294 映像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5890294

(24)【登録日】2016年2月26日

(45)【発行日】2016年3月22日

(54)【発明の名称】映像処理システム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20160308BHJP

   H04N 7/18 20060101ALI20160308BHJP

【ＦＩ】

   G08G1/16 C

   H04N7/18 J

   H04N7/18 V

【請求項の数】5

【全頁数】20

(21)【出願番号】特願2012-237417(P2012-237417)

(22)【出願日】2012年10月29日

(65)【公開番号】特開2014-89491(P2014-89491A)

(43)【公開日】2014年5月15日

【審査請求日】2015年3月13日

(73)【特許権者】

【識別番号】000005810

【氏名又は名称】日立マクセル株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】特許業務法人 武和国際特許事務所

(72)【発明者】

【氏名】坂庭 秀紀

(72)【発明者】

【氏名】荻野 昌宏

(72)【発明者】

【氏名】福田 伸宏

(72)【発明者】

【氏名】中嶋 満雄

【審査官】 東 勝之

(56)【参考文献】

【文献】 特開２００９−０７０２４３（ＪＰ，Ａ）

【文献】 特開２０００−３０６１９２（ＪＰ，Ａ）

【文献】 特開２００８−１９１９８８（ＪＰ，Ａ）

【文献】 特開２００６−２８５６４４（ＪＰ，Ａ）

【文献】 特開２００８−０４０６６７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００ − １／１６

Ｇ０１Ｃ ２１／００ − ２１／３６

Ｇ０９Ｂ ２９／００ − ２９／１０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

路上の特定の場所付近を撮影する複数の撮像装置と、
前記複数の撮像装置で撮影された複数の映像を合成して、該路上の特定の場所を上空から見下ろす視点の合成映像を生成してネットワークに出力する映像処理装置と、
前記映像処理装置が生成した合成映像をネットワークを介して受信するサーバと、
ネットワークを介して前記サーバから前記合成映像を取得する、車両に搭載される車載端末と、
を備え、
前記映像処理装置は、前記複数の映像または前記合成映像について画像認識処理を行って、前記路上の特定の場所付近の移動オブジェクトを検出し、前記画像認識処理の結果に基づいて、前記移動オブジェクトに関する情報を取得する画像認識部を備え、
前記車載端末は、
前記サーバから映像および情報を取得する通信部と、
前記サーバから取得した映像と、前記サーバから取得した情報とを合成する映像処理を行う映像処理部と、
自車両に関する情報を管理する情報管理部と、
前記通信部が取得した情報と前記情報管理部で管理する情報を関連付ける情報制御部と、を備え、
前記通信部が、前記サーバから前記路上の特定の場所付近の複数の移動オブジェクトについての情報を取得した場合に、前記情報制御部は、前記情報管理部で管理する自車両に関する情報と、前記複数の移動オブジェクトについての情報とに基づいて、前記複数の移動オブジェクトのうち、自車両に対応する移動オブジェクトを特定し、前記映像処理部は、前記サーバから取得した映像に、前記映像中の自車を示す情報を重畳する処理を行うことを特徴とする映像処理システム。

【請求項2】

請求項１に記載の映像処理システムであって、
前記車両に搭載されるカメラ装置を備え、
前記映像処理部は、前記サーバから取得した映像と前記カメラ装置で撮影した映像とを合成する処理を行うことを特徴とする映像処理システム。

【請求項3】

請求項１に記載の映像処理システムであって、
前記車両に搭載されるカメラ装置を備え、
前記通信部は、前記カメラ装置で撮影した映像を前記サーバに送信することを特徴とする映像処理システム。

【請求項4】

請求項３に記載の映像処理システムであって、
前記サーバは、前記映像処理装置から受信した映像と、前記車載端末から受信した映像とを合成することを特徴とする映像処理システム。

【請求項5】

請求項１に記載の映像処理システムであって、
前記映像処理装置は、前記路上の特定の場所を上空から見下ろす視点の合成映像におい
て、現在のフレームよりも過去の所定のフレームと前記現在のフレームとの画素値の差分
が所定量より大きい領域が、映像中の所定割合を超えている場合に、前記路上の特定の場
所の状況が危険であると判断して、前記特定の場所の状況が危険であることを示す情報を前記サーバに送信することを特徴とする映像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

技術分野は、交通状況映像処理技術に関する。

【背景技術】

【0002】

特許文献１には、自車が走行している道路と次に進む進路に応じて、伝送システムのカメラを選択的に切り換えて映像を伝送する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００１−１８４５９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の技術では、運転者は、自車が進む方向の状況を把握することができるが、自車が進む方向以外の方向も含む交差点を走行中の自車の死角まで含めて状況を把握することまではできないという課題がある。

【0005】

本発明は、上記課題を鑑みてなされたものであり、その目的は、より好適な交通状況表示処理を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するためには、例えば、路上の特定の場所付近を撮影する複数の撮像装置と、前記複数の撮像装置で撮影された複数の映像を合成して、該路上の特定の場所を上空から見下ろす視点の合成映像を生成してネットワークに出力する映像処理装置と、前記映像処理装置が生成した合成映像をネットワークを介して受信するサーバと、ネットワークを介して前記サーバから前記合成映像を取得する移動端末と、を備えるように構成すればよい。

【発明の効果】

【0007】

本発明によれば、より好適な交通状況映像の処理技術を提供する。

【図面の簡単な説明】

【0008】

【図1】本発明の実施例１に係る交通状況表示システムの一例を示す図である。

【図2】本発明の実施例１に係る交差点映像処理装置の一例を示すブロック図である。

【図3】本発明の実施例１に係る車載装置の一例を示すブロック図である。

【図4】本発明の実施例１に係る交差点映像処理装置で生成する交差点周囲の俯瞰映像の一例を示す図である。

【図5A】本発明の実施例１に係る交差点映像処理装置の画像情報部の情報の一例を示す表である。

【図5B】本発明の実施例１に係る方向情報定義の一例を示す表である。

【図6】本発明の実施例１に係る車載端末での交差点周囲の俯瞰画像表示の一例を示す図である。

【図7】本発明の実施例１に係る交差点映像処理装置と交通情報サーバ、車載装置との間の送受信情報の一例を示すシーケンス図である。

【図8】本発明の実施例１に係る車載装置の動作の一例を示すシーケンス図である。

【図9】本発明の実施例２に係る交差点映像処理装置と交通情報サーバ、車載装置との間の送受信情報の一例を示すシーケンス図である。

【図10】本発明の実施例３に係る車載装置の一例を示すブロック図である。

【図11】本発明の実施例３に係る車載装置の画像情報のリストの一例を示す図である。

【図12】本発明の実施例３に係る車載装置から交通情報サーバに送信する情報リストの一例を示す図である。

【図13】本発明の実施例３に係る交差点映像処理装置と交通情報サーバ、車載装置との間の送受信情報の一例を示すシーケンス図である。

【図14】本発明の実施例３に係る車載装置で生成する俯瞰画像の一例を示す図である。

【図15A】本発明の実施例３に係る車載装置で生成する俯瞰画像の一例を示す図である。

【図15B】本発明の実施例３に係る交通情報サーバで生成する俯瞰画像の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、実施例について説明する。

【0010】

従来技術では、俯瞰画像を生成して、自車や周囲の車両の位置を把握できる情報を提供する仕組みや、システム起動条件や自車や危険度予測表示機能は開示されていない。以下の実施例では、例えば、交差点などにカメラを設置する。設置交差点などに設置されたカメラは高所からの撮影映像であるので、広い範囲のエリアの交通状況を把握できる。これらの撮影映像を運転者に提供できれば、運転者の死角も少なくなり安全運転に繋がる。また、交差点に設置された複数のカメラの映像から俯瞰映像を生成し、自車、及び他車の状況をより予測し易い表示技術の実現方法を説明する。

【実施例1】

【0011】

図１は、本発明の実施例１に係る交通状況表示システムの一例を示す図である。

【0012】

交差点に複数個の撮像装置（１０４〜１０７）を設置する。撮像装置の設置場所は、交差点などの特定の路上の状況が撮影できる場所であればどこでも良いが、図１の例では、交差点の信号機（１００〜１０３）に撮像装置（１０４〜１０７）のそれぞれを設置して、交差点付近の映像を撮影するシステムの例を示している。なお、以下の説明も路上の特定の場所として交差点を対象として説明するが、本発明はこれに限られるものではなく、交通状況を把握したい路上の特定の場所ならどのような場所でもよい。例えば、高速道路の料金所付近、さまざまな駐車場内、線路の踏み切りなどを対象とすることができる。この場合は、以降の説明で登場する「交差点」との文言を含む用語については、「路上の特定の場所」と置き換えて読めばよい。当該システムにおいて、それぞれの撮像装置は、広角のレンズを利用して、なるべく広い範囲の撮影をし、全ての撮影映像を合成すると交差点付近の全体を補間できるように設置する。例えば、それぞれの信号機から真下を見下ろす様にカメラを設置する場合が考えられる。すなわち、複数の撮像装置は、交差点などの特定の路上付近の異なる範囲を撮影するように設置される。このとき、異なる範囲を撮影するとは、撮影範囲が重複しないという意味ではなく、撮影範囲が一部重複してもよい。図１の場合は、撮像装置１０４は、歩行者１１１、歩行者１１１が渡っている横断歩道や車両１０８、１０９、信号機１００の南側に位置する横断歩道などを撮影する。撮像装置１０５から１０７も同様に、設置された信号機に近いエリアを中心に付近を撮影する。各撮像装置で撮影した映像を利用して情報を収集し、サーバに伝送する交差点映像処理装置１１３を備える。交差点映像処理装置１１３は、ネットワーク１１４に接続され、交通情報サーバ１１５に接続される。交通情報サーバ１１５は、ネットワーク１１４を介して、車載無線通信や携帯電話、ネットワーク端末に情報を送受信する。当該構成を有するシステムにより、撮像装置（１０４〜１０７）で交差点周辺の映像を撮影して、撮影した映像を交差点映像処理装置１１３で画像解析し、さらに画像を合成して、交差点を上空から見下ろすような俯瞰映像を生成して、交差点付近を走行している車両の車載装置や歩行者のネットワーク端末に情報を提供できる。情報を入手した車載装置やネットワーク端末は、その情報に基づいて、死角情報を入手できたり、自車や自身の周囲の車両の動きや、対向車などの動きに応じた危険度などを推定した情報など、当該交差点付近の交通状況に関する情報を運転者に通知することができる。

【0013】

さらに、各車載装置が得た情報をネットワークを介して、交通情報サーバに送信することにより、その情報を交差点近くの車載装置やネットワーク端末と共有できるメリットもある。

【0014】

撮像装置（１０４〜１０７）は交差点に固定設置されている。これに対して、交通情報サーバ１１５から情報を取得する車両の車載装置や歩行者のネットワーク端末は、交差点に固定設置されているものではなく、移動により、撮像装置（１０４〜１０７）との相対位置が可変となる移動端末ものである。

【0015】

図２は、本発明の実施例１に係る交差点映像処理装置の一例を示すブロック図である。交差点映像処理装置は、交差点付近に設置した複数個（例では４個）の撮像装置１０４〜１０７（図１の例では各信号機に設置）が撮影した画像の信号を入力として、それぞれの入力画像信号に対してデコード処理を行うデコード部（２００〜２０３）を有する。また、デコードした各撮像装置からの画像について、回転や拡大、縮小、透視変換、色輝度補正、フレーム間の補間などの画像変換処理を行い、それらを合成した画像を生成する画像変換・合成部２０５と、画像変換・合成部２０５における画像変換やフレーム間の補間、後述する画像認識処理時の中間画像のバッファなどとして利用可能なメモリ部２０４とを有する。さらに、撮像装置を設置している各信号機の信号状態もしくは切り替わるタイミング情報などを取得する信号機制御情報２０６を有しても良い。信号機制御情報２０６を備えることにより、現在の信号機状態（赤／黄色／青）、歩行者信号（赤／青）の情報を画像の中に情報として加える場合に利用できるメリットがある。ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）重畳部２０７では、画像変換・合成部２０５で生成した画像に、文字情報を重畳することが可能である。また、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）重畳部２０７を経た画像は、画像認識部２０８での画像認識結果に基づいて画像情報部２０９で生成した情報とともにエンコード部２１０にてエンコードされる。このようにして交通情報サーバ１１５に送信するデータが生成される。エンコード部２１０で生成されたデータは、通信部２１１から無線または有線で出力され、ネットワーク１１４を介して、交通情報サーバ１１５に送信される。

【0016】

画像変換・合成部２０５では、交差点を上空から見るような鳥瞰図のような俯瞰画像を生成することができる。この際、撮像装置の設置位置と、撮像装置の撮影角度と距離から、どの画素が道路上のどこの位置に対応しているかの対応関係を判別または決定することが必要になる。よって、これらの対応関係の情報は設置の際に決定または設定して、交差点映像処理装置の図示しない記憶部などに記憶しておけばよい。画像変換・合成部２０５は、当該記憶部に記憶されたこれらの情報を利用して各撮像装置で撮影した撮映画像を変換し、図４のような俯瞰画像を生成することができる。

【0017】

次に、画像認識部２０８の動作を説明する。まず各撮像装置で、車両や歩行者などがいない状態の交差点の撮影画像を画像変換・合成部２０５で処理した画像をメモリ部２０４に記憶しておく。車両や歩行者などがいない状態の交差点の撮影画像は、設置の際に初期設定として、車両や歩行者などがいない状態での撮影を行なって取得してもよい。その他の取得方法としては、長時間露光によって動くオブジェクトの影響を無限小にした交差点の撮影画像を生成してもよい。また、多数の撮像画像を平均化して、動くオブジェクトの影響を小さくし、同様の画像を生成することが可能となる。画像認識部２０８は、各撮像装置で撮影した撮映画像を画像変換・合成部２０５で処理した画像について、上述の方法でメモリ部２０４に記憶した、車両や歩行者などがいない状態の交差点の撮影画像との差分を取ることで、交差点上の移動体（移動オブジェクト）などのオブジェクトを認識または検出する。オブジェクトの認識、検出方法としては、撮影画像のフレーム間の動きベクトルを算出する動き検出を用いても可能である。

【0018】

なお、上述の例では、画像認識部２０８の画像認識処理の対象は、画像変換・合成部２０５で処理した画像であるとして説明したが、画像変換・合成部２０５で処理する前のデコード部（２００〜２０３）から出力される画像を対象にしてもよい。

【0019】

画像認識部２０８のオブジェクトの認識検出結果に基づいて、画像情報部２０９が、図５Ａに示すような、俯瞰画像上の座標や、車両の色や種類、読み取れたナンバープレートの数字や、ライトの点滅のパターンなどから方向指示器の有無などの付加情報を取得することが可能である。また、画像認識部２０８で、フレーム間のオブジェクトの動きベクトル等から進行方向を画像から解析し、画像情報部２０９が、図５Ｂに示すような情報として取得することも可能である。図５Ａのように生成された付加情報は、合成された俯瞰画像などとともにエンコード部２１０にてエンコードされ、通信部２１１から、ネットワーク１１４を介して、交通情報サーバ１１５に送信される。

【0020】

図３は、本発明の実施例１に係る車載装置の一例を示すブロック図である。

【0021】

車載装置３００は、車外のネットワークと通信し、交通情報サーバから映像や文字情報を入手する通信部３０１と、自車の色やサイズ、種類やユーザが操作した方向指示器の情報（Ｏｎ／Ｏｆｆ、右／左）などの自車の情報を有する自車情報管理部３０２と、地図上での自車の位置情報を取得するＧＰＳ（Global Positioning System）３０３と、ＧＰＳ３０３が取得するＧＰＳ情報と組合せて用いるための地図情報を管理する地図情報管理部３０４などを備える。例えば、上述の自車情報は、自車についての、図５Ａで示されるそれぞれの付加情報がその一例として挙げられる。例えば、図５Ａで示される一行分と同様の構造をもつように構成してもよい。ＧＰＳ ３０３からの情報と地図情報管理部３０４の地図情報とに基づいて、自車が交差点に近づいて来ることを検出すると、車載装置３００は通信部３０１を起動させて、交通情報サーバからの情報入手を開始する。通信部３０１の起動のタイミングは、交差点と自車の距離に基づいて判断してもよい。また、この場合、自車の移動速度に応じて通信部３０１の起動の閾値となる交差点と自車の距離を変更してもよい。すなわち、自車の移動速度が速い場合に、閾値となる交差点と自車の距離を大きくし、自車の移動速度が低い場合に、閾値となる交差点と自車の距離を小さくしても良い。

【0022】

ここで、通信部３０１は、交通情報サーバ１１５から、交差点映像処理装置１１３で生成された俯瞰画像、図５Ａに示した画像認識によって得られた文字情報などの付加情報を取得することが可能である。情報制御部３０５は、通信部３０１を介して得た上述の俯瞰画像、上述の文字情報と、自車情報管理部３０２で管理する情報（映像情報や文字情報など）を関連付ける制御を行う。情報制御部３０５で関連付けられた情報を元に、映像処理部３０７では、交差点映像処理装置１１３で生成された俯瞰画像に対して、追加の情報を重畳するなどの映像と情報の合成処理を行い、図４の様な画像を生成する。この際、重畳する画像のバッファリングや、動画対応時のフレームバッファなどに用いるメモリ部３０６を有する構成としてもよい。映像処理部３０７で生成された画像を表示装置３０８に表示することにより、運転者は交差点付近の情報を画像で入手することが可能となる。これらの画像は静止画でも動画像でもよい。Ｕ／Ｉ ３０９はユーザからの操作を受け付けるユーザインタフェースである。運転者が操作した方向指示器の状態などを知ることができる。 なお、図３の本発明の実施例１に係る車載装置３００の表示装置３０８は、車載装置と別体でもよい。この場合、当該車載装置の専用の表示装置である必要も無い。車載装置３００から映像処理装置３０７で処理された映像を出力する出力部を設け、他の目的で車両に搭載している他の表示装置の外部映像入力部に当該映像を入力して、前記他の表示装置に表示してもよい。すなわち、車載装置３００は、映像処理装置３０７で処理された映像の表示をしてもよく出力だけしてもよい。

【0023】

図４は、本発明の実施例１に係る交差点映像処理装置で生成する交差点付近の俯瞰画像の一例を示す図である。

【0024】

各信号機に設置された撮像装置１０４〜１０７の映像を変換して合成し、図４のような画像構成できるように各撮像装置の画角、撮影範囲を決定し、必要な光学系を用意すればよい。各撮像装置の画角、撮像範囲を固定する場合、交差点付近のどこまでの範囲の情報を取得するかを設定すれば、取得する範囲で座標を定義でき、交差点上の位置座標（Ｘ、Ｙ）が、どの撮像装置のどの画素で撮影されているかを決定でき、その対応関係を交差点映像処理装置の図示しない記憶部に格納しておくことができる。また、各撮像装置にズームレンズを用いるなど、各撮像装置の画角、撮影範囲を複数の段階で可変する場合も、複数段階の画角、撮影範囲のそれぞれについて、交差点上の位置座標（Ｘ、Ｙ）と各撮像装置の画素位置の対応関係の情報を決定し、交差点映像処理装置の図示しない記憶部に格納しておくことができる。

【0025】

このような、交差点道路上の位置と各撮像装置の画素との対応関係の情報にもとづいて、撮像装置１０４で撮影された映像の切り出し部分４００、撮像装置１０５で撮影した切り出し部分の４０１、撮像装置１０６で撮影した切り出し部分４０２、撮像装置１０７で撮影した切り出し部分４０３を図４のように合成して交差点付近の俯瞰画像を生成する。この際、撮像装置の位置から遠くに写るものは小さく撮影されるので、透視変換を行ってより自然な俯瞰画像を生成するように構成してもよい。また、レンズの歪補正処理を行ってもよい。図４の例では、各撮像装置の境目を直線で区切ったが、交差点道路上の同じ場所を、複数の別の撮像装置で重複して撮影している個所に関しては、αブレンディング等の技術を用いて合成しても良い。同じ位置でも高さによって、写っているものが異なる場合があるので、αブレンディング等を利用することで、情報の欠如が防げる効果がある。

【0026】

次に図５Ａについて、詳細に説明する。図５Ａは、本発明の実施例１に係る交差点映像処理装置の画像情報部が生成する付加情報の一例を示す表である。

【0027】

交差点映像処理装置１１３において、各撮像装置で撮影された画像、または、合成されて生成した俯瞰画像について、上述のとおり、車両や歩行者がいない状態の映像フレームをメモリ部２０４に保存する。保存した画像と、現在撮影している映像の差分などから、車両や歩行者などのオブジェクトを認識する。差分を算出する際は、朝、昼、夕、夜や晴れ、雨、曇り、雪などの時間変化や天気の変化の影響により、差分領域(輝度なの画素値の差分が所定量より大きい領域)が多くなる場合がある。この影響を減らすために、時刻や天気の違う複数の場面での画像を撮影して画像を保存してデータベース化しておき、データベース内の画像のうち、現在撮影している映像との差分が最も小さい画像との差分を、オブジェクト認識処理に採用するなどの構成としてもよい。また、データベース内の画像のうち同じ時間帯に撮影した画像との差分を取る構成としてもよい。また、センサやネットワークから情報を取得して、データベース内の画像のうち同じ天気状態で撮影した画像との差分を取る構成としても良い。これにより、時間変化や天気の変化の影響による車両や歩行者以外の要素により生じる差分を減らし、オブジェクト抽出領域が限定することにより、画像認識処理の処理量を低減するとともに、車両や歩行者などのオブジェクトの画像認識精度を向上できるメリットがある。画像認識に関しては、エッジ検出やヒストグラム特徴や動きベクトル検出、パターン認識などを利用して、映像から車両や歩行者などのオブジェクトを検出すればよい。画像認識部２０８では、検出したオブジェクトについて、交差点映像処理装置１１３で生成した俯瞰画像上での位置座標、形状の特徴や、オブジェクトの大きさ、画素の色情報などを抽出する。画像情報部２０９が、オブジェクトに番号を付加し（＃項）、これらの情報をオブジェクト毎に図５Ａに示すデータの１行の領域に格納していく。ここで、検出されたオブジェクトが自動車やバイクなどの車両と認識された場合には、車両の前後付近に存在するナンバープレートの数字を文字認識で読み取り、ナンバー情報として、オブジェクトに関連付けて図５Ａのデータ領域に格納してもよい。また、画像認識部２０８では、現在のフレーム及び、現在のフレームより前のフレームを利用して、動きベクトルの検出をすることで、オブジェクトの進行方向を検出する。画像情報部２０９は、検出した進行方向を、例えば、図５Ｂに示す様に俯瞰画像の上方向を“１”として、４５度回転毎に“２”、“３”、・・・、“８”などの番号を付けて表現し、俯瞰画像の中で、オブジェクトがどの方向に進んでいるかの情報として、オブジェクトに関連付けて図５Ａのデータ領域に格納する。さらに、認識したオブジェクトが車両の場合には、画像認識部２０８で、オブジェクトの四隅付近の周囲と比べた輝度値や、オブジェクトの四隅付近の複数フレーム間の点滅を検出する処理を行ってもよい。これにより、方向指示器の点滅のＯｎ／Ｏｆｆや、点滅している方向指示器の方向が進行方向に対して右／左などの情報を取得して、画像情報部２０９が、検出した情報をオブジェクトに関連付けて格納しても良い。進行方向の情報が動きベクトルの検出などで取得できている場合には、方向指示器がＯｎのみの情報に基づいて、右／左のどちらの方向指示器が点滅しているかを推定するように構成することも可能である。オブジェクトの色情報に関しては、オブジェクトとして認識された領域の中で一番数が多い画素群（Ｒ、Ｇ、Ｂの割合がある範囲の比率内の画素群、または、ＨＳＶ色空間に変換して、色相がある範囲内の画素群）を、特徴的な色として検出してもよい。また、各車種の画像データベースからパターンマッチングし、車種を特定してその色見具合から色を検出する方法としてもよい。ナンバープレートのナンバーや車両に張り付けてある初心者マークの情報や、高齢者運転者マークの情報、障害者情報などを認識して、図５Ａのような付加情報として格納してもよい。ナンバープレートのナンバーに関しては、数字のパターン認識等で検出はするが、映像上数字が小さく認識できない場合には、読み取れる数字は情報として取得し、認識できない文字に関しては、例えば“＊”などの所定の記号で表現すればよい。これは、全ての数字が完璧に認識できない場合でも、情報を破棄せずに格納しておけば、車載装置側で情報を補間できる可能性もあるからである。「オブジェクト」が、「車」の場合に、その「種類」情報として、救急車やパトカーなどの情報を格納してもよい。これらの緊急車両などは、塗装色のパターンが特徴的である場合があり、塗装色の割合の判定やパターン認識で検出可能である。例えば、日本であれば、救急車は赤と白の割合及びそのパターンを認識して検出すればよい。同様に日本であれば、パトカーは白と黒の割合及びそのパターンを認識して検出可能である。緊急車両の塗装色のパターンは、国または地域に応じて、必要なパターンを、交差点映像処理装置の図示しない記憶部に記憶しておけばよい。複数の国または地域に対応する異なるパターンを交差点映像処理装置の図示しない記憶部に記憶しておき、設置する際に、該当する国または地域で用いるパターンを選択する設定を行う構成としてもよい。

【0028】

図６は、本発明の実施例１に係る車載端末での交差点付近の俯瞰画像表示の一例を示す図である。

【0029】

車載装置３００は、通信部３０１を介して交通情報サーバ１１５から取得した、図４の俯瞰画像と、図５Ａの認識されたオブジェクトについての付加情報を用いて、情報制御部３０５において俯瞰画像上のどこに車両や歩行者がいて、それがどの方向に進んであるかを検出できる。よって、映像処理部３０７では、俯瞰画像上の各オブジェクトについて、図６の６０１〜６０４のような進行方向の矢印画像を追加できる。図５Ａの付加情報または自車情報管理部３０２が管理する自車情報（サイズ、色、種類、ナンバープレート、進行方向など）を、図５Ａの付加情報のオブジェクトの種類、サイズ、色、種類、ナンバープレートの情報、進行方向などの情報と比較することにより、同一または最も近い情報を有するオブジェクトを自車のオブジェクトを特定できる。これにより、映像処理部３０７では、“自車”を示す情報（６０５）を俯瞰画像に重畳することができる。自車のオブジェクトを特定する際には、図５Ａの付加情報や、自車情報管理部３０２の自車情報に、車両に張り付けてある初心者マークの情報や、高齢者運転者マークの情報、障害者情報などを格納している場合には、これらの特徴的な情報も利用して自車を特定精度を向上してもよい。また、情報制御部３０５が、図５Ａの認識されたオブジェクトの座標情報と進行方向の情報を用いて、自車に向って、進行してくる可能性がある車両を特定することが可能となる。この場合、映像処理部３０７は、俯瞰画像上において、当該車両などに“注意”などの情報を付加して表示できる（６０６）。なお、同様に図５Ａの認識されたオブジェクトの座標情報と進行方向の情報を用いて、自車の進行方向に位置する車両や歩行者についても、“注意”などの情報を付加して表示してもよい。

【0030】

また、交差点映像処理装置１１３において、図５Ａの付加情報に、オブジェクトの種類として信号機を追加して、予め交差点映像処理装置１１３が把握しているその座標を格納してもおいてもよい。この場合、車載装置３００でも信号機の場所も特定できるようになるので、信号機付近に現在の信号機の情報をわかりやすく映像で表現することも可能である（１００‘ 〜 １０３’）。さらに、交差点映像処理装置１１３が、信号機制御情報２０６として、現在の信号機の状態（赤、黄色、青）や、信号機の状態が切り替わるタイミング情報を取得し、エンコード部２１０で俯瞰画像とともにエンコードして交通情報サーバ１１５へ出力すれば、車載装置３００でも、通信部３０１を介して交通情報サーバ１１５から現在の信号機の状態（赤、黄色、青）や、信号機の状態が切り替わるタイミングの情報を取得することが可能である。これを用いて、図６の表示において、現在の信号機の状態が表示できるように調整しても良い。

【0031】

このように、車載装置３００において、俯瞰画像に、交差点映像処理装置で画像認識した情報を付加して、運転者に交差点付近の状態についての各種情報を表示することが可能になる。例えば、図6の例のように、交差点映像処理装置の画像認識部で、車両のオブジェクトに初心者マーク等のマークが検出できた場合には、俯瞰画像上の対象車両のオブジェクト近辺に初心者マーク画像を表示しても良い。

【0032】

このように本実施例に係るシステムでは、自車両が交差点を移動する際には、自車両を含むオブジェクトを撮像装置で撮影しているので、自車両と他のオブジェクトの両者を含む俯瞰画像を生成することができ、これを運転者に提示することが可能である。

【0033】

図７は、本発明の実施例１に係る交差点映像処理装置と交通情報サーバ、車載装置との間の送受信情報の一例を示すシーケンス図である。

【0034】

まず、交差点映像処理装置１１３が、Ｓ７００において交差点付近に設置した撮像装置からの映像に基づいて、俯瞰映像を生成し、画像認識処理をリアルタイムに実施し、当該俯瞰映像と、画像認識処理の結果に基づいて取得した情報を逐次、交通情報サーバ１１５に情報を送信する。本送信処理は、所定数のフレームに渡って大きな動きベクトルの変化がない場合や、別途、映像処理以外の方法で移動体を感知するセンサを設けて、センサにある閾値以上の変化がない場合などには、情報の送信を停止しても良い。これにより、システムの省電力化が図れる。交通情報サーバ１１５は、受信した俯瞰映像と、画像認識処理結果に基づく付加情報を交差点付近のネットワークに一斉配信の処理を行う（Ｓ７０１）。車載装置３００は、地図情報管理部３０４が管理する地図情報とＧＰＳ ３０３の情報から、交差点に近づいたことを検出する。交差点に近づいたことを検出する方法としては、自車情報管理部３０２で管理する、運転者が方向指示器を操作したことを示す情報を契機にしても良い。これらの検出結果に基づいて、交差点装置からの映像と情報の受信処理を開始する（Ｓ７０２）。また、地図情報管理部３０４が管理する地図情報とＧＰＳ ３０３の情報などから、高速道路運転時と判定される場合や、は、自車情報管理部３０２で管理する自車の速度情報から自車が高速に移動していると判断される場合など、方向指示器を操作しても、映像と情報の受信処理を開始しないように構成しても良い。また、受信開始のタイミングの判断としては、Ｕ／Ｉ ３０９を介して、運転者の音声指示を取得し、これを認識することで行っても良い。ブロードキャスト型のネットワーク配信の場合には、あるチャネルに受信条件を合わせることで、ネットワークから送信されてくる俯瞰映像と画像認識情報が入手可能である（Ｓ７０３）。また、ローカルで設定された決められたＩＰアドレスに流れている情報を取得することで、情報を受信することができる。車載装置３００は、上述のとおり、受信した俯瞰映像と画像認識に基づく付加情報、及び自車情報に基づいて、図６に示すような俯瞰映像を生成し、表示装置を介して運転者に提示する。

【0035】

図８は、本発明の実施例１に係る車載装置の動作の一例を示すシーケンス図である。

【0036】

まず、本発明の機能である交差点付近の情報を取得するかしないかのどちらが設定してあるかを確認する（Ｓ８０１）。Ｓ８０１において、交差点の俯瞰映像を表示しない設定（Ｎｏ）にしている場合には、何もしないで本処理は終了する。Ｓ８０１にて、Ｏｎ設定の場合には（Ｙｅｓ）、地図情報管理部３０４が管理する地図情報とＧＰＳ ３０３の情報とに基づいて、交差点までの距離を計算し、距離がある閾値（例えばＡｍ）以下かどうかを判定する（Ｓ８０２）。距離がＡｍ以下の場合には、交通情報サーバから俯瞰画像及び画像認識に基づく付加情報の受信を開始する（Ｓ８０３）。Ｓ８０２の判定に関しては、運転者の方向指示器のＯｎになったかどうかを判定しても良い。運転者が方向指示器をＯｎにしたということは、交差点付近にいて、その交差点を曲がる可能性が高いため、その条件を元に交通情報サーバからの情報の受信を開始しても良い（Ｓ８０３）。

【0037】

ここで、方向指示器のＯｎを契機に受信開始の場合には、日本のような左側通行ルールの地域の場合には、右折する方向指示器をＯｎにした場合には、交差点を右折する可能性が高いので交通情報サーバからの情報を受けられる可能性は高い。これに対し、左折する場合の左の方向指示器は、交差点付近で左折する場合は、交通情報サーバからの情報を取得できる可能性はあるが、交差点ではない場所で路肩に駐車するために方向指示器をＯｎにする場合も考えらるので、受信開始処理をしても、情報が受信できない場合がある。このような場合を考慮した車載装置の表示のタイミングとしては、交通情報サーバからの受信が確認できた時点で表示を開始する方法がある。つまり、車載装置側で交通情報サーバからの受信処理を開始しても、情報が取得できない場合には、交差点付近映像の表示をしないように構成すればよい。このように、車載装置側で受信処理を開始しても、交通情報サーバから情報が取得できるか否かは不明なので、情報が入手できたことを確認した後に表示を開始する。これにより、情報を受信できていない期間の無駄な映像表示をしなくて済み、無駄な電力の削減のメリットがある。また、運転者に不要な映像を視聴させることもないという点でも、より好適である。

【0038】

さらに、交差点付近映像のともに自車に対する危険に関する注意喚起情報を含む場合には、交差点付近映像上に危険に関する注意喚起情報を表示をするとともに、音声やブザーで運転者に危険に関する注意喚起を行なっても良い。これは、運転者に対する注意喚起をさらに促すことができるというメリットがある。

【実施例2】

【0039】

図９は、本発明の実施例２に係る交差点映像処理装置と交通情報サーバ、車載装置との間の送受信情報の一例を示すシーケンス図である。

【0040】

実施例２では、図７の実施例１のシーケンス図の処理に加え、地震や強風などの天災の発生などの不慮の事象により、交差点の表面の様相が様変わりしている場合など、上述の画像変換・合成部２０５が生成する俯瞰画像について、前フレーム(もしくは所定の時間前のフレームなど、少なくとも現在のフレームよりも過去の所定のフレーム)との映像差分領域が映像中の所定割合を超えている場合に、交差点映像処理装置１１３が交差点の状況が異常または危険な状況であることを示す危険情報を交通情報サーバ１１５に送信する仕組み（Ｓ９００）を有している。さらに、交通情報サーバ１１５では、Ｓ９００の危険情報を受信し、俯瞰映像や画像認識情報の記録を開始し始める（Ｓ９０１）。記録しておくことにより、後からそのときの交差点の異常または危険な状況を確認することができる。さらに、交通情報サーバ１１５では、各地の交差点映像処理装置や、その他ネットワークに接続された各種情報サーバから取得した情報に基づいて、各交差点における危険度を示す危険度情報を生成し、当該危険度情報を、該当する交差点付近でＳ７０２の受信開始処理を行った車載装置３００に送信する（Ｓ９０２）。車載装置３００は、予め図示しない記憶部に、受信した危険度情報に対応する表示の一覧データを有しており、危険度情報を受信した場合は、当該受信した危険度情報に応じた表示処理を行う（Ｓ９０３）。例えば、大きい地震発生などを示す危険度情報が含まれる場合には、車載装置の表示装置の画面全体に“地震発生”などの注意を促す映像とともに、ブザーなどで知らせる処理を行う構成としてもよい。また、車載装置に搭載された通信機能を利用して、図示しない記憶部に連絡先を登録してある携帯電話への危険情報の通知処理を行ってもよい。また、車載装置に通話機能を有する場合には、図示しない記憶部に連絡先を登録した、自宅や親族の家の電話に自動的に通話が繋がるなどの動作を連動させて実行しても良い。これにより、車載装置が搭載された車両の運転者に危険を通知できるのみではなく、車載装置の図示しない記憶部に予め登録してある連絡先に危険情報を通知できるというメリットがある。

【実施例3】

【0041】

図１０は、本発明の実施例３に係る車載装置の一例を示すブロック図である。

【0042】

実施例３は、図３の車載装置３００に車載カメラ(車載撮像装置)を搭載した場合の例である。図１０の例では車載カメラ１０００の映像は、デコード部１００１においてデコードされる。他の例として、車載カメラ１０００は１つではなく、複数あっても良い。その場合にはそれぞれのカメラ毎にデコード部を有する構成になる。画像認識部１００２において、車載カメラで撮影された映像について、画像認識処理を行い、自車の前車や後車の色や形状、ナンバープレートのナンバー、方向指示器の点滅の有無や点滅位置などを読み取りを行なう。画像情報１００３では、画像認識部１００２の画像認識結果に基づいて取得した情報をリスト化を行って図１１に示す情報を生成し、情報制御部３０５に送信する仕組みを有する。これにより、自車の位置から撮影した映像から取得した情報を映像処理部３０７において利用できる。すなわち、交差点映像処理装置１１３の映像からは読み取れなかった情報を交差点映像処理装置１１３から取得した付加情報に追加、補間して利用できることとなる。また、画像変換・合成部１００４を備え、自車周辺の道路の画像をレンズ歪補正、透視変換などを行い、自車付近の俯瞰画像を生成し、情報制御部３０５に送信できる仕組みを有する。これにより、交差点映像処理装置１１３から送信される俯瞰画像では、自車の影になるなどの理由により、正確に撮影されていなかった自車の周辺の画像を、車載カメラ１０００の映像で補間することができる。画像変換・合成部１００４において、生成した自車周辺の映像は、情報制御部を介して、映像処理部に送られ、交差点映像処理装置１１３から送信されてきた俯瞰画像の自車の周囲に、画像変換・合成部１００４で生成した映像を合成する。この方式は、信号機に設置された撮像機の位置により、自車の周囲の画像は、自車や他車が映像を部分的に隠してしまう場合に、その部分を自車の映像を利用することで補間できるというメリットがある。

【0043】

また、交差点映像処理装置１１３は、画像認識処理の結果、大きなトラック等で撮影できていない領域が多い場合と判定される場合には、通信部およびネットワーク（及び交通情報サーバ）を介して、各車両の車載装置に対して、各車両の車載カメラが撮影した画像もしくはこれを変換合成した各車両付近の俯瞰画像の送付を要求して、取得しても良い。交差点映像処理装置１１３が、取得した各車からの映像を画像変換・合成部２０５に入力し、交差点に設置された撮像装置の映像と合成することにより、交差点に設置された撮像装置では写すことのできない部分の画像を、より多くの車両の運転者に提示できる。

【0044】

図１１は、本発明の実施例３に係る車載装置の画像認識結果に基づく情報のリストの一例を示す図である。

【0045】

例えば、自車の前方に設置した車載カメラで撮影した情報から、自車の前にある車両の情報を入手でき、例えば自車の後や横に設置した車載カメラからも同様に、その方向にある車両や歩行者の情報が得られる。図１１の例では、自車＃１０８の前にあるカメラで撮影した映像から認識した情報、例えばサイズ、色、種類、ナンバー、速度差、進行方向、方向指示器のＯｎ／Ｏｆｆや方向などの情報が得られる。

【0046】

情報制御部３０５では、交差点映像処理装置１１３からの俯瞰画像と画像認識結果に基づく付加情報、及び自車情報管理部３０２が管理する自車情報に基づいて、自車が、図５Ａの付加情報の例における＃１０８と認識できた場合には、例えば、＃１０８のオブジェクトとの位置関係から、自車の前にある車両は図５Ａの＃１０９と特定できる。この時、交差点映像処理装置１１３の画像認識結果に基づく図５Ａの＃１０９の情報と、車載装置の画像認識結果に基づく図１１の前車の情報を比較して、情報を補間する。例えば、図５Ａの＃１０９では、ナンバープレートの番号は一部読み取れずに、“２３＊５”となっているが、図１１ではナンバープレートの数字は読み取れていて“２３４５”となっている。そこで、情報が欠落している図５Ａの情報を補間することができる（上述のとおり“＊”は情報が読み取れなかった、入手できなかったことを示す記号）。また方向指示器の状態に関しても、交差点映像処理装置１１３では情報を入手できず“＊”になっているが、図１１の前車の情報では、西に進む“７”（図５Ｂ）の方向に方向指示器が出されているという情報が取得できている。よって、この場合も情報の補間が可能である。この方向指示器の状態の情報が補間されたことにより、図６の俯瞰画像の状況において、自車１０８‘の前の車両１０９’は、方向“７”（図５Ｂ参照）に進む準備をしているので、危険度が低いと判断できる。もし、自車が図６の１０９‘だった場合には、前方車載カメラから歩行者１１１’についての詳細な情報（子供、お年寄りなど）が得られるように構成することも可能である。この場合、歩行者の詳細に応じて、運転者に対して適切な注意喚起の提示をすることも可能である。

【0047】

図１２は、本発明の実施例３に係る車載装置から交通情報サーバに送信する情報リストの一例を示す図である。

【0048】

本リストは、交差点映像処理装置１１３から取得した図５Ａの付加情報と、自車情報管理部３０２が管理する自車情報、自車搭載カメラで認識された画像認識に基づく図１１の情報などを関連付けたリストになっている。

【0049】

車載装置では以下のように当該図１２のリストを作成する。まず、図１１のリストに「自車」の情報の領域を加え、ここに自車情報管理部３０２が管理する自車情報を格納する。当該「自車」の情報の領域に格納された情報と、交差点映像処理装置１１３から取得した図５Ａの付加情報とを比較し、最も「自車」の情報と近い情報を格納している図５Ａ中のオブジェクトが「自車」であると特定できる。具体的には、図１２の「自車」の情報の領域に格納されたサイズ、色、種類、ナンバー、速度差、進行方向、方向指示器のＯｎ／Ｏｆｆや方向などの情報と図５Ａの各オブジェクトの情報を比較することにより、情報の重複が最も多い(または情報の差分が最も小さい)オブジェクト＃１０８が自車の情報であると特定できる。よって、「自車」についての「交差点映像処理装置付加情報リスト＃」の欄には、「＃１０８」の値を格納する。

【0050】

なお、このように、図１２の「自車」の情報には、自車情報管理部３０２が管理する自車情報が格納されている。これは、図５Ａの付加情報よりも確度の高い情報である。すると、自車情報と図５Ａの付加情報のオブジェクト＃１０８の情報とにおいて、一部の情報が相違している場合でも、確度の高い自車情報が優先されて図１２のリストとして格納されていることとなる。

【0051】

次に、図５Ａの付加情報における自車のオブジェクトの情報(この場合では、＃１０８)の座標情報と、その他のオブジェクトの座標情報の位置関係と、図１１の「前車」、「前前車」、「後車」、「左車」、「右車」などの情報を取得した映像を撮影したカメラの方向と、に基づいて、図１１の「前車」、「前前車」、「後車」、「左車」、「右車」に対応する図５Ａの付加情報内のオブジェクトを特定する。例えば、図６の状況においては、自車であるオブジェクト１０８の前方にオブジェクト１０９が位置している。これは、図５Ａの付加情報の座標情報から把握できる。すると、図１１の「前車」の情報は、図５Ａのオブジェクト＃１０９の情報であると特定できる。よって、図１２のリストでは、「前車」の情報の領域に、図１１の「前車」の情報を格納したうえで、「交差点映像処理装置付加情報リスト＃」の欄には、「＃１０９」の値を格納する。

【0052】

以上の例では、図１１の「前前車」、「後車」、「左車」、「右車」に該当する車両が無い場合を説明したが、これらの情報がある場合も、同様に情報を格納して図１２の情報リストを作成すればよい。

【0053】

図１２の情報リストを取得した交通情報サーバでは、図１２の情報に基づいて、図５Ａの付加情報を更新すればよい。その更新の際には、特に、図１２の情報における「自車」の情報に対応するオブジェクトの情報については、交通情報サーバが保持する図５Ａの付加情報よりも、情報の確度が高い。よって、図１２の情報を用いて図５Ａの付加情報の情報を更新する。他のオブジェクトの情報については、図５Ａの付加情報の確度と図１２の情報の確度は、実際のシステム構成に依存する可能性が高い。よって構成するシステムに応じて、処理を決めればよい。例えば、交通情報サーバに情報を送信した車両に対応するオブジェクト以外のオブジェクトの情報は更新しない、としてもよい。各車両の車載装置の前方のカメラについての画像認識精度が比較的高いシステムの場合には、交通情報サーバにおいて、送信されてきた図１２の情報のうち、「自車」と「前車」に対応するオブジェクトについては、図５Ａの付加情報の情報を更新し、他のオブジェクトのついては更新しない、としてもよい。すなわち、一部の特定の情報のみを更新するように構成してもよい。

【0054】

なお、図１２のように、自車の速度情報も交通情報サーバへ送信することで、交通情報サーバから情報を取得した周囲の車両おいて危険な状況の判断に用いることが可能となる効果もある。また初心者マークの情報や、高齢者運転者マークの情報、障害者情報など運転者の情報も含めて交通情報サーバへ送信するように構成すれば、交通情報サーバから情報を取得した周囲の車両に注意を促すことも可能である。 図１３は、本発明の実施例３に係る交差点映像処理装置と交通情報サーバ、車載装置との間の送受信情報の一例を示すシーケンス図である。

【0055】

実施例３では、自車が得た情報を交通情報サーバ１１５に送信して、交差点映像処理装置１１３からの画像認識情報を補間することができる仕組みを有する構造である。動作としては、図７のシーケンスにＳ１３００〜１３０２を追加したものである。車載装置３００は、自車情報や自車に搭載した車載カメラの画像から画像認識されたオブジェクトの情報や、映像そのものを交通情報サーバ１１５に送信する（Ｓ１３００）。自車情報や自車に搭載した車載カメラの画像から画像認識されたオブジェクトの情報は、上述の図１２の情報リストの形で送信すればよい。交通情報サーバ１１５では、現在ネットワーク配信をしている図５Ａの情報を、Ｓ１３００で車載装置３００から送信された、図１２の情報リストに基づいて、一致するオブジェクト番号の情報の補間または更新を行なう。車載装置３００から車載カメラの撮影映像が送信されてきている場合は、これを交差点映像処理装置２００から送信された映像と合成してもよい。当該合成は、交差点映像処理装置２００における合成処理と同様に行えばよい。その後、これら補間・更新された画像認識に基づく情報（図５Ａ）をネットワークへ配信する（Ｓ１３０２）。この際、交差点映像処理装置２００からの映像と車載装置３００から送信された映像を合成した合成映像をネットワークに配信してもよい。また、車載カメラの起動タイミングをＳ６０２と合わせても良い。これにより、カメラの作動期間を交差点付近の期間のみに限定することができる。これにより常に車載カメラを作動させておく場合と比較して、消費電力に抑えることができる。

【0056】

図１４は、本発明の実施例３に係る車載装置で生成する俯瞰画像の一例(自車周囲俯瞰画像の例)を示す図である。

【0057】

本例では、車載に前後左右の４つの車載カメラ（１４０１〜１４０４）を搭載して、それぞれの車載カメラからの俯瞰画像の切り出し画像（１４０５〜１４０８）を合成して、自車１４００の周囲数ｍ付近の俯瞰画像を示している。本画像は、図４で説明した手法と同じ方法で、撮影レンズの歪補正、透視変換を行い俯瞰画像を生成する。

【0058】

図１５Ａは、本発明の実施例３に係る車載装置で生成する俯瞰画像の一例(交差点俯瞰画像の例)を示す図である。図１５Ａは、車載装置において、交通情報サーバ１１５から送信されてきた交差点俯瞰画像と、自車カメラで撮像して生成した図１４の自車周囲の俯瞰画像１５００を合成した画像である。図１５Ａの画像では、交通情報サーバ１１５から送信されてきた俯瞰画像に比べて、自車周囲の俯瞰画像１５００の部分の情報がより高精度になっている。よって、自車周囲の俯瞰画像１５００を、交通情報サーバ１１５から送信されてきた交差点俯瞰画像よりも手前に重畳して表示するなど、優先して表示することにより車載装置３００でより好適な交差点俯瞰画像を表示することができる。なお、自車周囲の俯瞰画像１５００を、交通情報サーバ１１５から送信されてきた交差点俯瞰画像は、画像の値に重み付けを行なって合成しても良いが、この場合でも、自車周囲の俯瞰画像１５００を優先して合成すればよい。

【0059】

次に、各車両の車載装置で生成した図１４の各車両の周囲俯瞰画像を交通情報サーバ１１５に送信し、交通情報サーバ１１５で、交差点映像処理装置２００から取得した交差点俯瞰画像と、各車両から受信した各車両の周囲俯瞰画像とを合成する場合の合成画像の例を図１５Ｂを用いて説明する。図１５Ｂは、交差点映像処理装置２００で認識されたオブジェクト＃１０８〜１１２のうち、各車両が撮影した俯瞰画像が取得できたものに関して交差点俯瞰画像に合成している。この例では、オブジェクト＃１０８から車両周囲の俯瞰画像１５００を受信し、交差点俯瞰画像に合成している。オブジェクト＃１１０から車両周囲の俯瞰画像１５０１を受信し、交差点俯瞰画像に合成している。オブジェクト＃１１２から車両周囲の俯瞰画像１５０２を受信し、交差点俯瞰画像に合成している。しかし、交通情報サーバ１１５は、オブジェクト＃１０９から、車両周囲の俯瞰画像を受信できておらず、オブジェクト＃１０９に関しては周囲の画像の合成は行なっていない。またオブジェクト＃１１１に関しては、歩行者でありカメラを搭載していないため、俯瞰画像はないので、俯瞰画像は合成されていない。各車の周囲俯瞰画像を交差点俯瞰画像に合成する際は、両者の画像において認識した車体の大きさが合うサイズに画像を拡大縮小して合成する。合成する際には、各車の周囲俯瞰画像を、交差点映像処理装置２００から取得した交差点俯瞰画像よりも優先して表示すればよい。ここで、優先して表示するとは、図１５Ａと同様に、手前に重畳して表示する、合成の重み付けを大きくするなどの方法がある。

【0060】

以上のように合成した交差点俯瞰画像は、交通情報サーバ１１５から交差点付近の各車両の車載装置に送信され、各車両の車載装置の表示装置３０８から運転者に提示することが可能である。

【0061】

このように、各車両のカメラで撮影された画像を利用して、交差点俯瞰画像を生成する。これにより、例えば、最大車高の高いトラックなどの車両が止まっていて、その影響で信号機に取り付けられた撮像装置では撮影されていない部分についても、各車両のカメラで撮影された画像で補間することにより、運転者に表示することが可能となる。車両に隠れて見えない子供などの人物も各車両のカメラに写っていれば表示することが可能となり、運転者に注意を促すことができる。

【0062】

以上説明した、各実施例のシステムで動作するプログラムは、出荷または設置時にシステム内に実装してあっても良い。また、記録媒体に記録して配布、提供するようにしても良い。また、ネットワークを介してダウンロードして提供するようにしても良い。これら多様な配布、提供形態を用いることで、様々な利用形態での提供が可能となり、利用ユーザを増やす効果がある。

【0063】

また、本実施例のシステムでは、交通情報サーバが、各オブジェクトの座標情報や速度情報について受信または送信処理を行っている。よって、交通情報サーバにおいて、交通情報サーバが受信および／または送信した情報を記録しておく構成にすることで、交差点で事故が発生した場合に検証処理にこれらの記録データを利用することもできる。さらに車載装置において、交通情報サーバから取得した自車に対応するオブジェクトの情報を保存しておくことで、交差点付近での運転者の運転履歴をドライブレコーダのように記録することができる。この記録に基づいて、運転者の運転の仕方を評価したり、改善指導をするサービスの提供に用いることも可能となる。

【符号の説明】

【0064】

１００〜１０３ 信号機、１０４〜１０７ 撮像装置、１０８〜１１２ 車両または歩行者、１１３ 交差点映像処理装置、１１４ ネットワーク、１１５ 交通情報サーバ、２００〜２０３ デコード部、２０４ メモリ部、 ２０５ 画像変換・合成部、２０６ 信号機制御情報、２０７ ＯＳＤ重畳部、２０８ 画像認識部、２０９ 画像情報部、２１０ エンコード部、２１１ 通信部、３００車載装置、３０１ 通信部、３０２ 自車情報管理部、３０３ ＧＰＳ、３０４ 地図情報管理部、３０５ 情報制御部、３０６ メモリ部、３０７ 映像処理部、３０８ 表示装置、３０９ Ｕ／Ｉ、４００〜４０３ 撮像装置１０４〜１０７の俯瞰切り出し画像、６００〜６０４ 進行方向矢印、６０５〜６０６ 追加文字情報、１０００ 車載カメラ、１００１ デコード部、１００２ 画像認識部、１００３ 画像情報部、１００４ 画像変換・合成部、１４００ 自車、１４０１〜１４０４ 車載カメラ、１４０５〜１４０８ 各車載カメラの俯瞰切り出し画像、１５００〜１５０２ 車両周囲の俯瞰画像

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15A】

【図15B】