特開 2024-106103 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024106103

(43)【公開日】2024-08-07

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240731BHJP

【ＦＩ】

G08G1/16 C

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023010215

(22)【出願日】2023-01-26

(71)【出願人】

【識別番号】322003857

【氏名又は名称】パナソニックオートモーティブシステムズ株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】山根 一郎

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB13

5H181CC03

5H181CC04

5H181CC14

5H181FF27

5H181FF33

5H181LL02

5H181LL08

5H181LL17

(57)【要約】

【課題】車両の外側に位置する物体の情報を含む運転支援情報を適切に生成する。
【解決手段】情報処理装置２０は、車両４の運転支援情報を生成する情報処理装置である。情報処理装置２０は、車両４の外側に位置する物体Ｏｊを検出することで得られた３次元データである検出データＤ１を取得する検出データ取得部３０と、予め記憶されている複数の物体の３次元データの中から検出データＤ１に対応する物体の３次元データである物体データＤｏを抽出し、検出データＤ１を当該物体データＤｏで補完することで３次元データである補完データＤ２を生成するデータ補完部４１と、補完データＤ２と車両４の３次元データである車両データＤｖとを合成することで、車両４および車両４の外側領域を含む３次元データである合成データＤ３を生成するデータ合成部４２と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両の運転支援情報を生成する情報処理装置であって、
前記車両の外側に位置する物体を検出することで得られた３次元データである検出データを取得する検出データ取得部と、
予め記憶されている複数の物体の３次元データの中から前記検出データに対応する物体の３次元データである物体データを抽出し、前記検出データを当該物体データで補完することで３次元データである補完データを生成するデータ補完部と、
前記補完データと前記車両の３次元データである車両データとを合成することで、前記車両および前記車両の外側領域を含む３次元データである合成データを生成するデータ合成部と、
を備える情報処理装置。

【請求項2】

前記検出データは、前記車両の外側に位置する物体の外形の一部の３次元データであり、
前記物体データは、予め記憶されている前記物体の外形全体の３次元データを含む
請求項１に記載の情報処理装置。

【請求項3】

前記データ補完部は、前記物体データのうち、前記検出データと重複する部分以外のデータを前記検出データに付加することで前記補完データを生成する
請求項１に記載の情報処理装置。

【請求項4】

さらに、前記複数の物体の３次元データを記憶する記憶部を備え、
前記データ補完部は、前記記憶部に記憶された前記複数の物体の３次元データの中から、前記検出データに対して相関の高いデータを前記物体データとして抽出する
請求項１に記載の情報処理装置。

【請求項5】

さらに、前記車両データが記憶された記憶部を備え、
前記データ合成部は、前記記憶部に記憶された前記車両データに基づいて、前記合成データを生成する
請求項１に記載の情報処理装置。

【請求項6】

前記情報処理装置は、前記車両が駐車する際に、前記運転支援情報を生成する
請求項１～５のいずれか１項に記載の情報処理装置。

【請求項7】

前記検出データ取得部は、少なくとも前記車両の後方および側方に位置する物体の検出データである複数の前記検出データを取得し、
前記データ補完部は、複数の前記検出データに基づいて、複数の前記物体データを抽出し、複数の前記検出データを複数の前記物体データで補完することで複数の前記補完データを生成し、
前記データ合成部は、複数の前記補完データおよび前記車両データに基づいて、前記合成データを生成する
請求項１に記載の情報処理装置。

【請求項8】

さらに、前記データ合成部で生成された前記合成データに基づいて、前記車両および前記車両の外側領域を含む所定の画像を生成する画像生成部を備え、
前記画像生成部は、前記車両に対して横から見た画像、上から見た画像および斜めから見た画像の少なくとも１つの画像を、前記所定の画像として生成する
請求項１に記載の情報処理装置。

【請求項9】

前記車両データは、前記車両のドアが閉まった状態のデータおよび前記車両のドアが開いた状態のデータの少なくとも一方のデータを含む
請求項１に記載の情報処理装置。

【請求項10】

車両の運転支援情報を生成する情報処理装置であって、
前記車両の外側に位置する物体を検出することで得られた３次元データである検出データを取得する検出データ取得部と、
予め記憶されている複数の物体の３次元データの中から前記検出データに対応する物体の３次元データである物体データを抽出し、前記検出データ、当該物体データおよび前記車両の３次元データを合成することで、３次元データである合成データを生成する合成部と、
を備える情報処理装置。

【請求項11】

車両の運転支援情報を生成する情報処理方法であって、
前記車両の外側に位置する物体を検出することで得られた３次元データである検出データを取得し、
予め記憶されている複数の物体の３次元データの中から前記検出データに対応する物体の３次元データである物体データを抽出し、
前記検出データを当該物体データで補完することで３次元データである補完データを生成し、
前記補完データと前記車両の３次元データである車両データとを合成することで、前記車両および前記車両の外側領域を含む３次元データである合成データを生成する
情報処理方法。

【請求項12】

請求項１１に記載の情報処理方法をコンピュータで実行するためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両の運転支援情報を生成する情報処理装置、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

車両の安全性向上かつ事故防止のために、車両の運転支援情報を提供する装置が知られている。特許文献１には、車両の後方に存在する障害物の形状によらず、車両が有する跳ね上げ式のテールゲートの開閉に必要な最小空間を確保できない状態となるまでの情報を提供する運転支援情報提供装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－１６５１３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら特許文献１に記載された装置では、車両の外側に位置する物体の局所的な情報しか得られず、十分な運転支援情報を生成できないことがある。

【0005】

本開示は、車両の外側に位置する物体の情報を含む運転支援情報を生成することができる情報処理装置等を提供する。

【課題を解決するための手段】

【0006】

本開示の一態様に係る情報処理装置は、車両の運転支援情報を生成する情報処理装置であって、前記車両の外側に位置する物体を検出することで得られた３次元データである検出データを取得する検出データ取得部と、予め記憶されている複数の物体の３次元データの中から前記検出データに対応する物体の３次元データである物体データを抽出し、前記検出データを当該物体データで補完することで３次元データである補完データを生成するデータ補完部と、前記補完データと前記車両の３次元データである車両データとを合成することで、前記車両および前記車両の外側領域を含む３次元データである合成データを生成するデータ合成部と、を備える。

【0007】

本開示の一態様に係る情報処理装置は、車両の運転支援情報を生成する情報処理装置であって、前記車両の外側に位置する物体を検出することで得られた３次元データである検出データを取得する検出データ取得部と、予め記憶されている複数の物体の３次元データの中から前記検出データに対応する物体の３次元データである物体データを抽出し、前記検出データ、当該物体データおよび前記車両の３次元データを合成することで、３次元データである合成データを生成する合成部と、を備える。

【0008】

本開示の一態様に係る情報処理方法は、車両の運転支援情報を生成する情報処理方法であって、前記車両の外側に位置する物体を検出することで得られた３次元データである検出データを取得し、予め記憶されている複数の物体の３次元データの中から前記検出データに対応する物体の３次元データである物体データを抽出し、前記検出データを当該物体データで補完することで３次元データである補完データを生成し、前記補完データと前記車両の３次元データである車両データとを合成することで、前記車両および前記車両の外側領域を含む３次元データである合成データを生成する。

【0009】

本開示の一態様に係るプログラムは、上記の情報処理方法をコンピュータで実行するためのプログラムである。

【発明の効果】

【0010】

本開示の情報処理装置等によれば、車両の外側に位置する物体の情報を含む運転支援情報を生成することができる。

【図面の簡単な説明】

【0011】

【図1】比較例の情報提供システムにて提供される画像の一例を示す図である。

【図2】本開示の情報提供システムにて提供される画像の一例を示す図である。

【図3】実施の形態に係る情報処理装置および情報提供システムを示すブロック図である。

【図4】情報提供システムが備える検出装置の設置位置を示す図である。

【図5】車両が後ろ向き駐車する際に車両の後方に位置する物体を検出する例を示す図である。

【図6】車両が後ろ向き駐車する際に車両の側方に位置する物体を検出する例を示す図である。

【図7】情報処理装置にて処理される３次元データを模式的に示す図である。

【図8】比較例および実施の形態の情報提供システムにて提供される画像の一例を示す図である。

【図9】実施の形態の情報提供システムにて提供される画像の他の一例を示す図である。

【図10】実施の形態の情報提供システムにて提供される画像の他の一例を示す図である。

【図11】比較例および実施の形態の情報提供システムにて提供される画像の他の一例を示す図である。

【図12】実施の形態の情報提供システムにて提供される画像の他の一例を示す図である。

【図13】実施の形態の情報提供システムにて提供される画像の他の一例を示す図である。

【図14】実施の形態に係る情報処理方法を示すフローチャートである。

【図15】実施の形態の変形例１の情報提供システムによって提供される画像を示す図である。

【図16】実施の形態の変形例２の情報提供システムによって提供される画像を示す図である。

【発明を実施するための形態】

【0012】

（本開示に至る経緯）
本開示に至る経緯について、図１および図２を参照しながら説明する。

【0013】

図１は、比較例の情報提供システムにて提供される画像の一例を示す図である。同図には、自車両がバックで後ろ向き駐車する際に、車室内のモニターに映し出される画像が示されている。

【0014】

図１の（ａ）には、自車両から後方を見たときの画像が示されている。この画像には、後方に位置する他の車両６ｂ、６ｓ、ポール７などが示されているが、ドライバーがこの画像の見方に慣れていないと自車両から他の車両６ｂ、６ｓ、ポール７までの実際の距離を把握できないことがある。

【0015】

図１の（ｂ）には、自車両である車両４を上から見たときのアラウンドビュー画像が示されている。この画像には、側方に位置する他の車両６ｓ、ポール７などが示されているが、画面の外側にいくほど他の車両６ｓやポール７が斜め方向に広がって表され、ドライバーが違和感をおぼえることがある。このように比較例では、車両４の周辺に位置する物体の情報を適切に生成できず、十分な運転支援情報を提供できないという問題がある。

【0016】

図２は、本開示の情報提供システムにて提供される画像の一例を示す図である。

【0017】

図２の（ａ）には車両４を横から見た図が示され、（ｂ）には車両４を上から見た図が示され、（ｃ）には車両４を斜め上から見た図が示されている。図２のように、車両４および車両４の周辺に位置する物体を車両４の外から客観的または俯瞰的に見える画像情報として提供することで、ドライバーに十分な運転支援情報を提供することができる。本開示の情報処理装置等は、上記のような運転支援情報を適切に生成するため、以下に示す構成を有している。

【0018】

以下、実施の形態について、図面を参照しながら具体的に説明する。以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。また、複数の実施の形態のうちの２つ以上の実施の形態を任意に組み合わせることで実現される形態も本開示に含まれる。

【0019】

（実施の形態）
［情報処理装置および情報提供システムの構成］
実施の形態に係る情報処理装置および情報提供システムの構成について、図３～図８を参照しながら説明する。

【0020】

図３は、実施の形態に係る情報処理装置２０および情報提供システム１を示すブロック図である。

【0021】

情報処理装置２０は、車両４の運転支援情報を生成する装置であり、例えば車両４が駐車する際に、車両４の運転支援情報を生成する。情報提供システム１は、情報処理装置２０で生成された運転支援情報を提供するシステムであり、車両４の内部に搭載されている（図４参照）。

【0022】

図３に示すように、情報提供システム１は、物体を検出する検出装置１０と、運転支援情報を生成する情報処理装置２０と、を備える。また、情報提供システム１は、車両情報取得部９１、作動切替部９２、モニター制御部９５およびモニター９６を備えている。

【0023】

検出装置１０は、車両４の外側に位置する物体Ｏｊ（図５および図６参照）を検出する装置であり、例えば、複数のカメラを有するステレオカメラである。検出装置１０は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）技術を利用した単眼カメラであってもよいし、光による検知および測距を行うライダー（ＬｉＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）であってもよい。

【0024】

図４は、情報提供システム１が備える検出装置１０の設置位置を示す図である。

【0025】

検出装置１０は、例えば、複数の検出装置１１、１２、１３および１４によって構成されている。検出装置１１は、車両４の後方に位置する物体Ｏｊを検出するために、車両４の後ろ側のボディに設けられる。検出装置１２は、車両４の前方に位置する物体Ｏｊを検出するために、フロントガラス（ウインドシールド）の車室内側に設けられる。検出装置１３は、車両４の右の側方の物体Ｏｊを検出するために、車両４の右側のボディまたはサイドミラーに設けられる。検出装置１４は、車両４の左の側方の物体Ｏｊを検出するために、車両４の左側のボディまたはサイドミラーに設けられる。例えば検出装置１１がステレオカメラである場合、２つのカメラが鉛直方向において同じ高さ位置に、水平方向に所定間隔を空けて配置される。他の検出装置１２～１４においても同様である。

【0026】

検出装置１０にて検出される物体Ｏｊは、例えば、車両４の後方および側方に位置する他の車両６ｂ、６ｓ、ポール７、壁、ガードレール等である。物体Ｏｊは、車両４の後方に位置する車止め８（図２参照）であってもよいし、車両４の駐車領域を示す白線であってもよい。物体Ｏｊは、縁石や側溝などのように、走行路面、停車路面および駐車路面とは異なる形態を有する物であってもよい。

【0027】

検出装置１０は、物体Ｏｊを検出することによって車両４と物体Ｏｊとの３次元的な距離を求め、物体Ｏｊの３次元データである検出データＤ１を生成する。検出データＤ１には、車両４と物体Ｏｊの３次元点群との距離を示すデータが含まれている。検出装置１０で生成された検出データＤ１は、情報処理装置２０へ出力される。

【0028】

図３に示すように、情報処理装置２０は、検出データ取得部３０と、合成部４０と、記憶部７０と、車両データ選択部７１と、画像生成部８０と、を備える。記憶部７０には、情報処理装置２０を作動するためのコンピュータプログラムが格納されている。情報処理装置２０が備える各構成の機能は、記憶部７０に記憶されたコンピュータプログラムを実行することで実現される。

【0029】

検出データ取得部３０は、検出装置１０から出力された検出データＤ１を取得する。以下では、車両４が後ろ向き駐車する際に車両４の後方および右の側方を検出することで得られる検出データＤ１について説明する。なお、左の側方および前方についても同様である。

【0030】

図５は、車両４が後ろ向き駐車する際に車両４の後方に位置する物体Ｏｊを検出する例を示す図である。

【0031】

図５の（ａ）には、ステレオカメラによって後方に位置する他の車両６ｂを検出する例が示され、図５の（ｂ）には、ライダー（ＬｉＤＡＲ）によって後方に位置する他の車両６ｂを検出する例が示されている。車両４が後ろ向き駐車する際、検出データ取得部３０は、車両４の後方に位置する物体Ｏｊの検出データＤ１を取得する。図５に示すように、検出装置１０で検出できる範囲は、同図に示す実線部分であり破線部分は検出できない。そのため、検出データ取得部３０で取得する検出データＤ１は、他の車両６ｂの後部の３次元データのみである。

【0032】

図６は、車両４が後ろ向き駐車する際に車両４の側方に位置する物体Ｏｊを検出する例を示す図である。

【0033】

図６の（ａ）には、ステレオカメラによって側方に位置する他の車両６ｓを検出する例が示され、図６の（ｂ）には、ＳＬＡＭ技術を利用した単眼カメラによって側方に位置する他の車両６ｓを検出する例が示されている。車両４が後ろ向き駐車する際、検出データ取得部３０は、車両４の側方に位置する物体Ｏｊの検出データＤ１を取得する。図６に示すように、検出装置１０で検出できる範囲は、同図に示す実線部分であり破線部分は検出できない。そのため、検出データ取得部３０で取得する検出データＤ１は、他の車両６ｓの側部の３次元データのみである。

【0034】

このように、検出装置１０で検出できる範囲が物体Ｏｊの外形の一部である場合、検出データ取得部３０にて取得できる情報は物体Ｏｊの外形全体のうちの一部の情報であり、この情報だけではドライバーに必要な運転支援情報を生成することができない。そこで、本実施の形態では、上記の検出データＤ１に加え、記憶部７０に予め記憶されている物体の３次元データおよび車両４の３次元データを用いて運転支援情報を生成する。

【0035】

記憶部７０には、複数の物体の３次元データが記憶されている。物体の３次元データは、予め決められた原点を基準とする３次元データであり、既存する物体の外形全体のデータを含む。物体の３次元データは、標準化された製品の外形を示すデータであってもよいし、外部の情報ネットワークにて開示されている製品の外形を示すデータであってもよい。これらの物体の３次元データは、新しい製品ができるごとに適時更新および追加されてもよい。記憶部７０に記憶されている物体の３次元データは、合成部４０のデータ補完部４１から読み出し可能となっている。

【0036】

また、記憶部７０には、車両４の３次元データである車両データＤｖが保存されている。車両データＤｖは、予め決められた原点を基準とする３次元データであり、車両４の外形全体のデータを含む。車両データＤｖは、情報処理装置２０が車両４に搭載されるときまたは車両４にオプション品が追加されるときに記憶部７０に保存される。記憶部７０に記憶された車両データＤｖは、後述する車両データ選択部７１を介してデータ合成部４２から読み出し可能となっている。

【0037】

なお、車両データＤｖには、車両４のドアが閉まった状態のデータおよび車両４のドアが開いた状態のデータの両方のデータが含まれている。この場合における車両４のドアは、サイドドア４ｓであってもよいし、バックドア４ｂであってもよい。

【0038】

車両データ選択部７１は、車両データＤｖのうち、車両４のドアが閉まった状態のデータおよび車両４のドアが開いた状態のデータの少なくとも一方のデータを選択する。車両データ選択部７１は、例えば、ユーザーによって入力された選択スイッチに基づいて、ドアの開閉状態に関するデータの選択を行う。選択されるデータは、例えば、３つのサイドドア４ｓが閉まっており１つのサイドドア４ｓが開いた状態のデータであってもよいし、４つのサイドドア４ｓが閉まっており１つのバックドア４ｂが開いた状態のデータであってもよい。車両データ選択部７１は、事前に設定された各ドアの開閉角度に関する情報に基づいて、各ドアの開閉角度に関する情報を含む車両データＤｖを選択してもよい。車両データ選択部７１によって選択された車両データＤｖに関するデータは、合成部４０へ出力される。

【0039】

合成部４０は、データ補完部４１と、データ合成部４２と、を備えている。

【0040】

データ補完部４１は、記憶部７０に記憶された複数の物体の３次元データの中から、検出データＤ１に対応する物体の３次元データである物体データＤｏを抽出する。例えばデータ補完部４１は、複数の物体の３次元データの中から、検出データＤ１に対して最も相関の高いデータを物体データＤｏとして抽出する。相関の高さは、相関係数またはコサイン類似度によって判断されてもよい。また、データ補完部４１は、３次元画像をＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）分析することで、検出データＤ１に対応する物体データＤｏを抽出してもよい。

【0041】

図７は、情報処理装置２０にて処理される３次元データを模式的に示す図である。同図には、３次元データが平面状に示されている。この例では、車両４の後方および右の側方に位置する物体Ｏｊが他の車両６ｂ、６ｓである例について説明する。

【0042】

図７には、後方の検出データＤ１、および、側方の検出データＤ１が示されている。また、図７には、複数の物体の３次元データ、抽出された物体データＤｏ、および、車両データＤｖが示されている。また、図７には、後方の補完データＤ２、側方の補完データＤ２、および、合成データＤ３が示されている。

【0043】

データ補完部４１は、複数の物体の３次元データの中から、車両４の後方に位置する他の車両６ｂの検出データＤ１に対応する物体データＤｏを抽出する。例えばデータ補完部４１は、複数の物体の３次元データの中から、他の車両６ｂの後部の検出データＤ１に最も近い部位を有する物体データＤｏを抽出する。

【0044】

そしてデータ補完部４１は、後方の検出データＤ１を、抽出された物体データＤｏで補完することで、後方の３次元データである補完データＤ２を生成する。後方の補完データＤ２は、抽出された物体データＤｏのうち、後方の検出データＤ１と重複する部分以外のデータ（破線）を当該検出データＤ１（実線）に付加することで生成される。

【0045】

また、データ補完部４１は、複数の物体の３次元データの中から、車両４の側方に位置する他の車両６ｓの検出データＤ１に対応する物体データＤｏを抽出する。例えばデータ補完部４１は、複数の物体の３次元データの中から、他の車両６ｓの側部の検出データＤ１に最も近い部位を有する物体データＤｏを抽出する。

【0046】

そしてデータ補完部４１は、側方の検出データＤ１を、抽出された物体データＤｏで補完することで、側方の３次元データである補完データＤ２を生成する。側方の補完データＤ２は、抽出された物体データＤｏのうち、側方の検出データＤ１と重複する部分以外のデータ（破線）を当該検出データＤ１（実線）に付加することで生成される。

【0047】

このように、データ補完部４１は、複数の物体の３次元データの中から複数の検出データＤ１に対応する複数の物体データＤｏを抽出し、複数の検出データＤ１をそれぞれ複数の物体データＤｏで補完することで複数の補完データＤ２を生成する。データ補完部４１で生成された複数の補完データＤ２は、データ合成部４２へ出力される。

【0048】

データ合成部４２は、後方の補完データＤ２と、側方の補完データＤ２と、車両データＤｖとを合成することで合成データＤ３を生成する。

【0049】

なお、情報処理装置２０は、前方および左の側方においても同様の処理を行う。つまりデータ合成部４２は、後方、前方、右の側方および左の側方の補完データＤ２と車両データＤｖとを合成することで、車両４および車両４の周辺領域を含む合成データＤ３を生成する。このように合成部４０は、複数の物体の３次元データの中から検出データＤ１に対応する物体データＤｏを抽出し、検出データＤ１、物体データＤｏおよび車両データＤｖを合成することで、合成データＤ３を生成する。データ合成部４２で生成された合成データＤ３は、画像生成部８０へ出力される。

【0050】

画像生成部８０は、データ合成部４２から出力された合成データＤ３に基づいて、車両４および車両４の外側領域を含む所定の画像を生成する。画像生成部８０は、車両４に対して横から見た画像（図２の（ａ）参照）、上から見た画像（図２の（ｂ）参照）、および、斜めから見た画像（図２の（ｃ）参照）の少なくとも１つの画像を、所定の画像として生成する。このように画像生成部８０は、車両４に対して見る角度を変更した画像、例えば車両４およびその周辺を俯瞰した画像を生成する。画像生成部８０によって生成される画像は、動画像に限られず、コマ送りの静止画像であってもよい。

【0051】

画像生成部８０で生成された所定の画像は、モニター制御部９５へ出力される。なお、モニター制御部９５へ出力される所定の画像は、モニター９６上の操作キーによって予め設定される。

【0052】

車両情報取得部９１は、車両４のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）に通信接続されており、車両４から出力された車両情報を取得する。車両情報は、例えば、駐車開始の有無に関する情報であり、車両４のイグニッション情報およびシフトレバー情報を含む。車両情報取得部９１は、ＥＣＵから出力された車両情報を取得し、当該車両情報を作動切替部９２へ出力する。

【0053】

作動切替部９２は、車両情報取得部９１から出力された車両情報に基づいて、情報処理装置２０およびモニター制御部９５の作動を切り替える。例えば作動切替部９２は、イグニッションがオフのとき、情報処理装置２０およびモニター制御部９５の作動を停止する信号を情報処理装置２０およびモニター制御部９５へ出力する。また作動切替部９２は、イグニッションがオンのとき、情報処理装置２０を作動可能とする信号を出力する。

【0054】

また、作動切替部９２は、車両４のシフトレバー、すなわち車両４が前進するか後進するかに応じて、情報処理装置２０およびモニター制御部９５による運転支援情報を切り替える。例えば、作動切替部９２は、イグニッションがオンでかつシフトレバーが後退（Ｒｅｖｅｒｓｅ）を示すときに、後進に応じた運転支援情報処理を生成するように情報処理装置２０を作動させ、後進に応じた画像を表示させる指示信号をモニター制御部９５へ出力する。

【0055】

モニター制御部９５は、作動切替部９２からの指令、および、画像生成部８０からの出力に基づいて、モニター９６に映し出すための画像を生成する。車室内に設けられたモニター９６は、モニター制御部９５の指令に基づいて画像を表示する。

【0056】

［情報提供システムによって提供される画像］
図８は、比較例および実施の形態の情報提供システムにて提供される画像の一例を示す図である。

【0057】

同図には、車両４が後ろ向き駐車する際の様子を横から見たときの画像が示されている。図８の（ａ）は、比較例にて提供される画像であるが、この画像では、他の車両６ｂの外形の一部しか表されておらず、車両４の後方の状態を十分に把握することができない。

【0058】

図８の（ｂ）は、実施の形態にて提供される画像である。この画像は、例えば３次元の合成データＤ３に対する視点を変更することで生成される。図８の（ｂ）に示す画像は、３次元の合成データＤ３を横から見ることで生成される。この画像によれば、検出装置１０によって検出できなかった部分も表され、車両４の後方の状態を容易に把握することができる。

【0059】

図９は、情報提供システム１にて提供される画像の他の一例を示す図である。

【0060】

図９の（ａ）にはバックドア４ｂが閉じられた状態の画像、（ｂ）にはバックドア４ｂが開かれた状態の画像、（ｃ）にはバックドア４ｂの可動領域を示す画像が示されている。この画像によれば、車両４の駐車を終えてバックドア４ｂを開いたときに、後方の物体Ｏｊにぶつかるか否かを事前に確認することができる。なお、バックドア４ｂの開閉の表示有無は、ユーザーによって事前に選択可能である。

【0061】

図１０は、情報提供システム１にて提供される画像の他の一例を示す図である。

【0062】

同図には、車両４が後ろ向き駐車する際の様子を横から見たときの複数の画像であって、車両４の後方に位置する他の車両６ｂおよび車止め８が固定され、それに対し車両４が相対移動する様子が示されている。また同図には、バックドア４ｂの開かれた状態が仮想的に示されている。この画像よれば、車両４および車両４の後方に位置する物体Ｏｊを、車両４の外から客観的に見える情報として提供できる。

【0063】

図１１は、比較例および実施の形態の情報提供システムにて提供される画像の他の一例を示す図である。

【0064】

同図には、車両４が後ろ向き駐車する際の様子を上から見たときの画像が示されている。図１１の（ａ）は、比較例にて提供される画像であるが、この画像では、他の車両６ｓの外形の一部しか表されておらず、車両４の側方の状態を十分に把握することができない。

【0065】

図１１の（ｂ）は、実施の形態にて提供される画像である。この画像は、例えば３次元の合成データＤ３に対する視点を変更することで生成される。図１１の（ｂ）に示す画像は、３次元の合成データＤ３を上から見ることで生成される。この画像によれば、検出装置１０によって検出できなかった部分も表され、車両４の側方の状態を容易に把握することができる。

【0066】

図１２は、情報提供システム１にて提供される画像の他の一例を示す図である。

【0067】

図１２の（ａ）にはサイドドア４ｓが閉じられた状態の画像、（ｂ）には２つのサイドドア４ｓが開かれた状態の画像が示されている。この画像によれば、車両４の駐車を終えてサイドドア４ｓを開いたときに、側方の物体Ｏｊにぶつかるか否かを事前に確認することができる。なお、サイドドア４ｓの開閉の表示有無は、ユーザーによって事前に選択可能である。また、サイドドア４ｓの開閉角度は、ユーザーによって事前に設定可能である。

【0068】

図１３は、情報提供システム１にて提供される画像の他の一例を示す図である。

【0069】

同図には、車両４が後ろ向き駐車する際の様子を上から見たときの複数の画像であって、車両４の側方に位置する他の車両６ｓ、ポール７および後方に位置する車止め８が固定され、それに対して車両４が相対移動する様子が示されている。また同図には、サイドドア４ｓの開かれた状態が仮想的に示されている。この画像よれば、車両４および車両４の側方および後方に位置する物体Ｏｊを、車両４の外から俯瞰的に見える情報として提供できる。

【0070】

［情報処理方法］
実施の形態に係る情報処理方法について、図１４を参照しながら説明する。この例に示す情報処理方法は、車両４が駐車する際に、車両４の運転支援情報を生成する方法である。

【0071】

図１４は、実施の形態に係る情報処理方法を示すフローチャートである。なお、図１４には、情報処理装置２０だけでなく情報提供システム１にて実行される処理も記載されている。

【0072】

まず、情報提供システム１は、運転支援情報の要求の有無を判断する（ステップＳ１１）。具体的には、車両情報取得部９１が運転支援情報の要求信号をＥＣＵから取得しているか否かを確認する。運転支援情報の要求が無い場合（Ｓ１１にてＮｏ）、ステップＳ１１に戻り、運転支援情報の要求を待つ。運転支援情報の要求が有る場合（Ｓ１１にてＹｅｓ）、情報処理装置２０は、運転支援情報を生成するための各種の処理を行う。

【0073】

検出データ取得部３０は、車両４の外側に位置する物体Ｏｊを検出することで得られた３次元データである検出データＤ１を取得する（ステップＳ１２）。検出データＤ１は、車両４に設置された検出装置１０によって得られたデータである。なお、検出データＤ１は、車両４の外側に位置する物体Ｏｊの外形の一部の３次元データである。検出データ取得部３０は、車両４の後方および側方のそれぞれの検出データＤ１を取得する。

【0074】

データ補完部４１は、予め記憶されている複数の物体の３次元データの中から検出データＤ１に対応する物体の３次元データである物体データＤｏを抽出する（ステップＳ１３）。複数の物体の３次元データは、記憶部７０に記憶されている物体のデータであり、当該物体の外形全体の３次元データを含んでいる。データ補完部４１は、記憶部７０に記憶された複数の物体の３次元データの中から、検出データＤ１に対して相関の高いデータを物体データＤｏとして抽出する。データ補完部４１は、車両４の後方および側方のそれぞれの検出データＤ１に対応するそれぞれの物体データＤｏを抽出する。

【0075】

また、データ補完部４１は、検出データＤ１を当該物体データＤｏで補完することで３次元データである補完データＤ２を生成する（ステップＳ１４）。例えばデータ補完部４１は、物体データＤｏのうち、検出データＤ１と重複する部分以外のデータを検出データＤ１に付加することで補完データＤ２を生成する。データ補完部４１は、車両４の後方および側方のそれぞれの補完データＤ２を生成する。

【0076】

次に、データ合成部４２は、補完データＤ２と車両データＤｖとを合成することで、車両４および車両４の外側領域を含む３次元データである合成データＤ３を生成する（ステップＳ１５）。例えば、データ合成部４２は、車両４の後方の補完データＤ２、車両４の側方の補完データＤ２および車両データＤｖを合成することで、合成データＤ３を生成する。車両データＤｖは、記憶部７０に記憶されている車両４の３次元データであり、当該車両４の外形全体のデータを含んでいる。なお、データ合成部４２は、ドアの開閉に関するデータが反映された車両データＤｖを記憶部７０から読み出してもよい。

【0077】

次に、画像生成部８０は、合成データＤ３に基づいて、車両４および車両４の外側領域を含む所定の画像を生成する（ステップＳ１６）。所定の画像は、例えば、車両４に対して横から見た画像、上から見た画像および斜めから見た画像の少なくとも１つの画像である。モニター制御部９５は、画像生成部８０で生成された所定の画像に基づいてモニターを制御し、モニター９６に画像を表示させる（ステップＳ１７）。

【0078】

次に、情報提供システム１は、再び運転支援情報の要求の有無を判断する（ステップＳ１８）。具体的には、車両情報取得部９１が運転支援情報の要求信号をＥＣＵから引き続き取得しているか否かを確認する。運転支援情報の要求が有る場合（Ｓ１８にてＹｅｓ）、ステップＳ１２に戻り、運転支援情報の提供を続ける。運転支援情報の要求が無い場合（Ｓ１８にてＮｏ）、情報処理装置２０は、運転支援情報を生成するための各種の処理を終了する。上記のステップＳ１１～Ｓ１８が実行されることで、車両４の運転支援情報を適切に生成および提供することができる。

【0079】

［実施の形態の変形例１］
本実施の形態の情報処理装置２０は、車両４が駐車するときだけでなく、狭い道路で車両４と他の車両６ｓがすれ違う場合にも適用できる。変形例１の情報提供システム１は、例えば、車両４が停止または徐行しているときに所定のスイッチ入力を受け付けることで運転支援情報を提供する。

【0080】

図１５は、実施の形態の変形例１の情報提供システム１によって提供される画像を示す図である。

【0081】

図１５の（ａ）には車両４および他の車両６ｓを後ろから見た図が示され、（ｂ）には車両４および他の車両６ｓを上から見た図が示され、（ｃ）には車両４および他の車両６ｓを斜め上から見た図が示されている。図１５のように、車両４および車両４の周辺に位置する物体Ｏｊを車両４の外から俯瞰的または客観的に見える画像情報として提供することで、狭い道路を走行するときであってもドライバーに十分な運転支援情報を提供することが可能となる。

【0082】

［実施の形態の変形例２］
本実施の形態の情報処理装置２０は、車両４が駐車するときだけでなく、車両４が路肩に停車する場合にも適用できる。変形例２の情報提供システム１は、例えば車両４が停止または徐行しているときに所定のスイッチ入力を受け付けることで運転支援情報を提供する。

【0083】

図１６は、実施の形態の変形例２の情報提供システム１によって提供される画像を示す図である。

【0084】

図１６の（ａ）には車両４を後ろから見た図が示され、（ｂ）には車両４を上から見た図が示され、（ｃ）には車両４を斜め上から見た図が示されている。図１６のように、車両４および車両４の周辺に位置する物体Ｏｊを車両４の外から俯瞰的または客観的に見える画像情報として提供することで、車両４が路肩に停車するときであってもドライバーに十分な運転支援情報を提供することが可能となる。

【0085】

（まとめ）
本実施の形態に係る情報処理装置２０は、車両４の運転支援情報を生成する情報処理装置である。情報処理装置２０は、車両４の外側に位置する物体Ｏｊを検出することで得られた３次元データである検出データＤ１を取得する検出データ取得部３０と、予め記憶されている複数の物体の３次元データの中から検出データＤ１に対応する物体の３次元データである物体データＤｏを抽出し、検出データＤ１を当該物体データＤｏで補完することで３次元データである補完データＤ２を生成するデータ補完部４１と、補完データＤ２と車両４の３次元データである車両データＤｖとを合成することで、車両４および車両４の外側領域を含む３次元データである合成データＤ３を生成するデータ合成部４２と、を備える。

【0086】

このように、３次元の検出データＤ１を３次元の物体データＤｏで補完することで３次元データの補完データＤ２を生成し、当該補完データＤ２と３次元の車両データＤｖとを合成して３次元の合成データＤ３を生成することで、車両４の外側に位置する物体Ｏｊの情報を含む運転支援情報を生成することができる。

【0087】

また、検出データＤ１は、車両４の外側に位置する物体Ｏｊの外形の一部の３次元データであり、物体データＤｏは、予め記憶されている物体の外形全体の３次元データを含んでいてもよい。

【0088】

このように、物体データＤｏが物体の外形全体のデータを含むことで、検出データＤ１が物体Ｏｊの外形の一部のデータであっても、３次元の補完データＤ２を適切に生成することができる。これにより、補完データＤ２と３次元の車両データＤｖとを合成して３次元の合成データＤ３を生成し、車両４の外側に位置する物体Ｏｊの情報を含む運転支援情報を生成することができる。

【0089】

また、データ補完部４１は、物体データＤｏのうち、検出データＤ１と重複する部分以外のデータを検出データＤ１に付加することで補完データＤ２を生成してもよい。

【0090】

これによれば、実際に検出した物体Ｏｊの検出データＤ１に基づいて、現実に即した補完データＤ２を生成することができる。これにより、車両４の外側に位置する物体Ｏｊの情報を含む運転支援情報を生成することができる。

【0091】

また、情報処理装置２０は、さらに、複数の物体の３次元データを記憶する記憶部７０を備える。データ補完部４１は、記憶部７０に記憶された複数の物体の３次元データの中から、検出データＤ１に対して相関の高いデータを物体データＤｏとして抽出してもよい。

【0092】

このように検出データＤ１に対して相関の高いデータを物体データＤｏとして抽出することで、物体データＤｏの抽出精度を高めることができる。これにより、補完データＤ２を適切に生成し、車両４の外側に位置する物体Ｏｊの情報を含む運転支援情報を生成することができる。

【0093】

また、情報処理装置２０は、さらに、車両データＤｖが記憶された記憶部７０を備え、データ合成部４２は、記憶部７０に記憶された車両データＤｖに基づいて、合成データＤ３を生成してもよい。

【0094】

これによれば、車両４および車両４の外側に位置する物体Ｏｊの情報を含む運転支援情報を生成することができる。これにより、車両４の外から俯瞰的または客観的に見える情報を提供することが可能となる。

【0095】

また、情報処理装置２０は、車両４が駐車する際に、運転支援情報を生成してもよい。

【0096】

これにより、車両４が駐車する際に、車両４の外側に位置する物体Ｏｊの情報を含む運転支援情報を生成することができる。

【0097】

また、検出データ取得部３０は、少なくとも車両４の後方および側方に位置する物体Ｏｊの検出データである複数の検出データＤ１を取得し、データ補完部４１は、複数の検出データＤ１に基づいて、複数の物体データＤｏを抽出し、複数の検出データＤ１を複数の物体データＤｏで補完することで複数の補完データＤ２を生成し、データ合成部４２は、複数の補完データＤ２および車両データＤｖに基づいて、合成データＤ３を生成してもよい。

【0098】

このように、後方および側方の検出データＤ１、物体データＤｏおよび補完データＤ２を用いて合成データＤ３を生成することで、車両４および車両４の周辺に位置する物体Ｏｊの情報を含む運転支援情報を生成することができる。これにより、車両４の外から俯瞰的または客観的に見える情報を提供することが可能となる。

【0099】

また、情報処理装置２０は、さらに、データ合成部４２で生成された合成データＤ３に基づいて、車両４および車両４の外側領域を含む所定の画像を生成する画像生成部８０を備える。画像生成部８０は、車両４に対して横から見た画像、上から見た画像および斜めから見た画像の少なくとも１つの画像を、所定の画像として生成してもよい。

【0100】

これにより、車両４の外から俯瞰的または客観的に見える情報を提供することが可能となる。

【0101】

また、車両データＤｖは、車両４のドアが閉まった状態のデータおよび車両４のドアが開いた状態のデータの少なくとも一方のデータを含んでいてもよい。

【0102】

これによれば、車両４のドアの開閉に関する情報を含む運転支援情報を生成および提供することが可能となる。

【0103】

本実施の形態に係る情報処理装置２０は、車両４の運転支援情報を生成する情報処理装置である。情報処理装置２０は、車両４の外側に位置する物体Ｏｊを検出することで得られた３次元データである検出データＤ１を取得する検出データ取得部３０と、予め記憶されている複数の物体の３次元データの中から検出データＤ１に対応する物体の３次元データである物体データＤｏを抽出し、検出データＤ１、当該物体データＤｏおよび車両４の３次元データ（車両データＤｖ）を合成することで、３次元データである合成データＤ３を生成する合成部４０と、を備える。

【0104】

このように、３次元の検出データＤ１と３次元の物体データＤｏと３次元の車両データＤｖとを合成して３次元の合成データＤ３を生成することで、車両４の外側に位置する物体Ｏｊの情報を含む運転支援情報を生成することができる。

【0105】

本実施の形態に係る情報処理方法は、車両４の運転支援情報を生成する情報処理方法であって、車両４の外側に位置する物体Ｏｊを検出することで得られた３次元データである検出データＤ１を取得し、予め記憶されている複数の物体の３次元データの中から検出データＤ１に対応する物体の３次元データである物体データＤｏを抽出し、検出データＤ１を当該物体データＤｏで補完することで３次元データである補完データＤ２を生成し、補完データＤ２と車両４の３次元データである車両データＤｖとを合成することで、車両４および車両４の外側領域を含む３次元データである合成データＤ３を生成する。

【0106】

このように、３次元の検出データＤ１を３次元の物体データＤｏで補完することで３次元データの補完データＤ２を生成し、当該補完データＤ２と３次元の車両データＤｖとを合成して３次元の合成データＤ３を生成することで、車両４の外側に位置する物体Ｏｊの情報を含む運転支援情報を生成することができる。

【0107】

本実施の形態に係るプログラムは、上記の情報処理方法をコンピュータで実行するためのプログラムである。

【0108】

これにより、上記の情報処理方法をプログラムに従ってコンピュータに実行させることが可能になる。

【0109】

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭ等の非一時的記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。プログラムは、記録媒体に予め記憶されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。

【0110】

（その他の実施の形態）
以上、実施の形態等について説明した。ただし以上の実施の形態等は、本質的に好ましい例示であって、この発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。

【0111】

上記の実施の形態では、検出装置１０が検出データＤ１を検出データ取得部３０へ出力する例を示したが、それに限られない。例えば、検出装置１０で検出した生データが検出データ取得部３０へ出力される場合、検出データ取得部３０はこの生データに基づいて、３次元の距離情報を含む検出データＤ１を生成することで、検出データＤ１を取得してもよい。

【0112】

上記の実施の形態では、データ補完部４１が記憶部７０に記憶されている複数の物体の３次元の中から所定の物体データＤｏを抽出する例を示したがそれに限られない。例えば、車両４が無線モジュールを備えている場合、データ補完部４１は無線モジュールを介して外部のサーバにアクセスし、サーバに予め記憶されている複数の物体の３次元データの中から所定の物体データＤｏを抽出してもよい。

【0113】

上記の実施の形態では、車両４が後ろ向き駐車する場合について説明したが、それに限られない。例えば情報提供システム１は、車両４が前向き駐車する場合、または、縦列駐車する場合にも、車両４の運転支援情報を生成し、ドライバーに提供することができる。

【0114】

上記の実施の形態では、モニター９６に１つの画像が映し出される例を示したが、それに限られない。例えばモニター９６が分割表示される場合、モニター９６に図２の（ａ）、（ｂ）、（ｃ）の３つの画像が同時に表示されてもよい。また、図２の（ａ）～（ｃ）に加え、図１の（ａ）に示す画像が同時に表示されてもよい。

【0115】

以上、本開示について、実施の形態及び実施の形態の変形例に基づいて説明したが、本開示は、これら実施の形態及び実施の形態の変形例等に限定されるものではない。

【0116】

また、上記各実施の形態及び実施の形態の変形例に係る情報処理装置は、コンピュータを用いたプログラムによって実現され、このようなプログラムは、記憶装置に記憶されてもよい。

【0117】

また、上記各実施の形態及び実施の形態の変形例に係る情報処理装置に含まれる各処理部は、典型的に集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

【0118】

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

【0119】

なお、上記各実施の形態及び実施の形態の変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0120】

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示の実施の形態及び実施の形態の変形例は例示された数字に制限されない。

【0121】

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

【0122】

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

【0123】

その他、実施の形態及び実施の形態の変形例に対して当業者が思いつく各種変形を施して得られる形態、本開示の趣旨を逸脱しない範囲で実施の形態及び実施の形態の変形例における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。

【産業上の利用可能性】

【0124】

本開示は、車両の運転支援情報を生成する情報処理装置として、自動車技術などの分野に広く利用することができる。

【符号の説明】

【0125】

１ 情報提供システム
４ 車両
４ｂ バックドア
４ｓ サイドドア
６ｂ、６ｓ 他の車両
７ ポール
８ 車止め
１０、１１、１２、１３、１４ 検出装置
２０ 情報処理装置
３０ 検出データ取得部
４０ 合成部
４１ データ補完部
４２ データ合成部
７０ 記憶部
７１ 車両データ選択部
８０ 画像生成部
９１ 車両情報取得部
９２ 作動切替部
９５ モニター制御部
９６ モニター
Ｄ１ 検出データ
Ｄ２ 補完データ
Ｄ３ 合成データ
Ｄｏ 物体データ
Ｄｖ 車両データ
Ｏｊ 物体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】