(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024149519
(43)【公開日】2024-10-18
(54)【発明の名称】仮想基準表示装置、仮想基準表示方法、および、プログラム
(51)【国際特許分類】
B60K 35/235 20240101AFI20241010BHJP
G09G 5/00 20060101ALI20241010BHJP
G09G 5/38 20060101ALI20241010BHJP
G08G 1/16 20060101ALI20241010BHJP
【FI】
B60K35/235
G09G5/00 550C
G09G5/38
G09G5/00 510A
G08G1/16 F
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2024120731
(22)【出願日】2024-07-26
(62)【分割の表示】P 2019170446の分割
【原出願日】2019-09-19
(71)【出願人】
【識別番号】393031586
【氏名又は名称】株式会社国際電気通信基礎技術研究所
(71)【出願人】
【識別番号】000005348
【氏名又は名称】株式会社SUBARU
(74)【代理人】
【識別番号】100143498
【弁理士】
【氏名又は名称】中西 健
(74)【代理人】
【識別番号】100136319
【弁理士】
【氏名又は名称】北原 宏修
(72)【発明者】
【氏名】内海 章
(72)【発明者】
【氏名】長澤 勇
(72)【発明者】
【氏名】三国 司
(57)【要約】
【課題】安定走行を適切に支援するための仮想基準を表示する仮想基準表示装置、仮想基準表示方法、および、プログラムを実現する。
【解決手段】この仮想基準表示装置では、安定走行を適切に支援するための仮想基準である、3次元空間の座標位置が異なる少なくとも2つの仮想基準物体を表示する。また、この仮想基準表示装置では、仮想物体は実際に存在するものではないので、その虚像の位置を任意の場所に設定できる。このため、この仮想基準表示装置では、安定走行の支援の効果が高い場所に、仮想物体を配置することができる。したがって、この仮想基準表示装置では、例えば、道路の状況に応じて、安定走行の支援の効果が高い場所に、仮想物体を容易に配置できる。その結果、この仮想基準表示装置では、どのような状況であっても、効果的な安定走行の支援が実現できる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
ユーザーが移動するときに使用する移動体に設置され、前記ユーザーを撮像した画像データを入力できる仮想基準表示装置であり、前記ユーザーが移動するときに進行方向前方に複数の仮想基準物体を含む仮想基準物体群を表示スクリーンに表示するための仮想基準表示装置であって、
ユーザーが移動している道路の形状に関する情報である進行経路形状情報を取得する進行経路形状取得部と、
前記移動体が移動している道路上のどの位置に前記移動体が位置しているかを特定するための相対位置情報を取得する相対位置取得部と、
前記ユーザーを撮像した画像データを解析することで、前記ユーザーの姿勢がどのような状態であるかを特定するとともに、前記ユーザーの視点を特定し、特定した前記ユーザーの姿勢に関する情報と前記ユーザーの視点位置に関する情報とを含む情報であるユーザー姿勢情報を取得する姿勢情報取得部と、
所定の点を原点として3次元座標空間を規定し、前記進行経路形状取得部により取得された前記進行経路形状情報と、前記相対位置取得部により取得された前記相対位置情報と、前記姿勢情報取得部により取得された前記ユーザー姿勢情報とに基づいて、前記3次元座標空間内における前記仮想基準物体群を配置する位置を算出し、算出した前記仮想基準物体群の位置情報を含むデータを、表示パラメータ算出用データとして取得する仮想物体位置算出部と、
前記表示パラメータ算出用データに基づいて、前記ユーザーが前記表示スクリーンを見たときに、前記仮想基準物体群が前記仮想物体位置算出部により算出された位置に存在していると認識されているように、表示画像を表示するための表示パラメータを算出する表示パラメータ算出部と、
前記表示パラメータに基づいて、前記仮想基準物体群を前記表示スクリーンに表示する表示部と、
を備え、
前記仮想基準物体群は、それぞれ、前記3次元座標空間の座標位置が異なる2つの前記仮想基準物体である第1仮想基準物体および第2仮想基準物体を含み、
前記第1仮想基準物体および前記第2仮想基準物体は、前記3次元座標空間において、前記第1仮想基準物体と前記第2仮想基準物体とを結ぶ直線と、前記ユーザーが進行している進行経路の底面とが略平行であり、かつ、進行方向の前方の位置に配置される、
仮想基準表示装置。
【請求項2】
ユーザーが移動するときに使用する移動体に設置され、前記ユーザーが移動するときに進行方向前方に複数の仮想基準物体を含む仮想基準物体群を表示スクリーンに表示するための仮想基準表示装置であって、
ユーザーが移動している道路の形状に関する情報である進行経路形状情報を取得する進行経路形状取得部と、
前記移動体が移動している道路上のどの位置に前記移動体が位置しているかを特定するための相対位置情報を取得する相対位置取得部と、
所定の点を原点として3次元座標空間を規定し、前記進行経路形状取得部により取得された前記進行経路形状情報と、前記相対位置取得部により取得された前記相対位置情報と、前記ユーザーが移動体を操作するときの運転席の配置、形状から特定される前記ユーザーの視点位置とに基づいて、前記3次元座標空間内における前記仮想基準物体群を配置する位置を算出し、算出した前記仮想基準物体群の位置情報を含むデータを、表示パラメータ算出用データとして取得する仮想物体位置算出部と、
前記表示パラメータ算出用データに基づいて、前記ユーザーが前記表示スクリーンを見たときに、前記仮想基準物体群が前記仮想物体位置算出部により算出された位置に存在していると認識されているように、表示画像を表示するための表示パラメータを算出する表示パラメータ算出部と、
前記表示パラメータに基づいて、前記仮想基準物体群を前記表示スクリーンに表示する表示部と、
を備え、
前記仮想基準物体群は、それぞれ、前記3次元座標空間の座標位置が異なる2つの前記仮想基準物体である第1仮想基準物体および第2仮想基準物体を含み、
前記第1仮想基準物体および前記第2仮想基準物体は、前記3次元座標空間において、前記第1仮想基準物体と前記第2仮想基準物体とを結ぶ直線と、前記ユーザーが進行している進行経路の底面とが略平行であり、かつ、進行方向の前方の位置に配置される、
仮想基準表示装置。
【請求項3】
前記進行経路形状情報と、前記ユーザーの前記相対位置情報とに基づいて、安定走行を実現するための前記ユーザーが移動すべき方向を予測し、予測した当該方向を規定する安定走行用ベクトルを取得する安定走行経路予測部をさらに備え、
前記仮想基準物体群は、2つの前記仮想基準物体であり、
前記2つの仮想基準物体は、前記3次元座標空間において、前記安定走行用ベクトルを延長した直線に対して、線対称な位置に配置される、
請求項1または2に記載の仮想基準表示装置。
【請求項4】
前記安定走行用ベクトルと、前記ユーザーが実際に移動した経路とを比較することで、安定走行度合いを示す安定走行度を取得する安定走行度取得部と、
安定走行が実現される可能性が高い仮想基準物体位置を検出する最適仮想基準位置検出部と、
をさらに備え、
前記2つの仮想基準物体は、前記3次元座標空間において、前記安定走行用ベクトルを延長した直線に対して、線対称な位置であるN個(N:自然数、N≧2)のパターン位置の中の1つのパターン位置に配置され、
前記仮想物体位置算出部は、
前記N個のパターン位置から選択された1つをパターン位置に配置された状態における前記2つの仮想基準物体の前記3次元座標空間の位置を、前記仮想基準物体群の位置として算出し、
前記表示部は、前記仮想物体位置算出部により算出された位置に前記仮想基準物体群が表示されるように、前記仮想基準物体群を表示し、
前記安定走行度取得部は、前記N個のパターン位置の中から選択されたパターン位置に前記仮想基準物体群が表示されているときの前記安定走行度を選択された前記パターン位置に対応付けて取得し、
前記最適仮想基準位置検出部は、前記パターン位置に対応付けられた前記安定走行度に基づいて、最も安定走行に近い走行が実現されたときのパターン位置を最適仮想基準物体位置として検出する、
請求項3に記載の仮想基準表示装置。
【請求項5】
ユーザーが乗って操作することにより移動する移動体をさらに備え、
前記相対位置取得部は、前記移動体の位置と前記進行経路との相対位置に関する情報を前記相対位置情報として取得する、
請求項1から4のいずれかに記載の仮想基準表示装置。
【請求項6】
前記姿勢情報取得部は、
前記ユーザーが移動体に乗って前記移動体を操作しているときの前記ユーザーの頭部位置の情報、および、前記ユーザーの姿勢状態の情報の少なくとも一方に基づいて、前記ユーザー姿勢情報を取得する、
請求項1に記載の仮想基準表示装置。
【請求項7】
前記表示部は、
一列に配置された複数の発光素子を含み、前記移動体をユーザーが乗って操作するときに、前記ユーザーの前方の位置となるように、前記移動体に取り付けられており、
前記表示パラメータに基づいて、前記仮想基準物体群に対応する位置に配置されている前記発光素子を発光させる、
請求項5または6に記載の仮想基準表示装置。
【請求項8】
ユーザーが移動するときに使用する移動体に設置され、前記ユーザーを撮像した画像データを入力できる仮想基準表示装置で用いられる仮想基準表示方法であり、前記ユーザーが移動するときに進行方向前方に複数の仮想基準物体を含む仮想基準物体群を表示スクリーンに表示するための仮想基準表示方法であって、
ユーザーが移動している道路の形状に関する情報である進行経路形状情報を取得する進行経路形状取得ステップと、
前記移動体が移動している道路上のどの位置に前記移動体が位置しているかを特定するための相対位置情報を取得する相対位置取得ステップと、
前記ユーザーを撮像した画像データを解析することで、前記ユーザーの姿勢がどのような状態であるかを特定するとともに、前記ユーザーの視点を特定し、特定した前記ユーザーの姿勢に関する情報と前記ユーザーの視点位置に関する情報とを含む情報であるユーザー姿勢情報を取得する姿勢情報取得ステップと、
所定の点を原点として3次元座標空間を規定し、前記進行経路形状取得ステップにより取得された前記進行経路形状情報と、前記相対位置取得ステップにより取得された前記相対位置情報と、前記姿勢情報取得ステップにより取得された前記ユーザー姿勢情報とに基づいて、前記3次元座標空間内における前記仮想基準物体群を配置する位置を算出し、算出した前記仮想基準物体群の位置情報を含むデータを、表示パラメータ算出用データとして取得する仮想物体位置算出ステップと、
前記表示パラメータ算出用データに基づいて、前記ユーザーが前記表示スクリーンを見たときに、前記仮想基準物体群が前記仮想物体位置算出ステップにより算出された位置に存在していると認識されているように、表示画像を表示するための表示パラメータを算出する表示パラメータ算出ステップと、
前記表示パラメータに基づいて、前記仮想基準物体群を前記表示スクリーンに表示する表示ステップと、
を備え、
前記仮想基準物体群は、それぞれ、前記3次元座標空間の座標位置が異なる2つの前記仮想基準物体である第1仮想基準物体および第2仮想基準物体を含み、
前記第1仮想基準物体および前記第2仮想基準物体は、前記3次元座標空間において、前記第1仮想基準物体と前記第2仮想基準物体とを結ぶ直線と、前記ユーザーが進行している進行経路の底面とが略平行であり、かつ、進行方向の前方の位置に配置される、
仮想基準表示方法。
【請求項9】
ユーザーが移動するときに使用する移動体に設置され、前記ユーザーが移動するときに進行方向前方に複数の仮想基準物体を含む仮想基準物体群を表示スクリーンに表示するための仮想基準表示方法であって、
ユーザーが移動している道路の形状に関する情報である進行経路形状情報を取得する進行経路形状取得ステップと、
前記移動体が移動している道路上のどの位置に前記移動体が位置しているかを特定するための相対位置情報を取得する相対位置取得ステップと、
所定の点を原点として3次元座標空間を規定し、前記進行経路形状取得ステップにより取得された前記進行経路形状情報と、前記相対位置取得ステップにより取得された前記相対位置情報と、前記ユーザーが移動体を操作するときの運転席の配置、形状から特定される前記ユーザーの視点位置とに基づいて、前記3次元座標空間内における前記仮想基準物体群を配置する位置を算出し、算出した前記仮想基準物体群の位置情報を含むデータを、表示パラメータ算出用データとして取得する仮想物体位置算出ステップと、
前記表示パラメータ算出用データに基づいて、前記ユーザーが前記表示スクリーンを見たときに、前記仮想基準物体群が前記仮想物体位置算出ステップにより算出された位置に存在していると認識されているように、表示画像を表示するための表示パラメータを算出する表示パラメータ算出ステップと、
前記表示パラメータに基づいて、前記仮想基準物体群を前記表示スクリーンに表示する表示ステップと、
を備え、
前記仮想基準物体群は、それぞれ、前記3次元座標空間の座標位置が異なる2つの前記仮想基準物体である第1仮想基準物体および第2仮想基準物体を含み、
前記第1仮想基準物体および前記第2仮想基準物体は、前記3次元座標空間において、前記第1仮想基準物体と前記第2仮想基準物体とを結ぶ直線と、前記ユーザーが進行している進行経路の底面とが略平行であり、かつ、進行方向の前方の位置に配置される、
仮想基準表示方法。
【請求項10】
請求項8または9に記載の仮想基準表示方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、安定走行を支援するための仮想基準を表示するための技術に関する。
【背景技術】
【0002】
近年、車両等の移動体の乗員に対して、運転支援のための情報を提供する多様なシステムが開発されている。例えば、特許文献1には、ヘッドアップディスプレイ(HUD:Head-Up Display)を車両(例えば、自動車)に設置し、当該車両の乗員から見て車両のフロントウィンドウの前方に、前方視野の前景に重畳して、運転情報(例えば、車両の進行方向を示す矢印)を虚像として表示する技術の開示がある。特許文献1の技術では、HUDに表示された運転情報(例えば、車両の進行方向を示す矢印)を、車両(例えば、自動車)の乗員(運転手)が確認することで、運転支援が実現される。
【0003】
運転支援技術の中で、安定走行を支援する技術が求められている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記の技術(特許文献1に開示されている技術)では、車両(例えば、自動車)の乗員(運転手)が、HUDに表示された運転情報(例えば、車両の進行方向を示す矢印)を確認することで、進行方向を確認することは容易となるが、安定走行を適切に支援することは困難である場合がある。これは、安定走行を実現するための要因を特定することが難しく、安定走行が実現されるか否かは、車両(例えば、自動車)の乗員(運転手)の運転スキルによるところが大きいためである。つまり、移動時(車両の運転走行時)に、視覚的目標の不足、あるいは、注意不足によって、乗員(運転手)が空間を把握する手掛かりが知覚できず、移動制御に失敗する(車両の走行がふらつく)ことがあるが、この要因が乗員(運転手)の運転スキルに大きく影響される。
【0006】
このような問題を解決し、安定走行を適切に支援する技術が求められているが、適切に安定走行を支援する技術は確立されていない。
【0007】
そこで、本発明は、上記課題に鑑み、安定走行を適切に支援するための仮想基準を表示する仮想基準表示装置、仮想基準表示方法、および、プログラムを実現することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、第1の発明は、ユーザーが移動するときに進行方向前方に仮想基準物体群を表示するための仮想基準表示装置であって、進行経路形状取得部と、相対位置取得部と、姿勢情報取得部と、仮想物体位置算出部と、表示パラメータ算出部と、表示部と、を備える。
【0009】
進行経路形状取得部は、ユーザーが移動している進行経路の形状に関する情報である進行経路形状情報を取得する。
【0010】
相対位置取得部は、ユーザーの位置と進行経路との相対位置に関する情報である相対位置情報を取得する。
【0011】
姿勢情報取得部は、ユーザーの姿勢に関する情報であるユーザー姿勢情報を取得する。
【0012】
仮想物体位置算出部は、ユーザーの位置に基づいて3次元座標空間を設定し、当該3次元空間における仮想基準物体群の位置を算出する。
【0013】
表示パラメータ算出部は、ユーザーの位置と、仮想物体の位置とに基づいて、ユーザーの視点から見たときに、3次元空間における仮想基準物体群の位置に、仮想基準物体群が表示するための表示パラメータを算出する。
【0014】
表示部は、表示パラメータに基づいて、仮想基準物体群を表示する。
【0015】
仮想基準物体群は、ユーザーが進行している進行経路の底面と略平行であり、かつ、進行方向の前方の位置に、それぞれ、3次元空間の座標位置が異なる少なくとも2つの仮想基準物体を含む。
【0016】
これにより、この仮想基準表示装置では、安定走行を適切に支援するための仮想基準(3次元空間の座標位置が異なる少なくとも2つの仮想基準物体)を表示することができる。
【0017】
また、この仮想基準表示装置では、仮想物体は実際に存在するものではないので、その位置(その虚像の位置)を任意の場所に設定できる。このため、この仮想基準表示装置では、安定走行の支援の効果が高い場所に、仮想物体を配置することができる。したがって、この仮想基準表示装置では、例えば、道路の状況(道路幅、道路の曲率等)に応じて、最適な場所(安定走行の支援の効果が高い場所)に、仮想物体を容易に配置できる。その結果、この仮想基準表示装置では、どのような状況であっても、効果的な安定走行の支援が実現できる。
【0018】
第2の発明は、第1の発明であって、進行経路形状情報と、ユーザーの相対位置情報とに基づいて、安定走行を実現するためのユーザーが移動すべき方向を予測し、予測した当該方向を規定する安定走行用ベクトルを取得する安定走行経路予測部をさらに備える。
【0019】
仮想基準物体群は、2つの仮想基準物体である。2つの仮想基準物体は、安定走行用ベクトルを延長した直線に対して、線対称な位置に配置される。
【0020】
これにより、この仮想基準表示装置では、安定走行用ベクトルを延長した直線に対して、線対称な位置に配置された2つの仮想物体により、ユーザーに対する安定走行支援ができる。
【0021】
第3の発明は、第2の発明であって、安定走行度取得部と、最適仮想基準位置検出部と、をさらに備える。
【0022】
安定走行度取得部は、安定走行用ベクトルと、ユーザーが実際に移動した経路とを比較することで、安定走行度合いを示す安定走行度を取得する。
【0023】
最適仮想基準位置検出部は、安定走行が実現される可能性が高い仮想基準物体位置を検出する。
【0024】
2つの仮想基準物体は、安定走行用ベクトルを延長した直線に対して、線対称な位置であるN個(N:自然数、N≧2)のパターン位置の中の1つのパターン位置に配置される。
【0025】
仮想物体位置算出部は、N個のパターン位置から選択された1つをパターン位置に配置された状態における2つの仮想基準物体の3次元空間の位置を、仮想基準物体群の位置として算出する。
【0026】
表示部は、仮想物体位置算出部により算出された位置に仮想基準物体群が表示されるように、仮想基準物体群を表示する。
【0027】
安定走行度取得部は、N個のパターン位置から選択されたパターン位置が表示部に表示されているときの安定走行度を選択されたパターン位置と対応付けて取得する。
【0028】
最適仮想基準位置検出部は、パターン位置に対応付けられた安定走行度に基づいて、最も安定走行に近い走行が実現されたときのパターン位置を最適仮想基準物体位置として検出する。
【0029】
これにより、この仮想基準表示装置では、より安定走行が実現される可能性の高い配置パターンに基づいて、仮想物体の表示部での表示がなされる。その結果、この仮想基準表示装置では、より適切な安定走行の支援を実現できる。
【0030】
第4の発明は、第1から第3のいずれかの発明であって、ユーザーが乗って操作することにより移動する移動体をさらに備える。
【0031】
相対位置取得部は、移動体の位置と進行経路との相対位置に関する情報を相対位置情報として取得する。
【0032】
これにより、この仮想基準表示装置では、ユーザーが乗って操作することにより移動する移動体を用いる場合においても、適切な安定走行支援を実現できる。
【0033】
第5の発明は、第4の発明であって、姿勢情報取得部は、ユーザーが移動体に乗って移動体を操作しているときのユーザーの頭部位置の情報、および、ユーザーの姿勢状態の情報の少なくとも一方に基づいて、ユーザー姿勢情報を取得する。
【0034】
これにより、この仮想基準表示装置では、ユーザーの視点の位置を検出でき、検出した視点の位置に基づいて、仮想物体の表示処理を実行できるので、より精度の高い仮想物体の表示ができ、その結果、より適切な安定走行の支援を実現できる。
【0035】
第6の発明は、第4または第5の発明であって、表示部は、一列に配置された複数の発光素子を含み、移動体をユーザーが乗って操作するときに、ユーザーの前方の位置となるように、移動体に取り付けられており、表示パラメータに基づいて、仮想基準物体群に対応する位置に配置されている発光素子を発光させる。
【0036】
これにより、この仮想基準表示装置では、一列に配置された複数の発光素子を含む表示部(例えば、LEDアレイ)を用いて、安定走行の支援を実現できる。
【0037】
第7の発明は、ユーザーが移動するときに進行方向前方に仮想基準物体群を表示するための仮想基準表示方法であって、進行経路形状取得ステップと、相対位置取得ステップと、姿勢情報取得ステップと、仮想物体位置算出ステップと、表示パラメータ算出ステップと、表示ステップと、を備える。
【0038】
進行経路形状取得ステップは、ユーザーが移動している進行経路の形状に関する情報である進行経路形状情報を取得する。
【0039】
相対位置取得ステップは、ユーザーの位置と進行経路との相対位置に関する情報である相対位置情報を取得する。
【0040】
姿勢情報取得ステップは、ユーザーの姿勢に関する情報であるユーザー姿勢情報を取得する。
【0041】
仮想物体位置算出ステップは、ユーザーの位置に基づいて3次元座標空間を設定し、当該3次元空間における仮想基準物体群の位置を算出する。
【0042】
表示パラメータ算出ステップは、ユーザーの位置と、仮想物体の位置とに基づいて、ユーザーの視点から見たときに、3次元空間における仮想基準物体群の位置に、仮想基準物体群が表示するための表示パラメータを算出する。
【0043】
表示ステップは、表示パラメータに基づいて、仮想基準物体群を表示する。
【0044】
仮想基準物体群は、ユーザーが進行している進行経路の底面と略平行であり、かつ、進行方向の前方の位置に、それぞれ、3次元空間の座標位置が異なる少なくとも2つの仮想基準物体を含む。
【0045】
これにより、第1の発明と同様の効果を奏する仮想基準表示方法を実現することができる。
【0046】
第8の発明は、第7の発明である仮想基準表示方法をコンピュータに実行させるためのプログラムである。
【0047】
これにより、第1の発明と同様の効果を奏する仮想基準表示方法をコンピュータに実行させるためのプログラムを実現することができる。
【発明の効果】
【0048】
本発明によれば、安定走行を適切に支援するための仮想基準を表示する仮想基準表示装置、仮想基準表示方法、および、プログラムを実現することができる。
【図面の簡単な説明】
【0049】
【
図1】第1実施形態に係る仮想基準表示装置100の概略構成図。
【
図2】第1実施形態に係る仮想基準表示装置100を自動車(移動体の一例)に搭載したときの仮想基準表示システム1000の概略構成を模式的に示した図。
【
図3】仮想基準表示システム1000で実行される処理のフローチャート。
【
図4】自動車Vhcl1と、2つの仮想物体Mkr1L、Mkr1Rとの位置関係を示す図。
【
図5】上記処理により、表示部2の表示スクリーンに2つの仮想物体Mkr1L、Mkr1Rを重畳表示させたときに、運転手Drv1が見た前景の一例を示す図。
【
図6】第2実施形態に係る仮想基準表示システム2000の概略構成図。
【
図7】第2実施形態に係る仮想基準表示装置200の概略構成図。
【
図8】第2実施形態に係る仮想基準表示システム2000で実行される処理のフローチャート。
【
図9】第2実施形態に係る仮想基準表示システム2000で実行される処理のフローチャート。
【
図10】N=2の場合の仮想物体の配置パターンの例を示す図。
【
図11】安定走行経路予測処理を説明するための図。
【
図12】自動車Vhcl1にて高速道路5車線の中央車線を走行する場合の仮想物体の配置パターンを示す図。
【
図13】運転手Drv1が見た前景(フロントウィンドウから見た前景)と、表示部2としてのLEDアレイLED_arryとを示した図。
【発明を実施するための形態】
【0050】
[第1実施形態]
第1実施形態について、図面を参照しながら、以下、説明する。
【0051】
なお、以下では、仮想基準表示システム、仮想基準表示装置を自動車に搭載した場合を一例として説明する。
【0052】
<1.1:仮想基準表示システムの構成>
図1は、第1実施形態に係る仮想基準表示装置100の概略構成図である。
【0053】
図2は、第1実施形態に係る仮想基準表示装置100を自動車(移動体の一例)に搭載したときの仮想基準表示システム1000の概略構成を模式的に示した図(運転手Drv1が自動車Vhcl1を運転しているときの自動車Vhcl1の車両を進行方向に対して側方から見た図)である。
【0054】
仮想基準表示装置100は、
図1に示すように、表示制御部1と、表示部2とを備える。
【0055】
仮想基準表示システム1000は、
図2に示すように、GPS受信部Rx1と、フロントカメラF_camと、センサーSen1と、地図データ格納部Dev1と、姿勢検出部Dev2と、仮想基準表示装置100(表示制御部1、表示部2)とを備える。
【0056】
GPS受信部Rx1は、GPS衛星から送信されるGPS電波を受信し、受信したGPS電波から所定のパラメータを抽出する。そして、GPS受信部Rx1は、抽出したパラメータを用いた演算を行うことで、自動車Vhcl1の現在位置を算出する。そして、GPS受信部Rx1は、算出した自動車Vhcl1の現在位置の情報を含むデータD_GPSを生成し、生成したデータD_GPSを仮想基準表示装置100の表示制御部1の入力インターフェース部11に出力する。
【0057】
フロントカメラF_camは、例えば、自動車Vhcl1の車両のフロント部分に設置される。フロントカメラF_camは、例えば、CMOSイメージセンサ、CCDイメージセンサ等の固体撮像素子を用いたカメラにより構成される撮像装置であり、車両の進行方向前方の風景を撮像する。そして、フロントカメラF_camは、撮像した画像データをデータD_F_camとして、仮想基準表示装置100の表示制御部1の入力インターフェース部11に出力する。
【0058】
センサーSen1は、例えば、自動車Vhcl1の車両の外部の状況についての物理量を計測できるセンサーであり、測定対象の物理量を計測可能な位置に設置される。センサーSen1は、例えば、自動車Vhcl1の車両の外部の障害物を検出するセンサーや、自動車Vhcl1の車両の外部の障害物までの距離を測定する距離センターや、自動車Vhcl1が走行している道路の状態を検出する(例えば、道路の白線を検出する)センサーである。なお、センサーSen1は、複数のセンサーから構成されるものであってもよい。センサーSen1は、取得した物理量を含むデータ(センサーによる測定結果データ)を、データD_sensorとして、仮想基準表示装置100の表示制御部1の入力インターフェース部11に出力する。
【0059】
地図データ格納部Dev1は、地図データ(例えば、地図道路データ)を記憶するための記憶部である。地図データは、例えば、地図データの配信センターからダウンロードして取得することで、あるいは、例えば、DVDやメモリカードなどの記録媒体から取得することで、地図データ格納部Dev1に記憶される。地図データ格納部Dev1は、表示制御部1からの要求(要求指令)に従って、当該要求により指定された所定の地図データが読み出す。そして、地図データ格納部Dev1は、読み出した地図データを、データD_mapとして、仮想基準表示装置100の表示制御部1の入力インターフェース部11に出力する。
【0060】
姿勢検出部Dev2は、運転手Drv1の姿勢を検出する装置であり、例えば、自動車Vhcl1のダッシュボードやハンドル等に設置されるカメラ(撮像装置)である。姿勢検出部Dev2がカメラ(撮像装置)である場合、当該カメラは、運転手Drv1が自動車Vhcl1を運転しているときの姿勢を撮像できる位置に設置され、運転手Drv1の姿勢を検出できるように運転手Drv1を撮像する。そして、姿勢検出部Dev2は、撮像したデータ(撮像画像データ)をデータD_poseとして、仮想基準表示装置100の表示制御部1の入力インターフェース部11に出力する。
【0061】
仮想基準表示装置100の表示制御部1は、入力インターフェース部11と、進行経路形状取得部12と、相対位置取得部13と、姿勢情報取得部14と、仮想物体位置算出部15と、表示パラメータ算出部16と、を備える。
【0062】
入力インターフェース部11は、自動車Vhcl1に搭載される1または複数の機能部と、データ通信可能に接続されるインターフェースであり、上記機能部と、所定のデータ通信を行うことができる。入力インターフェース部11は、GPS受信部Rx1から出力されるデータD_GPSと、フロントカメラF_camから出力されるデータD_F_camと、センサーSen1から出力されるデータD_sensorと、地図データ格納部Dev1から出力されるデータD_mapと、姿勢検出部Dev2から出力されるデータD_poseとを入力する。
【0063】
入力インターフェース部11は、入力されたデータから、進行経路形状取得部12が進行経路形状を取得するのに必要なデータを抽出し、抽出したデータをデータD1aとして、進行経路形状取得部12に出力する。また、入力インターフェース部11は、入力されたデータから、相対位置取得部13が相対位置を取得するのに必要なデータを抽出し、抽出したデータをデータD1bとして、相対位置取得部13に出力する。また、入力インターフェース部11は、入力されたデータから、姿勢情報取得部14が姿勢情報を取得するのに必要なデータを抽出し、抽出したデータをデータD1cとして、姿勢情報取得部14に出力する。
【0064】
進行経路形状取得部12は、入力インターフェース部11から出力されるデータD1aを入力する。進行経路形状取得部12は、データD1aに基づいて、自動車Vhcl1が現在走行している経路である道路の形状を取得する。例えば、データD1aには、(1)データD_GPSから取得した自動車Vhcl1の現在位置についての情報と、(2)データD_mapから取得した現在走行している道路の地図情報と、(3)データD_sensorから取得した自動車Vhcl1が現在走行している道路の形状(例えば、道路の表面状態等)と、(4)データD_F_camから取得した現在走行している道路の自動車Vhcl1の進行方向前方の風景の撮像画像(撮像映像)とが含まれており、当該情報に基づいて、進行経路形状取得部12は、自動車Vhcl1が現在走行している経路である道路の形状を取得する。そして、進行経路形状取得部12は、取得した進行経路形状の情報を含むデータを、データD2aとして、仮想物体位置算出部15に出力する。
【0065】
相対位置取得部13は、入力インターフェース部11から出力されるデータD1bを入力する。相対位置取得部13は、データD1bに基づいて、自動車Vhcl1の相対位置(例えば、自動車Vhcl1が走行している道路上のどの位置に自動車Vhcl1が位置しているかを特定するための相対位置(例えば、自動車Vhcl1が走行している道路上の所定位置(例えば、幅方向の中央位置からの相対位置)))を取得する。
【0066】
例えば、データD1bには、(1)データD_GPSから取得した自動車Vhcl1の現在位置についての情報と、(2)データD_mapから取得した現在走行している道路の地図情報と、(3)データD_sensorから取得した自動車Vhcl1が現在走行している道路上の白線からの相対位置(自動車Vhcl1が道路上の白線からどれくらい離れた位置に存在しているかを特定する位置情報)と、(4)データD_F_camから取得した現在走行している道路の自動車Vhcl1の進行方向前方の風景の撮像画像(撮像映像)とが含まれており、当該情報に基づいて、相対位置取得部13は、自動車Vhcl1の相対位置を取得する。そして、相対位置取得部13は、取得した自動車Vhcl1の相対位置の情報を含むデータを、データD2bとして、仮想物体位置算出部15に出力する。
【0067】
姿勢情報取得部14は、入力インターフェース部11から出力されるデータD1cを入力する。姿勢情報取得部14は、データD1cに基づいて、自動車Vhcl1の運転手Drv1の姿勢情報を取得する。
【0068】
例えば、データD1cには、データD_poseから取得した自動車Vhcl1の運転手Drv1の撮像画像データが含まれており、姿勢情報取得部14は、当該撮像画像を解析することで、運転手Drv1の姿勢がどのような状態であるかを特定し、運転手Drv1の視点を特定する。そして、姿勢情報取得部14は、取得した運転手の姿勢に関する情報(運転手の視点位置の情報を含む情報)を含むデータを、データD2cとして、仮想物体位置算出部15に出力する。
【0069】
仮想物体位置算出部15は、進行経路形状取得部12から出力されるデータD2aと、相対位置取得部13から出力されるデータD2bと、姿勢情報取得部14から出力されるデータD2cとを入力する。仮想物体位置算出部15は、データD2aと、データD2bと、データD2cとに基づいて、仮想物体位置を算出する。具体的には、仮想物体位置算出部15は、例えば、自動車Vhcl1内の所定の点(この点をPoとする)を原点として、3次元空間を規定する。仮想物体位置算出部15は、例えば、それぞれ、3次元空間内において直交する、x座標軸、y座標軸、および、z座標軸を設定し、当該座標軸により規定される3次元空間を規定する。そして、仮想物体位置算出部15は、データD2aと、データD2bと、データD2cとに基づいて、規定した3次元空間内における仮想物体を配置する位置を算出する。そして、算出した仮想物体の位置情報を含むデータを、データD3として、表示パラメータ算出部16に出力する。
【0070】
表示パラメータ算出部16は、仮想物体位置算出部15から出力されるデータD3を入力する。そして、表示パラメータ算出部16は、データD3に基づいて、運転手Drv1が表示部2の表示スクリーンを見たときに、仮想物体が仮想物体位置算出部15により算出された位置に存在していると認識されるように、表示画像を生成するための表示パラメータを算出する。そして、表示パラメータ算出部16は、算出した表示パラメータと、表示部2に表示する画像データとを含むデータを、データD4として、表示部2に出力する。
【0071】
仮想基準表示装置100の表示部2は、表示パラメータ算出部16から出力されるデータD4を入力する。そして、表示部2は、データD4に含まれる表示パラメータに基づいて、データD4に含まれる画像データにより生成される画像を、表示部2の表示スクリーンに表示する。
【0072】
表示部2は、例えば、HUDにより実現される。本実施形態では、表示部2がHUDにより実現される場合について、以下、説明する。この場合、表示部2の表示スクリーンは、フロントウィンドウ上の所定の領域に、例えば、コンバイナ(HUDにおいてドライバー前方の風景と映像を重ねて見せるハーフミラー)を設置することで実現できる。例えば、
図2のフロントウィンドウの側方から見た断面において、点P1から点P2までの領域にコンバイナを設置し、当該領域を表示部2の表示スクリーンとして、表示部2のプロジェクターから当該表示スクリーンに、画像を投影することで、画像を表示する。なお、表示スクリーンの縦方向の長さは、
図2のフロントウィンドウの側方から見た断面において、点P1から点P2までの距離以上であり、表示スクリーンの横方向の長さは、運転手Drv1がフロントウィンドウ越しに前方を見るときに、運転手Drv1の視野をカバーする範囲に相当する長さである。表示スクリーンの表示領域は、上記に限定されることはなく、他の大きさ、形状であってもよい。
【0073】
表示部2は、表示パラメータ算出部16が算出した表示パラメータと、表示部2に表示する画像データとを含むデータD4を入力する。そして、表示部2は、データD4に含まれる表示パラメータに基づいて、データD4に含まれる画像データを表示スクリーン(
図1では、点P1から点P2までの領域)に表示させる。
【0074】
<1.2:仮想基準表示システムの動作>
以上のように構成された仮想基準表示システム1000、仮想基準表示装置100の動作について、以下、説明する。
【0075】
図3は、仮想基準表示システム1000で実行される処理のフローチャートである。
【0076】
図4は、自動車Vhcl1と、2つの仮想物体Mkr1
L、Mkr1
Rとの位置関係を示す図である。
【0077】
以下では、
図3のフローチャートを参照しながら、仮想基準表示システム1000の動作について、説明する。
【0078】
(ステップS1):
ステップS1において、進行経路形状取得処理が実行される。
【0079】
GPS受信部Rx1は、算出した自動車Vhcl1の現在位置の情報を含むデータD_GPSを生成し、生成したデータD_GPSを仮想基準表示装置100の表示制御部1の入力インターフェース部11に出力する。
【0080】
表示制御部1は、地図データ格納部Dev1に対して、現在、自動車Vhcl1が走行している近辺の地図データを読み出すよう要求し、当該要求に従い、地図データ格納部Dev1は、自動車Vhcl1が走行している近辺の地図データを、表示制御部1の入力インターフェース部11に出力する。
【0081】
センサーSen1は、自動車Vhcl1が現在走行している道路の形状(例えば、道路の表面状態等)を測定し、当該測定データを、データD_sensorとして、仮想基準表示装置100の表示制御部1の入力インターフェース部11に出力する。
【0082】
フロントカメラF_camは、車両の進行方向前方の風景を撮像する。そして、フロントカメラF_camは、撮像した画像データをデータD_F_camとして、仮想基準表示装置100の表示制御部1の入力インターフェース部11に出力する。
【0083】
仮想基準表示装置100の表示制御部1の入力インターフェース部11は、GPS受信部Rx1から出力されるデータD_GPSと、フロントカメラF_camから出力されるデータD_F_camと、センサーSen1から出力されるデータD_sensorと、地図データ格納部Dev1から出力されるデータD_mapと、を入力する。
【0084】
そして、入力インターフェース部11は、上記の入力データから、進行経路形状取得部12が進行経路形状を取得するのに必要なデータを抽出し、抽出したデータをデータD1aとして、進行経路形状取得部12に出力する。
【0085】
進行経路形状取得部12は、入力インターフェース部11から出力されるデータD1aに基づいて、自動車Vhcl1が現在走行している経路である道路の形状を取得する。データD1aには、(1)データD_GPSから取得した自動車Vhcl1の現在位置についての情報と、(2)データD_mapから取得した現在走行している道路の地図情報と、(3)データD_sensorから取得した自動車Vhcl1が現在走行している道路の形状(例えば、道路の表面状態等)と、(4)データD_F_camから取得した現在走行している道路の自動車Vhcl1の進行方向前方の風景の撮像画像とが含まれているので、当該情報に基づいて、進行経路形状取得部12は、自動車Vhcl1が現在走行している経路である道路の形状を取得する。そして、進行経路形状取得部12は、取得した進行経路形状の情報を含むデータを、データD2aとして、仮想物体位置算出部15に出力する。
【0086】
(ステップS2):
ステップS2において、相対位置取得処理が実行される。
【0087】
具体的には、相対位置取得部13は、入力インターフェース部11から出力されるデータD1bに基づいて、自動車Vhcl1の相対位置(例えば、自動車Vhcl1が走行している道路上のどの位置に自動車Vhcl1が位置しているかを特定するための相対位置(例えば、自動車Vhcl1が走行している道路上の所定位置(例えば、幅方向の中央位置からの相対位置)))を取得する。
【0088】
例えば、データD1bには、(1)データD_GPSから取得した自動車Vhcl1の現在位置についての情報と、(2)データD_mapから取得した現在走行している道路の地図情報と、(3)データD_sensorから取得した自動車Vhcl1が現在走行している道路上の白線からの相対位置(自動車Vhcl1が道路上の白線からどれくらい離れた位置に存在しているかを特定する位置情報)と、(4)データD_F_camから取得した現在走行している道路の自動車Vhcl1の進行方向前方の風景の撮像画像(撮像映像)とが含まれており、当該情報に基づいて、相対位置取得部13は、自動車Vhcl1の相対位置を取得する。そして、相対位置取得部13は、取得した自動車Vhcl1の相対位置の情報を含むデータを、データD2bとして、仮想物体位置算出部15に出力する。
【0089】
(ステップS3):
ステップS3において、姿勢情報取得処理が実行される。
【0090】
具体的には、姿勢情報取得部14は、入力インターフェース部11から出力されるデータD1cに基づいて、自動車Vhcl1の運転手Drv1の姿勢情報を取得する。
【0091】
例えば、データD1cには、姿勢検出部Dev2から出力されるデータD_poseから取得した自動車Vhcl1の運転手Drv1の撮像画像データが含まれており、姿勢情報取得部14は、当該撮像画像を解析することで、運転手Drv1の姿勢がどのような状態であるかを特定し、運転手Drv1の視点を特定する。そして、姿勢情報取得部14は、取得した運転手の姿勢に関する情報(運転手の視点位置の情報を含む情報)を含むデータを、データD2cとして、仮想物体位置算出部15に出力する。
【0092】
なお、仮想基準表示システム1000において、ステップS1~S3の処理を並列処理により実行してもよい。
【0093】
(ステップS4):
ステップS4において、仮想物体位置算出処理が実行される。
【0094】
仮想物体位置算出部15は、進行経路形状取得部12から出力されるデータD2aと、相対位置取得部13から出力されるデータD2bと、姿勢情報取得部14から出力されるデータD2cとを入力する。仮想物体位置算出部15は、データD2aと、データD2bと、データD2cとに基づいて、仮想物体位置を算出する。具体的には、仮想物体位置算出部15は、例えば、自動車Vhcl1内の所定の点(この点をPoとする)を原点として、3次元空間を規定する。仮想物体位置算出部15は、例えば、それぞれ、3次元空間内において直交する、x座標軸、y座標軸、および、z座標軸を設定し、当該座標軸により規定される3次元空間を規定する。そして、仮想物体位置算出部15は、データD2aと、データD2bと、データD2cとに基づいて、規定した3次元空間内における仮想物体を配置する位置を算出する。
【0095】
ここでは、説明便宜のために、
図4に示すように、仮想物体を2つ(仮想物体Mkr1
L、Mkr1
R)とし、上方からの平面視において、3次元空間の原点を、自動車Vhcl1の2つの前輪を結ぶ直線と、自動車Vhcl1の進行方向についての中心線(上方からの平面視における中心線)とが交差する点であって、自動車Vhcl1のフロントガラスWin_sの下辺を含む平面であって、自動車Vhcl1が水平な地面を走行するときの水平面(地面)と平行な平面上の点を原点Poとし、自動車Vhcl1が直進するときの方向を示すベクトルをVec1とし、その基点を原点Poとする。そして、2つの仮想物体Mkr1
L、Mkr1
Rは、
図4に示すように、上方からの平面視において、自動車Vhcl1の進行方向の斜め前方であって、ベクトルVec1に対して、線対称な位置に配置されるものとする。また、仮想物体Mkr1
L、Mkr1
Rは、形状が球であり、同じ半径(同じサイズ)であるものとする。
【0096】
仮想物体位置算出部15は、データD2aと、データD2bと、データD2cとに基づいて、点Poを原点とする3次元空間の2つの仮想物体Mkr1L、Mkr1Rの位置を算出する。なお、算出した仮想物体Mkr1Lの中心点の3次元空間内の位置をPosition(Mkr1L)とし、算出した仮想物体Mkr1Rの中心点の3次元空間内の位置をPosition(Mkr1R)とする。
【0097】
そして、仮想物体位置算出部15は、算出した仮想物体の位置情報を含むデータを、データD3として、表示パラメータ算出部16に出力する。
【0098】
(ステップS5):
ステップS5において、表示パラメータ算出処理が実行される。
【0099】
表示パラメータ算出部16は、仮想物体位置算出部15から出力されるデータD3に基づいて、運転手Drv1が表示部2の表示スクリーンを見たときに、仮想物体が仮想物体位置算出部15により算出された位置に存在していると認識されるように、表示画像を生成するための表示パラメータを算出する。表示パラメータ算出部16は、以下の情報を取得することができる。
(1)表示部2の表示スクリーン(
図1では、点P1から点P2までの領域)の形状、位置(3次元空間内の形状、位置)
(2)運転手Drv1の視点位置(運転手Drv1の視点位置は、姿勢情報取得部14により取得された運転手の姿勢に関する情報(運転手の視点位置の情報を含む情報)を含むデータD2cから取得可能である。)
(3)仮想物体Mkr1
L、Mkr1
Rの3次元空間内の位置、形状
したがって、表示パラメータ算出部16は、上記(1)~(3)の情報を用いて、運転手Drv1が表示部2の表示スクリーンを見たときに、仮想物体が仮想物体位置算出部15により算出された位置に存在していると認識されるように、表示画像を生成するための表示パラメータを算出することができる。
【0100】
そして、表示パラメータ算出部16は、算出した表示パラメータと、表示部2に表示する画像データとを含むデータを、データD4として、表示部2に出力する。
【0101】
(ステップS6):
ステップS5において、表示パラメータ算出処理が実行される。
【0102】
表示部2は、表示パラメータ算出部16が算出した表示パラメータと、表示部2に表示する画像データとを含むデータD4を入力する。そして、表示部2は、データD4に含まれる表示パラメータに基づいて、データD4に含まれる画像データを表示スクリーン(
図1では、点P1から点P2までの領域)に表示させる。
【0103】
図5は、上記処理により、表示部2の表示スクリーンに2つの仮想物体Mkr1
L、Mkr1
Rを重畳表示させたときに、運転手Drv1が見た前景の一例を示す図である。
【0104】
図5から分かるように、2つの仮想物体Mkr1
L、Mkr1
Rは、自動車Vhcl1の走行面(走行している道路面(地面))と平行な平面上に、それぞれ、離間して表示した位置に存在していると運転手Drv1に認識されるように、表示部2の表示スクリーン上に表示される(前景に重畳して表示される)。運転手Drv1は、表示部2の表示スクリーン上において、前景に重畳表示されている2つの仮想物体Mkr1
L、Mkr1
Rを意識することで、運転手Drv1が運転している自動車Vhcl1の走行状態を容易に認識できる(安定走行しているか否かを容易に認識でいる)。つまり、運転手Drv1は、表示部2の表示スクリーン上において、前景に重畳表示されている2つの仮想物体Mkr1
L、Mkr1
Rが安定して表示されていないと認識した場合(例えば、2つの仮想物体Mkr1
L、Mkr1
Rの表示位置が不安定であると認識した場合)、運転している自動車Vhcl1の走行が安定してないことを認識でき、安定走行状態に戻すように自動車Vhcl1を操作できる。すなわち、仮想基準表示システム1000では、上記のように処理し、2つの仮想物体Mkr1
L、Mkr1
Rを、表示部2の表示スクリーン上に表示させることで、運転手Drv1による自動車Vhcl1の安定走行を支援することができる。
【0105】
以上のように、仮想基準表示システム1000(仮想基準表示装置100)では、安定走行を適切に支援するための仮想基準(上記では、2つの仮想物体Mkr1L、Mkr1R)を表示することができる。
【0106】
また、仮想基準表示システム1000では、仮想物体は実際に存在するものではないので、その位置(その虚像の位置)を任意の場所に設定できるため、安定走行の支援の効果が高い場所に、仮想物体を配置することができる。このため、道路の状況(道路幅、道路の曲率等)に応じて、最適な場所(安定走行の支援の効果が高い場所)に、仮想物体を容易に配置できる。その結果、仮想基準表示システム1000では、どのような状況であっても、効果的な安定走行の支援が実現できる。
【0107】
[第2実施形態]
次に、第2実施形態について、説明する。なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
【0108】
図6は、第2実施形態に係る仮想基準表示システム2000の概略構成図である。
【0109】
図7は、第2実施形態に係る仮想基準表示装置200の概略構成図である。
【0110】
図8、
図9は、第2実施形態に係る仮想基準表示システム2000で実行される処理のフローチャートである。
【0111】
図10は、N=2の場合の仮想物体の配置パターンの例を示す図である。
【0112】
図11は、安定走行経路予測処理を説明するための図。
【0113】
<2.1:仮想基準表示システムの構成>
第2実施形態の仮想基準表示システム2000は、第1実施形態の仮想基準表示システム1000において、仮想基準表示装置100(表示制御部1および表示部2)を仮想基準表示装置200(表示制御部1Aおよび表示部2)に置換した構成を有している。
【0114】
そして、第2実施形態の仮想基準表示装置200は、
図7に示すように、第1実施形態の仮想基準表示装置100において、入力インターフェース部11を入力インターフェース部11Aに置換し、仮想物体位置算出部15を仮想物体位置算出部15Aに置換し、さらに、安定走行経路予測部17と、安定走行度取得部18と、取得データ記憶処理部19と、最適仮想基準検出部20とを追加した構成を有している。
【0115】
入力インターフェース部11Aは、入力インターフェース部11と同様の機能を有している。そして、入力インターフェース部11Aは、入力されたデータから、安定走行経路予測部17が安定走行経路を予測する処理を実行するのに必要なデータを抽出し、抽出したデータをデータD1dとして、安定走行経路予測部17に出力する。また、入力インターフェース部11Aは、入力されたデータから、安定走行度取得部18が安定走行度を取得するのに必要なデータを抽出し、抽出したデータをデータD1eとして、安定走行度取得部18に出力する。
【0116】
安定走行経路予測部17は、入力インターフェース部11Aから出力されるデータD1dを入力する。安定走行経路予測部17は、データD1dに基づいて、自動車Vhcl1が現在走行している経路の情報を取得するとともに、当該情報に基づいて、自動車Vhcl1の安定経路(安定走行が実現される将来の経路)を予測する。例えば、データD1dには、(1)データD_GPSから取得した自動車Vhcl1の現在位置についての情報と、(2)データD_mapから取得した現在走行している道路の地図情報と、(3)データD_sensorから取得した自動車Vhcl1が現在走行している道路の形状(例えば、道路の表面状態等)と、(4)データD_F_camから取得した現在走行している道路の自動車Vhcl1の進行方向前方の風景の撮像画像(撮像映像)とが含まれており、当該情報に基づいて、安定走行経路予測部17は、自動車Vhcl1の過去の経路(過去の所定の時刻から現時刻までの自動車Vhcl1の経路)の情報を取得し、当該情報と、現在の自動車Vhcl1の状態(速度、加速度、進行方向等)と、地図情報と、自動車Vhcl1が現在走行している道路の形状等とに基づいて、自動車Vhcl1の安定経路(安定走行が実現される将来の経路)を予測する。
【0117】
例えば、
図11の左図に示すように、時刻t1において、自動車Vhcl1が、
図11の左図に示す位置に存在する場合、安定走行経路予測部17は、上記の情報(自動車Vhcl1の時刻t1の位置、進行方向、道路の形状等の情報)に基づいて、安定走行経路を、
図11の左図に示した経路Path_optと予測する。なお、
図11において、時刻tk(k:整数)において、仮想物体位置算出部15Aにより設定された3次元空間における原点位置をPo(tk)とし、自動車Vhcl1の進行方向を示すベクトル(自動車Vhcl1が直進するときの方向を示すベクトル)をVec1(tk)とし、仮想基準表示システム2000において表示する2つの仮想物体の位置(虚像の位置)をP
L(tk)、P
R(tk)として、示している。
図11の右図は、自動車Vhcl1が安定走行した場合(予測された安定経路Path_opt)を通過したときの状態を示す図である(時刻t1、t2、t3における自動車Vhcl1の状態を示す図である)。
【0118】
安定走行経路予測部17は、予測結果を含むデータを、データD2dとして、安定走行度取得部18および取得データ記憶処理部19に出力する。
【0119】
安定走行度取得部18は、入力インターフェース部11Aから出力されるデータD1eと、安定走行経路予測部17から出力されるデータD2dとを入力する。安定走行度取得部18は、データD1eおよびD2dに基づいて、自動車Vhcl1の安定走行度を取得する。例えば、安定走行度取得部18は、データD2dから取得した安定走行経路(予測経路)と、自動車Vhcl1とが実際に走行した経路とのずれ量を取得し、当該ずれ量を所定の期間において積算し、当該積算により取得した数値を安定走行度とするとことで、安定走行度を取得する。
【0120】
そして、安定走行度取得部18は、取得した安定走行度を含むデータを、データD2eとして、取得データ記憶処理部19に出力する。
【0121】
仮想物体位置算出部15Aは、仮想物体位置算出部15と同様の機能を有しており、さらに、仮想物体の配置パターンを複数設定することができる。例えば、仮想物体位置算出部15Aは、N個(N:自然数、N≧2)の仮想物体の配置パターンを有しており、そのN個の配置パターンの中から1つの配置パターンを選択し、選択した配置パターンに基づいて、第1実施形態と同様の処理を実行する。
【0122】
図10に、N=2の場合の仮想物体の配置パターンの例を示す。以下では、説明便宜のため、
図10に示す仮想物体の配置パターンを用いる場合(N=2の場合)について、説明する。
【0123】
配置パターン1は、
図10に示す位置に、2つの仮想物体Mkr1
L、Mkr1
Rが配置されているパターンである。
【0124】
配置パターン2は、
図10に示す位置に、2つの仮想物体Mkr2
L、Mkr2
Rが配置されているパターンである。
【0125】
仮想物体位置算出部15Aは、選択した仮想物体の配置パターンの情報を含むデータを、データDselとして、取得データ記憶処理部19に出力する。
【0126】
また、仮想物体位置算出部15Aは、最適仮想基準検出部20から出力されるデータD_detを入力し、当該データD_detに基づいて、仮想物体の配置パターンを設定することができる。
【0127】
取得データ記憶処理部19は、安定走行経路予測部17から出力されるデータD2dと、安定走行度取得部18から出力されるデータD2eと、仮想物体位置算出部15Aから出力されるデータDselとを入力する。取得データ記憶処理部19は、安定走行度と、当該安定走行度が取得されたときに選択されていた仮想物体の配置パターンとを対応づけたデータを、データD_stとして生成し、当該データD_stを記憶する。また、取得データ記憶処理部19は、最適仮想基準検出部20の読み出し要求に従い、データD_stを最適仮想基準検出部20に出力する。
【0128】
最適仮想基準検出部20は、取得データ記憶処理部19に対して、データ読み出し要求を行うことで、データD_stを読み出す(データD_stを取得データ記憶処理部19から入力する)。そして、最適仮想基準検出部20は、データD_stに基づいて、所定の期間において最も安定走行が実現された仮想物体の配置パターンを特定し、特定した当該仮想物体の配置パターンの情報を含むデータを、データD_detとして、仮想物体位置算出部15Aに出力する。
【0129】
<2.2:仮想基準表示システムの動作>
以上のように構成された仮想基準表示システム2000の動作について、フローチャートを参照しながら、説明する。
【0130】
(ステップS21):
ステップS21において、初期化処理を実行し、1つ目の仮想物体の配置パターンが選択されるように、設定する。ここでは、仮想物体の配置パターンを特定する変数iを「1」に設定する。
【0131】
(ステップS22):
ステップS22において、ループ処理(ステップS22~S28の処理)を開始する。なお、ここでは、N=2であるので、ループ処理は、2回実行される。
【0132】
(ステップS23):
ステップS23において、仮想物体位置算出部15Aは、仮想物体の配置パターンを1番目のパターン(配置パターン1)に設定する(配置パターン1を選択する)。
【0133】
(ステップS24):
ステップS24において、安定走行経路予測処理が実行される。
【0134】
安定走行経路予測部17は、入力インターフェース部11Aから出力されるデータD1dに基づいて、自動車Vhcl1が現在走行している経路の情報を取得するとともに、当該情報に基づいて、自動車Vhcl1の安定経路(安定走行が実現される将来の経路)を予測する。例えば、データD1dには、(1)データD_GPSから取得した自動車Vhcl1の現在位置についての情報と、(2)データD_mapから取得した現在走行している道路の地図情報と、(3)データD_sensorから取得した自動車Vhcl1が現在走行している道路の形状(例えば、道路の表面状態等)と、(4)データD_F_camから取得した現在走行している道路の自動車Vhcl1の進行方向前方の風景の撮像画像(撮像映像)とが含まれており、当該情報に基づいて、安定走行経路予測部17は、自動車Vhcl1の過去の経路(過去の所定の時刻から現時刻までの自動車Vhcl1の経路)の情報を取得し、当該情報と、現在の自動車Vhcl1の状態(速度、加速度、進行方向等)と、地図情報と、自動車Vhcl1が現在走行している道路の形状等とに基づいて、自動車Vhcl1の安定経路(安定走行が実現される将来の経路)を予測する。
【0135】
そして、安定走行経路予測部17は、予測結果を含むデータを、データD2dとして、安定走行度取得部18および取得データ記憶処理部19に出力する。
【0136】
(ステップS25):
ステップS25において、仮想基準表示処理が実行される。
【0137】
第1回目の処理では、仮想物体の配置パターンを配置パターン1として、仮想基準表示処理が実行され、第2回目の処理では、仮想物体の配置パターンを配置パターン2として、仮想基準表示処理が実行される。
【0138】
なお、ステップS25の仮想基準表示処理は、第1実施形態での処理(
図3のフローチャートの処理)と同様の処理である。つまり、ステップS25の仮想基準表示処理を構成するステップS251~ステップS256(
図9)は、それぞれ、第1実施形態での仮想基準表示システム1000の処理で実行されるステップS1~S6と同様の処理である。
【0139】
(ステップS26):
ステップS26において、安定走行度取得処理が実行される。
【0140】
安定走行度取得部18は、入力インターフェース部11Aから出力されるデータD1eと、安定走行経路予測部17から出力されるデータD2dとに基づいて、自動車Vhcl1の安定走行度を取得する。例えば、安定走行度取得部18は、データD2dから取得した安定走行経路(予測経路)と、自動車Vhcl1とが実際に走行した経路とのずれ量を取得し、当該ずれ量を所定の期間において積算し、当該積算により取得した数値を安定走行度とするとことで、安定走行度を取得する。
【0141】
そして、安定走行度取得部18は、取得した安定走行度を含むデータを、データD2eとして、取得データ記憶処理部19に出力する。
【0142】
なお、ステップS25の処理と、ステップS26の処理とは、並行に処理が実行される。
【0143】
(ステップS27):
ステップS27において、取得データ記憶処理が実行される。
【0144】
取得データ記憶処理部19は、安定走行経路予測部17から出力されるデータD2dと、安定走行度取得部18から出力されるデータD2eと、仮想物体位置算出部15Aから出力されるデータDselとを入力する。取得データ記憶処理部19は、安定走行度と、当該安定走行度が取得されたときに選択されていた仮想物体の配置パターンとを対応づけたデータを、データD_stとして生成し、当該データD_stを記憶する。
【0145】
(ステップS28):
ステップS28では、ループ処理の完了判定処理が実行される。当該判定処理の結果、ループ処理がすべて完了したと判定された場合、処理をステップS29に進め、一方、ループ処理がすべて完了したと判定されない場合、処理をステップS22に戻す。
【0146】
(ステップS29):
ステップS29では、最適配置パターン検出処理が実行される。
【0147】
最適仮想基準検出部20は、取得データ記憶処理部19に対して、データ読み出し要求を行うことで、データD_stを読み出す(データD_stを取得データ記憶処理部19から入力する)。そして、最適仮想基準検出部20は、データD_stに基づいて、所定の期間において最も安定走行が実現された仮想物体の配置パターンを特定する。例えば、所定の期間において、仮想物体の配置パターンが配置パターン1であるときの安定走行度の値が、仮想物体の配置パターンが配置パターン2であるときの安定走行度の値よりも、良好であることを示す値である場合、仮想物体の配置パターンが配置パターン1とすることで、より安定走行を実現できると判断できる。したがって、この場合、最適仮想基準検出部20は、データD_stに基づいて、所定の期間において最も安定走行が実現された仮想物体の配置パターンを、配置パターン1として特定する。
【0148】
そして、最適仮想基準検出部20は、特定した当該仮想物体の配置パターンの情報を含むデータを、データD_detとして、仮想物体位置算出部15Aに出力する。
【0149】
そして、仮想物体位置算出部15Aは、仮想物体の配置パターンを、最適仮想基準検出部20により検出された配置パターンに設定して、仮想物体の表示処理を実行する。
【0150】
これより、仮想基準表示システム2000では、より安定走行が実現される可能性の高い配置パターンに基づいて、仮想物体の表示部2の表示スクリーンへの表示がなされる。その結果、仮想基準表示システム2000では、より適切な安定走行の支援を実現できる。
【0151】
なお、仮想基準表示システム2000において、上記処理により、仮想物体の配置パターンを複数設け、その中から、最適な配置パターンを検出する理由は、以下の通りである。
【0152】
運転手Drv1の視野の広狭により、安定走行が実現される仮想物体の配置パターンが異なることが知見されている。視野の広い運転手Drv1が自動車Vhcl1を運転する場合、進行方向のより前方の位置に仮想物体を配置すると、安定走行が実現される可能性が高くなり、視野の狭い運転手Drv1が自動車Vhcl1を運転する場合、視野の広い運転手Drv1の場合の最適な仮想物体の配置位置よりも、進行方向において手前の位置に仮想物体を配置すると、安定走行が実現される可能性が高くなる傾向があることが知見されている。
【0153】
このような知見に基づいて、運転手Drv1の視野の広狭によって変化する仮想物体の配置パターンの最適な配置パターンを検出するために、仮想基準表示システム2000では、上記処理により、仮想物体の配置パターンを複数設け、その中から、最適な配置パターンを検出する処理を実行する。これにより、仮想基準表示システム2000では、運転手Drv1の視野の広狭に関わらず、運転手Drv1が安定走行を実現する可能性の高い、仮想物体の配置を特定でき、当該配置により、仮想物体を表示部2の表示スクリーンに表示することができる。その結果、仮想基準表示システム2000では、運転手Drv1の視野の広狭に関わらず、適切に、安定走行の支援ができる。
【0154】
なお、上記処理の仮想物体の最適パターンを検出処理は、所定の周期で、更新するようにしてもよい。
【0155】
また、上記では、仮想物体の配置パターン数Nは「2」であったが、これに限定されることはなく、仮想物体の配置パターン数Nは他の数であってもよい。
【0156】
図12に、一例として、自動車Vhcl1にて高速道路5車線の中央車線を走行する場合の仮想物体の配置パターンを示す。
【0157】
図12において、仮想物体の配置パターンは、以下の9パターンである。
(1)配置パターン1:
仮想物体Ptn1
LR(第3車線Lane3の中央位置、自動車Vhcl1の前輪位置からの距離L1)
(2)配置パターン2:
仮想物体Ptn2
L、(第2車線Lane2の中央位置、自動車Vhcl1の前輪位置からの距離L1)
仮想物体Ptn2
R(第4車線Lane4の中央位置、自動車Vhcl1の前輪位置からの距離L1)
(3)配置パターン3:
仮想物体Ptn3
L、(第1車線Lane2の中央位置、自動車Vhcl1の前輪位置からの距離L1)
仮想物体Ptn3
R(第5車線Lane4の中央位置、自動車Vhcl1の前輪位置からの距離L1)
(4)配置パターン4:
仮想物体Ptn4
LR(第3車線Lane3の中央位置、自動車Vhcl1の前輪位置からの距離L2)
(5)配置パターン5:
仮想物体Ptn5
L、(第2車線Lane2の中央位置、自動車Vhcl1の前輪位置からの距離L2)
仮想物体Ptn5
R(第4車線Lane4の中央位置、自動車Vhcl1の前輪位置からの距離L2)
(6)配置パターン6:
仮想物体Ptn6
L、(第1車線Lane2の中央位置、自動車Vhcl1の前輪位置からの距離L2)
仮想物体Ptn6
R(第5車線Lane4の中央位置、自動車Vhcl1の前輪位置からの距離L2)
(7)配置パターン7:
仮想物体Ptn7
LR(第3車線Lane3の中央位置、自動車Vhcl1の前輪位置からの距離L3)
(8)配置パターン8:
仮想物体Ptn8
L、(第2車線Lane2の中央位置、自動車Vhcl1の前輪位置からの距離L3)
仮想物体Ptn5
R(第4車線Lane4の中央位置、自動車Vhcl1の前輪位置からの距離L3)
(9)配置パターン9:
仮想物体Ptn6
L、(第1車線Lane2の中央位置、自動車Vhcl1の前輪位置からの距離L3)
仮想物体Ptn6
R(第5車線Lane4の中央位置、自動車Vhcl1の前輪位置からの距離L3)
自動車Vhcl1にて高速道路5車線の中央車線を走行する場合、上記の9つの仮想物体の配置パターンにより、仮想基準表示システム2000での上記処理を行うようにしてもよい。なお、この場合、視野の広い運転手Drv1が自動車Vhcl1を運転する場合、配置パターン9を選択したときに安定走行される可能性が高く、視野の狭い運転手Drv1が自動車Vhcl1を運転する場合、配置パターン6を選択したときに安定走行される可能性が高い傾向があることが実験データから知見されている。仮想基準表示システム2000では、
図12の場合においても、上記処理を行うことで、最適な仮想物体の配置パターンを特定することができる(実験データと一致または類似する検出結果を取得できる可能性が高い)。
【0158】
また、仮想基準表示システム2000では、仮想物体は実際に存在するものではないので、その位置(その虚像の位置)を任意の場所に設定できるため、安定走行の支援の効果が高い場所に、仮想物体を配置することができる。このため、道路の状況(道路幅、道路の曲率等)に応じて、最適な場所(安定走行の支援の効果が高い場所)に、仮想物体を容易に配置できる。その結果、仮想基準表示システム2000では、どのような状況であっても、効果的な安定走行の支援が実現できる。
【0159】
[第3実施形態]
次に、第3実施形態について、説明する。なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
【0160】
図13は、運転手Drv1が見た前景(フロントウィンドウから見た前景)と、表示部2としてのLEDアレイLED_arryとを示した図である。
【0161】
上記実施形態では、表示部2がHUDを用いて構成される場合について説明したが、第3実施形態では、表示部2をLEDアレイにより実現する。
【0162】
第3実施形態の仮想基準表示システムでは、表示部2として、HUDの表示スクリーンの代わりに、例えば、自動車Vhcl1のダッシュボード上に、複数のLEDが一列となるように配置されているLEDアレイを設置する。なお、複数のLED(複数の発光素子)は、フロントウィンドウの下辺と略平行になるように配置される。
【0163】
第3実施形態の仮想基準表示システムでは、
図13に示すように、運転手Drv1から自動車Vhcl1の進行方向前方を見たときの仮想平面(運転手Drv1の視線を法線とする平面)において、2つの仮想物体の位置を上記仮想平面に投影したときに横方向(水平方向)の座標が一致する場所に設置されているLED(発光素子)を点灯させる。つまり、
図13の場合、第3実施形態の仮想基準表示システムでは、位置Pos_LED_on_Lに設定されているLED(発光素子)(仮想物体Mkr1
Lに対応)と、位置Pos_LED_on_Rに設定されているLED(発光素子)(仮想物体Mkr1
Rに対応)とを点灯させる。
【0164】
このように制御することで、第3実施形態の仮想基準表示システムでは、第1実施形態、第2実施形態のように、コストの高いHUDの代わりに、コストの安いLEDアレイを用いて、安定走行支援を実現することができる。
【0165】
[他の実施形態]
上記実施形態では、表示部2として、HUDまたはLEDアレイを用いる場合について説明したが、これに限定されることはなく、表示部2として、HMD(Head Mounted Display)を用いてもよい。HMDを用いる場合、仮想物体を3D画像により表示すればよい。つまり、ユーザーの両眼視差を考慮し、HMDの右眼用表示スクリーン、左眼用表示スクリーンにおいて、仮想物体が、上記で説明した位置に3D画像として立像されるように、HMDの右眼用表示画像と、HMDの左眼用表示画像とを生成し、生成した画像を、それぞれ、HMDの右眼用表示スクリーン、左眼用表示スクリーンに表示させればよい。
【0166】
また、上記では、移動体が自動車である場合について、説明したが、これに限定されることはなく、例えば、移動体を自転車とし、自転車を操作しているユーザーがHMDを装着して、上記で説明した処理を実行するようにしてもよい。これにより、例えば、自転車に乗っているユーザーに対しても適切な安定走行支援を実現できる。
【0167】
また、移動体を用いず、歩行者に対して、本願発明を適用してもよい。この場合、歩行者がHMDを装着し、上記説明した処理を実行することで、適切な歩行者の安定走行(安定歩行)の支援を実現できる。
【0168】
また、上記実施形態において、仮想物体は、その形状が球であるものして説明したが、これに限定されることはなく、仮想物体は、任意の形状としてもよい。また、仮想物体の大きさも任意の大きさとしてもよい。
【0169】
また、上記実施形態において、移動体を自動車Vhcl1とした場合に、運転手Drv1の姿勢の検出処理を行い、運転手Drv1の視点の位置を検出する場合について説明したが、これに限定されることはなく、例えば、姿勢情報取得部、あるいは、姿勢情報取得処理を省略してもよい。この場合、自動車Vhcl1の運転席の配置、形状等から、運転手Drv1のおおよその視点位置は、予め分かるので、当該視点位置を用いて、第1実施形態、第2実施形態の処理を行うようにしてもよい。
【0170】
また、上記実施形態において、ベクトルVec1を、自動車Vhcl1が直進するときの方向を示すベクトルとして処理を実行する場合について説明したが、これに限定されることはなく、例えば、ベクトルVec1の代わりに、安定走行を実現するための移動体(あるいはユーザー)が移動すべき方向を予測し、予測した当該方向を規定するベクトル(安定走行用ベクトル)を用いて、上記実施形態の処理を行うようにしてもよい。
また、上記実施形態で説明した仮想基準表示システム、仮想基準表示装置において、各ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
【0171】
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
【0172】
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【0173】
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
【0174】
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
【0175】
例えば、上記実施形態の各機能部を、ソフトウェアにより実現する場合、
図14に示したハードウェア構成(例えば、CPU、ROM、RAM、入力部、出力部等をバスBusにより接続したハードウェア構成)を用いて、各機能部をソフトウェア処理により実現するようにしてもよい。
【0176】
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
【0177】
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、大容量DVD、次世代DVD、半導体メモリを挙げることができる。
【0178】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【0179】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【符号の説明】
【0180】
1000、2000 仮想基準表示システム
100、200 仮想基準表示装置
1、1A 表示制御部
12 進行経路形状取得部
13 姿勢情報取得部
14 姿勢情報取得部
15、15A 仮想物体位置算出部
16 表示パラメータ算出部
17 安定走行経路予測部
18 安定走行度取得部
20 最適仮想基準検出部
Drv1 運転手(ユーザー)
LED_arry LEDアレイ