特開 2024-122058 車両の地点指定方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024122058

(43)【公開日】2024-09-09

(54)【発明の名称】車両の地点指定方法および装置

(51)【国際特許分類】

   G01C 21/36 20060101AFI20240902BHJP

   B60K 35/23 20240101ALI20240902BHJP

   B60K 35/00 20240101ALI20240902BHJP

   G08G 1/0962 20060101ALI20240902BHJP

   G06F 3/01 20060101ALI20240902BHJP

   G06F 3/0481 20220101ALI20240902BHJP

   B60R 11/02 20060101ALI20240902BHJP

   B60R 1/24 20220101ALI20240902BHJP

   G06T 19/00 20110101ALI20240902BHJP

【ＦＩ】

G01C21/36

B60K35/00 A

B60K35/00 Z

G08G1/0962

G06F3/01 510

G06F3/0481

B60R11/02 Z

B60R1/24

G06T19/00 600

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023029376

(22)【出願日】2023-02-28

(71)【出願人】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(71)【出願人】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】100086232

【弁理士】

【氏名又は名称】小林 博通

(74)【代理人】

【識別番号】100092613

【弁理士】

【氏名又は名称】富岡 潔

(72)【発明者】

【氏名】荻巣 拓磨

(72)【発明者】

【氏名】渡辺 博司

【テーマコード（参考）】

2F129

3D020

3D344

5B050

5E555

5H181

【Ｆターム（参考）】

2F129AA03

2F129CC14

2F129CC15

2F129EE29

2F129EE65

2F129EE78

2F129EE79

2F129GG17

2F129HH12

2F129HH14

3D020BA20

3D020BC01

3D344AA26

3D344AA30

3D344AB01

3D344AC25

3D344AD01

3D344AD13

5B050CA07

5B050DA04

5B050EA07

5B050EA12

5B050EA13

5B050EA19

5B050EA27

5B050FA05

5E555AA04

5E555AA26

5E555BA23

5E555BA24

5E555BA83

5E555BA85

5E555BA87

5E555BB23

5E555BB24

5E555BC18

5E555CA12

5E555CA42

5E555CB12

5E555CB36

5E555CB65

5E555CC22

5E555DA09

5E555DB18

5E555DB53

5E555DC09

5E555DC19

5E555DC60

5E555EA14

5E555EA22

5E555FA00

5H181AA01

5H181CC04

5H181FF24

5H181FF27

5H181FF33

5H181FF38

5H181FF39

(57)【要約】

【課題】ＡＲ－ＨＵＤを利用して、運転者以外の同乗者等が目印となる地点を運転者に容易にかつ正しく伝えられるようにする。
【解決手段】車両は、ＡＲ－ＨＵＤを備え、ウインドシールドを通して見える表示エリア１３に虚像を表示できる。前方カメラによって取得される車両前方の光景の画像がタッチパネルを備えたディスプレイ４にリアルタイムに表示され、指示者となる同乗者は、画面上で所望の地点を手指で指定する。指定された地点に対応して、現実の光景に重なるゴールマークがＡＲ－ＨＵＤを介して表示される。
【選択図】図３

【特許請求の範囲】

【請求項1】

カメラを介して車両前方の画像を取得し、
この画像を運転者以外の指示者が視認できるモニタに表示し、
指示者がこのモニタの画面上で指定した地点を特定し、
運転者の視点位置を検出し、
車両のＡＲ－ＨＵＤを介して、ウインドシールドを通して運転者が見る前方の現実の光景に重ねて、上記の指定地点を示すマークを表示する、
車両の地点指定方法。

【請求項2】

指示者が上記モニタの画面上で指定した地点をグローバル座標上で特定し、
このグローバル座標を運転者の視点位置を考慮してＡＲ－ＨＵＤの座標系に変換して表示する、
請求項１に記載の車両の地点指定方法。

【請求項3】

上記ＡＲ－ＨＵＤの表示エリアに対応したフレームを上記モニタの画像に重ねて表示する、
請求項１に記載の車両の地点指定方法。

【請求項4】

運転者の視点位置に合わせて上記モニタ上における上記フレームの位置を修正する、
請求項３に記載の車両の地点指定方法。

【請求項5】

上記モニタの画面上で指定した指定地点が上記ＡＲ－ＨＵＤの表示エリア内であるか否かを判定し、
表示エリア外である場合は、上記マークと異なる第２のマークを、上記表示エリアの外縁付近でかつ上記指定地点に対応する位置に近い位置に表示する、
請求項１に記載の車両の地点指定方法。

【請求項6】

上記第２のマークは、上記指定地点に対応する位置の方向に向いた矢印形状をなす、
請求項５に記載の車両の地点指定方法。

【請求項7】

上記モニタの画面上で指定した指定地点が上記ＡＲ－ＨＵＤの表示エリア内であるか否かを判定し、
表示エリア外である場合は、上記画像の中で上記指定地点を含む一部を切り出してサムネイル画像を生成し、
このサムネイル画像を上記表示エリアの外縁付近でかつ上記指定地点に対応する位置に近い位置に表示する、
請求項１に記載の車両の地点指定方法。

【請求項8】

車両前方の路面に対応した面を示す格子画像を生成し、
上記モニタに表示される画像にこの格子画像を重ねて表示する、
請求項１に記載の車両の地点指定方法。

【請求項9】

上記モニタとして、車両に設置されたディスプレイを用いる、
請求項１に記載の車両の地点指定方法。

【請求項10】

上記モニタとして、指示者が保有する携帯デバイスを用いる、
請求項１に記載の車両の地点指定方法。

【請求項11】

車両前方の画像を取得するカメラと、
運転者以外の指示者が視認できるように上記画像を表示するとともに、ポインタ機能を有する表示部と、
運転者の視点位置を直接もしくは間接に検出する視点検出部と、
ウインドシールドを通して見える現実情報に、仮想情報を重ねて表示するＡＲ－ＨＵＤと、
このＡＲ－ＨＵＤを制御する制御部と、
を備え、
上記制御部は、
指示者が上記表示部の画面上で指定した地点を特定し、
上記ＡＲ－ＨＵＤを介して、ウインドシールドを通して運転者が見る前方の現実の光景に重ねて、上記の指定地点を示すマークを表示する、
車両の地点指定装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、車両の運転者以外の指示者が指定した地点を運転者に視認させるようにした車両の地点指定方法および装置に関する。

【背景技術】

【0002】

近年、車両の運転中に必要な種々の情報を運転席前方のウインドシールドに投影して表示するＨＵＤ（ヘッドアップディスプレイ）が普及しつつある。またＨＵＤをより進化させた技術としてＡＲ－ＨＵＤ（拡張現実ヘッドアップディスプレイ）が知られている。このＡＲ－ＨＵＤでは、ウインドシールドを通して見える現実情報に、虚像からなる仮想情報を重ねて表示することができ、ウインドシールドのガラス面上に情報が表示される一般的なＨＵＤに比較して運転者の視点ないし焦点の移動が少なくなる。

【0003】

特許文献１には、ＡＲ－ＨＵＤを介してカーナビゲーションシステムの案内情報を表示する技術が開示されている。例えば、左折すべき交差点の現実の光景に重ねて左に折れ曲がった矢印を表示することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－１７３３９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば、車両が目的とする地点あるいは目印となる地点に近付いたときに、同乗者（あるいは音声通信を介して道案内する者等）がこれらの地点を運転中の運転者に指示することがある。多くの場合は、「右側に見える青色のビルの隣り」といったように口頭で指示がなされ、運転者は目視でこのような指示された地点を探すことになる。そのため、指示された地点を探すのに手間取って行き過ごしてしまったり、指示者の意図した地点と異なる地点を運転者が認識したりすることがしばしば起こり得る。

【0006】

同乗者によるカーナビゲーションシステムの目的地設定は、ある程度遠い地点（換言すれば時間的に余裕がある地点）の指定には適当であるが、ある程度近いところでの同乗者等による道案内や地点の指示には不向きである。しかも、カーナビゲーションシステムの目的地設定では、運転者がカーナビゲーションシステムの経路案内を見る必要があり、指示者の意図した地点が直接的に運転者に伝わらない。

【課題を解決するための手段】

【0007】

この発明に係る車両の地点指定方法は、
カメラを介して車両前方の画像を取得し、
この画像を運転者以外の指示者が視認できるモニタに表示し、
指示者がこのモニタの画面上で指定した地点を特定し、
運転者の視点位置を検出し、
車両のＡＲ－ＨＵＤを介して、ウインドシールドを通して運転者が見る前方の現実の光景に重ねて、上記の指定地点を示すマークを表示する。

【発明の効果】

【0008】

この発明によれば、指示者にとっては、運転者が見ている前方の光景に対応した画像をモニタで見ながら地点の指定を行うことができるので、意図した地点の指定を直感的に行うことができる。

【図面の簡単な説明】

【0009】

【図1】一実施例の地点指定装置の構成説明図。

【図2】車両内の運転者の視点から見える光景の説明図。

【図3】ディスプレイ上での同乗者による指さし指示の説明図。

【図4】ウインドシールドを通して運転者が見る指定地点の表示の説明図。

【図5】コントローラが実行する地点指定の処理の流れを示したフローチャート。

【図6】拡大表示を行う処理の要部を示したフローチャート。

【図7】グローバル座標系の説明図。

【図8】拡大表示を行う際の第１の指さし指示の説明図。

【図9】拡大画像上での第２の指さし指示の説明図。

【図10】拡大した画像をＡＲ－ＨＵＤによりサムネイル表示した説明図。

【図11】ＡＲ－ＨＵＤの表示エリア外を指定している指さし指示の例を示す説明図。

【図12】表示エリア外である場合のＡＲ－ＨＵＤの表示例を示す説明図。

【図13】表示エリア外である場合のサムネイル表示の例を示す説明図。

【図14】路面に対応した面を示す格子画像をディスプレイに表示した例の説明図。

【発明を実施するための形態】

【0010】

以下、この発明の一実施例を図面に基づいて詳細に説明する。

【0011】

図１は、一実施例の車両の地点指定装置の構成を示した説明図である。一実施例の車両は一般的な自動車であり、運転席に対してＡＲ－ＨＵＤ（拡張現実ヘッドアップディスプレイ）１を備えている。このＡＲ－ＨＵＤ１は、ウインドシールドを通して見える現実情報に、仮想情報を重ねて表示するものである。本発明においては、その形式はどのようなものであってもよいが、例えばウインドシールドの下部にプロジェクタを備え、ウインドシールドの表面で反射して運転者の目に届く光により運転者前方の適当な距離（例えば数メートル）離れた仮想の焦点面に仮想情報の虚像が生成される。仮想情報としては、本発明に係る後述する指定地点のマークのほか、車速情報やカーナビゲーションシステムの経路案内情報等他の適当な情報が含まれ得る。

【0012】

地点指定装置は、ＡＲ－ＨＵＤ１のほかに、車両前方の画像を取得するカメラ（前方カメラと呼ぶ）２と、ＡＲ－ＨＵＤ１の虚像位置を適切なものとするために運転者の視点位置を検出するカメラ（視点検出用カメラと呼ぶ）３と、表示部となるモニタ例えば車両のダッシュボード中央に設置されたディスプレイ４と、ディスプレイ４やＡＲ－ＨＵＤ１を制御するコントローラ５と、を備えて構成される。

【0013】

前方カメラ２は、地点指定装置専用のカメラを備えていても良いが、いわゆるＡＤＡＳ（先進運転支援システム）に含まれる前方を指向したカメラを利用することが可能である。前方カメラ２は、複数のカメラを含む構成であってもよい。この前方カメラ２が取得した車両前方の画像は、コントローラ５を介して、実質的にリアルタイムにディスプレイ４上に表示される。従って、ディスプレイ４上に表示される画像は、適当なフレームレートの動画である。

【0014】

ディスプレイ４は、地点指定装置専用のディスプレイであっても良いが、カーナビゲーションシステムの情報表示やオーディオシステムの情報表示等を兼ねたいわゆるセンターインフォメーションディスプレイ（ＣＩＤ）を利用することが可能である。一実施例のディスプレイ４はＣＩＤであり、地点指定モードへのモード切換ないしモード選択によって地点指定装置用のディスプレイとして利用される。地点指定モードにおいて、上述のように、前方カメラ２によって取得される車両前方の光景がディスプレイ４に表示される。ディスプレイ４は、地点指定のための入力装置を兼ねており、表示される車両前方の画像の中で指定された地点の位置を特定するための適当なポインタ機能を有する。一実施例のディスプレイ４は、ポインタ機能として、接触ないし非接触のタッチパネルを表示面に備えており、手指により表示画面上（つまりタッチパネル上）の所望の地点を指し示すことで、その地点が特定される。ダッシュボード中央にディスプレイ４が配置されているため、運転者以外の指示者例えば助手席の同乗者がディスプレイ４の表示内容を視認することができ、かつ同乗者が手指によりディスプレイ４上で地点の指定を行うことができる。なお、以下では、指示者（例えば同乗者）による表示画面上での地点指定操作を「指さし指示」と呼ぶことがある。

【0015】

視点検出用カメラ３は、例えばウインドシールド上縁付近に運転者頭部に向かって配置される。この視点検出用カメラ３が取得した画像をコントローラ５が処理することで、運転者の視点位置（つまり瞳の位置）が検出される。なお、運転者の視点位置の検出は、カメラによらずに行うようにしてもよく、例えば運転者の着座位置や運転者の身長等から間接的に視点位置の検出を行うものであってもよい。コントローラ５は、このように検出された視点位置に応じてＡＲ－ＨＵＤ１による虚像つまりオブジェクトの生成位置を修正し、ウインドシールドを通して運転者が見る現実の光景とＡＲ－ＨＵＤ１のオブジェクトとが正しく重なり合うようにする。

【0016】

コントローラ５は、種々の制御を行う車載のコンピュータシステムの一部の機能として構成されており、地点指定モードにおいては、前方カメラ２が取得した車両前方の画像をディスプレイ４に表示し、このディスプレイ４の画像上で同乗者による地点指定がなされたときは、この指定された地点を特定し、ＡＲ－ＨＵＤ１を介して指定地点を示すマーク（例えば後述するゴールマーク）を表示する。

【0017】

図２は、車両内の運転者の視点から見える光景の説明図である。図の下側部分にはステアリングホイール１１や前述のディスプレイ４を備えたダッシュボード１２の一部が見えており、図の上側部分は、ウインドシールドを通して見える車両前方の光景を示している。図示例では、道路の両側にビルが並ぶ市街地を走行中であり、路面や両側に並ぶビル等が見えている。この車両は、前述したようにＡＲ－ＨＵＤ１を備えており、ウインドシールドを通して見える範囲の一部に、長方形をなすＡＲ－ＨＵＤ１の表示エリア１３が存在する。図では、四隅にそれぞれ位置する４つのＬ字形記号１３ａを表示することによって表示エリア１３が示されているが、このＬ字形記号１３ａの表示は、無くてもよい。表示エリア１３は、基本的に、運転者の正面となる位置に配置される。この表示エリア１３には、運転中に必要な種々の仮想情報が表示される。例えば、図示するように、走行中の道路の制限速度情報１４や実速度情報１５等が表示される。

【0018】

ディスプレイ４は、前述したようにダッシュボード１２の中央部つまり運転席と助手席との間に配置されている。このディスプレイ４には、前述したように、前方カメラ２を介して取得した車両前方の光景が動画として表示される。

【0019】

図３および図４は、実施例の地点指定装置の基本的な動作を説明するための説明図であり、図３はディスプレイ４上での同乗者による指さし指示の説明図、図４はこれに対応したＡＲ－ＨＵＤ１による指定地点の表示の説明図である。例えば、走行中に同乗者が道案内をするために、特定の地点（例えば目的となる特定のビルや曲がり角等）を指示する必要がある場合、同乗者は、ディスプレイ４に表示されている画像を見ながら、自身が意図する地点を指さし指示する。図示例では、走行中の道路の右側のある地点が指定されている。なお、図３においては、指さし指示を行っている同乗者の手１６が模式的に示されている。

【0020】

このような同乗者による指さし指示がなされると、図４に示すように、ＡＲ－ＨＵＤ１を介して、現実の光景に重畳して指定された地点（指定地点と呼ぶ）を示すマーク例えば「Ｇ」の文字を付した吹き出し状のゴールマーク１８が表示される。なお、図示例では、指定地点までの残り距離（符号１９参照）も併せて表示される。

【0021】

例えば、ディスプレイ４の画像上で指定された指定地点は、後述するように、コントローラ５によって、指定がなされた時点の車両位置を原点とするグローバル座標上で特定される。そして、この指定地点のグローバル座標を運転者の視点位置を考慮してＡＲ－ＨＵＤ１の座標系に変換することで、ＡＲ－ＨＵＤ１の表示エリア１３内でのゴールマーク１８の表示位置が定められる。従って、運転者にとっては、現実の光景の中に指定地点を示すゴールマーク１８が存在するように見える。その後のゴールマーク１８の表示位置は、車両の移動（走行）に基づいて演算され、かつ所定のフレームレートに従って逐次更新される。そのため、走行中、現実の指定地点に重なってゴールマーク１８が表示され続ける。

【0022】

なお、地点指定が完了したことを同乗者が確認できるようにディスプレイ４の画像上に同様のゴールマーク１８を表示するようにしてもよい。

【0023】

図８～図１０は、実施例の地点指定装置の付加的な機能を説明するための説明図であり、図８，図９はディスプレイ４の表示および操作を示し、図１０はＡＲ－ＨＵＤ１による表示を示している。同乗者がディスプレイ４に表示されている画像上で所望の地点の指定を行う際に、指定しようとしている地点が車両から比較的に遠い場合、ディスプレイ４上では目印となるビル等が小さく見えるので、意図する地点を正しく指定することが難しくなりやすい。そのため、好ましい実施例では、付加的な機能として、地点指定のために、前方カメラ２が取得した画像の一部を切り出して拡大した拡大画像をディスプレイ４に表示する機能を備えている。

【0024】

図８は、前述した図３と同様に、ディスプレイ４上で同乗者が指さし指示を行っている様子を示している。このとき、ディスプレイ４には、前方カメラ２が取得した画像が実質的にリアルタイムで動画として表示されている。このようにディスプレイ４で指さし指示された地点は、前述と同様に特定される。ここでは、仮の指定地点として特定され、この地点が車両から所定の距離よりも遠いかどうかが判定される。所定の距離よりも近ければ、この仮の指定地点が最終的な指定地点として決定される。そして、この指定地点に対応して、ＡＲ－ＨＵＤ１によるゴールマーク１８の表示が行われる。

【0025】

一方、仮の指定地点として特定した地点が所定の距離よりも遠い場合は、図９に示すように、前方カメラ２が取得した画像の中で仮に指定された地点を含む一部を切り出して拡大した拡大画像２１がディスプレイ４に表示される。好ましい一実施例では、拡大画像２１は、前方カメラ２による動画の表示を継続しているディスプレイ４の画面の一部（特に指さし指示した画面上の点の近傍）に重ねて表示される。そして、このように拡大表示された拡大画像２１の上で、同乗者が再度指さし指示を行うことで、この指定地点が最終的な指定地点として決定される。好ましい一実施例では、拡大画像２１は、動画ではなく静止画として表示される。

【0026】

このように、同乗者が指定しようとしている地点が遠い場合に拡大表示を行うことで、手指による地点の指定をより正しくかつ容易に行うことができる。しかも拡大画像２１を静止画とすることで、地点の指定がより容易となる。

【0027】

好ましい一実施例では、最初に指さし指示を行って拡大画像２１が表示された後、所定時間経過後にこの拡大画像２１の表示を終了する。走行に伴い、静止画である拡大画像２１と現実の光景とのずれが大きくなるので、長時間の表示は好ましくない。換言すれば、時間が経過すると同乗者が意図する地点に車両が近付くので、拡大表示があまり意味のないものとなる。同様の理由により、上記の所定時間は、車速が高いほど短く設定することが望ましい。

【0028】

なお、拡大画像２１を用いて指さし指示が完了した段階で拡大画像２１の表示を終了するようにしてもよい。

【0029】

上記のように拡大画像２１を用いて比較的遠い地点を指定した場合、ＡＲ－ＨＵＤ１によるゴールマーク１８の表示は、前述した図４と同様に行うことができる。

【0030】

あるいは、図１０に示すように、地点指定が行われた拡大画像２１と同様のサムネイル画像２２をＡＲ－ＨＵＤ１の表示エリア１３の一部（特に指定地点と重なる部分）に表示し、このサムネイル画像２２の中にゴールマーク１８を表示するようにしてもよい。この場合のサムネイル画像２２は、拡大画像２１と同様に静止画である。

【0031】

なお、指定地点にある程度近付いた段階で、サムネイル画像２２の表示を終了し、通常の図４のようなゴールマーク１８の表示に切り換えるようにしてもよい。

【0032】

次に、図１１および図１２は、ＡＲ－ＨＵＤ１の表示エリア１３が運転者の視界の一部に限られていることを考慮した一実施例の制御に関する説明図である。この実施例においては、図１１に示すように、ＡＲ－ＨＵＤ１の表示エリア１３に対応した長方形のフレーム３１が、ディスプレイ４の動画に重ねて表示される。ディスプレイ４におけるこのフレーム３１の表示位置は、検出される運転者の視点位置に合わせて修正される。

【0033】

同乗者は、フレーム３１の内側であっても外側であっても前述したように手指により所望の地点の指さし指示を行うことができる。指さし指示された地点は、コントローラ５によって特定され、かつこの指定地点がＡＲ－ＨＵＤ１の表示エリア１３の内側であるか外側であるか（換言すればフレーム３１の内側であるか外側であるか）が判定される。表示エリア１３の内側である場合は、図４に示したように、表示エリア１３内に、現実の光景における指定地点と重畳するようにゴールマーク１８が表示される。

【0034】

一方、指定地点がＡＲ－ＨＵＤ１の表示エリア１３の外側である場合には、表示エリア１３よりも外側に指定地点があることを運転者に対し示すために、図１２に示すように、通常のゴールマーク１８とは異なる第２のマークとして、矢印マーク３２が表示される。この矢印マーク３２は、表示エリア１３の外縁付近でかつ指定地点に対応する位置に近い位置に表示され、指定地点に対応する位置の方向に向いた矢印形状をなしている。図１２の例では、表示エリア１３の右上の隅に、右斜め上方を指向した矢印マーク３２が表示されている。これにより、運転者は、視界の中で表示エリア１３の右斜め上方の方向に指定地点があることを直感的に認識することができる。

【0035】

図１３は、指定地点が表示エリア１３の外側である場合の表示の変形例を示している。この例では、指定地点が表示エリア１３の外側である場合は、前方カメラ２が取得する画像の中で指定地点を含む一部を切り出してサムネイル画像３５を生成し、このサムネイル画像３５を図１２の矢印マーク３２に代えて表示する。つまり、表示エリア１３の外縁付近でかつ指定地点に対応する位置に近い位置に、サムネイル画像３５が表示される。なお、好ましい一実施例においては、サムネイル画像３５は静止画である。このようにサムネイル画像３５をＡＲ－ＨＵＤ１により表示することで、表示エリア１３の外側であっても、どこが指定されたのかを運転者が知ることができる。

【0036】

次に、図１４は、ディスプレイ４における表示の変形例を示す。前述したように、ディスプレイ４には前方カメラ２が取得した画像が表示され、この画像の中で同乗者が地点の指さし指示を行うのであるが、路面を前方カメラ２が俯瞰して見ていることから、同乗者が所望の地点に対し路面よりも高い位置を指さし指示すると、意図した地点よりも遠い地点が指定されたものと誤って特定されることがある。つまり、高さに関連して地点の前後方向のばらつきが生じ得る。図１４に示す実施例では、車両前方の路面に対応した面を示す格子画像（Ｌ１，Ｌ２で示す）を生成し、ディスプレイ４に表示される画像にこの格子画像Ｌ１，Ｌ２を重ねて表示する。格子画像Ｌ１，Ｌ２は、例えば、路面の勾配や傾斜の情報を含む地図データから生成する、あるいは、取得した画像の解析に基づく面データから生成する、などが可能である。

【0037】

このように格子画像Ｌ１，Ｌ２をディスプレイ４の画像に重ねて表示することで、路面の高さ位置を基準として同乗者が地点の指示をしやすくなり、高さに関連した地点指定の間違いが生じにくくなる。

【0038】

なお、図１４では、作図の簡略化のために、格子画像Ｌ１，Ｌ２が水平面に沿ったように単純に示されているが、当然のことながら、路面が傾斜面であれば、傾斜面を示すように格子が表示される。

【0039】

次に、図５は、コントローラ５が実行する地点指定制御の処理の流れを示したフローチャートである。ここには、図３および図４を用いて説明した基本的な制御と図１４を用いて説明した格子画像Ｌ１，Ｌ２の表示の処理とが含まれている。なお、下記の座標系におけるｘ軸、ｙ軸、ｚ軸の方向は、例えば、ｘ軸が車両の左右方向、ｙ軸が車両の前後方向、ｚ軸が車両の高さ方向、である。

【0040】

ステップ１～４の処理は、格子画像Ｌ１，Ｌ２の表示のための付加的な処理であり、最初のステップ１において、前述したように地図情報等を用いて表示すべき格子座標（Ｘ，Ｙ，Ｚ）を定義する。これは、ある時点（ｔ＝０）の車両中心を原点とするグローバル座標上で格子点について行う。ステップ２で、時間ｔにおける車両の移動距離（ｘ(ｔ)，ｙ(ｔ)）を検出し、ステップ３で、前方カメラ２のカメラ視点（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）からの格子の相対座標（Ｘ－ｘ_ｃ－ｘ(ｔ)，Ｙ－ｙ_ｃ－ｙ(ｔ)，Ｚ－ｚ_ｃ）を算出する。高さ方向の座標Ｚは移動距離による変化はない。そして、ステップ４において、これらの座標をディスプレイ４の座標系に変換した上で、ディスプレイ４に格子画像Ｌ１，Ｌ２として表示する。

【0041】

このように格子画像Ｌ１，Ｌ２が車両前方の画像に重ねて表示されているディスプレイ４において、ステップ５では、同乗者による指さし指示（つまり手指による地点の指定）がなされたかを繰り返し判定する。指さし指示がなされていなければ、時間ｔを更新（ステップ６）した上でステップ２に戻る。なお、ステップ６における「ｆ」は、動画における１秒当たりのフレーム数に相当する一定値である。従って、ディスプレイ４の格子画像Ｌ１，Ｌ２は、前方カメラ２が取得した動画とともに、「１／ｆ」秒毎に更新される。

【0042】

ステップ５で指さし指示があったと判定したら、ステップ５からステップ７へ進み、指さし指示された地点のカメラ視点からの相対座標（Ｘ_ｆ，Ｙ_ｆ）_ｃを算出する。ここで、指さし指示された時点をｔ＝Ｔ_ｆとする。次にステップ８において、時間Ｔ_ｆまでの車両の移動距離（ｘ(Ｔ_ｆ)，ｙ（Ｔ_ｆ)）を検出し、ステップ９において、指さし指示された指定地点の座標をグローバル座標（Ｘ_ｆ，Ｙ_ｆ，Ｚ_ｆ）に変換する。

【0043】

ステップ１０では、さらに、時間ｔにおける車両の移動距離（ｘ(ｔ)，ｙ(ｔ)）を検出する。

【0044】

ステップ１１～１４は、ＡＲ－ＨＵＤ１による表示に関する処理であり、ステップ１１において、視点検出用カメラ３により運転者の視点位置を検出する。次に、ステップ１２において、この視点位置の検出に基づき、グローバル座標の原点（車両中心）から運転者の視点位置までの相対距離（ｘ_Ｄ(ｔ)，ｙ_Ｄ(ｔ)，ｚ_Ｄ(ｔ)）を算出する。さらに、ステップ１３において、運転者の視点位置からの指定地点の相対座標を、（Ｘ_ｆ－ｘ_Ｄ(ｔ)－ｘ(ｔ)，Ｙ_ｆ－ｙ_Ｄ(ｔ)－ｙ(ｔ)，Ｚ_ｆ－ｚ_Ｄ(ｔ)）として算出する。そして、ステップ１４において、これらの座標をＡＲ－ＨＵＤ１の座標系に変換した上で、ＡＲ－ＨＵＤ１を介して例えばゴールマーク１８の表示を行う。

【0045】

ステップ１５では、目的地つまり指定地点に到着したかどうかを判定する。指定地点に到着したら、一連の処理が終了する。ステップ１５の判定がＮＯであれば、時間ｔを「ｔ＋１／ｆ」と更新（ステップ１６）した上でステップ１０に戻る。「ｆ」は、動画における１秒当たりのフレーム数に相当する一定値である。従って、ＡＲ－ＨＵＤ１により表示されるゴールマーク１８の位置は、「１／ｆ」秒毎に更新され、常に現実の光景と対応するように保たれる。

【0046】

図７は、指さし指示された指定地点（Ｘ_ｆ，Ｙ_ｆ，Ｚ_ｆ）を走行中の道路５１の上に示した説明図であり、車両を側方から見た図に相当する。この図７に示すように、運転者５２は道路５１の路面を俯瞰して見ており、ウインドシールドを通して見える前方の現実の光景に、車両のＡＲ－ＨＵＤ１を介してゴールマーク１８等の仮想情報が重ねて表示される。図７において、符号５３を付した面は、ＡＲ－ＨＵＤ１によって虚像が生成される仮想の焦点面を示しており、この焦点面５３は、ウインドシールドの外側つまりウインドシールドよりも車両前方に位置する。前述したように、図示例のグローバル座標系は、例えば、ｔ＝０の時点の車両中心Ｐ０を原点とし、時間ｔ後には車両中心がＰｔで示す位置まで移動する。

【0047】

前述したように、指さし指示された座標（Ｘ_ｆ，Ｙ_ｆ）_ｃを取得し、指さし指示した時点（ｔ＝Ｔ_ｆ）の車両の移動距離（ｘ(Ｔ_ｆ)，ｙ（Ｔ_ｆ)）を求めることで、指定地点のグローバル座標（Ｘ_ｆ，Ｙ_ｆ，Ｚ_ｆ）を求めることができる。そして、車両中心から運転者５２の視点位置５２ａまでの距離（ｘ_Ｄ(ｔ)，ｙ_Ｄ(ｔ)，ｚ_Ｄ(ｔ)）を用いることで、運転者５２の視点位置５２ａからの指定地点の相対座標を、（Ｘ_ｆ－ｘ_Ｄ(ｔ)－ｘ(ｔ)，Ｙ_ｆ－ｙ_Ｄ(ｔ)－ｙ(ｔ)，Ｚ_ｆ－ｚ_Ｄ(ｔ)）として求めることができる。このような位置にＡＲ－ＨＵＤ１による表示を行うことで、現実環境における指定地点に重畳してゴールマーク１８が表示される。

【0048】

次に、図６は、図８～図１０を用いて説明した付加的な機能に対応した要部のフローチャートを示している。これは、図５のフローチャートのステップ５～７に相当し、他の部分は図５と変わりがないので、省略してある。

【0049】

ステップ５では、前述したように、車両前方の画像が表示されているディスプレイ４の画面上で、同乗者による指さし指示（つまり手指による地点の指定）がなされたかを繰り返し判定する。指さし指示がなされていなければ、前述したようにステップ６に進む。

【0050】

一方、ステップ５で指さし指示があったと判定したら、ステップ５からステップ２１へ進み、指さし指示された地点のカメラ視点からの相対座標（Ｘ_ｔ，Ｙ_ｔ）_ｃを仮に取得する。

【0051】

そして、この実施例では、仮に取得した座標に基づき、ステップ２２において、指さし指示された地点が車両から所定の距離（Ｔｈ）よりも遠いかどうかを判定する。つまり、「Ｙ_ｔ＞Ｔｈ」であるか否かを判定する。ここでＮＯであれば、前述したステップ７に進み、仮に取得した座標を最終的な指さし指示された地点の座標（（Ｘ_ｆ，Ｙ_ｆ）_ｃ）であるとする。なお、初回の指さし指示した時点ｔを（ｔ＝Ｔ_ｆ）とする。

【0052】

ステップ２２の判定がＹＥＳであれば、ステップ２３に進み、前述したように、ディスプレイ４に拡大画像２１を表示する（図９参照）。そして、ステップ２４において、拡大画像２１に基づく２回目の指さし指示があったかどうかを判定する。指さし指示が検知されたら、ステップ２５に進み、指さし指示された地点の相対座標（Ｘ_ｔ，Ｙ_ｔ）_ｃを仮に取得した上で、ステップ７に進む。これにより、２回目の指さし指示による地点が最終的な指さし指示された地点（（Ｘ_ｆ，Ｙ_ｆ）_ｃ）として決定される。なお、２回目の指さし指示した時点ｔを（ｔ＝Ｔ_ｆ）とする。ステップ２４においてＮＯの場合は、拡大画像２１上での２回目の指さし指示がなされるまで、時間ｔを更新（ステップ２６）しながら待機する。

【0053】

以上、この発明の一実施例を詳細に説明したが、この発明は、上記実施例に限定されるものではなく、種々の変更が可能である。例えば、上記実施例では、地点指定を行うモニタとして車両に固定されたディスプレイ４を例に挙げたが、車両に同乗している指示者もしくは車両の外部にいる指示者が保有するスマートフォン等の携帯デバイスを地点指定のためのモニタとして利用することもできる。例えば、指示者が車両の外部にいる場合に、音声通話での道案内と併せて、指示者が車両前方の画像をモニタ上で見ながら目印となる地点を指定できるので、非常に便利となる。

【符号の説明】

【0054】

１…ＡＲ－ＨＵＤ
２…前方カメラ
３…視点検出用カメラ
４…ディスプレイ
５…コントローラ
１３…表示エリア
１８…ゴールマーク
２１…拡大画像
２２…サムネイル画像
３１…フレーム
３２…矢印マーク
３５…サムネイル画像
Ｌ１，Ｌ２…格子画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】