IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧

特許7585754表示装置、移動体、表示方法、及びプログラム
<>
  • 特許-表示装置、移動体、表示方法、及びプログラム 図1
  • 特許-表示装置、移動体、表示方法、及びプログラム 図2
  • 特許-表示装置、移動体、表示方法、及びプログラム 図3
  • 特許-表示装置、移動体、表示方法、及びプログラム 図4
  • 特許-表示装置、移動体、表示方法、及びプログラム 図5
  • 特許-表示装置、移動体、表示方法、及びプログラム 図6
  • 特許-表示装置、移動体、表示方法、及びプログラム 図7
  • 特許-表示装置、移動体、表示方法、及びプログラム 図8
  • 特許-表示装置、移動体、表示方法、及びプログラム 図9
  • 特許-表示装置、移動体、表示方法、及びプログラム 図10
  • 特許-表示装置、移動体、表示方法、及びプログラム 図11
  • 特許-表示装置、移動体、表示方法、及びプログラム 図12
  • 特許-表示装置、移動体、表示方法、及びプログラム 図13
  • 特許-表示装置、移動体、表示方法、及びプログラム 図14
  • 特許-表示装置、移動体、表示方法、及びプログラム 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-11
(45)【発行日】2024-11-19
(54)【発明の名称】表示装置、移動体、表示方法、及びプログラム
(51)【国際特許分類】
   G01C 21/36 20060101AFI20241112BHJP
   G08G 1/0969 20060101ALI20241112BHJP
   G09B 29/00 20060101ALI20241112BHJP
   B60K 35/23 20240101ALI20241112BHJP
【FI】
G01C21/36
G08G1/0969
G09B29/00 A
B60K35/23
【請求項の数】 6
(21)【出願番号】P 2020205061
(22)【出願日】2020-12-10
(65)【公開番号】P2021117220
(43)【公開日】2021-08-10
【審査請求日】2023-10-11
(31)【優先権主張番号】P 2020010358
(32)【優先日】2020-01-24
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】鈴木 友規
(72)【発明者】
【氏名】▲高▼澤 和寛
(72)【発明者】
【氏名】草▲なぎ▼ 真人
(72)【発明者】
【氏名】堀 悠貴
(72)【発明者】
【氏名】関屋 晨
【審査官】増子 真
(56)【参考文献】
【文献】特開2019-174456(JP,A)
【文献】特開2017-021019(JP,A)
【文献】特開2019-119318(JP,A)
【文献】国際公開第2017/134865(WO,A1)
【文献】国際公開第2017/056211(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 - 99/00
G01C 21/00 - 21/36
G01C 23/00 - 25/00
B60W 10/00 - 10/30
B60W 30/00 - 60/00
B60K 35/00 - 37/20
G09B 23/00 - 29/14
(57)【特許請求の範囲】
【請求項1】
被投射画像を表示する表示装置であって、
経路案内情報を提示する提示画像を生成する画像生成部と、
移動体に備えられ、前記提示画像を含む前記被投射画像を投射する投射部と、を備え、
前記提示画像は、前記移動体の移動予定方向を提示し、
前記提示画像の虚像を前記移動体の前景に重畳表示し、
前記提示画像の虚像は、前記前景内の垂直方向に沿う方向に配列された複数の図形で前記前景内の交差点における前記移動予定方向を提示し、
前記複数の図形のそれぞれの間隔は、前記垂直方向に沿う方向における前記投射部の最大投射画角以下であり、
前記複数の図形の表示間隔は、前記移動体の走行方向における重畳範囲の長さを示す重畳距離よりも小さい
表示装置。
【請求項2】
前記図形は、前記移動予定方向を示す方向性を有する矢印図形の画像である
請求項に記載の表示装置。
【請求項3】
記複数の図形は、前記前景内の前記垂直方向に沿う方向における前記交差点に近い位置で前記移動予定方向を提示する前記図形ほど、前記前景内の水平方向に沿う方向における前記交差点に近い位置で前記移動予定方向を提示する
請求項、又はに記載の表示装置。
【請求項4】
請求項1乃至の何れか1項に記載の表示装置を有する移動体。
【請求項5】
被投射画像を表示する表示装置による表示方法であって、前記表示装置が、
経路案内情報を提示する提示画像を生成する工程と、
移動体に備えられた投射部により前記提示画像を含む前記被投射画像を投射する工程と、を行い、
前記提示画像は、前記移動体の移動予定方向を提示し、
前記提示画像の虚像を前記移動体の前景に重畳表示し、
前記提示画像の虚像は、前記前景内の垂直方向に沿う方向に配列された複数の図形で前記移動予定方向を提示し、
前記複数の図形のそれぞれの間隔は、前記垂直方向に沿う方向における前記投射部の最大投射画角以下であり、
前記複数の図形の表示間隔は、前記移動体の走行方向における重畳範囲の長さを示す重畳距離よりも小さい
表示方法。
【請求項6】
被投射画像を表示する表示装置で動作するプログラムであって、
経路案内情報を提示する提示画像を生成し、
移動体に備えられた投射部により前記提示画像を含む前記被投射画像を投射する
処理をコンピュータに実行させ、
前記提示画像は、前記移動体の移動予定方向を提示し、
前記提示画像の虚像を前記移動体の前景に重畳表示し、
前記提示画像の虚像は、前記前景内の垂直方向に沿う方向に配列された複数の図形で前記移動予定方向を提示し、
前記複数の図形のそれぞれの間隔は、前記垂直方向に沿う方向における前記投射部の最大投射画角以下であり、
前記複数の図形の表示間隔は、前記移動体の走行方向における重畳範囲の長さを示す重畳距離よりも小さい
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置、移動体、表示方法、及びプログラムに関する。
【背景技術】
【0002】
従来、各種情報を含む被投射画像を車両のフロントウインドシールド等に投射することで、各種情報を車両の前景に重畳表示し、車両の運転者に視認させるヘッドアップディスプレイ等の表示装置が知られている。
【0003】
また、このような表示装置における表示情報の一つとして、車両の経路を案内する経路案内情報として、車両の走行予定経路(移動予定経路)を提示する画像を表示し、報知したい場所までの残距離に基づいて、この表示形態を変化させる技術が開示されている(例えば、特許文献1参照)。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の技術では、画像を表示するために広角の投射画角が求められ、表示装置のサイズやコストが増大する場合がある。
【0005】
本発明は、狭い投射画角でも経路案内情報を提示可能にすることを課題とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る表示装置は、被投射画像を表示する表示装置であって、経路案内情報を提示する提示画像を生成する画像生成部と、移動体に備えられ、前記提示画像を含む前記被投射画像を投射する投射部と、を備え、前記提示画像は、前記移動体の移動予定方向を提示し、前記提示画像の虚像を前記移動体の前景に重畳表示し、前記提示画像の虚像は、前記前景内の垂直方向に沿う方向に配列された複数の図形で前記移動予定方向を提示し、前記複数の図形のそれぞれの間隔は、前記垂直方向に沿う方向における前記投射部の最大投射画角以下であり、前記複数の図形の表示間隔は、前記移動体の走行方向における重畳範囲の長さを示す重畳距離よりも小さい
【発明の効果】
【0007】
本発明によれば、狭い投射画角でも経路案内情報を提示できる。
【図面の簡単な説明】
【0008】
図1】実施形態に係る表示装置が車両に搭載された構成例を示す図である。
図2】表示部の構成例を示す図である。
図3】表示装置が車両に搭載された車載システムの構成例を示すブロック図である。
図4】検出装置の構成例を示すブロック図である。
図5】認識装置の機能構成例を示すブロック図である。
図6】車両又は車両の表示部品に対する障害物の相対位置例を示す図である。
図7】実施形態に係る制御部のハードウェア構成例のブロック図である。
図8】実施形態に係る制御部の機能構成例のブロック図である。
図9】実施形態に係る制御部による処理例を示すフローチャートである。
図10】残距離が提示閾値以下でない場合の前景への表示例を示す図である。
図11】残距離が提示閾値以下である場合の前景への表示例を示す図である。
図12】被投射画像のサイズと提示画像との関係を示す図であり、(a)は比較例に係る図、(b)は実施形態に係る図である。
図13】被投射画像のサイズと投射画角との関係例を示す図である。
図14】矢印図形の表示間隔と重畳範囲との関係例を示す図である。
図15】矢印図形の表示位置例を説明する図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して発明を実施するための形態について説明する。なお、各図面において、同一構成の部分には同一符号を付し、重複した説明を省略する場合がある。
【0010】
実施形態では、経路案内情報として移動体の移動予定方向を提示する提示画像を生成し、移動体に備えられた投射部により提示画像を含む被投射画像を投射して表示する。移動体の移動予定経路を提示するための大きな画像を投射せず、移動体の移動予定方向を提示する小さな画像を投射することで、狭い投射画角であっても経路案内情報を提示可能にする。
【0011】
<実施形態における用語について>
(移動体)
移動可能な物体をいう。例えば移動体は、自動車、車両、電車、汽車又はフォークリフト等の陸上を移動可能な陸上移動体を含み、飛行機、気球又はドローン等の空中を移動可能な空中移動体を含み、船、船舶、汽船又はボート等の水上を移動可能な水上移動体を含む。
【0012】
(前景)
移動体の運転者が視認する移動体の前方の風景をいう。例えば、フロントウインドシールドを通じて運転者が視認する車両前方の風景が前景に該当する。
【0013】
(移動予定経路)
移動体が出発地から目的地まで移動する予定の経路のうち、移動体が直近に移動する予定の経路をいう。実施形態では、移動体が車両である場合を一例とするため、移動予定経路を車両の走行予定経路と称して説明を行う。
【0014】
(移動予定方向)
移動体の移動予定経路において、移動体が移動する予定の方向をいう。例えば、移動予定経路に交差点がある場合には、交差点で移動体が進むべき方向が移動予定方向に該当する。実施形態では、移動体が車両である場合を一例とするため、移動予定方向を車両の走行予定方向と称して説明を行う。
【0015】
(経路案内情報)
移動体が出発地から目的地まで移動する経路を案内する情報をいう。経路案内情報には、移動予定経路(走行予定経路)の情報や、移動予定方向(走行予定方向)、経路案内情報を提示する地点の情報等が含まれる。
【0016】
(被投射画像)
投射部により投射され、移動体の運転者に視認させる画像をいう。
【0017】
(提示画像)
経路案内情報を提示する画像をいう。投射部により投射されることで移動体の運転者に視認される。実施形態に係る提示画像は、移動体の移動予定方向(車両の走行予定方向)を提示できる。
【0018】
(運転者)
移動体を運転又は操縦する者のことをいう。
【0019】
以下、車両に搭載されるヘッドアップディスプレイ(HUD;Head Up Display)を表示装置の一例として、実施形態を説明する。
【0020】
<構成例>
図1は実施形態に係る表示装置1が自車両8に搭載された構成の一例を示す図である。
【0021】
表示装置1は自車両8に設けられたダッシュボードの内部に埋め込まれており、表示装置1の上面に設けられた射出窓3からフロントウインドシールド71に向けて被投射画像を投射する。被投射画像はフロントウインドシールド71よりも正のY方向に虚像Iとして表示され、自車両8の運転者Vにより視認される。運転者Vは、虚像Iを視認することで、自車両8の正のY方向にある他の車両や路面等に視線を保ったまま、少ない視線移動で運転のために有用な情報を取得できる。
【0022】
なお、表示装置1はフロントウインドシールド71に被投射画像を投射できればよく、ダッシュボードの他、天井やサンバイザなどに設置されていてもよい。
【0023】
図1に示すように、表示装置1は、主要な構成要素として、投射部10と、制御部20とを備えている。投射部10は、フロントウインドシールド71に向けて被投射画像を投射する。投射部10による被投射画像の投射方式としては、レーザ走査方式及びパネル方式が知られている。レーザ走査方式は、レーザ光源から射出されたレーザビームを2次元走査デバイスで走査し中間像(後述するスクリーンに投射される実像)を形成する方式である。パネル方式は、液晶パネル、DMD(Digital Micro-mirror Device)パネル、蛍光表示管(VFD;Vacuum Fluorescent Display)等のイメージングデバイスで中間像を形成する方式である。
【0024】
レーザ走査方式は、全画面を発光して部分的に遮光することで画像を形成するパネル方式とは違い、各画素に対して発光/非発光を割り当てることができるため、一般に高コントラストの画像を形成できる点で好適である。高コントラストであることで視認性が向上するため、パネル方式のHUDよりも少ない注意資源で車両の乗員が情報を視認できることが明らかになっている。
【0025】
特に、パネル方式では情報がない領域でも遮光しきれない光が投射され、HUDが画像を表示できる範囲に表示枠が投射されてしまう(この現象をポストカードという)。レーザ走査方式ではこのような現象がなく、コンテンツのみを投影できる。特に、AR(Augmented Reality)において、実在する風景に生成した画像を重ねて表示する際のリアリティが向上する。
【0026】
なお、ARとは、「拡張現実」と訳され、実在する風景に実在しないオブジェクトの画像を重ねて表示することで、目の前にある世界を仮想的に拡張する技術をいう。但し、パネル方式のHUDであってもより少ない注意資源で視認できる(疲れにくい)態様で情報を表示できるHUDであればよい。
【0027】
図2は、投射部10の構成の一例を示す図である。投射部10は、主に、光源部101と、光偏向器102と、ミラー103と、スクリーン104と、凹面ミラー105とを備えている。なお、図2は主要な構成要素を示したに過ぎず、図示する以外の構成要素を備えてもよいし、図示する構成要素の一部を備えていなくてもよい。
【0028】
光源部101は、Red(R)、Green(G)及びBlue(B)に対応した3つのレーザ光源(以下、LD:レーザダイオードとする)、カップリングレンズ、アパーチャ、合成素子及びレンズ等を備えており、3つのLDから出射されたレーザビームを合成して光偏向器102の反射面に向かって導く。光偏向器102の反射面に導かれたレーザビームは、光偏向器102により2次元的に偏向される。
【0029】
光偏向器102としては、直交する2軸に対して揺動する1つの微小なミラーや、1軸に揺動又は回動する2つの微小なミラー等を用いることができる。光偏向器102は、半導体プロセス等で作製されたMEMS(Micro Electro Mechanical Systems)ミラーとすることができる。光偏向器102は、圧電素子の変形力を駆動力とするアクチュエータにより駆動できる。但し、光偏向器102として、ガルバノミラーやポリゴンミラー等を用いてもよい。
【0030】
光偏向器102により2次元的に偏向されたレーザビームはミラー103に入射し、ミラー103により折り返され、スクリーン104の表面(被走査面)上に2次元の画像(中間像)を描画する。ミラー103としては、凹面鏡等を用いることができるが、凸面鏡や平面鏡を用いてもよい。光偏向器102とミラー103でレーザビームの方向を偏向することで、投射部10の小型化又は構成要素の配置を柔軟に変更できる。
【0031】
スクリーン104としては、レーザビームを所望の発散角で発散させる機能を有するマイクロレンズアレイやマイクロミラーアレイを用いると好適であるが、レーザビームを拡散させる拡散板、表面が平滑な透過板や反射板等を用いてもよい。一般に光源部101からスクリーン104まではHUD装置と呼ばれる。但し、この他の部品を含んでもよい。
【0032】
スクリーン104から射出されたレーザビームは、凹面ミラー105で反射され、フロントウインドシールド71に投影される。凹面ミラー105はレンズと似た働きを備え、所定の焦点距離に像を結像させる機能を備える。このため、凹面ミラー105がレンズであるとすると物体に相当するスクリーン104上の像は凹面ミラー105の焦点距離によって定まる距離Rの位置に結像する。従って、自車両8の運転者V等の乗員から見た場合、フロントウインドシールド71から距離R+Rの位置に虚像Iが表示される。自車両8の運転者Vからフロントウインドシールド71までの距離をRとすると、図2では自車両8の運転者Vの視点Eから距離R(=R+R+R)の位置に虚像Iが表示される(結像する)。
【0033】
フロントウインドシールド71への光束の少なくとも一部は自車両8の運転者Vの視点Eに向けて反射される。この結果、自車両8の運転者Vはフロントウインドシールド71を介してスクリーン104の中間像が拡大された虚像Iを視認可能となる。換言すると、自車両8の運転者Vから見て、フロントウインドシールド71越しに中間像が拡大表示された虚像Iが表示される。
【0034】
なお、一般にフロントウインドシールド71は平面ではなく僅かに湾曲している。このため、凹面ミラー105の焦点距離だけでなくフロントウインドシールド71の曲面によっても虚像Iの結像位置が決定されるが、距離Rは上述したようにほぼ距離R+Rによって定まる。視線移動が少なくて済むように虚像Iを遠方に結像させるには、距離R又はRを長くする。距離Rを長くする方法としてはミラーで光路を折り返す方法があり、距離R2を長くする方法としては凹面ミラー105の焦点距離を調整する方法がある。
【0035】
なお、フロントウインドシールド71の影響で中間像の水平線が上又は下に凸形状となる光学歪みが生じるため、ミラー103及び凹面ミラー105の少なくとも一方は、歪みを補正するように設計、配置されることが好ましい。あるいは、投影される映像が歪みを考慮して補正されることが好ましい。
【0036】
また、フロントウインドシールド71よりも視点E側に透過反射部材としてコンバイナを配置してもよい。コンバイナに凹面ミラー105からの光を照射するようにしても、フロントウインドシールド71に凹面ミラー105からの光を照射した場合と同様に、虚像Iとして情報を提示することができる。
【0037】
<表示装置1が搭載される車載システム2の構成例>
次に、表示装置1が自車両8に搭載された車載システム2を、図3を参照して説明する。図3は、表示装置1が自車両8に搭載された車載システム2の構成の一例を示すブロック図である。
【0038】
車載システム2はCAN(Controller Area Network)バス等の車載ネットワークNWを介して通信するカーナビゲーションシステム11と、エンジンECU(Electronic Control Unit)12と、表示装置1と、ブレーキECU13と、ステアリングECU14と、認識装置15と、検出装置16とを備えている。
【0039】
カーナビゲーションシステム11は、GPS(Global Positioning System)に代表されるGNSS(Global Navigation Satellite System)を備え、自車両8の現在地を検出して電子地図上に自車両8の位置を表示する。
【0040】
また、出発地と目的地の入力を受け付け、出発地から目的地までの経路案内情報を検索して電子地図上に表示したり、進路変更の手前で自車両8の乗員に進行方向を音声、文字(ディスプレイに表示される)、又はアニメーション等で案内したりする。なお、カーナビゲーションシステム11は携帯電話網などを介してサーバと通信してもよい。この場合、サーバが電子地図を自車両8に送信したり経路検索を行ったりすることができる。
【0041】
エンジンECU12は、各センサからの情報と自車両8の状況に合わせ、理想となる燃料噴射量の決定、点火時期の進角・遅角、動弁機構等の制御を行う。また、現在車速とアクセル開度の関係に対し変速段の切り替え線が定められたマップを参照する等して変速の必要性を判断する。エンジンECU12はこれらを組み合わせ先行車への追従走行時の加速や減速制御を行う。なお、エンジンと共に又はエンジンを動力とすることなく電気モータを動力としてもよい。
【0042】
ブレーキECU13は、ABS(Antilock Braking System)制御、先行車への追従走行時の制動制御、対象物とのTTC(Time To Collision)に基づく自動制動、坂道発進時の停止状態維持制御等、自車両8の運転者Vによるブレーキペダルの操作がなくても自車両8の車輪毎に制動力を制御する。
【0043】
ステアリングECU14は、自車両8の運転者Vによるハンドルの操舵の方向と操舵量を検出し、操舵方向に操舵トルクを付加するパワーステアリング制御を行う。また、走行レーンからの逸脱を回避する方向、走行レーンの中央の走行を維持する方向、又は障害物との接近を回避する方向に、自車両8の運転者Vによるハンドル操作がなくても操舵する。
【0044】
検出装置16は各種のセンサを備えており、自車両8の周囲の対象物の検出や、運転者Vによる自車両8の操作情報の検出等を行う。
【0045】
認識装置15は検出装置16が検出した対象物が何か、自車両8に対する対象物の相対位置(方向と距離)及び自車両8を示す表示部品に対する対象物の相対位置(方向と距離)を認識する。車速等の情報、及び対象物の識別結果と相対位置は表示装置1に入力される。
【0046】
<検出装置16の構成例>
次に、検出装置16の構成を、図4を参照して説明する。図4は、検出装置16の構成の一例を示すブロック図である。検出装置16は、表示装置1が表示する車速を検出する車速センサ161、表示装置1が表示する車両情報を取得する車両情報センサ162、対象物を検出するレーダセンサ163と周囲カメラ164、乗員に関する情報である乗員状態情報を取得する乗員状態情報センサ165、外部から渋滞情報などを受信するVICS受信装置166(登録商標。VICS:Vehicle Information and Communication System Center)、及びインターネットなどに接続する外部通信装置167等を備えている。
【0047】
なお、検出装置16が備える各センサは検出装置16にまとまって存在する必要はなく、車載されていればよい。
【0048】
車速センサ161は、ドライブトレイン系のシャフトの回転と共に回転する磁石を、車体に固定されたセンサ部が検出し、回転速度に比例したパルス波を発生させる。単位時間のパルス数により車速を検出できる。
【0049】
車両情報センサ162は、車速センサ161以外の車両情報を検出する1つ以上のセンサを備えている。例えば、燃料計センサ、シフトレバー位置センサ、オドメータ、トリップメータ、ウィンカセンサ、及び水温センサ等である。これらは一般的な構成で各車両情報を取得できればよい。燃料計センサは現在の残燃料を検出する。
【0050】
シフトレバー位置センサは自車両8の運転者Vが操作したシフトレバー位置を検出する。オドメータは自車両8の走行距離を累積して総走行距離を提供する。トリップメータは自車両8の運転者Vが初期化してから現在までの区間走行距離を提供する。
【0051】
ウィンカセンサは自車両8の運転者Vが操作したウィンカの方向を検出する。水温センサはエンジン冷却水の温度を検出する。これらは車両から取得できる情報の一例に過ぎず、この他、自車両8から取得できる情報は車両情報となりうる。例えば、電気自動車やハイブリッド車ではバッテリ残量、回生電力量、又は、消費電力量等も取得できる。
【0052】
周囲カメラ164は車両の周囲を撮像する撮像装置である。取り付け場所は好ましくは車用の側方から後方を撮像できるように、複数の場所に設置される。例えば、自車両8のルーフやバンパにおいて車両の左後方コーナー、右後方コーナー、及び後部等に設置される。後部に設置された撮像装置をバックモニタというが、後部の周囲カメラ164はバックモニタに限られない。この他、サイドミラー、ピラー、ルーフのサイド部分、又はドアなどに配置されてもよい。なお、周囲カメラ164には前方を撮像する撮像装置が含まれてよい。例えばルームミラーの裏側やその近くに取り付けられる。
【0053】
周囲カメラ164は単眼カメラの場合とステレオカメラの場合がある。距離情報を取得できる単眼カメラ又はステレオカメラの場合、レーダセンサ163がなくてもよい。しかし、距離情報を取得できる周囲カメラ164に加え、レーダセンサ163があることで、周囲カメラ164の距離情報とレーダセンサ163の距離情報をフュージョンし(統合し)、互いのデメリットを補完しあって高精度な距離情報を取得できる。なお、レーダセンサ163と周囲カメラ164の他にソニックセンサ(超音波センサ)等を有していてもよい。
【0054】
レーダセンサ163は自車両8の前方、側方、後方など自車両8の周囲にレーダを送信し、物体で反射して戻ってくるレーダを受信する。配置場所は自車両8の周囲の障害物を検出できる場所であればよい。レーダセンサ163は送信から受信までの時間により物体までの距離を検出すると共に、レーダの照射方向により物体の方向を検出するTOF方式(Time Of Fright)がある。
【0055】
TOF方式のレーダセンサとしてLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)が知られている。また、連続的に送信波の周波数を大きくしながら受信波と送信波の混合波を生成し、周波数がわずかに異なることで生じる混合波のうなり周波数を距離に換算するFMCW方式(Frequency Modulation Continuous Wave)がある。FMCW方式では複数の受信アンテナで受信波の位相ずれを検出することで物体の方向を推定する。
【0056】
乗員状態情報センサ165は自車両8の乗員から直接又は間接的に検出される乗員状態情報を検出するセンサである。代表的なものに顔カメラがある。顔カメラは自車両8の乗員の顔を撮像して顔認証を行い、自車両8の乗員を特定又は識別する。また、顔画像から顔の向きや視線方向を検出することが可能になる。
【0057】
この他、乗員状態情報センサ165は、例えば、心電センサ、心拍数センサ、血圧センサ、体温センサ、脈拍センサ、呼吸センサ、発汗センサ、瞬きセンサ、瞳孔センサ、脳波センサ、又は、筋電位センサ等でもよい。乗員状態情報センサ165としては例えば、腕時計型のウェアラブル端末(スマートウォッチ)を車両の乗員が装着する形態がある。
【0058】
VICS受信装置166はVICSが配信する電波を受信する。なお、VICSは渋滞や交通規制等の道路交通情報を、FM多重放送やビーコンを使ってリアルタイムに車載装置に送信するシステムである。外部通信装置167は3G、4G、5G、LTE及び無線LAN等のネットワークを介してインターネット等に接続し各種の情報を受信する。例えば、雨、雪、霧などの天候情報を受信できる。
【0059】
また、ニュース、音楽、動画等を受信してもよい。また、外部通信装置167は、例えば信号機の状態情報と信号が変わるまでの時間等を取得できる。このように、VICS受信装置166と外部通信装置167は路車間通信を行う場合がある。この他、外部通信装置167は車間通信で他車両6が検出した情報を取得してもよい。
【0060】
なお、先進運転システム(ADAS)では情報を表示して警告するだけでなく、自車両8の制御を行う場合もある。この場合、ECUはレーダセンサ163又は周囲カメラ164の少なくとも一方が検出する対象物の距離情報に基づいてエンジンECU12、ブレーキECU13及びステアリングECU14と連携して各種の運転支援を行う。例えば、先行車への追従走行時の加減速制御、自動制動、走行レーンからの逸脱回避、レーンキープ走行、及び、対象物の回避操舵等を行う。このような制御のために、周囲カメラ164が撮像した画像から、ECUが白線等の道路ペイント等を認識する。
【0061】
追従走行時の加減速制御では、ECUは車速に応じた目標の距離を維持するように動力と制動力を制御する。自動制動では、TTCに応じて、警告、ブレーキペダルの押下を促す表示及び衝突の可能性が高い場合におけるシートベルトの巻き上げと衝突回避制動等を行う。走行レーンからの逸脱回避では、運転支援ECU36は撮像された画像から白線(走行区分線)を認識し、走行レーンを逸脱する方向と反対方向に操舵トルクを付加する。
【0062】
また、レーンキープ走行では走行レーンの中央を目標走行ラインに設定し、目標走行ラインからの乖離に比例した操舵トルクを乖離とは反対方向に付加する。対象物の回避操舵では、制動では衝突を回避できないと判断した場合に、対象物を回避するための走行ラインを決定し、この走行ラインを走行する操舵トルクを付加する。
【0063】
また、例えば車線変更時にレーダセンサ163又は周囲カメラ164により、隣の車線のドアミラーに映らない領域(死角領域)を併走する車両を検知した場合に、乗員に警告する。このような支援をブラインドスポットモニタという。
【0064】
<認識装置15の機能構成例>
次に、認識装置15の機能構成について図5を参照して説明する。図5は認識装置15が備える機能構成の一例を示すブロック図である。認識装置15は対象判断部151と相対位置決定部152を備える。
【0065】
対象判断部151は主に周囲カメラ164が撮像して得た周囲画像データを解析して写っている対象物の分類を判断する。実施形態では、例えば、他車両、歩行者、二輪車、又はその他等を判断する。
【0066】
なお、周囲カメラ164がステレオカメラの場合、周囲画像データの各画素又は画素ブロックには距離情報が含まれている。このような周囲画像データを距離画像という。また、対象判断部151は周囲画像データだけでなく、レーダ測距情報からも対象物を判断できる。例えば、LIDARの点群の密度が十分に高い場合、対象物の形状が得られるので、形状を解析して対象物の分類を判断できる。
【0067】
対象判断部151が対象を判断する方法の1つとして、機械学習を用いた画像認識方法がある。機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり,コンピュータが,データ識別等の判断に必要なアルゴリズムを,事前に取り込まれる学習データから自律的に生成し,新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、更に、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。なお、機械学習の手法には、パーセプトロン、ディープラーニング、サポートベクターマシン、ロジスティック回帰、ナイーブベイズ、決定木、ランダムフォレストなどがある。
【0068】
相対位置決定部152は、図6に示すように、自車両8又は自車両8を示す表示部品62に対する対象物の相対位置(方向と距離)を決定する。図6は、自車両8又は自車両8を示す表示部品62に対する対象物の相対位置の一例を説明する図である。図6に示すように、自車両8を示す表示部品62(虚像Iの中心)が、自車両8の中心から車幅方向にQ、車長方向にPの位置に表示されるものとする。
【0069】
周囲画像データ又はレーダ測距情報により他車両6が自車両8の中心を原点に(A,B)の座標であることが検出されたものとする。また、自車両8の中心から他車両6までの距離をL、その方向をθで表す。なお、周囲画像データが距離画像の場合、(A,B)を直接求められるが、レーダ測距情報の場合は距離と方向を(A,B)に分解すればよい。相対位置決定部152は座標(A,B)を、自車両8を示す表示部品62を基準とする座標(C,D)に変換する。
【0070】
自車両8を示す表示部品62は虚像Iとして提示されるので自車両8の前方の決まった位置に存在する。上記のように車両の中心から自車両8を示す表示部品62までの車幅方向の距離をQ、車長方向の距離をPとすると座標(C,D)は以下のように決定される。
(C、D)=(A+Q,B+P)
【0071】
相対位置決定部152は車両に配置された各レーダセンサ又は周囲カメラ毎に同様の処理を行い、自車両8を示す表示部品62に対する対象物の相対位置を決定する。相対位置を決定することで距離と方向も求められる。自車両8を示す表示部品62から他車両6までの距離をL、その方向をθで表す。図6の例では、距離L=√(C+D)、方向θ=arctan(D/C)である。なお、方向θ、θの基準(どの方向を0度とするか)は適宜設定されてよい。図6では9時の方向を0度としている。
【0072】
認識装置15は、対象判断部151が判断した対象物の分類を示す分類情報と、相対位置決定部152が取得した自車両8から対象物までの距離情報と、自車両8に対する対象物の相対位置を示す位置情報とを制御部20に出力する。
【0073】
<制御部20のハードウェア構成例>
次に、制御部20のハードウェア構成を、図7を参照して説明する。図7は、制御部20のハードウェア構成の一例を示すブロック図である。図7に示すように、制御部20は、FPGA(Field-Programmable Gate Array)201と、CPU(Central Processing Unit)202と、ROM(Read Only Memory)203と、RAM(Random Access Memory)204と、I/F(Interface)205と、バスライン206と、LDドライバ207と、MEMSコントローラ208とを備えている。FPGA201、CPU202、ROM203、RAM204、及びI/F205は、バスライン206を介して相互に接続されている。
【0074】
CPU202は、制御部20の各機能を制御する。ROM203は、CPU202が、制御部20の各機能を制御するために実行するプログラム203pを記憶している。RAM204にはプログラム203pが展開され、CPU202がプログラム203pを実行するためのワークエリアとして使用される。また、RAM204は画像メモリ209を備えている。
【0075】
画像メモリ209は虚像Iとして投影される画像の生成に使用される。I/F205は、認識装置15や検出装置16と通信するためのインターフェイスであり、車両9のCAN(Controller Area Network)バス又はイーサネット(登録商標)等に接続される。
【0076】
FPGA201は、CPU202が作成した画像に基づいてLDドライバ207を制御する。LDドライバ207は投射部10の光源部101のLDを駆動することで、画像に応じたLDの発光を制御する。FPGA201は、画像の画素位置に応じた方向にレーザビームが偏向されるようにMEMSコントローラ208を介して投射部10の光偏向器102を動作させる。
【0077】
<制御部20の機能構成例>
次に、制御部20の機能構成について、図8を参照して説明する。図8は、制御部20の機能構成の一例を示すブロック図である。
【0078】
図8に示すように、制御部20は、残距離取得部21と、判定部22と、方向決定部23と、画像生成部24と、出力部25とを備えている。これらのうち、残距離取得部21、判定部22、方向決定部23及び画像生成部24の機能は、図7のCPU202が所定のプログラムを実行すること等により実現される。また出力部25の機能は図7のI/F205等により実現される。
【0079】
残距離取得部21は、カーナビゲーションシステム11から入力した経路案内情報に基づいて、提示画像を提示する地点に自車両8が到達するまでの残距離情報を取得し、取得結果を判定部22に出力する。
【0080】
判定部22は、残距離が所定の提示閾値以下になったか否かを判定し、判定結果を方向決定部23に出力する。
【0081】
方向決定部23は、残距離が提示閾値以下になった場合に、カーナビゲーションシステム11から入力した経路案内情報に基づき、自車両8の走行予定経路における走行予定方向を決定し、決定結果を画像生成部24に出力する。例えば、自車両8の走行予定経路に交差点がある場合には、交差点で自車両8が進むべき方向を決定する。
【0082】
画像生成部24は、方向決定部23が決定した走行予定方向に応じて、自車両8の走行予定経路における走行予定方向を提示するための提示画像を生成する。そして、生成した提示画像の画像データを、出力部25を介して投射部10に出力する。
【0083】
投射部10(図1参照)は、入力した提示画像データに基づき、フロントウインドシールド71に提示画像を含む被投射画像を投射し、提示画像の虚像を自車両8の運転者Vに視認させる。
【0084】
なお、画像生成部24は、提示画像だけでなく、残距離取得部21が取得した残距離情報を表示する残距離画像や、図4の車速センサ161が検出した自車両8の車速情報を表示する車速画像等の他の画像を生成することもできる。そして、提示画像や残距離画像、車速画像等が1つの画像内に配置された被投射画像データを、出力部25を介して投射部10に出力できる。
【0085】
<制御部20による処理例>
次に、制御部20による処理の流れを、図9を参照して説明する。図9は、制御部20による処理の一例を示すフローチャートである。
【0086】
まず、ステップS91において、残距離取得部21及び方向決定部23は、カーナビゲーションシステム11から経路案内情報を入力する。
【0087】
続いて、ステップS92において、残距離取得部21は、経路案内情報に基づいて、自車両8が提示画像を提示する地点に到達するまでの残距離情報を取得し、取得結果を判定部22に出力する。
【0088】
続いて、ステップS93において、判定部22は、残距離が提示閾値以下になったか否かを判定する。
【0089】
ステップS93で残距離が提示閾値以下でないと判定された場合には(ステップS93、No)、ステップS91以降の処理が再度繰り返される。
【0090】
一方、ステップS93で残距離が提示閾値以下であると判定された場合には(ステップS93、Yes)、ステップS94において、方向決定部23は、経路案内情報に基づき、自車両8の走行予定方向を決定する。
【0091】
続いて、ステップS95において、画像生成部24は、方向決定部23が決定した走行予定方向に応じて提示画像を生成する。
【0092】
続いて、ステップS96において、出力部25は提示画像データを投射部10に出力する。
【0093】
このようにして、制御部20は提示画像を生成し、投射部10に出力できる。なお、ステップS91~S94までの間に、画像生成部24は、上述した残距離画像や車速画像等を生成し、これらを含む被投射画像データを、出力部25を介して投射部10に出力することもできる。この場合は、提示画像が含まれずに残距離画像や車速画像等が含まれる被投射画像が自車両8の前景に重畳表示される。
【0094】
(各種表示例)
次に、表示装置1による各種表示例について説明する。以下では、図3のカーナビゲーションシステム11を用いて目的地が設定された状態で、自車両8の前景に画像が重畳表示された場合を一例として説明する。また一般的なカーナビゲーションシステムでは、交差点や道路が分岐する分岐点毎で、車両の走行予定経路を案内する。そのため、これに対応して交差点や分岐点毎で提示画像を表示して、走行予定経路を案内する場合を一例として説明する。
【0095】
まず、図10は、残距離が提示閾値以下でない場合における自車両8の前景300への表示の一例を示す図である。
【0096】
前景300には、先行車両301や道路302等が含まれている。また、前景300には、車速画像303と、残距離画像304とが重畳表示されている。
【0097】
車速画像303は、自車両8の現在の車速を表示する画像である。図10の例では、車速として70(km/h)が表示されている。
【0098】
残距離画像304は、提示画像を提示する地点に自車両8が到達するまでの残距離を表示する画像である。図10の例では、提示画像を提示する地点として「都筑I.C.」が表示されるとともに、「都筑I.C.」までの残距離である200mmが表示されている。
【0099】
残距離画像304は、残距離が所定の表示閾値(例えば500m)以下になった場合に表示され、残距離が提示閾値(例えば100m)以下になるまで表示される。図10では残距離が提示閾値以下ではないため、提示画像がまだ表示されていない。
【0100】
次に、図11は、残距離が提示閾値以下である場合における自車両8の前景300aへの表示の一例を示す図である。
【0101】
前景300aには、道路302に交差する交差道路305が現れている。また、残距離が提示閾値以下になったため、前景300aでは、図10における残距離画像304が非表示となり、提示画像306が新たに表示されている。
【0102】
提示画像306は、交差道路305に案内(誘導)するように、自車両8の走行予定方向を提示する画像である。図11に示すように、提示画像306は、2つの矢印図形306a及び306bを含んで構成されている。
【0103】
矢印図形306a及び306bは、交差道路305を指示するように方向性を備えている。矢印図形306a及び306bが指示する方向が自車両8の走行予定方向(移動体の移動予定方向)に対応する。
【0104】
また矢印図形306a及び306bのそれぞれは、Z方向における投射部10の投射画角に対応するサイズより小さい画像サイズの図形であり、正のZ方向から負のZ方向に向けて断続的に表示されている。
【0105】
ここで、図11に矢印で示したZ方向は、前景300a内の垂直方向に沿う方向に対応し、X方向は前景300a内の水平方向に沿う方向に対応する。この点は、以降の図12~15に示すX方向及びZ方向においても同様である。なお、被投射画像のサイズと投射画角との関係は、図13を用いて後述する。
【0106】
自車両8の運転者Vは、前景300aに重畳表示された提示画像306を視認することで、走行予定経路における走行予定方向を分かりやすく認識できる。
【0107】
この矢印図形306a及び306bは「複数の図形」の一例である。なお、図11の例では、2個の矢印を示したが、これに限定されるものではなく、矢印の個数はさらに増加させてもよい。また、図形は矢印に限定されるものではなく、方向を指示するものであれば任意の形状の図形であってもよい。
【0108】
また、図11において、破線で示した領域307は、被投射画像が表示される領域を示している。前景300aにおける領域307の領域内に被投射画像が表示されている。提示画像306は被投射画像に含まれる画像であるため、この領域307内に表示される。なお、領域307は被投射画像が表示される領域を説明するために図示したものであり、自車両8の前景300aに表示されるものではない。
【0109】
次に、図12は、被投射画像のサイズと提示画像との関係を説明する図である。(a)は比較例に係る被投射画像のサイズと提示画像との関係を示す図、(b)は実施形態に係る被投射画像のサイズと提示画像との関係を示す図である。また、図12は、図10及び図11における前景への被投射画像の重畳表示を、自車両8の上方(上空から見下ろす方向)から見た図に対応する。
【0110】
図12(a)では、道路302を走行する自車両8の走行予定経路を提示するために、経路に沿って伸びる太矢印の提示画像306'が表示されている。この場合、走行予定経路に沿って太矢印を伸ばす必要があるため、提示画像306'を含む被投射画像には、重畳範囲308'を提示可能なサイズが要求される。ここで重畳範囲とは、投射部10の投射画角と俯角(見下ろし角)により決定される範囲であり、前景と被投射画像とが重畳する範囲をいう。
【0111】
これに対し、図12(b)に示すように、実施形態に係る提示画像306は、走行予定方向を提示するため、経路全体を示すように提示画像306を提示しなくてもよい。そのため、図12(a)における重畳範囲308'と比較して小さい重畳範囲308を提示可能なサイズで被投射画像を生成可能になっている。
【0112】
次に、図13は、被投射画像のサイズと投射部10による投射画角との関係の一例を説明する図である。図13において、虚像I'は比較例に係る虚像を示している。虚像I'は、投射画角φ'で被投射画像が投射されることで、運転者Vに視認される被投射画像の虚像である。一方、虚像Iは実施形態に係る虚像を示している。虚像Iは投射画角φで被投射画像が投射されることで、運転者Vに視認される被投射画像の虚像である。
【0113】
実施形態に係る提示画像306を含む被投射画像の虚像IのZ方向におけるサイズhは、比較例に係る提示画像306'を含む被投射画像の虚像I'のZ方向におけるサイズh'と比較して小さい。そのため、投射画角φ'と比較して狭い投射画角φで提示画像306を提示し、経路案内情報を提示することが可能になっている。
【0114】
ここで、投射画角φは、垂直方向に沿うZ方向における投射部10の最大投射画角に対応する。
【0115】
次に、図14は、提示画像306における矢印図形306a及び306bの表示間隔と、重畳範囲との関係の一例を説明する図である。図14において、表示間隔dは矢印図形306a及び306bの表示間隔を示し、重畳距離eは自車両8の走行方向(X方向及びY方向の両方に直交する方向)における重畳範囲の長さ(距離)を示している。図14に示すように、表示間隔dは重畳距離eより小さいことが好ましい。また表示間隔dを、Z方向における投射部10の最大投射画角以下にすると、矢印図形306a及び306b等の複数の図形を前景に表示でき、複数の図形で走行予定方向をより分かりやすく提示できるため、好適である。
【0116】
<表示装置1による作用効果>
以上説明したように、実施形態では、経路案内情報として自車両8の走行予定方向を提示する提示画像を生成し、自車両8に備えられた投射部10で提示画像を含む被投射画像を投射して表示する。自車両8の走行予定経路を提示するための大きな画像を投射せず、自車両8の移動予定方向を提示する小さな画像を投射するため、狭い投射画角φ(図13参照)で提示画像306を提示して経路案内情報を提示できる。これにより、表示装置1のサイズやコストが増大することを回避できる。
【0117】
また、実施形態に係る提示画像306は、投射部10の投射画角に対応するサイズより小さい画像サイズの複数の図形である矢印図形306a及び306bを含んで構成されている。また、矢印図形306a及び306bは、正のZ方向から負のZ方向に向けて断続的に表示されている。このようにすることで、走行予定経路に沿って伸びる太矢印の提示画像を前景の道路に重畳させる場合と比較して、前景の道路に重畳される提示画像306の面積を小さくすることができる。これにより、前景における視覚的な煩わしさ(煩雑さ)を解消できる。
【0118】
ここで、提示画像306における矢印図形306a及び306bの表示位置によっても、走行予定方向を提示できる。図15は提示画像306における矢印図形306a及び306bの表示位置の一例を説明する図である。
【0119】
矢印図形306a及び306bを、運転者Vの中心軸309上に表示すると最も簡易的であるが、交差点の基準位置310を定め、基準位置310と運転者Vとを結ぶ直線状に矢印図形306a及び306bが配置されるように表示してもよい。
【0120】
このような表示状態を自車両8の前景300aを視認した場合に置き換えて説明する。提示画像306の虚像は、前景300a内の垂直方向に沿う方向に配列された複数の図形で、走行予定方向を提示する。この複数の図形は、前景内の垂直方向に沿う方向における交差点に近い位置で走行予定方向を提示する図形ほど、前景内の水平方向に沿う方向における交差点に近い位置で走行予定方向を提示する。
【0121】
図11を参照してより具体的に述べると、提示画像306を構成する矢印図形306a及び306bのうち、前景300a内の垂直方向に沿う方向(Z方向)における交差道路305に近い位置で走行予定方向を提示する矢印図形306aは、矢印図形306bと比較して、前景300a内の水平方向に沿う方向(X方向)における交差道路305に近い位置で走行予定方向を提示する。
【0122】
このようにすることで、矢印図形306a及び306bの向きだけでなく、矢印図形306a及び306bの表示位置によっても、運転者Vは走行予定方向を認識可能になる。
【0123】
なお、上述した実施形態における残距離画像304は、提示画像を提示する地点の情報と、この地点に自車両8が到達するまでの残距離の情報を提示するため、経路案内情報を提示する提示画像ということもできる。但し、残距離画像304は文字情報であり、表示のために広い投射画角を必要とするものではないため、投射画角への影響は小さい。
【0124】
<その他の好適例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0125】
なお、上述した実施形態において、認識装置15の備える機能の一部、又は全部を制御部20が備える構成にしてもよい。また、制御部20の備える機能の一部を認識装置15やカーナビゲーションシステム11、検出装置16等の他の構成要素が備える構成にしてもよい。
【0126】
また、実施形態は表示方法も含む。例えば、表示方法は、被投射画像を表示する表示装置による表示方法であって、経路案内情報を提示する提示画像を生成する工程と、移動体に備えられた投射部により前記提示画像を含む前記被投射画像を投射する工程と、を行い、前記提示画像は、前記移動体の移動予定方向を提示する。このような表示方法により、上述した表示装置と同様の効果を得ることができる。
【0127】
また、実施形態はプログラムも含む。例えば、プログラムは、被投射画像を表示する表示装置で動作するプログラムであって、経路案内情報を提示する提示画像を生成し、移動体に備えられた投射部により前記提示画像を含む前記被投射画像を投射する処理をコンピュータに実行させ、前記提示画像は、前記移動体の移動予定方向を提示する。このようなプログラムにより、上述した表示装置と同様の効果を得ることができる。
【0128】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【符号の説明】
【0129】
1 表示装置
2 車載システム
8 自車両(移動体の一例)
10 投射部
11 カーナビゲーションシステム
15 認識装置
16 検出装置
164 周囲カメラ
20 制御部
21 残距離取得部
22 判定部
23 方向決定部
24 画像生成部
25 出力部
300、300a 前景
301 先行車両
302 道路
303 車速画像
304 残距離画像
305 交差道路
306 提示画像
306a、306b 矢印図形(複数の図形の一例)
307 領域
308 重畳範囲
d 表示間隔
e 重畳距離
h Z方向における虚像のサイズ
I 虚像
V 運転者
X 前景における水平方向に沿う方向
Z 前景における垂直方向に沿う方向
φ 投射画角
【先行技術文献】
【特許文献】
【0130】
【文献】特開2019-207155号公報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15