特開2015-231828(P2015-231828A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧
<>
  • 特開2015231828-表示装置、移動体 図000003
  • 特開2015231828-表示装置、移動体 図000004
  • 特開2015231828-表示装置、移動体 図000005
  • 特開2015231828-表示装置、移動体 図000006
  • 特開2015231828-表示装置、移動体 図000007
  • 特開2015231828-表示装置、移動体 図000008
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2015-231828(P2015-231828A)
(43)【公開日】2015年12月24日
(54)【発明の名称】表示装置、移動体
(51)【国際特許分類】
   B60K 35/00 20060101AFI20151201BHJP
   G08G 1/16 20060101ALI20151201BHJP
   B60R 1/00 20060101ALN20151201BHJP
   B60R 11/02 20060101ALN20151201BHJP
【FI】
   B60K35/00 A
   G08G1/16 C
   B60R1/00 A
   B60R11/02 C
【審査請求】未請求
【請求項の数】13
【出願形態】OL
【全頁数】14
(21)【出願番号】特願2015-61053(P2015-61053)
(22)【出願日】2015年3月24日
(31)【優先権主張番号】特願2014-102093(P2014-102093)
(32)【優先日】2014年5月16日
(33)【優先権主張国】JP
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】横田 聡一郎
(72)【発明者】
【氏名】齊所 賢一郎
(72)【発明者】
【氏名】吉川 博美
(72)【発明者】
【氏名】石垣 智子
(72)【発明者】
【氏名】酒匂 史子
【テーマコード(参考)】
3D020
3D344
5H181
【Fターム(参考)】
3D020BA04
3D020BA20
3D020BB01
3D020BC01
3D020BE03
3D344AA19
3D344AA21
3D344AC25
5H181AA01
5H181AA21
5H181CC04
5H181LL01
5H181LL02
5H181LL04
(57)【要約】
【課題】安全性の低下を抑制しつつ運転者が同乗者の情報を知ることが可能な表示装置等を提供すること。
【解決手段】本表示装置は、運転者が運転する移動体に同乗する同乗者を撮像する同乗者撮像部と、前記同乗者撮像部が撮像した情報に基づいて、前記同乗者の状態を示す画像を生成する画像生成部と、前記画像を前記運転者の視界に重畳して表示する画像表示部と、を有する。
【選択図】図1
【特許請求の範囲】
【請求項1】
運転者が運転する移動体に同乗する同乗者を撮像する同乗者撮像部と、
前記同乗者撮像部が撮像した情報に基づいて、前記同乗者の状態を示す画像を生成する画像生成部と、
前記画像を前記運転者の視界に重畳して表示する画像表示部と、を有する表示装置。
【請求項2】
前記同乗者の状態を検出する同乗者状態検出部を有し、
前記画像生成部は、前記同乗者撮像部が撮像した情報、及び前記同乗者状態検出部から入手した情報に基づいて前記画像を生成する請求項1記載の表示装置。
【請求項3】
前記同乗者状態検出部は、前記同乗者撮像部が撮像した情報に基づいて、前記同乗者の状態を検出する請求項2記載の表示装置。
【請求項4】
前記画像は、前記同乗者状態検出部から入手した情報に基づいて生成された文字を含む請求項2又は3記載の表示装置。
【請求項5】
前記運転者を撮像する運転者撮像部と、
前記運転者撮像部が撮像した情報に基づいて、前記運転者の視線方向を検出する運転者視線検出部と、を有し、
前記運転者の視線方向の変化に基づいて、前記画像を表示するか否かが決定される請求項1乃至4の何れか一項記載の表示装置。
【請求項6】
前記運転者の視線方向を考慮した位置に前記画像が表示される請求項5記載の表示装置。
【請求項7】
前記同乗者撮像部は、前記運転者撮像部よりも広い画角を有している請求項5又は6記載の表示装置。
【請求項8】
前記同乗者は後部座席に同乗しており、
前記同乗者撮像部は、前記同乗者を含めて前記後部座席全体を撮像する請求項7記載の表示装置。
【請求項9】
前記同乗者用のディスプレイを有し、
前記運転者撮像部が撮像した画像を前記ディスプレイに表示する請求項5乃至8の何れか一項記載の表示装置。
【請求項10】
前記画像表示部は、所定の条件においては、前記運転者の視界に重畳させた画像の表示をしない請求項1乃至9の何れか一項記載の表示装置。
【請求項11】
前記画像表示部は、前記運転者の視線方向が複雑に動いているか、又は、前記運転者の視線方向の移動範囲が広範に動いている場合には、前記運転者の視界に重畳させた画像の表示をしない請求項10記載の表示装置。
【請求項12】
前記画像表示部は、レーザ光源と、前記レーザ光源から出射されたレーザ光を偏向する光偏向器と、を備えている請求項1乃至11の何れか一項記載の表示装置。
【請求項13】
請求項1乃至12の何れか一項記載の表示装置を搭載した移動体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置、及び前記表示装置を搭載した移動体に関する。
【背景技術】
【0002】
新たな車両安全技術として、ステレオカメラやヘッドアップディスプレイ(以降、HuDと称する場合がある)を用いた表示装置の技術開発が進んでいる。この技術は、測距が可能なステレオカメラと、運転者の視界に直接画像を投影するHuDとを組み合わせたもので、拡張現実(AR:Augmented Reality)感のある運転中の映像体験が市場から期待されている。一方、市場において、自律運転に向けた技術開発が進められており、2020年には部分的な自律運転車両が市場に現れると言われている。
【0003】
現在のHuDの価値は、手動運転における視線移動の低減により安全運転を提供することにあるが、上記のような自律運転が普及する社会において、人の車両内での行為がどう変化するか、車両のインテリアはどう変わるか、に関して様々な場所で議論されている。そのような議論の中で、「自車両が今どのような状態にあるか」を乗員に通知する機能は少なくとも必要になると予測されている。
【0004】
ところで、従来、例えば、チャイルドシートに幼児を、といったように助手席若しくは後部座席に子供等を同乗させて運転している場合、運転者は、同乗者である子供等の様子が気になると瞬間的に同乗者の子供等に顔を向けて確認することがある。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、運転者が同乗者に顔を向ける場合には、視野が大きく移動して車両の進行方向から外れることもあり、交通安全上好ましくないという問題がある。又、運転者が同乗者に顔を向けるまでしなくとも、例えば、従来技術のようにナビゲーション装置を利用する構成においては、運転者が前方から視線をはずすことによっての安全性の低下は避けられない。
【0006】
本発明は、上記に鑑みてなされたものであり、安全性の低下を抑制しつつ運転者が同乗者の情報を知ることが可能な表示装置等を提供することを課題とする。
【課題を解決するための手段】
【0007】
本表示装置は、運転者が運転する移動体に同乗する同乗者を撮像する同乗者撮像部と、前記同乗者撮像部が撮像した情報に基づいて、前記同乗者の状態を示す画像を生成する画像生成部と、前記画像を前記運転者の視界に重畳して表示する画像表示部と、を有することを要件とする。
【発明の効果】
【0008】
開示の技術によれば、安全性の低下を抑制しつつ運転者が同乗者の情報を知ることが可能な表示装置等を提供できる。
【図面の簡単な説明】
【0009】
図1】本実施の形態に係る表示装置を例示する図である。
図2】本実施の形態に係る画像表示部を例示する図である。
図3】本実施の形態に係る表示装置の動作を説明するための図である。
図4】運転者撮像部がステレオカメラである場合のハードウェア構成を例示する図である。
図5】画像表示をするか否かの判断に関するフローチャートの一例である。
図6】本実施の形態に係る表示装置による画像表示例を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。
【0011】
図1は、本実施の形態に係る表示装置を例示する図である。図1を参照するに、表示装置1は、自車両120に搭載されており、大略すると、運転者撮像部10と、前方用撮像部15と、同乗者撮像部20と、画像処理部40と、画像表示部50と、同乗者用ディスプレイ60とを有する。但し、運転者撮像部10、前方用撮像部15、及び同乗者用ディスプレイ60は付加的な構成要素であり、必須の構成要素ではない。又、本実施の形態では車両を例にとって説明するが、本実施の形態に係る表示装置は航空機や船舶、ロボット等にも搭載可能である。なお、車両、航空機、船舶、ロボット等を含めて移動体と称する場合がある。
【0012】
運転者撮像部10は、自車両120の運転者130の状態を判断するために、運転者130を撮像する機能を有する。運転者撮像部10としては、例えば、単眼カメラや複眼カメラ(ステレオカメラ)等を用いることができる。運転者撮像部10は、運転者130の両眼近傍を画角に捉える形態で配置されている。運転者撮像部10は、自車両120のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両120内の天井部に配置することができる。運転者撮像部10を自車両120内のダッシュボード上等に配置してもよい。
【0013】
前方用撮像部15は、例えば、自車両120の前方における注意対象物(前方車両や歩行者等)の有無、自車両120と前方車両との車間距離等を判断するために、自車両120の前方を撮像する機能を有する。前方用撮像部15としては、例えば、単眼カメラや複眼カメラ(ステレオカメラ)等を用いることができる。前方用撮像部15は、自車両120のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両120内の天井部に配置することができる。前方用撮像部15を自車両120内のダッシュボード上等に配置してもよい。
【0014】
同乗者撮像部20は、自車両120に同乗する同乗者140の状態を判断するために、同乗者140を撮像する機能を有する。同乗者撮像部20としては、例えば、単眼カメラや複眼カメラ(ステレオカメラ)等を用いることができる。同乗者撮像部20は、自車両120のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両120内の前部座席のシートの後ろ側上部に配置することができる。同乗者撮像部20を自車両120内の天井部等に配置してもよい。
【0015】
同乗者撮像部20は、運転者撮像部10よりも広い画角を有していることが好ましい。すなわち、同乗者撮像部20は、同乗者140の様々な状態を判断する必要があるため、同乗者140の体全体を画角に捉える形態で配置することが好ましい。又、例えば、後部座席に3人の乗車が可能であれば、3人全員の状態を捉えられる程度の広い画角を有していることが好ましい。
【0016】
又、同乗者撮像部20として、複数の撮像部を配置してもよい。例えば、後部座席全体を確実に撮像するために、複数の撮像部を配置してもよい。又、助手席の同乗者の状態を判断するために、後部座席の撮像部とは別の撮像部を配置してもよい。助手席の同乗者の状態を判断する場合の撮像部の位置の一例は、助手席側のダッシュボード上である。
【0017】
なお、同乗者140は、例えば、チャイルドシートに座っている子供であるが、これには限定されず、後部座席に座っている大人であってもよい。又、同乗者140は、後部座席ではなく、助手席に座っていてもよい。
【0018】
画像処理部40は、運転者撮像部10及び同乗者撮像部20より入手した情報に基づいて重畳画像を生成し、画像表示部50に出力する機能を有する。画像処理部40は、自車両120内の任意の位置に配置することができる。画像処理部40は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、メインメモリ等を含む構成とすることができる。
【0019】
この場合、画像処理部40の各種機能は、ROM等に記録されたプログラムがメインメモリに読み出されてCPUにより実行されることによって実現できる。但し、画像処理部40の一部又は全部は、ハードウェアのみにより実現されてもよい。又、画像処理部40は、物理的に複数の装置等により構成されてもよい。
【0020】
画像表示部50は、自車両120内で画像処理部40が生成した画像を、運転者130の視界に虚像として重畳して表示する機能を有する、所謂ヘッドアップディスプレイである。画像表示部50は、自車両120のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両120内のダッシュボード上に配置することができる。画像表示部50を自車両120内の天井部等に配置してもよい。或いは、画像表示部50をダッシュボード内に埋め込んでもよい。
【0021】
より詳しくは、画像表示部50は、内部で生成した中間像をミラーやレンズ等で拡大虚像表示し、運転者130の視点から所定の距離感を持って画像を表示することができるモジュールである。画像表示部50の実現形態としてはパネル投射型やレーザ走査型等があるが、本実施の形態では何れの形態を用いてもよい。但し、レーザ走査型は、虚像の広角化が可能であること、外光に対してロバストな高輝度画像を表示できることから、本実施の形態において用いると好適である。以下、レーザ走査型の画像表示部50を例にして説明する。
【0022】
図2は、本実施の形態に係る画像表示部を例示する図である。図2を参照するに、画像表示部50は、大略すると、光源部51と、光偏向器52と、第1ミラー53と、被走査面54と、第2ミラー55とを有する。なお、図2において、135は運転者の眼球(以降、眼球135とする)を、110は虚像(以降、虚像110とする)を示している。
【0023】
光源部51は、例えば、RGBに対応した3つのレーザ光源、カップリングレンズ、アパーチャ、合成素子、レンズ等を備えており、3つのレーザ光源から出射されたレーザ光を合成して光偏向器52の反射面に向かって導く。光偏向器52の反射面に導かれたレーザ光は、光偏向器52により2次元的に偏向される。
【0024】
光偏向器52としては、例えば、直交する2軸に対して揺動する1つの微小なミラーや、1軸に揺動又は回動する2つの微小なミラー等を用いることができる。光偏向器52は、例えば、半導体プロセス等で作製されたMEMS(Micro Electro Mechanical Systems)とすることができる。光偏向器52は、例えば、圧電素子の変形力を駆動力とするアクチュエータにより駆動することができる。
【0025】
光偏向器52により2次元的に偏向された光束は、第1ミラー53に入射し、第1ミラー53により折り返されて被走査面54に2次元像を描画する。第1ミラー53としては、例えば、凹面ミラーを用いることができる。第1ミラー53の反射面は、例えば、アナモフィックとすることができる。つまり、第1ミラー53の反射面は、所定方向の曲率と、それに直交する方向の曲率とが異なる反射面とすることができる。第1ミラー53の反射面をアナモフィックとすることにより、反射面の曲面形状を調整可能となり、収差補正性能を向上できる。
【0026】
被走査面54は、第1ミラー53で反射された光束が入射して2次元像が形成される透過性を有する面である。被走査面54は、合成されたレーザ光を所望の発散角で発散させる機能を有しており、例えば、マイクロレンズアレイ構造とすると好適である。被走査面54から射出された光束は、第2ミラー55及び半透過鏡59により拡大表示される。第2ミラー55としては、例えば、凹面ミラーを用いることができる。画像表示部50は、レンズやプリズム等の透過型光学素子を具備してもよい。
【0027】
半透過鏡59は、可視域の透過率が10〜70%程度である鏡であり、第2ミラー55により折り返された光束が入射する側に、例えば、誘電体多層膜或いはワイヤーグリッド等が形成された反射面を有する。半透過鏡59の反射面は、レーザが出射する光束の波長帯を選択的に反射するものとすることができる。すなわち、RGBに対応した3つのレーザからの出射光を包含する反射ピークや反射バンドを有するものや、特定の偏向方向に対して反射率を強めるように形成されたものとすることができる。
【0028】
半透過鏡59は、例えば、自車両120のフロントガラス125(図1参照)と一体化することができる。画像表示部50を自車両120において運転者130の前方に配置することにより、半透過鏡59の反射面で反射された光束は、運転席にいる運転者130の眼球135へ入射する。そして、被走査面54の2次元像が、半透過鏡59の反射面よりも前方の所定の位置に拡大された虚像110として運転者130に視認される。つまり、画像表示部50により、所謂ヘッドアップディスプレイを実現できる。
【0029】
図1に戻り、同乗者用ディスプレイ60は、運転者撮像部10が撮像した画像を表示する機能を有する。同乗者用ディスプレイ60は、同乗者140が視認可能な位置であれば自車両120のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両120内の前部座席のシートの後ろ側上部に配置することができる。
【0030】
次に、図3を参照しながら、画像処理部40が運転者撮像部10及び同乗者撮像部20より入手した情報を処理するアルゴリズムの例について説明する。
【0031】
運転者撮像部10から得た光学情報は、画像処理部40の運転者視線検出部42に送られる。運転者視線検出部42は、運転者撮像部10が撮像した光学情報に基づいて、運転者130の視線方向を検出することができる。具体的には、例えば、目の画像情報を利用する場合には、瞳孔の動きを追跡して視線方向を検出する方法等を用いることができる。又、顔の画像情報を利用する場合には、顔の特徴的な画像領域部(目、口、鼻等)を認識してその位置の変化により視線方向を検出する方法や、顔の輪郭情報から視線方向を検出する方法等を用いることができる。運転者視線検出部42が検出した運転者130の視線方向は、画像処理部40の画像生成部43に送られる。
【0032】
同乗者撮像部20が得た光学情報は、画像処理部40の同乗者状態検出部41に送られる。又、同乗者撮像部20が得た光学情報は、画像処理部40の同乗者状態検出部41を経由して、画像処理部40の画像生成部43にも送られる。同乗者状態検出部41は、同乗者撮像部20が撮像した光学情報に基づいて、画像認識等により、同乗者140の状態(疲労度や興奮度等)を検出することができる。
【0033】
具体的には、例えば、同乗者140の顔を認識して目の領域の部分の画像を抽出し、抽出した画像の経時的変化から瞼の開閉を検出することで、同乗者140の瞬目時間(例えば、瞬き1回当たりの目を閉じていると認識される時間)を算出する。そして、現在の瞬目時間を平常時の瞬目時間と比較することで、同乗者140の疲労度(例えば、眠気が大きい等)を検出することができる。又、例えば、同乗者140の手や足の動きを認識し、平常時の手や足の動きと比較することで、同乗者140の興奮度(例えば、いらいらしている等)を検出してもよい。同乗者状態検出部41が検出した同乗者140の状態は、画像処理部40の画像生成部43に送られる。
【0034】
なお、運転開始時の同乗者140の状態を平常時の状態としてもよいし、過去の履歴等から推測した値を平常時の状態としてもよい。又、平常時の状態を、データとしてROM等に予め記憶しておいてもよい。
【0035】
図4は、運転者撮像部10がステレオカメラである場合のハードウェア構成を例示する図である。運転者撮像部10がステレオカメラである場合、運転者撮像部10は、第1カメラ部12と第2カメラ部13とを有する。第1カメラ部12と第2カメラ部13の一方が左目用、他方が右目用である。第1カメラ部12と第2カメラ部13とを並置することで、両者の視差情報を利用して、撮像された対象物の奥行き情報を得ることができる。すなわち、撮像された対象物の3次元情報を得ることができる。
【0036】
第1カメラ部12と第2カメラ部13は、例えば、互いに略平行に配置されている。第1カメラ部12は、レンズ12a、画像センサ12b、及びセンサコントローラ12cを備えている。同様に、第2カメラ部13は、レンズ13a、画像センサ13b、及びセンサコントローラ13cを備えている。
【0037】
画像センサ12b及び13bとしては、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor Device)等のイメージセンサを用いることができる。センサコントローラ12c及び13cは、画像センサ12b及び13bの露光制御、画像読み出し制御、外部回路との通信、及び画像データの送信制御等を行う機能を有する。センサコントローラ12c及び13cは、CPUやROM等を含んで構成されてもよい。
【0038】
運転者撮像部10は、例えば、データバスライン及びシリアルバスラインを介して画像処理部40と接続されている。画像処理部40は、運転者撮像部10から得られた光学情報に基づいて輝度画像及び視差画像を生成することができる。又、画像処理部40は、状況認識等の各種処理を実行制御することで、対象物の認識を行うことができる。
【0039】
画像処理部40の機能の一部又は全部は、運転者撮像部10に内蔵されてもよい。すなわち、運転者撮像部10と同一筐体内にCPU等を設けて画像処理を行う構成にしてもよい。なお、前方用撮像部15や同乗者撮像部20がステレオカメラである場合も、図4と同様のハードウェア構成とすることができる。
【0040】
図3の説明に戻り、画像処理部40の画像生成部43は、同乗者140の状態を示す画像を生成し、画像表示部50に送信する。画像表示部50は、画像生成部43が生成した画像を運転者130の視界に重畳して表示する。
【0041】
画像生成部43は、例えば、同乗者状態検出部41からの情報により、同乗者140が眠い状態であると認識できる場合、同乗者撮像部20で撮像した同乗者140の画像に、『眠い』という文字を追加した画像を生成し、画像表示部50に送信する。なお、画像表示部50は、同乗者140の画像のみでなく、同乗者140を含めた後部座席全体の画像を表示してもよい。
【0042】
画像生成部43は、運転者視線検出部42が検出した運転者130の視線方向の変化に基づいて、生成した画像を画像表示部50によって割り込みで表示するか否かを決定してもよい。例えば、慣れない土地での運転、車間距離が詰まっているシーン、注意対象物が多いシーン等においては、運転者130の注意力が散漫となり視線の軌道が複雑化、移動範囲が広範化する。
【0043】
そこで、画像生成部43は、運転者視線検出部42が検出した運転者130の視線方向が複雑に動いていたり、移動範囲が広範化したりしていることを認識した場合には、運転者130を運転に集中させるため、生成した画像を画像表示部50に送信しなくてもよい。画像生成部43は、生成した画像を画像表示部50に送信するか否かを、前方用撮像部15から入手した情報に基づいて決定することができる。
【0044】
一方、画像生成部43は、運転者視線検出部42が検出した運転者130の視線方向が安定していることを認識した場合には、生成した画像を画像表示部50に送信することができる。このように、画像表示部50は運転者130の視界に重畳させた画像の表示を行うことができるが、上記のような所定の条件においては、運転者130の視界に重畳させた画像の表示をしない。
【0045】
画像を表示するか否かの判断のための視線方向の検出方法としては、例えば、瞳孔を検出し、瞳孔の位置と眼球の位置から視線方向をリアルタイムで検出する方法を用いることができる(例えば、特開2003−15816号公報参照)。
【0046】
又、目の輪郭の3次元座標から黒目輪郭上の点が存在する平面の法線方向を求めると共に、黒目の中心を求め、黒目輪郭上の点が存在する平面の法線のうち、黒目の中心が通る線の方向を視線方向として検出する方法を用いてもよい(例えば、特開2004−255074号公報参照)。
【0047】
又、顔の中心の3次元位置を基準位置として算出すると共に、左右の瞳中心の左右方向における中心の3次元位置を特徴位置として算出し、基準位置に対する特徴位置のずれ量に基づいて視線方向を検出する方法を用いてもよい(例えば、国際公開第2008/007781号参照)。或いは、ここで例示した以外の視線方向の検出方法を用いてもよい。
【0048】
なお、慣れない土地での運転、車間距離が詰まっているシーン、注意対象物が多いシーンは、他の方法でも判断され得る。
【0049】
画像生成部43は、慣れない土地での運転である場合には、生成した画像を画像表示部50に送信しない(画像表示部50は画像を表示しない)。慣れない土地であるか否かは、GPS等で取得した過去の地点情報を記憶しておき一度も訪れていない土地であることから判断しても良いし、運転者がスイッチで切り替えられるようにしても良い。
【0050】
又、画像生成部43は、車間距離が詰まっているシーンでは、生成した画像を画像表示部50に送信しない(画像表示部50は画像を表示しない)。車間距離が詰まっているか否かは、図1の前方用撮像部15で前方車両を認識・測距した結果、前方車両までの距離が閾値を上回るか否かで判断できる。なお、前方用撮像部15での測距に代えて、従来から知られているミリ波レーダやレーザレーダによる測距も用いることができる。
【0051】
又、画像生成部43は、注意対象物が多いシーンでは、生成した画像を画像表示部50に送信しない(画像表示部50は画像を表示しない)。注意対象物が多いか否かは、前方用撮像部15で前方車両や歩行者等の車両の運転において注意すべき対象物を認識した結果、それらの数が閾値を上回るか否かで判断できる。
【0052】
これらを組み合わせ、例えば、図5に示すようなフローを利用することができる。すなわち、ステップS501で画像生成部43が画像生成後、ステップS502で画像生成部43は、『慣れない土地での運転か否か』を判断する。そして、画像生成部43は、ステップS502で『慣れない土地での運転である』と判断した場合には、ステップS507に移行し、生成した画像を画像表示部50に送信しない。その結果、画像表示部50は画像を表示しない。
【0053】
一方、画像生成部43は、ステップS502で『慣れない土地での運転でない』と判断した場合には、ステップS503に移行し、『車間距離が詰まっているか否か』を判断する。そして、画像生成部43は、ステップS503で『車間距離が詰まっている』と判断した場合には、ステップS507に移行し、生成した画像を画像表示部50に送信しない。その結果、画像表示部50は画像を表示しない。
【0054】
一方、画像生成部43は、ステップS503で『車間距離が詰まっていない』と判断した場合には、ステップS504に移行し、『注意対象物が多いか否か』を判断する。そして、画像生成部43は、ステップS504で『注意対象物が多い』と判断した場合には、ステップS507に移行し、生成した画像を画像表示部50に送信しない。その結果、画像表示部50は画像を表示しない。
【0055】
一方、画像生成部43は、ステップS504で『注意対象物が少ない』と判断した場合には、ステップS505に移行し、『運転者の視線方向が複雑に動いているか否か、運転者の視線方向の移動範囲が広範に動いているか否か』を判断する。そして、画像生成部43は、ステップS505で『運転者の視線方向が複雑に動いている、又は、運転者の視線方向の移動範囲が広範に動いている』と判断した場合には、ステップS507に移行し、生成した画像を画像表示部50に送信しない。その結果、画像表示部50は画像を表示しない。
【0056】
一方、画像生成部43は、ステップS505で『運転者の視線方向が複雑に動いていなく、かつ、運転者の視線方向の移動範囲が広範に動いていない』と判断した場合には、ステップS506に移行し、生成した画像を画像表示部50に送信する。その結果、画像表示部50は画像を表示する。
【0057】
又、画像生成部43は、同乗者状態検出部41からの情報に基づいて同乗者140の状態に異常がない(例えば、疲労状態や興奮状態ではない)と認識した場合は、生成した画像を画像表示部50に送信しなくてもよい。この場合には、画像表示部50は、同乗者140の状態を表示せず、車速や案内等の運転に必要な情報を優先して表示することができる。これらの機能により、画像表示部50による同乗者140の状態の表示が安全運転の阻害となることを防ぐことができる。
【0058】
画像生成部43が生成した画像は、運転者視線検出部42が検出した運転者130の視線方向を考慮した位置に表示してもよい。すなわち、画像生成部43が生成した画像を運転者130の視線方向の中心に表示すると、運転者130の安全運転を妨げるおそれがある。そこで、運転者130の視界内であって、かつ、運転者130の視線方向の中心から外れた位置に、画像生成部43が生成した画像を表示することが好ましい。これにより、運転者130の安全運転を確保することができる。
【0059】
なお、画像生成部43は、同乗者撮像部20が撮像したままの画像を生成し、画像表示部50に送信してもよい。この場合には、文字等は表示されず、同乗者140の画像のみが画像表示部50により運転者130の視界に表示される。又、画像生成部43は、文字等のみの画像を生成し、画像表示部50に送信してもよい。この場合には、同乗者140の画像は表示されず、文字等のみの画像が画像表示部50により運転者130の視界に表示される。
【0060】
すなわち、画像生成部43が生成する同乗者140の状態を示す画像は、同乗者140の画像のみでもよいし、同乗者140の状態を示す文字等のみでもよいし、同乗者140の画像に同乗者140の状態を示す文字等を加えたものでもよい。
【0061】
運転者撮像部10が撮像した運転者の画像を同乗者用ディスプレイ60に表示してもよい。同乗者140は、同乗者用ディスプレイ60に表示された画像を介して、運転者130の顔や身体を視認できるため、同乗者140の「撮影されている緊張感」を取り除き、かつ、運転者130の存在感による安心感を得ることができる。又、運転者130は画像表示部50が視界に重畳して表示する同乗者140を視認でき、同乗者140は同乗者用ディスプレイ60に表示された運転者130を視認できるため、互いに顔を視ながら快適なコミュニケーションをとることができる。
【0062】
図6は、本実施の形態に係る表示装置による画像表示例を示す図である。図6の例では、運転者130の視界に、車速の表示201に加えて、同乗者140の画像202を表示している。前述のように、画像202に加えて、或いは、画像202に代えて、同乗者140の状態を表す文字等を表示してもよい。なお、画像を表示する領域は、運転者130の運転の妨げにならないフロントガラス下方とするのが通常であるが、前述のように、運転者130の視線に基づいて、画像を表示する領域を適宜変更することができる。
【0063】
このように、本実施の形態に係る表示装置1では、助手席や後部座席等の同乗者140の情報(同乗者140の実際の顔や身体の画像、同乗者140の状態を表す文字等)を、運転者130の視界に重畳させて表示させる。これにより、運転者130の視野の移動をほとんど生じさせることなく、すなわち安全性をほとんど低下させることなく、運転者130は同乗者140の情報を知ることができる。すなわち、運転者130の安全運転と、同乗者140へのコミュニケーションの円滑さとを両立することができる。
【0064】
以上、好ましい実施の形態について詳説したが、上述した実施の形態に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態に種々の変形及び置換を加えることができる。
【0065】
例えば、画像生成部43が生成する画像は、以下のようなものであってもよい。例えば、画像生成部43が同乗者状態検出部41からの情報に基づいて、同乗者140である子供がドアロックをいじっていることや、シート上に立っていることを認識した場合、同乗者140の画像に『危険』という文字を追加した画像を生成することができる。又、同乗者140である子供の体調が悪そうなときに、同乗者140の画像に『体調不良』という文字を追加した画像を生成することができる。もちろん、これらの場合に、文字情報のみの画像を生成してもよい。
【0066】
なお、上述の同乗者の状態検出は、同乗者撮像部20のような、カメラを用いた画像認識によることもできるが、発汗センサにより助手席に着座した人物の発汗量を検出する方法や、脈拍センサにより助手席に着座した人物の脈拍を検出する方法等(例えば、特開2014−92965号公報参照)、種々の方法によって実現できる。
【0067】
又、自車両120は自家用車には限定されず、例えば、タクシー等であってもよい。例えば、自車両120がタクシーである場合には、乗客である同乗者140の様子を画像表示部50で表示することで、運転者130であるタクシードライバーに乗客の様子を伝えることができる。
【0068】
又、運転者130が指示を出したときのみに、表示装置1が動作するようにしてもよい。例えば、運転者130がハンドル近傍に設けられたスイッチを押すと表示装置1が起動し、同乗者140を撮像して所定の画像を生成し、運転者130の視界に重畳して表示するようにしてもよい。つまり、運転者130が同乗者140の状態を知りたいときのみに、表示装置1が動作するようにしてもよい。
【0069】
又、画像表示部50において、3つのレーザを用いる例を示したが、単一のレーザを用いて単色の画像を形成する構成としてもよい。この場合には、合成素子等は不要である。
【符号の説明】
【0070】
1 表示装置
10 運転者撮像部
12 第1カメラ部
12a、13a レンズ
12b、13b 画像センサ
12c、13c センサコントローラ
13 第2カメラ部
15 前方用撮像部
20 同乗者撮像部
40 画像処理部
41 同乗者状態検出部
42 運転者視線検出部
43 画像生成部
50 画像表示部
51 光源部
52 光偏向器
53 第1ミラー
54 被走査面
55 第2ミラー
59 半透過鏡
60 同乗者用ディスプレイ
110 虚像
120 自車両
125 フロントガラス
130 運転者
135 眼球
140 同乗者
201 車速の表示
202 同乗者の画像
【先行技術文献】
【特許文献】
【0071】
【特許文献1】特開2003−104132
【特許文献2】特開2003−237466
図1
図2
図3
図4
図5
図6