(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023012155
(43)【公開日】2023-01-25
(54)【発明の名称】表示システム
(51)【国際特許分類】
G09G 5/00 20060101AFI20230118BHJP
H04N 7/18 20060101ALI20230118BHJP
B60R 11/02 20060101ALI20230118BHJP
【FI】
G09G5/00 550C
H04N7/18 U
G09G5/00 510A
B60R11/02 C
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2021115638
(22)【出願日】2021-07-13
(71)【出願人】
【識別番号】000010098
【氏名又は名称】アルプスアルパイン株式会社
(74)【代理人】
【識別番号】100098497
【弁理士】
【氏名又は名称】片寄 恭三
(74)【代理人】
【識別番号】100099748
【弁理士】
【氏名又は名称】佐藤 克志
(74)【代理人】
【識別番号】100103171
【弁理士】
【氏名又は名称】雨貝 正彦
(74)【代理人】
【識別番号】100105784
【弁理士】
【氏名又は名称】橘 和之
(72)【発明者】
【氏名】秋田 幸治
【テーマコード(参考)】
3D020
5C054
5C182
【Fターム(参考)】
3D020BA04
3D020BB01
3D020BC05
3D020BD05
3D020BE03
5C054CA04
5C054CC02
5C054FA00
5C054HA27
5C182AA03
5C182AA04
5C182AA22
5C182AB25
5C182AC03
5C182AC43
5C182BA14
5C182BA25
5C182BA29
5C182BA54
5C182BA55
5C182BA56
5C182BC01
5C182BC22
5C182BC25
5C182BC26
5C182CA01
5C182CB12
5C182CB52
5C182DA02
(57)【要約】
【課題】 外部からの視線による不快感を取り除くことが可能な表示システムを提供する。
【解決手段】 本発明の表示システム100は、自車10に搭載され、自車10の窓12に映像を表示する機能を備える。表示システム100は、並走車20が検出されたとき、搭乗者14A、14Bの視界の並走車20と重なり合う窓12上の位置にアニメーション映像300、310を表示し、搭乗者14A、14Bの視界に並走車20が入らないようにし、視線による不快感を取り除いた車内空間を提供する。
【選択図】
図7
【特許請求の範囲】
【請求項1】
移動体等の車両に搭載される表示システムであって、
並走車を検出する検出手段と、
車両の窓に映像を表示する表示手段と、
前記表示手段を制御する表示制御手段とを有し、
前記表示制御手段は、前記検出手段により並走車が検出された場合、前記並走車と重複する前記窓上の位置に映像を表示させる、表示システム。
【請求項2】
前記表示制御手段は、前記並走車の車両サイズを算出する算出手段を含み、当該算出手段により算出された車両サイズに応じた映像を表示させる、請求項1に記載の表示システム。
【請求項3】
前記表示制御手段は、車両に対する前記並走車の相対的な位置を検出する検出手段と、搭乗者のアイポイントを検出する検出手段とを含み、
前記表示制御手段は、前記相対的な位置および前記アイポイントとの関係に基づき前記映像を表示させる、請求項1または2に記載の表示システム。
【請求項4】
前記表示制御手段は、搭乗者を識別する識別手段と、複数の搭乗者の嗜好に応じた映像を格納する格納手段とを含み、
前記表示制御手段は、識別した搭乗者の嗜好に応じた映像を前記格納手段から取得し、取得した映像を表示させる、請求項1ないし3いずれか1つに記載の表示システム。
【請求項5】
前記表示手段は、車両の窓から見える外部の景色に前記映像をAR表示する、請求項1に記載の表示システム。
【請求項6】
表示システムはさらに、車両の周辺を撮像する撮像手段を含み、
前記表示手段は、前記撮像手段によって撮像された車両の周辺画像を前記窓に表示し、
前記表示制御手段は、前記窓に表示された周辺画像に前記映像を合成する、請求項1ないし5いずれか1つに記載の表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動車等の移動体に搭載される表示システムに関する。
【背景技術】
【0002】
車両内に仮想環境を生成する表示制御システムとして、現在の移動ルートに沿った車両の移動中に、交通状況や気象状況などを車両の窓に表示する技術が特許文献1に開示されている。また、自車両の周囲に存在する他車両の走行状態を識別して運転者に認識させる表示システムが特許文献2に開示されている。例えば、他車画像が運転席からフロントガラス越しに見える景色に重畳されるように表示される。さらに特許文献3の通信車両表示装置は、送信元が車両の車窓から見える他車である際、車窓を介した運転者の視界に対して送信元の車両を表示する技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-515886号公報
【特許文献2】特開2017-37634号公報
【特許文献3】特開2010-218568号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
自動運転の技術進歩により、車室内は移動する為の空間から快適に過ごす為の空間に変わりつつある。完全自動運転に移行した際には、搭乗者はリビングや職場にいる感覚で車室内の時間を過ごすようになることが予測されている。
【0005】
完全自動運転となった場合、車は、法定速度を基準に走ることが想定され、そうすると、車同士が並走する場面も増えてくることが予想される。例えば、
図1に示すように、自車10と並走する他車20が存在すると、お互いの車室内が良く見える状況が続くことになり、搭乗者14A、14Bは、車窓12から他車20を見ることができ、他車20の搭乗者22が実際にはこちらを見ていないとしても、やはり視線は気になってしまう。特に家のリビングにいる感覚で過ごしていたとすれば、窓12から家を覗かれているようで不快に感じる。
【0006】
他方、カーテンやフィルムで窓12を隠し、外から内部を見えなくすることも可能であるが、逆に、搭乗者14A、14Bにとって外が見辛くなり、移動の楽しさを減少させてしまうことになる。更に完全自動運転だとしても、運転者には外部状況を把握することは重要である。
【0007】
本発明は、このような従来の課題を解決し、外部からの視線による不快感を取り除くことが可能な表示システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る表示システムは、移動体等の車両に搭載されるものであって、並走車を検出する検出手段と、車両の窓に映像を表示する表示手段と、前記表示手段を制御する表示制御手段とを有し、前記表示制御手段は、前記検出手段により並走車が検出された場合、前記並走車と重複する前記窓上の位置に映像を表示させる、表示システム。
【0009】
ある態様では、前記表示制御手段は、前記並走車の車両サイズを算出する算出手段を含み、当該算出手段により算出された車両サイズに応じた映像を表示させる。ある態様では、前記表示制御手段は、車両に対する前記並走車の相対的な位置を検出する検出手段と、搭乗者のアイポイントを検出する検出手段とを含み、前記表示制御手段は、前記相対的な位置および前記アイポイントとの関係に基づき前記映像を表示させる、請求項1または2に記載の表示システム。ある態様では、前記表示制御手段は、搭乗者を識別する識別手段と、複数の搭乗者の嗜好に応じた映像を格納する格納手段とを含み、前記表示制御手段は、識別した搭乗者の嗜好に応じた映像を前記格納手段から取得し、取得した映像を表示させる。ある態様では、前記表示手段は、車両の窓から見える外部の景色に前記映像をAR表示する。ある態様では、表示システムはさらに、車両の周辺を撮像する撮像手段を含み、前記表示手段は、前記撮像手段によって撮像された車両の周辺画像を前記窓に表示し、前記表示制御手段は、前記窓に表示された周辺画像に前記映像を合成する。
【発明の効果】
【0010】
本発明によれば、並走車が検出された場合に、並走車と重複する窓上の位置に映像を表示させるようにしたので、並走車からの視線を感じることの無い車内空間を提供し、搭乗者にとって、外部からの視線による不快感を取り除くことができる。
【図面の簡単な説明】
【0011】
【
図1】発明が解決しようとする課題を説明する図である。
【
図2】本発明の実施例に係る表示システムの構成を示す図である。
【
図3】ユーザー識別とアニメーションデータとの関係を示す管理テーブルの例である。
【
図4】本発明の実施例に係る表示システムの視線除去機能の構成を示すブロック図である。
【
図5】自車と並走車との間に距離および方向の算出例を示す図である。
【
図6】本発明の実施例に係る表示システムの視線除去機能の動作を説明するフローである。
【
図7】本発明の実施例に係る表示システムのAR表示例を示す図である。
【
図8】本発明の変形例に係る表示システムのAR表示例を示す図である。視線方向の検出を説明する図である。
【発明を実施するための形態】
【0012】
次に、本発明の実施の形態について説明する。本発明の表示システムは、自動車等の車両に搭載され、車両の窓などに映像を表示する機能を備える。本発明の表示システムは、AR(Augmented Reality)技術により周辺車両(並走車)に対して映像を重ね合わせることで、人の存在感を消し並走車からの視線を感じることの無い車室内空間を提供する。AR技術は、実在する風景にバーチャルの視覚情報を重ねて表示することで仮想的な視界を生成する。また、並走車にだけ映像を合成することで、車外の状況把握を阻害しない視界を確保する。
【実施例0013】
次に、本発明の実施例について詳細に説明する。
図2は、本発明の実施例に係る表示システムの構成を示すブロック図である。表示システム100は、複数の撮像カメラ110、センサ120、車両情報取得部130、通信部140、表示部150、記憶部160および制御部170を含んで構成される。なお、ここには図示しないが、表示システム100は、ユーザーからの入力を受け取る入力部や、表示部150によって表示される映像に関連する音声を出力する音声出力部や、楽曲や映像等のメディアを再生するメディア再生部を備えることも可能である。
【0014】
撮像カメラ110は、自車の周辺を撮像し、撮像した画像データを制御部170に提供する。この画像データは、表示部150によって表示されたり、あるいは、周辺車両の検出や周辺車両のサイズなどの算出に利用することができる。また、撮像カメラ110は、車外を撮像するもの以外に、車内空間を撮像する車内用撮像カメラも含む。車内用撮像カメラで撮像された画像データは、車内の搭乗者の有無や搭乗者の視点(アイポイント)を検出するために利用される。
【0015】
センサ120は、例えば、赤外線センサ、レーダーなどを含み、電波等の電磁波を送信し、その反射波を受信することによって車両の周辺に存在する物体や物体までの距離を検出する。この検出結果は、制御部170に提供される。センサ120は、これ以外にも、昼夜を検出するための照度センサなどを含むことが可能である。照度センサの検出結果は、表示部150の輝度の調整などに利用される。
【0016】
車両情報取得部130は、車両の動作に関する情報を取得する。車両情報は、例えば、自動運転のレベルを識別する情報や、これ以外にも、例えば、車両の速度情報(車速パルス)、ギアポジション情報、パーキング情報、ウィンカー情報、自車位置情報などを含むことができ、これらの情報を車内バス等を介して取得する。なお、自車位置情報は、例えば、GPS衛星を利用した位置情報、加速度センサは角速度センサを利用した位置情報などを含むことができる。車両情報取得部130で取得された情報は、制御部170に提供される。
【0017】
通信部140は、車両に搭載された電子機器との間で有線または無線による通信を可能にしたり、あるいは外部のネットワークを介してサーバー等との間で無線による通信を可能にしたり、他車両との間で車車間通信を可能にする。ある態様では、通信部140は、表示部150により表示される映像をサーバーなどからダウンロードすることが可能である。
【0018】
表示部150は、車両の窓に映像を表示したり、窓以外の車内空間に映像を表示する機能を備える。車両には、
図1に示すように、座席の側部に取り付けられたガラス窓12や、それ以外にもフロントガラス、リアガラスの窓が設けられるが、本実施例では、表示部150は、少なくとも、並走車があるときに並走車からの視線を感じるような窓(
図1の例では、窓12)に映像を表示する。表示部150の構成は、特に限定されないが、ある態様では、映像を投射するプロジェクターを含み、ガラス窓12に映像を投射することで窓12越しに見える景色に投射映像を重畳させる。また、別の態様では、表示部150は、窓12の形状に対応する液晶ディスプレイ等の表示パネルを窓12上に搭載し、例えば、液晶ディスプレイは、映像を表示しないとき車外の景色が透けて見えるような透明な状態を有し、この状態で特定の領域に映像を表示させることで窓越しに見える景色に映像を重畳させる。
【0019】
記憶部160は、表示システム100にとって必要なデータやアプリケーションソフトウエアなどを格納する。また、記憶部160は、表示部150によって表示される映像データを格納し、ある態様では、ユーザーの嗜好に合うアニメーションデータを格納する。
図3は、ユーザー識別とアニメーションデータとの関係を格納する管理テーブルの一例であり、例えば、表示部150が搭乗者の嗜好に合う映像を表示するとき、当該管理テーブルが参照される。記憶部160に格納されるアニメーションデータは、動画または静止画のいずれであってもよく、ユーザーの嗜好に合うアニメーションデータは、複数であってもよいし、映像サイズが異なるものを複数含んでもよく、映像サイズが異なるものを格納する場合にはサイズを識別する属性情報も同時に格納される。このようなアニメーションデータは、ユーザー入力により記憶部160に格納されてもよいし、あるいは通信部140を介してサーバーなどからダウンロードしたものを記憶部160に格納するようにしてもよい。そして、管理テーブルのデータは、アニメーションデータを格納するときに更新される。
【0020】
制御部170は、表示システム100の全体の動作を制御する。この制御は、ハードウエアおよび/またはソフトウエアにより実施される。ある態様では、制御部170は、ROM/RAMなどを含むマイクロコントローラ等を含み、ROM/RAMには、表示システム100の動作を制御するためのプログラムが格納される。本実施例では、制御部170は、その機能の一部として、並走車が存在するときに並走車の視線を除去する視線除去機能を備える。ある態様では、制御部170は、車両情報取得部130からの自動運転レベルに応じて視線除去機能を動作させるようにしてもよい。以下、この視線除去機能について説明する。
【0021】
図4は、本実施例の視線除去機能200の構成を示すブロック図である。視線除去機能200は、並走車検出部210、車両サイズ算出部220、距離・方向検出部230、搭乗者識別部240、アニメーションデータ取得部250、アニメーション映像生成部260、アイポイント検出部270、表示座標算出部280、アニメーション映像出力部290を含んで構成される。
【0022】
並走車検出部210は、自車に対する並走車を検出する。並走車とは、自車にとって外部からの視線を窓を通して感じるような位置関係にある他車両であり、例えば、
図1に示すように、自車10の真横を並走する他車両20である。並走車の検出方法は、特に限定されないが、並走車検出部210は、撮像カメラ110によって撮像された自車周辺の画像データを解析することで自車と並走関係にある他車両を検出したり、あるいはセンサ120のレーダー等によって並走関係にある他車両を検出する。
【0023】
車両サイズ算出部220は、並走車検出部210によって並走車が検出されたとき、並走車の車両サイズを算出する。車両サイズ算出部220は、例えば、撮像カメラ110で撮像された画像データを解析することで車両の輪郭を抽出したり、センサ110のレーダーの検出結果から車両の輪郭を抽出し、抽出した輪郭に近似するような矩形サイズを算出する。あるいは、車両サイズ算出部220は、抽出した輪郭の水平方向の最大値と垂直方向の最大値を算出する。車両サイズ算出部220によって算出された車両サイズは、窓12に映像を表示させるときの映像サイズの決定に利用される。
【0024】
距離・方向検出部230は、並走車検出部210によって並走車が検出されたとき、自車に対する並走車の相対的な位置関係を知るために、並走車までの距離や方向(角度)を検出する。距離・方向の検出には、撮像カメラ110からの画像データの解析や、センサ120の検出結果が用いられる。ある態様では、距離・方向検出部230は、自車と並走車までの最短距離L、および自車の基準点P1から並走車の基準点P2までの方向を算出する。並走車の基準点P2は、車両サイズ算出部220によって算出された車両サイズから算出することができ、例えば、車両サイズが矩形で表された場合、当該矩形の対角線の交点を基準点としたり、あるいは車両サイズが水平方向の最大と垂直方向の最大値で表された場合、その水平方向の直線と垂直方向の直線との交点を基準点P2とすることができる。自車の基準点P1は、特に限定されないが、例えば、撮像カメラ110やセンサ120の取り付け位置、あるいは自車の側部の輪郭を矩形状に近似した場合の対角線が交差する点、あるいは窓12の中心部などを基準点P1とすることができる。
【0025】
また、自車と並走車とは同じ路面上を走行するので、自車の基準点P1と並走車の基準点P2との高さ方向の差が一定範囲内であれば両基準点の高さが等しいと仮定してもよく、その場合には、距離・方向検出部230によって検出される距離と方向は、
図5に示すように、自車10の基準点P1と並走車20の基準点P2を含む水平なXY平面で表わすことができる。
図5(A)は、自車10の真横に並走車20が存在する場合を示し、この場合、自車10と並走車20との最短距離がLであり、基準点P1と基準点P2とを結ぶ直線が最短距離Lと成す角は0度である。
図5(B)は、自車10よりも前方に並走車20が存在する場合を示し、自車10と並走車20との最短距離はLであるが、基準点P1と基準点P2とを結ぶ直線が最短距離Lの直線と成す角はαである。
図5(C)は、自車10よりも後方に並走車20が存在する場合を示し、自車10と並走車20との最短距離はLであるが、基準点P1と基準点P2とを結ぶ直線と最短局Lの直線が成す角はβである。
【0026】
勿論、並走車が大型車やトラックのように自車に対して高さがある車両である場合には、基準点P1と基準点P2との高さが異なるので、その場合には、距離・方向検出部230は、3次元空間または3次元座標において自車に対する並走車の相対的な距離および方向を検出するようにしてもよい。
【0027】
搭乗者識別部240は、自車に搭乗した搭乗者を識別する。搭乗者識別部240は、車内空間を撮像する撮像カメラ110からの画像データに基づき顔認識を行い、搭乗者を識別する。この場合、記憶部160には、搭乗者(ユーザー)の顔の特徴データが予め格納され、この特徴データと顔画像とを比較することで搭乗者を識別する。搭乗者識別部240は、搭乗者が複数であればそれぞれの搭乗者を識別し、その識別結果をアニメーションデータ取得部250へ提供する。
【0028】
アニメーションデータ取得部250は、
図3に示す管理テーブルを参照し、識別された搭乗者の嗜好に対応するアニメーションデータを取得する。例えば、搭乗者がユーザーA、ユーザーBと識別された場合には、アニメ映像A、アニメ映像Bが取得される。また、アニメーションデータ取得部250は、サイズが異なるアニメーションデータが複数格納されている場合には、車両サイズ算出部220によって算出された車両サイズに対応するアニメーションデータを選択するようにしてもよい。
【0029】
アニメーション映像生成部260は、アニメーションデータ取得部250で取得されたアニメ映像のサイズや向きを並走車の車両サイズ、並走車の距離・方向に合わせて加工する。例えば、
図5(A)に示すような位置関係に並走車がある場合には、車両サイズと距離Lに応じてアニメーション映像の大きさが決定され、
図5(B)や
図5(C)に示すような位置関係に並走車がある場合には、角度α、βに考慮してアニメーション映像の大きさが決定される。
【0030】
アイポイント検出部270は、車内空間を撮像する撮像カメラ110からの画像データに基づき搭乗者の視点の位置を算出する。アイポイントの算出は、搭乗者識別部240が搭乗者の顔認識を行うときに同時に行われるようにしてもよい。
【0031】
表示座標算出部280は、アニメーション映像生成部260で生成されたアニメーション映像を窓12に表示させるときの窓12上での表示座標を、アイポイント検出部270で算出されたアイポイントの座標と距離・方向検出部230で検出された距離・方向との相対的な位置関係に基づき算出する。つまり、窓12に表示されるアニメーション映像が並走車に重なり合うような表示座標が算出される。
【0032】
アニメーション映像出力部290は、アニメーション映像生成部260で生成されたアニメーション映像および表示座標算出部280で算出された座標位置を表示部150に出力し、表示部150にアニメーション映像を窓12上に表示させる。
【0033】
次に、本実施例の表示システム100の動作について
図6のフローを参照して説明する。先ず、並走車検出部210によって並走車の有無が検出され(S100)、並走車がない場合には、当該フローを終了させる。並走車が検出された場合には、車両サイズ算出部220により並走車の車両サイズが算出され(S110)、さらに距離・方向算出部230により並走車までの距離および方向が算出され、次いでアニメーションデータ取得部250は、車両サイズや搭乗者の嗜好に応じたアニメーションデータを記憶部160から取得する(S120)。次いで、アニメーション映像生成部260は、並走車との距離や方向に合わせてアニメーション映像を生成し(S130)、アイポイント算出部270は、搭乗者のアイポイントを算出し、アニメーション映像出力部290は、並走車とアイポイントの位置関係に基づいた窓上の座標位置にアニメーション映像を表示させる(S140)。
【0034】
図7は、本実施例の表示システム100の視線除去機能が実施されたときのAR表示例を示している。自車10の側方に並走車20が存在するとき、自車10の窓12には、搭乗者14Aの視界と重畳するように、搭乗者14Aの嗜好に応じたアニメーション映像300が表示され、また、搭乗者14Bの視界と重畳するように、搭乗者14Bの嗜好に応じたアニメーション映像310が表示される。
【0035】
このように本実施例によれば、窓12の搭乗者の視界にアニメーション映像を表示することで、並走車からの視線による不快感を取り除き、視線を感じることの無い車内空間を提供することができる。また、搭乗者の好みのアニメーションを表示することで、車室内のエンターティメント性を高めることができる。さらに、アニメーション映像をAR表示することで、車外の渋滞具合等の周辺状況を把握したり、車外の景色や風景を楽しむことができる。
【0036】
次に、本実施例の表示システムの変形例について説明する。本変形例の表示システムは、撮像カメラ110によって撮像された画像データを窓12に映し出し、この画像データにアニメーション映像を合成するものである。
図8は、自車10の真横に並走車20が存在するとき、窓12に撮像カメラ110で撮像された画像データ400を表示し、かつその中央にアニメーション映像300を合成して表示する例を示している。
【0037】
並走車が検出された場合、上記実施例と同様に、車両サイズの算出、並走車の距離・方向の検出、搭乗者の識別が行われる。アニメーションデータ取得部250は、搭乗者14Aまたは搭乗者14Bのいずれかの嗜好に合うアニメーションデータを取得し、アニメーション映像生成部260は、車両サイズや並走車の距離・方向に応じたアニメーション映像を加工し、アイポイント算出部270は、搭乗者のアイポイントを算出し、表示座標算出部280は、搭乗者14A、14Bの視界に対応する窓12上の表示座標を算出する。
図8の例は、並走車20が自車10の真横に存在するため、アニメーション映像300の表示座標は、窓12の略中央に決定される。こうして、窓12に映し出される車外の景色を映す画像データ400にアニメーション映像300が合成される。
【0038】
窓12は、撮像カメラ110によって撮像された画像を表示する表示画面なので実際には並走車20の搭乗者22が自車10の車室内を見ることができる訳ではないが、見知らぬ人が窓12の表示画面に移り続けることに対する不快感を消すことができる。
【0039】
なお、上記実施例では、表示部150がアニメ映像を表示させる例を示したが、映像は、アニメ映像に限らず他の映像であってもよい。
【0040】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。