IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー・ホンダモビリティ株式会社の特許一覧

<>
  • 特開-移動体及び情報処理方法 図1
  • 特開-移動体及び情報処理方法 図2
  • 特開-移動体及び情報処理方法 図3
  • 特開-移動体及び情報処理方法 図4
  • 特開-移動体及び情報処理方法 図5
  • 特開-移動体及び情報処理方法 図6
  • 特開-移動体及び情報処理方法 図7
  • 特開-移動体及び情報処理方法 図8
  • 特開-移動体及び情報処理方法 図9
  • 特開-移動体及び情報処理方法 図10
  • 特開-移動体及び情報処理方法 図11
  • 特開-移動体及び情報処理方法 図12
  • 特開-移動体及び情報処理方法 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024093511
(43)【公開日】2024-07-09
(54)【発明の名称】移動体及び情報処理方法
(51)【国際特許分類】
   B60K 35/00 20240101AFI20240702BHJP
   B60W 40/08 20120101ALI20240702BHJP
   B60W 40/02 20060101ALI20240702BHJP
   B60K 35/23 20240101ALI20240702BHJP
   G01C 21/36 20060101ALI20240702BHJP
   G08G 1/16 20060101ALI20240702BHJP
   G08G 1/137 20060101ALI20240702BHJP
   B60R 11/02 20060101ALI20240702BHJP
【FI】
B60K35/00 Z
B60W40/08
B60W40/02
B60K35/00 A
G01C21/36
G08G1/16 F
G08G1/137
B60R11/02 C
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2022209940
(22)【出願日】2022-12-27
(71)【出願人】
【識別番号】523061973
【氏名又は名称】ソニー・ホンダモビリティ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】山▲崎▼ 雄太
(72)【発明者】
【氏名】畦上 敬
(72)【発明者】
【氏名】有門 智弘
(72)【発明者】
【氏名】石原 彩子
【テーマコード(参考)】
2F129
3D020
3D241
3D344
5H181
【Fターム(参考)】
2F129AA03
2F129BB02
2F129BB22
2F129EE52
2F129EE78
2F129GG09
2F129GG10
2F129GG11
2F129GG12
2F129GG17
2F129GG18
2F129HH12
3D020BA04
3D020BB01
3D020BC02
3D020BE03
3D241BA60
3D241CE05
3D241DC41Z
3D241DD07Z
3D241DD10Z
3D344AA19
3D344AA30
3D344AB01
3D344AC25
3D344AD01
5H181AA01
5H181CC02
5H181CC03
5H181CC04
5H181CC11
5H181CC14
5H181EE12
5H181FF04
5H181FF05
5H181FF07
5H181FF21
5H181FF33
5H181LL01
5H181LL02
5H181LL04
5H181LL08
5H181LL09
5H181LL20
(57)【要約】
【課題】搭乗者の利便性を向上させる。
【解決手段】搭乗者が搭乗する移動体において、前記移動体内に配置され、1以上のディスプレイを備える第1の表示部と、前記搭乗者の状態に基づいて、前記移動体内から見える前記移動体の外の現実のシーンと前記第1の表示部に表示される表示画像の少なくとも一部とが連続的に見えるように前記表示画像の表示を制御する表示制御部とを備える。本技術は、例えば、車両に適用できる。
【選択図】図1
【特許請求の範囲】
【請求項1】
搭乗者が搭乗する移動体において、
前記移動体内に配置され、1以上のディスプレイを備える第1の表示部と、
前記搭乗者の状態に基づいて、前記移動体内から見える前記移動体の外の現実のシーンと前記第1の表示部に表示される表示画像の少なくとも一部とが連続的に見えるように前記表示画像の表示を制御する表示制御部と
を備える移動体。
【請求項2】
前記表示制御部は、前記移動体の外界の状態、前記移動体の状態、前記搭乗者の状態、前記移動体の自己位置、及び、前記移動体の外界の情報のうち少なくとも1つに基づく提示情報を前記表示画像に重畳する
請求項1に記載の移動体。
【請求項3】
前記表示制御部は、前記搭乗者の状態に基づいて、前記提示情報を前記表示画像に重畳する位置を制御する
請求項2に記載の移動体。
【請求項4】
前記移動体は、車両であり、
前記提示情報は、前記車両の周囲の状態を示す情報、前記車両の動作を示す情報、運転支援の稼働状況を示す情報、ナビゲーション情報、及び、アラート情報のうち少なくとも1つを含む
請求項2に記載の移動体。
【請求項5】
前記車両の外側に設けられ、前記車両の周囲に伝える伝達情報を表示する第2の表示部を
さらに備え、
前記提示情報は、前記伝達情報と同様の情報を含む
請求項4に記載の移動体。
【請求項6】
前記伝達情報は、前記搭乗者のメッセージを含む
請求項5に記載の移動体。
【請求項7】
前記移動体の外界の状態を示す情報、前記移動体の状態を示す情報、前記搭乗者の状態を示す情報、前記移動体の自己位置、及び、前記移動体の外界の情報のうち少なくとも1つを取得する情報取得部を
さらに備える請求項2に記載の移動体。
【請求項8】
前記表示制御部は、前記移動体の窓から見える前記現実のシーンと前記表示画像の少なくとも一部とが連続的に見えるように前記表示画像の表示を制御する
請求項1に記載の移動体。
【請求項9】
前記移動体は、車両であり、
前記表示制御部は、前記移動体のウインドシールドから見える前記現実のシーンと前記表示画像の少なくとも一部とが連続的に見えるように前記表示画像の表示を制御する
請求項8に記載の移動体。
【請求項10】
前記第1の表示部は、運転席及び助手席の前方かつ前記ウインドシールドの下方に配置されている
請求項9に記載の移動体。
【請求項11】
前記搭乗者の状態を検出する搭乗者状態検出部を
さらに備える請求項1に記載の移動体。
【請求項12】
前記搭乗者の状態は、前記搭乗者の姿勢及び視線方向のうち少なくとも1つを含む
請求項11に記載の移動体。
【請求項13】
前記表示制御部は、前記搭乗者状態検出部により検出された前記搭乗者の状態に基づいて、前記現実のシーンと前記第1の表示部に表示される前記表示画像の少なくとも一部とが連続的に見えるように前記表示画像の表示を制御する
請求項11に記載の移動体。
【請求項14】
前記移動体の外部を撮影する撮影部を
さらに備え、
前記表示制御部は、前記撮影部により撮影された画像に基づいて、前記表示画像の表示を制御する
請求項1に記載の移動体。
【請求項15】
情報処理装置が、
移動体の搭乗者の状態に基づいて、前記移動体内から見える前記移動体の外の現実のシーンと、前記移動体内に配置され、1以上のディスプレイを備える表示部に表示される表示画像の少なくとも一部とが連続的に見えるように前記表示画像の表示を制御する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、移動体及び情報処理方法に関し、特に、搭乗者の利便性を向上させるようにした移動体及び情報処理方法に関する。
【背景技術】
【0002】
近年、ダッシュボードの前面に水平方向にワイドに延びるディスプレイや搭乗者を撮影するカメラを備える車両が増えつつある(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2022-72294号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
そのような車内のディスプレイやカメラをより有効に活用して、搭乗者の利便性を向上させることが望まれている。
【0005】
本技術は、このような状況に鑑みてなされたものであり、車両等の移動体の搭乗者の利便性を向上させるようにするものである。
【課題を解決するための手段】
【0006】
本技術の第1の側面の移動体は、搭乗者が搭乗する移動体であって、前記移動体内に配置され、1以上のディスプレイを備える第1の表示部と、前記搭乗者の状態に基づいて、前記移動体内から見える前記移動体の外の現実のシーンと前記第1の表示部に表示される表示画像の少なくとも一部とが連続的に見えるように前記表示画像の表示を制御する表示制御部とを備える。
【0007】
本技術の第2の側面の情報処理方法は、情報処理装置が、移動体の搭乗者の状態に基づいて、前記移動体内から見える前記移動体の外の現実のシーンと、前記移動体内に配置され、1以上のディスプレイを備える表示部に表示される表示画像の少なくとも一部とが連続的に見えるように前記表示画像の表示を制御する。
【0008】
本技術の第1の側面又は第2の側面においては、搭乗者の状態に基づいて、移動体内から見える前記移動体の外の現実のシーンと、前記移動体内に配置され、1以上のディスプレイを備える表示部に表示される表示画像の少なくとも一部とが連続的に見えるように前記表示画像の表示が制御される。
【図面の簡単な説明】
【0009】
図1】本技術を適用した車両の機能の構成例を示すブロック図である。
図2図1の車両の機能の一部の配置例を示す模式図である。
図3】車内の前方のダッシュボード付近を模式的に示す図である。
図4】車両の正面図である。
図5】車両の制御ユニットにより実現される機能の構成例を示すブロック図である。
図6】車両により実行される仮想透視画像表示処理を説明するためのフローチャートである。
図7】仮想透視画像の具体例を示す模式図である。
図8】仮想透視画像の具体例を示す模式図である。
図9】仮想透視画像の具体例を示す模式図である。
図10】車両の前面のディスプレイの表示例を示す図である。
図11】仮想透視画像の具体例を示す模式図である。
図12】仮想透視画像の具体例を示す模式図である。
図13】仮想透視画像の具体例を示す模式図である。
【発明を実施するための形態】
【0010】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.実施の形態
2.変形例
3.その他
【0011】
<<1.実施の形態>>
図1乃至図13を参照して、本技術の実施の形態について説明する。
【0012】
<車両1の構成例>
図1は、本技術を適用した車両1の機能のうち、主に本技術に関連する機能の構成例を示している。
【0013】
車両1は、車両制御システム11を備える。車両制御システム11は、制御ユニット21、外界センサ22、GNSS受信機23、車内センサ24、車両センサ25、入力部26、通信部27、及び、表示部28を備える。
【0014】
制御ユニット21は、1つ又は複数のECU(Electronic Control Unit)を備える。制御ユニット21は、車両1の各種の処理及び各部の制御を実行する。
【0015】
外界センサ22は、車両1の外部の世界(外界)の各種の情報の検出に用いられる各種のセンサを備え、各センサからのセンサデータを制御ユニット21に供給する。外界センサ22が備えるセンサの種類や数は、特に限定されない。
【0016】
例えば、外界センサ22は、カメラ41、レーダ42、LiDAR43、及び、ソナー73を備える。カメラ41、レーダ42、LiDAR43、及び、ソナー73の数や種類は、特に限定されない。
【0017】
例えば、カメラ41の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラが、必要に応じてカメラ41に適用される。これに限らず、カメラ41は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
【0018】
GNSS受信機23は、GNSS(Global Navigation Satellite System)衛星からGNSS信号を受信し、制御ユニット21に供給する。
【0019】
車内センサ24は、車内の各種の情報の検出に用いられる各種のセンサを備え、各センサからのセンサデータを制御ユニット21に供給する。車内センサ24が備えるセンサの種類や数は、特に限定されない。
【0020】
例えば、車内センサ24は、カメラ51及びマイクロフォン52を備える。カメラ51及びマイクロフォン52の数や種類は、特に限定されない。また、カメラ51の撮影方式は、外界センサ22のカメラ51と同様に、特に限定されない。
【0021】
車両センサ25は、車両1の状態の検出に用いられる各種のセンサを備え、各センサからのセンサデータを制御ユニット21に供給する。車両センサ25が備えるセンサの種類や数は、特に限定されない。
【0022】
例えば、車両センサ25は、速度センサ、加速度センサ、角速度センサ(ジャイロセンサ)、及び、それらを統合した慣性計測装置(IMU(Inertial Measurement Unit))を備える。例えば、車両センサ25は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ25は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ25は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。
【0023】
入力部26は、搭乗者がデータや指示等を入力するための入力デバイスを備え、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、制御ユニット21に供給する。入力部26は、例えば、搭乗者が直接操作してデータや指示等を入力する入力デバイスだけでなく、例えば、音声やジェスチャにより指示等を入力する入力デバイスを備えていてもよい。
【0024】
通信部27は、各種の通信デバイスを備え、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。通信部27は、必要に応じて、複数の通信方式を用いて通信を行うことができる。
【0025】
表示部28は、各種の表示デバイスを備え、視覚情報を表示する。表示部28が備える表示デバイスの数や種類は、特に限定されない。表示部28が備える表示デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)機能を備えるウエアラブルデバイスといった、利用者の視界内に視覚情報を表示する装置であってもよい。
【0026】
図2は、図1の車両1の機能の一部の配置例を模式的に示している。
【0027】
車両1は、ECU71、前方センシングユニット72、ソナー73、ToFカメラ74、及び、表示ユニット75を備える。
【0028】
ECU71は、例えば、図1の制御ユニット21の一部を構成し、車両1の前方に設けられる。
【0029】
前方センシングユニット72は、例えば、図1の外界センサ22の一部を構成し、車両1の前方に設けられる。前方センシングユニット72は、例えば、外界センサ22のカメラ41、レーダ42、及び、LiDAR43の一部を備え、車両1の前方のセンシングを行う。
【0030】
ソナー73は、例えば、図1の外界センサ22のソナー44の一部を構成し、車両1の前方かつ下方に設けられる。ソナー73は、車両1の前方の路面付近のセンシングを行う。
【0031】
ToFカメラ74は、例えば、図1の車内センサ24のカメラ51の一部を構成し、車両1のダッシュボード上に設けられる。ToFカメラ74は、車内の搭乗者(例えば、運転者)を撮影する。
【0032】
表示ユニット75は、例えば、図1の表示部28の一部を構成し、車両1のダッシュボードの前面に設けられる。
【0033】
図3は、車両1の内部の前方のダッシュボード101付近を模式的に示している。
【0034】
ダッシュボード101付近には、ToFカメラ74、表示ユニット75、及び、ヘッドアップディスプレイ(ディスプレイ113のみ図示)が設けられている。
【0035】
ToFカメラ74は、ダッシュボード101上において、左右方向の中央よりやや運転席寄りに設けられている。ToFカメラ74は、例えば、運転席に座っている運転者の頭部を少なくとも含む範囲を撮影する。
【0036】
表示ユニット75は、運転席及び助手席の前方かつウインドシールド102の下方において、ダッシュボード101の前面に水平方向に延びるように設けられている。表示ユニット75は、ディスプレイ111L、ディスプレイ111R、ディスプレイ112L、及び、ディスプレイ112Rが、左右方向に連続し、一体化された構成を有している。ディスプレイ111L、ディスプレイ111R、ディスプレイ112L、及び、ディスプレイ112Rは、それぞれ独立して個々に表示を行うことも可能であるし、一体となって表示を行うことも可能である。
【0037】
ディスプレイ111L及びディスプレイ111Rは、運転席及び助手席の前方かつウインドシールド102の下方において、運転席の左端付近から助手席の右端付近まで左右に延び、運転席又は助手席から見て後方(車両1の後方)を向いている。ディスプレイ111Lは、運転席の前方に配置されている。ディスプレイ111Rは、運転席と助手席の間及び助手席の前方に配置されている。
【0038】
ディスプレイ112L及びディスプレイ112Rは、表示ユニット75の左右の両端において略左右対称に設けられている。ディスプレイ112Lは、表示ユニット75の左端において、ディスプレイ111Lに対して車内方向に角度がつき、運転席又は助手席から見て右斜め後方(車両1の右斜め後方)を向いている。ディスプレイ112Rは、表示ユニット75の右端において、ディスプレイ111Rに対して車内方向に角度がつき、運転席又は助手席から見て左斜め後方(車両1の左斜め後方)を向いている。
【0039】
ディスプレイ111L及びディスプレイ111Rは、例えば、運転を支援する情報、車両1の周囲画像、インフォテイメント関連の情報等を表示する。例えば、ディスプレイ111Lには、主に運転者向けの情報が表示される。例えば、ディスプレイ111Rには、オーディオ、ビデオ、ウエブサイト、地図等のインフォテイメント関連の情報が表示される。
【0040】
また、後述するように、ディスプレイ111L及びディスプレイ111Rには、仮想透視画像が表示される。
【0041】
仮想透視画像とは、ディスプレイ111L及びディスプレイ111Rに表示されたときに、搭乗者から見て、ウインドシールド102を介して車両1内から見える車両1の外の現実のシーンに対して連続的に見える画像である。換言すれば、仮想透視画像とは、ディスプレイ111L及びディスプレイ111Rに表示されたときに、搭乗者から見て、ウインドシールド102から見える現実のシーンと繋がって見える画像である。すなわち、仮想透視画像とは、ディスプレイ111L及びディスプレイ111Rが透明で、ディスプレイ111L及びディスプレイ111Rの向こう側(車両1の前方)が透けて見えると仮定した場合に、搭乗者からディスプレイ111L及びディスプレイ111Rの位置に見えると推定される現実のシーンを仮想的に示す画像である。
【0042】
ここで、「連続的に」とは、必ずしも隙間なく連続する必要はなく、間隔を空けて連続していてもよい。すなわち、ウインドシールド102とディスプレイ111L及びディスプレイ111Rとの間には、ダッシュボード101が存在するため、間隔が空いている。従って、ウインドシールド102から見える現実のシーンと、ディスプレイ111L及びディスプレイ111Rに表示される仮想透視画像とが、間隔を空けて連続して(繋がっているように)見えればよい。
【0043】
ディスプレイ112L及びディスプレイ112Rは、従来のサイドミラーの代替となるデジタルアウターミラー(電子サイドミラー)として主に用いられる。すなわち、ディスプレイ112L及びディスプレイ112Rは、CMS(Camera Monitoring System)に用いられる。例えば、ディスプレイ112Lは、カメラ41により撮影される車両1の左斜め後方の画像を表示する。ディスプレイ112Rは、カメラ41により撮影される車両1の右斜め後方の画像を表示する。
【0044】
ヘッドアップディスプレイは、運転席の前方に設けられているディスプレイ113(以下、HUD用ディスプレイ113と称する)を備えている。例えば、HUD用ディスプレイ113は、ウインドシールド102の一部により構成されてもよいし、ウインドシールド102とは別に設けられてもよい。後者の場合、例えば、ウインドシールド102にHUD用ディスプレイ113が貼付される。そして、AR技術を用いて、HUD用ディスプレイ113に視覚情報が投影されることにより、運転者の視界内に視覚情報が重畳される。
【0045】
HUD用ディスプレイ113は、例えば、運転を支援する情報を表示する。
【0046】
図4は、車両1の正面図である。
【0047】
車両1の外側の前面のヘッドライト131Lとヘッドライト131Rの間において、ディスプレイ132が設けられている。ディスプレイ132は、図1の表示部28の一部を構成する。
【0048】
ディスプレイ132は、例えば、車両1の周囲に存在する車両や歩行者等に情報を伝えるために用いられる。
【0049】
図5は、制御ユニット21により実現される機能の構成例を示している。制御ユニット21は、情報取得部151、車両制御部152、及び、表示制御部153を備える。情報取得部151は、検出部161、自己位置推定部162、及び、外界情報収集部163を備える。検出部161は、外界状態検出部171、車両状態検出部172、及び、搭乗者状態検出部173を備える。
【0050】
外界状態検出部171は、外界センサ22からのセンサデータに基づいて、外界の状態を検出する。例えば、外界状態検出部171は、車両1の周囲の物体の有無、大きさ、形、位置、動き、属性(種類等)等を検出する。車両1の周囲の物体は、例えば、他の車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等を含む。外界状態検出部171は、例えば、車両1の周囲の環境を検出する。車両1の周囲の環境は、例えば、天候、気温、湿度、明るさ、路面の状態等を含む。外界状態検出部171は、検出結果を示す情報を車両制御部152及び表示制御部153に供給する。
【0051】
車両状態検出部172は、車両センサ25からのセンサデータ、及び、車両制御部152からの情報に基づいて、車両1の状態を検出する。例えば、車両状態検出部172は、車両1の走行状態、車両1の各部の状態、車両1の運転自動化の動作状態等を検出する。車両状態検出部172は、検出結果を示す情報を車両制御部152及び表示制御部153に供給する。
【0052】
搭乗者状態検出部173は、車内センサ24からのセンサデータに基づいて、搭乗者の状態を検出する。例えば、搭乗者状態検出部173は、搭乗者の姿勢及び視線方向を検出する。搭乗者の姿勢は、例えば、搭乗者の顔の向き、顔の位置、及び、目の位置を含む。例えば、搭乗者状態検出部173は、搭乗者の体調、覚醒度、集中度、疲労度、酩酊度、運転操作等を検出する。例えば、搭乗者状態検出部173は、搭乗者のジェスチャ、及び、発話内容を認識する。搭乗者状態検出部173は、検出結果を示す情報を車両制御部152及び表示制御部153に供給する。
【0053】
自己位置推定部162は、GNSS受信機23からのGNSS信号に基づいて、車両1の自己位置を推定する。自己位置推定部162は、推定結果を示す情報を車両制御部152及び表示制御部153に供給する。
【0054】
なお、自己位置推定部162は、SLAM(Simultaneous Localization and Mapping)等の他の技術を用いて、車両1の自己位置を推定するようにしてもよい。
【0055】
外界情報収集部163は、通信部27を介して、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、車両1の外界に関する外界情報を収集する。外界情報は、例えば、地図情報、交通情報、気象情報、及び、車両1の周囲の情報を含む。車両1の周囲の情報は、例えば、観光情報、商業施設等の各種の施設の情報等を含む。外界情報収集部163は、収集した外界情報を車両制御部152及び表示制御部153に供給する。
【0056】
車両制御部152は、情報取得部151から供給される各種の情報、及び、入力部26からの入力信号等に基づいて、車両1の各部の制御を実行する。例えば、車両制御部152は、車両1のステアリングシステム、ブレーキシステム、駆動システム、ボディ系システム、各種のライト、カーホーン等の制御を実行する。例えば、車両制御部152は、車両1のレベル1乃至レベル5の運転自動化(運転支援)の制御を実行する。車両制御部152は、車両1の制御状態に基づいて、車両1の状態を示す情報を情報取得部151に供給する。
【0057】
表示制御部153は、表示部28による各種の表示画像の表示を制御する。表示制御部153は、画像生成部181及び出力制御部182を備える。
【0058】
画像生成部181は、情報取得部151から供給される各種の情報、及び、入力部26からの入力信号等に基づいて、表示部28に表示させる表示画像を生成する。表示画像には、上述した仮想透視画像が含まれる。画像生成部181は、表示画像を出力制御部182に供給する。
【0059】
出力制御部182は、表示部28が備える表示デバイスへの表示画像の出力を制御することにより、表示デバイスによる表示画像の表示を制御する。
【0060】
<仮想透視画像表示処理>
次に、図6のフローチャートを参照して、車両1により実行される仮想透視画像表示処理について説明する。
【0061】
この処理は、例えば、搭乗者が入力部26を介して仮想透視画像の表示を指示したとき開始され、仮想透視画像の表示の停止を指示したとき終了する。
【0062】
ステップS1において、車両1は、外界のセンシングを実行する。具体的には、外界センサ22の各センサは、外界のセンシングを実行し、センシングにより得られたセンサデータを制御ユニット21に供給する。制御ユニット21の外界状態検出部171は、外界センサ22からのセンサデータに基づいて、外界の状態を検出する。外界状態検出部171は、検出結果を示す情報を車両制御部152及び表示制御部153に供給する。
【0063】
ステップS2において、車両1は、車両1の状態を検出する。具体的には、車両センサ25の各センサは、車両1の状態を検出し、検出結果を示すセンサデータを制御ユニット21に供給する。車両制御部152は、車両1の各部の状態を示す情報を制御ユニット21に供給する。制御ユニット21の車両状態検出部172は、車両センサ25からのセンサデータ、及び、車両制御部152からの情報に基づいて、車両1の状態を検出する。車両状態検出部172は、検出結果を示す情報を車両制御部152及び表示制御部153に供給する。
【0064】
ステップS3において、車両1は、搭乗者の状態を検出する。具体的には、車内センサ24は、車内のセンシングを実行し、センシングにより得られたセンサデータを制御ユニット21に供給する。制御ユニット21の搭乗者状態検出部173は、車内センサ24からのセンサデータに基づいて、搭乗者の状態を検出する。
【0065】
例えば、搭乗者状態検出部173は、ToFカメラ74により撮影された搭乗者(例えば、運転者)の画像に基づいて、搭乗者の姿勢及び視線方向を検出する。搭乗者の姿勢は、上述したように、搭乗者の顔の向き、顔の位置、及び、目の位置を含む。搭乗者状態検出部173は、搭乗者の姿勢及び視線方向のうち少なくとも1つに基づいて、搭乗者の視界の範囲を推定する。搭乗者状態検出部173は、搭乗者の視界の範囲に基づいて、搭乗者の視界におけるディスプレイ111L及びディスプレイ111Rの相対位置を推定する。
【0066】
例えば、搭乗者状態検出部173は、搭乗者の画像に基づいて、搭乗者のジェスチャを認識する。例えば、搭乗者状態検出部173は、マイクロフォン52により収集された音声に基づいて、搭乗者の発話内容を認識する。
【0067】
搭乗者状態検出部173は、検出結果を示す情報を車両制御部152及び表示制御部153に供給する。
【0068】
ステップS4において、車両1は、自己位置推定処理を実行する。具体的には、GNSS受信機23は、GNSS衛星からGNSS信号を受信し、制御ユニット21に供給する。自己位置推定部162は、GNSS信号に基づいて、車両1の自己位置を推定する。自己位置推定部162は、推定結果を示す情報を車両制御部152及び表示制御部153に供給する。
【0069】
ステップS5において、車両1は、外界情報を収集する。具体的には、外界情報収集部163は、通信部27を介して、外部のサーバ等と通信を行い、車両1の外界に関する外界情報を収集する。外界情報収集部163は、収集した外界情報を車両制御部152及び表示制御部153に供給する。
【0070】
なお、ステップS1乃至ステップS5の処理は、必ずしもこの順番で実行されなくてもよい。例えば、処理順が変更されたり、複数の処理が並行して実行されたりしてもよい。また、仮想透視画像表示処理の各ループにおいて、ステップS1乃至ステップS5の処理が必ずしも毎回全て実行される必要はなく、一部の処理が省略されてもよい。
【0071】
ステップS6において、画像生成部181は、仮想透視画像を生成する。具体的には、画像生成部181は、前方センシングユニット72が備えるカメラ(以下、前方カメラと称する)により撮影された車両1の前方の画像(以下、前方画像と称する)に基づいて、ディスプレイ111L及びディスプレイ111Rに表示する仮想透視画像を生成する。
【0072】
例えば、画像生成部181は、搭乗者の視界におけるディスプレイ111Lの相対位置、並びに、前方カメラの位置及び姿勢等に基づいて、ディスプレイ111Lに表示する領域を前方画像から抽出する。また、画像生成部181は、搭乗者の視界におけるディスプレイ111Lの相対位置、並びに、前方カメラの位置及び姿勢等に基づいて、必要に応じて前方画像から抽出した画像の幾何変換等を行う。これにより、ディスプレイ111Lに表示された場合に、搭乗者から見て、ウインドシールド102から見えるシーンに対して連続的に見える画像(以下、左仮想透視画像と称する)が生成される。
【0073】
同様に、例えば、画像生成部181は、搭乗者の視界におけるディスプレイ111Rの相対位置、並びに、前方カメラの位置及び姿勢等に基づいて、ディスプレイ111Rに表示する領域を前方画像から抽出する。また、画像生成部181は、搭乗者の視界におけるディスプレイ111Rの相対位置、並びに、前方カメラの位置及び姿勢等に基づいて、必要に応じて前方画像から抽出した画像の幾何変換等を行う。これにより、ディスプレイ111Rに表示された場合に、搭乗者から見て、ウインドシールド102から見えるシーンに対して連続的に見える画像(以下、右仮想透視画像と称する)が生成される。
【0074】
従って、搭乗者の姿勢及び視線方向のうち少なくとも1つに基づいて、前方画像における左仮想透視画像及び右仮想透視画像の抽出範囲が変化する。
【0075】
ステップS7において、画像生成部181は、提示情報を仮想透視画像に重畳する。具体的には、画像生成部181は、外界の状態、車両1の状態、搭乗者の状態、車両1の自己位置、及び、外界情報のうち少なくとも1つに基づいて、左仮想透視画像及び右仮想透視画像に重畳することにより搭乗者に提示する情報である提示情報を生成する。画像生成部181は、生成した提示情報を左仮想透視画像及び右仮想透視画像に重畳する。提示情報は、例えば、ナビゲーション情報、PoI(Point of Interest)情報、アラート情報等を含む。
【0076】
このとき、画像生成部181は、例えば、搭乗者の状態に基づいて、左仮想透視画像及び右仮想透視画像に提示情報を重畳する位置を制御する。具体的には、例えば、画像生成部181は、搭乗者の視界におけるディスプレイ111L及びディスプレイ111Rの相対位置、並びに、前方カメラの位置及び姿勢等に基づいて、左仮想透視画像及び右仮想透視画像に提示情報を重畳する位置を調整する。これにより、搭乗者から見て自然な位置に提示情報が表示されるようになる。
【0077】
画像生成部181は、提示情報を重畳した左仮想透視画像及び右仮想透視画像を出力制御部182に供給する。
【0078】
なお、特に提示する情報が存在しない場合、提示情報は重畳されない。
【0079】
また、例えば、画像生成部181は、前方画像に提示情報を重畳した後に、左仮想透視画像及び右仮想透視画像を前方画像から抽出するようにしてもよい。この場合、例えば、左仮想透視画像及び右仮想透視画像の抽出後に、必要に応じて画像の幾何変換や、提示情報の重畳位置が調整されたりする。
【0080】
ステップS8において、車両1は、仮想透視画像を表示する。具体的には、出力制御部182は、左仮想透視画像をディスプレイ111Lに供給し、右仮想透視画像をディスプレイ111Rに供給する。ディスプレイ111Lは、左仮想透視画像を表示し、ディスプレイ111Rは、右仮想透視画像を表示する。
【0081】
なお、仮想透視画像の具体例については、図7乃至図13を参照して後述する。
【0082】
その後、処理はステップS1に戻り、ステップS1以降の処理が実行される。
【0083】
<仮想透視画像の具体例>
次に、図7乃至図13を参照して、仮想透視画像の具体例について説明する。
【0084】
図7の例では、車両1のウインドシールド102から、走行中の道路を含むシーンが見えている。このウインドシールド102を介して見えるシーンと連続して見えるように、走行中の道路を含むシーンを示す左仮想透視画像及び右仮想透視画像がディスプレイ111L及びディスプレイ111Rにそれぞれ表示されている。
【0085】
また、車両1の動作及び車両1の周囲の状態を示す提示情報が仮想透視画像に重畳されている。
【0086】
具体的には、車両1の左前輪及びサスペンションの状態(例えば、左前輪の切れ角等)を模式的に示す車輪画像201Lが、左仮想透視画像に重畳されている。車両1の右前輪及びサスペンションの状態(例えば、右前輪の切れ角等)を模式的に示す車輪画像201Rが、右仮想透視画像に重畳されている。
【0087】
また、車両1の左前輪の予測される軌道を示す予測軌道画像202Lが、左仮想透視画像に重畳されている。車両1の右前輪の予測される軌道を示す予測軌道画像202Rが、右仮想透視画像に重畳されている。
【0088】
さらに、走行中の路面の起伏を波線により示す路面情報203が、左仮想透視画像及び右仮想透視画像に重畳されている。なお、この例では、路面情報203を分かりやすく示すために、路面の起伏を示す波線が、実際の起伏より大きく示されている。
【0089】
これにより、搭乗者は、従来は視認できなかったエリアやオブジェクトを仮想的に透視することができ、高揚感や爽快感を味わうことができる。
【0090】
また、HUD用ディスプレイ113には、車両1の速度が表示されている。これは、以下の例について同様である。なお、例えば、車両1の速度以外の運転支援情報が、HUD用ディスプレイ113に表示されるようにしてもよい。
【0091】
図8の例では、車両1のウインドシールド102から、駐車場内のシーンが見えている。このウインドシールド102を介して見えるシーンと連続して見えるように、駐車場内のシーンを示す左仮想透視画像及び右仮想透視画像がディスプレイ111L及びディスプレイ111Rにそれぞれ表示されている。
【0092】
図7の例と同様に、車輪画像201Lが左仮想透視画像に重畳され、車輪画像201Rが左仮想透視画像に重畳されている。
【0093】
また、搭乗者に対するナビゲーション情報を含む提示情報が仮想透視画像に重畳されている。
【0094】
具体的には、駐車場の空きスペースの方向を示す3次元画像を含むナビゲーション情報221が、左仮想透視画像に重畳されている。駐車場の名称及び外観、空きスペース数、並びに、駐車料金を示す3次元画像を含むナビゲーション情報222が、右仮想透視画像に重畳されている。
【0095】
これにより、搭乗者は、駐車場の空きスペース、料金等を迅速に認識し、快適に駐車することが可能になる。
【0096】
図9の例では、車両1のウインドシールド102から、横断歩道を含むシーンが見えている。なお、横断歩道を横断中の歩行者が財布242を落としている。このウインドシールド102を介して見えるシーンと連続して見えるように、横断歩道を含むシーンを示す左仮想透視画像及び右仮想透視画像がディスプレイ111L及びディスプレイ111Rにそれぞれ表示されている。
【0097】
図7の例と同様に、車輪画像201Lが左仮想透視画像に重畳され、車輪画像201Rが左仮想透視画像に重畳されている。
【0098】
また、車両1の周囲に伝える伝達情報を含む提示情報が仮想透視画像に重畳されている。
【0099】
具体的には、伝達情報241が、左仮想透視画像及び右仮想透視画像を横断するように重畳されている。伝達情報241は、財布242を落とした歩行者に対して搭乗者が呟いた"Hey! You dropped your wallet there!"というメッセージを音声認識した結果を示している。図10に示されるように、同様の内容の伝達情報が、車両1の前方のディスプレイ132に表示されている。
【0100】
さらに、例えば、車両制御部152が、認識された搭乗者のジェスチャに基づいて、ヘッドライト131Rにより、財布242をスポットライト状に照らしている。
【0101】
このようにして、搭乗者は、車両1の周囲の歩行者等と音声を用いずにインタラクティブにコミュニケーションすることができる。例えば、この例のように、搭乗者は、財布を落としたことを歩行者に伝えることができる。また、搭乗者は、仮想透視画像に重畳された伝達情報241により、ディスプレイ132により歩行者に対して伝達されているメッセージを確認することができる。
【0102】
図11の例では、車両1のウインドシールド102から、自動運転により走行中の道路を含むシーンが見えている。このウインドシールド102を介して見えるシーンと連続して見えるように、走行中の道路を含むシーンを示す左仮想透視画像及び右仮想透視画像がディスプレイ111L及びディスプレイ111Rにそれぞれ表示されている。
【0103】
また、運転支援の稼働状況等を示す提示情報が仮想透視画像に重畳されている。
【0104】
具体的には、ガイダンス情報261が、右仮想透視画像の左端付近に重畳されている。ガイダンス情報261は、車両1が自動運転中であることを示す情報、及び、今後の進行方向を示すナビゲーション情報を含む。ナビゲーション情報は、430ヤード先の信号を右折することを示している。
【0105】
また、走行中の車線の左側のラインの認識結果を示す認識情報262Lが、左仮想透視画像内の車線の左側のラインに重畳されている。走行中の車線の右側のラインの認識結果を示す認識情報262Rが、右仮想透視画像内の車線の右側のラインに重畳されている。
【0106】
これにより、搭乗者は、車両1の運転支援の稼働状況を、車両1の前方のシーンと重ねて容易に認識することができる。
【0107】
図12の例では、車両1のウインドシールド102から、前方の一時停止地点を含むシーンが見えている。このウインドシールド102を介して見えるシーンと連続して見えるように、一時停止地点を含むシーンを示す左仮想透視画像及び右仮想透視画像がディスプレイ111L及びディスプレイ111Rにそれぞれ表示されている。
【0108】
また、搭乗者に注意を喚起するアラート情報を含む提示情報が仮想透視画像に重畳されている。
【0109】
具体的には、アラート情報281及びアラート情報282が、右仮想透視画像に重畳されている。アラート情報281は、右仮想透視画像内の路面の一時停止の道路標示(STOP)に重畳され、道路標示を強調するとともに、<<CAUTION>>の文字を含んでいる。アラート情報282は、右仮想透視画像内の車線の右側の縁石の左端に沿って重畳され、車両1が縁石に接近しすぎていることを警告している。
【0110】
これにより、搭乗者は、車両1の死角となる位置における危険要因を迅速かつ確実に認識し、危険を回避することが可能になる。
【0111】
図13の例では、車両1のウインドシールド102から、走行中の道路を含むシーンが見えている。なお、車両1が走行中の車線において、障害物が路面に散乱している。このウインドシールド102を介して見えるシーンと連続して見えるように、走行中の道路を含むシーンを示す左仮想透視画像及び右仮想透視画像がディスプレイ111L及びディスプレイ111Rにそれぞれ表示されている。
【0112】
また、搭乗者に注意を喚起するアラート情報を含む提示情報が仮想透視画像に重畳されている。
【0113】
具体的には、アラート情報301及びアラート情報302が、右仮想透視画像に重畳されている。アラート情報301は、右仮想透視画像内の障害物に重畳され、障害物を強調するとともに、<<CAUTION>>の文字を含んでいる。アラート情報302は、右仮想透視画像内の車線の右側のラインに重畳され、車両1が斜線の右側に寄りすぎていることを警告している。
【0114】
これにより、搭乗者は、車両1の死角となる位置における危険要因を迅速かつ確実に認識し、危険を回避することが可能になる。
【0115】
以上のようにして、外界とIVI(In-Vehicle Infotainment)との界面が取り払われ、搭乗者に提示される情報が増え、搭乗者の利便性が向上する。また、搭乗者の移動体験の質が向上し、搭乗者の満足度が上昇する。
【0116】
<<2.変形例>>
以下、上述した本技術の実施の形態の変形例について説明する。
【0117】
例えば、車両1内に複数の搭乗者が存在する場合、表示制御部153は、仮想透視画像を表示する対象となる搭乗者、すなわち、ウインドシールド102から見える現実のシーンと仮想対象画像とを連続的に見えるようにする対象となる搭乗者(以下、対象者と称する)を1人に絞るようにしてもよい。例えば、表示制御部153は、所定の条件に基づいて(例えば、最も表示ユニット75に近い位置に存在する搭乗者を)、対象者に選択するようにしてもよい。例えば、表示制御部153は、予め設定された搭乗者(例えば、運転者)を対象者に選択するようにしてもよい。例えば、表示制御部153は、ユーザ操作に従って対象者を選択するようにしてもよい。
【0118】
または、例えば、表示制御部153は、全ての搭乗者の姿勢や視線方向にそれぞれ基づいて、仮想対象画像の表示を制御するようにしてもよい。この場合、例えば、各搭乗者に対して個別に表示される場合の複数の仮想対象画像の平均的な表示範囲及び表示位置の画像が表示される。
【0119】
または、例えば、表示制御部153は、予め対象者を運転者等に絞っておき、他の搭乗者を考慮しないようにしてもよい。
【0120】
以上の説明では、ディスプレイ111L及びディスプレイ111Rの両方に仮想透視画像が表示される例を示したが、例えば、いずれか一方のみに表示されるようにすることも可能である。
【0121】
例えば、ディスプレイの一部にのみ仮想透視画像が表示されるようにしてもよい。具体的には、例えば、ディスプレイ111Lの一部やディスプレイ111Rの一部に仮想透視画像が表示されるようにしてもよい。
【0122】
表示ユニット75のディスプレイの構成例は、適宜変更可能である。例えば、ディスプレイ111Lとディスプレイ111Rを連結して、1つのディスプレイとしてもよい。例えば、ディスプレイ111Rを、運転席と助手席の間の前方と助手席の前方とで、2つに分割するようにしてもよい。
【0123】
仮想透視画像を表示するディスプレイの位置は、必ずしも上述した例に限定されない。また、車内から見える現実のシーンと仮想透視画像の位置関係も、必ずしも上述した例に限定されない。
【0124】
例えば、車内のピラーにディスプレイ設け、ピラーの横に隣接する窓から見える現実のシーンに対して連続的に見えるように、ピラーのディスプレイに仮想透視画像が表示されるようにしてもよい。
【0125】
例えば、車両のドアの内側、又は、車両のリアウインドウにディスプレイを設け、ディスプレイの近傍の窓から見える現実のシーンに対して連続的に見えるように、仮想透視画像がディスプレイに表示されるようにしてもよい。
【0126】
例えば、仮想透視画像が車両の窓以外から見える現実のシーンに対して連続的に見えるようにする場合も想定される。例えば、車両のドアの内側に設けられたディスプレイに仮想透視画像が表示される場合、ドアの窓を開けた状態では、窓を介さずに直接見える現実のシーンと仮想透視画像とが連続的に見えるようになる。
【0127】
本技術は、車両以外にも、内部から外部の現実のシーンを見ることができ、かつ、内部に表示装置を備える各種の移動体に適用できる。例えば、本技術は、航空機、列車、船舶等にも適用できる。
【0128】
<<3.その他>>
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0129】
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0130】
<構成の組み合わせ例>
本技術は、以下のような構成をとることもできる。
【0131】
(1)
搭乗者が搭乗する移動体において、
前記移動体内に配置され、1以上のディスプレイを備える第1の表示部と、
前記搭乗者の状態に基づいて、前記移動体内から見える前記移動体の外の現実のシーンと前記第1の表示部に表示される表示画像の少なくとも一部とが連続的に見えるように前記表示画像の表示を制御する表示制御部と
を備える移動体。
(2)
前記表示制御部は、前記移動体の外界の状態、前記移動体の状態、前記搭乗者の状態、前記移動体の自己位置、及び、前記移動体の外界の情報のうち少なくとも1つに基づく提示情報を前記表示画像に重畳する
前記(1)に記載の移動体。
(3)
前記表示制御部は、前記搭乗者の状態に基づいて、前記提示情報を前記表示画像に重畳する位置を制御する
前記(2)に記載の移動体。
(4)
前記移動体は、車両であり、
前記提示情報は、前記車両の周囲の状態を示す情報、前記車両の動作を示す情報、運転支援の稼働状況を示す情報、ナビゲーション情報、及び、アラート情報のうち少なくとも1つを含む
前記(2)又は(3)に記載の移動体。
(5)
前記車両の外側に設けられ、前記車両の周囲に伝える伝達情報を表示する第2の表示部を
さらに備え、
前記提示情報は、前記伝達情報と同様の情報を含む
前記(4)に記載の移動体。
(6)
前記伝達情報は、前記搭乗者のメッセージを含む
前記(5)に記載の移動体。
(7)
前記移動体の外界の状態を示す情報、前記移動体の状態を示す情報、前記搭乗者の状態を示す情報、前記移動体の自己位置、及び、前記移動体の外界の情報のうち少なくとも1つを取得する情報取得部を
さらに備える前記(2)乃至(6)のいずれかに記載の移動体。
(8)
前記表示制御部は、前記移動体の窓から見える前記現実のシーンと前記表示画像の少なくとも一部とが連続的に見えるように前記表示画像の表示を制御する
前記(1)乃至(7)のいずれかに記載の移動体。
(9)
前記移動体は、車両であり、
前記表示制御部は、前記移動体のウインドシールドから見える前記現実のシーンと前記表示画像の少なくとも一部とが連続的に見えるように前記表示画像の表示を制御する
前記(8)に記載の移動体。
(10)
前記第1の表示部は、運転席及び助手席の前方かつ前記ウインドシールドの下方に配置されている
前記(9)に記載の移動体。
(11)
前記搭乗者の状態を検出する搭乗者状態検出部を
さらに備える前記(1)乃至(10)のいずれかに記載の移動体。
(12)
前記搭乗者の状態は、前記搭乗者の姿勢及び視線方向のうち少なくとも1つを含む
前記(11)に記載の移動体。
(13)
前記表示制御部は、前記搭乗者状態検出部により検出された前記搭乗者の状態に基づいて、前記現実のシーンと前記第1の表示部に表示される前記表示画像の少なくとも一部とが連続的に見えるように前記表示画像の表示を制御する
前記(11)又は(12)に記載の移動体。
(14)
前記移動体の外部を撮影する撮影部を
さらに備え、
前記表示制御部は、前記撮影部により撮影された画像に基づいて、前記表示画像の表示を制御する
前記(1)乃至(13)のいずれかに記載の移動体。
(15)
情報処理装置が、
移動体の搭乗者の状態に基づいて、前記移動体内から見える前記移動体の外の現実のシーンと、前記移動体内に配置され、1以上のディスプレイを備える表示部に表示される表示画像の少なくとも一部とが連続的に見えるように前記表示画像の表示を制御する
情報処理方法。
【0132】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【符号の説明】
【0133】
1 車両, 11 車両制御システム, 21 制御ユニット, 22 外界センサ, 23 GNSS受信機, 24 車内センサ, 25 車両センサ, 28 表示部, 71 ECU, 72 前方センシングユニット, 74 ToFカメラ, 75 表示ユニット, 101 ダッシュボード, 102 ウインドシールド, 111L乃至113 ディスプレイ, 132 ディスプレイ, 151 情報取得部, 152 車両制御部, 153 表示制御部, 161 検出部, 162 自己位置推定部, 163 外界情報収集部, 181 画像生成部, 182 出力制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13