(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-20
(45)【発行日】2024-06-28
(54)【発明の名称】情報処理プログラム及び情報処理方法
(51)【国際特許分類】
G09F 21/04 20060101AFI20240621BHJP
B60Q 1/50 20060101ALI20240621BHJP
【FI】
G09F21/04 C
B60Q1/50 Z
(21)【出願番号】P 2021073678
(22)【出願日】2021-04-23
【審査請求日】2023-04-05
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(74)【代理人】
【識別番号】100104215
【氏名又は名称】大森 純一
(74)【代理人】
【識別番号】100196575
【氏名又は名称】高橋 満
(74)【代理人】
【識別番号】100168181
【氏名又は名称】中村 哲平
(74)【代理人】
【識別番号】100160989
【氏名又は名称】関根 正好
(74)【代理人】
【識別番号】100117330
【氏名又は名称】折居 章
(74)【代理人】
【識別番号】100168745
【氏名又は名称】金子 彩子
(74)【代理人】
【識別番号】100176131
【氏名又は名称】金山 慎太郎
(74)【代理人】
【識別番号】100197398
【氏名又は名称】千葉 絢子
(74)【代理人】
【識別番号】100197619
【氏名又は名称】白鹿 智久
(73)【特許権者】
【識別番号】517235476
【氏名又は名称】株式会社ニューステクノロジー
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(72)【発明者】
【氏名】菅谷 洋
(72)【発明者】
【氏名】蜂須賀 拓未
(72)【発明者】
【氏名】三浦 純揮
【審査官】山下 清隆
(56)【参考文献】
【文献】特開2016-065938(JP,A)
【文献】米国特許出願公開第2019/0098268(US,A1)
【文献】特開2017-177883(JP,A)
【文献】特開2006-113230(JP,A)
【文献】国際公開第2019/163599(WO,A1)
【文献】特開2021-056280(JP,A)
【文献】特開2019-151228(JP,A)
【文献】特開2003-076304(JP,A)
【文献】特開2021-043571(JP,A)
【文献】特開2018-172119(JP,A)
【文献】特開2017-026417(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G09F 19/00-27/00
B60Q 1/00- 1/56
(57)【特許請求の範囲】
【請求項1】
情報処理装置のプロセッサを、
自動運転可能な移動体の外部から視認可能に前記移動体に画像を表示可能な表示装置を有する前記移動体の移動体情報を取得し、前記移動体情報に基づき表示のオン又はオフを判断する表示判断部と、
画像記憶装置から画像を取得する画像取得部と、
前記表示判断部の判断結果に基づき前記表示装置を制御して前記画像の表示をオン又はオフする表示制御部と
、
前記移動体の外部情報を取得し、前記外部情報に基づき表示中の画像を切り替えるか否かを判断する切替判断部と、
として動作させる情報処理プログラムであって、
前記表示制御部は、前記切替判断部の判断結果に基づき前記表示装置を制御して表示される画像を切り替え、
前記切替判断部は、
前記外部情報として前記移動体の乗員のトラブル情報を取得すると、前記トラブル情報に関するトラブル画像に表示を切り替えると判断し、
前記外部情報として前記移動体の運転者のトラブル情報を取得すると、前記移動体が自動運転中は、前記移動体の運転者のトラブル情報に基づき表示中の画像を切り替えるか否かを判断しない
情報処理プログラム。
【請求項2】
請求項1に記載の情報処理
プログラムであって、
前記表示判断部は、
(A)前記移動体情報として前記移動体のドアの開閉情報を取得し、前記ドアがオープンしたと判断すると表示オフを判断し、
(B)前記移動体情報として前記移動体の少なくとも一方のウィンカーの作動情報を取得し、前記少なくとも一方のウィンカーが作動中と判断すると表示オフを判断し、
(C)前記移動体情報として前記移動体のタクシーメーターの作動情報を取得し、前記タクシーメーターが作動中と判断すると表示オフを判断し、前記タクシーメーターが作動していないとを判断すると表示オンを判断し、
(D)前記移動体情報として前記移動体の速度情報を取得し、第1の所定速度以上と判断すると表示オフを判断し、前記第1の所定速度未満と判断すると表示オンを判断し、
(E)前記移動体情報として前記移動体の内部の温度情報を取得し、温度が所定温度以上と判断すると表示オフを判断し、前記所定温度未満と判断すると表示オンを判断し、
(F)前記移動体情報として前記移動体から第1の所定距離以内に他の移動体が存在するか否かを示す移動体存在情報を取得し、前記第1の所定距離以内に他の移動体が存在すると判断すると表示オフを判断し、前記第1の所定距離以内に他の移動体が存在しないと判断すると表示オンを判断し、又は
(G)前記移動体情報として前記移動体から歩道までの距離を示す歩道距離情報を取得し、前記移動体から前記歩道まで第2の所定距離以上であると判断すると表示オフを判断する
情報処理
プログラム。
【請求項3】
請求項2に記載の情報処理
プログラムであって、
前記表示判断部は、(A)前記ドアがクローズしたと判断し、(B)前記少なくとも一方のウィンカーが作動していないと判断し、(C)前記タクシーメーターが作動していないと判断し、(D)前記第1の所定速度未満と判断し、(E)前記所定温度未満と判断し、(F)前記第1の所定距離以内に他の移動体が存在しないと判断し、及び(G)前記歩道まで第2の所定距離未満であると判断すると、表示オンを判断する
情報処理
プログラム。
【請求項4】
請求項2に記載の情報処理
プログラムであって、
前記表示判断部は、前記移動体が自動運転中は、(B)前記移動体の少なくとも一方のウィンカーの作動情報及び(F)前記移動体存在情報に基づき表示のオン又はオフを判断しない
情報処理
プログラム。
【請求項5】
請求項1に記載の情報処理
プログラムであって、
前記画像取得部は、前記切替判断部が画像を切り替えると判断すると、前記画像記憶装置から新たな画像を取得する
情報処理
プログラム。
【請求項6】
請求項1に記載の情報処理
プログラムであって、
前記表示制御部は、前記切替判断部の判断結果に基づき前記表示装置を制御して、表示中の画像の表示モードを切り替える
情報処理
プログラム。
【請求項7】
請求項1に記載の情報処理
プログラムであって、
前記切替判断部は、
(a)前記外部情報として前記移動体の位置情報を取得し、前記移動体が所定エリアにいると判断すると、前記所定エリアに紐づけられたエリア画像に表示を切り替えると判断し、
(b)前記外部情報として緊急情報を取得すると、前記緊急情報に関する緊急画像に表示を切り替えると判断し、
(c)前記外部情報として前記移動体の予約情報を取得すると、前記予約情報に関する予約者画像に表示を切り替えると判断し、
(d)前記外部情報として交通機関の運行情報を取得すると、前記運行情報に関する運行画像に表示を切り替えると判断し、
又は
(e)前記外部情報として前記移動体の外部の明るさ情報を取得し、前記移動体の外部が所定の明るさ以上と判断すると、表示される画像の明るさを切り替えると判断する
情報処理
プログラム。
【請求項8】
請求項1に記載の情報処理
プログラムであって、
前記切替判断部は、前記表示判断部が表示オフを判断する場合でも
、前記外部情報として前記移動体の乗員のトラブル情報を取得すると、前記トラブル画像に表示を切り替えると判断する
情報処理
プログラム。
【請求項9】
請求項1に記載の情報処理
プログラムであって、
前記表示制御部は、前記移動体に搭載され、表示中の画像を切り替えるための要求を入力する操作装置を前記移動体の乗員が操作したことを検出すると、前記表示装置を制御して表示される画像を切り替える
情報処理
プログラム。
【請求項10】
請求項1に記載の情報処理
プログラムであって、
前記切替判断部は、
前記移動体が公道以外
若しくは特定場所におり、
停止中
若しくは速度が第2の所定速度以下であり、又は、
第1の所定距離以内に他の移動体が存在しない
と判断すると、静止画のスライドショー
若しくは動画に表示を切り替えると判断する
情報処理
プログラム。
【請求項11】
請求項1に記載の情報処理
プログラムであって、
前記画像取得部は、前記画像記憶装置から、
前記移動体に関連しない画像、
前記移動体に関する情報を示す画像、又は
前記移動体の近隣にいる他の1以上の移動体が表示する画像と関連する画像
を取得する
情報処理
プログラム。
【請求項12】
情報処理装置のコンピュータが、
自動運転可能な移動体の外部から視認可能に前記移動体に画像を表示可能な表示装置を有する前記移動体の移動体情報を取得し、前記移動体情報に基づき表示のオン又はオフを判断
するステップと、
画像記憶装置から画像を取得
するステップと、
表示のオン又はオフの判断結果に基づき前記表示装置を制御して前記画像の表示をオン又はオフ
するステップと、
前記移動体の外部情報を取得し、前記外部情報に基づき表示中の画像を切り替えるか否かを判断するステップと、
表示中の画像を切り替えるか否かの判断結果に基づき前記表示装置を制御して表示される画像を切り替えるステップと
を実行し、
前記表示中の画像を切り替えるか否かを判断するステップにおいて、
前記外部情報として前記移動体の乗員のトラブル情報を取得すると、前記トラブル情報に関するトラブル画像に表示を切り替えると判断し、
前記外部情報として前記移動体の運転者のトラブル情報を取得すると、前記移動体が自動運転中は、前記移動体の運転者のトラブル情報に基づき表示中の画像を切り替えるか否かを判断しない
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、移動体(車両等)の外部から視認可能に移動体に画像を表示する情報処理装置、情報処理プログラム、情報処理方法及びモビリティサイネージシステムに関する。
【背景技術】
【0002】
車両の外部から視認可能に車両のウィンドウに画像を表示するモビリティサイネージ技術が提案されている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【文献】米国特許出願公開第2019/098268号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
移動体の外部から視認可能に移動体に画像を表示するモビリティサイネージ技術においては、サイネージとしての効果を高めつつ、同時に、移動体の安全性を担保するのが望ましい。
【課題を解決するための手段】
【0005】
本開示の一形態に係る情報処理装置は、
移動体の外部から視認可能に前記移動体に画像を表示可能な表示装置を有する前記移動体の移動体情報を取得し、前記移動体情報に基づき表示のオン又はオフを判断する表示判断部と、
画像記憶装置から画像を取得する画像取得部と、
前記表示判断部の判断結果に基づき前記表示装置を制御して前記画像の表示をオン又はオフする表示制御部と
を具備する。
【0006】
本実施形態によれば、表示判断部が移動体情報に基づき表示のオン又はオフを判断するため、車両の安全性を担保できる。
【0007】
前記表示判断部は、
(A)前記移動体情報として前記移動体のドアの開閉情報を取得し、前記ドアがオープンしたと判断すると表示オフを判断し、
(B)前記移動体情報として前記移動体の少なくとも一方のウィンカーの作動情報を取得し、前記少なくとも一方のウィンカーが作動中と判断すると表示オフを判断し、
(C)前記移動体情報として前記移動体のタクシーメーターの作動情報を取得し、前記タクシーメーターが作動中と判断すると表示オフを判断し、前記タクシーメーターが作動していないとを判断すると表示オンを判断し、
(D)前記移動体情報として前記移動体の速度情報を取得し、第1の所定速度以上と判断すると表示オフを判断し、前記第1の所定速度未満と判断すると表示オンを判断し、
(E)前記移動体情報として前記移動体の内部の温度情報を取得し、温度が所定温度以上と判断すると表示オフを判断し、前記所定温度未満と判断すると表示オンを判断し、
(F)前記移動体情報として前記移動体から第1の所定距離以内に他の移動体が存在するか否かを示す移動体存在情報を取得し、前記第1の所定距離以内に他の移動体が存在すると判断すると表示オフを判断し、前記第1の所定距離以内に他の移動体が存在しないと判断すると表示オンを判断し、又は
(G)前記移動体情報として前記移動体から歩道までの距離を示す歩道距離情報を取得し、前記移動体から前記歩道まで第2の所定距離以上であると判断すると表示オフを判断してもよい。
【0008】
これにより、運転者が安全に運転できないおそれがあるときや、歩行者等が車両に表示された画像を安全かつ効果的に目視認識することができないおそれがあるときには、自動的に表示オフし、安全性を担保できる。
【0009】
前記表示判断部は、(A)前記ドアがクローズしたと判断し、(B)前記少なくとも一方のウィンカーが作動していないと判断し、(C)前記タクシーメーターが作動していないと判断し、(D)前記第1の所定速度未満と判断し、(E)前記所定温度未満と判断し、(F)前記第1の所定距離以内に他の移動体が存在しないと判断し、及び(G)前記歩道まで第2の所定距離未満であると判断すると、表示オンを判断してもよい。
【0010】
これにより、運転者が安全に運転できるときや、歩行者等が車両に表示された画像を安全かつ効果的に目視認識することができるときだけ、表示オンできる。
【0011】
前記移動体は自動運転可能であり、
前記表示判断部は、前記移動体が自動運転中は、(B)前記移動体の少なくとも一方のウィンカーの作動情報及び(F)前記移動体存在情報に基づき表示のオン又はオフを判断しなくてもよい。
【0012】
車両が自動運転中は、運転者に拠る手動運転と異なり、運転者が目視確認する必要が無いため、車両に画像が表示されていても問題無い。また、自動運転の車両は、車両の周囲にいる他の移動体に対して安全である様に自動運転可能である。これらの場合に表示オンを変更せず表示を継続すれば、サイネージとしての効果を高めつつ、同時に、移動体の安全性を担保することができる。
【0013】
前記移動体の外部情報を取得し、前記外部情報に基づき表示中の画像を切り替えるか否かを判断する切替判断部をさらに具備し、
前記表示制御部は、前記切替判断部の判断結果に基づき前記表示装置を制御して表示される画像を切り替えてもよい。
【0014】
本実施形態によれば、切替判断部が外部情報に基づき表示中の画像を切り替えるか否かを判断するため、サイネージとしての広告効果を高めることができる。
【0015】
前記画像取得部は、前記切替判断部が画像を切り替えると判断すると、前記画像記憶装置から新たな画像を取得してもよい。
【0016】
これにより、常に適切な画像を表示することができる。
【0017】
前記表示制御部は、前記切替判断部の判断結果に基づき前記表示装置を制御して、表示中の画像の表示モードを切り替えてもよい。
【0018】
例えば、車両の外部が所定の明るさ以上の場合、表示制御部は、表示中の画像の表示モード(明るさ等)を切り替えて表示中の画像を明るく表示する。これにより、視認性が向上するため、サイネージとしての広告効果を高めることができる。
【0019】
前記切替判断部は、
(a)前記外部情報として前記移動体の位置情報を取得し、前記移動体が所定エリアにいると判断すると、前記所定エリアに紐づけられたエリア画像に表示を切り替えると判断し、
(b)前記外部情報として緊急情報を取得すると、前記緊急情報に関する緊急画像に表示を切り替えると判断し、
(c)前記外部情報として前記移動体の予約情報を取得すると、前記予約情報に関する予約者画像に表示を切り替えると判断し、
(d)前記外部情報として交通機関の運行情報を取得すると、前記運行情報に関する運行画像に表示を切り替えると判断し、
(e)前記外部情報として前記移動体の乗員のトラブル情報を取得すると、前記トラブル情報に関するトラブル画像に表示を切り替えると判断し、又は
(f)前記外部情報として前記移動体の外部の明るさ情報を取得し、前記移動体の外部が所定の明るさ以上と判断すると、表示される画像の明るさを切り替えると判断してもよい。
【0020】
適切に画像を切り替えることで、サイネージとしての効果を高めることができる。
【0021】
前記切替判断部は、前記表示判断部が表示オフを判断する場合でも、(e)前記外部情報として前記移動体の乗員のトラブル情報を取得すると、前記トラブル画像に表示を切り替えると判断してもよい。
【0022】
これにより、いつでも、移動体の乗員のトラブル情報を外部に伝えることができるため、移動体の安全性を高めることができる。
【0023】
前記移動体は自動運転可能であり、
(e)前記移動体の乗員のトラブル情報は、前記移動体の運転者のトラブル情報であり、
前記切替判断部は、前記移動体が自動運転中は、(e)前記移動体の運転者のトラブル情報に基づき表示中の画像を切り替えるか否かを判断しなくてもよい。
【0024】
車両が自動運転中は、運転者に拠る手動運転と異なり、運転者がいない場合もある。この場合に表示オンを変更せず表示を継続すれば、サイネージとしての効果を高めることができる。
【0025】
前記表示制御部は、前記移動体に搭載され、表示中の画像を切り替えるための要求を入力する操作装置を前記移動体の乗員が操作したことを検出すると、前記表示装置を制御して表示される画像を切り替えてもよい。
【0026】
これにより、乗員の意図に応じて、表示される画像を切り替えることができる。
【0027】
前記切替判断部は、
前記移動体が公道以外又は特定場所におり、停止中又は速度が第2の所定速度以下であり、又は、前記第1の所定距離以内に他の移動体が存在しないと判断すると、静止画のスライドショー又は動画に表示を切り替えると判断してもよい。
【0028】
これにより、安全性を担保する場合に限り、静止画のスライドショー又は動画を表示することができる。
【0029】
前記画像取得部は、前記画像記憶装置から、
前記移動体に関連しない画像、
前記移動体に関する情報を示す画像、又は
前記移動体の近隣にいる他の1以上の移動体が表示する画像と関連する画像
を取得してもよい。
【0030】
これにより、サイネージとしての効果を高めることができる。
【0031】
前記移動体は、車両であり、
前記表示装置は、前記車両の1以上のウィンドウに画像を表示してもよい。
【0032】
環境に多数存在し、目を引き、最も身近な移動体である車両のウィンドウをサイネージとして利用することで、サイネージとしての効果を高めることができ、大きな収益効果を見込める。
【0033】
本開示の一形態に係る情報処理プログラムは、
情報処理装置のプロセッサを、
移動体の外部から視認可能に前記移動体に画像を表示可能な表示装置を有する前記移動体の移動体情報を取得し、前記移動体情報に基づき表示のオン又はオフを判断する表示判断部と、
画像記憶装置から画像を取得する画像取得部と、
前記表示判断部の判断結果に基づき前記表示装置を制御して前記画像の表示をオン又はオフする表示制御部
として動作させる。
【0034】
本開示の一形態に係る情報処理方法は、
移動体の外部から視認可能に前記移動体に画像を表示可能な表示装置を有する前記移動体の移動体情報を取得し、前記移動体情報に基づき表示のオン又はオフを判断し、
画像記憶装置から画像を取得し、
判断結果に基づき前記表示装置を制御して前記画像の表示をオン又はオフする。
【0035】
本開示の一形態に係るモビリティサイネージシステムは、
移動体に設けられ、前記移動体の外部から視認可能に前記移動体に画像を表示可能な表示装置と、
前記移動体の移動体情報を取得し、前記移動体情報に基づき表示のオン又はオフを判断する表示判断部と、
画像記憶装置から画像を取得する画像取得部と、
前記表示判断部の判断結果に基づき前記表示装置を制御して前記画像の表示をオン又はオフする表示制御部と
を有する情報処理装置と
を具備する。
【図面の簡単な説明】
【0036】
【
図1】本開示の一実施形態に係る移動体の側面図である。
【
図2】モビリティサイネージシステムのハードウェア構成を示す。
【
図4】情報処理装置の動作の概要を示すフローチャートである。
【
図6】表示判断部の動作フロー(自動運転時)を示す。
【
図8】切替判断部の動作フロー(自動運転時)を示す。
【
図9】切替判断部の動作フロー(動画切替時)を示す。
【発明を実施するための形態】
【0037】
以下、図面を参照しながら、本開示の実施形態を説明する。
【0038】
1.移動体の概要
【0039】
図1は、本開示の一実施形態に係る移動体の側面図である。
【0040】
本実施形態では、移動体を車両1として説明する。車両1は、自動運転可能でもよいし手動運転のみ可能でもよい。本実施形態では、車両1は、タクシーである。しかしながら、車両1は、タクシー以外の車両(例えば、自家用車、バス、マイクロバス、トラック、ライドシェア車、キッチンカー、デリバリー車、営業車等ビジネス用途の車両)でもよい。車両1は、フロントウィンドウ、リアウィンドウ、両側の前部サイドドアウィンドウ及び両側の後部サイドドアウィンドウW1を有する。
【0041】
車両1には、モビリティサイネージシステム10が搭載される。モビリティサイネージシステム10は、車両1の外部から視認可能に、車両1に画像を表示する。具体的には、モビリティサイネージシステム10は、車両1の1以上のウィンドウに画像を表示する。本例では、モビリティサイネージシステム10は、車両1の片側又は両側の後部サイドドアウィンドウW1に画像を表示する。画像は、例えば、広告画像等である。この様に、モビリティサイネージシステム10は、車両1の後部サイドドアウィンドウW1をデジタルサイネージのスクリーンとして広告画像等を表示する。本実施形態で単に「画像」と称する場合、動画ではなく静止画を意味する。
【0042】
2.モビリティサイネージシステムのハードウェア構成
【0043】
図2は、モビリティサイネージシステムの概要を示す。
【0044】
車両1に搭載されるモビリティサイネージシステム10は、ハードウェア構成として、情報処理装置100と、接点及び電源ボックス200と、表示装置300(プロジェクタ)とを主に有する。モビリティサイネージシステム10は、ハードウェア構成として、操作装置210と、車両制御システム11から接点及び電源ボックス200に電源を供給するメインスイッチ220と、リモコン310とをさらに有する。
【0045】
操作装置210は、車両1の乗員(具体的には、運転者)が操作するスイッチである。操作装置210は、画像を非表示にするためのスイッチ、表示される画像を切り替えるためのスイッチとして機能する。操作装置210は、接点及び電源ボックス200に接続され、操作信号を接点及び電源ボックス200に出力する。操作装置210は、車両1の乗員が乗車中に操作しやすい位置(即ち、運転席付近)に設置される。
【0046】
メインスイッチ220は、車両制御システム11から供給された電源を変換し、変換後の電源を接点及び電源ボックス200に供給する。
【0047】
接点及び電源ボックス200は、車両制御システム11から車両1の各種情報である車両情報(移動体情報)及び車両1の外部情報を取得する。車両情報は、例えば、ウィンカーの作動情報、タクシーメーターの作動情報(空車、賃走等)、ドアの開閉情報、ACC(車両のキー操作によるアクセサリ信号)、もしくはIG(車両のキー操作によるイグニッション信号)情報等を含む。接点及び電源ボックス200は、情報処理装置100に車両情報及び外部情報を出力する。また、接点及び電源ボックス200は、電源ノイズを除去し、電源を制御し、DC電源を表示装置300に供給する。接点及び電源ボックス200は、例えば、車両1のトランク内に収納される。
【0048】
情報処理装置100は、例えば、小型のパーソナルコンピュータである。情報処理装置100には、通信インターフェース110が装着される。例えば、通信インターフェース110は、USBドングルとして構成される。情報処理装置100は、通信インターフェース110を用いて、サーバ装置20とモバイルネットワーク通信可能である。情報処理装置100は、接点及び電源ボックス200とUSBケーブルを介して接続され、接点及び電源ボックス200と共に車両1のトランク内に収納される。
【0049】
情報処理装置100は、接点及び電源ボックス200から車両情報及び外部情報を取得する。情報処理装置100は、車両情報及び外部情報に基づき、画像表示のオン又はオフを判断し、さらに、表示中の画像を切り替えるか否かを判断する。情報処理装置100は、判断結果に基づきサーバ装置20に画像データを要求し、画像データを取得する。情報処理装置100は、画像データをHDMI映像信号に変換し、表示装置300に出力する。
【0050】
リモコン310は、情報処理装置100とUSB接続され、表示装置300に赤外線信号を出力する。リモコン310は、情報処理装置100により制御され、電源オンオフ、入力切替、画像の非表示、設定変更等を制御するための赤外線信号を、表示装置300に出力する。
【0051】
表示装置300(プロジェクタ)は、接点及び電源ボックス200から電源供給を受ける。表示装置300は、情報処理装置100からHDMI映像信号を受信し、後部サイドドアウィンドウW1に画像を表示(投影)する。表示装置300は、リモコン310からの赤外線信号を受信し、電源オンオフ、入力切替、画像の非表示、設定変更等を行う。表示装置300は、車両1の後席天井に設置される。例えば、右ハンドル(即ち、左側走行用)の車両1の場合、左側の後部サイドドアウィンドウW1に画像を表示するため、右側の後席天井に設置される。天井に設置された表示装置300は、後部サイドドアウィンドウW1に向けて画像を投影する。これにより、後部サイドドアウィンドウW1に画像が表示される。
【0052】
後部サイドドアウィンドウW1は、例えば、特殊なフィルムが封入され、画像の非表示時に透過性を有する半透過ガラスである。後部サイドドアウィンドウW1の上部には、雨除けのサイドバイザーが設置される。
【0053】
サーバ装置20は、車両1に表示される画像を記憶し、情報処理装置100に供給する画像記憶装置である。サーバ装置20は、情報処理装置100に、画像データに加えて、再生表示レポート等を供給する。サーバ装置20は、管理者のパーソナルコンピュータ50から各種設定を受け付ける。サーバ装置20は、バックアップサーバ装置40に各種データをバックアップする。
【0054】
3.情報処理装置の機能的構成
【0055】
【0056】
情報処理装置100は、CPU等のプロセッサがROMに記録された情報処理プログラムをRAMにロードして実行することにより、表示判断部101、切替判断部102、画像取得部103及び表示制御部104として動作する。
【0057】
表示判断部101は、車両1の車両情報を取得し、車両情報に基づき表示のオン又はオフを判断する。車両情報は、例えば、(A)ドアの開閉情報、(B)少なくとも一方のウィンカーの作動情報、(C)タクシーメーターの作動情報、(e)速度情報、(f)車両1の内部の温度情報、(F)車両1から第1の所定距離以内に(車両1の周囲に)他の移動体が存在するか否かを示す移動体存在情報及び(G)車両1から歩道までの距離を示す歩道距離情報等である。
【0058】
切替判断部102は、車両1の外部情報を取得し、外部情報に基づき表示中の画像を切り替えるか否かを判断する。外部情報は、例えば、(a)車両1の位置情報、(b)緊急情報、(c)車両1の予約情報、(e)車両1の乗員のトラブル情報、(f)車両1の外部の明るさ情報及び(f)車両1の周囲にいる視聴者情報等である。
【0059】
画像取得部103は、画像記憶装置としてのサーバ装置20からネットワークを介して画像を取得する。画像取得部103は、画像記憶装置としてのローカルの記憶装置105から画像を読み出してもよい。ローカルの記憶装置105は、HDDやSSD等の大容量の不揮発性の記憶装置である。画像取得部103は、切替判断部102が画像を切り替えると判断すると、画像記憶装置としてのサーバ装置20又はローカルの記憶装置105から新たな画像を取得する。
【0060】
表示制御部104は、表示判断部101の判断結果に基づき表示装置300を制御して、画像取得部103が取得した画像の表示をオン又はオフする。表示制御部104は、切替判断部102の判断結果に基づき表示装置300を制御して表示される画像を切り替える。表示制御部104は、切替判断部102の判断結果に表示装置300を制御して、表示中の画像の表示モード(明るさ等)を切り替える。
【0061】
4.情報処理装置の動作の概要
【0062】
図4は、情報処理装置の動作の概要を示すフローチャートである。
【0063】
車両1に搭載された情報処理装置100の動作の一例として、車両1がタクシーであるとして説明する。シナリオとして、車両1に乗客が乗車していない(空車である)。
【0064】
情報処理装置100の表示判断部101は、車両1の車両情報として、車両1のドアの開閉情報を取得し、ドアの開閉情報に基づき、ドアがオープンしたと判断する(ステップS101)。表示判断部101は、ドアがオープンしたと判断すると、画像の表示オフを判断する。画像が表示されていれば、表示制御部104は、表示判断部101の判断結果に基づき表示装置300を制御して、画像の表示をオフする(ステップS102)。画像が表示されている場合とは、車両1が以前から空車であり、乗客を乗せるためにドアがオープンした場合である。一方、画像が表示されていない場合とは、車両1に乗客が乗車しており、その乗客が降りるためにドアがオープンした場合である。
【0065】
表示判断部101は、車両1の車両情報として、車両1のドアの開閉情報を取得し、ドアの開閉情報に基づき、ドアがクローズしたと判断する(ステップS103)。表示判断部101は、ドアがクローズすると、時間の計測を開始する(ステップS104)。表示判断部101は、一定時間(5分等)経過後(ステップS105)、車両情報として車両1のタクシーメーターの作動情報を取得する(ステップS106)。表示判断部101は、タクシーメーターが作動中(即ち、乗客が乗車してメーター賃走中)と判断すると表示オフを継続すると判断する(ステップS106、Yes)。
【0066】
一方、表示判断部101は、タクシーメーターが作動していない(即ち、乗客が下車して空車)と判断すると(ステップS106、No)、表示オンを判断する。表示制御部104は、表示判断部101の判断結果に基づき表示装置300を制御して、画像取得部103が画像記憶装置としてのサーバ装置20から取得した画像の表示を開始する(ステップS107)。
【0067】
この様に、本実施形態は、ドアがクローズしており且つ車両1の後部座席が空席(タクシーが空車)であれば、後部サイドドアウィンドウW1に画像を表示する。一方、ドアがオープンしている又は車両1の後部座席に乗客がいれば、表示をオフする。何故なら、表示装置300(プロジェクタ)は、後部サイドドアウィンドウW1に向けて画像を投影するため、乗車時や乗車中に画像を表示すると、画像光が乗客に干渉して画像が完全に表示されなかったり、乗客が眩しく感じたりするためである。これが本実施形態の概要である。以下、情報処理装置100の判断処理をより詳細に説明する。
【0068】
5.表示判断部の動作フロー
【0069】
【0070】
情報処理装置100の表示判断部101は、以下の判断処理を、
図4を参照して説明したタイミング、即ち、ドアの開閉時及びそれに続く乗車開始時に行ってもよい。表示判断部101は、以下の判断処理を、さらに、画像表示中に行えばよい。
【0071】
情報処理装置100の表示判断部101は、(A)車両情報として車両1のドアの開閉情報を取得し、ドアがオープンしたと判断すると(ステップS201、Yes)、表示オフを判断する(ステップS209)。上述のように(ステップS102乃至ステップS103)、ドアがオープンすると、乗客が乗降する可能性がある。このため、画像光が乗客の妨げになったり、画像光が開いたドアから車両1の外に出たりしないように、表示オフする。
【0072】
情報処理装置100の表示判断部101は、(B)車両情報として車両1の少なくとも一方のウィンカーの作動情報を取得し、少なくとも一方のウィンカーが作動中と判断すると(ステップS202、Yes)、表示オフを判断する(ステップS209)。少なくとも一方のウィンカーとは、右ハンドル(即ち、左側走行用)の車両1の場合、左側のウィンカーである。運転者が左折する際に、左側の後部サイドドアウィンドウW1に画像が表示されていると、左側の歩道等を目視確認しにくく、安全性が劣る。このため、左側のウィンカーが作動中である場合には、運転者が左側の歩道等を確実に目視確認できるように、表示オフする。
【0073】
情報処理装置100の表示判断部101は、(C)車両情報として車両1のタクシーメーターの作動情報を取得し、タクシーメーターが作動中と判断すると(ステップS203、Yes)、表示オフを判断する(ステップS209)。上述のように(ステップS106)、タクシーメーターが作動中ということは、乗客が乗車中である。乗車中に画像を表示すると、画像光が乗客に干渉して画像が完全に表示されなかったり、乗客が眩しく感じたりするため、表示オフする。
【0074】
情報処理装置100の表示判断部101は、(e)車両情報として車両1の速度情報を取得し、第1の所定速度以上と判断すると(ステップS204、Yes)、表示オフを判断する(ステップS209)。第1の所定速度とは、例えば、高速道路での走行速度程度である。走行速度が高速の場合、車両1に画像を表示しても、外部の歩行者からは正確に目視認識出来ないため、表示オフする。
【0075】
情報処理装置100の表示判断部101は、(f)車両情報として車両1の内部の温度情報を取得し、温度が所定温度以上と判断すると(ステップS205、Yes)、表示オフを判断する(ステップS209)。表示判断部101は、温度情報を、車内センサ26の温度センサ(後述)から取得する。夏場等、車両1の内部の温度が所定温度以上になり、その上で表示装置300から画像光を出力すると、表示装置300が高温になりすぎて、機器が正常に動作しなくなったり、車両1の内部の温度がさらに上昇したりするおそれがあるため、表示オフする。
【0076】
情報処理装置100の表示判断部101は、(F)車両情報として車両1から第1の所定距離以内に他の移動体が存在するか否かを示す移動体存在情報を取得し、第1の所定距離以内に他の移動体が存在すると判断すると(ステップS206、Yes)、表示オフを判断する(ステップS209)。表示判断部101は、移動体存在情報を、外部認識センサ25のカメラ51、レーダ52、LiDAR53及び超音波センサ54(後述)から取得する。「他の移動体」は、車両のみならず、歩行者、自転車、バイク等を含む。第1の所定距離は、車両1の周囲、言い換えれば、車両1の極めて近距離を意味する。車両1の極めて近距離に歩行者や自転車がいるときに車両1に画像を表示すると、歩行者や自転車使用者が画像に気を取られ、歩行者や自転車使用者が危険な行動をとるおそれがあるため、表示オフする。
【0077】
情報処理装置100の表示判断部101は、(G)車両情報として車両1から歩道(左側走行の場合、左側の歩道)までの距離を示す歩道距離情報を取得し、歩道まで第2の所定距離以上であると判断すると表示オフを判断(ステップS207、Yes)、表示オフを判断する(ステップS209)。第2の所定距離は、例えば、2車線程度の車線幅の比較的大きい距離である。車両1から歩道まで第2の所定距離以上、即ち、車両1から歩道まで大きく離れていると、車両1に画像を表示しても、外部の歩行者からは正確に目視認識出来ないため、表示オフする。
【0078】
一方、(A)ドアがクローズした場合は(ステップS201、No)、乗客が乗降する可能性が無いため、画像光が乗客の妨げになったり、画像光が開いたドアから車両1の外に出たりすることがない。(B)少なくとも一方のウィンカーが作動していない場合には(ステップS202、No)、車両1は直進走行中である。(C)タクシーメーターが作動していない場合には(ステップS203、No)、車両1に乗客が乗車していない。(e)車両1の速度が第1の所定速度未満である場合には(ステップS204、No)、走行速度が高速ではない。(f)車両1の内部の温度が所定温度未満である場合には(ステップS205、No)、表示装置300が高温になりすぎることはない。(F)車両1から第1の所定距離以内に他の移動体が存在しない場合には(ステップS206、No)、周囲の移動体(歩行者、自転車、バイク等)に危険を及ぼすおそれがない。(G)車両1から歩道まで第2の所定距離未満でない場合には(ステップS207、No)、車両1に表示した画像を外部の歩行者から正確に目視認識できる。
【0079】
情報処理装置100の表示判断部101は、これらの条件をすべて満たした場合(ステップS201乃至ステップS207が全てNo)、運転者が安全に運転でき、歩行者等が車両1に表示された画像を安全かつ効果的に目視認識することができるため、表示オンを継続すると判断する(ステップS208)。
【0080】
図6は、表示判断部の動作フロー(自動運転時)を示す。
【0081】
車両1が自動運転可能である場合を説明する。
図5の処理(ステップS201乃至ステップS209)と異なる点のみ説明する。
【0082】
情報処理装置100の表示判断部101は、車両1が自動運転中は、(B)車両情報として車両1の少なくとも一方のウィンカーの作動情報に基づき表示のオン又はオフを判断しない(ステップS202)。何故なら、車両1が自動運転中は、運転者に拠る手動運転と異なり、運転者が左折する際に、左側の歩道等を目視確認する必要が無いため、左側の後部サイドドアウィンドウW1に画像が表示されていても問題無いためである。
【0083】
情報処理装置100の表示判断部101は、車両1が自動運転中は、(F)車両情報として車両1から第1の所定距離以内に他の移動体(車両、歩行者、自転車、バイク等)が存在するか否かを示す移動体存在情報に基づき表示のオン又はオフを判断しない(ステップS206)。何故なら、自動運転の車両1は、車両1の周囲にいる他の移動体(車両、歩行者、自転車、バイク等)に対して安全である様に自動運転可能だからである。
【0084】
6.切替判断部の動作フロー
【0085】
【0086】
情報処理装置100の切替判断部102は、以下の判断処理を、
図4を参照して説明したタイミング、即ち、画像の表示を開始する(ステップS107)タイミングでおこなってもよい。切替判断部102は、以下の判断処理を、さらに、画像表示中に行えばよい。
【0087】
情報処理装置100の切替判断部102は、(a)外部情報として車両1の位置情報を取得し、車両1が所定エリアにいると判断すると(ステップS301、Yes)、所定エリアに紐づけられたエリア画像に表示を切り替えると判断する(ステップS308)。画像取得部103は、切替判断部102が判断した所定エリアの属性をサーバ装置20に送信し、所定エリアに紐づけられたエリア画像をサーバ装置20から取得する。切替判断部102は、車両1の位置情報を車両1に搭載のGPSデバイス等から取得する。所定エリアは、例えば、繁華街、ビジネス街、野球場等のスポーツ施設、住宅街である。所定エリアに紐づけられたエリア画像とは、例えば、繁華街に紐づけられた施設や物品(お酒、カラオケ等)の広告画像、ビジネス街に紐づけられたB2Bサービスの広告画像、スポーツ施設に紐づけられた物品(選手関連グッズ、スポーツ用品等)の広告画像である。
【0088】
情報処理装置100の切替判断部102は、(b)外部情報として緊急情報を取得すると(ステップS302、Yes)、緊急情報に関する緊急画像に表示を切り替えると判断する(ステップS308)。画像取得部103は、緊急画像をローカルの記憶装置105又はサーバ装置20から取得する。緊急情報は、地震等の災害の発声を知らせる情報である。緊急画像は、例えば、アラート画像等である。
【0089】
情報処理装置100の切替判断部102は、(c)外部情報として車両1の予約情報を取得すると(ステップS303、Yes)、予約情報に関する予約画像に表示を切り替えると判断する(ステップS308)。画像取得部103は、予約画像をサーバ装置20から取得する。予約情報は、車両1がタクシーやライドシェア車である場合に、予約者に関する情報又は運転者に関する情報であり、迎車時に表示すべき情報である。予約者に関する情報は、例えば、予約者を識別する情報である。運転者に関する情報は、運転者の名前や顔写真及びレーティング等である。予約画像は、予約者が所持するスマートフォン等のモバイルデバイスに表示された配車アプリの画面と同一の画像でもよい。切替判断部102は、予約者が所持するスマートフォン等のモバイルデバイスにビーコンを発信し、モバイルデバイスから予約者に関する情報を受信してもよい。
【0090】
情報処理装置100の切替判断部102は、(d)外部情報として交通機関の運行情報を取得すると(ステップS304、Yes)、運行情報に関する運行画像に表示を切り替えると判断する。画像取得部103は、運行画像をサーバ装置20から取得する。運行画像は、例えば、交通機関の運行情報(列車の運休や遅延情報、道路の不通情報)を示す画像、道路の不通情報を示す画像、公共の案内情報を示す画像である。
【0091】
情報処理装置100の切替判断部102は、(e)外部情報として車両1の乗員のトラブル情報を取得すると(ステップS305、Yes)、トラブル情報に関するトラブル画像に表示を切り替えると判断する(ステップS308)。なお、切替判断部102は、表示判断部101が表示オフを判断する場合でも(ステップS209)、(e)外部情報として車両1の乗員のトラブル情報を取得すると(ステップS305、Yes)、トラブル画像に表示を切り替えると判断してもよい(ステップS308)。画像取得部103は、トラブル画像をローカルの記憶装置105又はサーバ装置20から取得する。トラブル情報とは、運転者の体調不良を示す情報、乗客の犯罪等を示す情報である。切替判断部102は、トラブル情報を、車内センサ26、DMS30(後述)のインキャビンモニタリングにより取得したり、操作装置210に対する運転者の操作により取得すればよい。トラブル画像は、SOSを示す画像である。
【0092】
情報処理装置100の切替判断部102は、(f)外部情報として車両1の外部の明るさ情報を取得し、車両1の外部が所定の明るさ以上と判断すると(ステップS306、Yes)、表示される画像の明るさを切り替えると判断する(ステップS308)。画像取得部103は、車両1の外部が所定の明るさ以上であることを示す通知をサーバ装置20に送信し、より明るい画像をサーバ装置20から取得する。切替判断部102は、車両1の外部の明るさ情報を車両1に搭載の照度センサやカメラ51(後述)等から取得する。車両1の外部の明るさ情報は、照度値そのものでもよいし、住宅街に対して繁華街は照明が明るい等、エリアの属性に紐づけられた情報でもよい。例えば、切替判断部102は、繁華街ではビビッドな明るい画像を表示すると判断し、住宅街では照度的にエコロジーな画像を表示すると判断してもよい。
【0093】
情報処理装置100の表示制御部104は、切替判断部102の判断結果に基づき表示装置300を制御して、表示中の画像を、画像取得部103が取得した画像に切り替える。具体的には、表示制御部104は、表示中の画像を切り替えるための要求を入力するための操作装置210を車両1の乗員(運転者)が操作したことをトリガとして検出すると、表示装置300を制御して表示される画像を切り替える。表示画像切替のトリガとしての操作装置210の操作は、例えば、表示画像切替の専用の操作装置210の操作だけでなく、ドアの開閉ボタンの操作等でもよい。
【0094】
表示制御部104は、切替判断部102が(f)車両1の外部が所定の明るさ以上と判断すると(ステップS306、Yes)、表示装置300を制御して、表示中の画像の表示モード(明るさ等)を切り替えてもよい。即ち、(f)車両1の外部が所定の明るさ以上の場合、表示制御部104は、画像取得部103が取得した明るい画像を表示するか、あるいは、表示中の画像を明るく表示する。表示制御部104は、太陽光を遮光するシェイド機能を有してもよい。情報処理装置100の表示制御部104は、窓が開いて(窓を下げて)いる度合いに応じて、表示領域を変動させてもよい。
【0095】
情報処理装置100の切替判断部102は、これらの条件をすべて満たした場合(ステップS301乃至ステップS306が全てNo)、画像を切り替える必要が無いと判断する(ステップS307)。
【0096】
図8は、切替判断部の動作フロー(自動運転時)を示す。
【0097】
車両1が自動運転可能である場合を説明する。
図7の処理(ステップS301乃至ステップS308)と異なる点のみ説明する。
【0098】
情報処理装置100の切替判断部102は、車両1が自動運転中は、(e)切替判断部102は、車両1が自動運転中は、車両1の運転者のトラブル情報に基づき表示中の画像を切り替えるか否かを判断しない(ステップS305)。何故なら、車両1が自動運転中は、運転者に拠る手動運転と異なり、運転者がいない場合も考えられるからである。
【0099】
図9は、切替判断部の動作フロー(動画切替時)を示す。
【0100】
上述のように、本実施形態で単に「画像」と称する場合、動画ではなく静止画を意味し、情報処理装置100は、静止画(広告画像等)の表示を制御する。以下、法令に準拠して、所定の条件の下、情報処理装置100が静止画表示から、静止画のスライドショー又は動画に表示を切り替える例を説明する。法令は、本実施形態を実施する国又は地域の、本実施形態を実施する時点での法令を意味する。
【0101】
情報処理装置100の切替判断部102は、車両1が公道以外(即ち、私道)にいると判断すると(ステップS401、Yes)、静止画のスライドショー又は動画に表示を切り替えると判断する(ステップS407)。切替判断部102は、車両1の位置情報を車両1に搭載のGPSデバイス等から取得し、車両1が公道以外にいると判断すればよい。
【0102】
情報処理装置100の切替判断部102は、車両1が特定場所にいると判断すると(ステップS402、Yes)、静止画のスライドショー又は動画に表示を切り替えると判断する(ステップS407)。特定場所は、例えば、ホテル、病院、ショッピング施設等のエリア内である。切替判断部102は、車両1の位置情報を車両1に搭載のGPSデバイス等から取得し、車両1が特定場所にいると判断すればよい。
【0103】
情報処理装置100の切替判断部102は、車両1が停止中と判断すると(ステップS403、Yes)、静止画のスライドショー又は動画に表示を切り替えると判断する(ステップS407)。
【0104】
情報処理装置100の切替判断部102は、車両1の速度が第2の所定速度以下であると判断すると(ステップS404、Yes)、静止画のスライドショー又は動画に表示を切り替えると判断する(ステップS407)。第2の所定速度は、例えば、10km/hであり、低速徐行速度である。
【0105】
情報処理装置100の切替判断部102は、車両1から第1の所定距離以内(車両1の周囲)に他の移動体が存在しないと判断すると(ステップS405、Yes)、静止画のスライドショー又は動画に表示を切り替えると判断する(ステップS407)。
【0106】
情報処理装置100の切替判断部102が静止画のスライドショー又は動画に表示を切り替えると判断すると(ステップS407)、画像取得部103は、スライドショーされる静止画又は動画をサーバ装置20から取得する。表示制御部104は、切替判断部102の判断結果に基づき表示装置300を制御して、表示中の画像を、画像取得部103が取得した画像に切り替える。
【0107】
一方、情報処理装置100の切替判断部102は、これらの条件をすべて満たさない場合(ステップS401乃至ステップS405が全てNo)、静止画の表示を継続すると判断する(ステップS406)。
【0108】
7.実施形態のバリエーション
【0109】
表示される画像のバリエーションを説明する。情報処理装置100の画像取得部103は、画像記憶装置としてのサーバ装置20から、車両1に関連しない広告画像、車両1に関する情報を示す画像、又は、車両1の近隣にいる他の1以上の車両1が表示する画像と関連する画像を取得する。表示制御部104は、表示装置300を制御して、画像取得部103が取得した画像を表示する。
【0110】
車両1に関連しない画像は、例えば、上述の様に、エリア画像(ステップS301)、緊急画像(ステップS302)、運行画像(ステップS304)等が挙げられる。なお、広告画像としては、所定エリアに紐づけられたエリア画像(ステップS301)に限定されず、何にも紐づけられていない広告画像を単に表示してもよい。
【0111】
車両1に関する情報を示す画像は、例えば、上述の様に、予約画像(ステップS303)、トラブル画像(ステップS305)等が挙げられる。車両1に関する情報を示す画像の別の例として、車両1内部の温度を示す画像、車両1内部の清潔さ(換気済み、除菌済み等)を示す画像、車両1内部の物販商品(ボトル飲料、菓子等の食品、サンプリング商品等)を示す画像、車両1が提供するサービス(乗り合い、フードデリバリー、貨客混載等)を示す画像、等が挙げられる。自動運転の車両1に関する情報を示す画像は、MRM(Minimum Risk Maneuver)の情報を示す画像、DSSAD(Data Storage System for Automated Driving vehicles)の情報を示す画像などが挙げられる。
【0112】
乗り合いサービスに関する画像の例として、乗車可能人数、行先及び方面、残りの乗車可能人数等を示す画像が挙げられる。これにより、相乗り可能人数など、既存の行灯やスーパーサインで表示しきれない情報を表示することができる。所定エリア(例えば、信号待ち中の交差点、タクシー乗り場等)において乗り合いサービスに関する画像を表示すれば、歩行者が車両1を利用しやすい。フードデリバリーサービスに関する画像の例として、現にデリバリーされているフードの画像や、当該フードを提供する飲食店の広告、メニュー、クーポンなどの画像が挙げられる。これにより飲食店は、単にフードデリバリーを行うだけでなく、併せて宣伝効果をあげることが期待できる。また、フードデリバリーサービスを提供中の車両1が走行している地点の近隣の飲食店に関する画像を表示させてもよい。
【0113】
車両1の近隣にいる他の1以上の車両1が表示する画像と関連する画像を表示するとは、例えば、コンボイ走行する複数の車両1や、同一又は近隣のエリアにいる複数の車両1等が、同じ画像又は関連する画像(例えば、同じ広告提供者が提供する広告画像)を表示する様なケースを意味する。
【0114】
情報処理装置100の切替判断部102は、外部情報として車両1の周囲にいる視聴者情報を取得し、視聴者の属性(年齢等)に紐づけられた画像に表示を切り替えると判断してもよい。切替判断部102は、視聴者情報を車両1に搭載のカメラ51(後述)等から取得する。
【0115】
車両1が自動運転のみ可能であり手動運転が不可である場合、ウィンドウに透過性が求められない。このため、表示装置300は、ウィンドウに画像光を投影するプロジェクタでなくてもよい。表示装置300として、ウィンドウの位置に設けられた直接表示デバイス(有機ELディスプレイ等)でもよい。表示装置300がプロジェクタでなく直接表示デバイスである場合、乗客に画像光が干渉しないため、乗客の乗車中にも画像を表示できる。
【0116】
車両1が自動運転可能である場合、後部サイドドアウィンドウW1だけに画像を表示するだけでなく、フロントウィンドウ、リアウィンドウ及び両側の前部サイドドアウィンドウにも画像を表示することができる。何故なら、車両1が自動運転中は、運転者に拠る手動運転と異なり、運転者が周囲を目視確認する必要が無いため、各ウィンドウに画像が表示されていても問題無いためである。
【0117】
8.車両の構成
【0118】
【0119】
車両制御システム11は、車両1に設けられ、車両1の走行支援及び自動運転に関わる処理を行う。
【0120】
車両制御システム11は、車両制御ECU(Electronic Control Unit)21、通信部22、地図情報蓄積部23、位置情報取得部24、外部認識センサ25、車内センサ26、車両センサ27、記憶部28、走行支援・自動運転制御部29、DMS(Driver Monitoring System)30、HMI(Human Machine Interface)31、及び、車両制御部32を備える。
【0121】
車両制御ECU21、通信部22、地図情報蓄積部23、位置情報取得部24、外部認識センサ25、車内センサ26、車両センサ27、記憶部28、走行支援・自動運転制御部29、ドライバモニタリングシステム(DMS)30、ヒューマンマシーンインタフェース(HMI)31、及び、車両制御部32は、通信ネットワーク41を介して相互に通信可能に接続されている。通信ネットワーク41は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、FlexRay(登録商標)、イーサネット(登録商標)といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク41は、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してCANが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。なお、車両制御システム11の各部は、通信ネットワーク41を介さずに、例えば近距離無線通信(NFC(Near Field Communication))やBluetooth(登録商標)といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
【0122】
なお、以下、車両制御システム11の各部が、通信ネットワーク41を介して通信を行う場合、通信ネットワーク41の記載を省略するものとする。例えば、車両制御ECU21と通信部22が通信ネットワーク41を介して通信を行う場合、単に車両制御ECU21と通信部22とが通信を行うと記載する。
【0123】
車両制御ECU21は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)といった各種のプロセッサにより構成される。車両制御ECU21は、車両制御システム11全体又は一部の機能の制御を行う。
【0124】
通信部22は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部22は、複数の通信方式を用いて通信を行うことができる。
【0125】
通信部22が実行可能な車外との通信について、概略的に説明する。通信部22は、例えば、5G(第5世代移動通信システム)、LTE(Long Term Evolution)、DSRC(Dedicated Short Range Communications)等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ(以下、外部のサーバと呼ぶ)等と通信を行う。通信部22が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部22が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
【0126】
また例えば、通信部22は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、又は、MTC(Machine Type Communication)端末である。さらに、通信部22は、V2X通信を行うこともできる。V2X通信とは、例えば、他の車両との間の車車間(Vehicle to Vehicle)通信、路側器等との間の路車間(Vehicle to Infrastructure)通信、家との間(Vehicle to Home)の通信、及び、歩行者が所持する端末等との間の歩車間(Vehicle to Pedestrian)通信等の、自車と他との通信をいう。
【0127】
通信部22は、例えば、車両制御システム11の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる(Over The Air)。通信部22は、さらに、地図情報、交通情報、車両1の周囲の情報等を外部から受信することができる。また例えば、通信部22は、車両1に関する情報や、車両1の周囲の情報等を外部に送信することができる。通信部22が外部に送信する車両1に関する情報としては、例えば、車両1の状態を示すデータ、認識部73による認識結果等がある。さらに例えば、通信部22は、eコール等の車両緊急通報システムに対応した通信を行う。
【0128】
例えば、通信部22は、電波ビーコン、光ビーコン、FM多重放送等の道路交通情報通信システム(VICS(Vehicle Information and Communication System)(登録商標))により送信される電磁波を受信する。
【0129】
通信部22が実行可能な車内との通信について、概略的に説明する。通信部22は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部22は、例えば、無線LAN、Bluetooth、NFC、WUSB(Wireless USB)といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部22は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部22は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部22は、例えば、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)(登録商標)、MHL(Mobile High-definition Link)といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
【0130】
ここで、車内の機器とは、例えば、車内において通信ネットワーク41に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
【0131】
地図情報蓄積部23は、外部から取得した地図及び車両1で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部23は、3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
【0132】
高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の4層からなる地図であり、外部のサーバ等から車両1に提供される。ポイントクラウドマップは、ポイントクラウド(点群データ)により構成される地。ベクターマップは、例えば、車線や信号機の位置といった交通情報等をポイントクラウドマップに対応付け、ADAS(Advanced Driver Assistance System)やAD(Autonomous Driving)に適合させた地。
【0133】
ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、カメラ51、レーダ52、LiDAR53等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両1で作成され、地図情報蓄積部23に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両1がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
【0134】
位置情報取得部24は、GNSS(Global Navigation Satellite System)衛星からGNSS信号を受信し、車両1の位置情報を取得する。取得した位置情報は、走行支援・自動運転制御部29に供給される。なお、位置情報取得部24は、GNSS信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
【0135】
外部認識センサ25は、車両1の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム11の各部に供給する。外部認識センサ25が備えるセンサの種類や数は任意である。
【0136】
例えば、外部認識センサ25は、カメラ51、レーダ52、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)53、及び、超音波センサ54を備える。これに限らず、外部認識センサ25は、カメラ51、レーダ52、LiDAR53、及び、超音波センサ54のうち1種類以上のセンサを備える構成でもよい。カメラ51、レーダ52、LiDAR53、及び、超音波センサ54の数は、現実的に車両1に設置可能な数であれば特に限定されない。また、外部認識センサ25が備えるセンサの種類は、この例に限定されず、外部認識センサ25は、他の種類のセンサを備えてもよい。外部認識センサ25が備える各センサのセンシング領域の例は、後述する。
【0137】
なお、カメラ51の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラ51に適用することができる。これに限らず、カメラ51は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
【0138】
また、例えば、外部認識センサ25は、車両1に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
【0139】
さらに、例えば、外部認識センサ25は、車両1の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
【0140】
車内センサ26は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム11の各部に供給する。車内センサ26が備える各種センサの種類や数は、現実的に車両1に設置可能な種類や数であれば特に限定されない。
【0141】
例えば、車内センサ26は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサ、温度センサのうち1種類以上のセンサを備えることができる。車内センサ26が備えるカメラとしては、例えば、ToFカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ26が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ26が備える生体センサは、例えば、シートやステアリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
【0142】
車両センサ27は、車両1の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム11の各部に供給する。車両センサ27が備える各種センサの種類や数は、現実的に車両1に設置可能な種類や数であれば特に限定されない。
【0143】
例えば、車両センサ27は、速度センサ、加速度センサ、角速度センサ(ジャイロセンサ)、及び、それらを統合した慣性計測装置(IMU(Inertial Measurement Unit))を備える。例えば、車両センサ27は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ27は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ27は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。
【0144】
記憶部28は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶部28は、例えばEEPROM(Electrically Erasable Programmable Read Only Memory)及びRAM(Random Access Memory)として用いられ、記憶媒体としては、HDD(Hard Disc Drive)といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記憶部28は、車両制御システム11の各部が用いる各種プログラムやデータを記憶する。例えば、記憶部28は、EDR(Event Data Recorder)やDSSAD(Data Storage System for Automated Driving)を備え、事故等のイベントの前後の車両1の情報や車内センサ26によって取得された情報を記憶する。記憶部28に記憶される車両1の情報には、表示装置300によってウィンドウに表示される画像の情報が記憶されてもよい。事故等のイベントの前後において、表示装置300によってウィンドウに表示される画像が記憶されることで、事故等のイベントの前後において、法規に準拠した態様での画像の表示がなされていたか否かを事後的に判断可能となり、事後検証や過失割合の算出等に役立てることができる。
【0145】
走行支援・自動運転制御部29は、車両1の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部29は、分析部61、行動計画部62、及び、動作制御部63を備える。
【0146】
分析部61は、車両1及び周囲の状況の分析処理を行う。分析部61は、自己位置推定部71、センサフュージョン部72、及び、認識部73を備える。
【0147】
自己位置推定部71は、外部認識センサ25からのセンサデータ、及び、地図情報蓄積部23に蓄積されている高精度地図に基づいて、車両1の自己位置を推定する。例えば、自己位置推定部71は、外部認識センサ25からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両1の自己位置を推定する。車両1の位置は、例えば、後輪対車軸の中心が基準とされる。
【0148】
ローカルマップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いて作成される3次元の高精度地図、占有格子地図(Occupancy Grid Map)等である。3次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両1の周囲の3次元又は2次元の空間を所定の大きさのグリッド(格子)に分割し、グリッド単位で物体の占有状態を示す地。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部73による車両1の外部の状況の検出処理及び認識処理にも用いられる。
【0149】
なお、自己位置推定部71は、位置情報取得部24により取得される位置情報、及び、車両センサ27からのセンサデータに基づいて、車両1の自己位置を推定してもよい。
【0150】
センサフュージョン部72は、複数の異なる種類のセンサデータ(例えば、カメラ51から供給される画像データ、及び、レーダ52から供給されるセンサデータ)を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
【0151】
認識部73は、車両1の外部の状況の検出を行う検出処理、及び、車両1の外部の状況の認識を行う認識処理を実行する。
【0152】
例えば、認識部73は、外部認識センサ25からの情報、自己位置推定部71からの情報、センサフュージョン部72からの情報等に基づいて、車両1の外部の状況の検出処理及び認識処理を行う。
【0153】
具体的には、例えば、認識部73は、車両1の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
【0154】
例えば、認識部73は、レーダ52又はLiDAR53等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両1の周囲の物体を検出する。これにより、車両1の周囲の物体の有無、大きさ、形状、位置が検出される。
【0155】
例えば、認識部73は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両1の周囲の物体の動きを検出する。これにより、車両1の周囲の物体の速度及び進行方向(移動ベクトル)が検出される。
【0156】
例えば、認識部73は、カメラ51から供給される画像データに基づいて、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等を検出又は認識する。また、認識部73は、セマンティックセグメンテーション等の認識処理を行うことにより、車両1の周囲の物体の種類を認識してもよい。
【0157】
例えば、認識部73は、地図情報蓄積部23に蓄積されている地図、自己位置推定部71による自己位置の推定結果、及び、認識部73による車両1の周囲の物体の認識結果に基づいて、車両1の周囲の交通ルールの認識処理を行うことができる。認識部73は、この処理により、信号機の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等を認識することができる。
【0158】
例えば、認識部73は、車両1の周囲の環境の認識処理を行うことができる。認識部73が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
【0159】
行動計画部62は、車両1の行動計画を作成する。例えば、行動計画部62は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
【0160】
なお、経路計画(Global path planning)とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、計画した経路において、車両1の運動特性を考慮して、車両1の近傍で安全かつ滑らかに進行することが可能な軌道生成(Local path planning)を行う処理も含まれる。
【0161】
経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部62は、例えば、この経路追従の処理の結果に基づき、車両1の目標速度と目標角速度を計算することができる。
【0162】
動作制御部63は、行動計画部62により作成された行動計画を実現するために、車両1の動作を制御する。
【0163】
例えば、動作制御部63は、後述する車両制御部32に含まれる、ステアリング制御部81、ブレーキ制御部82、及び、駆動制御部83を制御して、軌道計画により計算された軌道を車両1が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部63は、衝突回避又は衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のADASの機能実現を目的とした協調制御を行う。例えば、動作制御部63は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
【0164】
DMS30は、車内センサ26からのセンサデータ、及び、後述するHMI31に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
【0165】
なお、DMS30が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、DMS30が、車内センサ26からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
【0166】
HMI31は、各種のデータや指示等の入力と、各種のデータの運転者等への提示を行う。
【0167】
HMI31によるデータの入力について、概略的に説明する。HMI31は、人がデータを入力するための入力デバイスを備える。HMI31は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム11の各部に供給する。HMI31は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、HMI31は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、HMI31は、例えば、赤外線又は電波を利用したリモートコントロール装置や、車両制御システム11の操作に対応したモバイル機器又はウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
【0168】
HMI31によるデータの提示について、概略的に説明する。HMI31は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、HMI31は、生成された各情報の出力、出力内容、出力タイミング及び出力方法等を制御する出力制御を行う。HMI31は、視覚情報として、例えば、操作画面、車両1の状態表示、警告表示、車両1の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成及び出力する。また、HMI31は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成及び出力する。さらに、HMI31は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成及び出力する。
【0169】
HMI31が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、HMI31は、車両1に設けられるナビゲーション装置、インストルメントパネル、CMS(Camera Monitoring System)、電子ミラー、ランプ等が有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
【0170】
HMI31が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
【0171】
HMI31が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両1の搭乗者が接触する部分に設けられる。
【0172】
車両制御部32は、車両1の各部の制御を行う。車両制御部32は、ステアリング制御部81、ブレーキ制御部82、駆動制御部83、ボディ系制御部84、ライト制御部85、及び、ホーン制御部86を備える。
【0173】
ステアリング制御部81は、車両1のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部81は、例えば、ステアリングシステムの制御を行うステアリングECU、ステアリングシステムの駆動を行うアクチュエータ等を備える。
【0174】
ブレーキ制御部82は、車両1のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ABS(Antilock Brake System)、回生ブレーキ機構等を備える。ブレーキ制御部82は、例えば、ブレーキシステムの制御を行うブレーキECU、ブレーキシステムの駆動を行うアクチュエータ等を備える。
【0175】
駆動制御部83は、車両1の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部83は、例えば、駆動システムの制御を行う駆動ECU、駆動システムの駆動を行うアクチュエータ等を備える。
【0176】
ボディ系制御部84は、車両1のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部84は、例えば、ボディ系システムの制御を行うボディ系ECU、ボディ系システムの駆動を行うアクチュエータ等を備える。
【0177】
ライト制御部85は、車両1の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部85は、ライトの制御を行うライトECU、ライトの駆動を行うアクチュエータ等を備える。
【0178】
ホーン制御部86は、車両1のカーホーンの状態の検出及び制御等を行う。ホーン制御部86は、例えば、カーホーンの制御を行うホーンECU、カーホーンの駆動を行うアクチュエータ等を備える。
【0179】
図11は、
図10の外部認識センサ25のカメラ51、レーダ52、LiDAR53、及び、超音波センサ54等によるセンシング領域の例を示す。なお、
図10において、車両1を上面から見た様子が模式的に示され、左端側が車両1の前端(フロント)側であり、右端側が車両1の後端(リア)側となっている。
【0180】
センシング領域101F及びセンシング領域101Bは、超音波センサ54のセンシング領域の例を示している。センシング領域101Fは、複数の超音波センサ54によって車両1の前端周囲をカバーしている。センシング領域101Bは、複数の超音波センサ54によって車両1の後端周囲をカバーしている。
【0181】
センシング領域101F及びセンシング領域101Bにおけるセンシング結果は、例えば、車両1の駐車支援等に用いられる。
【0182】
センシング領域102F乃至センシング領域102Bは、短距離又は中距離用のレーダ52のセンシング領域の例を示している。センシング領域102Fは、車両1の前方において、センシング領域101Fより遠い位置までカバーしている。センシング領域102Bは、車両1の後方において、センシング領域101Bより遠い位置までカバーしている。センシング領域102Lは、車両1の左側面の後方の周囲をカバーしている。センシング領域102Rは、車両1の右側面の後方の周囲をカバーしている。
【0183】
センシング領域102Fにおけるセンシング結果は、例えば、車両1の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域102Bにおけるセンシング結果は、例えば、車両1の後方の衝突防止機能等に用いられる。センシング領域102L及びセンシング領域102Rにおけるセンシング結果は、例えば、車両1の側方の死角における物体の検出等に用いられる。
【0184】
センシング領域103F乃至センシング領域103Bは、カメラ51によるセンシング領域の例を示している。センシング領域103Fは、車両1の前方において、センシング領域102Fより遠い位置までカバーしている。センシング領域103Bは、車両1の後方において、センシング領域102Bより遠い位置までカバーしている。センシング領域103Lは、車両1の左側面の周囲をカバーしている。センシング領域103Rは、車両1の右側面の周囲をカバーしている。
【0185】
センシング領域103Fにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域103Bにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域103L及びセンシング領域103Rにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
【0186】
センシング領域104は、LiDAR53のセンシング領域の例を示している。センシング領域104は、車両1の前方において、センシング領域103Fより遠い位置までカバーしている。一方、センシング領域104は、センシング領域103Fより左右方向の範囲が狭くなっている。
【0187】
センシング領域104におけるセンシング結果は、例えば、周囲車両等の物体検出に用いられる。
【0188】
センシング領域105は、長距離用のレーダ52のセンシング領域の例を示している。
センシング領域105は、車両1の前方において、センシング領域104より遠い位置までカバーしている。一方、センシング領域105は、センシング領域104より左右方向の範囲が狭くなっている。
【0189】
センシング領域105におけるセンシング結果は、例えば、ACC(Adaptive Cruise Control)、緊急ブレーキ、衝突回避等に用いられる。
【0190】
なお、外部認識センサ25が含むカメラ51、レーダ52、LiDAR53、及び、超音波センサ54の各センサのセンシング領域は、
図10以外に各種の構成をとってもよい。具体的には、超音波センサ54が車両1の側方もセンシングするようにしてもよいし、LiDAR53が車両1の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、1つでもよいし、複数であってもよい。
【0191】
9.結語
【0192】
本実施形態によれば、表示判断部101が移動体情報に基づき表示のオン又はオフを判断するため、車両1の安全性を担保できる。切替判断部102が外部情報に基づき表示中の画像を切り替えるか否かを判断するため、サイネージとしての広告効果を高めることができる。
【0193】
本実施形態によれば、車両1を用いた広告の効果測定として、車両1の動態データと人の動態データを使ってリアルタイムに視聴者数を割り出し、効果として計測することができる。
【0194】
本開示は、以下の各構成を有してもよい。
【0195】
(1)
移動体の外部から視認可能に前記移動体に画像を表示可能な表示装置を有する前記移動体の移動体情報を取得し、前記移動体情報に基づき表示のオン又はオフを判断する表示判断部と、
画像記憶装置から画像を取得する画像取得部と、
前記表示判断部の判断結果に基づき前記表示装置を制御して前記画像の表示をオン又はオフする表示制御部と
を具備する情報処理装置。
(2)
上記(1)に記載の情報処理装置であって、
前記表示判断部は、
(A)前記移動体情報として前記移動体のドアの開閉情報を取得し、前記ドアがオープンしたと判断すると表示オフを判断し、
(B)前記移動体情報として前記移動体の少なくとも一方のウィンカーの作動情報を取得し、前記少なくとも一方のウィンカーが作動中と判断すると表示オフを判断し、
(C)前記移動体情報として前記移動体のタクシーメーターの作動情報を取得し、前記タクシーメーターが作動中と判断すると表示オフを判断し、前記タクシーメーターが作動していないとを判断すると表示オンを判断し、
(D)前記移動体情報として前記移動体の速度情報を取得し、第1の所定速度以上と判断すると表示オフを判断し、前記第1の所定速度未満と判断すると表示オンを判断し、
(E)前記移動体情報として前記移動体の内部の温度情報を取得し、温度が所定温度以上と判断すると表示オフを判断し、前記所定温度未満と判断すると表示オンを判断し、
(F)前記移動体情報として前記移動体から第1の所定距離以内に他の移動体が存在するか否かを示す移動体存在情報を取得し、前記第1の所定距離以内に他の移動体が存在すると判断すると表示オフを判断し、前記第1の所定距離以内に他の移動体が存在しないと判断すると表示オンを判断し、又は
(G)前記移動体情報として前記移動体から歩道までの距離を示す歩道距離情報を取得し、前記移動体から前記歩道まで第2の所定距離以上であると判断すると表示オフを判断する
(3)
上記(2)に記載の情報処理装置であって、
前記表示判断部は、(A)前記ドアがクローズしたと判断し、(B)前記少なくとも一方のウィンカーが作動していないと判断し、(C)前記タクシーメーターが作動していないと判断し、(D)前記第1の所定速度未満と判断し、(E)前記所定温度未満と判断し、(F)前記第1の所定距離以内に他の移動体が存在しないと判断し、及び(G)前記歩道まで第2の所定距離未満であると判断すると、表示オンを判断する
してもよい。
(4)
上記(2)又は(3)に記載の情報処理装置であって、
前記移動体は自動運転可能であり、
前記表示判断部は、前記移動体が自動運転中は、(B)前記移動体の少なくとも一方のウィンカーの作動情報及び(F)前記移動体存在情報に基づき表示のオン又はオフを判断しない
してもよい。
(5)
上記(1)乃至(4)の何れか一項に記載の情報処理装置であって、
前記移動体の外部情報を取得し、前記外部情報に基づき表示中の画像を切り替えるか否かを判断する切替判断部をさらに具備し、
前記表示制御部は、前記切替判断部の判断結果に基づき前記表示装置を制御して表示される画像を切り替える
してもよい。
(6)
上記(5)に記載の情報処理装置であって、
前記画像取得部は、前記切替判断部が画像を切り替えると判断すると、前記画像記憶装置から新たな画像を取得する
してもよい。
(7)
上記(5)又は(6)に記載の情報処理装置であって、
前記表示制御部は、前記切替判断部の判断結果に基づき前記表示装置を制御して、表示中の画像の表示モードを切り替える
してもよい。
(8)
上記(5)乃至(7)の何れか一項に記載の情報処理装置であって、
前記切替判断部は、
(a)前記外部情報として前記移動体の位置情報を取得し、前記移動体が所定エリアにいると判断すると、前記所定エリアに紐づけられたエリア画像に表示を切り替えると判断し、
(b)前記外部情報として緊急情報を取得すると、前記緊急情報に関する緊急画像に表示を切り替えると判断し、
(c)前記外部情報として前記移動体の予約情報を取得すると、前記予約情報に関する予約者画像に表示を切り替えると判断し、
(d)前記外部情報として交通機関の運行情報を取得すると、前記運行情報に関する運行画像に表示を切り替えると判断し、
(e)前記外部情報として前記移動体の乗員のトラブル情報を取得すると、前記トラブル情報に関するトラブル画像に表示を切り替えると判断し、又は
(f)前記外部情報として前記移動体の外部の明るさ情報を取得し、前記移動体の外部が所定の明るさ以上と判断すると、表示される画像の明るさを切り替えると判断する
してもよい。
(9)
上記(8)に記載の情報処理装置であって、
前記切替判断部は、前記表示判断部が表示オフを判断する場合でも、(e)前記外部情報として前記移動体の乗員のトラブル情報を取得すると、前記トラブル画像に表示を切り替えると判断する
してもよい。
(10)
上記(8)又は(9)に記載の情報処理装置であって、
前記移動体は自動運転可能であり、
(e)前記移動体の乗員のトラブル情報は、前記移動体の運転者のトラブル情報であり、
前記切替判断部は、前記移動体が自動運転中は、(e)前記移動体の運転者のトラブル情報に基づき表示中の画像を切り替えるか否かを判断しない
してもよい。
(11)
上記(1)乃至(10)の何れか一項に記載の情報処理装置であって、
前記表示制御部は、前記移動体に搭載され、表示中の画像を切り替えるための要求を入力する操作装置を前記移動体の乗員が操作したことを検出すると、前記表示装置を制御して表示される画像を切り替える
してもよい。
(12)
上記(1)乃至(11)の何れか一項に記載の情報処理装置であって、
前記切替判断部は、
前記移動体が公道以外又は特定場所におり、停止中又は速度が第2の所定速度以下であり、又は、前記第1の所定距離以内に他の移動体が存在しないと判断すると、静止画のスライドショー又は動画に表示を切り替えると判断する
してもよい。
(13)
上記(1)乃至(12)の何れか一項に記載の情報処理装置であって、
前記画像取得部は、前記画像記憶装置から、
前記移動体に関連しない画像、
前記移動体に関する情報を示す画像、又は
前記移動体の近隣にいる他の1以上の移動体が表示する画像と関連する画像
を取得する
してもよい。
(14)
上記(1)乃至(13)の何れか一項に記載の情報処理装置であって、
前記移動体は、車両であり、
前記表示装置は、前記車両の1以上のウィンドウに画像を表示する
してもよい。
(15)
情報処理装置のプロセッサを、
移動体の外部から視認可能に前記移動体に画像を表示可能な表示装置を有する前記移動体の移動体情報を取得し、前記移動体情報に基づき表示のオン又はオフを判断する表示判断部と、
画像記憶装置から画像を取得する画像取得部と、
前記表示判断部の判断結果に基づき前記表示装置を制御して前記画像の表示をオン又はオフする表示制御部
として動作させる情報処理プログラム。
(16)
移動体の外部から視認可能に前記移動体に画像を表示可能な表示装置を有する前記移動体の移動体情報を取得し、前記移動体情報に基づき表示のオン又はオフを判断し、
画像記憶装置から画像を取得し、
判断結果に基づき前記表示装置を制御して前記画像の表示をオン又はオフする
情報処理方法。
(17)
移動体に設けられ、前記移動体の外部から視認可能に前記移動体に画像を表示可能な表示装置と、
前記移動体の移動体情報を取得し、前記移動体情報に基づき表示のオン又はオフを判断する表示判断部と、
画像記憶装置から画像を取得する画像取得部と、
前記表示判断部の判断結果に基づき前記表示装置を制御して前記画像の表示をオン又はオフする表示制御部と
を有する情報処理装置と
を具備するモビリティサイネージシステム。
(18)
情報処理装置のプロセッサを、
移動体の外部から視認可能に前記移動体に画像を表示可能な表示装置を有する前記移動体の移動体情報を取得し、前記移動体情報に基づき表示のオン又はオフを判断する表示判断部と、
画像記憶装置から画像を取得する画像取得部と、
前記表示判断部の判断結果に基づき前記表示装置を制御して前記画像の表示をオン又はオフする表示制御部
として動作させる情報処理プログラム
を記録した非一過性のコンピュータ読み取り可能な記録媒体。
【0196】
本技術の各実施形態及び各変形例について上に説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【符号の説明】
【0197】
1 車両
10 モビリティサイネージシステム
100 情報処理装置
101 表示判断部
102 切替判断部
103 画像取得部
104 表示制御部
105 記憶装置
110 通信インターフェース
20 サーバ装置
300 表示装置