(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-02
(45)【発行日】2024-12-10
(54)【発明の名称】画像表示システム、画像表示方法、および、コンピュータプログラム
(51)【国際特許分類】
B60K 35/55 20240101AFI20241203BHJP
B60K 35/28 20240101ALI20241203BHJP
B60K 35/22 20240101ALI20241203BHJP
B60K 35/81 20240101ALI20241203BHJP
【FI】
B60K35/55
B60K35/28
B60K35/22
B60K35/81
(21)【出願番号】P 2021546177
(86)(22)【出願日】2020-01-28
(86)【国際出願番号】 JP2020002884
(87)【国際公開番号】W WO2021053843
(87)【国際公開日】2021-03-25
【審査請求日】2022-12-12
(32)【優先日】2019-09-18
(33)【優先権主張国・地域又は機関】US
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成31年度、国立研究開発法人科学技術振興機構、「研究成果展開事業 産学共創プラットフォーム共同研究推進プログラム」委託研究、産業技術力強化法第17条の適用を受ける特許出願
(73)【特許権者】
【識別番号】504139662
【氏名又は名称】国立大学法人東海国立大学機構
(74)【代理人】
【識別番号】110001911
【氏名又は名称】弁理士法人アルファ国際特許事務所
(72)【発明者】
【氏名】石黒 祥生
【審査官】松江川 宗
(56)【参考文献】
【文献】特開2010-122135(JP,A)
【文献】特開2009-190613(JP,A)
【文献】特開2019-104315(JP,A)
【文献】特開2018-203180(JP,A)
【文献】特開2018-203008(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60K 35/00-37/20
(57)【特許請求の範囲】
【請求項1】
画像表示システムであって、
画像表示装置と、
前記画像表示装置を支持すると共に、前記画像表示装置の向きを変更可能である支持装置と、
前記画像表示装置と前記支持装置とを制御する制御装置と、
を備え、
前記制御装置は、
前記画像表示装置の位置を示す第1の位置情報と、
前記第1の位置情報に基づき特定される前記画像表示装置の周辺の物体の位置を示す第2の位置情報と、を含む空間情報を取得する空間情報取得部と、
前記空間情報に基づき、前記支持装置に前記画像表示装置の向きを変更させる向き制御部と、
前記画像表示装置の向きに応じた画像を前記画像表示装置に表示させる画像表示制御部と、
を有する、
画像表示システム。
【請求項2】
請求項1に記載の画像表示システムであって、
前記制御装置は、さらに、前記空間情報に基づき、前記周辺の物体の1つを目標物体として設定する目標設定部を有し、
前記向き制御部は、前記画像表示装置が前記目標物体を指し示す向きとなるように、前記支持装置に前記画像表示装置の向きを変更させる、
画像表示システム。
【請求項3】
請求項2に記載の画像表示システムであって、
前記制御装置は、さらに、前記目標物体に関する情報である目標情報を取得する目標情報取得部を有し、
前記画像表示制御部は、前記目標情報を示す画像を前記画像表示装置に表示させる、
画像表示システム。
【請求項4】
請求項3に記載の画像表示システムであって、
前記目標情報は、前記目標物体の名称と、大きさと、建造年と、の少なくとも1つを示す情報を含む、
画像表示システム。
【請求項5】
請求項2から請求項4までのいずれか一項に記載の画像表示システムであって、
前記支持装置は、前記画像表示装置の向きを手動で変更可能なように前記画像表示装置を支持し、
前記目標設定部は、手動での前記画像表示装置の向きの変更があった場合には、前記画像表示装置が指し示す方向に位置する物体を前記目標物体として設定する、
画像表示システム。
【請求項6】
請求項5に記載の画像表示システムであって、
前記画像表示装置は、前記画像表示装置が指し示す方向に位置する被写体を撮像するカメラを有し、
前記画像表示制御部は、手動での前記画像表示装置の向きの変更がなされているとき、前記カメラにより撮像された画像を前記画像表示装置に表示させる、
画像表示システム。
【請求項7】
請求項2から請求項6までのいずれか一項に記載の画像表示システムであって、
前記画像表示装置は、平面状の画像表示面を有し、
前記画像表示装置が指し示す方向は、前記画像表示面に直交し、かつ、前記画像表示面とは反対側に向かう方向である、
画像表示システム。
【請求項8】
請求項1から請求項7までのいずれか一項に記載の画像表示システムであって、
前記支持装置は、3つ以上の回転軸を有する、
画像表示システム。
【請求項9】
請求項1から請求項8までのいずれか一項に記載の画像表示システムであって、
前記画像表示システムは、自動運転可能な車両に搭載され、
前記支持装置は、前記画像表示装置を前記車両に支持し、
前記空間情報取得部は、前記車両に設置されたセンサにより得られた前記空間情報を取得する、
画像表示システム。
【請求項10】
画像表示装置と、前記画像表示装置を支持すると共に、前記画像表示装置の向きを変更可能である支持装置と、を用いて画像を表示する画像表示方法であって、
前記画像表示装置の位置を示す第1の位置情報と、
前記第1の位置情報に基づき特定される前記画像表示装置の周辺の物体の位置を示す第2の位置情報と、を含む空間情報を取得する工程と、
前記空間情報に基づき、前記支持装置に前記画像表示装置の向きを変更させる工程と、
前記画像表示装置の向きに応じた画像を前記画像表示装置に表示させる工程と、
を備える、
画像表示方法。
【請求項11】
画像表示装置と、前記画像表示装置を支持すると共に、前記画像表示装置の向きを変更可能である支持装置と、を用いて画像を表示するためのコンピュータプログラムであって、
コンピュータに、
前記画像表示装置の位置を示す第1の位置情報と、
前記第1の位置情報に基づき特定される前記画像表示装置の周辺の物体の位置を示す第2の位置情報と、を含む空間情報を取得する処理と、
前記空間情報に基づき、前記支持装置に前記画像表示装置の向きを変更させる処理と、
前記画像表示装置の向きに応じた画像を前記画像表示装置に表示させる処理と、
を実行させる、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書に開示される技術は、画像表示システムに関する。
【背景技術】
【0002】
近年、自動車等の車両の自動運転技術の開発が急速に進みつつある。車両の自動運転技術は、例えば、各種センサ(カメラ、レーダ、LIDAR、超音波センサ、GPS等)や高精度3次元地図等を用いて自車の位置や周辺の環境を認識し、車両を目的地まで自律的に走行させる技術である。
【0003】
車両の自動運転技術が十分に向上し、特定の状況下(例えば、高速道路を走行中の状況下)、あるいは、あらゆる状況下において、加速、操舵、制動といった運転操作を全てシステムが行い、運転者が運転操作を行う必要がなくなると、該運転者は、一搭乗者として、運転操作以外のことに時間を割くことができる。例えば、該搭乗者は、カーナビゲーションシステム等に用いられる車載ディスプレイや、搭乗者が持ち込んだスマートフォン、タブレット型端末、HMD(Head Mouted Display)等の画像表示装置を含む画像表示システム(インフォテインメントシステム)を用いて、動画を鑑賞したり、ゲームを行ったりすることができる(例えば、特許文献1~3参照)。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2017-49901号公報
【文献】特開2017-97921号公報
【文献】特開2017-81256号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
自動運転車両の搭乗者用の画像表示システムにおいて、例えば、車窓から見える観光名所を紹介する場合のように、方向を示しつつ、該方向に応じた画像(例えば、該方向に位置する物体(例えば、歴史的な建造物)を紹介するための情報(例えば、該建造物の名称、大きさ、建造年等)を示す画像)を画像表示装置に表示したい場合がある。このような場合に、車載ディスプレイやスマートフォン、タブレット型端末の画面上に画像(例えば、右向きの矢印の画像)を表示したり、スピーカから音声(例えば、「右手をご覧下さい。」という音声)を出力したりしても、搭乗者が見るべき正確な方向を伝えることは困難である。また、HMD等の装着型画像表示装置を用いれば、正確な方向を伝えることは可能であるが、装着型画像表示装置は装着が煩わしく、かつ、装着時の外見に違和感がある。このように、従来の画像表示装置を含む画像表示システムにおいては、装着側画像表示装置を用いることなく、正確な方向を示しつつ該方向に応じた画像を画像表示装置に表示することが困難であり、利便性の点で向上の余地がある。
【0006】
なお、このような課題は、自動運転車両に搭載される画像表示システムに限られず、画像表示装置を備える画像表示システム一般に共通の課題である。
【0007】
本明細書では、上述した課題を解決することが可能な技術を開示する。
【課題を解決するための手段】
【0008】
本明細書に開示される技術は、例えば、以下の形態として実現することが可能である。
【0009】
(1)本明細書に開示される画像表示システムは、画像表示システムであって、画像表示装置と、前記画像表示装置を支持すると共に、前記画像表示装置の向きを変更可能である支持装置と、前記画像表示装置と前記支持装置とを制御する制御装置と、を備え、前記制御装置は、前記画像表示装置の位置を示す第1の位置情報と、前記画像表示装置の周辺の物体の位置を示す第2の位置情報と、を含む空間情報を取得する空間情報取得部と、前記空間情報に基づき、前記支持装置に前記画像表示装置の向きを変更させる向き制御部と、前記画像表示装置の向きに応じた画像を前記画像表示装置に表示させる画像表示制御部と、を有する。本画像表示システムでは、画像表示装置の位置を示す第1の位置情報と、画像表示装置の周辺の物体の位置を示す第2の位置情報と、を含む空間情報に基づき、画像表示装置の向きが変更され、画像表示装置の向きに応じた画像が画像表示装置に表示される。そのため、本画像表示システムによれば、装着側画像表示装置を用いることなく、画像表示装置の向きによってユーザに正確な方向を示しつつ、該方向に応じた画像を画像表示装置に表示することができ、画像表示システムの利便性を向上させることができる。
【0010】
(2)上記画像表示システムにおいて、前記制御装置は、さらに、前記空間情報に基づき、前記周辺の物体の1つを目標物体として設定する目標設定部を有し、前記向き制御部は、前記画像表示装置が前記目標物体を指し示す向きとなるように、前記支持装置に前記画像表示装置の向きを変更させる構成としてもよい。本画像表示システムによれば、画像表示装置の向きによって、ユーザの視線の方向を、周辺の物体の1つである目標物体へと導くことができ、画像表示システムの利便性をさらに向上させることができる。
【0011】
(3)上記画像表示システムにおいて、前記制御装置は、さらに、前記目標物体に関する情報である目標情報を取得する目標情報取得部を有し、前記画像表示制御部は、前記目標情報を示す画像を前記画像表示装置に表示させる構成としてもよい。本画像表示システムによれば、画像表示装置の向きによって、ユーザの視線の方向を、周辺の物体の1つである目標物体へと導くことができると共に、該目標物体に関する情報を示す画像を画像表示装置に表示することができるため、画像表示システムの利便性をさらに向上させることができる。
【0012】
(4)上記画像表示システムにおいて、前記目標情報は、前記目標物体の名称と、大きさと、建造年と、の少なくとも1つを示す情報を含む構成としてもよい。本画像表示システムによれば、目標物体の名称と、大きさと、建造年と、の少なくとも1つを示す情報を示す画像を画像表示装置に表示させることができ、ユーザに有用な情報を提示することができる。
【0013】
(5)上記画像表示システムにおいて、前記支持装置は、前記画像表示装置の向きを手動で変更可能なように前記画像表示装置を支持し、前記目標設定部は、手動での前記画像表示装置の向きの変更があった場合には、前記画像表示装置が指し示す方向に位置する物体を前記目標物体として設定する構成としてもよい。本画像表示システムによれば、ユーザが所望の物体の方向へ画像表示装置を向けると、該物体が目標物体として設定されるため、ユーザの直感的な操作によって目標物体の設定を行うことができ、画像表示システムの利便性をさらに向上させることができる。
【0014】
(6)上記画像表示システムにおいて、前記画像表示装置は、前記画像表示装置が指し示す方向に位置する被写体を撮像するカメラを有し、前記画像表示制御部は、手動での前記画像表示装置の向きの変更がなされているとき、前記カメラにより撮像された画像を前記画像表示装置に表示させる構成としてもよい。本画像表示システムによれば、画像表示装置に表示された画像によって現在の画像表示装置の向きをユーザにフィードバックすることができるため、ユーザは、容易に、画像表示装置が所望の物体を正確に指し示す状態になるように画像表示装置の向きを手動で変更することができ、画像表示システムの利便性をさらに向上させることができる。
【0015】
(7)上記画像表示システムにおいて、前記画像表示装置は、平面状の画像表示面を有し、前記画像表示装置が指し示す方向は、前記画像表示面に直交し、かつ、前記画像表示面とは反対側に向かう方向である構成としてもよい。本画像表示システムによれば、画像表示装置が指し示す方向をユーザがより正確に把握することができ、画像表示システムの利便性をさらに向上させることができる。
【0016】
(8)上記画像表示システムにおいて、前記支持装置は、3つ以上の回転軸を有する構成としてもよい。本画像表示システムによれば、画像表示装置の向きをより柔軟に調整することができるため、画像表示システムの利便性をさらに向上させることができる。
【0017】
(9)上記画像表示システムにおいて、前記画像表示システムは、自動運転可能な車両に搭載され、前記支持装置は、前記画像表示装置を前記車両に支持し、前記空間情報取得部は、前記車両に設置されたセンサにより得られた前記空間情報を取得する構成としてもよい。本画像表示システムによれば、自動運転に利用される情報を用いて画像表示装置の向きを変更することにより、自動運転可能な車両の搭乗者や車外の人に対して、車両の走行に関連する正確な方向を示しつつ、該方向に応じた画像を画像表示装置に表示することができ、画像表示システムの利便性を向上させることができる。
【0018】
なお、本明細書に開示される技術は、種々の形態で実現することが可能であり、例えば、画像表示装置、画像表示システム、画像表示方法、それらの方法を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。
【図面の簡単な説明】
【0019】
【
図1】本実施形態における画像表示システム10の概略構成を示す説明図
【
図2】本実施形態における画像表示制御処理の内容を示すフローチャート
【
図3】本実施形態における画像表示制御処理の際の画像表示装置150等の状態を模式的に示す説明図
【
図4】本実施形態における画像表示制御処理の際の画像表示装置150等の状態を模式的に示す説明図
【
図5】本実施形態における画像表示制御処理の際の画像表示装置150等の状態を模式的に示す説明図
【
図6】本実施形態における画像表示装置150等を模式的に示す説明図
【発明を実施するための形態】
【0020】
A.実施形態:
A-1.画像表示システム10の構成:
図1は、本実施形態における画像表示システム10の概略構成を示す説明図である。本実施形態の画像表示システム10は、自動運転可能な車両VHに搭載され、該車両VHの搭乗者PAに動画やゲーム、観光案内等のインフォテインメントを提供可能なインフォテインメントシステムである。
【0021】
図1に示すように、画像表示システム10は、画像表示装置150と、支持装置160と、制御装置100とを備える。画像表示装置150は、液晶ディスプレイや有機ELディスプレイ等のディスプレイを備えており、静止画や動画等の画像を表示する。画像表示装置150の形状は、略平面状の前面FS(すなわち、画像表示面)と、前面FSとは反対側の面(以下、「背面BS」という。)とを有する略平板状である。画像表示装置150は、背面BSにレンズが配置されたカメラ(背面カメラ)152を有している。カメラ152は、画像表示装置150の背面BS方向に位置する被写体を撮像して画像を生成する。なお、画像表示装置150は、前面FSにレンズが配置された前面カメラやスピーカ等の他の構成要素を備えていてもよい。また、画像表示装置150は、タッチパネルやマイク等を備え、入力装置として機能するとしてもよい。
【0022】
支持装置160は、車両VHの所定の位置(本実施形態では、ダッシュボード)に固定され、画像表示装置150を支持する装置である。本実施形態では、支持装置160は、多数の(3つ以上の)関節と、各関節を駆動する駆動モータ162とを有するロボットアームにより構成されている。支持装置160は、各駆動モータ162によって各関節を駆動することにより、画像表示装置150の位置および向きを変更することができる(
図3および
図4参照)。以下、このような画像表示装置150の位置および向きの変更を、画像表示装置150の位置および向きの「自動変更」という。
【0023】
また、本実施形態の支持装置160は、各駆動モータ162のトルクをゼロにすることにより、外部からの画像表示装置150または支持装置160への力の作用によって画像表示装置150の位置および向きを変更可能であり、かつ、該力の作用が無くなった時点で画像表示装置150の位置および向きが固定されるように構成されている。そのため、例えば、搭乗者PAが画像表示装置150を掴んで画像表示装置150を移動させたり回転させたりすることにより、画像表示装置150の位置および向きを所望の位置および向きに変更させることができる(
図5参照)。以下、このような画像表示装置150の位置および向きの変更を、画像表示装置150の位置および向きの「手動変更」という。
【0024】
制御装置100は、車両VHの各構成要素を制御するためのコンピュータであり、制御部110と、記憶部170とを備える。これらの各部は、バス190を介して互いに通信可能に接続されている。
【0025】
制御装置100の記憶部170は、例えばROMやRAM、ハードディスクドライブ(HDD)等により構成され、各種のプログラムやデータを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。例えば、記憶部170には、車両VHの自動運転を実行するためのコンピュータプログラムである自動運転制御プログラム172や、後述する画像表示制御処理を実行するためのコンピュータプログラムである画像表示制御プログラム174および支持制御プログラム176が格納されている。これらのプログラムは、例えば、CD-ROMやDVD-ROM、USBメモリ等のコンピュータ読み取り可能な記録媒体(図示しない)に格納された状態で提供され、制御装置100にインストールすることにより記憶部170に格納される。
【0026】
また、制御装置100の記憶部170には、3次元地図データベースMDが構築されている。3次元地図データベースMDには、車両VHの自動運転に利用される高精度な3次元地図が格納されている。この3次元地図は、例えば、道路の位置および形状の情報に加えて、信号機、道路標識、街路樹、ガードレール、建物等の位置および形状の情報を含んでいる。
【0027】
また、制御装置100の記憶部170には、インフォテインメントデータベースIDが構築されている。インフォテインメントデータベースIDには、車両VHの搭乗者PAに動画やゲーム、観光案内等のインフォテインメントを提供するための情報が格納されている。本実施形態では、車両VHの搭乗者PAに観光案内を提供するために、インフォテインメントデータベースIDに、物体(より具体的には、建造物や自然物等の観光名所)の位置を示す情報(以下、「観光名所位置情報I2」という。)と、該観光名所の外観、名称、大きさ、建造年等の諸元を示す情報(以下、「諸元情報I3」という。)とが格納されている。
【0028】
制御装置100の制御部110は、例えばCPU等により構成され、記憶部170から読み出したコンピュータプログラムを実行することにより、車両VHの各部の動作を制御する。例えば、制御部110は、記憶部170から自動運転制御プログラム172を読み出して実行することにより、車両VHの自動運転の制御を行う。このとき制御部110は、自動運転制御部120として機能する。自動運転制御部120は、位置・向き検出部122と、周辺状況検出部124と、ルート設定部126とを含む。これら各部の機能については、後述の自動運転制御処理の説明に合わせて説明する。
【0029】
また、制御部110は、記憶部170から画像表示制御プログラム174および支持制御プログラム176を読み出して実行することにより、画像表示装置150および支持装置160の制御を行う。このとき制御部110は、画像表示制御部130および支持制御部140として機能する。画像表示制御部130は、空間情報取得部132と、目標設定部134と、目標情報取得部136とを含む。また、支持制御部140は、向き制御部142を含む。これら各部の機能については、後述の画像表示制御処理の説明に合わせて説明する。
【0030】
A-2.自動運転制御処理:
次に、制御装置100の自動運転制御部120による自動運転制御処理について説明する。自動運転制御処理は、車両VHの自動運転の制御を行う処理である。本実施形態における自動運転制御処理の内容は、公知の内容と同様であり、おおよそ次の通りである。
【0031】
はじめに、自動運転制御部120のルート設定部126が、搭乗者PAの指示に従い、出発地から目的地までの移動経路(以下、「ルート」という。)を設定する。ルートは、種々の方法により設定することができるが、例えば、道路をノードおよびリンクで表した道路ネットワークデータベースを参照し、これに基づく経路探索によってルートを設定することができる。
【0032】
ルートが設定されると、自動運転制御部120は、設定されたルートを走行するように、車両VHの加速、操舵および制動を制御することにより、車両VHを自律的に走行させる。このとき、自動運転制御部120の位置・向き検出部122は、車両VHに搭載された各種センサ102(GPS、地磁気センサ等)からの信号に基づき、あるいは、該信号と3次元地図データベースMDに格納された高精度3次元地図とに基づき、車両VHの位置(緯度、経度および高度等)および向き(進行方向の方角、方位角等)を検出する。また、自動運転制御部120の周辺状況検出部124は、車両VHに搭載された各種センサ102(カメラ、レーダ、LIDAR、超音波センサ、GPS等)からの信号に基づき、あるいは、該信号と3次元地図データベースMDに格納された高精度3次元地図とに基づき、車両VHの周辺の状況(車両VHの周辺の物体(他の車両、歩行者、街路樹、車線等)の位置や形状等)を検出する。自動運転制御部120は、位置・向き検出部122により検出された車両VHの位置および向きと、周辺状況検出部124により検出された周辺の状況とに基づき、設定されたルートに沿って目的地まで車両VHを自律的に走行させる。
【0033】
A-3.画像表示制御処理:
次に、本実施形態の画像表示システム10により実行される画像表示制御処理について説明する。
図2は、本実施形態における画像表示制御処理の内容を示すフローチャートである。また、
図3~
図5は、本実施形態における画像表示制御処理の際の画像表示装置150等の状態を模式的に示す説明図である。本実施形態における画像表示制御処理は、自動運転によって目的地に向かって走行中の車両VHの搭乗者PAに、画像表示装置150を用いたインフォテインメントとして、車窓から見える観光名所を紹介する情報を提示する処理であり、例えば搭乗者PAによる処理開始の指示があったときに開始される。
図3には、画像表示制御処理の開始時における画像表示装置150の状態が示されている。
図3に示すように、画像表示制御処理の開始時には、画像表示装置150は、支持装置160により、前方を向いて座る搭乗者PAの正面に位置し、かつ、前面FSが搭乗者PAに正対するような位置および向きとされている。
【0034】
画像表示制御処理が開始されると、画像表示制御部130の空間情報取得部132は、車両VHの位置を示す自車位置情報I1を取得する(S110)。本実施形態では、自車位置情報I1には、車両VHの位置に加えて、車両VHの向きを示す情報が含まれている。また、本実施形態では、空間情報取得部132は、自動運転制御部120の位置・向き検出部122が上述した自動運転制御処理において各種センサ102からの信号に基づき検出した車両VHの位置および向きの情報を、自車位置情報I1として取得する。なお、画像表示装置150を備える画像表示システム10は車両VHに搭載されていることから、車両VHの位置および向きを示す自車位置情報I1は、画像表示装置150の位置および向きを示す情報であるとも言える。なお、ここで言う画像表示装置150の位置および向きは、車両VHに対する「相対的な」位置および向きではなく、道路等の地物に対する「絶対的な」位置および向きである。例えば、車両VHに対する画像表示装置150の相対的な位置および向きが固定されていても、車両VHの走行に伴って車両VHの位置および向きが変動すれば、上記地物に対する画像表示装置150の絶対的な位置および向きも変動する。自車位置情報I1は、特許請求の範囲における第1の位置情報および空間情報の一例である。
【0035】
次に、画像表示制御部130は、支持制御部140と連携して、上述した画像表示装置150の向きの手動変更がなされたか否かを判定する(S120)。画像表示装置150の向きの手動変更がなされたか否かは、例えば、支持装置160の各関節が駆動モータ162の駆動なしで動いたか否かをセンサにより検出することにより判定することができる。
【0036】
画像表示装置150の向きの手動変更がなされなかったと判定された場合(S120:NO)、画像表示制御部130の目標設定部134は、車両VHの周辺に紹介可能な物体(観光名所)があるか否かを判定する(S130)。より具体的には、上述したように、インフォテインメントデータベースIDには観光名所位置情報I2が格納されており、この観光名所位置情報I2が空間情報取得部132により取得される。目標設定部134は、自車位置情報I1により特定される車両VHの位置と、取得された観光名所位置情報I2により特定される各観光名所の位置との関係から、現在の位置の車両VHの車窓から見ることができる観光名所があるか否かを判定する。なお、道路や駐車場上の各位置と、そこから見ることができる観光名所との対応関係を予め設定し、該対応関係をインフォテインメントデータベースIDに格納しておき、目標設定部134が該対応関係を参照して上記S130の判定を行うものとしてもよい。観光名所位置情報I2は、特許請求の範囲における第2の位置情報および空間情報の一例である。
【0037】
上記S130において、車両VHの周辺に紹介可能な物体(観光名所)があると判定された場合には(S130:YES)、目標設定部134が、そのような観光名所の1つを目標物体TAとして設定し、目標情報取得部136が、インフォテインメントデータベースIDから目標物体TAの諸元情報I3を取得する(S140)。目標物体TAの諸元情報I3は、目標物体TAの諸元(外観、名称、大きさ、建造年等)を示す情報である。目標物体TAの諸元情報I3は、特許請求の範囲における目標情報の一例である。
【0038】
次に、支持制御部140の向き制御部142は、自車位置情報I1と目標物体TAの観光名所位置情報I2とに基づき、画像表示装置150が目標物体TAを指し示すような向きとなるように、支持装置160に画像表示装置150の向きを変更させる(S150)。ここで、本明細書において、画像表示装置150が指し示す方向とは、画像表示装置150の前面(画像表示面)FSに直交し、かつ、前面FSとは反対側(背面BS側)に向かう方向である。すなわち、画像表示装置150が目標物体TAを指し示すような向きである状態とは、
図4に示すように、画像表示装置150の前面(画像表示面)FSにおける任意の点(例えば、画面の中心点P0)を通り、かつ、前面FSに直交する仮想直線VLが目標物体TAと交わるような状態である。向き制御部142は、自車位置情報I1に基づき車両VHの位置および向き(すなわち、画像表示装置150の位置および向き)を特定すると共に、観光名所位置情報I2に基づき目標物体TAの位置を特定し、画像表示装置150から目標物体TAに向かう方向(上記仮想直線VLの方向)を算出し、該方向に基づき、駆動モータ162を制御して支持装置160の各関節を駆動することにより、画像表示装置150の向きを変更する。
図4には、画像表示装置150が第1の目標物体TA1を指し示すような向きに変更された状態が示されている。画像表示装置150の向きの変化に応じて、搭乗者PAは、画像表示装置150が指し示す方向(すなわち、目標物体TAが位置する方向)に視線を移動させている。なお、本実施形態では、支持装置160が多数の関節を有するロボットアームにより構成されており、画像表示装置150の向きに加えて位置も変更することが可能であるため、画像表示装置150の向きに加えて、画像表示装置150の位置も変更されている。画像表示装置150の変更後の位置は、上記仮想直線VLが搭乗者PAにも交わるような位置(すなわち、目標物体TAと搭乗者PAとに挟まれた位置)である。この位置では、画像表示装置150の前面FSが、目標物体TAを見る搭乗者PAの視線方向に略直交する状態となるため、搭乗者PAによる画像表示装置150に表示される画像の視認性が向上する。
【0039】
また、画像表示制御部130は、S140において取得された目標物体TAの諸元情報I3に基づき、該諸元情報I3を示す画像を、画像表示装置150に表示させる(S160)。
図4には、画像表示装置150に、第1の目標物体TA1の諸元情報I3として、第1の目標物体TA1の諸元(外観、名称、大きさ等)を示す画像が表示された状態が示されている。なお、諸元情報I3の一部が、画像表示装置150が備えるスピーカ(不図示)から音声として出力されてもよい。画像表示装置150への諸元情報I3を示す画像の表示により、搭乗者PAは、視線をほぼ動かさずに、実際の第1の目標物体TA1の外観と、画像表示装置150に表示された第1の目標物体TA1の諸元情報I3の内容とを視認することができる。
【0040】
なお、上記S130において、車両VHの周辺に紹介可能な物体(観光名所)がないと判定された場合には(S130:NO)、上記S140~S160の処理はスキップされる。
【0041】
その後、画像表示制御部130は、目的地に到着したか否かを判定し(S200)、まだ目的地に到着していないと判定された場合には(S200:NO)、上述したS110以降の処理を繰り返す。
【0042】
なお、車両VHの走行に伴い、車両VHの位置および向きは時々刻々と変化する。そのため、車両VHに対する画像表示装置150の相対的な位置および向きが固定されていると、車両VHの走行に伴う車両VHの位置および向きの変化に応じて、道路等の地物に対する画像表示装置150の絶対的な位置および向きも時々刻々と変化する。従って、上記S140において目標物体TAが設定され、S150において画像表示装置150が目標物体TAを指し示す向きに変更された後も、車両VHの走行に伴う車両VHの位置および向きの変化に応じて、画像表示装置150が目標物体TAを指し示し続けるように、車両VHに対する画像表示装置150の相対的な位置および向きが調整される。
【0043】
また、車両VHの走行に伴い、車両VHの車窓から見ることができる観光名所も時々刻々と変化する。そのため、上記S140において目標物体TAが設定され、S150において画像表示装置150の向きが変更され、S160において目標物体TAの諸元情報I3を示す画像が画像表示装置150に表示された後、車両VHの走行に伴う車両VHの位置および向きの変化に応じて、該目標物体TAが車窓から見ることができなくなった場合には、改めて上記S130以降の処理が実行される。
【0044】
また、上記S130において、車両VHの周辺に紹介可能な物体(観光名所)が複数あると判定された場合、S140において1つの観光名所が目標物体TAとして設定されるが、その後に、例えば所定の時間経過毎に、あるいは、搭乗者PAからの指示がある毎に、目標物体TAの切り替えが行われるとしてもよい。すなわち、上記S140において他の1つの観光名所が新たに目標物体TAとして設定され、S150において画像表示装置150の向きが新たな目標物体TAを指し示す向きに変更され、S160において新たな目標物体TAの諸元情報I3を示す画像が画像表示装置150に表示されるとしてもよい。
【0045】
画像表示制御処理中に、上述した画像表示装置150の向きの手動変更がなされると、上記S120において、画像表示装置150の向きの手動変更がなされたと判定される(S120:YES)。
図5には、画像表示制御処理中に、搭乗者PAが画像表示装置150を掴んで画像表示装置150の向き(および位置)を、画像表示装置150が第2の目標物体TA2を指し示すような向き(および位置)に変更させた様子が示されている。画像表示装置150の向きの手動変更がなされたと判定された場合には(S120:YES)、画像表示制御部130の目標設定部134が、画像表示装置150の指し示す方向に、紹介可能な物体(観光名所)があるか否かを判定する(S170)。より具体的には、上述したように、インフォテインメントデータベースIDには観光名所位置情報I2が格納されており、この観光名所位置情報I2は空間情報取得部132により取得される。目標設定部134は、自車位置情報I1により特定される車両VHの位置と、支持制御部140の向き制御部142により検出される画像表示装置150の向きとから、上述した仮想直線VL(画像表示装置150の前面FS上の点を通り、かつ、前面FSに直交する仮想的な直線)を算出し、該仮想直線VL上(または仮想直線VLからの距離が所定の閾値以下である位置)に位置する観光名所があるか否かを判定する。なお、道路や駐車場上の各位置と画像表示装置150の位置および向きとの組合せと、観光名所との対応関係を予め設定し、該対応関係をインフォテインメントデータベースIDに格納しておき、目標設定部134が該対応関係を参照して上記S170の判定を行うものとしてもよい。
【0046】
上記S170において、画像表示装置150の指し示す方向に紹介可能な物体(観光名所)があると判定された場合には(S170:YES)、目標設定部134が、そのような観光名所の1つを目標物体TAとして設定し、目標情報取得部136が、インフォテインメントデータベースIDから目標物体TAの諸元情報I3を取得する(S180)。目標物体TAの諸元情報I3は、目標物体TAの諸元(外観、名称、大きさ、建造年等)を示す画像である。
【0047】
また、画像表示制御部130は、目標物体TAの諸元情報I3を示す画像を、画像表示装置150に表示させる(S190)。
図5には、画像表示装置150に、第2の目標物体TA2の諸元情報I3として、第2の目標物体TA2の諸元(外観、名称、大きさ等)を示す画像が表示された状態が示されている。画像表示装置150への諸元情報I3を示す画像の表示により、搭乗者PAは、視線をほぼ動かさずに、自ら見たいと所望した第2の目標物体TA2の外観と、画像表示装置150に表示された第2の目標物体TA2の諸元情報I3の内容とを視認することができる。
【0048】
なお、本実施形態では、画像表示装置150の向き(および位置)の手動変更がなされているとき、画像表示制御部130は、画像表示装置150の備えるカメラ152により撮像された画像を画像表示装置150に表示させるものとしている。そのため、搭乗者PAは、画像表示装置150に表示された画像を参照することにより、画像表示装置150が指し示す方向に位置する物体を確認することができ、画像表示装置150が所望の物体を正確に指し示す状態になるように、画像表示装置150の位置および向きを変更することができる。
【0049】
なお、上記S170において、車両VHの周辺に紹介可能な物体(観光名所)がないと判定された場合には(S170:NO)、上記S180~S190の処理はスキップされる。あるいは、搭乗者PAに対して、車両VHの周辺に紹介可能な物体(観光名所)がない旨の通知を行い、画像表示装置150の向き(および位置)の手動変更(S120)のやり直しを促すものとしてもよい。
【0050】
上述した各種処理が繰り返し実行され、S200において目的地に到着したと判定された場合には(S200:YES)、画像表示制御部130は画像表示制御処理を終了する。
【0051】
A-4.本実施形態の効果:
以上説明したように、本実施形態の画像表示システム10は、画像表示装置150と、画像表示装置150を支持すると共に、画像表示装置150の向きを変更可能である支持装置160と、画像表示装置150と支持装置160とを制御する制御装置100とを備える。制御装置100は、空間情報取得部132と、向き制御部142と、画像表示制御部130とを有する。空間情報取得部132は、車両VHの位置(すなわち、画像表示装置150の位置)を示す自車位置情報I1と、画像表示装置150の周辺の物体の位置を示す観光名所位置情報I2と、を含む空間情報を取得する。向き制御部142は、上記空間情報に基づき、支持装置160に画像表示装置150の向きを変更させる。画像表示制御部130は、画像表示装置150の向きに応じた画像を画像表示装置150に表示させる。
【0052】
このように、本実施形態の画像表示システム10では、画像表示装置150の位置を示す自車位置情報I1と、画像表示装置150の周辺の物体の位置を示す観光名所位置情報I2と、を含む空間情報に基づき、画像表示装置150の向きが変更され、画像表示装置150の向きに応じた画像が画像表示装置150に表示される。そのため、本実施形態の画像表示システム10によれば、装着側画像表示装置を用いることなく、画像表示装置150の向きによって搭乗者PA(ユーザ)に正確な方向を示しつつ、該方向に応じた画像を画像表示装置150に表示することができ、画像表示システム10の利便性を向上させることができる。
【0053】
また、本実施形態の画像表示システム10では、制御装置100は、さらに、上記空間情報に基づき、周辺の物体の1つを目標物体TAとして設定する目標設定部134を有し、向き制御部142は、画像表示装置150が目標物体TAを指し示す向きとなるように、支持装置160に画像表示装置150の向きを変更させる。そのため、本実施形態の画像表示システム10によれば、画像表示装置150の向きによって、搭乗者PAの視線の方向を、周辺の物体の1つである目標物体TAへと導くことができ、画像表示システム10の利便性をさらに向上させることができる。
【0054】
また、本実施形態の画像表示システム10では、制御装置100は、さらに、目標物体TAに関する情報である諸元情報I3を取得する目標情報取得部136を有し、画像表示制御部130は、諸元情報I3を示す画像を画像表示装置150に表示させる。そのため、本実施形態の画像表示システム10によれば、画像表示装置150の向きによって、搭乗者PAの視線の方向を、周辺の物体の1つである目標物体TAへと導くことができると共に、該目標物体TAに関する諸元情報I3を示す画像を画像表示装置150に表示することができるため、画像表示システム10の利便性をさらに向上させることができる。
【0055】
また、本実施形態の画像表示システム10では、目標物体TAの諸元情報I3は、目標物体TAの名称と、大きさと、建造年と、の少なくとも1つを示す情報を含む。そのため、本実施形態の画像表示システム10によれば、目標物体TAの名称と、大きさと、建造年と、の少なくとも1つを示す情報を示す画像を画像表示装置150に表示させることができ、搭乗者PAに有用な情報を提示することができる。
【0056】
また、本実施形態の画像表示システム10では、支持装置160は、画像表示装置150の向きを手動で変更可能なように画像表示装置150を支持し、画像表示制御部130の目標設定部134は、手動での画像表示装置150の向きの変更があった場合には、向きが変更された後の画像表示装置150が指し示す方向に位置する物体を目標物体TAとして設定する。すなわち、本実施形態の画像表示システム10では、画像表示装置150が、3Dポインティングデバイスとして機能する。そのため、本実施形態の画像表示システム10によれば、搭乗者PAが所望の物体の方向へ画像表示装置150を向けると、該物体が目標物体TAとして設定されるため、搭乗者PAの直感的な操作によって目標物体TAの設定を行うことができ、画像表示システム10の利便性をさらに向上させることができる。
【0057】
また、本実施形態の画像表示システム10では、画像表示装置150は、画像表示装置150が指し示す方向に位置する被写体を撮像するカメラ152を有し、画像表示制御部130は、手動での画像表示装置150の向きの変更がなされているとき、カメラ152により撮像された画像を画像表示装置150に表示させる。そのため、本実施形態の画像表示システム10によれば、画像表示装置150に表示された画像によって現在の画像表示装置150の向きを搭乗者PAにフィードバックすることができるため、搭乗者PAは、容易に、画像表示装置150が所望の物体を正確に指し示す状態になるように画像表示装置150の向きを手動で変更することができ、画像表示システム10の利便性をさらに向上させることができる。
【0058】
また、本実施形態の画像表示システム10では、画像表示装置150は、平面状の前面(画像表示面)FSを有し、画像表示装置150が指し示す方向は、前面FSに直交し、かつ、前面FSの向く方向とは反対側(背面BS側)に向かう方向である。そのため、本実施形態の画像表示システム10によれば、画像表示装置150が指し示す方向を搭乗者PAがより正確に把握することができ、画像表示システム10の利便性をさらに向上させることができる。
【0059】
また、本実施形態の画像表示システム10では、支持装置160は、3つ以上の回転軸を有する。そのため、本実施形態の画像表示システム10によれば、画像表示装置150の向きをより柔軟に調整することができるため、画像表示システム10の利便性をさらに向上させることができる。
【0060】
また、本実施形態の画像表示システム10は、自動運転可能な車両VHに搭載され、支持装置160は、画像表示装置150を車両VHに支持し、空間情報取得部132は、車両VHに設置されたセンサ102により得られた上記空間情報を取得する。そのため、本実施形態の画像表示システム10によれば、自動運転に利用される情報を用いて画像表示装置150の向きを変更することにより、自動運転可能な車両VHの搭乗者PAや車外の人に対して、車両VHの走行に関連する正確な方向を示しつつ、該方向に応じた画像を画像表示装置150に表示することができ、画像表示システム10の利便性を向上させることができる。
【0061】
B.変形例:
本明細書で開示される技術は、上述の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の形態に変形することができ、例えば次のような変形も可能である。
【0062】
上記実施形態における画像表示システム10の構成は、あくまで一例であり、種々変形可能である。例えば、上記実施形態では、画像表示装置150が支持装置160によって車両VHのダッシュボードに支持されているが、
図6に示す変形例のように、画像表示装置150が支持装置160によって車両VHの天井やフロアに支持されていてもよい。また、上記実施形態では、支持装置160が、画像表示装置150の位置および向きの手動変更が可能であるように構成されているが、必ずしも画像表示装置150の位置および向きの手動変更が可能であるように構成されている必要はない。
【0063】
また、上記実施形態では、支持装置160が、多数の関節を有するロボットアームにより構成されており、画像表示装置150の位置および向きを変更することができるが、支持装置160は、画像表示装置150を支持しつつ画像表示装置150の向きを変更可能なものであれば、他の装置(例えば、ジンバル)により構成されてもよい。なお、支持装置160が3つ以上の軸を有すると、例えば、各軸に沿って画像表示装置150のパン、チルト、ロールの調整ができ、画像表示装置150の向きをより柔軟に調整することができるため好ましい。
【0064】
また、上記実施形態では、初期状態では、画像表示装置150は搭乗者PAの正面に位置し、かつ、画像表示装置150の前面FSが搭乗者PAに正対するような向きとなるとしているが、初期状態における画像表示装置150の位置および向きはこれに限られない。例えば、初期状態では、画像表示装置150の前面FSが上方を向いてテーブル状となり、1人または複数人の搭乗者PAによる画面の視認がしやすい状態になるとしてもよい。あるいは、初期状態では、画像表示装置150の向きが、搭乗者PAによる画面のタッチ入力操作がしやすい向きになるとしてもよい。
【0065】
また、上記実施形態では、1つの画像表示装置150が1人の搭乗者PA(ユーザ)により使用される場合を例示したが、本明細書に開示される技術は、1つの画像表示装置150が複数人のユーザにより共用される場合についても、同様に適用可能である。すなわち、1つの画像表示装置150の向きは、複数人のユーザのそれぞれによってほぼ正確に認識可能であるため、画像表示装置の向きによって複数のユーザにほぼ正確な方向を示しつつ、該方向に応じた画像を画像表示装置に表示することができる。
【0066】
また、上記実施形態では、画像表示装置150として、車載型の画像表示装置が用いられているが、画像表示装置150として、搭乗者PAが持ち込んだスマートフォンやタブレット型端末等の他の画像表示装置が用いられてもよい。このような場合には、例えば、支持装置160に該画像表示装置を保持するホルダが設けられ、該ホルダに画像表示装置を保持させることにより、画像表示装置の支持や位置および向きの変更が実現される。また、画像表示装置150として、プロジェクタ等の投射型画像表示装置が用いられてもよい。
【0067】
また、上記実施形態において、制御装置100が、複数の装置に分かれるように構成されていてもよい。例えば、車両VHに、互いに独立した、自動運転制御用のための制御装置と、画像表示制御用のための制御装置と、支持制御用のための制御装置とが設けられていてもよい。また、上記各実施形態において、ハードウェアによって実現されている構成の一部をソフトウェアに置き換えるようにしてもよく、反対に、ソフトウェアによって実現されている構成の一部をハードウェアに置き換えるようにしてもよい。
【0068】
また、上記実施形態における画像表示制御処理の内容は、あくまで一例であり、種々変形可能である。例えば、上記実施形態における画像表示制御処理では、空間情報取得部132が、車両VHに設置された各種センサ102からの信号に基づき検出した車両VHの位置および向きの情報を、空間情報として取得しているが、空間情報取得部132は、車両VHに設置されたセンサ102以外のセンサ(例えば、画像表示装置150に設置されたセンサ)からの信号に基づき検出した画像表示装置150の位置および向きの情報を、空間情報として取得するとしてもよい。なお、空間情報が、車両VHや画像表示装置150の向きを示す情報を含まないとしてもよい。
【0069】
また、本実施形態における画像表示制御処理は、自動運転によって目的地に向かって走行中の車両VHの搭乗者PAに、インフォテインメントとして、車窓から見える観光名所を紹介する情報を提示する処理であるとしているは、本明細書に開示される技術は、他の画像表示制御処理にも適用可能である。例えば、本明細書に開示される技術は、他のインフォテインメント(ゲームや動画等)を提供するための画像表示制御処理にも適用可能である。また、本明細書に開示される技術は、例えば、空間情報取得部132が、空間情報を取得し、向き制御部142が、周辺の物体に対して画像表示装置150の前面FSが向けられように画像表示装置150の向きを変更させ、画像表示制御部130が、周辺の物体に対して示すべき画像(例えば、車両VHの進行に対して注意を促す画像等)を画像表示装置150に表示させるような画像表示制御処理にも適用可能である。
【0070】
また、上記実施形態では、自動運転可能な車両VHに設置される画像表示システム10の例を説明したが、本明細書に開示される技術は、他の用途に用いられる画像表示システム(例えば、自動運転可能ではない車両に設置される画像表示システム、車両以外の移動体に設置される画像表示システム、固定された物体(例えば、建造物)に設置される画像表示システム、ポータブル型の画像表示システム等)についても同様に適用可能である。
【符号の説明】
【0071】
10:画像表示システム 100:制御装置 102:センサ 110:制御部 120:自動運転制御部 122:位置・向き検出部 124:周辺状況検出部 126:ルート設定部 130:画像表示制御部 132:空間情報取得部 134:目標設定部 136:目標情報取得部 140:支持制御部 142:向き制御部 150:画像表示装置 152:カメラ 160:支持装置 162:駆動モータ 170:記憶部 172:自動運転制御プログラム 174:画像表示制御プログラム 176:支持制御プログラム 190:バス BS:背面 FS:前面 I1:自車位置情報 I2:観光名所位置情報 I3:諸元情報 ID:インフォテインメントデータベース MD:3次元地図データベース PA:搭乗者 TA:目標物体 VH:車両 VL:仮想直線