特許 7384014 表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-13

(45)【発行日】2023-11-21

(54)【発明の名称】表示システム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20231114BHJP

   G08G 1/09 20060101ALI20231114BHJP

【ＦＩ】

G08G1/16 D

G08G1/09 F

【請求項の数】 6

(21)【出願番号】P 2019221292

(22)【出願日】2019-12-06

(65)【公開番号】P2021092839

(43)【公開日】2021-06-17

【審査請求日】2021-12-24

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】佐藤 賢治

(72)【発明者】

【氏名】山本 啓

(72)【発明者】

【氏名】西本 崇

【審査官】武内 俊之

(56)【参考文献】

【文献】特開２０１９－１３９３６８（ＪＰ，Ａ）

【文献】国際公開第２０１２／０３３０９５（ＷＯ，Ａ１）

【文献】特開２０１１－１５２８６５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｇ０８Ｇ １／０９

(57)【特許請求の範囲】

【請求項1】

車両の乗員の視野に含まれる過去または未来の事象についての事象情報を取得する情報取得装置と、
前記事象情報に基づいて、前記乗員の視野内に前記事象を表示する表示装置と、
前記表示装置に表示させる前記事象についての設定を受け付ける表示情報設定部と、
を備え、
前記事象情報は、過去風景データと交通事故データを含み、
前記過去風景データは、過去に走行した車両により撮影された車外の画像データを含み、
前記交通事故データは、交通事故を起こした車両により撮影された画像データ、交通事故の周囲に存在する車両により撮影された画像データ、または、歩行者あるいは道路の固定監視カメラにより撮影された画像データを含み、
前記表示装置は、前記乗員が乗る前記車両の走行位置に前記事象情報を適合させて、当該事象情報に基づく事象を表示し、
前記乗員が前記表示情報設定部を操作することで、前記過去風景データの事象と前記交通事故データの事象が表示の対象として選択されている場合において、前記表示装置は、前記乗員が乗る前記車両の走行位置で前記交通事故データが存在する際には、前記過去風景データの事象よりも前記交通事故データの事象を優先的に表示する、ことを特徴とする表示システム。

【請求項2】

請求項１に記載の表示システムにおいて、
前記表示装置は、前記交通事故データの事象を表示する際には、交通事故の位置を明示する、ことを特徴とする表示システム。

【請求項3】

請求項１または２に記載の表示システムにおいて、
前記事象情報は、過去に生じたと推定される事象について仮想的に作製した画像データを含む、ことを特徴とする表示システム。

【請求項4】

請求項１から３のいずれか１項に記載の表示システムにおいて、
前記事象情報は、未来に生じると推定される事象について仮想的に作製した画像データを含む、ことを特徴とする表示システム。

【請求項5】

請求項１から４のいずれか１項に記載の表示システムにおいて、
前記乗員は運転者であり、
前記表示装置は、前記過去風景データの事象を表示する際には、現実の道路外の風景を置き換えて、前記過去風景データの対応する風景を表示する、ことを特徴とする表示システム。

【請求項6】

請求項１から４のいずれか１項に記載の表示システムにおいて、
前記乗員は運転者以外であり、
前記表示装置は、前記過去風景データの事象を表示する際には、現実の道路を含む風景を置き換えて、前記過去風景データの対応する風景を表示することができる、ことを特徴とする表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の乗員が使用する表示システムに関する。

【背景技術】

【0002】

車両の運転者等の視野に各種情報を表示する技術が知られている。

【0003】

例えば、特許文献１には、車両運転者の頭部に装着されるヘッドマウントディスプレイ装置が有する透過型表示部に、目的地までのナビゲーション情報、施設案内情報などを、道路、建物などに対応づけて表示することが記載されている。また、車両前方の人、障害物などを検出した場合に、警告表示を行うことも記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００４－２１９６６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載された技術は、現実の風景に、現在の情報を対応付けて表示するものであり、運転者等は、現在の情報を得ることができるにすぎない。

【0006】

本発明の目的は、車両の乗員に、走行する車両の周囲の事象について、従来提供されなかった新たな情報を提供することにある。

【課題を解決するための手段】

【0007】

本発明にかかる表示システムは、車両の乗員の視野に含まれる過去または未来の事象についての事象情報を取得する情報取得装置と、前記事象情報に基づいて、前記乗員の視野内に前記事象を表示する表示装置と、前記表示装置に表示させる前記事象についての設定を受け付ける表示情報設定部と、を備え、前記事象情報は、過去風景データと交通事故データを含み、前記過去風景データは、過去に走行した車両により撮影された車外の画像データを含み、前記交通事故データは、交通事故を起こした車両により撮影された画像データ、交通事故の周囲に存在する車両により撮影された画像データ、または、歩行者あるいは道路の固定監視カメラにより撮影された画像データを含み、前記表示装置は、前記乗員が乗る前記車両の走行位置に前記事象情報を適合させて、当該事象情報に基づく事象を表示し、前記乗員が前記表示情報設定部を操作することで、前記過去風景データの事象と前記交通事故データの事象が表示の対象として選択されている場合において、前記表示装置は、前記乗員が乗る前記車両の走行位置で前記交通事故データが存在する際には、前記過去風景データの事象よりも前記交通事故データの事象を優先的に表示する、ことを特徴とする。
本発明の表示システムにおいて、前記表示装置は、前記交通事故データの事象を表示する際には、交通事故の位置を明示する、としてもよい。
本発明の表示システムにおいて、前記事象情報は、過去に生じたと推定される事象について仮想的に作製した画像データを含む、としてもよい。
本発明の表示システムにおいて、前記事象情報は、未来に生じると推定される事象について仮想的に作製した画像データを含む、としてもよい。
本発明の表示システムにおいて、前記乗員は運転者であり、前記表示装置は、前記過去風景データの事象を表示する際には、現実の道路外の風景を置き換えて、前記過去風景データの対応する風景を表示する、としてもよい。
本発明の表示システムにおいて、前記乗員は運転者以外であり、前記表示装置は、前記過去風景データの事象を表示する際には、現実の道路を含む風景を置き換えて、前記過去風景データの対応する風景を表示することができる、としてもよい。

【0008】

また、本発明にかかる表示システムは、車両の乗員の視野に含まれる過去または未来の事象についての事象情報を取得する情報取得装置と、前記事象情報に基づいて、前記乗員の視野内に前記事象を表示する表示装置と、を備える。
本発明の一態様においては、前記情報取得装置は、前記事象情報として、過去に走行した車両により撮影された車外の画像データを取得し、前記表示装置は、前記乗員が乗る前記車両の走行位置に前記画像データを適合させて、当該画像データに基づく事象を表示する。

【0009】

本発明の一態様においては、前記情報取得装置は、前記事象情報として、過去の交通事故の情報を取得し、前記表示装置は、前記交通事故の位置を明示して、当該前記交通事故の事象を表示する。

【0010】

本発明の一態様においては、前記情報取得装置は、前記事象情報として、過去に生じたと推定される事象について仮想的に作製した画像データを取得し、前記表示装置は、前記乗員が乗る前記車両の走行位置に前記画像データを対応づけて、当該画像データに基づく事象を表示する。

【0011】

本発明の一態様においては、前記情報取得装置は、前記事象情報として、未来に生じると推定される事象について仮想的に作製した画像データを取得し、前記表示装置は、前記乗員が乗る前記車両の走行位置に前記画像データを対応づけて、当該画像データに基づく事象を表示する。

【0012】

本発明の一態様においては、前記乗員は運転者であり、前記表示装置は、現実の道路外の風景に重ねて、または、現実の道路外の風景を置き換えて、対応する風景を表示する。

【0013】

本発明の一態様においては、前記乗員は運転者以外であり、前記表示装置は、現実の道路を含む風景に重ねて、または、現実の道路を含む風景を置き換えて、対応する風景を表示することができる。

【0014】

本発明の一態様においては、前記情報取得装置は、前記乗員が乗る前記車両の周囲の天気が雨または雪の場合に、過去の晴または曇のときに撮影された前記画像データを取得し、前記表示装置は、現実のセンターラインに重ねて、または、現実のセンターラインに置き換えて、前記画像データに基づくセンターラインを表示する。

【発明の効果】

【0015】

本発明によれば、車両の乗員が、走行する車両の周囲における過去または未来の事象についての事象情報を把握することが可能となる。

【図面の簡単な説明】

【0016】

【図1】実施形態にかかる情報システムの概略的な構成図である。

【図2】画像配信システムの概略的な構成図である。

【図3】画像表示システムの概略的な構成図である。

【図4】運転者たるユーザがウェアラブルデバイスを装着した図である。

【図5】画像が表示されていない視野を示す図である。

【図6】交通事故の概略を伝えるアイコンが表示された視野を示す図である。

【図7】アイコン操作により交通事故の詳細が表示された視野を示す図である。

【図8】雨天時において画像が表示されていない視野を示す図である。

【図9】雨天時に、晴天時の画像を表示した視野を示す図である。

【図10】過去の風景が表示された視野を示す図である。

【図11】未来の仮想的な風景が表示された視野を示す図である。

【図12】過去の仮想的な風景が表示された視野を示す図である。

【発明を実施するための形態】

【0017】

以下に、図面を参照しながら、実施形態について説明する。説明においては、理解を容易にするため、具体的な態様について示すが、これらは実施形態を例示するものであり、他にも様々な実施形態をとることが可能である。

【0018】

図１は、実施形態にかかる情報システム１０の概略的な構成を示す図である。情報システム１０は、画像データ等の事象情報を収集する車両２０と、情報配信システム３０、及び、事象情報に基づき事象を表示する処理が行われる車両１００を含んでいる。ここでは、事象情報とは、事象についての表示可能なデータであり、文字コード（数字記号なども含む）によって表される文字データと、文字コードによっては表されない２次元または３次元的な画像データを含むものとする。文字コード及び画像データは、どちらも、表示装置に画像として事象を表示することができる。また、事象とは、人が観察できる形をとって現れる事物または出来事をいう。事象の例については後述する。なお、情報システム１０では、文字データ及び画像データに関連した人の声、物音、音楽などの音声データを取り扱うことも可能である。音声データは、スピーカによって音声として出力される。

【0019】

画像データ等の事象情報を収集する車両２０は多数存在するが、図１では、代表して１台のみを示している。情報システム１０では、予め車両２０の所有者と契約等を結ぶことで、車両２０で撮影された画像データを利用することが可能となっている。なお、画像データ等を収集する車両２０は、画像表示が行われる車両１００を兼ねるものであってもよい。

【0020】

車両２０には、車載カメラ２２、ＧＮＳＳ２４、及び時計２６が設けられている。車載カメラ２２は、車両２０に搭載されて車外あるいは車内の風景を撮影する装置である。車載カメラ２２は、例えば、車室内のルーフ前端付近に設置され、フロントウインドシールドを通じて、車両前方側の車外を撮影することで、カメラ画像データ（以下では車載カメラ２２で撮影された画像データであることを強調する場合にカメラ画像データと呼ぶことがある）を取得する。カメラ画像データは、２次元または３次元的な視覚情報を与えるデータである。カメラ画像データは、一般的には動画像データであるが、適当な時間間隔で撮影される静止画像データであってもよい。情報システム１０においては、車載カメラ２２のカメラ画像データは、情報配信システム３０に送信され、将来的に画像の表示が行われる車両１００に送信される。このため、車載カメラ２２としては、車両１００での表示に必要な解像度のカメラ画像データを得られるものが設置されている。解像度あるいは視界を確保するために、車載カメラ２２は、複数台設けられてもよい。

【0021】

車載カメラ２２は、例えば、車両２０の走行状況を記録するドライブレコーダを兼ねるものであってもよい。また、例えば、車両２０が自動運転モードを備える場合に、車載カメラ２２は車両周囲の交通状況を把握するセンサを兼ねるものであってもよい。なお、車載カメラ２２としては、通常は可視光を利用する可視光カメラが用いられるが、赤外線カメラ、紫外線カメラなどの様々な波長帯のカメラを採用することも可能である。また、車載カメラ２２は、車両２０の側方、後方など、前方以外を撮影するものであってもよい。

【0022】

ＧＮＳＳ２４は、Global Navigation Satellite Systemの略称であり、人工衛星からの電波を利用して、走行する車両２０の位置を検出するセンサである。ＧＮＳＳ２４による位置検出結果は、カメラ画像データの撮影位置を特定する撮影位置データとして用いられる。撮影位置データを時系列で追った場合には、車両２０の走行ルートがわかることにもなる。

【0023】

時計２６は、年月日時のタイミングを表示する装置である。時計２６の出力は、カメラ画像データが撮影されたタイミングを特定する撮影時刻データとして利用される。

【0024】

撮影位置データ及び撮影時刻データは、カメラ画像データと対応づけられて、情報配信システム３０に送信される。送信は、例えば、Ｗｉ－Ｆｉ（登録商標）などの無線通信によって行われる。なお、車両２０では、さらに、日射量センサ、レインセンサなど、天気関連のデータを取得するセンサを備える場合がある。これらのセンサの出力は、カメラ画像データが撮影された時点での天気を示す撮影天気データとして用いることができる。撮影天気データも、カメラ画像データと対応づけられて、情報配信システム３０に送信されてもよい。

【0025】

情報配信システム３０は、車両２０から送信される画像データ等を受信し、保存するとともに、車両１００へ保存した画像データ等を配信するシステムである。情報配信システム３０は、収集サーバ４０、作製サーバ５０、配信サーバ６０及び保存サーバ８０を備える。情報配信システム３０については、図２を参照して詳しく説明する。

【0026】

図２は、情報配信システム３０の概略的な構成を示すブロック図である。情報配信システム３０は、１台または複数台のコンピュータハードウエアを用いて構成することができる。コンピュータハードウエアは、例えば、情報配信会社に集中的に設置されてもよいし、ネットワークに接続されて遠隔地に分散配置されてもよい。

【0027】

コンピュータハードウエアは、メモリ、プロセッサなどを搭載した装置であり、インストールされたＯＳ（オペレーティングシステム）、アプリケーションプログラムなどのソフトウエアによって制御されることで動作する。アプリケーションプログラムによって、情報配信システム３０には、収集サーバ４０、作製サーバ５０、配信サーバ６０及び保存サーバ８０が構築されている。

【0028】

収集サーバ４０は、ネットワーク等を通じて、現に存在する画像データ等を収集する装置である。収集サーバ４０は、車両２０からは、カメラ画像データ及び対応する撮影位置データ、撮影時刻データ、撮影天気データなどを取得する。収集サーバ４０は、取得したカメラ画像データ等を、車両２０が撮影したルート、撮影年月日時、撮影天気などで分類した上で、保存サーバ８０に保存する。

【0029】

車両２０が撮影するカメラ画像データでは、例えば車両２０のすぐ前に大型の車両が存在するような場合には、風景があまり撮影できない状況も生じる。そこで、収集サーバ４０では、必要に応じて、交通量の少ない複数のカメラ画像データをつなぎ合わせるなどして形成することができる。また、収集サーバ４０では、風景の中に人の顔、車両ナンバなどが明瞭に映っている場合には、これらを不明瞭にぼかす処理を行う。

【0030】

収集サーバ４０では、カメラ画像データ等の収集を行うにあたり、収集対象について条件設定をすることができる。具体的には、走行車両が少ないエリアを走行する車両から収集する、特定のルートを走行する車両２０から収集する、あるいは、エアバッグが作動するなど交通事故に関連していると考えられる車両２０から収集するなどの例が挙げられる。

【0031】

収集サーバ４０では、さらに、警察、保険会社などの外部機関と連携して、交通事故についての事象情報を収集する。交通事故の事象情報は、例えば、発生日時、位置、事故状況、被害状況などを記した文字データとして得られる。また、交通事故の事象情報は、外部機関から写真、動画などの画像データとして得られることもある。道路に監視カメラが設置している場合、あるいは、事故車両またはその周囲の車両に車載カメラが搭載されている場合、周囲の歩行者等がカメラ撮影をしている場合などに、外部機関は画像データを取得する可能性がある。さらに、収集サーバ４０では、車両２０のカメラ画像から、交通事故の事象情報を含む画像データを取得できる場合がある。

【0032】

作製サーバ５０は、過去または未来の事象についての画像データを作製する装置である。作製サーバ５０では、車両１００が、過去または未来に走行したと仮定した場合に見ることができると推測される仮想的な画像データを作製する。画像の作製自体は、例えば、外部の企業に外注することが可能である。この場合、作製サーバ５０では、納品された画像を取り込んで、保存サーバ８０に保存する。また、画像データを説明する文字データなども作製され保存サーバ８０に保存される。なお、作製サーバ５０では、上述の交通事故についての文字データに基づいて、交通事故の模様をわかりやすく再現する仮想的な動画像データまたは静止画像データを作製することもできる。

【0033】

配信サーバ６０は、画像データ等の事象情報を車両１００に配信する装置である。配信サーバ６０には、受信装置６２、情報選択装置６４及び送信装置７４が含まれる。受信装置６２は、車両１００から、画像データ等の配信要求を受信する。受信装置６２は、配信要求を受信する際には、配信する事象情報の種類、車両１００の位置などの情報なども受信する。

【0034】

情報選択装置６４は、車両１００に配信する事象情報の選択等を行う。情報選択装置６４には、情報種類判定部６６、走行位置判定部６８、天気判定部７０及び運転者判定部７２が含まれている。

【0035】

情報種類判定部６６は、受信装置６２の受信内容に基づいて、配信を要求された事象情報の種類の選択を行う。選択対象となる事象情報の種類の例については、後述する。

【0036】

走行位置判定部６８は、車両１００から取得する走行位置データをもとに、配信の対象となる事象情報の地理的な範囲を判定する。走行位置判定部６８では、車両１００の現在位置だけでなく、走行方向、走行速度などを考慮して、近未来（例えば数秒から数十秒後）に走行する位置を予測して、配信する事象情報の範囲を決める。

【0037】

天気判定部７０は、車両１００から取得する走行位置データをもとに、車両付近の天気を判定する。判定にあたっては、例えば、気象当局などが提供する気象情報を活用することができる。また、天気判定部７０では、車両１００から取得する天気データに基づいて、車両１００の天気を判定してもよい。

【0038】

運転者判定部７２は、車両１００における配信の要求者が運転者か否かを判定する。要求者が運転者のみである場合には、配信する画像データから、道路の風景（路面、走行車両、歩行者、信号機、標識など）を省略してよいとの判定を行う。これにより、配信する情報量を減らすことが可能となる。

【0039】

送信装置７４は、配信対象となる事象情報を、保存サーバ８０から取得し、車両１００に送信する。

【0040】

保存サーバ８０は、配信対象となる過去または未来の事象についての事象情報を保存する装置である。保存サーバ８０に保存されている事象情報には、交通事故データ８２、過去風景データ８４、過去仮想データ８８、未来仮想データ９０が含まれる。

【0041】

交通事故データ８２は、過去の事象についての事象情報の一例であり、収集サーバ４０によって収集される交通事故の事象情報が含まれている。保存される交通事故データ８２には、文字データである交通事故文字データと、画像データである交通事故画像データとが含まれる。交通事故文字データは、交通事故の発生日時、位置、事故状況及び被害状況などの情報が含まれる。また、交通事故画像データには、交通事故を起こした車両のカメラ画像データ、交通事故の周囲に存在する車両によるカメラ画像データ、または、歩行者あるいは道路の固定監視カメラ等により撮影された画像データなどが含まれる。交通事故データ８２の画像データとしては、作製サーバ５０で作製された動画像データまたは静止画像データを用いることもできる。

【0042】

過去風景データ８４は、過去の事象についての事象情報の一例であり、収集サーバ４０によって収集される過去の実際の風景に関する事象情報が含まれている。具体的には、過去に車両２０の車載カメラ２２により撮影されたカメラ画像データが含まれる。また、過去風景データ８４には、カメラ画像データの取得日時、撮影時の天気など、カメラ画像データを説明する文字データが含まれてもよい。

【0043】

過去風景データ８４には、晴天時画像データ８６が含まれる。これは、晴天時に撮影されたカメラ画像データである。後述するように、晴天時画像データ８６は、雨、雪などにおける視界不良を補うために使われる。したがって、晴の他に曇などの雨雪ではない天気における画像データを使用することも可能であるが、実施形態では、画像の鮮明さを考えて晴天時画像データ８６を使用している。

【0044】

過去仮想データ８８は、過去の事象についての事象情報の一例であり、作製サーバ５０によって作製される過去の仮想的な事象情報が含まれている。過去仮想データ８８には、画像データである過去仮想画像データと、その説明を記した過去仮想文字データが含まれる。過去仮想データ８８は、仮に過去の適当なタイミングで、車両１００が走行した場合に、車両の周囲に見える可能性がある風景を対象として作製された事象情報である。例えば、車両１００が現在の道路に沿って走行した場合に見える遠方の景色（山岳、海岸、河川など）の中に、当時の森林等の自然物、城や家屋などの建築物、当時の装束を纏った人などを表示する画像データが作製される。あるいは、過去に歴史的な事象が発生しているエリアについては、車両１００で走行しながらその事象を眺める画像データを作製する例も挙げられる。歴史的な事象としては、政治イベント、宗教イベント、文化イベント、祝祭典、戦争、著名人の往来、災害（火山噴火、地震、火災など）、天体現象（彗星の到来、白夜、月食など）などを例示することができる。また、氷河期などの過去の気候の再現、化石が発掘された動植物の再現などを行うものであってもよい。あるいは、その地域で知られている伝説、昔話などを再現するものであってもよい。

【0045】

未来仮想データ９０は、未来の事象についての事象情報の一例であり、作製サーバ５０によって作製される未来の仮想的な事象情報が含まれている。未来仮想データ９０には、画像データである未来仮想画像データと、その説明を記した未来仮想文字データが含まれる。未来仮想データ９０は、未来において、仮に車両１００で走行した場合に見える可能性がある風景を対象として作製される。例えば、車両１００が現在の道路を走行した場合に見える遠方の背景の中に、未来において推定される自然物、建築物、未来の装束を纏った人などが存在するような画像データを制作する態様を挙げることができる。また、未来において推定される事象を模した画像データを作製してもよい。未来において推定される建築物等の例としては、政府、自治体などによる都市計画に基づく建築物、道路、鉄道、空港などを挙げることができる。また、研究機関や企業が提案している乗り物、衣服なども、未来において実現することが推定される。さらには、自治体等が公表している災害時のハザードマップに基づく災害も、未来において発生が推定される事象と言える。

【0046】

続いて、図１の車両１００について、図３を参照して説明する。車両１００は、図３に示す画像表示システム１１０を搭載した車両である。図３に示すように、画像表示システム１１０は、車載システム１２０と、ウェアラブルデバイス１５０を含んでいる。

【0047】

車載システム１２０は、典型的には、車両１００に固定的に設置される装置である。車載システム１２０には、操作入力部１２２、送信部１２８、画像処理装置１３０、ＧＮＳＳ１４０、速度計１４２、受信部１４４、及び一時記憶装置１４６が含まれている。

【0048】

操作入力部１２２は、車両１００の運転者等であるユーザが、画像表示システム１１０の設定を行うためのユーザインタフェースである。操作入力部１２２は、例えば、車両１００のインストルメントパネルに設けられたタッチパネルを利用して構築される。操作入力部１２２には、表示情報設定部１２４が設けられている。表示情報設定部１２４は、ウェアラブルデバイス１５０に表示させる事象情報について各種の設定を行うものである。

【0049】

ユーザは、表示情報設定部１２４を操作して、交通事故データ８２、過去風景データ８４、過去仮想データ８８または未来仮想データ９０を表示する設定を行うことができる。ユーザは、これらのデータから一つのみを表示の対象として選択してもよいし、複数を表示の対象として選択してもよい。複数を選択する場合においては、表示の優先順位をつけることも可能である。優先順位づけの例としては、交通事故データ８２と過去風景データ８４とを選択した場合に、通常は過去風景データ８４を表示するが、交通事故データ８２が存在する場所では交通事故データ８２の優先表示または重複表示する設定が挙げられる。また、例えば、過去風景データ８４を選択する場合において、複数の過去風景データがある場合に、撮影された年、季節などを設定することも可能である。あるいは、交通事故データ８２、過去仮想データ８８または未来仮想データ９０について、まずは概要を示す文字データまたは記号などが記されたアイコンのみを表示し、ユーザがアイコンを操作して詳細表示を要求した後に画像データを表示する設定を行うことも可能である。

【0050】

送信部１２８は、情報配信システム３０に、事象情報の配信要求を送信する。配信要求にあたっては、表示情報設定部１２４による設定に従い、必要なデータの種類等も明示する。また、ＧＮＳＳ１４０が示す車両の走行位置データなども随時送信する。あるいは、車両１００のナビゲーションシステムに設定された走行ルートを走行位置データとして一括して送信することも可能である。

【0051】

画像処理装置１３０は、情報配信システム３０から受信した事象情報を、ウェアラブルデバイス１５０に表示するための画像処理を行う装置である。画像処理装置１３０は、メモリ、プロセッサなどを備えたコンピュータハードウエアを、ＯＳ（オペレーティングシステム）、アプリケーションプログラムなどのソフトウエアによって制御することで構築することができる。画像処理装置４４には、アプリケーションプログラムを利用して、デバイス・瞳孔位置演算部１３２、画像レイアウト演算部１３４、画像切替部１３６、画像合成部１３８が構築されている。

【0052】

デバイス・瞳孔位置演算部１３２は、ウェアラブルデバイス１５０のデバイス位置センサ１６０と瞳孔位置センサ１６２からの入力に基づいて、車内におけるウェアラブルデバイス１５０の相対位置と、運転者１８０の瞳孔の相対位置とを演算する。

【0053】

画像レイアウト演算部１３４は、操作入力部１２２から指示される画像表示を行うために、どの画像をどの位置に配置するか、つまり合成する画像のレイアウトをどのようにするべきかを演算する。画像レイアウト演算部１３４では、レイアウトを決定するにあたって、予め記憶している車両の各部品の相対位置データを利用するとともに、デバイス・瞳孔位置演算部１３２が演算したウェアラブルデバイス１５０の相対位置データと、瞳孔の相対位置データを利用する。これにより、ウェアラブルデバイス１５０を装着したユーザの瞳孔と車両の特定の部品とを結ぶ直線が、有機ＥＬディスプレイ１６６のどの位置に当たるかを演算することができる。そして、有機ＥＬディスプレイ１６６のどの位置にどの画像を表示すればよいかを演算する。

【0054】

画像切替部１３６は、表示情報設定部１２４において、複数の種類の画像データが表示対象として選択された場合に、優先順位等に従って、画像の切り替え処理を行う。また、表示対象を文字データから画像データへあるいは画像データから文字データへと切替える処理、あるいは、文字データと画像データの両方を表示させる処理なども行う。

【0055】

画像合成部１３８は、情報取得装置の一例であり、画像切替部１３６が設定した画像データあるいは文字データを、一時記憶装置１４６から取得し、画像レイアウト演算部１３４が演算したレイアウトに合成する処理を行う。画像合成部１３８では、ＧＮＳＳ１４０から走行位置データを取得し、速度計１４２から走行速度データを取得することで、車両１００の走行位置に対応した画像の合成を行う。合成された画像は、ウェアラブルデバイス１５０の画像制御部１６４に送信され、有機ＥＬディスプレイ１６６に表示される。送信は、有線通信で行うことも可能であるし、無線通信で行うことも可能である。無線通信を採用する場合、例えばBluetooth（登録商標）、Wi-Fi（登録商標）、赤外線通信などの近距離無線通信を利用することも考えられる。

【0056】

ＧＮＳＳ１４０は、車両１００の走行位置を検出し、走行位置データを出力する。走行位置データは、送信部１２８を通じて、情報配信システム３０に送信される。

【0057】

速度計１４２は、車両１００の走行速度を検出し、走行速度データを出力する。走行速度は、車両の走行位置の時間変化を示すデータであり、ＧＮＳＳ１４０が出力する走行位置データとともに、車両１００の走行位置を特定するために使用することができる。そこで、上述の通り、走行位置データ及び走行速度データは、画像合成部１３８に送られる。

【0058】

受信部１４４は、情報配信システム３０から配信される画像データ及び文字データを受信する。受信したデータは、一時記憶装置１４６に蓄積される。

【0059】

一時記憶装置１４６には、受信部１４４を通じて受信した画像データ及び文字データが保存される。車両１００の走行方向には不確実性を伴うことから、車載システム１２０では、走行位置に応じて受信したデータを次々と表示するストリーミング方式を採用する。一時記憶装置１４６は、車両１００の近未来の走行位置を走行位置判定部６８が予測した結果に基づいて、予め画像データ及び文字データを一時的に保存することで、切れ目の無い画像表示を可能としている。ただし、例えば、車両１００のナビゲーションシステムに走行ルートが設定されたような場合には、その走行ルートに沿って走行する可能性が高いと考えられる。そこで、予め走行ルートに沿った画像データ及び文字データをダウンロードする方式を採用することも可能である。また、車両が頻繁に走行するエリアについての画像データ及び文字データを全て一時記憶装置１４６にダウンロードしておくこともできる。

【0060】

ウェアラブルデバイス１５０は、車両に乗車した運転者を含む乗員が眼鏡あるいはゴーグルのように装着するデバイスである。ウェアラブルデバイス１５０には、デバイス位置センサ１６０、瞳孔位置センサ１６２、画像制御部１６４、有機ＥＬディスプレイ１６６及び操作部１６８が含まれる。

【0061】

ここで、図４を参照して、ウェアラブルデバイス１５０について詳細に説明する。図４は、運転者１８０がウェアラブルデバイス１５０を装着した状態を示す図である。ウェアラブルデバイス１５０は、メガネの形状に形成されたデバイスであり、スマートグラスなどと呼ばれることもある。ウェアラブルデバイス１５０は、耳に掛けるための直線状のフレームであるテンプル１５２と、テンプル１５２に接続され、目の周囲を囲むとともに鼻に掛けられる形状に形成されたフレームであるリム１５４を備える。

【0062】

リム１５４の内側には、表示装置の一例である有機ＥＬ（Electro Luminescence）ディスプレイ１６６が設けられている。有機ＥＬディスプレイ１６６は、運転者１８０の目の前方を覆うように配置されるが、画像を形成しない場合には、高い透明性（高い光透過性）を示すため、運転者１８０が前方を目視することができる。有機ＥＬディスプレイ１６６は、画像制御部１６４の制御に基づいて、一部または全部の領域に画像を形成することができる。

【0063】

運転者１８０の左目側には、リム１５４とテンプル１５２の接続部付近に、デバイス位置センサ１６０が設けられている。デバイス位置センサ１６０は、ウェアラブルデバイス１５０の車両１００内における位置を検出するセンサである。デバイス位置センサ１６０は、例えば、前方を撮影するカメラを利用して構築することができる。すなわち、カメラが撮影する画像を、車内のレイアウトのデータと比較することで、カメラの位置及び傾きがわかる。このため、カメラをリム１５４に対して固定して設置しておけば、ウェアラブルデバイス１５０の位置及び傾きを検出することが可能となる。

【0064】

リム１５４の上部の中央付近には、瞳孔位置センサ１６２が設けられている。瞳孔位置センサ１６２は、運転者１８０の右目と左目の瞳孔がリム１５４に対して相対的にどの位置にあるかを検出するセンサである。瞳孔位置センサ１６２も、デバイス位置センサ１６０と同様に、カメラ等を利用して形成することができる。

【0065】

テンプル１５２の内部には、画像制御部１６４が組み込まれている。画像制御部１６４は、車載システム１２０から受信したデータに基づいて、有機ＥＬディスプレイ１６６に画像表示を行う制御装置である。ウェアラブルデバイス１５０では、画像制御部１６４を通じて有機ＥＬディスプレイ１６６により事象の画像表示を行うことで、乗員に、通常とは異なる視覚的環境を提供することができる。

【0066】

操作部１６８は、有機ＥＬディスプレイ１６６に表示された対象を操作するためのものである。有機ＥＬディスプレイ１６６には、ボタンなどの操作対象画像を表示することができる。操作部１６８は、このボタンを操作するためのものである。例えば、操作部１６８は、ウェアラブルデバイス１５０を装着する運転者等の声により操作するものであってもよいし、操作者の視線により操作するものであってもよい。ウェアラブルデバイス１５０のテンプル１５２、リム１５４などに機械式ボタンを設けることで、操作部１６８を実現してもよい。操作部１６８を設けることで、有機ＥＬディスプレイ１６６に、まず概要を示す文字データまたは記号などを表示し、操作後に画像データを表示するなど、表示の切り替えを行うことが可能となる。なお、操作部１６８をウェアラブルデバイス１５０に設けずに、例えば、車両１００のインストルメントパネルに設けられたタッチパネルの操作入力部１２２で同様の操作を行うようにすることも可能である。

【0067】

画像表示システム１１０では、短い時間間隔で、リアルタイム処理が行われる。すなわち、車載システム１２０は、ウェアラブルデバイス１５０のデバイス位置センサ１６０、瞳孔位置センサ１６２から短い時間間隔で検出データを取得する。デバイス・瞳孔位置演算部１３２は、取得した検出データから、ウェアラブルデバイス１５０の位置と、瞳孔の位置を速やかに演算する。これにより、車両１００における運転者１８０の視野の範囲についてフロントウインドシールド２０６等との関係も取得することができる。なお、運転者１８０の視野の範囲は、人の標準的なデータに基づいて設定することができる。また、例えば、図４に示した例において、リム１５４に囲まれた有機ＥＬディスプレイ１６６の範囲を視野の範囲と設定することも可能である。ＧＮＳＳ１４０が出力する走行位置データと合わせれば、運転者１８０の視野の範囲と事象の位置との関係を取得できたことになる。したがって、デバイス位置センサ１６０、瞳孔位置センサ１６２、及びＧＮＳＳ１４０は、範囲取得手段の一例であると言える。続いて、画像レイアウト演算部１３４は、操作入力部１２２から操作された画像を表示するためのレイアウトを演算する。画像合成部１３８は、一時記憶装置１４６からの画像をレイアウトに従って合成し、ウェアラブルデバイス１５０に送信する。

【0068】

ウェアラブルデバイス１５０では、受信した合成画像データを画像制御部１６４において処理し、有機ＥＬディスプレイ１６６に表示する。画像表示に至るまでの処理が高速で行われるため、運転者１８０が首を振ったような場合にも、高速で追従可能となる。このため、ウェアラブルデバイス１５０を装着した運転者１８０は、実際とは異なる表示がなされた車外を、あまり違和感をもつことなく、視認することが可能である。

【0069】

なお、以上の説明では、ウェアラブルデバイス１５０として、画像制御部１６４と有機ＥＬディスプレイ１６６を利用した装置を例に挙げた。しかし、ウェアラブルデバイス１５０は、他の原理を用いるものであってもよい。一例としては、網膜に画像を照射するプロジェクタを利用する態様が挙げられる。また、ウェアラブルデバイス１５０では、外部からの可視光が透過せず、代わりに、カメラで撮影した画像を表示するタイプのものを用いることも可能である。

【0070】

続いて、図５～図１２を参照して、ウェアラブルデバイス１５０による画像表示の例について説明する。図５～図１１は、ウェアラブルデバイス１５０を装着した運転者１８０の視野を模式的に示した図である。また、図１２は、ウェアラブルデバイス１５０を、運転者以外の乗員が装着した場合の視野を模式的に示した図である。図中の座標系におけるＦ軸は車両前方向、Ｕ軸は上方向、Ｒ軸は乗員の右手方向を示している。運転者１８０は、車両の左側に設けられた運転席に座っており、右側通行の道路を走行していることを想定している。

【0071】

図５は、ウェアラブルデバイス１５０が画像を表示していない状態を示す図である。この場合、運転者１８０の視野は、裸眼の場合と同じ状態となる。

【0072】

視野の上部には、ルーフ２００が見えている。ルーフ２００の左右のサイドには、左Ａピラー２０２（左フロントピラーと呼ばれることもある）と右Ａピラー２０４が見える。ルーフ２００、左Ａピラー２０２及び右Ａピラー２０４に囲まれた位置には、透明なフロントウインドシールド２０６（フロントガラスと呼ばれることもある）が設けられている。フロントウインドシールド２０６の上部付近には、ルーフ２００に取り付けられたインナミラー２０８が見えており、後方を走行する車両が映っている。

【0073】

運転者１８０の左側には、左前サイドウインドシールド２１０（左前サイドガラスと呼ばれることもある）と、その前方にある左三角窓２１２が見えている。左前サイドウインドシールド２１０の下方には、左前ドアの内側に設けられた左前ドアトリム２１４が見えている。また、左前サイドウインドシールド２１０には、左アウタミラー２１６が見えており、自車両の側面の一部と後方を走行する車両が映っている。

【0074】

運転者１８０の右側には、右前サイドウインドシールド２２０と、その前方にある右三角窓２２２が見えている。右前サイドウインドシールド２２０の下方には、右前ドアの内側に設けられた右前ドアトリム２２４が見えている。また、右前サイドウインドシールド２２０には、右アウタミラー２２６が見えており、自車両の側面の一部と後方を走行する車両が映っている。

【0075】

フロントウインドシールド２０６の下方には、インストルメントパネル２３０が設置されている。インストルメントパネル２３０の中央下部には、センタコンソール２３２が接続されている。インストルメントパネル２３０及びセンタコンソール２３２には、タッチパネル２３４と操作ボタン類２３６が配置されている。運転者１８０が装着するウェアラブルデバイス１５０の操作入力部１２２は、例えば、このタッチパネル２３４または操作ボタン類２３６に設けられる。

【0076】

運転者１８０の前方には、インストルメントパネル２３０よりも手前に、ステアリング２３８が設けられている。ステアリング２３８には、運転者１８０の両手が添えられている。また、ステアリング２３８の内側には、インストルメントパネル２３０に配置されたスピードメータなどの計器類２４０が見えている。

【0077】

フロントウインドシールド２０６からは、車外の風景が見えている。車両は前方に延びる車道３００の右車線を走行している。車道３００の中央には、センターライン３０２が引かれている。車道３００の左側には左歩道３０４が設けられており、縁石３０６で車道３００と仕切られている。車道３００の右側には右歩道３０８が設けられており、縁石３１０で車道３００と仕切られている。

【0078】

車道３００の左車線には、対向する車両３２０が走行している。右歩道３０８には、道路標識３２２が設けられている。さらに、右歩道３０８には、歩行者３２４が歩行している。

【0079】

車道３００の前方は、図示されない緩やかな下り坂となっている。このため、地面と空との間には、スカイライン３３０が形成されている。

【0080】

図６及び図７は、ウェアラブルデバイス１５０に、交通事故データ８２に基づいて表示を行った例を時系列で示した図である。

【0081】

図６は、図５の直後の状態を示す図であり、車道３００の右車線の前方に、「！」記号を持つアイコン４００が表示されている。このアイコン４００は、以前に交通事故が発生した場所を示し、運転者１８０に注意を促すために表示されたものである。車両１００の車載システム１２０における画像処理装置１３０の画像切替部１３６では、車載システム１２０におけるＧＮＳＳ１４０の走行位置データ及び速度計１４２の走行速度データに基づいて走行位置を把握するとともに、一時記憶装置１４６に保存された交通事故データ８２との比較を行っている。比較の結果、車両１００が交通事故データ８２が示す位置に近づいたことが検知され、アイコン４００が表示されている。交通事故を把握する際には、発生位置を正しく特定することが重要となることから、アイコン４００は、高い精度で事故の発生位置を示すように表示される。

【0082】

アイコン４００は、運転者１８０が運転に必要な視野を確保できるように、大部分がスカイライン３３０よりも上方に表示されている。ただし、アイコン４００は、交通事故の発生位置を簡略的に伝えるだけで、その詳細を伝えるものではない。そこで、アイコン４００は、操作可能なボタンとして表示されている。

【0083】

図７は、図６の状態において、運転者１８０が、ウェアラブルデバイス１５０の操作部１６８を通じて、アイコン４００を操作した場合を示す図である。インストルメントパネル２３０の助手席寄りの位置に、文字データの表示ウインドウ４０２と、画像データの表示ウインドウ４０４が表示されている。この表示位置は、運転者１８０の車外への視野を妨げず、また、ステアリング２３８及び計器類２４０への視野も妨げない位置である。

【0084】

文字データの表示ウインドウ４０２には、追越対向車との衝突事故が１か月前に発生した旨が簡潔に記載されている。また、画像データの表示ウインドウ４０４には、衝突直前の動画像データが表示されている。この動画像データは、衝突事故に遭遇した車両の車載カメラで撮影されたカメラ画像データである。カメラ画像データは、左側車線を走行する対向車の後方から、追い越しを行おうとする車両が、右車線にはみ出て走行している様子を明瞭に示している。

【0085】

運転者１８０は、表示ウインドウ４０２、４０４を見ることで、瞬時に交通事故の概要を把握することができる。そして、アイコン４００の位置では、スカイライン３３０の向こう側から、右車線を走行する対向車が走行してくる可能性があることを予見する。これにより、運転者１８０は前方を十分に注視して運転するため、同様の交通事故を防止することが可能となる。

【0086】

なお、図６に示した例では、アイコン４００として、枠と、その中に表示された「！」記号からなるものを用いた。しかし、「！」記号に代えて、「正面衝突」などの文字データ、あるいは正面衝突を意味する簡易な図形または記号を表示して、運転者１８０に若干詳しい事象情報を伝達するようにしてもよい。

【0087】

また、図７に示した例では、文字データの表示ウインドウ４０２と、画像データの表示ウインドウ４０４の両方を示した。しかし、表示ウインドウ４０２、４０４のいずれか一方のみを示すようにしてもよい。表示ウインドウ４０４には、動画像ではなく静止画像を表示することも可能である。さらに、表示ウインドウ４０４には、実際の交通事故の画像ではなく、模式的に作製した画像を表示することも可能である。

【0088】

別の形態としては、交通事故の発生位置に近づいた場合に、図６に示したアイコン４００のみの表示状態を省略する態様が挙げられる。すなわち、ただちに図７に示した表示ウインドウ４０２、４０４を含む表示を行い、運転者に交通事故の詳細を伝達することが考えられる。

【0089】

続いて、図８及び図９を参照して、雨天時の事象情報の活用について説明する。図８は、図５に対応する図であり、ウェアラブルデバイス１５０が画像を表示していない状態を示す図である。また、図９は、ウェアラブルデバイス１５０が画像を表示した状態を示す図である。

【0090】

図８では、図５とは異なり、天気が雨であることを想定している。このため、フロントウインドシールド２０６などから見える車外の風景は、雨によってやや不鮮明なものとなっている。例えば、対向する車両３２０、道路標識３２２、歩行者３２４は、図５に比べて、視認が若干困難となっている。また、車道３００のセンターライン３０２、縁石３０６、３１０なども不鮮明である。さらに、図８の例では、車道３００の右車線に、障害物３４０が存在している。

【0091】

図９は、図８に示した状況において、ウェアラブルデバイス１５０に、晴天時画像データ８６による画像表示を行った状態を示している。晴天時の画像は、基本的に、道路外の風景の部位に表示される。このため、スカイライン３３０よりも上の空には、晴天時の明瞭な画像が表示されている。また、左歩道３０４よりも左側及び右歩道３０８よりも右側の地表でも、晴天時の画像が表示されている。表示された画像は、動画像であり、車両１００の走行位置に応じて、動画像も切り替えられる。このため、運転者１８０は、現在、どのエリアを走行しているのかを明瞭に把握することができる。

【0092】

これに対し、道路の風景に対しては、基本的に、晴天時の画像は表示されていない。具体的には、車道３００、左歩道３０４、右歩道３０８を含む道路と、車両３２０、道路標識３２２、歩行者３２４の部分については、画像が表示されておらず、実際の風景が、運転者１８０の目に映っている。このため、車道３００にある障害物３４０も、運転者１８０は視認することができる。また、図示されていないが、例えば、道路に信号機が設けられている場合、右車線に他の車両が存在する場合、道路が分岐している（交差点が存在する）場合などにも、その部位に映像を表示しない。これは、運転の安全を確保する上で、現実の事象情報が必要となる部分については、画像を表示しないとの方針に基づいて画像表示を行っているためである。

【0093】

ただし、図９では、センターライン３０２及び縁石３１０については、晴天時の画像を表示している。これは、右車線において走行可能なレーンを明確化し、運転の安全性を向上させるためである。特に、図示した右車線は、対向車線である左車線とセンターライン３０２のみによって接しているため、センターライン３０２を明確化することは、対向車との衝突を防止する上で有用である。また、図示した右車線は、右歩道３０８と接しており、車道３００と右歩道３０８との境界である縁石３１０を明瞭化することは、歩行者との接触を防止する上で有用である。

【0094】

縁石３１０に代えて、あるいは縁石３１０とともに、右歩道３０８と車道３００との間に、白線などが引かれて走行レーンが限定されている場合には、縁石３１０に代えて、当該白線などを画像表示すればよい。また、例えば、車道３００が片側２車線である場合には、第一に、現在走行しているレーンの境界を明確化し、次に、車線変更の可能性などを考えて、もう一方のレーンの境界を明確化することが考えられる。他方、車道３００と左歩道３０４との間の縁石３０６は、走行には直接関係しないため、画像による明確化は行っていない。

【0095】

図９に示した例では、センターライン３０２及び縁石３１０は、過去に撮影されたカメラ画像データの対応部位の画像、すなわち、カメラ画像データから切り出されたセンターライン３０２及び縁石３１０の画像を表示している。表示にあたっては、画像認識を行って、現在のセンターライン３０２と過去のセンターライン３０２とがほぼ一致すること、及び、現在の縁石３１０と過去の縁石３１０がほぼ一致することを確認して過去の画像を表示している。これにより、センターライン３０２が新たに引き直されて、過去の画像と異なった状態にある場合に、過去のセンターライン３０２を表示しないようにすることができる。あるいは、例えば、路面が雪に覆われてセンターライン３０２を視認できない場合には、現在のセンターライン３０２と過去のセンターライン３０２との一致を確認することなく、過去のセンターライン３０２を表示することも考えられる。

【0096】

センターライン３０２の上に、障害物３４０があるような場合には、画像を完全に置き換えることで、障害物３４０を隠す状況も考えられる。そこで、晴天時の画像に基づいてセンターライン３０２を表示する際には、晴天時の画像を半透明にして、現在のセンターライン３０２に重畳表示するようにしてもよい。また、センターライン３０２及び縁石３１０は比較的単純な形状であるため、晴天時の画像に代えて、仮想的に作製した線を表示することも可能である。

【0097】

右歩道３０８あるいは左歩道３０４が狭いまたは存在しないような場所では、道路外に存在する建築物、公園、駐車場などから、突然、歩行者あるいは車両が車道３００に飛び出してくる状況も考えられる。そこで、過去の画像を表示しない範囲を、道路よりも少し広げることが考えられる。すなわち、道路外ではあるが、道路に近接しており、交通安全に影響を与える可能性がある範囲（道路近傍の風景と呼ぶことにする）は、過去の画像を表示しない範囲とすることができる。例えば、道路の端から適当な設定範囲（例えば３ｍ以内、５ｍ以内、あるは１０ｍ以内）については、道路と同じく、過去の画像を表示しない態様が考えられる。また、この設定範囲内に家屋や店舗等の建築物、樹木などの物体が存在する場合には、当該物体の下部（例えば路面からの高さ２ｍ以下、あるいは３ｍ以下）については過去の画像を表示しない態様も考えられる。これにより、例えば、現に店舗に出入りする人を把握できる一方で、店舗の看板は晴天時の画像によって明瞭に認識することが可能となる。

【0098】

なお、図９に示した例では、道路標識３２２の部分については、画像を表示せず、実際の道路標識３２２が見えるようにした。しかし、センターライン３０２等と同様に、道路標識３２２が何を表すものかを画像認識により確認できる場合には、予め作製した道路標識３２２の画像を表示するようにしてもよい。これにより、運転者１８０は、明瞭な道路標識３２２を確認することが可能となる。

【0099】

続いて、図１０を参照して、過去風景データ８４を表示する例について説明する。図１０は、図５に示した状態から切り替えて、このエリアで５年前に撮影されたカメラ画像データを表示した状態を示している。このエリアでは、５年前にも、車道３００の周囲に建築物等は建てられていない。しかし、前方には、わずかに高い丘４１０が広がっており、樹木４１２も存在していた。図１０では、道路外の風景が、この５年前のカメラ画像データに置き換えられるように表示されている。表示は、車両１００の動きに追従した動画像により行われる。過去のカメラ画像データを表示する場合には、現在の位置とのずれが多い場合には、運転者１８０に違和感を与えることになる。そこで、比較的高い精度で現実の位置に適合させるように調整が行われる。

【0100】

図１０において、車道３００、左歩道３０４、右歩道３０８、車両３２０、道路標識３２２及び歩行者３２４の部分（すなわち道路の風景）には、過去の画像は表示されていない。これは、図９に述べた説明と同様に、交通安全性を考慮したためである。また、図１０の場合においても、道路近傍の風景についても、過去の画像を表示しないようにしてもよい。

【0101】

次に、図１１を参照して、未来仮想データ９０を表示する例について説明する。図１１は、図５に示した状態から切り替えて、このエリアにおける５年後の予測風景を表示した状態を示す図である。このエリアでは、現在、空港の建設が進められている。そして、５年前に存在していた丘４１０を削って、敷地の整備を行っている。このため、３年後には、空港が開業する計画となっている。

【0102】

図１１では、空港開業後を予測して作製された動画像データに基づいて、道路外の風景が、仮想的な画像に置き換えられるように表示されている。具体的には、空港の管制塔４２０等の建物と、空港から離陸した航空機４２２が表示されている。これに対し、道路の風景、さらには、道路近傍の風景には、未来仮想データ９０による画像は表示されておらず、交通安全性の確保が優先されている。未来仮想データ９０は、運転者１８０が未来の風景を楽しむこと、また、未来の開発計画を把握することなどを可能にする。

【0103】

未来仮想データ９０は、具体的な建築物のような場合には、実際に建築される位置に表示されることで、臨場感が高められる。しかし、建築物を含め、未来に想定される事物あるいは出来事は、通常はその存在位置が明確に定まらないため、必ずしも厳密な表示を行う必要はない。そこで、車両１００が前進する場合、加速する場合、曲がる場合などに、厳密ではないが、その動作に対応して画像が変化するように表示すれば、運転者１８０に、十分な臨場感を与えられると考えられる。

【0104】

以上の説明では、運転者１８０が装着するウェアラブルデバイス１５０に画像表示を行う態様を例に挙げた。同様にして、運転者１８０以外の乗員が装着するウェアラブルデバイス１５０にも、様々な表示を行うことが可能である。

【0105】

図１２は、車両１００が、自動運転モードで運転を行う車両であり、運転席に座る乗員１９０は、実際には運転の責務を負っていない状態を示している。乗員１９０は、ステアリング２３８を操作していない。

【0106】

図１２では、乗員１９０が、ウェアラブルデバイス１５０の表示を切り替えて、図５に示した風景から、過去の仮想的な映像を表示させた状態を示している。実施形態では、このエリアが、４００年以上前に、２人の著名な武将の率いる軍勢が衝突した古戦場として有名であることを想定している。そこで、過去仮想データ８８として、合戦の模様を再現した動画像データが作製されている。

【0107】

図１２では、フロントウインドシールド２０６、左前サイドウインドシールド２１０、左三角窓２１２、右前サイドウインドシールド２２０及び右三角窓２２２の全面に、この動画像が表示されている。具体的には、遠方には、５年前にも存在していた丘４１０や、多数の樹木４３０が表示されている。そして、右側には、一方の武将の軍に属す侍４３２達が、旗を背負い、火縄銃を持って構えている。侍４３２達の前には、騎馬の進行を食い止める柵４３４が設置されている。また、左側には、他方の武将の軍に属す侍が乗る馬４３６が、先陣を切って突撃を開始している。

【0108】

表示される画像は、単なるドラマではなく、車両１００の移動に応じて視点が動くように設定されている。図１２に示した例では、車両１００の走行にともなって、次々と、前方に存在する武士が見えてくるようになる。ただし、実際の車両速度と、画像中の武士の移動速度は必ずしも完全に対応している必要はなく、車両１００の動きと対応づけられていればよい。さらに車両１００が走行するのに伴って、画像は、両軍が槍及び刀を使って戦う白兵戦に移行する。途中には、著名な甲冑を身に着けた武将の姿も見ることができるように画像データが作製されている。このようにして、ウェアラブルデバイス１５０を通じて、乗員１９０は、過去の出来事を映像として楽しむことができる。動画像に合わせた音声を出力して、臨場感を与えるようにしてもよい。

【0109】

図１２に示した例では、画像はフロントウインドシールド２０６、左前サイドウインドシールド２１０、左三角窓２１２、右前サイドウインドシールド２２０及び右三角窓２２２の範囲にのみ表示されている。これは、乗員１９０に、車両１００に乗っていることを感じながら画像を楽しませるためである。また、乗員１９０は画像が表示されないタッチパネル２３４、操作ボタン類２３６などを操作できる他、ステアリング２３８、計器類２４０の存在を確認して心理的安心感を得ることもできる。しかし、画像の表示を優先する観点からは、例えば、左Ａピラー２０２、右Ａピラー２０４などにも画像を表示してもよいし、さらに、ルーフ２００、インストルメントパネル２３０などに画像を表示するようにしてもよい。

【0110】

また図１２に示した例では、車道３００を含む道路の風景は、全て過去仮想データ８８による画像に置き換えられている。これは、自動運転モードにおいて、乗員１９０が運転を行う責務を有しておらず、車外に注意を向ける必要がないためである。このように、運転者１８０以外に対しては、道路の風景、あるいは、道路近傍の風景にも画像を重ねて表示することが可能である。図１２に示した過去仮想データ８８の表示に限らず、図５～図１１に示した例についても、同様に、交通安全性を考慮することなく、画像を表示することが可能である。なお、後部座席に乗る乗員、あるいはバスの乗客などに対しては、前部座席に比べて車車外を見ることができる視野が狭いため、ウインドウシールド以外の部位に画像を重ねて表示するようにしてもよい。

【0111】

本実施形態は、他にも様々な態様を採用することが可能である。例えば、本実施形態にかかる表示システムは、車両の乗員の視野に含まれる過去または未来の事象についての事象情報を、前記事象の位置と対応付けて取得する情報取得装置と、前記車両の乗員における視野の範囲を取得する範囲取得手段と、前記視野の範囲に前記事象情報の位置が含まれる場合に、前記乗員の視野の範囲に前記事象を表示する表示装置と、を備えることができる。
＜付記＞
［１］
車両の乗員の視野に含まれる過去または未来の事象についての事象情報を取得する情報取得装置と、
前記事象情報に基づいて、前記乗員の視野内に前記事象を表示する表示装置と、
を備え、
前記情報取得装置は、前記事象情報として、過去に走行した車両により撮影された車外の画像データを取得し、
前記表示装置は、前記乗員が乗る前記車両の走行位置に前記画像データを適合させて、当該画像データに基づく事象を表示する、ことを特徴とする表示システム。
［２］
車両の乗員の視野に含まれる過去または未来の事象についての事象情報を取得する情報取得装置と、
前記事象情報に基づいて、前記乗員の視野内に前記事象を表示する表示装置と、
を備え、
前記情報取得装置は、前記事象情報として、過去の交通事故の情報を取得し、
前記表示装置は、前記交通事故の位置を明示して、当該前記交通事故の事象を表示する、ことを特徴とする表示システム。
［３］
車両の乗員の視野に含まれる過去または未来の事象についての事象情報を取得する情報取得装置と、
前記事象情報に基づいて、前記乗員の視野内に前記事象を表示する表示装置と、
を備え、
前記情報取得装置は、前記事象情報として、過去に生じたと推定される事象について仮想的に作製した画像データを取得し、
前記表示装置は、前記乗員が乗る前記車両の走行位置に前記画像データを対応づけて、当該画像データに基づく事象を表示する、ことを特徴とする表示システム。
［４］
車両の乗員の視野に含まれる過去または未来の事象についての事象情報を取得する情報取得装置と、
前記事象情報に基づいて、前記乗員の視野内に前記事象を表示する表示装置と、
を備え、
前記情報取得装置は、前記事象情報として、未来に生じると推定される事象について仮想的に作製した画像データを取得し、
前記表示装置は、前記乗員が乗る前記車両の走行位置に前記画像データを対応づけて、当該画像データに基づく事象を表示する、ことを特徴とする表示システム。
［５］
上記［１］、［３］、［４］のいずれか１つに記載の表示システムにおいて、
前記乗員は運転者であり、
前記表示装置は、現実の道路外の風景に重ねて、または、現実の道路外の風景を置き換えて、対応する風景を表示する、ことを特徴とする表示システム。
［６］
上記［１］、［３］、［４］のいずれか１つに記載の表示システムにおいて、
前記乗員は運転者以外であり、
前記表示装置は、現実の道路を含む風景に重ねて、または、現実の道路を含む風景を置き換えて、対応する風景を表示することができる、ことを特徴とする表示システム。
［７］
上記［１］に記載の表示システムにおいて、
前記情報取得装置は、前記乗員が乗る前記車両の周囲の天気が雨または雪の場合に、過去の晴または曇のときに撮影された前記画像データを取得し、
前記表示装置は、現実のセンターラインに重ねて、または、現実のセンターラインに置き換えて、前記画像データに基づくセンターラインを表示する、ことを特徴とする表示システム。

【符号の説明】

【0112】

１０ 情報システム、２０ 車両、２２ 車載カメラ、２４ ＧＮＳＳ、２６ 時計、３０ 情報配信システム、４０ 収集サーバ、４４ 画像処理装置、５０ 作製サーバ、６０ 配信サーバ、６２ 受信装置、６４ 情報選択装置、６６ 情報種類判定部、６８ 走行位置判定部、７０ 天気判定部、７２ 運転者判定部、７４ 送信装置、８０ 保存サーバ、８２ 交通事故データ、８４ 過去風景データ、８６ 晴天時画像データ、８８ 過去仮想データ、９０ 未来仮想データ、１００ 車両、１１０ 画像表示システム、１２０ 車載システム、１２２ 操作入力部、１２４ 表示情報設定部、１２８ 送信部、１３０ 画像処理装置、１３２ デバイス・瞳孔位置演算部、１３４ 画像レイアウト演算部、１３６ 画像切替部、１３８ 画像合成部、１４０ ＧＮＳＳ、１４２ 速度計、１４４ 受信部、１４６ 一時記憶装置、１５０ ウェアラブルデバイス、１５２ テンプル、１５４ リム、１６０ デバイス位置センサ、１６２ 瞳孔位置センサ、１６４ 画像制御部、１６６ 有機ＥＬディスプレイ、１６８ 操作部、１８０ 運転者、１９０ 乗員、２００ ルーフ、２０２ 左Ａピラー、２０４ 右Ａピラー、２０６ フロントウインドシールド、２０８ インナミラー、２１０ 左前サイドウインドシールド、２１２ 左三角窓、２１４ 左前ドアトリム、２１６ 左アウタミラー、２２０ 右前サイドウインドシールド、２２２ 右三角窓、２２４ 右前ドアトリム、２２６ 右アウタミラー、２３０ インストルメントパネル、２３２ センタコンソール、２３４ タッチパネル、２３６ 操作ボタン類、２３８ ステアリング、２４０ 計器類、３００ 車道、３０２ センターライン、３０４ 左歩道、３０６ 縁石、３０８ 右歩道、３１０ 縁石、３２０ 車両、３２２ 道路標識、３２４ 歩行者、３３０ スカイライン、３４０ 障害物、４００ アイコン、４０２ 表示ウインドウ、４０４ 表示ウインドウ、４１０ 丘、４１２ 樹木、４２０ 管制塔、４２２ 航空機、４３０ 樹木、４３２ 侍、４３４ 柵、４３６ 馬。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】