特開 2023-180496 画像処理装置、表示装置、画像処理装置の制御方法、表示装置の制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023180496

(43)【公開日】2023-12-21

(54)【発明の名称】画像処理装置、表示装置、画像処理装置の制御方法、表示装置の制御方法、及びプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20231214BHJP

【ＦＩ】

G08G1/16 A

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2022093853

(22)【出願日】2022-06-09

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(72)【発明者】

【氏名】正込 浩平

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB05

5H181BB13

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF05

5H181FF10

5H181FF13

5H181FF22

5H181FF27

5H181FF33

5H181LL01

5H181LL02

5H181LL04

5H181MB02

(57)【要約】

【課題】運転手が不要な視野移動を行わずに安全運転を支援する情報を得ることができる画像処理装置を提供する。
【解決手段】画像処理装置１００は、運転手の頭部に装着される光学シースルー型ディスプレイ１０１と通信を行う。画像処理装置１００は、運転手の周辺の動体に関する情報を取得し、運転手の周辺の地図情報を取得し、運転手の視野映像８００を取得する。画像処理装置１００は、運転手の視野における動体の位置を特定し、動体を示す仮想オブジェクトを当該動体の位置として特定された位置に重畳させる重畳映像を生成し、生成した重畳映像を光学シースルー型ディスプレイ１０１に送信する。
【選択図】図２

【特許請求の範囲】

【請求項1】

ユーザーの頭部に装着される光学シースルー型の表示装置と通信を行う画像処理装置であって、
前記ユーザーの周辺の動体に関する情報を取得する手段と、
前記ユーザーの周辺の地図情報を取得する手段と、
前記ユーザーの視野映像を取得する手段と、
前記ユーザーの視野における動体の位置を特定する特定手段と、
動体を示す仮想オブジェクトを当該動体の位置として前記特定手段によって特定された位置に重畳させる重畳映像を生成する生成手段と、
前記表示装置に前記重畳映像を送信する手段とを備えることを特徴とする画像処理装置。

【請求項2】

前記ユーザーの周辺の動体に対し、前記ユーザーから可視であるか否かを判別する手段を更に備え、
前記生成手段は、前記ユーザーから不可視の動体を示す仮想オブジェクトを含み、前記ユーザーから可視の動体を示す仮想オブジェクトを含まない重畳映像を生成することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記生成手段は、前記ユーザーから不可視の動体及び当該動体が接する道路を示す仮想オブジェクトを含む重畳映像を生成することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記生成手段は、動体の属性情報に基づいて当該動体を示す仮想オブジェクトの形状を決定することを特徴とする請求項２に記載の画像処理装置。

【請求項5】

前記ユーザーの周辺の動体に関する情報は、動体の位置情報を含み、
前記生成手段は、前記動体の位置情報の精度が所定値以上である場合、当該動体を示す仮想オブジェクトであって実物大の仮想オブジェクトを含む重畳映像を生成し、前記動体の位置情報の精度が所定値未満である場合、当該動体を示す仮想オブジェクトであって実物大より大きい仮想オブジェクトを含む重畳映像を生成することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記生成手段は、前記ユーザーに向かう方向に移動する動体を示す仮想オブジェクトを強調した重畳映像を生成することを特徴とする請求項１に記載の画像処理装置。

【請求項7】

前記生成手段は、前記ユーザーに向かう方向に移動する動体を示す仮想オブジェクトを含み、前記ユーザーに向かう方向と異なる方向に移動する動体を示す仮想オブジェクトを含まない重畳映像を生成することを特徴とする請求項１に記載の画像処理装置。

【請求項8】

ユーザーの頭部に装着される光学シースルー型の表示装置であって、
前記ユーザーの周辺の動体に関する情報を取得する手段と、
前記ユーザーの周辺の地図情報を取得する手段と、
前記ユーザーの視野映像を取得する手段と、
前記ユーザーの視野における動体の位置を特定する特定手段と、
動体を示す仮想オブジェクトを当該動体の位置として前記特定手段によって特定された位置に重畳させる重畳映像を生成する生成手段と、
前記重畳映像を表示する表示手段とを備えることを特徴とする表示装置。

【請求項9】

前記ユーザーの周辺の動体に対し、前記ユーザーから可視であるか否かを判別する手段を更に備え、
前記生成手段は、前記ユーザーから不可視の動体を示す仮想オブジェクトを含み、前記ユーザーから可視の動体を示す仮想オブジェクトを含まない重畳映像を生成することを特徴とする請求項８に記載の表示装置。

【請求項10】

前記生成手段は、前記ユーザーから不可視の動体及び当該動体が接する道路を示す仮想オブジェクトを含む重畳映像を生成することを特徴とする請求項９に記載の表示装置。

【請求項11】

前記生成手段は、動体の属性情報に基づいて当該動体を示す仮想オブジェクトの形状を決定することを特徴とする請求項９に記載の表示装置。

【請求項12】

前記ユーザーの周辺の動体に関する情報は、動体の位置情報を含み、
前記生成手段は、前記動体の位置情報の精度が所定値以上である場合、当該動体を示す仮想オブジェクトであって実物大の仮想オブジェクトを含む重畳映像を生成し、前記動体の位置情報の精度が所定値未満である場合、当該動体を示す仮想オブジェクトであって実物大より大きい仮想オブジェクトを含む重畳映像を生成することを特徴とする請求項１１に記載の表示装置。

【請求項13】

前記生成手段は、前記ユーザーに向かう方向に移動する動体を示す仮想オブジェクトを強調した重畳映像を生成することを特徴とする請求項８に記載の表示装置。

【請求項14】

前記生成手段は、前記ユーザーに向かう方向に移動する動体を示す仮想オブジェクトを含み、前記ユーザーに向かう方向と異なる方向に移動する動体を示す仮想オブジェクトを含まない重畳映像を生成することを特徴とする請求項８に記載の表示装置。

【請求項15】

ユーザーの頭部に装着される光学シースルー型の表示装置と通信を行う画像処理装置の制御方法であって、
前記ユーザーの周辺の動体に関する情報を取得する工程と、
前記ユーザーの周辺の地図情報を取得する工程と、
前記ユーザーの視野映像を取得する工程と、
前記ユーザーの視野における動体の位置を特定する特定工程と、
動体を示す仮想オブジェクトを当該動体の位置として前記特定工程にて特定された位置に重畳させる重畳映像を生成する生成工程と、
前記表示装置に前記重畳映像を送信する工程とを有することを特徴とする画像処理装置の制御方法。

【請求項16】

ユーザーの頭部に装着される光学シースルー型の表示装置の制御方法であって、
前記ユーザーの周辺の動体に関する情報を取得する工程と、
前記ユーザーの周辺の地図情報を取得する工程と、
前記ユーザーの視野映像を取得する工程と、
前記ユーザーの視野における動体の位置を特定する特定工程と、
動体を示す仮想オブジェクトを当該動体の位置として前記特定工程にて特定された位置に重畳させる重畳映像を生成する生成工程と、
前記重畳映像を前記表示装置の表示手段に表示させる工程とを有することを特徴とする表示装置の制御方法。

【請求項17】

ユーザーの頭部に装着される光学シースルー型の表示装置と通信を行う画像処理装置の制御方法をコンピュータに実行させるプログラムであって、
前記画像処理装置の制御方法は、
前記ユーザーの周辺の動体に関する情報を取得する工程と、
前記ユーザーの周辺の地図情報を取得する工程と、
前記ユーザーの視野映像を取得する工程と、
前記ユーザーの視野における動体の位置を特定する特定工程と、
動体を示す仮想オブジェクトを当該動体の位置として前記特定工程にて特定された位置に重畳させる重畳映像を生成する生成工程と、
前記表示装置に前記重畳映像を送信する工程とを有することを特徴とするプログラム。

【請求項18】

ユーザーの頭部に装着される光学シースルー型の表示装置の制御方法をコンピュータに実行させるプログラムであって、
前記表示装置の制御方法は、
前記ユーザーの周辺の動体に関する情報を取得する工程と、
前記ユーザーの周辺の地図情報を取得する工程と、
前記ユーザーの視野映像を取得する工程と、
前記ユーザーの視野における動体の位置を特定する特定工程と、
動体を示す仮想オブジェクトを当該動体の位置として前記特定工程にて特定された位置に重畳させる重畳映像を生成する生成工程と、
前記重畳映像を前記表示装置の表示手段に表示させる工程とを有することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、表示装置、画像処理装置の制御方法、表示装置の制御方法、及びプログラムに関する。

【背景技術】

【0002】

近年、拡張現実（ＡＲ）や複合現実（ＭＲ）に代表されるような、現実と仮想を併せ持った環境でユーザー体験を提供する仮想現実の技術が急速に発展している。例えば、スマートフォンで撮影した映像に仮想物体を重畳する、若しくは各種センサを有するヘッドマウントディスプレイ（ＨＭＤ）やＶＲゴーグルを用いて利用者の動作をとらえ複合世界内での動作に同期させる。このような技術を利用することで、これまでにないユーザー体験を提供することができる。

【0003】

一方、道路交通の分野では、ＩＴＳ（ＩｎｔｅｌｌｉｇｅｎｔＴｒａｎｓｐｏｒｔＳｙｓｔｅｍ）と呼ばれるＩＴ技術の活用が高まっており、人、道路、車両を一体として管理するシステムの構築が進んでいる。特に、Ｖ２Ｘ（Ｖｅｈｉｃｌｅ ｔｏ Ｅｖｅｒｙｔｈｉｎｇ）に見られるように、車と様々なものを繋ぐコネクテッド技術の発展が目覚ましい。関連する技術として特許文献１の技術が提案されている。特許文献１では、出会い頭の車両同士の衝突を回避するために、レーダー、ライダー、ソナーのいずれかの機器により車両を検知する。これにより、安全運転を支援する情報として、遮蔽部により運転手の死角となる位置にいる車両の情報を運転手に通知することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－４１３３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来では、上述した機器によって検知された車両の情報がカーナビに表示されるので、運転手がこの情報を得るには、視線移動を行う必要があり、安全運転の観点で改善の余地がある。

【0006】

本発明の目的は、運転手が不要な視野移動を行わずに安全運転を支援する情報を得ることができる画像処理装置、表示装置、画像処理装置の制御方法、表示装置の制御方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明の画像処理装置は、ユーザーの頭部に装着される光学シースルー型の表示装置と通信を行う画像処理装置であって、前記ユーザーの周辺の動体に関する情報を取得する手段と、前記ユーザーの周辺の地図情報を取得する手段と、前記ユーザーの視野映像を取得する手段と、前記ユーザーの視野における動体の位置を特定する特定手段と、動体を示す仮想オブジェクトを当該動体の位置として前記特定手段によって特定された位置に重畳させる重畳映像を生成する生成手段と、前記表示装置に前記重畳映像を送信する手段とを備えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、運転手が不要な視野移動を行わずに安全運転を支援する情報を得ることができる。

【図面の簡単な説明】

【0009】

【図1】本実施の形態に係る画像処理装置のネットワーク図である。

【図2】図１の画像処理装置のハードウェアの構成例を示すブロック図である。

【図3】図１の画像処理装置のソフトウェアモジュールの構成例を示すブロック図である。

【図4】図３の動体情報テーブルを説明するための図である。

【図5】図１の画像処理装置が用いる地図情報の一例を示す図である。

【図6】図３の動体位置特定部による動体の位置の特定を説明するための図である。

【図7】図１の画像処理装置において実行される重畳映像生成処理の手順を示すフローチャートである。

【図8】図７のステップＳ７０３にて取得する視野映像の一例を示す図である。

【図9】図８の視野映像の建物を透過した図である。

【図10】図９における動体の位置関係を俯瞰で示す図である。

【図11】図１の光学シースルー型ディスプレイが画像処理装置から受信した重畳映像を表示している様子を示す図である。

【図12】第２の実施形態に係る画像処理装置のソフトウェアモジュールの構成例を示すブロック図である。

【図13】第２の実施形態に係る画像処理装置において実行される重畳映像生成処理の手順を示すフローチャートである。

【図14】図１の光学シースルー型ディスプレイが画像処理装置から受信した重畳映像を表示している様子を示す図である。

【図15】動体の位置情報の精度に基づいて仮想オブジェクトの大きさを決定する制御について説明するための図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について説明する。まず、本発明の第１の実施の形態に係る画像処理装置及びその制御方法について説明する。

【0011】

図１は、本実施の形態に係る画像処理装置１００のネットワーク図である。画像処理装置１００は、安全運転を支援する安全運転支援サービスを提供する。画像処理装置１００は、図１に示すように、バイクや車の運転手が頭部に装着したＶＲゴーグル等の光学シースルー型ディスプレイ１０１と通信を行う。画像処理装置１００との通信により、光学シースルー型ディスプレイ１０１には、運転手が光学シースルー型ディスプレイ１０１のレンズを通して眺めた景色に重なるように、安全運転を支援するための仮想オブジェクトが表示される。

【0012】

図２は、図１の画像処理装置１００のハードウェアの構成例を示すブロック図である。画像処理装置１００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、及びＩ／Ｆ２０４を備える。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、及びＩ／Ｆ２０４はバス２０５を介して互いに接続されている。

【0013】

ＣＰＵ２０１は、プロセッサである。ＣＰＵ２０１は、ＲＯＭ２０２に格納されたプログラムをＲＡＭ２０３に読み出し、読み出したプログラムを実行することによって画像処理装置１００の動作を制御する。ＲＯＭ２０２は、リードオンリメモリであり、ＣＰＵ２０１が実行するプログラム等を格納する。ＲＡＭ２０３は、ランダムアクセスメモリであり、ＣＰＵ２０１の作業領域として、また、各データの一時記憶領域として用いられる。Ｉ／Ｆ２０４は、画像処理装置１００が外部装置と通信を行うためのインタフェースである。例えば、Ｉ／Ｆ２０４は、光学シースルー型ディスプレイ１０１に搭載されたカメラが撮影した運転手の視野映像や、運転手の周囲の状況を判断するためのデータを受信する。また、Ｉ／Ｆ２０４は、後述する重畳映像を光学シースルー型ディスプレイへ送信する。

【0014】

なお、図２には、ＣＰＵが一つのみ記載されているが、画像処理装置１００は、複数のプロセッサを備えていても良い。また、画像処理装置１００は、グラフィックプロセッシングユニット（ＧＰＵ）といった補足的な構成を備えていても良い。また、図２には、一時的なワークメモリを保持する構成としてＲＡＭ２０３のみが記載されているが、画像処理装置１００は、同一あるいは異なる他の媒体で二次、三次の記憶領域を備えていても良い。他の媒体は、例えば、ハードディスク（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）である。また、バス２０５の構成について、図２に示す構成に限られず、構成要素を多段で接続する構成であっても良い。

【0015】

図３は、図１の画像処理装置１００のソフトウェアモジュールの構成例を示すブロック図である。図３において、画像処理装置１００は、ソフトウェアモジュールとして、動体情報取得部３０１、地図情報取得部３０３、視野映像取得部３０５、動体位置特定部３０６、及び重畳映像生成部３０７を備える。これらの処理は、ＣＰＵ２０１がＲＯＭ２０２に格納されたプログラムをＲＡＭ２０３に読み出し、読み出したプログラムを実行することによって実現される。

【0016】

動体情報取得部３０１は、画像処理装置１００が提供する安全運転支援サービスを利用するユーザーの周辺の動体に関する情報を取得する。なお、以下では、画像処理装置１００が提供する安全運転支援サービスを利用するユーザーを「運転手」とする。本実施の形態では、例えば、運転手が装着する光学シースルー型ディスプレイ１０１がネットワーク上のデータベースから動体に関する情報を取得し、動体情報取得部３０１が光学シースルー型ディスプレイ１０１からこの動体に関する情報を取得する。動体に関する情報は、例えば、動体の種別情報、動体の位置情報、動体の速度情報等を含む。動体情報取得部３０１は、取得した情報に基づいてシステム内部の演算に用いる動体情報テーブル３０２を構築する。なお、本実施の形態では、動体情報取得部３０１が光学シースルー型ディスプレイ１０１から取得した動体に関する情報に基づいて動体情報テーブル３０２を構築する構成について説明するが、この構成に限られない。例えば、動体情報取得部３０１は、運転手が所持するスマートフォンや車両のカーナビ等から動体に関する情報を取得しても良い。また、運転手が所持するスマートフォンや車両のカーナビ等が個々にネットワーク上のデータベースと通信して動体情報テーブル３０２を構築し、動体情報取得部３０１が構築された動体情報テーブル３０２をこれらの機器から取得しても良い。

【0017】

図４は、図２の動体情報テーブル３０２を説明するための図である。図４（ａ）は、動体情報テーブル３０２の一例を示す図である。動体情報テーブル３０２は、「ＩＤ」、「タイプ」、「位置」、「回転」、「速度」で構成される。「ＩＤ」は、取得した動体に関する情報を識別するための番号である。「位置」は動体の三次元位置を示す。なお、「位置」は、図４（ｂ）の４０１に示すように、運転手を中心とした三次元空間上の座標情報であっても良い。「回転」は、動体の三次元回転を示す。なお、「回転」は、図４（ｃ）の４０２に示すように、運転手を基準として、各平面を軸とした回転角の組み合わせで合っても良い。「速度」は、動体の移動速度を示す。

【0018】

図３に戻り、地図情報取得部３０３は、ネットワーク上のサーバーに構築されたデータベースから、運転手の周辺の地図情報を取得する。地図情報取得部３０３は、取得した情報に基づいて、システム内部の演算に用いる地図情報３０４を構築する。地図情報３０４は、例えば、図５に示すような建物や道路の位置関係、地形の凹凸が認識可能な三次元データである。なお、本実施の形態では、画像処理装置１００は、動体の位置情報と地図情報３０４とを用いて、この位置情報に対応する車両や人物が地図情報３０４におけるどの位置にあるか（いるか）を識別可能である。

【0019】

視野映像取得部３０５は、光学シースルー型ディスプレイ１０１のカメラが撮影した運転手の視野映像をリアルタイムに取得する。動体位置特定部３０６は、取得した運転手の視野映像を用いて、運転手の視野における動体の位置を特定する。動体位置特定部３０６による動体の位置の特定について、図６を用いて説明する。

【0020】

図６は、運転手６０１と地図情報３０４から得られる三次元建物データ６０２との位置関係を示す図である。動体位置特定部３０６は、図４（ａ）の動体情報テーブル３０２から、車両の位置情報、例えば、ＩＤ「１」に対応する情報に含まれる「位置」の座標情報を参照することで、三次元空間上に図６に示すような位置関係を再現する。また、動体位置特定部３０６は、車両の位置情報を元に仮想オブジェクト６０３を配置する。動体位置特定部３０６は、運転手６０１及び仮想オブジェクト６０３を結ぶ直線と、視野映像平面６０４との交点を視野平面上の動体の位置として特定する。なお、本実施の形態では、車両のように比較的大きい物体について、地形を元に車両がその場所に配置された場合の姿勢が推定され、位置と共に姿勢が特定されても良い。

【0021】

図３に戻り、重畳映像生成部３０７は、動体を示す仮想オブジェクトを当該動体の位置として動体位置特定部３０６によって特定された位置に重畳させる重畳映像を生成する。例えば、動体を示す仮想オブジェクト６０３を当該動体の位置として動体位置特定部３０６によって特定された位置に重畳させる重畳映像が生成される（例えば、図６の６０５を参照）。

【0022】

図７は、図１の画像処理装置１００において実行される重畳映像生成処理の手順を示すフローチャートである。重畳映像生成処理は、ＣＰＵ２０１がＲＯＭ２０２に格納されたプログラムをＲＡＭ２０３に読み出し、読み出したプログラムを実行することによって実現される。重畳映像生成処理は、例えば、運転手が装着する光学シースルー型ディスプレイ１０１が起動し、光学シースルー型ディスプレイ１０１が画像処理装置１００と通信を開始した際に実行される。

【0023】

図７において、まず、ＣＰＵ２０１は、動体情報取得部３０１を制御して、運転手の周辺の動体に関する情報を光学シースルー型ディスプレイ１０１等から取得する（ステップＳ７０１）。動体情報取得部３０１は、取得した情報に基づいて動体情報テーブル３０２を構築する。次いで、ＣＰＵ２０１は、地図情報取得部３０３を制御して、運転手の周辺の地図情報をネットワーク上のサーバーに構築されたデータベースから取得する（ステップＳ７０２）。地図情報取得部３０３は、取得した情報に基づいて地図情報３０４を構築する。

【0024】

次いで、ＣＰＵ２０１は、視野映像取得部３０５を制御して、運転手が装着する光学シースルー型ディスプレイ１０１から運転手の視野映像を取得する（ステップＳ７０３）。ここでは、一例として、図８に示す視野映像８００を取得したこととする。視野映像８００における車両８０１は、運転手が運転する車両を示す。車両８０２は、反対車線を走行する車両を示す。人物８０３は、運転手が運転する車両付近を歩行する人物を示す。車両８０２及び人物８０３は、運転手から可視の位置関係にある。図９は、図８の視野映像８００の建物を透過した図である。透過した建物の裏側には、車両９０１及び自転車９０２がいる。車両９０１及び自転車９０２は運転手から不可視の位置関係にある。図１０は、車両８０２、人物８０３、車両９０１、自転車９０２の位置関係を俯瞰で示す図である。

【0025】

次いで、ＣＰＵ２０１は、動体位置特定部３０６を制御して、動体情報テーブル３０２、地図情報３０４、視野映像８００を用いて、運転手の視野における動体の位置を特定する（ステップＳ７０４）。次いで、ＣＰＵ２０１は、重畳映像生成部３０７を制御して、動体を示す仮想オブジェクトを当該動体の位置としてステップＳ７０４にて特定された位置に重畳させる重畳映像を生成する（ステップＳ７０５）。次いで、ＣＰＵ２０１は、Ｉ／Ｆ２０４を介して、運転手が装着する光学シースルー型ディスプレイ１０１へ重畳映像を送信し（ステップＳ７０６）、本処理を終了する。

【0026】

光学シースルー型ディスプレイ１０１は、受信した重畳映像を光学シースルー型ディスプレイ１０１の表示部に表示させる。

【0027】

図１１は、図１の光学シースルー型ディスプレイ１０１が画像処理装置１００から受信した重畳映像を表示している様子を示す図である。図１１において、マーカー１１０１は、運転手から可視の車両８０２の位置を運転手に通知するための半透明の仮想オブジェクトである。マーカー１１０２は、運転手から可視の人物８０３の位置を運転手に通知するための半透明の仮想オブジェクトである。マーカー１１０３は、運転手から不可視の車両９０１の位置を運転手に通知するための半透明の仮想オブジェクトである。マーカー１１０４は、運転手から不可視の自転車９０２の位置をユーザーに通知するための半透明の仮想オブジェクトである。このように運転手の周辺の動体を示す仮想オブジェクトが光学シースルー型ディスプレイ１０１に表示されることで、運転手は、雨天や夜間等で視界が悪くても、動体の存在を知ることができる。

【0028】

また、これらのマーカーは、動体の移動に伴ってリアルタイムに描画位置が更新される。動体の移動の追従においては、例えば、図４（ａ）の動体情報テーブル３０２における「回転」の情報や「速度」の情報に基づいて、運転手の視野映像８００との一致が判別される。現実世界において、車両の位置情報は、車両の運転手の位置情報と重複して検出されるため、マーカーも車両と人物を重複して表示しても良い。本実施の形態では、車両と人物を、固有デバイス同士の対応付けや位置情報の履歴を用いた演算等で紐づけ、包含関係の優劣により重畳表示するマーカーを選別しているものとする。本実施の形態における優劣は、車両＞自転車＞人物とする。

【0029】

上述した実施の形態によれば、運転手の視野における動体の位置が特定され、動体を示す仮想オブジェクトを当該動体の位置としてステップＳ７０４にて特定された位置に重畳させる重畳映像が生成される。生成された重畳映像は、運転手の頭部に装着された光学シースルー型ディスプレイ１０１に送信される。これにより、運転手が不要な視野移動を行わずに、安全運転を支援するための情報である運転手の周辺の動体の情報を得ることができる。

【0030】

次に、本発明の第２の実施の形態に係る画像処理装置及びその制御方法について説明する。第２の実施の形態は、その構成や作用が上述した第１の実施の形態と基本的に同じであり、画像処理装置がソフトウェアモジュールとして可視判別部を備える点で上述した第１の実施の形態と異なる。したがって、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。

【0031】

図１２は、第２の実施形態に係る画像処理装置１２００のソフトウェアモジュールの構成例を示すブロック図である。

【0032】

図１２において、画像処理装置１２００は、ソフトウェアモジュールとして、上述した動体情報取得部３０１、地図情報取得部３０３、視野映像取得部３０５、動体位置特定部３０６、及び重畳映像生成部３０７の他に、可視判別部１２０１を備える。可視判別部１２０１の処理も、ＣＰＵ２０１がＲＯＭ２０２に格納されたプログラムをＲＡＭ２０３に読み出し、読み出したプログラムを実行することによって実現される。

【0033】

可視判別部１２０１は、動体が運転手から可視であるか否かを判別する可視判別処理を行う。可視判別処理では、可視判別部１２０１は、動体位置特定部３０６によって特定された位置に該当する動体が存在するかを画像認識で検出する。更に、可視判別部１２０１は、検出した実際の動体の挙動と動体の位置情報の挙動とが一致するか否かを判別する。検出した実際の動体の挙動と動体の位置情報の挙動とが一致するする場合、可視判別部１２０１は、動体が運転手から可視であると判別する。一方、動体位置特定部３０６によって特定された動体の位置に、該当する動体が画像認識で検出されない場合、又は検出した実際の動体の挙動と動体の位置情報の挙動とが一致しない場合、可視判別部１２０１は、動体が運転手から不可視であると判別する。

【0034】

図１３は、第２の実施形態に係る画像処理装置１２００において実行される重畳映像生成処理の手順を示すフローチャートである。図１３の重畳映像生成処理は、上述した図７の重畳映像生成処理に類似する処理であり、以下では、上述した図７の重畳映像生成処理と異なる内容について説明する。なお、画像処理装置１２００のハードウェア構成は、上述した画像処理装置１００と同様の構成、つまり、図２に示す構成である。以下では、画像処理装置１２００の構成要素について、画像処理装置１００の構成要素と同じ符号を付して説明する。図１３の重畳映像生成処理は、画像処理装置１２００のＣＰＵ２０１がＲＯＭ２０２に格納されたプログラムをＲＡＭ２０３に読み出し、読み出したプログラムを実行することによって実現される。図１３の重畳映像生成処理も、上述した図７の重畳映像生成処理と同様に、例えば、運転手が装着する光学シースルー型ディスプレイ１０１が起動し、光学シースルー型ディスプレイ１０１が画像処理装置１００と通信を開始した際に実行される。

【0035】

図１３において、まず、ステップＳ７０１～Ｓ７０４が行われる。次いで、ＣＰＵ２０１は、可視判別部１２０１を制御して、運転手から不可視の動体が存在するか否かを判別する（ステップＳ１３０１）。ステップＳ１３０１では、可視判別部１２０１による可視判別処理において、運転手から不可視であると判別された動体が１つ以上存在する場合、運転手から不可視の動体が存在すると判別される。一方、可視判別部１２０１による可視判別処理において、運転手から不可視であると判別された動体が存在しない場合、運転手から不可視の動体が存在しないと判別される。

【0036】

ステップＳ１３０１において、運転手から不可視の動体が存在しないと判別された場合、本処理は終了する。ステップＳ１３０１において、運転手から不可視の動体が存在すると判別された場合、処理はステップＳ１３０２へ進む。ステップＳ１３０２では、ＣＰＵ２０１は、重畳映像生成部３０７を制御して、運転手から不可視であると判別された動体について、ステップＳ７０４にて特定された位置に当該動体を示す仮想オブジェクトを重畳させる重畳映像を生成する。つまり、ステップＳ１３０２では、運転手から不可視であると判別された動体を示す仮想オブジェクトを含み、運転手から可視であると判別された動体を示す仮想オブジェクトを含まない重畳映像が生成される。次いで、処理はステップＳ７０６へ進み、本処理は終了する。

【0037】

図１４は、図１の光学シースルー型ディスプレイ１０１が画像処理装置１２００から受信した重畳映像を表示している様子を示す図である。

【0038】

図１４において、仮想オブジェクト１４０１は運転手から不可視の車両９０１の位置を運転手に通知するための半透明の仮想オブジェクトである。仮想オブジェクト１４０２は運転手から不可視の自転車９０２の位置を運転手に通知するための半透明の仮想オブジェクトである。このように本実施の形態では、運転手の周辺の動体のうち、運転手から不可視と判別された動体を示す仮想オブジェクトが光学シースルー型ディスプレイ１０１に表示される。これにより、運転手の周辺の動体のうち、建物等によって遮られて運転手から不可視の動体の存在を運転手に知らせることができる。

【0039】

また、図１４に示すように、仮想オブジェクトを動体の種別に対応する形状で構成しても良い。具体的に、重畳映像生成部３０７は、図４（ａ）の動体情報テーブル３０２における「タイプ」の情報から動体の種別（属性）を特定し、特定した種別に基づいて仮想オブジェクトの形状を決定する。例えば、重畳映像生成部３０７は、或る動体の種別を車両と特定した場合、当該動体の仮想オブジェクトの形状を仮想オブジェクト１４０１のように車両の形状に決定する。また、重畳映像生成部３０７は、或る動体の種別を自転車と特定した場合、当該動体の仮想オブジェクトの形状を仮想オブジェクト１４０２のように自転車の形状に決定する。このように動体の属性情報に基づいて当該動体を示す仮想オブジェクトの形状を決定することで、運転手から不可視の動体が車両であるのか自転車であるのかといった情報を運転手に知らせることができる。

【0040】

更に、地図情報３０４に基づいて動体が接する道路の形状を判別し、図１４に示すように、動体及び当該動体が接する道路を示す仮想オブジェクトを光学シースルー型ディスプレイ１０１に表示させても良い。これにより、より現実的な映像で運転手から不可視の動体の情報を運転手に知らせることができる。

【0041】

また、本実施の形態では、動体の位置情報の精度に基づいて、仮想オブジェクトの大きさを決定しても良い。図１５において、１５０１，１５０３は、それぞれ車両の仮想オブジェクトを示す。両矢印１５０２，１５０４は、それぞれ車両の取り得る位置の範囲を示す。位置情報の精度が所定値以上であり、車両のとりえる位置が限定できる場合、仮想オブジェクト１５０１のような実物大の仮想オブジェクトを含む重畳映像が生成される。一方、位置情報の精度が所定値未満であり、車両の取り得る位置が限定できない場合、仮想オブジェクト１５０３のような実物大より大きい仮想オブジェクトを含む重畳映像が生成される。なお、位置情報の精度は、動体の速度、電波状況、位置情報を検出するデバイス（例えば、光学シースルー型ディスプレイ）の性能等から算出されるものとする。また、車両の取り得る位置の範囲は、位置情報の精度によって定まるものとする。

【0042】

このように、動体の位置情報の精度が所定値未満である場合に、実物大より大きい仮想オブジェクトを含む重畳映像を生成することで、事故の要因となる不正確な情報を運転手に伝えるのを防止することができる。

【0043】

また、本実施の形態では、運転手に向かう方向に移動する動体を示す仮想オブジェクトを強調した重畳映像が生成されても良い。これにより、運転手側に向かってくる動体の存在を運転手に気付かせることができる。

【0044】

更に、本実施の形態では、運転手に向かう方向に移動する動体を示す仮想オブジェクトを含み、運転手に向かう方向と異なる方向に移動する動体を示す仮想オブジェクトを含まない重畳映像が生成されても良い。これにより、運転手の周辺の動体のうち、事故に繋がる懸念がある動体の存在のみを運転手に知らせることができる。

【0045】

なお、本実施の形態では、光学シースルー型ディスプレイ１０１が画像処理装置１００の機能を備え、上述した重畳映像生成処理を実行し、生成した重畳映像を光学シースルー型ディスプレイの表示部に表示する構成であっても良い。このような構成においても、上述した実施の形態と同様の効果を奏することができる。

【0046】

また、本実施の形態では、車やバイクの運転手が装着する光学シースルー型ディスプレイ１０１に仮想オブジェクトを表示させる構成について説明したが、この構成に限られない。例えば、バイクの運転手が装着するヘルメットが光学シースルー型ディスプレイ１０１と同様の機能を備え、このヘルメットのシールドに仮想オブジェクトを表示させる構成であっても良い。

【0047】

本発明は、上述の実施の形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、該システム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0048】

なお、本実施の形態の開示は、以下の構成及び方法を含む。
（構成１）ユーザーの頭部に装着される光学シースルー型の表示装置と通信を行う画像処理装置であって、前記ユーザーの周辺の動体に関する情報を取得する手段と、前記ユーザーの周辺の地図情報を取得する手段と、前記ユーザーの視野映像を取得する手段と、前記ユーザーの視野における動体の位置を特定する特定手段と、動体を示す仮想オブジェクトを当該動体の位置として前記特定手段によって特定された位置に重畳させる重畳映像を生成する生成手段と、前記表示装置に前記重畳映像を送信する手段とを備えることを特徴とする画像処理装置。
（構成２）前記ユーザーの周辺の動体に対し、前記ユーザーから可視であるか否かを判別する手段を更に備え、前記生成手段は、前記ユーザーから不可視の動体を示す仮想オブジェクトを含み、前記ユーザーから可視の動体を示す仮想オブジェクトを含まない重畳映像を生成することを特徴とする構成１に記載の画像処理装置。
（構成３）前記生成手段は、前記ユーザーから不可視の動体及び当該動体が接する道路を示す仮想オブジェクトを含む重畳映像を生成することを特徴とする構成２に記載の画像処理装置。
（構成４）前記生成手段は、動体の属性情報に基づいて当該動体を示す仮想オブジェクトの形状を決定することを特徴とする構成２又は３に記載の画像処理装置。
（構成５）前記ユーザーの周辺の動体に関する情報は、動体の位置情報を含み、前記生成手段は、前記動体の位置情報の精度が所定値以上である場合、当該動体を示す仮想オブジェクトであって実物大の仮想オブジェクトを含む重畳映像を生成し、前記動体の位置情報の精度が所定値未満である場合、当該動体を示す仮想オブジェクトであって実物大より大きい仮想オブジェクトを含む重畳映像を生成することを特徴とする構成４に記載の画像処理装置。
（構成６）前記生成手段は、前記ユーザーに向かう方向に移動する動体を示す仮想オブジェクトを強調した重畳映像を生成することを特徴とする構成１乃至５の何れか１つに記載の画像処理装置。
（構成７）前記生成手段は、前記ユーザーに向かう方向に移動する動体を示す仮想オブジェクトを含み、前記ユーザーに向かう方向と異なる方向に移動する動体を示す仮想オブジェクトを含まない重畳映像を生成することを特徴とする構成１乃至６の何れか１つに記載の画像処理装置。
（構成８）ユーザーの頭部に装着される光学シースルー型の表示装置であって、前記ユーザーの周辺の動体に関する情報を取得する手段と、前記ユーザーの周辺の地図情報を取得する手段と、前記ユーザーの視野映像を取得する手段と、前記ユーザーの視野における動体の位置を特定する特定手段と、動体を示す仮想オブジェクトを当該動体の位置として前記特定手段によって特定された位置に重畳させる重畳映像を生成する生成手段と、前記重畳映像を表示する表示手段とを備えることを特徴とする表示装置。
（構成９）前記ユーザーの周辺の動体に対し、前記ユーザーから可視であるか否かを判別する手段を更に備え、前記生成手段は、前記ユーザーから不可視の動体を示す仮想オブジェクトを含み、前記ユーザーから可視の動体を示す仮想オブジェクトを含まない重畳映像を生成することを特徴とする構成８に記載の表示装置。
（構成１０）前記生成手段は、前記ユーザーから不可視の動体及び当該動体が接する道路を示す仮想オブジェクトを含む重畳映像を生成することを特徴とする構成９に記載の表示装置。
（構成１１）前記生成手段は、動体の属性情報に基づいて当該動体を示す仮想オブジェクトの形状を決定することを特徴とする構成９又は１０に記載の表示装置。
（構成１２）前記ユーザーの周辺の動体に関する情報は、動体の位置情報を含み、前記生成手段は、前記動体の位置情報の精度が所定値以上である場合、当該動体を示す仮想オブジェクトであって実物大の仮想オブジェクトを含む重畳映像を生成し、前記動体の位置情報の精度が所定値未満である場合、当該動体を示す仮想オブジェクトであって実物大より大きい仮想オブジェクトを含む重畳映像を生成することを特徴とする構成１１に記載の表示装置。
（構成１３）前記生成手段は、前記ユーザーに向かう方向に移動する動体を示す仮想オブジェクトを強調した重畳映像を生成することを特徴とする構成８乃至１２の何れか１つに記載の表示装置。
（構成１４）前記生成手段は、前記ユーザーに向かう方向に移動する動体を示す仮想オブジェクトを含み、前記ユーザーに向かう方向と異なる方向に移動する動体を示す仮想オブジェクトを含まない重畳映像を生成することを特徴とする構成８乃至１３の何れか１つに記載の表示装置。

【符号の説明】

【0049】

１００ 画像処理装置
１０１ 光学シースルー型ディスプレイ
２０１ ＣＰＵ
２０４ Ｉ／Ｆ
３０１ 動体情報取得部
３０３ 地図情報取得部
３０５ 視野映像取得部
３０６ 動体位置特定部
３０７ 重畳映像生成部
１２００ 画像処理装置
１２０１ 可視判別部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】