特許 7595728 ヘッドマウント型情報出力装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-28

(45)【発行日】2024-12-06

(54)【発明の名称】ヘッドマウント型情報出力装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241129BHJP

   G06T 19/00 20110101ALI20241129BHJP

【ＦＩ】

G06F3/01 510

G06F3/01 570

G06T19/00 600

【請求項の数】 12

(21)【出願番号】P 2023183635

(22)【出願日】2023-10-26

(62)【分割の表示】P 2021566727の分割

【原出願日】2019-12-27

(65)【公開番号】P2024012379

(43)【公開日】2024-01-30

【審査請求日】2023-10-26

(73)【特許権者】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】鶴賀 貞雄

(72)【発明者】

【氏名】橋本 康宣

(72)【発明者】

【氏名】吉澤 和彦

(72)【発明者】

【氏名】岡田 義憲

【審査官】宮本 昭彦

(56)【参考文献】

【文献】国際公開第２０２１／１３１０２３（ＷＯ，Ａ１）

【文献】特開２０１３－０５４６６１（ＪＰ，Ａ）

【文献】国際公開第２０１４／１０３１５５（ＷＯ，Ａ１）

【文献】特表２０１６－５１４２９８（ＪＰ，Ａ）

【文献】特開２０１１－１９８３０４（ＪＰ，Ａ）

【文献】特開２０１６－１４６５４７（ＪＰ，Ａ）

【文献】国際公開第２０１４／１８８７９８（ＷＯ，Ａ１）

【文献】特開２０１８－１１６１６５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

ユーザが頭部に装着し現実空間や仮想空間の画像を視認するヘッドマウント型情報出力装置において、
前記現実空間の画像を撮影するカメラと、
前記ヘッドマウント型情報出力装置がユーザの頭部に装着されたときに前記ユーザの視線方向となる面に設けられた透過型パネルと、
前記ヘッドマウント型情報出力装置に一体として設けられ、前記カメラで撮影される撮影画像の領域と対応した位置座標が割り付けられた入力領域を有し、前記ユーザが前記透過型パネルを透過して視認した前記現実空間にある所望の対象物の位置を指定する対象物指定部と、
前記カメラが撮影した撮影画像内で、前記対象物指定部によりユーザが指定した位置に対応する画像部分を解析し、前記ユーザが指定した対象物を識別する対象物識別部と、
前記対象物識別部が識別した対象物に関する対象物情報を取得する対象物情報取得部と、
前記対象物情報取得部が取得した対象物情報を、情報表示部からテキスト文字で、あるいは音声出力部から音声で出力する情報出力部と、を備え、
前記対象物指定部では、前記カメラが撮影した撮影画像をユーザに表示することなく、前記ユーザは視界内の前記現実空間を視認した状態で前記対象物の位置を指定することを特徴とするヘッドマウント型情報出力装置。

【請求項2】

請求項１に記載のヘッドマウント型情報出力装置であって、
前記対象物指定部は、ユーザが複数の指で接触あるいは近接して、複数の指で囲まれた範囲内の対象物を指定することを特徴とするヘッドマウント型情報出力装置。

【請求項3】

請求項１に記載のヘッドマウント型情報出力装置であって、
前記対象物指定部は、ユーザが指を滑らしスワイプし、スワイプした範囲内の対象物を指定することを特徴とするヘッドマウント型情報出力装置。

【請求項4】

請求項１に記載のヘッドマウント型情報出力装置であって、
前記対象物指定部に対し、ユーザが同じ位置を繰り返し指定した場合、あるいは同じ位置を所定時間より長く指定した場合には、前記対象物情報取得部では、対象物に関するより詳しい対象物情報を取得することを特徴とするヘッドマウント型情報出力装置。

【請求項5】

請求項１に記載のヘッドマウント型情報出力装置であって、
さらに、ユーザの視界内の対象物までの距離を検出する距離センサを有し、
ユーザから対象物までの距離情報の要求があったときには、前記対象物情報取得部では、前記距離センサで検出した対象物までの距離情報を含めた対象物情報を取得することを特徴とするヘッドマウント型情報出力装置。

【請求項6】

請求項１に記載のヘッドマウント型情報出力装置であって、
さらに、外部の情報サーバと情報の送受信を行う通信部を有し、
前記対象物情報取得部は、対象物に関する対象物情報を、前記通信部を介して前記情報サーバから取得することを特徴とするヘッドマウント型情報出力装置。

【請求項7】

請求項１に記載のヘッドマウント型情報出力装置であって、
さらに、ユーザの声を取り込む音声入力部を有し、
前記対象物情報取得部は、前記音声入力部で取り込んだユーザの質問音声に基づいて対象物に関するより詳しい対象物情報を取得することを特徴とするヘッドマウント型情報出力装置。

【請求項8】

請求項１に記載のヘッドマウント型情報出力装置であって、
さらに、ユーザが指定した対象物が発声している音声を集音する音声入力部を有し、
前記対象物情報取得部は、前記音声入力部で集音した音声情報を含めた対象物情報を取得することを特徴とするヘッドマウント型情報出力装置。

【請求項9】

請求項１に記載のヘッドマウント型情報出力装置であって、
さらに、外部の携帯情報端末と情報の送受信を行う近距離通信部を有し、
前記携帯情報端末のタッチパネルを用いてユーザが所望の対象物の位置を指定することが可能であることを特徴とするヘッドマウント型情報出力装置。

【請求項10】

請求項１に記載のヘッドマウント型情報出力装置であって、
前記情報出力部は、前記対象物指定部に対してユーザが指定した位置を示すマーカを表示することを特徴とするヘッドマウント型情報出力装置。

【請求項11】

ユーザが頭部に装着し現実空間や仮想空間の画像を視認するヘッドマウント型情報出力装置において、
平面地図に高さ方向の３次元情報を加えた地図データである３Ｄマップを取得する３Ｄマップ取得部と、
前記取得した３Ｄマップから前記ユーザの視界内の地図データを切り出して視界地図画像を生成する視界地図画像生成部と、
前記ヘッドマウント型情報出力装置の現在位置を検出する位置センサと、
前記ヘッドマウント型情報出力装置の向いている方角を検出する地磁気センサと、
前記ヘッドマウント型情報出力装置の地面からの高さを検出する距離センサと、
前記ヘッドマウント型情報出力装置がユーザの頭部に装着されたときに前記ユーザの視線方向となる面に設けられた透過型パネルと、
前記ヘッドマウント型情報出力装置に一体として設けられ、前記視界地図画像生成部で生成された視界地図画像の画像領域と対応した位置座標が割り付けられた入力領域を有し、前記ユーザが前記透過型パネルを透過して視認した前記現実空間にある所望の対象物の位置を指定する対象物指定部と、
前記視界地図画像生成部で生成された視界地図画像の画像内で、前記対象物指定部によりユーザが指定した位置に対応する画像部分を解析して、前記ユーザが指定した対象物を識別する対象物識別部と、
前記対象物識別部が識別した対象物に関する対象物情報を取得する対象物情報取得部と、
前記対象物情報取得部が取得した対象物情報を、情報表示部からテキスト文字で、あるいは音声出力部から音声で出力する情報出力部と、を備え、
前記視界地図画像生成部では、前記３Ｄマップ取得部で取得した３Ｄマップから、前記位置センサにより検出された現在位置、および前記距離センサにより検出された地面からの高さにあって、前記地磁気センサにより検出された方角に向かって見える範囲の地図データを切り出して視界地図画像を生成し、
前記対象物指定部では、前記視界地図画像生成部が生成した視界地図画像をユーザに表示することなく、前記ユーザは視界内の前記現実空間を視認した状態で前記対象物の位置を指定することを特徴とするヘッドマウント型情報出力装置。

【請求項12】

監視カメラ映像を保有する監視映像サーバに接続し、ユーザが頭部に装着して現実空間や仮想空間の画像を視認するヘッドマウント型情報出力装置において、
前記監視映像サーバと情報の送受信を行う通信部と、
前記監視映像サーバから視界監視映像を取得する視界監視映像取得部と、
前記ヘッドマウント型情報出力装置の現在位置を検出する位置センサと、
前記ヘッドマウント型情報出力装置の向いている方角を検出する地磁気センサと、
前記ヘッドマウント型情報出力装置の地面からの高さを検出する距離センサと、
前記ヘッドマウント型情報出力装置がユーザの頭部に装着されたときに前記ユーザの視線方向となる面に設けられた透過型パネルと、
前記ヘッドマウント型情報出力装置に一体として設けられ、前記視界監視映像取得部で取得された視界監視映像と対応した位置座標が割り付けられた入力領域を有し、前記ユーザが前記透過型パネルを透過して視認した前記現実空間にある所望の対象物の位置を指定する対象物指定部と、
前記視界監視映像取得部で取得された視界監視映像内で、前記対象物指定部によりユーザが指定した位置に対応する映像部分を解析して、前記ユーザが指定した対象物を識別する対象物識別部と、
前記対象物識別部が識別した対象物に関する対象物情報を取得する対象物情報取得部と、
前記対象物情報取得部が取得した対象物情報を、情報表示部からテキスト文字で、あるいは音声出力部から音声で出力する情報出力部と、を備え、
前記視界監視映像取得部は、前記監視映像サーバに、前記位置センサ、前記地磁気センサ、前記距離センサで検出されたユーザの位置、方角、高さの情報を送信するとともに、前記監視映像サーバから、前記監視映像サーバが保有する監視カメラ映像から切り出して生成したユーザの視界内の視界監視映像を取得し、
前記対象物指定部では、前記視界監視映像取得部が取得した視界監視映像をユーザに表示することなく、前記ユーザは視界内の前記現実空間を視認した状態で前記対象物の位置を指定することを特徴とするヘッドマウント型情報出力装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの頭部に装着され現実空間や仮想空間の画像を視認するヘッドマウント型情報出力装置に関する。

【背景技術】

【0002】

ユーザの頭部に装着して用いるヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）は、現実空間や仮想空間の画像を前面に設けられた表示部に表示するもの（所謂、ビデオ透過型）と、仮想空間画像を表示部で表示しつつ目の前の現実空間画像を視認するもの（所謂、光学透過型）とがある。これらの方式により、現実世界と仮想世界をリアルタイムかつシームレスに融合させて、ユーザに対し、あたかも現実世界のその場に仮想の物体が存在するかのような体験を行わせることができる。また、このようなヘッドマウントディスプレイでは、表示された画像の中から所望の対象物（オブジェクト）を指定し、指定した対象物に対し種々の処理を行うことも可能となっている。

【0003】

ここでユーザが所望の対象物を指定するための構成に関し、例えば、特許文献１には、「ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置と、ヘッドマウントディスプレイがユーザの頭部に装着されたときに外側となる面に設けられた、ユーザの体の一部が接触又は近接したことを検知可能なタッチパッドと、タッチパッドにより検知された、ユーザの体の一部が接触又は近接したことを示す入力情報に基づいて生成される画像のデータを取得し、取得した画像のデータを表示装置に表示する表示制御部と、を備える」構成が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－８１４７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載される技術は、表示装置の表示領域と対応付けられた入力領域を有するタッチパッドにより、ユーザが指定する位置をタッチ入力し、指定された位置に相当する表示装置上の対象物の画像データを取得するものである。これを行うためには、タッチパッドのタッチ位置に対応する表示装置上の表示領域には、当然ながら、ユーザが選択する候補となる対象物を含む画像が表示されている必要がある。

【0006】

一方、ユーザは、目の前の視界内にある対象物について、即座に詳細な情報を知りたい場合がある。その際、視界から所望の対象物をいかに簡便に選択指定できるか、が課題となる。そのためには、視界にある対象物をユーザが指差すなどの直接的な操作で実現できることが望ましい。特許文献１の手法では、予め対象物を含む画像をユーザに提供することが必要であるが、そのためには画像表示のための処理や装置構成が複雑になり、またユーザにとって、表示画像を見ながらの間接的な操作となり、使い勝手が良くない。

【0007】

上記課題を鑑み、本発明の目的は、ユーザの視界内にある現実の対象物を、対象物を含む画像を表示することなく直接的に指定し、指定された対象物に関する情報を取得して出力するヘッドマウント型情報出力装置を提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するために、代表的な本発明のヘッドマウント型情報出力装置の１つは、ユーザの視界内の景色画像を撮影するカメラと、カメラで撮影された画像領域と対応する入力領域を有し、ユーザが景色画像内にある所望の対象物の位置を指定する対象物指定部と、カメラが撮影した画像内で、対象物指定部によりユーザが指定した位置に対応する画像部分を解析して、ユーザが指定した対象物を識別する対象物識別部と、対象物識別部が識別した対象物に関する対象物情報を取得生成する対象物情報取得部と、対象物情報取得部が取得した対象物情報を、情報表示部からテキスト文字で、あるいは音声出力部から音声で出力する情報出力部と、を備え、対象物指定部では、カメラが撮影した画像をユーザに表示することなく、ユーザは視界内の景色画像を視認した状態で対象物の位置を指定する構成とした。

【発明の効果】

【0009】

本発明によれば、ユーザの視界内にある現実の対象物を直接的に選択指定し、指定した対象物に関する情報を出力することができるので、使い勝手の良いヘッドマウント型情報出力装置が実現する。
また、上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】実施例１に係るヘッドマウント型情報出力装置の使用形態を示す図。

【図2】実施例１に係るヘッドマウント型情報出力装置の構成を示すブロック図。

【図3】実施例１における情報出力動作を模式的に示した図。

【図4A】１本の指で所望画像を指定入力する場合の動作を示す図。

【図4B】１本の指で所望画像を指定入力する場合の動作を示す図。

【図4C】１本の指で所望画像を指定入力する場合の動作を示す図。

【図4D】１本の指で所望画像を指定入力する場合の動作を示す図。

【図4E】１本の指で所望画像を指定入力する場合の動作を示す図。

【図4F】１本の指で所望画像を指定入力する場合の動作を示す図。

【図5A】複数の指で所望画像を指定入力する場合の動作を示す図。

【図5B】複数の指で所望画像を指定入力する場合の動作を示す図。

【図5C】複数の指で所望画像を指定入力する場合の動作を示す図。

【図5D】複数の指で所望画像を指定入力する場合の動作を示す図。

【図6A】指をスワイプして所望画像を指定入力する場合の動作を示す図。

【図6B】指をスワイプして所望画像を指定入力する場合の動作を示す図。

【図6C】指をスワイプして所望画像を指定入力する場合の動作を示す図。

【図6D】指をスワイプして所望画像を指定入力する場合の動作を示す図。

【図7】ヘッドマウント型情報出力装置の処理手順を示すフローチャート。

【図8】実施例２に係るヘッドマウント型情報出力装置の構成を示すブロック図。

【図9】実施例２における情報出力動作を模式的に示した図。

【図10A】本実施例の情報出力動作を具体例で示す図。

【図10B】本実施例の情報出力動作を具体例で示す図。

【図10C】本実施例の情報出力動作を具体例で示す図。

【図10D】本実施例の情報出力動作を具体例で示す図。

【図11】実施例３に係るヘッドマウント型情報出力装置の構成を示すブロック図。

【図12】実施例３における情報出力動作を模式的に示した図。

【図13A】本実施例の情報出力動作を具体例で示す図。

【図13B】本実施例の情報出力動作を具体例で示す図。

【図13C】本実施例の情報出力動作を具体例で示す図。

【図13D】本実施例の情報出力動作を具体例で示す図。

【発明を実施するための形態】

【0011】

以下、本発明のヘッドマウント型情報出力装置のいくつかの実施例について、図面を用いて説明する。いずれの実施例においても、ユーザは前方に見える景色から所望の対象物を選択指定すると、指定された対象物を識別し、それに関する情報を取得して出力するものである。その際、指定された対象物をどのようにして識別判定するかによって、実施例を分けて説明する。なお、以下の実施例では、ヘッドマウント型情報出力装置を「ＨＭＤ」と呼ぶことにする。

【実施例1】

【0012】

実施例１では、ユーザの前方の景色をカメラで撮影し、撮影した画像をもとにユーザが指定した所望の対象物を識別判定するものである。

【0013】

図１は、実施例１に係るヘッドマウント型情報出力装置（ＨＭＤ）１００の使用形態を模式的に示す図である。ＨＭＤ１００は、ユーザ１０の頭部に装着され、カメラ１１１、タッチパネル１１２、タッチパッド１１３、対象物識別部１１４、対象物情報取得部１１５、情報投影部１１６と光学コンバイナ１１７からなる情報表示部１１８、ヘッドフォン１１９、距離センサ１２０などを備える。さらに、情報サーバ１６０や携帯情報端末１７０との間で情報の送受信を行うことが可能である。

【0014】

ＨＭＤ１００を装着したユーザ１０は、目の前の視界の景色画像２０を、ハーフミラーからなる光学コンバイナ１１７及び透明なタッチパネル１１２を透過して直接目で視認する。カメラ１１１は、目の前の視界の景色画像２０を撮影して取り込む。タッチパネル１１２は、ユーザ１０が入力領域内の位置を指で指定入力するものである。その際、カメラ１１１で撮影し取り込んだ景色画像（カメラ画像と呼ぶ）の画像領域とタッチパネル１１２の入力領域とは、互いの領域内の位置座標が対応付けて割り付けられている（いわゆるマッピング処理がなされている）。よって、ユーザ１０はタッチパネル１１２で所望の位置を指定入力することにより、カメラ１１１で撮影し取り込んだカメラ画像の中からマッピング処理にて対応付けられた画像部分を選択することができる。

【0015】

その際、図１で模式的に示すように、タッチパネル１１２をユーザ１０の視界方向に設置し、タッチパネル１１２上の入力領域と、ユーザ１０の見る景色画像２０の画像領域（一点鎖線１５１、１５２で囲まれた領域）とが一致するように配置する。これにより、ユーザ１０がタッチパネル１１２を介して見える景色画像２０と、カメラ１１１で撮影し取り込んだカメラ画像とは、タッチパネル１１２上で位置が一致することになる。よってユーザ１０は、視界内に見える所望の画像（例えば対象物２１）の位置をタッチパネル１１２上で指定することで、まさにカメラ１１１で撮影し取り込んだカメラ画像から指定した所望の対象物を選択することができ、ユーザの視界内にある現実の対象物を直接的に選択指定する操作を行うことができる。

【0016】

対象物識別部１１４は、タッチパネル１１２で選択指定されたカメラ画像の部分を解析し、画像が映し出し示している対象物が何かを識別判定する。さらに、対象物情報取得部１１５は、対象物識別部１１４で識別判定された対象物に関する種々の情報（対象物情報と呼ぶ）を取得生成する。カメラ画像の解析や対象物情報の取得生成に際しては、外部の情報サーバ１６０から必要な情報を取得する。あるいは、ＨＭＤ１００内に所有する情報データからこれらを取得してもよい。

【0017】

情報表示部１１８は、取得した対象物情報を情報投影部１１６によりテキスト文字として投影し、光学コンバイナ１１７を介して結像させユーザ１０に表示する。これによりユーザ１０は、目の前の視界の景色画像２０を背景に、表示された対象物情報が重畳された形で両者を合わせて視認することができる。一方ヘッドフォン１１９は、取得した対象物情報を音声でユーザ１０に通知する。

【0018】

ユーザ１０がカメラ画像から所望の対象物を選択指定する手段としては、タッチパネル１１２の他に、ＨＭＤ１００の側面などに配置されたタッチパッド１１３を用いることができる。タッチパッド１１３は、パネル平板状のセンサを指でなぞることでマウスポインタの操作を行うもので、タッチパネル１１２と同様の指定入力操作を行うことができる。

【0019】

さらには、スマートフォンやスマートウオッチなどの携帯情報端末１７０を用いることも可能で、表示面にタッチパネルを有しており、ＨＭＤ１００のタッチパネル１１２と同様の指定入力操作を行うことができる。携帯情報端末１７０で指定入力された位置の情報は、近距離無線通信によりＨＭＤ１００に取り込むようにする。

【0020】

タッチパッド１１３や携帯情報端末１７０を用いる方法は、指定入力操作を行う際のユーザの姿勢に自由度があり、より操作しやすいと言える。例えば、タッチパッド１１３をユーザ１０の左右両側に設けておけば、雨天時などに右手で傘を持っているときは左手でタッチし、左手で傘を持っているときには右手でタッチすることができ、便利である。

【0021】

反面、タッチパッド１１３や携帯情報端末１７０を用いる場合には、それらの入力領域はカメラ画像の領域との間でマッピング処理はなされているものの、ＨＭＤ１００のタッチパネル１１２を用いる場合のように、ユーザが見る景色画像２０に重ねて指定入力する形態とは異なる。よって、ユーザの指定した位置が所望の画像位置からずれることもありえる。その対策として、情報表示部１１８ではユーザの指定した位置を示すマーカを表示させるようにすればよい。これによりユーザは、自分の指定した位置（マーカ位置）をユーザが見る景色画像２０に重ねて確認することができ、所望の対象物を確実に選択指定することができるようになる。このユーザの指定した位置を示すマーカは、ＨＭＤ１００のタッチパネル１１２におけるユーザの指定時にも表示してもよい。

【0022】

距離センサ１２０は、前方に存在する物体までの距離を検出するもので、ユーザにより選択指定された実際の対象物までの距離を検出する。検出した距離情報は、対象物情報の１つとして利用する。

【0023】

以上の構成により、ユーザが目の前の視界内の景色画像の中から所望の対象物を選択指定すると、指定された対象物に関する種々の対象物情報を、距離情報も含めテキスト文字や音声でユーザに通知することができる。これによりユーザは、目の前の視界の景色画像とともに、所望の対象物に関する情報をリアルタイムで視認することができ、使い勝手の良い情報出力装置が実現する。

【0024】

図２は、図１に示したＨＭＤの構成を示すブロック図である。図１で詳しく説明したものについては、繰り返しの説明を省略する。

【0025】

ＨＭＤ１００は、カメラ１１１、対象物指定部１２１、情報表示部１１８、距離センサ１２０、音声出力部１２３、音声入力部１２４を有する。さらに、対象物識別部１１４、対象物情報取得部１１５、通信部１２７、制御部１２９、メモリ部１３２、近距離通信部１３３を備え、各構成部はそれぞれバス１４０を介して相互に接続されている。

【0026】

カメラ１１１は、ＨＭＤ１００の前面に設置され、ユーザの目の前の視界の景色を撮影し、カメラ画像としてＨＭＤ１００内に取り込む。

【0027】

対象物指定部１２１は、タッチパネル１１２やタッチパッド１１３からなり、カメラ１１１で撮影されたカメラ画像の画像領域と対応付けられた入力領域を有し、ユーザが指で接触あるいは近接することで、入力領域内の位置の指定を行うものである。なお、タッチパネルやタッチパッドを目の前の前方に左右２枚設置してもよく、これによりユーザは左右どちらの指でもタッチ操作が可能となる。

【0028】

情報表示部１１８は、情報投影部（プロジェクタ）１１６と光学コンバイナ１１７を用いてテキスト文字などの対象物情報を結像して表示する。また、ＨＭＤ１００の動作状態やユーザへの通知情報を表示する。

【0029】

距離センサ１２０は、レーザーを照射しその散乱光を測定して物体までの距離や対象物の状態を検出するＬｉＤＡＲ（Light Detection and Ranging）や、ミリ波の電波を発射しその反射波を捉まえて物体までの距離や対象物の状態を検出するミリ波レーダーなどが用いられる。これにより、ユーザにより選択指定された対象物までの距離を検出する。また、距離センサ１２０で検出した対象物の状態情報を対象物識別部１１４での対象物解析に用いてもよい。

【0030】

音声出力部１２３は、ヘッドフォン１１９やスピーカーなどで構成され、対象物情報を音声に変換してユーザに出力する。また、ＨＭＤ１００の動作状態やユーザへの通知情報を出力する。音声入力部１２４は、ユーザからの音声を音声信号に変換して入力する。

【0031】

対象物識別部１１４は、カメラ画像のうち、対象物指定部１２１で選択指定した位置の画像を解析し、対象物が何かを識別判定する。対象物情報取得部１１５は、対象物識別部１１４で識別判定された対象物に関する種々の対象物情報を取得生成する。なお、対象物情報を収集取得するために、外部の情報サーバ１６０を利用する。あるいは、ＨＭＤ１００内に所有する情報データ１３１から対象物情報を取得してもよい。

【0032】

通信部１２７は、無線ＬＡＮ、有線ＬＡＮ、あるいは基地局通信により外部の情報サーバ１６０と通信を行う通信インターフェースであり、無線通信に際しては送受信アンテナ１２８を介してネットワーク１５０に接続し、情報の送受信を行う。通信部１２７では、情報サーバ１６０から画像解析に必要な情報や対象物情報を受信し、また情報サーバ１６０との間で動作制御信号の送受信を行うこともできる。なお、基地局通信としては、Ｗ－ＣＤＭＡ（Wideband Code Division Multiple Access）やＧＳＭ（Global System for Mobile communications、登録商標）などの遠距離の無線通信を用いればよい。

【0033】

制御部１２９は、ＣＰＵ等で構成され、メモリ部１３２に記憶格納されているプログラム１３０を実行することによって、ＨＭＤ１００の各構成部の動作制御を行う。

【0034】

メモリ部１３２は、フラッシュメモリなどで構成され、ＯＳ（Operating System）や制御部１２９が使用する動作制御用アプリケーションなどのプログラム１３０を記憶している。また、ＨＭＤ１００で取り扱われる画像、音声、信号などの情報データ１３１を記憶している。情報データ１３１としては、例えば、カメラ１１１の撮影画像や選択指定された所望の画像、距離センサ１２０の検出値、取得生成された対象物情報が含まれる。

【0035】

近距離通信部１３３は、携帯情報端末１７０と近距離無線通信を行う通信インターフェースである。携帯情報端末１７０で指定入力された指定位置情報の受信や、携帯情報端末１７０との間で制御情報などの送受信を行う。近距離通信部１３３は、例えば電子タグを用いて行われるが、これに限定されず、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）、Ｚｉｇｂｅｅ（登録商標）、ＨｏｍｅＲＦ（Home Radio Frequency、登録商標）、または、無線ＬＡＮ（IEEE802.11aほか）を用いることもできる。

【0036】

次に、ＨＭＤ１００の通信先である、情報サーバ１６０と携帯情報端末１７０の構成について説明する。
情報サーバ１６０は、情報生成部１６１、メモリ部１６２、制御部１６３、通信部１６４、送受信アンテナ１６５を用いて構成され、各構成部はバス１６６を介して相互に接続されている。

【0037】

情報生成部１６１は、ＨＭＤ１００からの要求で、選択指定された画像の解析に必要な情報や識別判定された対象物に関する対象物情報を生成する。メモリ部１６２は、フラッシュメモリなどであり、情報生成部１６１で生成した各種の情報や、情報サーバ１６０内の制御部１６３が使用する各種プログラムなどを記憶している。

【0038】

通信部１６４は、送受信アンテナ１６５を介しネットワーク１５０を経由してＨＭＤ１００と情報の送受信を行う通信インターフェースである。制御部１６３は、ＣＰＵ等で構成され、メモリ部１６２に記憶格納されているＯＳや動作制御用アプリケーションなどのプログラムを実行することによって、情報サーバ１６０全体の動作制御を行う。

【0039】

制御部１６３は、ＨＭＤ１００からの要求に応じて、情報生成部１６１で生成された画像解析に必要な情報や対象物に関する対象物情報、あるいは生成後一旦メモリ部１６２に保存されているこれらの情報を、ＨＭＤ１００に送信するように各構成部を制御する。

【0040】

携帯情報端末１７０は、表示部１７１、タッチパネル１７２、メモリ部１７３、制御部１７４、近距離通信部１７５を用いて構成され、各構成部はバス１７６を介して相互に接続されている。

【0041】

表示部１７１の表面に設けられたタッチパネル１７２は、ＨＭＤ１００で取り込まれたカメラ画像の画像領域と対応付けて割り付けられた入力領域を有し、ユーザによる所望位置の指定入力を受け付ける。ただし、ユーザがタッチパネル１７２で位置を指定入力するときは、前方の視界内の景色画像２０を見ながら操作することになる。

【0042】

制御部１７４は、ＣＰＵ等で構成され、携帯情報端末１７０の各構成部を制御する。メモリ部１７３は、フラッシュメモリなどであり、携帯情報端末１７０で生成した情報や、制御部１７４が使用する各種プログラムなどを記憶している。近距離通信部１７５は、ＨＭＤ１００と近距離無線通信を行う通信インターフェースである。

【0043】

ユーザがタッチパネル１７２により入力領域内の所望の位置を指で指定入力すると、指定入力された位置の情報は、一旦メモリ部１７３に保存されるとともに、近距離通信部１７５を介してＨＭＤ１００に送信される。その結果、ＨＭＤ１００では、ユーザが指定した位置に対応するカメラ画像内の対象物を選択することができる。

【0044】

図３は、本実施例における情報出力動作を模式的に示した図である。
（ａ）はユーザ１０の目の前の視界の景色画像の例で、（ｂ）はカメラ１１１により景色画像を撮影して取り込んだカメラ画像である。（ｃ）は透明なタッチパネル１１２で、ユーザ１０はタッチパネル１１２を介して（ａ）の景色画像を視認することができる。（ｃ）のタッチパネル１１２の入力領域は、（ｂ）のカメラ画像の領域と対応付けて割り付けられている（マッピング処理）。

【0045】

ここでユーザ１０は、（ａ）の景色画像内の所望の画像（対象物２１）について情報を得ようとして、（ｃ）のタッチパネル１１２の上の対応する位置に指１１を接触させたとする。

【0046】

対象物識別部１１４は、（ｂ）のカメラ画像において、ユーザが指定した位置に対応する画像部分２２を解析して、画像部分２２が示す対象物は「○○キノコ」であることを識別判定する。対象物情報取得部１１５は、識別判定した対象物「○○キノコ」に関する情報を収集するため、（ｄ）の情報サーバ１６０に問い合わせる。情報サーバ１６０では問合せのあった対象物について検索し、この○○キノコに関する対象物情報として、「毒性のあるキノコである」という情報が返送される。

【0047】

（ｅ）の情報表示部１１８、あるいは（ｆ）のヘッドフォン１１９は、情報サーバ１６０から受け取った対象物情報を、テキスト文字あるいは音声にてユーザに提供する。例えば、「これは毒性のある○○キノコです」とか、距離情報も含めて「前方１５メートルに毒キノコがあります」などと出力する。

【0048】

このようにユーザ１０は、タッチパネル１１２を介して景色画像を見ながら、所望の画像（対象物２１）が見えるタッチパネル１１２上の位置を指定することで、所望の対象物についての情報を即座に得ることができる。

【0049】

ここで、（ｃ）のタッチパネル１１２上で、ユーザ１０が指１１を用いて景色画像内の所望の画像（対象物２１）を選択指定する方法はいくつか可能であり、それらについて説明する。
図４Ａから図４Ｆは、１本の指で所望画像を指定入力する場合の動作を示す図である。

【0050】

図４Ａは、ユーザの見る目の前の視界の景色画像４０１の例であり、噴水４０２やブランコ４０３などがある公園内の風景である。図４Ｂはタッチパネル１１２で、カメラ画像の画像領域と対応付けられた入力領域を有し、タッチパネル１１２を介して目の前の景色画像４０１が見えている。ユーザは１本の指１１で、所望画像である噴水４０２の見えるタッチパネル１１２上の位置を指定する（指定された位置の景色画像を点線で示す）。

【0051】

対象物識別部１１４では対象物が「噴水」であることを識別判定し、対象物情報取得部１１５では、対象物である噴水に関する情報を情報サーバ１６０から取得生成する。

【0052】

そして図４Ｃに示すように、ヘッドフォン１１９から「これは水を噴出する装置である噴水です」という情報４０５を音声で出力する。また、図４Ｄに示すように、情報表示部１１８により視界の景色画像４０１に合わせて、テキスト文字で同様の情報４０６を表示する。

【0053】

さらに、ユーザの要求に応じて、距離センサ１２０により検出した対象物までの距離も含めた対象物情報を生成することも可能である。そして、図４Ｅに示すように、ヘッドフォン１１９から、例えば「３メートル前方の位置に噴水があります」という情報４０７を音声で出力する。また、図４Ｆに示すように、情報表示部１１８により視界の景色画像４０１に合わせて、テキスト文字で同様の情報４０８を表示する。

【0054】

図５Ａから図５Ｄは、複数の指で所望画像を指定入力する場合の動作を示す図である。
図５Ａは、目の前の視界の景色画像５０１の例であり、噴水５０２、子供５０３、大きな木５０４などがある公園内の風景である。図５Ｂはタッチパネル１１２で、タッチパネル１１２を介して目の前の景色画像５０１が見えている。ユーザは複数の指１２で、所望画像である噴水５０２、子供５０３、および大きな木５０４を囲むようにタッチパネル１１２上の位置を指定する（指定された位置の景色画像を点線で示す）。

【0055】

対象物識別部１１４では、対象物が複数あり、「噴水」と「子供」と「大きな木」であることを識別判定し、対象物情報取得部１１５では、対象物である噴水と子供と大きな木に関する複数の情報を取得生成する。

【0056】

そして図５Ｃに示すように、ヘッドフォン１１９から「大きな松の木の前に、水を噴出する噴水があり、その左側に小学生の子供がいます」という情報５０５を音声で出力する。また、図５Ｄに示すように、情報表示部１１８により視界の景色画像５０１に合わせて、テキスト文字で同様の情報５０６を表示する。
なお、対象物情報に対象物までの距離を含める場合には、例えば「１０メートル前方の位置に大きな木があり、その前の３メートル前方の位置に噴水があり、その左側２メートル前方の位置に子供がいます」といった情報になる。

【0057】

このように、ユーザは複数の指を用いて視界の中の複数の画像（対象物）を指定することで、複数の対象物の情報を同時に出力させることも可能である。

【0058】

図６Ａから図６Ｄは、指をスワイプして所望画像を指定入力する場合の動作を示す図である。スワイプとは、タッチ面で指を滑らして特定の方向へ動かす操作である。
図６Ａは、目の前の視界の景色画像６０１の例であり、花壇６０２、噴水６０３、ベンチ６０４などがある公園内の風景である。図６Ｂはタッチパネル１１２で、タッチパネル１１２を介して目の前の景色画像６０１が見えている。タッチパネル１１２上でユーザは指１１をスワイプ（矢印１３で示す）することで、スワイプした範囲に存在する花壇６０２、噴水６０３、ベンチ６０４を指定する（指定された位置の景色画像を点線で示す）。

【0059】

対象物識別部１１４では、対象物が「花壇」と「噴水」と「ベンチ」であることを識別判定し、対象物情報取得部１１５では、対象物である花壇と噴水とベンチに関する情報を取得生成する。

【0060】

そして図６Ｃに示すように、ヘッドフォン１１９から「左に花などが植栽された花壇、真ん中に水を噴出する噴水、右に長いすのベンチがあります」という情報６０５を音声で出力する。また、図６Ｄに示すように、情報表示部１１８により視界の景色画像６０１に合わせて、テキスト文字で同様の情報６０６を表示する。
なお、対象物情報に対象物までの距離を含める場合には、例えば「左４メートル前方の位置に花壇、真ん中３メートル前方の位置に噴水、右２メートル前方の位置にベンチがあります」といった情報になる。

【0061】

このように、ユーザは指をスワイプすることで、視界の中でスワイプした方向に存在する複数の画像（対象物）を指定することができ、景色画像内の対象物の配置状態も含めて確認認識することが可能となる。

【0062】

上記の例では、タッチパネル１１２を用いて対象物を指定する場合を説明したが、タッチパッド１１３や、携帯情報端末１７０のタッチパネル１７２を用いて対象物を指定する場合も同様の動作となる。ただしその場合は、ユーザが見る景色画像に重ねて指定入力する形態とは異なる。よって前述したように、ユーザの指定した位置を情報表示部１１８にてマーカで表示するようにすれば、ユーザは景色画像と指定位置との関係を容易に把握できる。その際、図５Ｂのように複数の指を用いる場合は複数のマーカを表示し、図６Ｂのように指でスワイプするときはスワイプ位置にライン状のマーカを表示すればよい。このマーカは、ＨＭＤ１００のタッチパネル１１２におけるユーザの指定時にも表示してもよい。

【0063】

図７は、上記したＨＭＤの処理手順を示すフローチャートである。ここでは、ユーザにより所望の画像（対象物）が指定され、その対象物情報を取得して出力するまでの流れを示し、制御部１２９によって以下のステップが進行される。

【0064】

Ｓ３０１：カメラ１１１で目の前の視界を撮影し、ユーザの見ている景色画像（カメラ画像）を取り込む。
Ｓ３０２：ユーザにより対象物指定部１２１（タッチパネル１１２など）にて所望の画像の選択指定入力が行われたかを判定する。指定入力が行われないときは、指定入力が行われるまで待機し、その間、Ｓ３０１の撮影を継続して最新のカメラ画像を取り込む。

【0065】

Ｓ３０３：指定入力が行われると、対象物識別部１１４はカメラ画像を参照し、対象物指定部１２１により指定された位置に対応する所望の画像を解析し、所望の画像が映し出している対象物を識別判定する。その際、ユーザの指定方法が１本の指による場合（図４Ｂに示す）は、１つの画像を解析し、１つの対象物を識別判定する。指定方法が複数の指による場合（図５Ｂに示す）は、複数の指に囲まれた範囲内の画像を解析し、指をスワイプして指定された場合（図６Ｂに示す）は、スワイプされた範囲内の画像を解析し、複数の対象物を識別判定する。

【0066】

Ｓ３０４：対象物情報取得部１１５は、対象物識別部１１４で識別判定された対象物に関する対象物情報を取得生成する。そのため、情報サーバ１６０に問合せて、情報収集を行う。あるいは、ＨＭＤ１００内に所有する情報データ１３１から対象物情報を収集取得してもよい。

【0067】

Ｓ３０５：Ｓ３０２で選択指定入力される際に、ユーザにより対象物までの距離検出が要求されたかを判定する。距離検出が要求されたときはＳ３０６へ、距離検出が要求されないときはＳ３０８へ進む。

【0068】

Ｓ３０６：距離センサ１２０にて対象物までの距離を検出する。対象物が複数存在するときは、それぞれの対象物について行う。その際、距離センサ１２０により前方の景色画像に含まれる各物体までの距離は２次元状に測定されるが、景色画像と対象物指定部１２１（タッチパネル）とは領域内位置が対応付けられているので、指定された対象物の距離データは容易に抽出できる。
Ｓ３０７：対象物情報取得部１１５は、検出した距離情報を、Ｓ３０４で取得生成した対象物情報に追加する。

【0069】

Ｓ３０８：情報表示部１１８または音声出力部１２３は、取得生成された対象物情報をテキスト文字で表示、あるいは音声により出力してユーザに通知する。もちろん、テキスト文字と音声の両方で通知してもよい。
Ｓ３０９：選択指定入力が終了するまで、上述のシーケンスを繰り返す。

【0070】

なお、Ｓ３０５において距離検出を要求する場合のユーザの操作は、指で所望画像を指定入力する際に、さらに強く押込む操作、所定時間以上長く押す操作、あるいは所望画像位置の周辺を回す操作などとすれば、Ｓ３０２における所望画像の選択指定入力操作と区別できる。

【0071】

さらに、ユーザが対象物の情報をより詳細に知りたい場合の選択指定の操作として、１本の指で所望画像を何度も指定入力する操作や、１本の指で長い時間指定する操作などを組み合わせることができる。

【0072】

具体的に言えば、例えば図４Ｂにおいて１本の指で１回指定した場合は、対象物情報を「これは噴水です」とし、１本の指で２回指定した場合は「ペリカンの形をした噴水です」と詳細に説明する。また３回指定した場合は「ペリカンの形をした噴水で、くちばしから水が上に向かって吹きあがっています」とし、さらに４回指定した場合は「白色のペリカンの形をした噴水で、くちばしから水が強弱を繰り返しながら上に向かって吹きあがっています」というように、指定回数を増やすほど対象物情報をより一層詳細に説明する。これによりユーザは、納得がいくまで指定入力回数を増やして必要十分な対象物情報を得ることできる。

【0073】

また、ＨＭＤ１００内の音声入力部１２４を用いてユーザの声を取り込み、ユーザの質問音声に対して答える形式で詳細な説明を行うように構成してもよい。例えば、１本の指で指定入力操作を行った後、ユーザが「詳しく教えて」と発声すると、「白色のペリカンの形をした噴水で、くちばしから水が強弱を繰り返しながら上に向かって吹きあがっています」というように、テキスト文字や音声にて通知する。これにより、一層使い勝手よく対象物情報を知ることができる。

【0074】

さらには、音声入力部１２４としてステレオマイクを搭載し、指で指定した対象物が発声している音声をステレオマイクで集音して、カメラ画像とともに解析することも可能である。例えば、公園などで指で指定した位置に鳴いているカラスがいると、対象物の発声音も含めた形で「カァーカァーと鳴いているカラスです」というような対象物情報を生成し、テキスト文字や音声で通知する。これにより、対象物からの発声音も含めて対象物の様子や状態を認識することができる。

【0075】

このように本実施例のヘッドマウント型情報出力装置（ＨＭＤ）によれば、ユーザは前方の景色を見ながら、指で指定した対象物の情報をテキスト文字や音声で確認認識することができる。特に、視覚または聴覚が不自由なユーザの場合には、目の前に存在する対象物の情報を容易に知ることができるので、使い勝手の良いツールとなる。

【実施例2】

【0076】

実施例２では、ユーザの前方の景色をカメラで撮影せずに、現在位置での地図データを取得し、ユーザが指定した所望の対象物について地図データをもとに識別判定する構成とした。

【0077】

図８は、実施例２に係るヘッドマウント型情報出力装置（ＨＭＤ）１００’の構成を示すブロック図である。図８において、実施例１（図２）と同一の符号を付した部分は前記した説明と同様であり、それらの詳細な説明は省略し相違する部分を説明する。

【0078】

ＨＭＤ１００’は、実施例１におけるカメラ１１１の代わりに、３Ｄマップ取得部２０１、視界地図画像生成部２０２を備え、さらに位置センサ２０３、地磁気センサ２０４を追加して構成している。またＨＭＤ１００’は、ネットワーク１５０を介して地図提供サーバ１８０に接続されている。他の構成は、実施例１（図２）と同様である。

【0079】

３Ｄマップ取得部２０１は、平面地図に高さ方向の３次元情報を加えた地図データである３Ｄマップを、ネットワーク１５０やクラウドサービス等を用いて外部の地図提供サーバ１８０から収集取得する。なお、このとき取得先となる地図提供サーバ１８０は、この後に対象物情報を取得する情報サーバ１６０と同一であってもよい。３Ｄマップの３次元情報には、土地の標高や建築物の高さなどの情報が含まれ、これにより所望の地域の地形や建築物の形状を知ることができる。

【0080】

視界地図画像生成部２０２は、３Ｄマップからユーザの視界内の地図データを切り出して、「視界地図画像」を生成する。視界地図画像とは、ユーザの位置から見える範囲の地図データを、ユーザの見る景色画像の位置に対応して配置したものである。

【0081】

対象物指定部１２１（タッチパネル１１２など）の入力領域は、視界地図画像生成部２０２で生成した視界地図画像の画像領域と対応付けて割り付けられており、ユーザが位置を指定することで、視界地図画像内の対応する位置の対象物を指定することができる。

【0082】

位置センサ２０３は、例えば上空にあるＧＰＳ（Global Positioning System）衛星からの信号を受信するＧＰＳ受信器であり、ＨＭＤ１００’の現在位置（すなわちユーザの現在位置）を検出する。

【0083】

地磁気センサ２０４は、地球の磁力を検出し、ＨＭＤ１００’の向いている方角（すなわちユーザの向いている方向）を検出する。

【0084】

距離センサ１２０は、ユーザにより選択指定された対象物までの距離を検出するとともに、ＨＭＤ１００’の地面からの高さ（すなわちユーザが居る場所の地面からの高さ）を検出する。

【0085】

図９は、本実施例における情報出力動作を模式的に示した図である。
（ａ）はユーザ１０の目の前の視界の景色画像の例で、（ｂ１）は３Ｄマップ取得部２０１が外部の情報サーバ１６０から取得した３Ｄマップである。この３Ｄマップ上で、位置センサ２０３が検出したユーザが居る位置と、距離センサ１２０で検出したユーザが居る場所の地面からの高さ位置を基点に、地磁気センサ２０４で検出したユーザが向いている方角を定める。

【0086】

（ｂ２）は視界地図画像であり、視界地図画像生成部２０２が上記３Ｄマップから、上記基点に居るユーザが見ることのできる前方の景色に対応する地図データを切り出して生成したものである。その際、切り出した地図データをユーザの視界方向に合わせて配置することで、ユーザの見る（ａ）の景色画像と（ｂ２）の視界地図画像とは、画像内位置が対応したものとなる。ここでは（ｂ２）の視界地図画像に含まれる対象物を（ａ）の景色画像の対象物と同じイラストで示しているが、実際には３Ｄマップに含まれる３次元情報が対応する位置に配置されている。

【0087】

（ｃ）は透明なタッチパネル１１２で、ユーザ１０はタッチパネル１１２を介して（ａ）の景色画像を視認することができる。（ｃ）のタッチパネル１１２の入力領域は、（ｂ２）の視界地図画像の領域と対応付けて割り付けられている（マッピング処理）。ここでユーザ１０は、（ａ）の景色画像内の所望の画像（対象物２１）について情報を得ようとして、（ｃ）のタッチパネル１１２の上の対応する位置に指１１を接触させたとする。

【0088】

対象物識別部１１４は、（ｂ２）の視界地図画像において、ユーザが指定した位置に対応する画像部分２２を解析して、指定された対象物が何かを識別判定する。その際、（ｂ１）の３Ｄマップの地図データを参照すれば、例えば単に「学校」であるとか、「〇〇市立〇〇小学校」であるとかが判明する。

【0089】

以後の動作は実施例１の図３（ｄ）～（ｆ）と同様で、対象物情報取得部１１５は、識別判定した対象物「〇〇小学校」に関する情報を収集するため、情報サーバ１６０に問い合わせる。そして、情報サーバ１６０から受け取った対象物情報を、情報表示部１１８あるいはヘッドフォン１１９にて、テキスト文字あるいは音声にてユーザに提供する。

【0090】

このように本実施例においても、ユーザ１０は、タッチパネル１１２を介して景色画像を見ながら、所望の画像（対象物２１）が見えるタッチパネル１１２上の位置を指定することで、所望の画像（対象物）についての情報を即座に得ることができる。

【0091】

図１０Ａから図１０Ｄは、本実施例の情報出力動作を具体例で示す図である。
図１０Ａは、ＨＭＤ１００’を装着したユーザ１０が小山７００に位置し、周辺の景色を見ている状態である。周辺の景色画像７０１には、タワー７０２、建物７０３、７０４などが存在している。このときＨＭＤ１００’は、外部の地図提供サーバ１８０から３Ｄマップを取得する。そして、ユーザ１０の位置とユーザ１０の向いている方角７０５をもとに、ユーザの見ている景色画像７０１に対応する視界地図画像を生成する。ただし、生成した視界地図画像は表示されないので、ユーザ１０には見えない。

【0092】

図１０Ｂはタッチパネル１１２で、視界地図画像の画像領域と対応付けられた入力領域を有し、タッチパネル１１２を介して目の前の景色画像７０１が見えている。ユーザは指１１で、所望画像であるタワー７０２の見えるタッチパネル１１２上の位置を指定する（指定された位置の景色画像を点線で示す）。

【0093】

対象物識別部１１４では対象物が「タワー」であることを識別判定し、対象物情報取得部１１５では、対象物であるタワーに関する情報を情報サーバ１６０から取得生成する。

【0094】

そして図１０Ｃに示すように、ヘッドフォン１１９から「これは右前方１キロメートル先にあるタワーで、放送用の中継局です」という情報７０６を音声で出力する。また、図１０Ｄに示すように、情報表示部１１８により同様の情報７０７をテキスト文字で表示する。

【0095】

なお、本実施例においても、ユーザ１０が景色画像内の所望の画像を指定するために、前記図５Ｂのように複数の指を用いたり、前記図６Ｂのように指をスワイプしたりする操作も可能である。また、実施例１で説明したようにユーザの指定した位置を示すマーカの表示を行うことも可能である。

【0096】

このように本実施例においても、ユーザは前方の景色を見ながら、指で指定した対象物の情報をテキスト文字や音声で確認認識することができる。ただし本実施例では、ユーザの指定した対象物を認識判定するため、地図提供サーバ１８０から３Ｄマップを取得し、その地図データを利用して対象物の識別判定を行うようにしている。例えば建物や道路などの固定された対象物は、変化しない地図データとして３Ｄマップに登録されているので、これを利用することができ、実施例１のように目の前の景色をカメラで撮影する必要がなくなる。
なお、上記説明では３Ｄマップの地図データを利用するものとしたが、２Ｄマップすなわち２次元の地図データを利用しても、類似の動作を実現できる。

【実施例3】

【0097】

実施例３では、外部から監視カメラの映像を取得し、ユーザが指定した所望の対象物について監視カメラの映像をもとに識別判定する構成とした。

【0098】

図１１は、実施例３に係るヘッドマウント型情報出力装置（ＨＭＤ）１００”の構成を示すブロック図である。図１１において、実施例１（図２），実施例２（図８）と同一の符号を付した部分は前記した説明と同様であり、それらの詳細な説明は省略し相違する部分を説明する。

【0099】

ＨＭＤ１００”は、実施例１におけるカメラ１１１、及び実施例２における３Ｄマップ取得部２０１、視界地図画像生成部２０２の代わりに、視界監視映像取得部２１１を用いて構成している。またＨＭＤ１００”は、ネットワーク１５０を介して監視映像サーバ１９０に接続されている。他の構成は、実施例１や実施例２と同様である。

【0100】

視界監視映像取得部２１１は、外部に設置した監視カメラからの撮影映像を、ネットワーク１５０やクラウドサービス等を介して外部の監視映像サーバ１９０から取得する。なお、このとき取得先となる監視映像サーバ１９０は、この後に対象物情報を取得する情報サーバ１６０と同一であってもよい。

【0101】

ここに監視映像サーバ１９０は、手広くくまなく設置されている多数の監視カメラの映像を保有管理している。そして、ＨＭＤ１００”が、位置センサ２０３、地磁気センサ２０４、距離センサ１２０で検出したユーザの位置、高さ、向いている方角といった情報を監視映像サーバ１９０に送る。すると監視映像サーバ１９０の視界映像生成部１９１は、保有している監視カメラ映像からユーザの前方の監視カメラ映像を切り出し生成して、ＨＭＤ１００”に送信する。よって、視界監視映像取得部２１１が取得する監視カメラ映像は、ユーザの位置から見える景色画像に対応して配置されたものであり、以下、「視界監視映像」と呼ぶ。

【0102】

対象物指定部１２１（タッチパネル１１２など）の入力領域は、視界監視映像取得部２１１で取得した視界監視映像の映像領域と対応付けて割り付けられており、ユーザが位置を指定することで、視界監視映像内の対応する位置の対象物を指定することができる。

【0103】

図１２は、本実施例における情報出力動作を模式的に示した図である。
（ａ）はユーザ１０の目の前の視界の景色画像の例で、（ｂ）は視界監視映像取得部２１１が監視映像サーバ１９０から取得した視界監視映像である。この視界監視映像は、ユーザ１０の位置、高さ、向いている方角をもとに、各監視カメラの映像から切り出したものである。よって、ユーザの見る（ａ）の景色画像と（ｂ）の視界監視映像とは、画像内位置が対応したものとなる。ただし、ユーザの位置と監視カメラの位置は異なることから、ユーザには見えないが監視カメラには写る物体、あるいはその逆に、ユーザには見えても監視カメラには写らない物体が存在する場合がある。

【0104】

（ｃ）は透明なタッチパネル１１２で、ユーザ１０はタッチパネル１１２を介して（ａ）の景色画像を視認することができる。（ｃ）のタッチパネル１１２の入力領域は、（ｂ）の視界監視映像の領域と対応付けて割り付けられている（マッピング処理）。

【0105】

ここでユーザ１０は、（ａ）の景色画像内の所望の画像（対象物２１）について情報を得ようとして、（ｃ）のタッチパネル１１２の上の対応する位置に指１１を接触させたとする。

【0106】

対象物識別部１１４は、（ｂ）の視界監視映像において、ユーザが指定した位置に対応する映像部分２２を解析して、指定された対象物が何かを識別判定する。この例では、「自動車」であることが判明する。

【0107】

以後の動作は実施例１の図３（ｄ）～（ｆ）と同様で、対象物情報取得部１１５は、識別判定した対象物「自動車」に関する情報を収集するため、情報サーバ１６０に問い合わせる。そして、情報サーバ１６０から受け取った対象物情報を、情報表示部１１８あるいはヘッドフォン１１９にて、テキスト文字あるいは音声にてユーザに提供する。

【0108】

このように本実施例においても、ユーザ１０は、タッチパネル１１２を介して景色画像を見ながら、所望の画像（対象物２１）が見えるタッチパネル１１２上の位置を指定することで、所望の画像（対象物）についての情報を即座に得ることができる。

【0109】

図１３Ａから図１３Ｄは、本実施例の情報出力動作を具体例で示す図である。
図１３Ａは、ユーザ１０が見ている前方の景色映像８０１で、ビル８０２や走行している自動車８０３が存在している。このときＨＭＤ１００”は、外部の監視映像サーバ１９０に、監視カメラ映像を要求する。これに対し情報サーバ１６０は、保有している監視カメラ映像からユーザの前方に見える景色に対応する視界監視映像を切り出し生成して提供する。ただし、ＨＭＤ１００”では受け取った視界監視映像は表示しないので、ユーザには見えない。

【0110】

図１３Ｂはタッチパネル１１２で、受け取った視界監視映像の映像領域と対応付けられた入力領域を有し、タッチパネル１１２を介して目の前の景色画像８０１が見えている。ユーザは指１１で、所望画像である自動車８０３の見えるタッチパネル１１２上の位置を指定する（指定された位置の景色画像を点線で示す）。

【0111】

対象物識別部１１４では対象物が「走行中の自動車」であることを識別判定し、対象物情報取得部１１５では、対象物である自動車に関する情報を情報サーバ１６０から取得生成する。

【0112】

そして図１３Ｃに示すように、ヘッドフォン１１９から「これは○○製でミニバンタイプの車です」という情報８０６を音声で出力する。また、図１３Ｄに示すように、情報表示部１１８により同様の情報８０７をテキスト文字で表示する。

【0113】

なお、本実施例においても、ユーザ１０が景色画像内の所望の画像を指定するために、前記図５Ｂのように複数の指を用いたり、前記図６Ｂのように指をスワイプしたりする操作も可能である。また、実施例１で説明したようにユーザの指定した位置を示すマーカの表示を行うことも可能である。

【0114】

このように本実施例においても、ユーザは前方の景色を見ながら、指で指定した対象物の情報をテキスト文字や音声で確認認識することができる。ただし本実施例では、ユーザの指定した対象物を認識判定するため、監視カメラで撮影された映像を利用して対象物の識別判定を行うようにしている。よって実施例２のように固定された対象物だけでなく、自動車や通行人など移動あるいは変化する対象物であっても、リアルタイムに確認認識することが可能となる。また、対象物が移動し建物の陰に隠れてユーザからは見えない状態であっても、対象物近傍に設置した監視カメラでは撮影可能な場合がある。ひいては、３６０度監視カメラを利用すればほとんど死角なく撮影可能なので、例えば事件などがあった場合の対象物の追跡に有効な手段として利用できる。また、ユーザの要求に応じて、ユーザからは見えない状態の対象物の情報をテキスト文字や音声で確認認識できるようにしてもよい。

【0115】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【符号の説明】

【0116】

１０：ユーザ、１００、１００’，１００”：ヘッドマウント型情報出力装置（ＨＭＤ）、１１１：カメラ、１１２：タッチパネル、１１３：タッチパッド、１１４：対象物識別部、１１５：対象物情報取得部、１１６：情報投影部、１１７：光学コンバイナ、１１８：情報表示部、１１９：ヘッドフォン、１２０：距離センサ、１２１：対象物指定部、１２３：音声出力部、１２４：音声入力部、１２７：通信部、１２９：制御部、１３２：メモリ部、１３３：近距離通信部、１５０：ネットワーク、１６０：情報サーバ、１６１：情報生成部、１７０：携帯情報端末、１７１：表示部、１７２：タッチパネル、１８０：地図提供サーバ、１９０：監視映像サーバ、２０１：３Ｄマップ取得部、２０２：視界地図画像生成部、２０３：位置センサ、２０４：地磁気センサ、２１１：視界監視映像取得部。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図4F】

【図5A】

【図5B】

【図5C】

【図5D】

【図6A】

【図6B】

【図6C】

【図6D】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図10C】

【図10D】

【図11】

【図12】

【図13A】

【図13B】

【図13C】

【図13D】