特許 6019680 表示装置、表示方法、及び、表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6019680

(24)【登録日】2016年10月14日

(45)【発行日】2016年11月2日

(54)【発明の名称】表示装置、表示方法、及び、表示プログラム

(51)【国際特許分類】

   H04N 5/225 20060101AFI20161020BHJP

   G06T 19/00 20110101ALI20161020BHJP

   G01C 21/00 20060101ALI20161020BHJP

   G08G 1/005 20060101ALI20161020BHJP

【ＦＩ】

   H04N5/225 F

   G06T19/00

   G01C21/00

   G08G1/005

【請求項の数】10

【全頁数】16

(21)【出願番号】特願2012-85135(P2012-85135)

(22)【出願日】2012年4月4日

(65)【公開番号】特開2013-214913(P2013-214913A)

(43)【公開日】2013年10月17日

【審査請求日】2015年4月3日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】佐々木 秀貴

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開平１０−２６７６７１（ＪＰ，Ａ）

【文献】 特開２００５−３３７８６３（ＪＰ，Ａ）

【文献】 特開２０１０−０６０７１２（ＪＰ，Ａ）

【文献】 特開２０１１−２２９６７９（ＪＰ，Ａ）

【文献】 特開２００４−２６４９０７（ＪＰ，Ａ）

【文献】 特開２００７−２１８６４５（ＪＰ，Ａ）

【文献】 特表２００８−５４２７４６（ＪＰ，Ａ）

【文献】 特開２００９−２２９１８０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０１Ｃ ２１／００

Ｇ０６Ｔ １９／００

Ｇ０８Ｇ １／００５

(57)【特許請求の範囲】

【請求項1】

撮像した画像に情報を付加して表示する表示装置であって、
当該表示装置の位置を検出する位置検出部と、
対象空間の画像を撮像する撮像部と、
撮像した画像および前記位置検出部が検出した位置に基づいて、対象空間内の構造物の立体形状を判別する判別部と、
複数の構造物のそれぞれに対応付けて構造物の立体形状を記憶するデータベースを検索するデータベース検索部と、
判別された立体形状に対応付けられた構造物を前記データベース検索部により検索させて、当該立体形状に対応する構造物を特定する特定部と、
判別された立体形状に基づいて、構造物の特定の箇所に対応する画像中の領域に前記情報を付加して表示する表示処理部と、
を備え、
前記特定部は、前記位置検出部が検出した位置に基づいて構造物の検索範囲を絞り込み、
前記データベース検索部は、前記特定部が絞り込んだ検索範囲内に位置する構造物を前記データベースから検索する
表示装置。

【請求項2】

前記撮像部が撮像した画像に基づいて、前記データベースに格納された構造物の立体形状を更新する更新部を更に備える
請求項１に記載の表示装置。

【請求項3】

前記位置検出部は、位置センサにより検出した位置、及び、撮像された前記対象空間の画像中において前記特定部が特定した構造物が撮像された領域の位置に基づいて、前記対象空間の画像を撮像した位置および撮像方向を検出する
請求項１または２に記載の表示装置。

【請求項4】

前記データベースは、それぞれの構造物に対応付けて、当該構造物の立体形状および内部形状を記憶し、
前記表示処理部は、構造物の少なくとも一部に対応する画像中の領域に、当該構造物の内部を示す画像を表示する
請求項１から３のいずれか１項に記載の表示装置。

【請求項5】

前記表示処理部は、構造物の壁面に対応する画像中の領域に前記情報を張り付けた画像を表示する請求項１から４のいずれか１項に記載の表示装置。

【請求項6】

使用者が指定した目的地までの経路を探索する経路探索部を更に備え、
前記表示処理部は、一の構造物である道路に対応する画像中の領域に目的地までの経路を表示し、当該経路が他の構造物である建物の裏側へと続く場合においては建物の裏側に位置することを示す表示形式によって当該経路を表示する
請求項１から５のいずれか１項に記載の表示装置。

【請求項7】

前記表示処理部は、判別された立体形状に基づいて、構造物の未完成である箇所に対応する画像中の領域に完成後の画像を表示する請求項１から６のいずれか１項に記載の表示装置。

【請求項8】

前記位置検出部は、当該表示装置の位置として複数の候補位置を検出したことに応じて、当該複数の候補位置を使用者に提示して位置を選択させる請求項１から７のいずれか１項に記載の表示装置。

【請求項9】

携帯端末により、撮像した画像に情報を付加して表示する表示方法であって、
前記携帯端末が有する位置検出部が、前記携帯端末の位置を検出する段階と、
前記携帯端末が有する撮像部が、対象空間の画像を撮像する段階と、
前記携帯端末が有する情報処理部が、撮像した前記画像および前記位置検出部が検出した位置に基づいて、対象空間内の構造物の立体形状を判別する段階と、
前記情報処理部が、判別された立体形状に対応付けられた構造物を、複数の構造物のそれぞれに対応付けて構造物の立体形状を記憶するデータベースから検索して、当該立体形状に対応する構造物を特定する段階と、
前記情報処理部が、判別された立体形状に基づいて、構造物の特定の箇所に対応する前記画像中の領域に前記情報を付加して画像を前記携帯端末の表示部により表示させる段階と、
を備え、
前記構造物を特定する段階において、前記位置検出部が検出した位置に基づいて構造物の検索範囲を絞り込み、絞り込んだ検索範囲内に位置する構造物を前記データベースから検索する
表示方法。

【請求項10】

携帯端末により撮像した画像に情報を付加させて表示させるための表示プログラムであって、
当該表示プログラムは、前記携帯端末を、
前記携帯端末の位置を検出する位置検出部と、
対象空間の画像を撮像する撮像部と、
撮像した前記画像および前記位置検出部が検出した位置に基づいて、対象空間内の構造物の立体形状を判別する判別部と、
複数の構造物のそれぞれに対応付けて構造物の立体形状を記憶するデータベースを検索するデータベース検索部と、
判別された立体形状に対応付けられた構造物を前記データベース検索部により検索させて、当該立体形状に対応する構造物を特定する特定部と、
判別された立体形状に基づいて、構造物の特定の箇所に対応する前記画像中の領域に前記情報を付加して表示する表示処理部と、
して機能させ、
前記特定部は、前記位置検出部が検出した位置に基づいて構造物の検索範囲を絞り込み、
前記データベース検索部は、前記特定部が絞り込んだ検索範囲内に位置する構造物を前記データベースから検索する
表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示装置、表示方法、及び、表示プログラムに関する。

【背景技術】

【0002】

撮像した構造物に、建物名等の情報を付加した画像を表示する表示装置が知られている（例えば、特許文献１参照）。
［特許文献１］ 特開２０１２−３８１５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、上述の表示装置では、撮像した構造物の立体形状を考慮しておらず、使用者が情報を見難くなってしまう可能性があるといった課題がある。

【課題を解決するための手段】

【0004】

本発明の第１の態様においては、 撮像した画像に情報を付加して表示する表示装置であって、当該表示装置の位置を検出する位置検出部と、対象空間の画像を撮像する撮像部と、撮像した画像および前記位置検出部が検出した位置に基づいて、対象空間内の構造物の立体形状を判別する判別部と、複数の構造物のそれぞれに対応付けて構造物の立体形状を記憶するデータベースを検索するデータベース検索部と、判別された立体形状に対応付けられた構造物を前記データベース検索部により検索させて、当該立体形状に対応する構造物を特定する特定部と、判別された立体形状に基づいて、構造物の特定の箇所に対応する画像中の領域に前記情報を付加して表示する表示処理部と、を備え、前記特定部は、前記位置検出部が検出した位置に基づいて構造物の検索範囲を絞り込み、前記データベース検索部は、前記特定部が絞り込んだ検索範囲内に位置する構造物を前記データベースから検索する表示装置を提供する。

【0005】

本発明の第２の態様においては、携帯端末により、撮像した画像に情報を付加して表示する表示方法であって、前記携帯端末が有する位置検出部が、前記携帯端末の位置を検出する段階と、前記携帯端末が有する撮像部が、対象空間の画像を撮像する段階と、前記携帯端末が有する情報処理部が、撮像した前記画像および前記位置検出部が検出した位置に基づいて、対象空間内の構造物の立体形状を判別する段階と、前記情報処理部が、判別された立体形状に対応付けられた構造物を、複数の構造物のそれぞれに対応付けて構造物の立体形状を記憶するデータベースから検索して、当該立体形状に対応する構造物を特定する段階と、前記情報処理部が、判別された立体形状に基づいて、構造物の特定の箇所に対応する前記画像中の領域に前記情報を付加して画像を前記携帯端末の表示部により表示させる段階と、を備え、前記構造物を特定する段階において、前記位置検出部が検出した位置に基づいて構造物の検索範囲を絞り込み、絞り込んだ検索範囲内に位置する構造物を前記データベースから検索する表示方法を提供する。

【0006】

本発明の第３の態様においては、携帯端末により撮像した画像に情報を付加させて表示させるための表示プログラムであって、当該表示プログラムは、前記携帯端末を、前記携帯端末の位置を検出する位置検出部と、対象空間の画像を撮像する撮像部と、撮像した前記画像および前記位置検出部が検出した位置に基づいて、対象空間内の構造物の立体形状を判別する判別部と、複数の構造物のそれぞれに対応付けて構造物の立体形状を記憶するデータベースを検索するデータベース検索部と、判別された立体形状に対応付けられた構造物を前記データベース検索部により検索させて、当該立体形状に対応する構造物を特定する特定部と、判別された立体形状に基づいて、構造物の特定の箇所に対応する前記画像中の領域に前記情報を付加して表示する表示処理部と、して機能させ、前記特定部は、前記位置検出部が検出した位置に基づいて構造物の検索範囲を絞り込み、前記データベース検索部は、前記特定部が絞り込んだ検索範囲内に位置する構造物を前記データベースから検索する表示プログラムを提供する。

【0007】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係る表示装置１０を前面（表示側）から見た図である。

【図2】本実施形態に係る表示装置１０を背面（撮影側）から見た図である。

【図3】表示装置１０の機能を説明する機能ブロック図である。

【図4】データベース２８の一例を説明する図である。

【図5】表示装置１０による表示処理を説明するフローチャートである。

【図6】使用者が撮像した画像を説明する図である。

【図7】構造物の距離検出を説明する図である。

【図8】構造物に情報を付加した画像を説明する図である。

【図9】構造物に経路の情報を付加した画像を説明する図である。

【図10】撮像した画像を説明する図である。

【図11】図１０の画像に経路の情報を付加した画像を説明する図である。

【図12】撮像した画像を説明する図である。

【図13】図１２の画像に情報を付加した画像を説明する図である。

【図14】本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。

【発明を実施するための形態】

【0009】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0010】

図１及び図２は、本実施形態に係る表示装置１０を前面（表示側）及び背面（撮影側）から見た図である。

【0011】

図１及び図２において、表示装置１０は、一例として携帯電話または携帯情報端末等の携帯端末である。表示装置１０は、使用者によって撮像・表示対象となる対象空間に向けられたことに応じて、対象空間を撮像し、撮像した画像とともに特定の対象物に情報を付加して表示する。これにより、表示装置１０は、拡張現実（ＡＲ：Augmented Reality ）の世界に仮想的に情報を付加した現実の画像を使用者に提供する。表示装置１０は、筐体１２と、表示部１４と、撮像部１６と、入力部１８とを備える。

【0012】

筐体１２は、表示部１４と、撮像部１６と、入力部１８とを保持する。表示部１４は、筐体１２の後面にわたって設けられている。表示部１４は、撮像部１６に撮像された構造物等の種々の画像を表示する。

【0013】

撮像部１６は、レンズ及び撮像素子を有する。撮像素子の一例は、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサである。撮像部１６は、対象空間の画像を撮像して、静止画像の情報または動画の情報を出力する。撮像部１６は、対象空間内の構造物の立体形状を特定すべく、対象物の複数の画像を撮像して、出力する。また、撮像部１６は、対象空間の画像内の複数の検出箇所の距離を検出する。撮像部１６は、当該距離を、例えば、位相差オートフォーカスの技術により検出する。あるいは，撮像部１６は、当該距離を、複数画像間の特徴点の対応からＳｆＭ（Structure from Motion）により検出する。撮像部１６は、検出箇所に対応する撮像された画像内の領域と距離とを関連付ける。撮像部１６は、撮像した画像とともに、検出した距離を情報として出力する。

【0014】

入力部１８は、使用者によって操作されて、種々の情報を、使用者から入力する。入力部１８は、ボタン及び表示部１４の全面に設けられたタッチパネルを含んでいる。

【0015】

図３は、表示装置１０の機能を説明する機能ブロック図である。図３に示すように、表示装置１０は、位置検出部２０と、判別部２２と、特定部２４と、データベース検索部２６と、データベース２８と、更新部３０と、経路探索部３２と、表示処理部３４とを更に備える。

【0016】

位置検出部２０は、表示装置１０の位置を検出する。位置検出部２０は、緯度、経度及び高度を検出するＧＰＳ（global positioning system）端末、方位を検出する電子コンパス、傾斜を検出する電子水準器を含む位置センサ４０を有する。位置センサ４０は、表示装置１０の緯度、経度、高さ、方位及び傾斜を含む位置情報を検出する。尚、位置検出部２０は、近傍の基地局からの情報を受けて、位置を検出するように構成してもよい。また、位置検出部２０は、構造物の内部において、ＳＬＡＭ（Simultaneous Localization and Mapping）方式によって、自己の位置を推定してもよい。

【0017】

判別部２２は、撮像部１６が撮像した画像を取得して、当該画像から、対象空間内の構造物の立体形状を判別する。判別部２２は、撮像部１６が撮像した画像とともに、位置検出部２０が検出した位置に基づいて、構造物の立体形状を判別する。

【0018】

特定部２４は、判別された立体形状に対応付けられた構造物をデータベース検索部２６により検索させて、立体形状に対応する構造物を特定する。特定部２４は、位置検出部２０が検出した位置に基づいて構造物の検索範囲を絞り込む。

【0019】

データベース検索部２６は、複数の構造物のそれぞれに対応付けて構造物の立体形状を含む構造物情報を記憶するデータベースを検索する。尚、特定部２４が構造物の検索範囲を絞り込んだ場合、データベース検索部２６は、特定部２４が絞り込んだ検索範囲内に位置する構造物をデータベース２８から検索する。

【0020】

データベース２８は、それぞれの構造物、例えば、構造物名に対応付けて、構造物の立体形状および内部形状を含む構造物情報を記憶する。

【0021】

更新部３０は、撮像部１６が撮像した画像に基づいて、データベース２８に格納された構造物の立体形状を含む構造物情報を更新する。

【0022】

経路探索部３２は、表示装置１０を一例としてナビゲーションシステムとして機能させる場合に設けられ、使用者が指定した目的地までの経路を探索する。尚、経路探索部３２は、表示装置１０に格納された経路データベースによって経路探索してもよく、外部のサーバに対して経路探索を要求して、探索結果を受け取ることによって、経路探索を実現してもよい。

【0023】

表示処理部３４は、判別部２２によって判別された構造物の立体形状を取得して、当該立体形状に基づいて、構造物の特定の箇所に対応する画像中の領域に情報を付加して表示する。例えば、表示処理部３４は、構造物の壁面に対応する画像中の領域に情報を張り付けた画像を表示する。このように立体形状に対応させて情報を付加するので、表示装置１０は、構造物に対し自然に見える形態で情報を付加することができ、使用者にとって、情報を見やすくすることができる。

【0024】

図４は、データベース２８の一例を説明する図である。図４に示すように、データベース２８は、経度及び緯度を含む位置情報と、構造物に関する構造物情報とが関連付けられている。構造物情報は、構造物の名称である構造物名、構造物の立体形状、構造物の内部構造の情報を含む。構造物の立体形状の情報は、直方体形状等の構造物の３次元構造の形状に関する情報、及び、構造物が何階まで含むかの階層の情報等を含む。構造物の内部構造の情報は、当該構造物の地下を含む階層及び各階の部屋の大きさ及び位置等の内部形状と、各部屋の使用者等の部屋の属性等を含む。

【0025】

図５は、表示装置１０による表示処理を説明するフローチャートである。図６は、表示処理において、使用者が撮像した画像の一例である。図７は、画像内の検出箇所Ｐの距離の検出の一例を説明する図である。図８は、構造物に情報を付加した画像の一例である。図９は、構造物に経路の情報を付加した画像を説明する図である。表示装置１０は、インターネットまたは記憶媒体等を介して取得した表示プログラムを読み込むことにより表示処理を実行する。

【0026】

図５に示すように、まず、表示処理において、使用者が入力部１８によって撮像指示を入力すると、撮像部１６が対象空間の画像を撮像する（Ｓ１０）。ここで、撮像部１６が撮像した図６に示す画像には、一例として構造物である法学部校舎１００及び道路１０２と、空１０４とが含まれている。また、撮像部１６は、対象空間のいずれかの箇所に合焦させることを目的として、図７に示すように、複数の検出箇所Ｐの距離を検出している。撮像部１６は、撮像した画像とともに、検出した複数の検出箇所Ｐの距離を判別部２２に出力する。

【0027】

次に、位置検出部２０が、位置センサ４０によって、表示装置１０の位置を検出する（Ｓ１２）。位置検出部２０は、検出した位置の位置情報を判別部２２、特定部２４及び経路探索部３２に出力する。

【0028】

次に、判別部２２は、撮像部１６から取得した画像及び距離と、位置検出部２０が検出した位置情報から対象空間内の構造物の立体形状を判別して、特定部２４及び更新部３０に出力する（Ｓ１４）。

【0029】

立体形状の判別方法として、判別部２２は、図７に示す点線で囲まれた領域Ａ１内の複数の検出箇所Ｐの距離、及び、検出箇所Ｐの方向から法学部校舎１００の壁の面の位置、傾斜、及び、壁の面が平面であることを判別する。例えば、判別部２２は、検出箇所Ｐの距離、及び、画面上の検出箇所Ｐの領域から検出できる表示装置１０に対する検出箇所Ｐの方向によって、少なくとも同一直線上にないいずれか４箇所の検出箇所Ｐが存在する面を特定する。判別部２２は、当該面を特定すると、特定した当該面上に存在する他の検出箇所Ｐを特定する。判別部２２は、同一面上に存在すると特定した検出箇所Ｐによって当該面のおおよその領域を特定する。同様に、点線で囲まれた領域Ａ２内の複数の検出箇所Ｐの距離及び方向から判別部２２は、道路１０２の面の位置、傾斜及びおおよその領域を判別する。更に、点線で囲まれた領域Ａ３内の検出箇所Ｐの無限遠の距離及び方向から空１０４のおおよその領域を判別する。

【0030】

また、判別部２２は、画像の情報に含まれる色情報から検出した色の急な変化から法学部校舎１００の壁、道路１０２、及び、空１０４の境界線を判別する。判別部２２は、色情報の変化を判別する色変化閾値に基づいて、色の変化が急か否かを判定する。尚、色変化閾値は、ハードディスクドライブ等の記憶部に変更可能に記憶させればよい。また、判別部２２は、画像の情報に含まれる色情報から検出した色の変化から法学部校舎１００の壁と窓とを判別する。判別部２２は、判別した窓の配置から法学部校舎１００の階層構造を３階と判別する。

【0031】

更に、判別部２２は、取得した位置情報に基づいて、法学部校舎１００等の構造物に対する位置、方向及び傾斜を判別して、立体形状を判別する。例えば、判別部２２は、表示装置１０が傾斜した状態で構造物を撮像しても、構造物に対する傾斜を判別して、立体形状の判別の精度を向上させることができる。

【0032】

特定部２４は、判別された立体形状に対応付けられた構造物をデータベース検索部２６により検索させて、判別部２２から取得した立体形状に対応する構造物を特定する（Ｓ１６）。具体的には、まず、特定部２４は、位置検出部２０から取得した位置情報に基づいて、構造物の検索範囲を絞り込む。絞り込まれる検索範囲の一例は、取得した位置情報を中心とする円内の範囲である。尚、検索範囲の円の半径は、位置センサ４０の精度等によって予め設定される。特定部２４は、絞り込んだ検索範囲をデータベース検索部２６に出力する。

【0033】

次に、データベース検索部２６は、特定部２４が絞り込んだ検索範囲内に位置する構造物を、位置情報に基づいて、データベース２８から検索する。ここでは、データベース検索部２６は、検索範囲内に位置する構造物として、法学部校舎及び商業ビルをデータベース２８から抽出して絞り込んだとする。データベース検索部２６は、抽出した構造物の構造物情報を特定部２４に出力する。

【0034】

特定部２４は、取得した立体形状に該当する構造物を、データベース検索部２６から取得した複数の構造物から特定する。ここで、取得した立体形状には、構造物の壁が平面であること及び３階立てであることが含まれているので、特定部２４は、当該情報に該当する構造物を抽出された複数の構造物から特定する。これにより、特定部２４は、構造物が法学部校舎であることを特定する。

【0035】

ここで、特定部２４は、立体形状に該当する構造物がない場合、立体形状に最も近い構造物を特定する。例えば、判別部２２から取得した立体形状に含まれる階層の情報が２階であって、壁の情報が平面である場合、特定部２４は、階層及び壁の形状が近い法学部校舎を撮像された構造物と特定する。

【0036】

特定部２４は、構造物の構造物情報を更新部３０、判別部２２、経路探索部３２及び表示処理部３４に出力する。尚、判別部２２は、取得した構造物の構造物情報を表示処理部３４に出力する。

【0037】

次に、更新部３０が、データベース２８を更新する（Ｓ１８）。例えば、更新部３０は、判別部２２から取得した構造物の立体形状と、特定部２４から取得したデータベース２８の構造物の立体形状とが異なると判定すると、判別部２２から取得した構造物の立体形状によって、データベース２８の立体形状を更新する。

【0038】

更に、使用者が構造物の内部を撮像した場合、撮像した画像から判別部２２が取得した内部構造の情報が、データベース２８に記憶された内部構造の情報と異なると判断した場合、更新部３０は、データベース２８の内部構造を更新する。例えば、更新部３０は、部屋に設置されている名札の画像から部屋の使用者の名前を取得した場合において、データベース２８の内部構造において同一の部屋に関して登録されている名前と異なるか否かを判定する。そして、更新部３０は、撮像した画像の情報とデータベース２８の情報とが相違すると判定すると、画像から取得した名前によってデータベース２８の内部構造の情報を更新する。

【0039】

次に、経路探索部３２は、経路探索が必要か否かを判定する（Ｓ２０）。使用者が経路探索の指示を入力していない場合、経路探索部３２は、経路探索が不要と判定して（Ｓ２０：Ｎｏ）、ステップＳ２４の情報付加表示処理を実行する。一方、使用者が経路探索の指示を入力している場合、経路探索部３２は、経路探索が必要と判定して（Ｓ２０：Ｙｅｓ）、使用者が指定した目的地までの経路探索を実行する（Ｓ２２）。

【0040】

ここで、経路探索部３２は、構造物外部の経路のみならず、構造物の内部の経路まで探索してもよい。例えば、使用者が構造物の内部の特定の部屋を目的地として指定しているとする。構造物内部の部屋は、例えば、部屋の位置、部屋の使用者の情報を入力されることにより指定される。この場合、経路探索部３２は、構造物の内部構造の情報に基づいて、指定された部屋の位置を特定する。経路探索部３２は、位置検出部２０から取得した位置情報、及び、特定した目的地の部屋の位置から、構造物の外部の経路を、経路データベースによって探索する。更に、経路探索部３２は、取得した構造物の内部構造に含まれる目的地の部屋の階数、階段の位置、廊下の位置等の情報に基づいて、構造物の内部の経路を探索する。経路探索部３２は、目的地の位置及び名称と、探索した経路とを表示処理部３４へと出力する。

【0041】

次に、表示処理部３４は、判別された立体形状に基づいて、構造物の特定箇所に対応する画像中の領域に情報を付加して表示部１４に表示する（Ｓ２４）。例えば、表示処理部３４は、判別部２２から取得した構造物の立体形状を含む構造物情報に基づいて、使用者が指定した目的地が画像内のいずれの領域かを判定する。そして、図８に示すように、表示処理部３４は、表示部１４に表示されている構造物の目的地の壁面の対応する領域に、目的地の情報１０６を張り付けて、表示する。ここで、目的地の状況が取得できる場合、表示処理部３４は、当該状況を表示する。例えば、表示処理部３４は、部屋の使用者であるＡ教授が在室である情報を取得すると、その旨を表示する。尚、表示処理部３４は、Ａ教授が在室している情報を、Ａ教授が所有しているＩＤカード等を管理している法学部校舎１００のセキュリティーサーバ等から取得してもよい。

【0042】

更に、表示処理部３４は、経路探索部３２から経路を取得している場合、図９に示すように、当該経路を構造物の画像に付加して表示する。ここで、内部の経路を表示する場合、表示処理部３４は、例えば、撮像した構造物の画像に代えて、構造物の外部の立体形状、及び、内部構造の画像を枠によって表示する。内部構造は、図９に点線で示す構造物の階段１１４及び通路１１６等である。表示処理部３４は、枠で表示された構造物の外部の立体形状及び内部構造に合わせて、構造物までの外部の経路１１０、及び、構造物の壁の裏側である内部の経路１１２を表示する。更に、表示処理部３４は、構造物の外部の経路１１０と、内部の経路１１２とを異なる表示形式とすることが好ましい。図９において、表示処理部３４は、道路に対応する画像中の領域内に表示される外部の経路１１０を太い矢印で示し、法学部校舎１００の壁の裏側へと続く内部の経路１１２を線状の矢印で示している。これにより、表示装置１０による表示処理が終了する。

【0043】

上述したように、表示装置１０では、構造物の立体形状を判別して、判別された立体形状に基づいて、使用者が指定した目的地等の情報を画像に付加する。これにより、表示装置１０は、手ぶれ等によって画像が乱れても、付加される情報の位置ずれを抑制して、構造物の立体形状に対応させて情報を正確に且つ自然に付加できる。この結果、使用者は、表示装置１０に表示された情報を容易に視認できる。

【0044】

表示装置１０では、位置検出部２０により検出された位置によって特定部２４により絞り込まれた検索範囲内で、データベース検索部２６がデータベース２８から撮像した構造物に対応する構造物情報を抽出する。そして、データベース検索部２６が複数の構造物の構造物情報を抽出した場合、特定部２４が、判別部２２によって判別された立体形状及び構造物情報に含まれる立体形状に基づいて構造物を特定する。これにより、表示装置１０は、より確実に構造物を特定するとともに、特定した構造物の内部構造の情報を取得できる。

【0045】

表示装置１０では、取得した内部構造の情報に基づいて、経路探索部３２が構造物の内部の経路を探索することができる。表示処理部３４は、構造物の内部構造に対応させて、構造物の内部の経路を表示するので、使用者は容易に構造物の内部の目的地に到達できる。また、表示処理部３４は、構造物の外部の経路１１０と内部の経路１１２とを異なる表示とするので、使用者は、違和感を感じることなく、これらの経路を容易に判別できる。

【0046】

表示装置１０では、更新部３０が、判別部２２が判別した構造物の立体形状等の情報によって、データベース２８を更新するので、データベース２８を容易に最新の情報に維持できる。

【0047】

次に、上述した実施形態における画像表示の別形態について説明する。

【0048】

図１０は、撮像した画像を説明する図である。図１１は、図１０の画像に経路の情報を付加した画像を説明する図である。

【0049】

図１０に示すように、使用者が、道路１２０及びビル１２２を含む構造物の画像を撮像したとする。表示装置１０の判別部２２は、この画像を撮像部１６から取得すると、構造物の立体形状を判別する。特定部２４は、位置検出部２０から取得した位置情報等に基づいて、データベース検索部２６を介して、構造物の構造物情報をデータベース２８から取得する。経路探索部３２は、使用者の指示に従って、目的地までの経路を探索する。

【0050】

表示処理部３４は、位置検出部２０の位置情報、構造物の構造物情報から経路の一部が建物の一例であるビル１２２等の構造物の裏側に隠れることを認識する。従って、図１１に示すように、表示処理部３４は、構造物の裏側へと続く経路１２４と、それ以外の経路１２６とを異なる表示とする。例えば、表示処理部３４は、経路１２４を点線で表示して裏側に位置することを示すとともに、それ以外の経路１２６を実線で表示する。これにより、使用者は、経路の位置を違和感なく視認することができる。

【0051】

図１２は、撮像した画像を説明する図である。図１３は、図１２の画像に情報を付加した画像を説明する図である。

【0052】

図１２に示すように、使用者が、構造物の一例である建築中のタワー１３０の画像を撮像したとする。表示装置１０の判別部２２は、この画像を撮像部１６から取得すると、各構造物の立体形状を判別する。特定部２４は、位置検出部２０から取得した位置情報等に基づいて、データベース検索部２６を介して、タワー１３０を含む構造物の構造物情報をデータベース２８から取得する。ここで、タワー１３０の構造物情報は、タワー１３０が未完成である旨、及び、タワー１３０の完成後の状態を含む。従って、表示処理部３４は、タワー１３０が構造物情報から未完成であると認識する。表示処理部３４は、タワー１３０の完成後の状態を情報として付加して、図１３に示すようにタワー１３０の未完成である箇所の画像中の対応する領域に、完成後のタワー１３２の画像を表示部１４に表示させる。

【0053】

上述した実施形態における各構成の形状及び機能、情報の入出力関係、情報の内容、表示形態は適宜変更してよい。また、上述した実施形態を組み合わせてもよい。また、上述した各構成の機能の一部、例えば、立体形状の判別、情報の付加、経路の探索等の機能を、ネットワークを介してサーバ等によって実行させてもよい。更に、上述の実施形態では、ナビゲーション等を例にあげて説明したが、現実の画像に情報を付加する各種のアプリケーションに上述の実施形態は適用できる。

【0054】

例えば、位置検出部２０は、位置センサ４０により検出した位置、及び、撮像された対象空間の画像中において特定部２４が特定した構造物が撮像された領域の位置に基づいて、対象空間の画像を撮像した位置および撮像方向を検出するように構成してもよい。具体的には、位置検出部２０は、表示装置１０の位置を検出した後、撮像された画像の構造物の位置を特定部２４から取得する。これにより、位置検出部２０は、構造物に対する位置及び方向を検出できるので、対象空間の画像を撮像した位置及び撮像方向を検出できる。位置検出部２０が、画像を撮像した位置及び撮像方向の情報を判別部２２に出力することにより、判別部２２は、対象空間の画像を撮像した位置及び撮像方向に基づいて、構造物の立体形状をより正確に判別できる。

【0055】

また、上述の実施形態では、表示装置１０の位置を位置検出部２０が検出したが、使用者に位置を選択させてもよい。この場合、例えば、位置検出部２０は、表示装置１０の位置として複数の候補位置を検出したことに応じて、複数の候補位置を使用者に提示して位置を選択させる。複数の候補位置は、例えば、表示処理部３４が表示部１４に地図の画像とともに表示される。使用者は、この画像を見て、いずれかの位置を選択して、入力部１８により入力する。

【0056】

図１４は、本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、情報処理部の一例である。コンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示部２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、及び、ハードディスクドライブ２０４０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、メモリドライブ２０５０、撮像部２０６０及び入出力チップ２０７０を有するレガシー入出力部とを備える。

【0057】

ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示部２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

【0058】

入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用する表示プログラム等のプログラム及びデータを格納する。

【0059】

また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、メモリドライブ２０５０、撮像部２０６０及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。メモリドライブ２０５０は、メモリカード２０９０から例えば表示プログラム等のプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、撮像部２０６０及びメモリドライブ２０５０を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。

【0060】

ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、メモリカード２０９０、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。表示プログラム等のプログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。

【0061】

コンピュータ１９００にインストールされ、コンピュータ１９００を表示装置１０として機能させるプログラムは、位置検出モジュール、判別モジュール、特定モジュール、データベース検索モジュール、更新モジュール、経路探索モジュール、及び、表示処理モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、位置検出部２０、判別部２２、特定部２４、データベース検索部２６、更新部３０、経路探索部３２、及び、表示処理部３４としてそれぞれ機能させる。

【0062】

これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である位置検出部２０、判別部２２、特定部２４、データベース検索部２６、更新部３０、経路探索部３２、及び、表示処理部３４として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の表示装置１０が構築される。

【0063】

一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、又はメモリカード２０９０等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。

【0064】

また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、メモリドライブ２０５０（メモリカード２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。

【0065】

また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。

【0066】

また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。

【0067】

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、メモリカード２０９０の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。

【0068】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0069】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0070】

１０ 表示装置、 １２ 筐体、 １４ 表示部、 １６ 撮像部、 １８ 入力部、 ２０ 位置検出部、 ２２ 判別部、 ２４ 特定部、 ２６ データベース検索部、 ２８ データベース、 ３０ 更新部、 ３２ 経路探索部、 ３４ 表示処理部、 ４０ 位置センサ、 １００ 法学部校舎、 １０２ 道路、 １０４ 空、 １０６ 情報、 １１０ 経路、 １１２ 経路、 １１４ 階段、 １１６ 通路、 １２０ 道路、 １２２ ビル、 １２４ 経路、 １２６ 経路、 １３０ タワー、 １３２ タワー 、 １９００ コンピュータ、 ２０００ ＣＰＵ、 ２０１０ ＲＯＭ、 ２０２０ ＲＡＭ、 ２０３０ 通信インターフェイス、 ２０４０ ハードディスクドライブ、 ２０５０ メモリドライブ、 ２０６０ 撮像部、 ２０７０ 入出力チップ、 ２０７５ グラフィック・コントローラ、 ２０８０ 表示部、 ２０８２ ホスト・コントローラ、 ２０８４ 入出力コントローラ、 ２０９０ メモリカード

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】