▶ シュナイダーエレクトリックホールディングス株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-22
(45)【発行日】2023-08-30
(54)【発明の名称】情報表示装置
(51)【国際特許分類】
G06F 3/01 20060101AFI20230823BHJP
H04N 1/393 20060101ALI20230823BHJP
H04N 1/387 20060101ALI20230823BHJP
G06T 3/00 20060101ALI20230823BHJP
G06F 3/04845 20220101ALI20230823BHJP
【ＦＩ】
G06F3/01 510
H04N1/393
H04N1/387 110
G06T3/00 760
G06F3/04845
【請求項の数】
3
(21)【出願番号】P 2019102979
(22)【出願日】2019-05-31
(65)【公開番号】P2020197856
(43)【公開日】2020-12-10
【審査請求日】2022-05-09
(73)【特許権者】
【識別番号】317014747
【氏名又は名称】シュナイダーエレクトリックホールディングス株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】寺田 徹
【審査官】木内 康裕
(56)【参考文献】
【文献】米国特許出願公開第２０１２／００９２３６９（ＵＳ，Ａ１）
【文献】特開２０１０－２３７３９３（ＪＰ，Ａ）
【文献】特開２０１６－１９４７６３（ＪＰ，Ａ）
【文献】特開２０１７－１２６００９（ＪＰ，Ａ）
【文献】特開２０１８－０８２３３８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８ － ３／０４８９５
Ｈ０４Ｎ １／３９３
Ｈ０４Ｎ １／３８７
Ｇ０６Ｔ ３／００
(57)【特許請求の範囲】
【請求項1】
複数の付加情報が対応付けられた特定の対象物を撮影した撮影画像を出力する撮影部と、前記撮影画像において注目される前記対象物と当該対象物上に表示される前記付加情報とを特定するために設定された特定領域に存在する複数の前記付加情報が重なり合う重なり度合を判定し、当該重なり度合に基づいて拡大率を計算する拡大率計算部と、
前記撮影画像を前記拡大率で拡大する拡大部と、
拡大された前記撮影画像に、前記拡大率に基づいて補正された前記付加情報の座標の位置に前記付加情報を重ねるように合成して合成画像を生成する合成部と、
前記合成画像を表示する表示部と、を備え、
各付加情報は一定の大きさを有しており、
前記拡大率計算部は、前記特定領域に存在する前記付加情報の個数が閾値以下であるときに前記拡大率を所定の基準拡大率とし、前記個数が前記閾値を超えるときに、前記個数から前記閾値を減算した値に所定の定数を乗じて前記基準拡大率を加算することにより前記拡大率を計算することを特徴とする情報表示装置。
【請求項2】
前記拡大率計算部は、前記閾値を特定領域の広さに応じて設定することを特徴とする請求項１に記載の情報表示装置。
【請求項3】
操作を受け付ける操作部と、受け付けられた操作に応じて前記特定領域を設定する特定領域設定部と、をさらに備えていることを特徴とする請求項１または２に記載の情報表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、拡張現実技術を利用して情報を表示する情報表示装置に関する。
【背景技術】
【0002】
拡張現実（ＡＲ：Augmented Reality）は、所定の対象物をカメラで撮影した撮影画像に、対象物に予め対応付けられた付加情報を重畳して表示することにより、現実の撮影画像から得られる情報をさらに拡張することができる。
【0003】
撮影画像上に多数の付加情報を表示させる場合、狭い範囲に付加情報が密集して重なり合うように表示されることがある。このような場合、付加情報が見づらくなるという不都合がある。
【0004】
従来、このような不都合を解消するために、例えば、以下の（１）～（４）の手法が用いられてきた。
（１）ボタン、タッチパネルなどの操作によって撮影画像を拡大表示する手法
（２）遠方にある付加情報を非表示にすることで付加情報の重なりを回避する手法
（３）付加情報を３Ｄ空間に合わせて配置することで、遠くの付加情報を小さく表示させて、表示される付加情報の重なりを回避する手法
（４）地図上に表示するＰＯＩ（Point of Interest）などを地図の拡大率に応じて一つにまとめて表示する手法（拡張現実には無い手法の転用）
その他、特許文献１および２には、ＡＲや地図の表示において、重畳表示される付加情報同士が重ならないように、付加情報のサイズやレイアウトを変更する技術が開示されている。
（１）ボタン、タッチパネルなどの操作によって撮影画像を拡大表示する手法
（２）遠方にある付加情報を非表示にすることで付加情報の重なりを回避する手法
（３）付加情報を３Ｄ空間に合わせて配置することで、遠くの付加情報を小さく表示させて、表示される付加情報の重なりを回避する手法
（４）地図上に表示するＰＯＩ（Point of Interest）などを地図の拡大率に応じて一つにまとめて表示する手法（拡張現実には無い手法の転用）
その他、特許文献１および２には、ＡＲや地図の表示において、重畳表示される付加情報同士が重ならないように、付加情報のサイズやレイアウトを変更する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１５－１３８４２８号公報
【文献】特開２００６－００３９５８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
（１）の手法では、撮影画像を拡大する操作を手で行わなければならい。特に、ヘッドマウントディスプレイなどのウェアラブル機器でＡＲ機能を利用する場合、拡大の操作を行うことは手間であった。このように（１）の手法では、操作性が良くないという問題があった。
【0007】
（２）の手法では、遠方の付加情報が表示されないため、付加情報を見るためには、当該付加情報を重畳表示させる対象物の近くまで歩み寄らなければならないという問題があった。
【0008】
（３）の手法では、遠方の付加情報が小さく表示されるため、小さくされた表示された付加情報を見るには、撮影画像を拡大表示させるか、あるいは対象物の近くまで歩み寄るかしなければならない。このため、（１）または（２）の手法と同じ問題があった。また、表示される付加情報に対してタッチパネルなどを用いて操作を行う場合には、遠方からの撮影では表示される付加情報が小さ過ぎるために、操作が困難であった。
【0009】
（４）の手法では、ＰＯＩが一つにまとめられてしまうため、個々の付加情報を見るためには、地図を手動で拡大する操作が必要であった。
【0010】
また、特許文献１および２に開示された技術では、付加情報のレイアウトが自動的に変更されるため、付加情報がＡＲの画面コンテンツの作成者の意図する位置から外れて表示されるという問題があった。
【0011】
このように、（１）～（４）の手法と、特許文献１および２とに開示された技術では、手間をかけずに付加情報の重なりを適正に解消することが困難であった。
【0012】
本発明の一態様は、手間をかけずに付加情報の重なりを適正に解消することを目的とする。
【課題を解決するための手段】
【0013】
上記の課題を解決するために、本発明の一態様に係る情報表示装置は、複数の付加情報が対応付けられた特定の対象物を撮影した撮影画像を出力する撮影部と、前記撮影画像において注目される前記対象物と当該対象物上に表示される前記付加情報とを特定するために設定された特定領域に存在する複数の前記付加情報が重なり合う重なり度合を判定し、当該重なり度合に基づいて拡大率を計算する拡大率計算部と、前記撮影画像を前記拡大率で拡大する拡大部と、拡大された前記撮影画像に、前記拡大率に基づいて補正された前記付加情報の座標の位置に前記付加情報を重ねるように合成して合成画像を生成する合成部と、前記合成画像を表示する表示部と、を備えている。
【0014】
上記の構成によれば、特定領域における付加情報の重なり度合に応じた拡大率で拡大された撮影画像上の、拡大率に応じて補正された座標に付加情報が重ねられる。これにより、重なり度合に応じて付加情報が重ならない程度の拡大率を設定することができる。
【0015】
前記情報表示装置は、操作を受け付ける操作部と、受け付けられた操作に応じて前記特定領域を設定する特定領域設定部と、をさらに備えていてもよい。
【0016】
上記の構成によれば、特定領域を設定することで、撮影画像において所望の特定領域を設けることができる。
【0017】
前記情報表示装置において、各付加情報は一定の大きさを有しており、前記拡大率計算部は、前記特定領域に存在する前記付加情報の個数に基づいて前記重なり度合を判定し、当該重なり度合に基づいて前記拡大率を計算してもよい。
【0018】
上記の構成によれば、簡易的に重なり度合を判定することができる。
【0019】
前記情報表示装置において、前記拡大率計算部は、前記特定領域に存在する前記付加情報を表示するための基準となる基準点の座標間の距離に基づいて前記重なり度合を判定し、当該重なり度合に基づいて前記拡大率を計算してもよい。
【0020】
上記の構成によれば、基準点の座標間の距離に基づいてより正確に重なり度合を判定することができる。
【発明の効果】
【0021】
本発明の一態様によれば、手間をかけずに付加情報の重なりを適正に解消することができる。
【図面の簡単な説明】
【0022】
【図1】本発明の一実施形態に係る情報表示装置のハードウェア構成を示すブロック図である。
【図2】上記情報表示装置のシステム構成を示すブロック図である。
【図3】上記情報表示装置の拡大率計算部による拡大率の計算例を示す図である。
【図4】上記拡大率計算部による拡大率の他の計算例を示す図である。
【図5】上記情報表示装置のカメラによって撮影された、付加情報が密集して見づらくなる撮影画像である。
【図6】上記情報表示装置のカメラによって撮影された、付加情報が３Ｄ空間に合わせて表示される撮影画像である。
【図7】カメラによって撮影された、特定領域を含む撮影画像が表示された上記情報表示装置を示す図である。
【図9】カメラによって撮影された、特定領域を含む他の撮影画像が表示された上記情報表示装置を示す図である。
【発明を実施するための形態】
【0023】
【0024】
まず、情報表示装置１００のハードウェア構成について説明する。図１は、本実施形態に係る情報表示装置１００のハードウェア構成を示すブロック図である。
【0025】
情報表示装置１００は、専用のＯＳ（Operating System）を実装した通信端末装置である。情報表示装置１００は、タブレット端末のような携帯型端末装置、スマートグラスやヘッドマウントディスプレイのようなウェアラブル機器などの携帯機器で実現される。また、情報表示装置１００は、予め定められた対象物を撮影した撮影画像の上に付加情報を重畳して表示する拡張現実（ＡＲ：：Augmented Reality）技術による表示機能を有する。
【0026】
図１に示すように、情報表示装置１００は、ＣＰＵ（Central Processing Unit）１１と、メインメモリ１２と、ＲＯＭ（Read Only Memory）１３と、補助メモリ１４と、カメラ１５（撮影部）と、操作部１６と、表示部１７とを備えている。
【0027】
ＣＰＵ１１は、情報表示装置１００のシステムプログラムを実行する処理装置である。具体的には、ＣＰＵ１１は、システムプログラムの実行に際して、メインメモリ１２、補助メモリ１４、操作部１６などからデータを受け取り、当該データに対して演算または加工を施した結果を、メインメモリ１２、補助メモリ１４、表示部１７などに出力する。
【0028】
メインメモリ１２は、情報表示装置１００における主記憶装置を構成するメモリであり、ＤＲＡＭ（Dynamic Random Access Memory）によって構成される。
【0029】
ＲＯＭ１３は、ＯＳの他、情報表示装置１００の起動時やリセット時に実行されるＢＩＯＳ（Basic Input Output System）などの、情報表示装置１００の動作に不可欠なプログラムを記憶している。
【0030】
補助メモリ１４は、情報表示装置１００が保持すべき各種のデータ、アプリケーションプログラムなどを記憶するために設けられている。補助メモリ１４は、例えばフラッシュメモリによって構成されている。なお、ＲＯＭ１３が大容量のフラッシュＲＯＭによって構成されている場合、補助メモリ１４は、ＲＯＭ１３と一体に構成されていてもよい。
【0031】
カメラ１５は、撮影の対象物を撮影して撮影画像を出力する撮影装置である。撮影画像は、表示部１７に表示される。
【0032】
操作部１６は、ユーザが入力操作を行うための入力装置である。操作部１６は、ユーザによる操作を受け入れて、操作に応じた操作信号を出力する。操作部１６としては、情報表示装置１００がタブレット端末のようなハンディ機器である場合、タッチパネルが用いられる。また、操作部１６としては、情報表示装置１００がスマートグラスのようなメガネ型のウェアラブル機器である場合、フレームに設けられたボタンやタッチセンサ、ジェスチャ操作が可能なセンサ、ユーザの視線を検出するアイトラッキングセンサなどが用いられる。なお、アイトラッキングセンサに代えて、カメラ１５によってユーザの視線を検出してもよい。
【0033】
表示部１７は、情報表示装置１００の基本操作を実現するための画面、アプリケーションプログラムが実行された結果として表示される画面などを表示するために設けられている。表示部１７としては、情報表示装置１００がタブレット端末のようなハンディ機器である場合、液晶表示パネルのような平板型表示パネルが用いられる。また、表示部１７としては、情報表示装置１００がスマートグラスのようなメガネ型のウェアラブル機器である場合、レンズ部分に設けられたディスプレイ（液晶ディスプレイなど）やプロジェクタが用いられる。
【0034】
続いて、情報表示装置１００のシステム構成について説明する。図２は、情報表示装置１００のシステム構成を示すブロック図である。
【0035】
図２に示すように、情報表示装置１００は、ＡＲ情報記憶部１と、情報付加部２とを備えている。
【0036】
ＡＲ情報記憶部１は、付加情報、座標情報および対象物情報を記憶している。付加情報および座標情報は、ＡＲ情報記憶部１において、対象物情報の個々と対応付けられて記憶されている。ＡＲ情報記憶部１は、例えば、補助メモリ１４に設けられている。
【0037】
付加情報は、予め定められた対象物をカメラ１５によって撮影した撮影画像の上に重畳して表示するように当該対象物に対応付けられている。付加情報としては、文字情報、画像情報などの種々なコンテンツが挙げられる。座標情報は、付加情報を対象物に表示させる位置を表す座標である。対象物情報は、付加情報を重畳表示させる対象物を特定する情報である。
【0038】
座標情報は、マーカーを用いて付加情報を表示させる場合（マーカー型ビジョンベースＡＲ）、マーカーに付随する情報と、付加情報に付随する情報とに基づいて計算されることによって得られる。
【0039】
マーカーに付随する情報は、撮影画像において検出されたマーカーの座標に対し、付加情報を表示するための基準となる点（第１基準点）の位置情報であり、マーカーの座標からのＸ方向およびＹ方向の距離で表される。マーカーの座標を（Ｘｍ，Ｙｍ）とし、当該Ｘ方向の距離をＸａとし、当該Ｙ方向の距離をＹａとすれば、第１基準点の座標は、（Ｘｍ＋Ｘａ，Ｙｍ＋Ｙａ）と表される。
【0040】
また、付加情報に付随する情報は、付加情報の原点座標に対し、付加情報を表示するための基準となる点（第２基準点）の位置情報であり、原点座標からのＸ方向およびＹ方向の距離で表される。これにより、原点座標を（Ｘｒ，Ｙｒ）とし、当該Ｘ方向の距離をＸｂとし、当該Ｙ方向の距離をＹｂとすれば、第２基準点の座標は、（Ｘｒ＋Ｘｂ，Ｙｒ＋Ｙｂ）と表される。原点座標は、付加情報の形状などに応じて予め定められた位置に設定されている。
【0041】
付加情報は、第２基準点が第１基準点に一致する位置に表示される。付加情報が表示される座標情報は、上記の第１基準点および第２基準点の座標を用いれば、原点座標（Ｘｒ，Ｙｒ）＝（Ｘｍ＋Ｘａ－Ｘｂ，Ｙｍ＋Ｙａ－Ｙｂ）として表される。この座標の計算は、情報付加部２に設けられた座標計算部（図示せず）によって行われる。
【0042】
また、座標情報は、マーカーを用いずに付加情報を表示させる場合（マーカーレス型ビジョンベースＡＲ）、対象物を予め撮影した対象物画像に付随する情報と、付加情報に付随する情報とに基づいて計算されることによって得られる。対象物画像に付随する情報は、撮影画像において検出された対象物画像の座標に対し、付加情報を表示するための基準となる点の位置情報として定められる。また、付加情報に付随する情報は、マーカー型ビジョンベースＡＲの付加情報に付随する情報と同じである。したがって、マーカーレス型ビジョンベースＡＲの座標情報は、マーカー型ビジョンベースＡＲの座標情報と同様に、上記の座標計算部によって計算されて、付加情報の原点座標として表される。
【0043】
対象物情報としては、マーカー型ビジョンベースＡＲの場合、対象物に対して付加情報を表示させる位置を特定するためのマーカーが挙げられる。また、対象物情報としては、マーカーレス型ビジョンベースＡＲの場合、対象物を予め撮影した対象物画像が挙げられる。
【0044】
情報付加部２は、表示部１７に表示される対象物の撮影画像の上の適正な位置に付加情報を表示させる処理を行う。また、情報付加部２は、撮影画像に重畳表示される複数の付加情報が密集して重なり合っているときに、付加情報の重なり度合に応じた拡大率で撮影画像を拡大させることにより、付加情報を分散して表示させる処理を行う。
【0045】
情報付加部２は、上記の処理を行うために、カメラ姿勢推定部３と、座標変換部４と、特定領域設定部５と、特定領域記憶部６と、モニタ部７と、拡大率計算部８と、画像合成部９とを有している。
【0046】
カメラ姿勢推定部３は、マーカー型ビジョンベースＡＲの場合、カメラ１５から出力される撮影画像においてＡＲ情報記憶部１に記憶されているマーカーを認識すると、当該マーカーに対応付けられた付加情報が当該撮影画像上に表示すべき付加情報であると特定する。また、カメラ姿勢推定部３は、マーカーレス型ビジョンベースＡＲの場合、撮影画像がＡＲ情報記憶部１に記憶されている対象物画像と一致していると判断すると、当該対象物画像に対応付けられた付加情報が当該撮影画像上に表示すべき付加情報であると特定する。
【0047】
また、カメラ姿勢推定部３は、対象物を撮影しているカメラ１５の姿勢に関する姿勢情報を計算（推定）する。カメラ姿勢推定部３は、マーカー型ビジョンベースＡＲの場合、撮影画像におけるマーカーが、ＡＲ情報記憶部１に記憶されているマーカーの正規の位置に対して傾斜しているとき、その傾斜角度を測定し、当該角度に基づいて撮影方向を姿勢情報として計算する。また、カメラ姿勢推定部３は、マーカーレス型ビジョンベースＡＲの場合、撮影画像が対象物画像に対して傾斜しているとき、その傾斜角度を測定し、当該傾斜角度に基づいて撮影方向を姿勢情報として計算する。
【0048】
座標変換部４は、カメラ１５から対象物を撮影する方向に応じた向きで付加情報を表示するように、ＡＲ情報記憶部１に記憶されている座標情報（付加情報の座標）を、姿勢情報（撮影方向）に基づいて変換して、変換した座標（変換座標）を出力する。換言すれば、座標変換部４は、推定された撮影方向に基づいて、付加情報を表示させる撮影画像における位置を算出する。
【0049】
特定領域設定部５は、操作部１６によるユーザの操作に応じて撮影画像における特定領域を設定し、特定領域の情報として特定領域記憶部６に記憶させる。特定領域は、撮影画像において、ユーザが注目する対象物と当該対象物に重畳表示される付加情報とを特定する領域である。特定領域は、例えば、破線で矩形状に示されるが、その線種や形状は限定されない。
【0050】
なお、特定領域は、特定領域設定部５ではなく、情報表示装置１００の外部に設けられた特定領域の設定ツールによって予め設定されてもよい。このような設定ツールは、例えば、ＡＲの画面コンテンツを編集する編集ツールに設けられていてもよい。このような編集ツールを用いた画面コンテンツの編集時に、併せて特定領域を設定しておき、設定した特定領域を、ケーブルを介して情報表示装置１００に転送して特定領域記憶部６に記憶させる。
【0051】
また、特定領域は、カメラ１５または表示部１７において設定されてもよい。カメラ１５は、対象物を撮影した撮影画像上に特定領域を表示させ、ユーザの操作によって特定領域が設定された撮影画像をモニタ部７に出力する。また、表示部１７は、後述する合成画像（付加情報を撮影画像に合成した画像）上に特定画像を表示させ、ユーザのタッチパネルなどの操作によって設定された特定領域をモニタ部７に出力する。ここで、特定領域が設定されていない状態では、後述する拡大率計算部８による拡大率の計算が行われないので、撮影画像は、後述する拡大処理部９１によって拡大されない。したがって、上記の状態では、合成画像における撮影画像は、カメラ１５から出力される撮影画像と同じ大きさである。
【0052】
上記のように特定領域を表示部１７において設定する場合、上述した編集ツールによる特定領域の設定を行ってもよい。例えば、編集ツール内に表示された表示部１７の表示画面に対して上記のようにして特定領域を設定したり、編集ツールの表示画面に表示部１７を仮想的に設けて、その表示画面に対して上記のようにして特定領域を設定したりする。
【0053】
特定領域は、ユーザによって予め設定されるようにしてもよいし、付加情報を表示させるときに、ユーザの操作によって設定できるようにしてもよい。このため、特定領域設定部５は、次の（ａ）～（ｄ）のようなユーザーインターフェースを提供することによって特定領域を変更可能にする。（ａ）および（ｂ）のユーザーインターフェースは、タブレット端末のようなハンディ機器に適しており、（ｃ）および（ｄ）のユーザーインターフェースは、スマートグラスのようなウェアラブル機器に適している。（ｅ）のユーザーインターフェースは、ハンディ機器およびウェアラブル機器のいずれにも適している。
（ａ）撮影画像上に特定領域を示す枠を表示部１７に表示させて、ドラッグなどのタッチ操作により、表示された枠を移動させる。
（ｂ）スライドバーの操作、特定領域（矩形エリア）の２点の指定などのタッチ操作により特定領域のサイズを変更する。
（ｃ）カメラ１５に写された手や指を認識し、特定のジェスチャ操作によって領域のサイズを変更する。
（ｄ）カメラ１５、操作部１６として設けられたアイトラッキングセンサなどによりユーザの視線検出を行い、視線の位置に特定領域を移動させる。
（ｅ）予め用意された複数の特定領域をボタン操作やジェスチャ操作により切り替える。
（ａ）撮影画像上に特定領域を示す枠を表示部１７に表示させて、ドラッグなどのタッチ操作により、表示された枠を移動させる。
（ｂ）スライドバーの操作、特定領域（矩形エリア）の２点の指定などのタッチ操作により特定領域のサイズを変更する。
（ｃ）カメラ１５に写された手や指を認識し、特定のジェスチャ操作によって領域のサイズを変更する。
（ｄ）カメラ１５、操作部１６として設けられたアイトラッキングセンサなどによりユーザの視線検出を行い、視線の位置に特定領域を移動させる。
（ｅ）予め用意された複数の特定領域をボタン操作やジェスチャ操作により切り替える。
【0054】
特定領域記憶部６は、特定領域設定部５によって設定された特定領域を記憶する。特定領域記憶部６は、例えば、メインメモリ１２や補助メモリ１４に設けられている。
【0055】
モニタ部７は、特定領域記憶部６に記憶されている特定領域の情報を参照して、撮影画像における特定領域を監視して、特定領域内の付加情報を抽出する。具体的には、モニタ部７は、特定領域を監視しながら、座標変換部４からの変換座標に基づいて、特定領域に上述した第２基準点の座標が存在する付加情報を認識し、当該付加情報の撮影画像における座標値と、当該付加情報を表す固有の情報（付加情報に付与された名称、コードなど）を対応付けたリストを出力する。
【0056】
拡大率計算部８は、モニタ部７によって抽出された付加情報および座標に基づいて、付加情報同士の重なりの度合（重なり度合）を判定し、判定した重なり度合に基づいて撮影画像の拡大率を計算する。例えば、拡大率計算部８は、付加情報の大きさが一定であることを前提として、特定領域における付加情報の個数（第２基準点の座標の数）に基づいて重なり度合を特定する。あるいは、拡大率計算部８は、付加情報の第２基準点の座標間の距離に基づいて重なり度合を判定する。
【0057】
なお、付加情報の大きさが一定でない場合、拡大率計算部８は、ＡＲ情報記憶部１から付加情報のそれぞれの大きさの情報を取得し、大きさの情報も加味して、上記の２つの手法のいずれかによって重なり度合を判定する。したがって、この場合、ＡＲ情報記憶部１は、付加情報のそれぞれの大きさの情報も記憶している必要がある。
【0058】
また、拡大率計算部８は、撮影画像を徐々に拡大させるように、計算した拡大率をフィルタ処理することによって、拡大率を滑らかに変化させてもよい。
【0059】
フィルタ処理としては、例えば、以下の（Ａ）～（Ｄ）の処理が挙げられる。
（Ａ）平均値フィルタ
拡大率が時間軸で不規則（例えば１倍、２倍、１倍、２倍、…）に変動していく場合、平均をとる位置を移動させていく。例えば、１秒ごとに拡大率が計算される場合、決まった数（４つなど）の拡大率の平均を１秒ずつずらしながら計算する。平均値をとる拡大率の数は適宜設定することが可能である。これにより、ノイズのように突発的に大きくなった拡大率や小さくなった拡大率を周囲の変化が大きくない拡大率とで平均をとることで、拡大率の変化を滑らかにすることができる。
（Ｂ）ヒステリシス特性フィルタ
拡大率の上昇時と下降時とで異なる閾値を設けておく。拡大率の上昇時には、高い閾値を超えると拡大率が変化し、拡大率の下降時には低い閾値を下回ると拡大率が変化する。このように閾値を複数設けることにより、拡大率を段階的に変化させることができる。
（Ｃ）定量変化フィルタ
計算された拡大率を目標値として現在値から目標値に向かって一定の変化量で拡大率を変化させる。
（Ｄ）ＰＩＤ制御フィルタ
Ｐ（比例）制御は、初期値と目標値との差の大きさに比例するように拡大率の変化率を決める。
（Ａ）平均値フィルタ
拡大率が時間軸で不規則（例えば１倍、２倍、１倍、２倍、…）に変動していく場合、平均をとる位置を移動させていく。例えば、１秒ごとに拡大率が計算される場合、決まった数（４つなど）の拡大率の平均を１秒ずつずらしながら計算する。平均値をとる拡大率の数は適宜設定することが可能である。これにより、ノイズのように突発的に大きくなった拡大率や小さくなった拡大率を周囲の変化が大きくない拡大率とで平均をとることで、拡大率の変化を滑らかにすることができる。
（Ｂ）ヒステリシス特性フィルタ
拡大率の上昇時と下降時とで異なる閾値を設けておく。拡大率の上昇時には、高い閾値を超えると拡大率が変化し、拡大率の下降時には低い閾値を下回ると拡大率が変化する。このように閾値を複数設けることにより、拡大率を段階的に変化させることができる。
（Ｃ）定量変化フィルタ
計算された拡大率を目標値として現在値から目標値に向かって一定の変化量で拡大率を変化させる。
（Ｄ）ＰＩＤ制御フィルタ
Ｐ（比例）制御は、初期値と目標値との差の大きさに比例するように拡大率の変化率を決める。
【0060】
Ｉ（積分）制御は、Ｐ制御のみで拡大率が目標値に対してオフセットした値で安定したときに、その誤差を積分して補正する。
【0061】
Ｄ（微分）制御は、拡大率の変化に対してそれを抑えるように拡大率を制御する。
【0062】
付加情報の個数によって重なり度合を判定する場合、フィルタ処理を行わずに、いきなり最大の拡大率で撮影画像を拡大したり、付加情報の半径で重なり度合を判定する場合、フィルタ処理によって拡大率を目標値に近づけたりしてもよい。このように、重なり度合の判定手法とフィルタ処理とを適宜組み合わせることができる。
【0063】
また、拡大率計算部８は、拡大率をクリップしてもよい。具体的には、拡大率計算部８は、拡大率のクリップにより、極端に大きい拡大率を除外するとともに、極端に小さい拡大率（例えば１．１倍）を除外する。
【0064】
画像合成部９は、カメラ１５からの撮影画像を拡大するとともに、拡大された撮影画像に付加情報を重ねるように合成する。画像合成部９は、この処理を行うために、拡大処理部９１（拡大部）と、合成処理部９２（合成部）とを有している。
【0065】
拡大処理部９１は、撮影画像を拡大率計算部８によって計算された拡大率で特定領域を中心に拡大して、拡大画像を出力する。また、拡大処理部９１は、座標変換部４からの変換座標を上記の拡大率に応じて補正する。具体的には、拡大処理部９１は、特定領域における上述した第２基準点の座標（以降、「基準点座標」と称する）を基準としたときの各付加情報の基準点座標の値に上記の拡大率を乗じることによって、補正された補正座標を算出する。
【0066】
合成処理部９２は、拡大処理部９１によって拡大された撮影画像（拡大画像）に、ＡＲ情報記憶部１から取得した付加情報を合成する。合成処理部９２は、合成において、付加情報の基準点座標が補正座標と一致する位置に付加情報を配置する。
【0067】
次に、上記のように構成される情報表示装置１００の動作について説明する。
【0068】
【0069】
まず、カメラ姿勢推定部３は、カメラ１５から出力される撮影画像に基づいて、カメラ１５の撮影姿勢を計算して、姿勢情報として出力する。カメラ姿勢推定部３は、撮影姿勢の計算において、ＡＲ情報記憶部１から取得した対象物情報（マーカーまたは対象物画像）に対する撮影画像（マーカーまたは対象物画像）の傾斜角度およびサイズを対象物情報に基づいて測定し、撮影方向を表す当該傾斜角度および撮影距離を姿勢情報として出力する。
【0070】
座標変換部４は、ＡＲ情報記憶部１から取得した座標情報の座標を、姿勢情報として与えられた撮影方向および撮影距離に基づいて変換する。変換された座標は、変換座標としてモニタ部７および拡大処理部９１に与えられる。
【0071】
一方、操作部１６は、ユーザによる操作を受け付けて、撮影画像上で特定領域を設定する。操作部１６は、設定した特定領域を特定領域記憶部６に記憶させておく。
【0072】
モニタ部７は、カメラ１５から取得した撮影画像上に、特定領域記憶部６から読み出した特定領域を重ね合わせ、座標変換部４からの変換座標に基づいて、特定領域に存在する付加情報を認識する。モニタ部７は、一部が特定領域外に存在している付加情報であっても、基準点座標が特定領域内に存在していれば、当該付加情報が特定領域に存在していると認識する。モニタ部７は、認識した付加情報を表す情報と、当該付加情報の変換座標とを対応付けて出力する。
【0073】
拡大率計算部８は、モニタ部７に認識された付加情報の変換座標に基づいて、特定領域における付加情報の重なり度合を判定する。
【0074】
拡大率計算部８は、例えば、図３に示すように、特定領域２０における付加情報２１の個数Ｎが閾値Ｔｈ以下であるときと、個数Ｎが閾値Ｔｈを超えたときとで拡大率Ｍを異ならせる。具体的には、拡大率計算部８は、Ｎ≦Ｔｈであるとき、拡大率Ｍを通常値Ｖとし、Ｎ＞Ｔｈであるとき、拡大率Ｍを次式によって計算する。ここで、次式におけるＫは、倍率定数を表している。拡大率計算部８は、次式における（Ｎ－Ｔｈ）＊Ｋによって重なり度合を判定することができる。
【0075】
Ｍ＝Ｖ＋（Ｎ－Ｔｈ）＊Ｋ
通常値Ｖが１であり、閾値Ｔｈが２であり、倍率定数Ｋが０．５であるとすれば、図３に示すように、Ｎが２である場合、Ｎ≦Ｔｈであるため、拡大率計算部８は、拡大率Ｍを１（＝通常値Ｖ）とする。また、Ｎが３である場合、Ｎ＞Ｔｈであるため、拡大率計算部８は、上式の計算によって、拡大率Ｍ（＝１＋（３－２）＊０．５）を１．５とする。また、Ｎが４である場合、Ｎ＞Ｔｈであるため、拡大率計算部８は、上式の計算によって、拡大率Ｍ（＝１＋（４－２）＊０．５）を２とする。拡大率計算部８は、上記のようにして個数Ｎの値によって付加情報の重なり度合を判定することができる。
通常値Ｖが１であり、閾値Ｔｈが２であり、倍率定数Ｋが０．５であるとすれば、図３に示すように、Ｎが２である場合、Ｎ≦Ｔｈであるため、拡大率計算部８は、拡大率Ｍを１（＝通常値Ｖ）とする。また、Ｎが３である場合、Ｎ＞Ｔｈであるため、拡大率計算部８は、上式の計算によって、拡大率Ｍ（＝１＋（３－２）＊０．５）を１．５とする。また、Ｎが４である場合、Ｎ＞Ｔｈであるため、拡大率計算部８は、上式の計算によって、拡大率Ｍ（＝１＋（４－２）＊０．５）を２とする。拡大率計算部８は、上記のようにして個数Ｎの値によって付加情報の重なり度合を判定することができる。
【0076】
なお、閾値Ｔｈは、変更可能であってもよいし、特定領域の広さに応じて変化してもよい。
【0077】
また、拡大率計算部８は、付加情報を表示するための基準となる基準点の座標（基準点座標）間の距離に基づいて拡大率を計算してもよい。ここで、図４に示すように、３つの付加情報Ａ～Ｃは、全て同一の形状かつ大きさを有しており、半径Ｒの円形を成す主要部分と、尖った下端部分とを有する吹き出し形状を成すものとする。図４の左側に示すように、特定領域（図示せず）に存在する３つの付加情報Ａ～Ｃは、付加情報Ｂが付加情報Ａの上に重なり、付加情報Ｃが付加情報Ａの上に重なっている。また、初期の拡大率が１倍であるものとする。
【0078】
拡大率計算部８は、付加情報Ａ，Ｂ，Ｃの基準点座標（変換座標）に基づいて、付加情報Ａ，Ｂの基準点間距離ＤＡＢ、付加情報Ｂ，Ｃの基準点間距離ＤＢＣ、および付加情報Ａ，Ｃの基準点間距離ＤＡＣを計算する。また、図４に示す例では、第２基準点が付加情報の中心点である場合を示している。
【0079】
拡大率計算部８は、計算した基準点間距離ＤＡＢ，ＤＢＣ，ＤＡＣのうちで最小となる最小基準点間距離Ｄｍｉｎを特定し、２Ｒ／Ｄｍｉｎを拡大率として計算する。これにより、付加情報Ａ～Ｃが重ならなくなる撮影画像の拡大率が得られる。拡大率計算部８は、上記のようにして最小基準点間距離Ｄｍｉｎの値によって付加情報の重なり度合を判定することができる。
【0080】
拡大処理部９１は、カメラ１５からの撮影画像を、特定領域の中心座標を中心として、上記のようにして得られた拡大率で拡大して、拡大画像として出力する。また、拡大処理部９１は、上記の拡大率に基づいて、付加情報の変換座標を補正して補正座標として出力する。
【0081】
例えば、拡大処理部９１は、特定領域の中心座標が（Ｘ０，Ｙ０）であり、ある付加情報の基準点座標が（Ｘ１，Ｙ１）であるとき、次式の計算を行うことによって補正座標（Ｘｃ，Ｙｃ）を求める。次式において、Ｍは拡大率を表している。拡大処理部９１は、この計算において、特定領域の中心座標を基準の座標（０，０）とするために、付加情報の基準点座標値から特定領域の中心座標値を減算し、その値に拡大率Ｍを乗じる。そして、拡大処理部９１は、特定領域の中心座標値を元の座標値に戻すために、拡大率Ｍの乗算値に特定領域の中心座標値を加算する。
【0082】
Ｘｃ＝Ｍ（Ｘ１－Ｘ０）＋Ｘ０
Ｙｃ＝Ｍ（Ｙ１－Ｙ０）＋Ｙ０
なお、拡大処理部９１は、拡大率計算部８から拡大率が入力されない状態では、カメラ１５から入力される撮影画像を拡大せずにそのまま出力する。
Ｙｃ＝Ｍ（Ｙ１－Ｙ０）＋Ｙ０
なお、拡大処理部９１は、拡大率計算部８から拡大率が入力されない状態では、カメラ１５から入力される撮影画像を拡大せずにそのまま出力する。
【0083】
合成処理部９２は、ＡＲ情報記憶部１から取得した付加情報のうち、モニタ部７によって抽出された、特定領域内にある付加情報を、拡大処理部９１からの拡大画像に合成して合成画像を作成する。合成処理部９２は、合成において、付加情報の基準点座標が、拡大処理部９１によって補正された基準点座標（補正座標）となる位置に付加情報を配置する。そして、合成処理部９２は、生成した合成画像を表示部１７に出力する。
【0084】
表示部１７は、合成処理部９２からの合成画像を表示する。これにより、表示部１７に表示される合成画像において、拡大前の特定領域内にあった付加情報は、重なり合うことなく、分散した位置に表示される。
【0085】
続いて、付加情報を分散した位置に表示させる例について説明する。
【0086】
図５は、カメラ１５によって撮影された、付加情報が密集して見づらくなる撮影画像２００である。図６は、カメラ１５によって撮影された、付加情報が３Ｄ空間に合わせて表示される撮影画像３００である。図７は、カメラ１５によって撮影された、特定領域４０１を含む撮影画像４００が表示された情報表示装置１００を示す図である。図８は、図７に示す撮影画像４００が拡大された拡大画像５００が表示された情報表示装置１００を示す図である。図９は、カメラ１５によって撮影された、特定領域６０１を含む他の撮影画像６００が表示された情報表示装置１００を示す図である。
【0087】
図５に示すように、撮影画像２００は、室内に配置されたロッカーに付加情報２０１が重畳されている。特に、奥側に位置するロッカーには、複数の付加情報２０１が重なり合うように配置されている。この状態では、一部の付加情報２０１において、上に重なった付加情報２０１で隠れている内容を十分に確認することができない。
【0088】
図６に示すように、３Ｄの撮影画像３００では、３Ｄ空間に合わせて手前のロッカーから奥側のロッカーにかけて小さくなる付加情報３０１～３０５が配置されている。撮影画像３００において、最も奥側の複数の付加情報３０５は、最も遠い位置に互いにあるため、最も小さく表示されるので、互いに重なり合うことはない。しかしながら、付加情報３０５が小さすぎると、その内容を確認することが難しくなる。
【0089】
そこで、上述したように、特定領域内で重なり合う付加情報の重なり度合に基づいて計算した拡大率で撮影画像４００を拡大することで、付加情報の重なりを解消する。具体的には、モニタ部７が、図７に示すように、情報表示装置１００の表示部１７に表示される撮影画像４００において、重なり合う複数の付加情報４０２のそれぞれの基準点座標がその中に存在する特定領域４０１を表示させる。
【0090】
拡大率計算部８は、例えば、モニタ部７から取得した、特定領域４０１における付加情報４０２の全ての付加情報の数に基づいて、図３を参照して説明した、上述の式を用いた計算方法で拡大率を計算する。あるいは、拡大率計算部８は、モニタ部７から取得した、特定領域４０１における付加情報４０２の全ての付加情報の変換座標に基づいて、図４を参照して説明した上述の計算方法で拡大率を計算する。そして、画像合成部９は、当該拡大率で撮影画像４００を拡大し、拡大画像上の補正座標に位置するように付加情報４０２を合成する。
【0091】
これにより、図８に示すように、付加情報４０２は、それぞれの大きさを変えないまま、拡大画像５００上に分散して配置された状態で表示される。したがって、付加情報４０２の内容を容易に確認することができる。
【0092】
また、図９に示すように、他の撮影画像６００でも重なり合う付加情報６０２を特定領域６０１で指定することにより、上記と同様にして、拡大画像上に分散して表示することができる。
【0093】
以上のように、本実施形態の情報表示装置１００は、情報付加部２を備えている。情報付加部２は、特定領域に存在する複数の付加情報、およびその変換座標を抽出するモニタ部７と、抽出された変換座標に基づいて付加情報の重なり度合を判定し、当該重なり度合に基づいて、撮影画像の拡大率を計算する拡大率計算部８を有している。また、情報付加部２における画像合成部９は、撮影画像を拡大率で拡大するとともに、付加情報の変換座標を拡大率に基づいて補正する拡大処理部９１と、拡大された撮影画像に、補正された補正座標の位置に付加情報を重ねるように合成する。
【0094】
上記の構成によれば、特定領域における付加情報の重なり度合に応じた拡大率で撮影画像が拡大され、その撮影画像上の、拡大率に応じて補正された補正座標に付加情報が重ねられる。これにより、重なり度合に応じて付加情報が重ならない程度の拡大率を設定することができる。それゆえ、従来の技術のように、遠方の付加情報が小さく表示される場合に、対象物の近くまで歩み寄ったり、撮影画像を拡大させる操作をしたりする必要がなくなる。したがって、手間をかけずに付加情報の重なりを適正に解消することができる。
【0095】
特に、操作性に関しては、撮影画像が自動的に適正なサイズに拡大されて表示されるので、ユーザは、ボタンやタッチパネルなどの操作によって撮影画像のサイズを調整する必要がなくなる。これにより、手がふさがってボタンやタッチパネルの操作ができない場合や、ウェアラブル機器などの操作部１６の操作機能に制限があるために撮影画像のサイズを調整することができない場合であっても、快適にＡＲ機能を利用することができる。
【0096】
従来、付加情報が重なり合う場合に、吹き出し形式の付加情報の位置やサイズを自動的に変更する手法があった。しかしながら、この手法では、ＡＲの画面コンテンツの作成者が意図しない位置に付加情報が表示される可能性があった。
【0097】
これに対し、情報表示装置１００によれば、撮影画像を拡大するものの、付加情報を拡大しないので、付加情報のレイアウトが変更されることがない。したがって、画面コンテンツの作成者の意図した通りに付加情報を表示させることができる。
【0098】
さらに、情報付加部２は、操作部１６によって受け付けられた操作に応じて特定領域を設定する特定領域設定部５を有している。
【0099】
特定領域が小さいと、表示させたい付加情報が含まれない可能性がある。また、特定領域が大きいと、表示させたくない他の付加情報も特定領域に含まれる可能性がある。
【0100】
これに対し、上記の構成によれば、特定領域を設定することで、撮影画像において所望の特定領域を設けることができる。それゆえ、対象物に応じてユーザが所望の大きさに特定領域を設定することにより、所望の付加情報のみを選別して分散表示させることができる。
【0101】
特に、特定領域内の付加情報の個数のみで重なりを判定する場合、特定領域を狭く設定すれば、その特定領域に含まれる付加情報は少なくなるし、特定領域を広く設定すれば、その特定領域に含まれる付加情報が多くなる。したがって、特定領域を適宜設定することで、撮影画像を拡大させる条件を変えることができる。
【0102】
また、拡大率計算部８は、特定領域に存在する一定の大きさを有する付加情報の個数に基づいて重なり度合を判定し、当該重なり度合に基づいて拡大率を計算する。
【0103】
上記の構成によれば、付加情報の大きさが一定であれば、単純に特定領域のサイズから特定領域に存在できる付加情報の数が定まる。したがって、付加情報の個数から簡易的に重なり度合を判定することができる。
【0104】
また、拡大率計算部８は、特定領域に存在する付加情報の基準点座標間の距離に基づいて重なり度合を判定し、当該重なり度合に基づいて前記拡大率を計算する。
【0105】
上記の構成によれば、付加情報の大きさに対して基準点座標間の距離が短すぎれば、付加情報が重なっていることがわかる。したがって、基準点座標間の距離に基づいてより正確に重なり度合を判定することができる。
【0106】
〔ソフトウェアによる実現例〕
情報表示装置１００の制御ブロック（特に情報付加部２）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
情報表示装置１００の制御ブロック（特に情報付加部２）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【0107】
後者の場合、情報表示装置１００は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば一つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。
【0108】
上記プロセッサとしては、例えばＣＰＵ１１を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ１３等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。
【0109】
また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。
【0110】
なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0111】
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0112】
５ 特定領域設定部
８ 拡大率計算部
１５ カメラ（撮影部）
１６ 操作部
１７ 表示部
９１ 拡大処理部（拡大部）
９２ 合成処理部（合成部）
１００ 情報表示装置
４０１，６０１ 特定領域
８ 拡大率計算部
１５ カメラ（撮影部）
１６ 操作部
１７ 表示部
９１ 拡大処理部（拡大部）
９２ 合成処理部（合成部）
１００ 情報表示装置
４０１，６０１ 特定領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】