知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-06-04
(45)【発行日】2025-06-12
(54)【発明の名称】映像表示システム、映像表示装置、および映像表示方法
(51)【国際特許分類】
G09G 5/00 20060101AFI20250605BHJP
G06F 3/01 20060101ALI20250605BHJP
G06T 19/00 20110101ALI20250605BHJP
G09G 5/38 20060101ALI20250605BHJP
G09G 5/37 20060101ALI20250605BHJP
【ＦＩ】
G09G5/00 550C
G06F3/01 510
G06T19/00 600
G09G5/38
G09G5/37 320
【請求項の数】
15
(21)【出願番号】P 2021152509
(22)【出願日】2021-09-17
(65)【公開番号】P2023044464
(43)【公開日】2023-03-30
【審査請求日】2024-01-25
(73)【特許権者】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜弁理士法人
(72)【発明者】
【氏名】鵜飼 竜志
(72)【発明者】
【氏名】大内 敏
【審査官】佐藤 嘉純
(56)【参考文献】
【文献】特開２０１５－０６００７１（ＪＰ，Ａ）
【文献】特開２０１８－０３２１５５（ＪＰ，Ａ）
【文献】特開２０１６－０１９１９９（ＪＰ，Ａ）
【文献】特開２０１４－１９９５２７（ＪＰ，Ａ）
【文献】特開２０２０－１２３２６０（ＪＰ，Ａ）
【文献】特開２０１８－０９２２９９（ＪＰ，Ａ）
【文献】特開２０２１－０４３７５２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／０００５５４３（ＵＳ，Ａ１）
【文献】中国特許出願公開第１０２２１４０００（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｇ ５／００
Ｇ０６Ｆ ３／０１
Ｇ０６Ｔ １９／００
Ｇ０９Ｇ ５／３８
Ｇ０９Ｇ ５／３７
(57)【特許請求の範囲】
【請求項1】
映像表示システムにおいて、特徴点位置認識部と、
座標処理部と、
映像表示処理部と、を備え、
前記特徴点位置認識部は、撮像部で撮影した撮像画像を基に対象物の特徴点の位置を認識し、
前記座標処理部は、前記特徴点の位置を基に基準座標系を決定するとともに、ジャイロセンサおよび加速度センサの少なくともひとつを備えるセンサ部が示すセンサ情報を基に前記撮像部の動きを検出し、映像の表示位置を前記撮像部の動きに基づいて補正し、
前記映像表示処理部は、前記基準座標系に基づいて映像を表示する際に、補正された映像の表示位置に映像を表示させる、ことを特徴とする映像表示システム。
【請求項2】
請求項１記載の映像表示システムにおいて、前記座標処理部は、前記撮像画像と表示する映像の位置関係に関する座標変換情報に基づいて、前記撮像画像中の第一の基準座標系を第二の基準座標系に変換し、
前記映像表示処理部は、前記第二の基準座標系に基づいて映像を表示させる、ことを特徴とする映像表示システム。
【請求項3】
請求項１記載の映像表示システムにおいて、前記座標処理部は、前記基準座標系を補正して補正座標系を決定することにより映像の表示位置を前記撮像部の動きに基づいて補正し、
前記映像表示処理部は、前記補正座標系における所定の位置にコンテンツを表示させる、ことを特徴とする映像表示システム。
【請求項4】
請求項１記載の映像表示システムにおいて、前記映像を表示する映像表示部、前記映像表示処理部、前記撮像部、前記センサ部、前記特徴点位置認識部、および前記座標処理部は、ウェアラブルな映像表示装置内に有する、ことを特徴とする映像表示システム。
【請求項5】
請求項１記載の映像表示システムにおいて、前記ジャイロセンサは角速度を計測し、前記加速度センサは加速度を計測する、ことを特徴とする映像表示システム。
【請求項6】
請求項１記載の映像表示システムにおいて、前記座標処理部は、前記基準座標系を決定した後の前記撮像部の動きに基づいて、前記映像の表示位置を補正する、ことを特徴とする映像表示システム。
【請求項7】
請求項１記載の映像表示システムにおいて、前記座標処理部は、前記特徴点の位置を基に基準座標系を決定した時刻から、所定時間以上経過した後、再度前記特徴点の位置を基に基準座標系を決定及び更新する、ことを特徴とする映像表示システム。
【請求項8】
請求項１記載の映像表示システムにおいて、前記特徴点位置認識部は、前記座標処理部が第一の特徴点の位置を基に基準座標系を決定した時刻Ｔ１から所定時間以上経過した時刻Ｔ２において、前記第一の特徴点と、前記第一の特徴点とは異なる第二の特徴点と、の位置を認識し、
前記座標処理部は、時刻Ｔ２に前記特徴点位置認識部が認識した前記第二の特徴点の位置を基に基準座標系を決定及び更新し、
前記特徴点位置認識部は、時刻Ｔ２から所定時間以上経過した時刻Ｔ３において、前記第二の特徴点の位置を認識し、
前記座標処理部は、時刻Ｔ３に前記特徴点位置認識部が認識した前記第二の特徴点の位置を基に基準座標系を決定及び更新する、ことを特徴とする映像表示システム。
【請求項9】
請求項１記載の映像表示システムにおいて、前記特徴点は、前記撮像画像に写っている対象物のエッジ若しくは隅、または前記撮像画像のうち色相、明度、および彩度の少なくとも一つの変化が所定以上ある点、またはあらかじめ定めた所定の物体である、ことを特徴とする映像表示システム。
【請求項10】
請求項１記載の映像表示システムにおいて、入力部と、
前記撮像画像に重ねて映像を表示する映像表示部と、
前記入力部に入力されたコマンドを認識するコマンド認識部と、を備え、
前記撮像画像に重ねて所定の映像を表示した後、前記コマンド認識部が所定のコマンドを認識すると、前記特徴点位置認識部は、前記撮像画像の前記所定の映像の場所、該場所の近傍、該映像が示す場所、該映像が示す場所の近傍のうちいずれかを特徴点として該特徴点の位置を認識する、ことを特徴とする映像表示システム。
【請求項11】
請求項３記載の映像表示システムにおいて、前記所定の位置は、利用者の前方から所定の角度以上離れた位置、あるいは、利用者の前方を基準としたときに前記特徴点より離れた位置である、ことを特徴とする映像表示システム。
【請求項12】
映像を表示する映像表示装置において、対象物を撮影して撮像画像を取得する撮像部と、
ジャイロセンサおよび加速度センサの少なくともひとつにより前記撮像部の動きを検出するセンサ部と、
特徴点位置認識部と、
座標処理部と、
映像表示処理部と、
映像を表示する映像表示部と、を備え、
前記特徴点位置認識部は、前記撮像画像を基に前記対象物の特徴点の位置を認識し、
前記座標処理部は、前記特徴点の位置を基に基準座標系を決定するとともに、前記撮像部の動きに基づいて前記映像表示部が表示する映像の位置の補正情報を生成し、
前記映像表示処理部は、前記基準座標系と前記補正情報に基づいて、前記映像の表示位置を決定し、
前記映像表示部は、決定された表示位置に映像を表示する、
ことを特徴とする映像表示装置。
【請求項13】
所望のコンテンツを表示する映像表示方法であって、カメラで撮影した画像中の物体の特徴点の位置を認識する第１のステップ、
前記特徴点に基づいて基準座標系を決定する第２のステップ、
ジャイロセンサおよび加速度センサの少なくともひとつにより前記カメラの動きを検知する第３のステップ、
前記基準座標系に基づいて前記コンテンツを表示する際に、前記カメラの動きに基づいて前記コンテンツの表示位置を補正する第４のステップ、
を実行する映像表示方法。
【請求項14】
請求項１３記載の映像表示方法において、前記補正は、前記基準座標系を補正座標系に補正する処理、および、前記コンテンツの座標を補正する処理の少なくとも一つを含む、
映像表示方法。
【請求項15】
請求項１３記載の映像表示方法において、前記カメラと前記カメラの動きを検知するセンサは、利用者が装着する映像表示装置に備え付けられており、
前記利用者が前記物体を視認する際に、前記コンテンツが同時に表示される、
映像表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は映像を表示する技術に関し、特に現実空間に仮想空間の映像を重畳する技術に関する。
【背景技術】
【0002】
現実空間に仮想空間の映像を重畳することで利用者に情報を提示する、ヘッドマウントディスプレイ（HMD）などの映像表示装置及び映像表示システムが知られている。工場などでは、作業工程などのコンテンツを見ながら作業を行うケースがあるが、作業対象の近くにディスプレイなどを配置することが難しい場合がある。そのようなとき、ヘッドマウントディスプレイなどの映像表示装置を使用すれば、作業者は映像表示装置に表示される作業指示などを参照しながら作業を行うことができ、作業効率を改善することができる。
【0003】
特許文献１には、頭部装着型表示装置において、ユーザから見易い位置に仮想空間を配置してユーザの見たい画像を快適に選択表示することについて記載がある。
【0004】
特許文献２には、カメラの取得画像に基づいて撮影画像に含まれる特徴点の三次元位置を算出する構成について記載がある。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０２０－１２３２６０号公報
【文献】特開２００８－３０４２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
利用者が作業指示などのコンテンツを見ながら作業を行う場合、現実空間と仮想空間の位置関係が重要である。利用者が頭部を回転若しくは移動させた場合に、現実空間と仮想空間の位置関係が変わってしまうと、利用者は違和感を覚える場合や、誤った作業指示を受領する場合がある。
【0007】
特許文献１に記載された頭部装着型表示装置では、利用者の腰部に対する頭部の差分回転量を算出し、頭部の差分回転量に応じて仮想空間に表示する表示コンテンツを変更することで、現実空間と仮想空間の位置関係を合わせている。しかしながら、利用者の動きを基にコンテンツの表示位置を決定しているため、頭部が回転していなくても経時変化によりコンテンツがドリフトしてしまう場合がある。
【0008】
また、特許文献２ではＳＬＡＭ（Simultaneous Localization and Mapping）により自己位置推定と環境地図作成を行う情報処理装置が開示されているが、ＳＬＡＭは計算処理に多大な時間を要するため、ＳＬＡＭを利用して現実空間を認識して現実空間と仮想空間の位置関係を合わせた場合では利用者の頭部の回転に映像表示装置の映像変更が追従できない、換言すれば遅延が発生するという問題がある。
【0009】
本発明は、上記課題を解決すべくなされたものであり、本発明の目的は、利用者の動きに対する映像追従の遅延が少なく、現実空間と仮想空間の位置精度の高い重畳が可能な技術を提供することにある。
【課題を解決するための手段】
【0010】
本発明の好ましい一側面は、映像表示システムにおいて、特徴点位置認識部と、座標処理部と、映像表示処理部と、を備え、前記特徴点位置認識部は、撮像部で撮影した撮像画像を基に対象物の特徴点の位置を認識し、前記座標処理部は、前記特徴点の位置を基に基準座標系を決定するとともに、センサ部が示すセンサ情報を基に前記撮像部の動きを検出し、映像の表示位置を前記撮像部の動きに基づいて補正し、前記映像表示処理部は、前記基準座標系に基づいて映像を表示する際に、補正された映像の表示位置に映像を表示させる、ことを特徴とする映像表示システムである。
【0011】
本発明の好ましい他の一側面は、映像を表示する映像表示装置において、対象物を撮影して撮像画像を取得する撮像部と、前記撮像部の動きを検出するセンサ部と、特徴点位置認識部と、座標処理部と、映像表示処理部と、映像を表示する映像表示部と、を備え、前記特徴点位置認識部は、前記撮像画像を基に前記対象物の特徴点の位置を認識し、前記座標処理部は、前記特徴点の位置を基に基準座標系を決定するとともに、前記撮像部の動きに基づいて前記映像表示部が表示する映像の位置の補正情報を生成し、前記映像表示処理部は、前記基準座標系と前記補正情報に基づいて、前記映像の表示位置を決定し、前記映像表示部は、決定された表示位置に映像を表示する、ことを特徴とする映像表示装置である。
【0012】
本発明の好ましい他の一側面は、所望のコンテンツを表示する映像表示方法であって、カメラで撮影した画像中の物体の特徴点の位置を認識する第１のステップ、前記特徴点に基づいて基準座標系を決定する第２のステップ、前記カメラの動きを検知する第３のステップ、前記基準座標系に基づいて前記コンテンツを表示する際に、前記カメラの動きに基づいて前記コンテンツの表示位置を補正する第４のステップ、を実行する映像表示方法である。
【発明の効果】
【0013】
本発明によれば、利用者の動きに対する映像追従の遅延が少なく、現実空間と仮想空間の位置精度の高い重畳が可能な技術を提供できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
【図面の簡単な説明】
【0014】
【図1】実施例に係る映像表示装置の機能ブロックの一例を示すブロック図。
【図2】実施例に係る映像表示装置のハードウェア構成の一構成例を示すブロック図。
【図3】実施例の映像表示装置の一例と利用者を示す模式図。
【図4】実施例の映像表示装置の例を示す斜視図。
【図5】実施例１に係る現実空間と座標系の関係の一例を示す模式図。
【図6】実施例１のコンテンツ表示に係るフローチャートの一例を示す流れ図。
【図7】実施例１のコンテンツ表示に係る別のフローチャートの一例を示す流れ図。
【図8】実施例に係る特徴点の例を示す模式図。
【図9】実施例に係る映像表示処理部による表示コンテンツの決定方法の一例を示す模式図。
【図10】実施例に係る映像表示処理部による表示コンテンツの決定方法の別の一例を示す模式図。
【図11】実施例に係る映像表示装置が表示する表示コンテンツの位置の例を示す模式図。
【図12】実施例２に係る特徴点と基準座標系の一例を示した模式図。
【図13】実施例２のコンテンツ表示に係るフローチャートの一例を示した流れ図。
【図14】実施例３に係る映像表示装置の機能ブロックの一例を示したブロック図。
【図15】実施例３に係る映像表示装置の一例を示した斜視図。
【図16】実施例３の基準座標系決定に至るフローチャートの一例を示した流れ図。
【図17】実施例３に係る現実空間にマーカーを重畳表示する様子の一例を示す模式図。
【図18】実施例の映像表示装置を活用した第４の実施例である遠隔作業支援システムの構成図。
【図19】遠隔作業支援システムの映像情報伝送システム概要例を示すブロック図。
【図20】実施例４に係る遠隔作業支援システムの一例を示す模式図。
【発明を実施するための形態】
【0015】
以下、本発明の実施例について、図面を用いて詳細に説明する。なお、以下の説明は、本発明の一実施形態を説明するためのものであり、本発明の範囲を制限するものではない。従って、当業者であればこれらの各要素又は全要素をこれと同等なものに置換した実施形態を採用することが可能であり、これらの実施形態も本発明の範囲に含まれる。
【0016】
以下に説明する実施例の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。
【0017】
同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。
【0018】
本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。
【0019】
図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。
【0020】
本明細書で引用した刊行物、特許および特許出願は、そのまま本明細書の説明の一部を構成する。
【0021】
本明細書において単数形で表される構成要素は、特段文脈で明らかに示されない限り、複数形を含むものとする。
【0022】
実施例の代表的な一例を示せば以下の通りである。すなわち、映像表示システムは、撮像部と、センサ部と、特徴点位置認識部と、座標処理部と、映像表示処理部とを備える。前記特徴点位置認識部は前記撮像部で撮影した画像を基に対象物の特徴点の位置を認識し、前記座標処理部は、前記特徴点の位置を基に基準座標系を決定すると共に、前記センサ部が示す情報を基に、前記撮像部の前記基準座標系に対する相対ずれを補正して補正座標系あるいは補正座標を決定する。前記映像表示処理部は、前記補正座標系における所定の位置にコンテンツを表示する、あるいは、前記基準座標系における補正された所定の位置にコンテンツを表示する、構成を備える。ここで相対ずれとは、位置のずれおよび角度のずれの両者を含む概念である。
【実施例1】
【0023】
本実施例において映像表示装置１００は、例えばヘッドマウントディスプレイやヘッドアップディスプレイやスマートフォンやタブレット等、映像を表示する機能を有する装置である。
【0024】
図１は、本実施例の映像表示装置１００の機能ブロックの一例を示す図である。映像表示装置１００は、撮像部１０１と、センサ部１０２と、特徴点位置認識部１０３と、座標処理部１０４と、映像表示処理部１０５と、映像表示部１０６と、コントローラー１０７とを有する。
【0025】
撮像部１０１は、映像表示装置１００の周辺環境の撮像を行う。センサ部１０２は、映像表示装置１００の動きを検出する。ここで動きとは位置の変位と角度の変化（回転）の両方を含む概念とする。特徴点位置認識部１０３は、撮像部１０１が撮像した画像の中から特徴点の位置を認識する。座標処理部１０４は、映像表示装置１００が表示する映像の座標系の処理を行う。映像表示処理部１０５は、映像表示装置１００が表示する映像の表示処理を行う。映像表示部１０６は、映像の表示を行う。コントローラー１０７は、映像表示装置１００全体を統括的に制御する。各部の詳細は後述する。
【0026】
図２は、本実施例の映像表示装置１００のハードウェア構成の一構成例を示す図である。映像表示装置１００は、カメラ１１１と、センサ１１２と、ディスプレイ１１３と、ＣＰＵ（Central Processing Unit）１１４と、ＲＡＭ（Random Access Memory）１１５と、記憶媒体１１６とを有する。
【0027】
図２で示した一構成例において、映像表示装置１００は撮像部１０１としてカメラ１１１を備えている。カメラ１１１の構成は、特許文献２等に記載の公知の構成で良い。
【0028】
また、センサ部１０２としてセンサ１１２を備えている。センサ１１２は、カメラ１１１の動きを検知するため、例えばユーザの頭部の動きを検知する。また、映像表示部１０６はディスプレイ１１３を備えている。センサ部１０２やディスプレイ１１３の構成は、特許文献１等に記載の公知の構成で良い。
【0029】
ディスプレイ１１３の表示方式は、外界からの視覚情報も受け取ることができる透過型ディスプレイでも、映像情報のみを映し出す非透過型ディスプレイでもよいが、以下では、現実空間に重畳させて画像を視認するため、透過型ディスプレイとして説明する。ディスプレイ１１３は、両眼用に２つ備えてもよいし、片眼用に１つ備えてもよい。
【0030】
ＣＰＵ１１４は、記憶媒体１１６またはＲＡＭ１１５に格納されているプログラムを実行する。具体的には、ＣＰＵ１１４がプログラムを実行することにより、映像表示装置１００のコントローラー１０７や、特徴点位置認識部１０３、座標処理部１０４、映像表示処理部１０５等、各部の機能が実現される。
【0031】
記憶媒体１１６は、ＣＰＵ１１４が実行するプログラムおよび実行に必要な各種パラメータ・データを格納するための媒体である。
【0032】
ＲＡＭ１１５は、ディスプレイ１１３で表示するための画像および各種情報を格納するための記憶媒体である。また、ＲＡＭ１１５は、ＣＰＵ１１４が使用するプログラムやデータの一時保管領域としても機能する。映像表示装置１００は、ＣＰＵ１１４とＲＡＭ１１５と記憶媒体１１６をそれぞれ複数有する構成でもよい。
【0033】
なお、映像表示装置１００のハードウェア構成は、図２に示す構成に限定されない。例えばＣＰＵ１１４、記憶媒体１１６、ＲＡＭ１１５を映像表示装置１００とは別体として設けるようにしてもよい。その場合、映像表示装置１００は汎用のコンピューター（例えばサーバーコンピューターやパーソナルコンピューター、スマートフォン等）を用いて実現するようにしてもよい。
【0034】
例えば、カメラ１１１、センサ１１２、ディスプレイ１１３を利用者が装着するウェアラブルなヘッドマウントディスプレイに実装し、ＣＰＵ１１４、ＲＡＭ１１５、記憶媒体１１６は遠隔地のサーバにて構成し、ヘッドマウントディスプレイとサーバをネットワークで接続して構成してもよい。
【0035】
また、複数のコンピューターをネットワークで接続して、映像表示装置１００の各部の機能を各コンピューターが分担することもできる。一方で、映像表示装置１００の機能の１つ以上を、専用のハードウェアを用いて実現することもできる。
【0036】
図３は、本実施例の映像表示装置１００の一例と利用者７００を示す図である。図３に示す映像表示装置１００は、利用者７００が自身の頭部に装着して利用可能なヘッドマウントディスプレイ（スマートグラスとも称する）である。
【0037】
図４は、本実施例の映像表示装置１００の実装形態の一例を示す図である。映像表示装置１００は、カメラ１１１とセンサ１１２を備えており、本例ではセンサ１１２としてジャイロセンサを用いている。ジャイロセンサは映像表示装置１００の動きを検知できる。
【0038】
ディスプレイ１１３は、眼鏡のレンズ部に内蔵される。透過型ディスプレイの場合、利用者７００はディスプレイ１１３を透過して外界を視認すると同時に、映像表示部１０６がディスプレイ１１３に投影する映像を視認することができる。カメラ１１１は利用者の前方を撮影し、カメラ画像は利用者が視認する外界にほぼ重なる。次に、本実施例の映像表示装置１００の動作を詳細に説明する。
【0039】
図５は、本実施例の現実空間と座標系の関係の一例を示す図である。後に詳細に説明する。
【0040】
図６は、本実施例の映像表示装置１００が実行するコンテンツ表示に係るフローチャートの一例を示す図である。
【0041】
はじめに、映像表示装置１００はカメラ画像を取得する（Ｓ１０１）。映像表示装置１００のコントローラー１０７は撮像部１０１に対して撮像のコマンドを送付し、撮像部１０１はコマンドに従って撮像し、撮像部１０１は撮像した画像をコントローラー１０７に送信する。
【0042】
図３および図４に示したように、映像表示装置１００が備えているカメラ１１１は、利用者７００が映像表示装置１００を頭部に装着した際に、利用者７００の前方を撮影できるように映像表示装置１００に取り付けられている。従って、映像表示装置１００はカメラ１１１の撮影画像を取得することで、利用者７００の前方の現実空間における状況を画像として取得することが可能である。すなわち、カメラ１１１が撮影した画像には、現実空間において利用者の前方に位置している物体１３１が撮影されている（図５（ａ））。物体１３１としては、例えば利用者７００が操作する分電盤（の操作パネル）などが想定される。
【0043】
次に、映像表示装置１００は特徴点の位置の認識を行う（Ｓ１０２）。映像表示装置１００のコントローラー１０７は特徴点位置認識部１０３に撮像部１０１から受領した撮像画像とコマンドを送付し、特徴点位置認識部１０３は撮像画像から特徴点１３２の位置を認識し、認識結果をコントローラー１０７に送信する（図５（ａ））。特徴点１３２の詳細については後述するが、特徴点位置認識部１０３がコントローラー１０７から受領した撮像画像の内部において、特徴的な点が特徴点１３２である。また、特徴点１３２の位置とは、撮像画像内のどの位置に特徴点１３２があるかを表す。
【0044】
次に、映像表示装置１００は基準座標系の決定を行う（Ｓ１０３）。映像表示装置１００のコントローラー１０７は座標処理部１０４に特徴点位置認識部１０３から受領した特徴点の位置とコマンドを送付し、座標処理部１０４は特徴点の位置を基に基準座標系を決定し、座標系情報をコントローラー１０７に送信する。
【0045】
図５（ａ）では、特徴点１３２の位置を基準とし、紙面下方向にｘ軸１３３を設定し、紙面右方向にｙ軸１３４を設定している。しかしながら本実施例はこれに限られず、特徴点１３２の位置から所定の方向に所定の距離だけずれた位置をｘ軸１３３及びｙ軸１３４の原点としてもかまわないし、２つの軸が直交しない座標系を設定してもかまわないし、極座標系を設定してもかまわない。以下では図５（ａ）のように特徴点１３２の位置を基準とし、紙面下方向にｘ軸１３３を設定し、紙面右方向にｙ軸１３４を設定したとして説明を行う。
【0046】
また、座標処理部１０４は撮像部１０１の撮像画像と、映像表示部１０６が表示する映像の位置関係に関する情報を事前に備えている。つまり、撮像部１０１が撮影する画像の画角及び方向及び回転角と、映像表示部１０６が表示する映像の画角及び方向及び回転角を基に、撮像部１０１の撮影画像内における所定の位置及び方向が、映像表示部１０６が表示する映像内において如何なる位置及び方向に対応するかに関する情報を事前に備えている。これにより、撮像画像内の座標と映像内の座標は相互に変換が可能である。かかる位置関係に関する情報は、撮像部１０１と映像表示部１０６の仕様に基づいて事前に定めることができる。撮像画像内の第一の座標系と映像内の第二の座標系を変換するための情報を、便宜的に座標変換情報ということがある。
【0047】
該位置関係に関する情報を基に、座標処理部１０４は座標変換情報を用いて、撮像画像内に設定した第一の基準座標系を映像表示部１０６が表示する映像内における第二の基準座標系に換算する。座標処理部１０４は映像表示部１０６が表示する映像内における第二の基準座標系に関する情報をコントローラー１０７に送信する。具体的には、例えば映像表示部１０６が表示する映像内における第二の基準座標系の原点及び方向に関する情報である。
【0048】
上記の説明では、座標処理部１０４は撮像画像内で第一の基準座標系を設定した後、映像表示部１０６が表示する映像内における第二の基準基準座標系に換算するとして説明したが、本実施例はこれに限られない。座標処理部１０４は座標変換情報を用いて、特徴点１３２の位置が、映像表示部１０６が表示する映像内の如何なる位置に該当するかを計算し、該位置を基準として、映像表示部１０６が表示する映像内において第二の基準基準座標系を設定してもよい。これにより、座標処理部１０４における処理を軽減することが可能である。特徴点１３２の位置の認識及び基準座標系の決定は、撮像画像全体を利用して現実空間全体の空間認識を行わなくてよいため、高速な位置の認識及び基準座標系の決定が可能である。
【0049】
以上のように、撮像画像内に設定した第一の基準座標系を映像表示部１０６が表示する映像内における第二の基準座標系に換算する。換算した座標系に基づいて撮像画像内に表示するコンテンツ（オブジェクト）を位置決めすることで、撮像画像内の物体とコンテンツとの位置関係を定めることができる。この結果、現実空間の物体と仮想空間のコンテンツの位置関係を定めることができる。ただし、これはカメラ１１１の視野が固定されていることが前提である。
【0050】
次に、映像表示装置１００は所定時間経過するまで所定時間経過したかの判断を繰り返す（Ｓ１０４）。換言すれば、所定時間経過するまで待機する。具体的には例えば、コントローラー１０７は、座標処理部１０４から座標系情報を受領してからの経過時間を計測し、該経過時間が所定の時間を超過しているか否かを所定の間隔で判定し、該経過時間が所定の時間を超過するまで繰り返す。
【0051】
別の方法としては、コントローラー１０７はループカウンターを備えており、ループカウンターが所定の値を超過しているかを判断し、判断毎にループカウンターの値を所定の値ずつ増加させ、ループカウンターが所定の値を超過するまで繰り返す。
【0052】
別の方法としては、コントローラー１０７は時刻を取得し、該時刻が所定の時刻から所定の時刻だけ経過した時刻を超過しているか否かを所定の間隔で判定し、取得した時刻が所定の時刻から所定の時刻だけ経過した時刻を超過するまで繰り返す。
【0053】
一般に、時間の経過とともにユーザの頭や体が移動するため、カメラ１１１が動く。第一および第二の基準座標系を決定したステップＳ１０３の時点では、撮像画像内の物体とカメラ視点の現実空間の物体の位置関係は対応している。すなわち、撮像画像内の物体の特徴点に規定された第一の基準座標系はカメラ視点の現実空間の物体の特徴点に規定された座標系と等価である。よって第一の基準座標系に基づいて定めた第二の基準座標系に従って表示領域を表示すれば、現実空間の所望の位置にコンテンツを表示できる。
【0054】
しかし、カメラ１１１の視野が移動すると、ステップＳ１０３の時点の撮像画像内の物体と現時点のカメラ視点の現実空間の物体の位置関係は対応しなくなる。すなわち、ステップＳ１０３で決定された第一の基準座標系は現実空間の物体の特徴点に規定された座標系と等価ではなくなる。したがって、現実空間の物体と第二の基準座標系に基づく表示領域の位置関係がずれてしまうので補正が必要となる。
【0055】
例えば頭の動きに映像を追従させるため、修正は例えば１秒間に複数回行う。具体的には、30回/秒や60回/秒程度であり、多いほど追従性の観点では好ましいが、処理負荷のため高速にできない場合は、数回/秒でも用途によっては許容される。よって、Ｓ１０４（およびＳ１１０）の所定時間はこれらを考慮して定める。
【0056】
基準座標系の修正のため、映像表示装置１００はセンサ情報の取得を行う（Ｓ１０５）。映像表示装置１００のコントローラー１０７はセンサ部１０２に対してセンサ情報取得のコマンドを送付し、センサ部１０２はコマンドに従ってセンサ情報を取得し、センサ部１０２はセンシングしたセンサ情報をコントローラー１０７に送信する。
【0057】
図４に示した映像表示装置１００の一例では、映像表示装置１００はセンサ１１２としてジャイロセンサを備えており、ジャイロセンサは映像表示装置１００の角速度を計測する。ジャイロセンサはコントローラー１０７に計測した角速度データを送信する。
【0058】
図４に示した映像表示装置１００の一例では、映像表示装置１００はセンサ１１２としてジャイロセンサを備えているとしたが、本実施例はこれに限られない。例えば、映像表示装置１００はセンサ１１２として加速度センサを備えており、加速度センサは映像表示装置１００の加速度を計測し、加速度センサはコントローラー１０７に計測した加速度データを送信するとしてもよい。
【0059】
次に、映像表示装置１００は相対ずれ量の認識及び補正座標系の決定を行う（Ｓ１０６）。映像表示装置１００のコントローラー１０７は座標処理部１０４にセンサ部１０２から受領したセンサ情報とコマンドを送付し、座標処理部１０４は相対ずれ量１３５の認識及び補正座標系の決定を行い、座標系情報をコントローラー１０７に送信する。
【0060】
一つの例では、Ｓ１０５のセンサ情報は、Ｓ１０３以降の時系列データ（例えばＳ１０３以降どのように角速度が変化したかの時系列データ)である。あるいは、センサ情報の値が短時間の間はほぼ一定と仮定して、Ｓ１０５のタイミングにおけるデータでもよい。いずれのデータを用いても、Ｓ１０３の時点以降の相対ずれ量１３５を計算することができる。
【0061】
つまり、座標処理部１０４はコントローラー１０７から受領したセンサ情報を基に、現実空間における特徴点１３２の位置と映像表示装置１００の位置関係が、映像表示装置１００の移動により、基準座標系を決定した時から如何程ずれているかを計算する。
【0062】
本実施例の別の観点では、座標処理部１０４はコントローラー１０７から受領したセンサ情報を基に、現実空間における特徴点１３２の位置と映像表示装置１００の位置関係が、映像表示装置１００の移動により、前回座標系情報を算出した時から如何程ずれているかを計算する。
【0063】
図５（ｂ）に示すように、前回座標系情報を算出した時からのずれ量を、基準座標系を決定した時から積算することで、基準座標系を決定した時からの相対ずれ量１３５を算出することが可能である。
【0064】
図４に示した映像表示装置１００の一例では、座標処理部１０４はコントローラーから角速度データを受領する。いま、角速度がほぼ一定と仮定して、Ｓ１０５のタイミングにおける角速度データを用いるとする。前回座標系情報を算出した時から経過した時刻をΔＴ、角速度をωとすると、前回座標系情報を算出した時からの角度ずれ量はΔＴ×ωである。前回座標系情報を算出した時からの角度ずれ量を、基準座標系を決定した時から積算することで、第一の基準座標系を決定した時からの角度ずれ量を算出することが可能である。
【0065】
座標処理部１０４は、認識した相対ずれ量１３５を基に、補正座標系の決定を行う。具体的には、座標処理部１０４は相対ずれと撮像部１０１の撮像画像との関係に関する情報を事前に備えている。つまり、現実空間における相対ずれが撮像部１０１の撮像画像内において、如何なる方向の如何なる距離もしくは角度に対応するかに関する情報を事前に備えている。かかる情報は、撮像部１０１の仕様や、センサ部１０２の仕様に基づいて定めることができる。該情報及び相対ずれ量を基に、座標処理部１０４は第一の基準座標系を相対ずれ量に相当する量だけシフト又は回転させ第一の補正座標系を決定する。これにより、映像表示装置１００が移動した場合においても、第一の補正座標系は現実空間では略移動しない座標系となる。
【0066】
図５（ｃ）に示した例では、ｘ軸１３３及びｙ軸１３４によって決定された第一の基準座標系に対して、相対ずれ量１３５だけシフトした、ｘ’軸１３６及びｙ’軸１３７を第一の補正座標系として決定する。
【0067】
座標処理部１０４は座標変換情報を用いて、撮像画像内に設定した第一の補正座標系を映像表示部１０６が表示する映像内における第二の補正座標系に換算する。座標処理部１０４は映像表示部１０６が表示する映像内における第二の補正座標系情報をコントローラー１０７に送信する。
【0068】
上記の説明では、前回座標系情報を算出した時からのずれ量を、基準座標系を決定した時から積算することで、基準座標系を決定した時からの相対ずれ量を算出したが、本実施例はこれに限られない。座標処理部１０４は、前回座標系情報を算出した時からのずれ量を相対ずれ量とし、前回座標系情報を算出した時の基準座標系若しくは補正座標系と、相対ずれ量から、補正座標系を決定する構成とすることも可能である。すなわち、前回のＳ１０６による補正座標系の決定からの差分を次のＳ１０６で補正する。これによりずれ量の積算が不要となり、処理を軽減することが可能である。
【0069】
上記の説明では、座標処理部１０４は撮像画像内で第一の補正座標系を設定した後、座標変換情報により映像表示部１０６が表示する映像内における第二の補正座標系に換算するとして説明したが、本実施例はこれに限られない。座標処理部１０４は、座標変換情報を用いて、相対ずれ量が、映像表示部１０６が表示する映像内の如何なる方向及び距離に該当するかを計算し、映像表示部１０６が表示する映像内において第二の補正座標系を設定してもよい。これにより、座標処理部１０４における処理を軽減することが可能である。
【0070】
以上説明したように、カメラ１１１が撮像した撮像画像内の特徴点に基づいて第一の基準座標系を設定し、これに対応した第二の基準座標系を映像表示部１０６が表示する映像内に設定する。センサ１１２による信号に基づいてカメラ１１１の位置や角度変位に起因する相対ずれ量を計算する。図５に示したように、相対ずれ量１３５は撮像画像内の物体（代表的には基準点）のずれに相当する。この相対ずれ量に基づいて第二の基準座標系を補正する。映像表示部１０６が表示するコンテンツの位置は補正された第二の基準座標系に基づいて定まるので、第二の基準座標系を撮像画像内の物体のずれに追従するように補正して第二の補正座標系とすることで、利用者７００が認知する撮像画像内の物体とコンテンツの相対的位置関係の変化を抑圧することができる。
【0071】
相対ずれ量の認識及び補正座標系の決定は、現実空間全体の空間認識を行わなくてよいため、高速な相対ずれ量の認識及び補正座標系の決定が可能である。なお、基準座標系の決定（Ｓ１０３）自体を高頻度で繰り返すことでも撮像画像内の物体とコンテンツの相対的位置関係の変化を抑圧することができるが、この場合は基準座標系の決定のための処理の負荷が大きくなるという問題がある。
【0072】
次に、映像表示装置１００は表示コンテンツの決定を行う（Ｓ１０７）。映像表示装置１００のコントローラー１０７は映像表示処理部１０５に座標処理部１０４から受領した座標系情報とコマンドを送付し、映像表示処理部１０５は映像表示装置１００が表示する表示コンテンツの決定を行い、表示コンテンツをコントローラー１０７に送信する。表示コンテンツの決定については、後に図９で説明する。
【0073】
映像表示処理部１０５は、コントローラー１０７から受領した座標系情報を基に、第二の補正座標系を基準として表示するコンテンツの位置を決定する。映像表示装置１００が移動した場合においても、第二の補正座標系は現実空間では略移動しない座標系であるから、映像表示装置１００の移動に略影響されない映像表示が可能である。
【0074】
次に、映像表示装置１００はコンテンツの表示を行う（Ｓ１０８）。映像表示装置１００のコントローラー１０７は映像表示部１０６に映像表示処理部１０５から受領した表示コンテンツとコマンドを送付し、映像表示部１０６は該表示コンテンツを表示する。
【0075】
次に、映像表示装置１００は終了コマンドの有無を判定する（Ｓ１０９）。終了コマンドとしては例えば、映像表示装置１００の図示しない入力部から入力された情報、若しくは該情報を認識した情報が利用可能である。例えば、映像表示装置１００は入力部としてマイクを備え、マイクは利用者７００からの音声命令を受信し、映像表示装置１００は該音声命令を認識し、所定の命令を認識した場合は終了コマンドが有ると判断する映像表示装置１００を構成することが可能である。終了コマンドがある場合には、映像表示装置１００はフローを終了する。
【0076】
終了コマンドがない場合、映像表示装置１００は所定時間経過するまで所定時間経過したかの判断を繰り返す（Ｓ１１０）。換言すれば、所定時間経過するまで待機する。所定時間経過後、映像表示装置１００はセンサ情報の取得（Ｓ１０５）からフローを繰り返す。これにより、所定の時間間隔で、センサ情報に基づく相対ずれ量の認識による補正座標系の決定を繰り返すことができ、映像表示装置１００が移動し続ける場合においても、継続して座標系の補正を行うことができ、継続して映像表示装置１００の移動に略影響されない映像表示が可能となる。
【0077】
図７は、本実施例のコンテンツ表示に係る別のフローチャートの一例を示した図である。図６との差分について説明する。映像表示装置１００は、Ｓ１１０において所定時間経過するまで所定時間経過したかの判断を繰り返した後、所定回数経過したかの判断を行う（Ｓ１１１）。具体的には例えば、コントローラー１０７はループカウンターを備えており、判断の度にループカウンターを所定の値だけ増加させるとともに、ループカウンターが所定の値を超過しているか否かを判断する。
【0078】
本実施例の別の観点では、映像表示装置１００は前回基準座標系を決定してから所定の時間経過しているか否かを判断し、所定の時間経過している場合には所定回数経過したものと見做す。映像表示装置１００は所定回数経過したと判断した場合にはカメラ画像の取得（Ｓ１０１）から繰り返し、所定回数経過したと判断しない場合にはセンサ情報の取得（Ｓ１０５）から繰り返す。
【0079】
これにより、映像表示装置１００は、所定回数ごとや所定の時間ごとにカメラ画像を利用した基準座標系の決定を行うことができ、例えばカメラ１１１が動かなかった場合でも、信号の経時的なドリフト等が生じることがある。このような信号ドリフトに対しても、映像重畳の位置精度を向上させることが可能となる。基準座標系の更新は、例えば１回/秒程度の頻度で行うことができる。
【0080】
図８は、本実施例に係る特徴点１３２の例を示す図である。図８では、物体１３１の一例として分電盤１３１Ａを示している。特徴点１３２としては、例えば物体１３１の頂点１５１Ａ～１５１Ｄを利用することが可能である。
【0081】
本実施例の別の観点では、特徴点１３２としては、例えば物体１３１の辺１５２Ａ～１５２Ｄを利用することが可能である。本実施例の別の観点では、特徴点１３２としては、物体１３１の中心１５３若しくは物体１３１の重心を利用することが可能である。本実施例の別の観点では、特徴点１３２としては、物体１３１の内部にある物体１５４の所定の位置を利用することが可能である。例えば、物体１５４の頂点１５４Ａや物体１５４の辺１５４Ｂなどを利用することが可能である。
【0082】
本実施例の別の観点では、特徴点１３２としては、物体１３１に記載されている文字列１５５の所定の位置１５５Ａを利用することが可能である。所定の位置１５５Ａとしては、例えば文字列１５５の所定の文字数目の文字のうち、一番上の箇所、一番下の箇所、一番右の箇所、一番左の箇所などを利用することが可能である。
【0083】
本実施例の別の観点では、特徴点１３２としては、所定の記号１５６を利用することが可能である。所定の記号は予め決まった記号でもよいし、未知の記号でもよい。記号１５６は１次元コードや２次元コードなどでもよい。特徴点１３２としては、物体１３１が予め備えている物体１３１の構成物でもよいし、物体１３１に貼り付けられた物体でもよい。
【0084】
以上のように特徴点は予め定義しておくことができ、カメラ１１１が撮像した撮像画像内から、特徴点位置認識部１０３が特徴点の色（例えば色相、明度、および彩度）や形状に基づいて公知の手法により抽出することができる。
【0085】
図９は、本実施例に係る映像表示処理部１０５による表示コンテンツの決定方法の一例を示す図である。図９では説明のために、利用者７００から見た現実空間と仮想空間を合わせて表記している。物体１３１は現実空間に位置する物体である。座標処理部１０４は撮像画像内にｘ’軸１３６及びｙ’軸１３７を第一の補正座標系として決定し、映像表示部１０６が表示する映像内における第二の補正座標系に換算する。
【0086】
いま、理解を助けるための具体的な例として、物体１３１は現実空間にある物体例えば分電盤などである。この例では、カメラ１１１の視野は物体１３１を認識できる程度あればよい。この例では、物体１３１の右側にコンテンツ１６２、例えば分電盤の操作マニュアルを表示したい場合を説明する。
【0087】
映像表示処理部１０５は、コントローラー１０７から受領した座標系情報を基に、第二の補正座標系を基準として表示するコンテンツの位置を決定する。具体的には、映像表示装置１００は例えば以下のようにして表示コンテンツの位置を決定する。
【0088】
映像表示処理部１０５は仮想空間におけるコンテンツを予め図示しない仮想空間記憶部に格納する。仮想空間記憶部としては例えばＲＡＭ１１５を利用することが可能である。仮想空間記憶部に記憶された仮想空間１６１には複数のコンテンツの画像が、それぞれ仮想空間１６１内の所定の位置に位置決めされて収納されている。
【0089】
すなわち、仮想空間に関しては、物体１３１に対してどの場所にどのコンテンツを表示するかのマップを持っている。具体的には、この例では物体１３１と仮想空間１６１の相対的位置関係があらかじめ定められており、コンテンツ１６２が物体１３１の右側に位置するように定められている。コンテンツの位置は、例えば第二の座標系に従った座標で示すことができる。仮想空間１６１のサイズは任意であり大きさに制限はない。なお、現実空間に関してはマップを持っておらず、カメラ画像を基に第一の基準座標系が生成できればよい。
【0090】
図９の例では、仮想空間１６１に３つのコンテンツ１６２Ａ～１６２Ｃが左右方向に位置をずらして収納されている。仮想空間１６１の保存形式は、例えば、ビットマップイメージなどの画像ファイルである。一般的な例では映像表示部１０６が表示できる画角が小さいので、ここで、映像表示装置１００で表示可能な領域は仮想空間１６１のうち、表示領域１６３に位置するコンテンツだけであり、その表示領域１６３の位置は映像表示処理部１０５により決定される。図９の例では、表示領域１６３はコンテンツ１６２Ａの一部に重なっており、映像表示装置１００は表示領域１６３内のコンテンツ１６２Ａの一部を表示することができる。
【0091】
表示領域１６３の位置は、例えば頭の動きに連動して第二の座標系の座標で定められる。このようにカメラの動きに合わせて、表示領域を仮想空間の中から切り出して映像を表示する。頭部の方向を変えることで、視線方向に配置されたコンテンツを見る手法については、例えば特許文献１等に記載の公知技術を採用してよい。
【0092】
すでに説明したように、本実施例では第二の基準座標系自体の補正を行う方式を示したが、第二の基準座標系における表示領域１６３の座標やコンテンツの座標を補正しても同様の効果がある。この場合には、第二の基準座標系を補正する場合とシフト量は同じで方向を逆向きにシフトさせるように、コンテンツ等の座標を補正すればよい。
【0093】
座標処理部１０４は撮像画像内にｘ’軸１３６及びｙ’軸１３７を第一の補正座標系として決定した後、仮想空間１６１内において、ｘ’軸１３６及びｙ’軸１３７が如何なる位置及び如何なる方向に該当するか計算し、仮想空間１６１内における第二の補正座標系として座標系情報をコントローラー１０７に送信する。即ち座標系情報は、例えば、仮想空間１６１若しくは表示領域１６３のうち少なくとも一方が第二の補正座標系の如何なる位置及び如何なる方向に該当するかを表す。
【0094】
映像表示処理部１０５はコントローラー１０７から仮想空間１６１内における第二の補正座標系に関する座標系情報を受領し、該第二の補正座標系において所定の位置に表示領域１６３を設定する。
【0095】
映像表示処理部１０５は、表示領域１６３内にある情報を表示コンテンツとしてコントローラー１０７に送信する。第二の補正座標系は現実空間では略移動しない座標系であるから、映像表示装置１００が表示するコンテンツは、映像表示装置１００の移動に略影響されない。すなわちコンテンツがあたかも現実空間に貼りついているかのように利用者７００が知覚する、映像表示が可能である。また、事前にコンテンツを仮想空間記憶部に記憶させておくため、映像表示処理部１０５が表示コンテンツを決定するたびに仮想空間の一部若しくは全体の描画が不要となり、表示コンテンツの決定の速度を速める、つまり高速化を図ることが可能である。
【0096】
現実空間に重畳させてコンテンツを視認する透過型ディスプレイでは、以上のようにして利用者が物体を視認する際に、表示コンテンツを同時に表示することができる。以上の説明では、基準座標系、補正座標系とも撮影画像内の物体上に規定されるので、基本的に二次元座標系でよい。仮想空間の座標系も同様である。
【0097】
図１０は、本実施例に係る映像表示処理部１０５による表示コンテンツの決定方法の別の一例を示す図である。図１０では説明のために、利用者７００から見た現実空間と仮想空間を合わせて表記している。映像表示処理部１０５は、映像表示装置が表示するコンテンツ１７１の補正座標系における座標に関する情報を事前に備えている。例えば、映像表示処理部１０５は、分電盤の右端から5度の位置に操作マニュアルというコンテンツを表示するといった内容の情報を備えている。この情報は第二の補正座標系の座標として示すことができる。映像表示処理部１０５は、コンテンツ１７１の少なくとも一部が表示領域１６３に重なっていることを認識した場合、表示コンテンツとしてコンテンツ１７１を描画し、該表示コンテンツをコントローラー１０７に送信する。
【0098】
第二の補正座標系は現実空間では略移動しない座標系であるから、映像表示装置１００は、映像表示装置１００の移動に略影響されない、すなわちコンテンツがあたかも現実空間に貼りついているかのように利用者７００が知覚する、映像表示が可能である。例えば、補正座標系が分電盤に貼りついている場合、補正座標系における座標を指定することで、分電盤に貼りついたようにコンテンツを表示できる。また、仮想空間全体の情報を仮想空間記憶部に記憶しなくてよいため、記憶部の使用量削減及び低コスト化を実現可能である。
【0099】
図１１は本実施例に係る映像表示装置１００が表示する表示コンテンツの位置の例を示す図である。表示コンテンツの表示位置は、以下の方法で物体との位置関係を第一の補正座標系で定め、座標変換情報で第二の補正座標系の座標に変換してあらかじめ決めておくことができる。仮想空間１６１のコンテンツ１６２の位置と表示領域１６３の位置を第二の補正座標系で定めておけば、重なった部分が表示される。
【0100】
アイポイント１８０は、映像表示装置１００を利用する利用者７００の目の位置を示す。また、利用者７００が正面を向き正面を見た時に利用者が視認する物体１３１上の点を中心点１８１とし、物体１３１の端を端１８２とする。
【0101】
映像表示装置１００は、例えば表示コンテンツ１８４が物体１３１と重ならないように表示する。具体的には、表示コンテンツ１８４の端１８３が、物体の端１８２に対して、中心点１８１と反対側となるように表示コンテンツ１８４を表示する。これにより、表示コンテンツ１８４により利用者７００が物体１３１を認識しにくくなることを防ぐことができ、物体１３１の視認性を向上させることが可能である。本実施例の別の観点では、中心点１８１は物体１３１の中心とすることも可能である。
【0102】
本実施例の別の観点では、アイポイント１８０と中心点１８１を結ぶ線分と、アイポイント１８０と表示コンテンツの端１８３を結ぶ線分とがなす角度θが所定の角度以上となるように表示コンテンツを表示する。例えば、映像表示装置１００は、角度θが２．５度以上となるように表示コンテンツを表示する。これにより利用者７００が正面を見ている場合に映像表示装置１００は弁別視野の範囲を避けて映像を表示することができるようになるため、利用者７００による物体１３１の視認性を向上させることができる。
【0103】
本実施例の別の観点では、映像表示装置１００は角度θが１５度以上となるように表示コンテンツを表示する。これにより映像表示装置１００は有効視野を避けて映像を表示することができるようになるため、利用者７００による物体１３１の視認性を更に向上させることができる。
【0104】
本実施例の別の観点では、映像表示装置１００は角度θが３０度以上となるように表示コンテンツを表示する。これにより映像表示装置１００は安定注視野を避けて映像を表示することができるようになるため、利用者７００による物体１３１の視認性を更に向上させることができる。
【0105】
本実施例の別の観点では、映像表示装置１００は角度θが５０度以上となるように表示コンテンツを表示する。これにより映像表示装置１００は誘導視野を避けて映像を表示することができるようになるため、利用者７００による物体１３１の視認性を更に向上させることができる。
【0106】
本実施例によれば、撮像部１０１の撮像画像を基にした基準座標系の決定及びセンサ部１０２からのセンシング情報を基にした補正座標系の決定を行い、該補正座標系に基づき表示コンテンツの決定を行うため、位置精度の高い映像表示が可能な映像表示装置１００を提供可能である。また、高速な特徴点の位置や相対ずれ量の認識、及び基準座標系や補正座標系の決定、表示コンテンツの決定が可能であるため、映像表示装置１００の動きに対して遅延の少ない重畳映像を表示可能な映像表示装置１００を提供可能である。
【実施例2】
【0107】
実施例２では、時間変化と共に基準座標系を決定する際の特徴点が変更可能な構成とした。なお、実施例２において、前述した実施例との相違点を主に説明し、前述した実施例と同じ構成には同じ符号を付し、それらの説明は省略する。
【0108】
図１２は、本実施例に係る特徴点と基準座標系の一例を示した図である。
【0109】
【0110】
図１３に示したフローにおいて、Ｓ１１１で所定回数経過したことが判断された場合は特徴点の位置の認識（Ｓ２０２）及び基準座標系の決定（Ｓ２０３）を繰り返し行うが、異なる時刻において特徴点の位置の認識（Ｓ２０２）及び基準座標系の決定（Ｓ２０３）を行う時刻を時刻Ｔ１、時刻Ｔ２、及び時刻Ｔ３とする。ここで時刻Ｔ２は時刻Ｔ１より後の時刻であり、時刻Ｔ３は時刻Ｔ２より後の時刻である。
【0111】
なお、特徴点の位置の認識（Ｓ２０２）と基準座標系の決定（Ｓ２０３）が行われる時刻には当然時間差があるが、本実施例では特徴点の位置の認識（Ｓ２０２）及び基準座標系の決定（Ｓ２０３）の時間差には特に言及せず、両者のステップを実行する代表的な時刻として時刻Ｔ１等と呼ぶこととする。
【0112】
図１２（ａ）に示すように、時刻Ｔ１のＳ２０２において、特徴点位置認識部１０３は特徴点２００の位置を認識する。また時刻Ｔ１のＳ２０３において、座標処理部１０４は特徴点２００の位置を基に基準座標系のｘ軸２０２Ａ及びｙ軸２０３Ａを決定する。
【0113】
時刻Ｔ２のＳ２０２において、特徴点位置認識部１０３は特徴点２００及び特徴点２０１の位置を認識し、特徴点２００及び特徴点２００とは異なる特徴点２０１の位置の認識結果をコントローラー１０７に送信する。なお本例では、２つの特徴点を認識するが、３つ以上としてもよい。
【0114】
図１２（ｂ）に示すように、時刻Ｔ２のＳ２０３において、コントローラーは特徴点２００及び特徴点２０１の位置の認識結果を座標処理部１０４に送信する。座標処理部１０４は特徴点２００及び特徴点２０１の位置の差異２０４を検出し、時刻Ｔ１において決定した基準座標系のｘ軸２０２Ａ及びｙ軸２０３Ａ、若しくは時刻Ｔ２の直前に座標処理部１０４が決定した補正座標系のｘ’軸及びｙ’軸と、特徴点２０１を基準とした基準座標系のｘ軸２０２Ｂ及びｙ軸２０３Ｂが略一致するように、特徴点２０１を基準として基準座標系のｘ軸２０２Ｂ及びｙ軸２０３Ｂを決定する。
【0115】
図１２（ｃ）に示すように、時刻Ｔ３のＳ２０２において、特徴点位置認識部１０３は特徴点２０１の位置を認識する。また時刻Ｔ３のＳ２０３において、座標処理部１０４は特徴点２０１の位置を基に基準座標系のｘ軸２０２Ｂ及びｙ軸２０３Ｂを決定する。
【0116】
本実施例によれば、映像表示装置１００は基準座標系を決定するための特徴点を変更することができる。これにより、映像表示装置１００が移動するにつれて、撮像部１０１が撮像する画像において特徴点が画像の範囲外に出てしまう場合においても、撮像部１０１が撮像する画像に写っている別の特徴点を利用して基準座標系を決定することができるようになる。従って、映像表示装置１００が大きく移動する場合においても、位置精度の高い映像表示が可能な映像表示装置１００を提供可能である。
【実施例3】
【0117】
実施例３では、利用者７００がコマンドで特徴点を示すことが可能な構成とした。なお、実施例３において、前述した実施例との相違点を主に説明し、前述した実施例と同じ構成には同じ符号を付し、それらの説明は省略する。
【0118】
図１４は、本実施例に係る映像表示装置１００の機能ブロックの一例を示す図である。映像表示装置１００は、入力部３０１と、コマンド認識部３０２と、を備える。
【0119】
図１５は、本実施例に係る映像表示装置１００の一例を示す図である。映像表示装置１００は、入力部３０１としてマイク３１０を備える。
【0120】
図１６は、本実施例の基準座標系の決定に至るフローチャートの一例を示した図である。
【0121】
はじめに、映像表示装置１００は、マーカーを表示する（Ｓ３０１）。コントローラー１０７は、映像表示処理部１０５にコマンドを送信する。映像表示処理部１０５はコマンドに従い、表示コンテンツにマーカーを描画し、該表示コンテンツをコントローラー１０７に送信する。
【0122】
図１７は、本実施例に係る現実空間にマーカーを重畳表示する様子の一例を示す図である。映像表示装置１００が表示する映像領域３２０の一部にマーカー３２１を表示する。図１６ではマーカーとして「＋」の記号を利用する例とした。
【0123】
次に、映像表示装置１００は特徴点を指定するコマンドの有無を判定する（Ｓ３０２）。入力部３０１は入力部に入力された情報をコントローラー１０７に送信する。コントローラーは入力部から入力された情報をコマンド認識部３０２に送信する。コマンド認識部３０２はコントローラーから受信した情報に所定のコマンドが存在するか否かを検出する。コマンド認識部３０２は検出結果をコントローラー１０７に送信する。
【0124】
入力部３０１としてマイク３１０を備える映像表示装置の例では、コマンド認識部３０２は、例えばマイクがセンシングした音の情報に、利用者７００が発した所定の文字列、例えば「特徴点セット」が含まれているか検出する。所定の文字列が含まれている場合、コマンド認識部３０２は特徴点を指定するコマンド有りとして認識結果をコントローラー１０７に送信する。
【0125】
コントローラー１０７は、コマンド認識部３０２から、特徴点を指定するコマンド有りとの認識結果を受領するまで繰り返す。
【0126】
次に、映像表示装置１００は、マーカーを非表示にする（Ｓ３０３）。コントローラー１０７は、映像表示処理部１０５にコマンドを送信する。映像表示処理部１０５はコマンドに従い、表示コンテンツにマーカーを描画しないように動作を変更し、該表示コンテンツをコントローラー１０７に送信する。
【0127】
次に、映像表示装置１００はカメラ画像を取得する（Ｓ１０１）。
【0128】
次に、映像表示装置１００は特徴点の位置の認識を行う（Ｓ３０４）。コントローラー１０７はマーカー３２１の所定の位置３２２を特徴点位置認識部１０３に送信し、特徴点位置認識部１０３はカメラ画像のうちマーカーの位置３２２を特徴点とする。そして該特徴点のカメラ画像内における位置を認識する。
【0129】
上記ではマーカーの位置３２２を特徴点としたが、本発明はこれに限られない。例えばマーカーの近傍を特徴点とすることも可能である。例えば、カメラ画像のうちマーカーの位置を中心として所定の画素範囲の中に存在する物体を特徴点とすることも可能である。これにより、マーカーの位置に物体がない場合でも特徴点を設定することが可能となる。
【0130】
本発明の別の観点では、例えばマーカーが示す場所若しくはその近傍を特徴点とすることも可能である。例えばマーカーとして矢印を表示し、矢印の先端若しくはその近傍を特徴点とすることも可能である。これにより。マーカーが物体に重なることを避けることができ、視認性の向上を図ることが可能となる。
【0131】
上記のフローが本実施例に係る映像表示装置１００の特徴点の位置の認識フローであり、特徴点の位置の認識（Ｓ３０４）以降は図７等のＳ１０４の実行以降を実行する。
【0132】
本実施例によれば、利用者７００がコマンドで特徴点を示すことが可能であり、利用者７００の意図に合わせた基準座標系の決定が可能となる。また、映像表示装置１００が特徴点を決定しづらい場合においても、利用者の意図により特徴点を指定することができ、安定して位置精度の高い映像表示が可能な映像表示装置１００を提供可能である。
【実施例4】
【0133】
実施例４は、作業員が組み立てや製造、検査、保守、点検などを行っている工場、現場の遠隔作業支援システム４５０に活用した一実施例である。
【0134】
図１８は本実施例に係る映像表示装置１００を活用した遠隔作業支援システム４５０の例を示す一構成図である。
【0135】
作業員７０１は、本実施例の映像表示装置１００を携帯し、工場ラインの製品組み立てや検査等を行っている。映像表示装置１００は、前述のような空間上にバーチャルイメージを投影し、作業手順書や、図面、チェックリストなど作業支援のためのコンテンツを表示している。本発明の実施例では、作業員７０１の手作業の邪魔にならない視界上の範囲表示も空間位置座標を決めることで、常に映像を表示することが可能で使い勝手が大幅に向上する技術を搭載しても良い。例えば視線方向中心から水平±１０°～±７５°、垂直－６０°～－９０°は表示しないように、自動、もしくは作業員７０１側若しくは管理者４２０側で設定が可能で、手元、足元にコンテンツが表示されることなく、安全に手元、足元の視野確保と確認が可能で、動き回る点検作業や組立作業においても安心、安全に作業を進めることができる。
【0136】
映像表示装置１００は図示しない通信手段を備えており、Wi-Fi（商標）、LTE（商標）、５G、６G、有線、光などローカル、パブリック無線などのネットワーク４０１を介して、遠隔地にいる管理者４２０の遠隔管理装置４１０と接続され、情報共有を行っている。作業員７０１はエッジ端末であるタブレット、スマートフォン、HMD、PC（Personal Computer）などの映像表示装置１００を所有し、ネットワーク４０１を通じてデータの授受を実施する。ネットワーク４０１を経て、作業者周辺のカメラ４０２の映像、センサ４０３のデータ、装置４０４の状態等のセンシングデータなどをエッジサーバ４０７や管理者４２０に伝送する。エッジサーバ４０７や管理者４２０は各種情報をもとに状況認識、判断、予測（特に危険、異常、異常行動などの予知）を実施する。また、このようにして異常状態を認識した時などに、エッジサーバ４０７や管理者４２０は映像表示装置１００などの表示映像や音声、指示信号を通して作業指示や注意喚起を作業員７０１に伝える。
【0137】
また、作業員７０１が図面や作業工程での疑問を問い合わせ、作業工程のチェックミスなどを自動的に判別する図示しない作業管理システムを組み込む場合、作業員７０１もしくは管理者４２０は、リアルタイムに現場の状況に対応した表示コンテンツをエッジ端末などの映像表示装置１００にて表示することが可能である。さらには、作業指示、文字入力、手書き入力などの作業指示をサポートするコンテンツも管理者４２０から表示し、作業員７０１の疑問、質問、悩みを表示コンテンツにより解消することができる。このとき、表示コンテンツは上述の作業員７０１の視線の絶対座標位置もしくは、コンテンツにより作業員７０１の視線の邪魔にならないような絶対座標もしくは相対座標配置で表示され、この場合は作業手元や歩行の邪魔にならない位置へ表示されるため、より快適な遠隔作業支援システム４５０を提供できる。
【0138】
このように現実空間に仮想空間の映像を重畳することで利用者に情報を提示するヘッドマウントディスプレイなどの使い勝手の良い映像表示装置１００及び遠隔作業支援システム４５０が提供できる。工場などでは、作業工程などのコンテンツを見ながら作業を行うケースがあるが、作業対象の近くにディスプレイや図面や作業工程表などの紙媒体を配置することが難しい場合、あるいは高所などの両手を必要とする作業がある。そのようなとき、ヘッドマウントディスプレイなどの映像表示装置１００と上述の遠隔作業支援システム４５０を使用すれば、作業員７０１は映像表示装置１００に表示される作業指示などを参照しながら作業を行うことができ、上述の使い勝手に優れた遠隔作業支援システム４５０を活用することで、安心安全かつ作業効率を改善することができる。
【0139】
管理者４２０は作業員７０１と同一のネットワーク４０１の内部に位置していてもかまわないし、インターネットを介した別の場所に位置していてもかまわない。また、上述のエッジサーバ４０７のうち、少なくとも一部はクラウドサーバ４０８であってもよい。遠隔作業支援システム４５０は、エッジサーバ４０７が備えていてもよいし、クラウドサーバ４０８は備えていてもよい。
【0140】
図１９は、本実施例の遠隔作業支援システム４５０に組み込まれている、映像伝送システムの概略構成図例である。例えば、作業員７０１の作業環境を観察するカメラ４０２に 4K, 30fps性能のカメラを活用する。カメラからPC４３１への情報伝送は USB 3.0が利用される。またPC４３１からWi-Fi6ルータ４３２ (IEEE 802.11ax, 9.6Gbps) を活用し映像情報を伝送する。また、Wi-Fi6ネットワーク４３３を介して遠隔側に位置する管理者４２０に映像情報、音声、センサ情報などを双方向または片方向重点的に通信する機能を有する。遠隔管理側に設置されたWi-Fiルータ４３４を活用しPC４３５へ接続する。例えば、Wi-Fi ルータ４３４からPC４３５へへの接続は1000BASE-T (IEEE 802.3ab)とし、情報を授受する構成とする。これにより、映像情報、音声情報を２００ms以内の低遅延によりスムーズに通信可能となる。
【0141】
以上のように高速低遅延で４K映像情報と音声情報を、最低限2本以上を送信可能な遠隔作業支援システム４５０を図１９の情報伝送システムで実現し、かつ同時に上述の発明による映像コンテンツの空間表示を１００ｍｓ以内で実現できる。このため、トータルの遅延量は３００ｍｓ以下となり、人間が遅延を感じる遅延時間３００ｍｓ以下を実現できる。これにより、低遅延３００ｍｓ以下の４Ｋ映像伝送システムを構築でき、使い勝手が向上した遠隔作業支援システム４５０を実現できる。
【0142】
図２０は遠隔作業支援システム４５０の一例を示す図である。作業員７０１は映像表示装置１００を携行している。映像表示装置１００は図示しないカメラを備えている。カメラは作業員７０１の前方を撮影しており、その撮影画像はネットワーク４０１を介して管理者４２０の遠隔管理装置４１０に伝送される。遠隔管理装置４１０はカメラ映像を表示し、管理者４２０はその表示映像４６０を視認する。
【0143】
カメラが撮影した画像には少なくとも物体１３１が撮影されている。表示映像４６０は例えばタッチ操作若しくは手書き入力が可能なタブレットなどに表示されている。管理者４２０は表示画像を認識し、作業員７０１への指示をタッチ操作若しくは手書き入力において入力する。例えば作業員７０１が作業を行うべき所定の位置を丸印や矢印などで示すことで入力する。入力された指示はネットワーク４０１を介して映像表示装置１００に伝送され、映像表示装置１００はその指示を表示する。
【0144】
カメラが撮影した映像は、作業員７０１の動きなどにより動的に変化していることがある。その場合には、遠隔作業支援システム４５０は図示しない指示位置認識部を備えており、指示位置認識部はカメラが撮影した映像に写っている物体１３１を認識すると共に、利用者が入力した指示の位置と物体１３１の相対位置を認識し、映像表示装置１００が表示すべき指示の位置を物体１３１との相対位置としてネットワーク４０１を介して伝送する。映像表示装置１００は物体１３１との相対位置を基に、指示を表示する。映像表示装置１００が表示する映像の表示処理は映像表示処理部１０５が行う。即ち、本実施例では撮像部１０１の撮像画像を基にした基準座標系の決定及びセンサ部１０２からのセンシング情報を基にした補正座標系の決定を行い、該補正座標系に基づき表示コンテンツの決定を行うため、高い位置精度で、映像表示装置１００は指示を表示可能である。
【0145】
なお、映像表示装置１００が表示する指示の位置は、物体１３１の上に重なるように重畳表示されてもよいし、物体１３１と重ならないように表示してもよい。例えば、図１７で示したように映像表示装置１００は、表示コンテンツ１８４が物体１３１と重ならないように表示してもよい。
【0146】
上記では作業員７０１が作業を行うべき所定の位置を丸印や矢印などで示すことで入力としたが、本発明はこれに限られない。例えば、遠隔管理装置４１０はマイク及び音声認識部を備えており、管理者４２０は音声により作業員７０１への指示を発し、マイクが管理者４２０の音声を収集し、収集した音声を音声認識部が認識をし、認識した指示を入力としてもよい。
【0147】
本実施例の別の観点では、管理者４２０は前述のように音声により指示を入力すると共に、表示映像４６０が表示されているタブレットなどで指示を表示する位置に関しても入力し、映像表示装置１００は表示する位置に指示を表示するように構成してもよい。
【0148】
以上の説明では管理者４２０は音声により指示を入力するとしたが、本発明はこれに限られない。例えば、エッジサーバ４０７若しくはクラウドサーバ４０８若しくは遠隔管理装置４１０若しくは遠隔作業支援システム４５０が備えるデータベースから、所定の指示を取得し、取得した指示を入力としてもよい。
【実施例5】
【0149】
上記実施例では、表示領域１６３の位置を利用者７００の頭部の方向に合わせて決めることを想定した。この場合、仮想空間は現実空間に固定される。ただし、特許文献１記載のように、表示領域１６３の位置を利用者７００の頭部と腰部の動きの差分に基づいて決めることもできる。この場合利用者７００から見ると、仮想空間は常に腰部の方向に合わせて移動する。
【0150】
上記実施例によれば、少ない処理量で利用者の頭部の動きに対する映像追従の遅延が少なく、現実空間と仮想空間の位置精度の高い重畳が可能となるため、消費エネルギーが少なく、炭素排出量を減らし、地球温暖化を防止、持続可能な社会の実現に寄与することができる。
【0151】
なお、本発明は前述した実施例に限定されるものではなく、発明の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を有するものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。
【0152】
また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
【0153】
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、又は、ＩＣカード、ＳＤメモリーカード、ＤＶＤ等の記録媒体に格納することができる。
【0154】
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
【符号の説明】
【0155】
１００：映像表示装置、１０１：撮像部、１０２：センサ部、１０３：特徴点位置認識部、１０４：座標処理部、１０５：映像表示処理部、１０６：映像表示部、１０７：コントローラー、１１１：カメラ、１１２：センサ、１１３：ディスプレイ、１１４：ＣＰＵ、１１５：ＲＡＭ、１１６：記憶媒体、１２１：ジャイロセンサ、１２２：加速度センサ、１３１：物体、１３１Ａ：分電盤、１３２：特徴点、１３３：ｘ軸、１３４：ｙ軸、１３５：相対ずれ量、１３６：ｘ’軸、１３７：ｙ’軸、１５１：頂点、１５２：辺、１５３：中心、１５４：物体、１５４Ａ：頂点、１５４Ｂ：辺、１５５：文字列、１５５Ａ：所定の位置、１５６：記号、１６１：仮想空間、１６２：コンテンツ、１６３：表示領域、１７１：コンテンツ、１８０：アイポイント、１８１：中心点、１８２：端、１８３：端、１８４：表示コンテンツ、２００：特徴点、２０１：特徴点、２０２：ｘ軸、２０３：ｙ軸、２０４：位置の差異、３０１：入力部、３０２：コマンド認識部、３１０：マイク、３２０：映像領域、３２１：マーカー、３２２：位置、４０１：ネットワーク、４０２：カメラ、４０３：センサ、４０４：装置、４０７：エッジサーバ、４０８：クラウドサーバ、４１０：遠隔管理装置、４２０：管理者、４５０：遠隔作業支援システム、４６０：表示映像、７００：利用者、７０１：作業員
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】