特許第6266580号(P6266580)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パイオニア株式会社の特許一覧
特許6266580ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
<>
  • 特許6266580-ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 図000006
  • 特許6266580-ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 図000007
  • 特許6266580-ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 図000008
  • 特許6266580-ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 図000009
  • 特許6266580-ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 図000010
  • 特許6266580-ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 図000011
  • 特許6266580-ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 図000012
  • 特許6266580-ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 図000013
  • 特許6266580-ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 図000014
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6266580
(24)【登録日】2018年1月5日
(45)【発行日】2018年1月24日
(54)【発明の名称】ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
(51)【国際特許分類】
   G09G 5/00 20060101AFI20180115BHJP
   G09G 5/38 20060101ALI20180115BHJP
   G09G 3/20 20060101ALI20180115BHJP
   G02B 27/02 20060101ALI20180115BHJP
【FI】
   G09G5/00 X
   G09G5/00 510A
   G09G5/38 Z
   G09G5/00 550C
   G09G3/20 680A
   G09G3/20 660E
   G02B27/02 Z
【請求項の数】10
【全頁数】19
(21)【出願番号】特願2015-226418(P2015-226418)
(22)【出願日】2015年11月19日
(62)【分割の表示】特願2014-501911(P2014-501911)の分割
【原出願日】2012年3月1日
(65)【公開番号】特開2016-57634(P2016-57634A)
(43)【公開日】2016年4月21日
【審査請求日】2015年11月19日
(73)【特許権者】
【識別番号】000005016
【氏名又は名称】パイオニア株式会社
(74)【代理人】
【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延
(72)【発明者】
【氏名】石川 雄悟
【審査官】 橋本 直明
(56)【参考文献】
【文献】 国際公開第2013/128612(WO,A1)
【文献】 特開2009−284175(JP,A)
【文献】 特開2011−002753(JP,A)
【文献】 米国特許出願公開第2010/0321409(US,A1)
【文献】 特開2010−243972(JP,A)
【文献】 特開2004−233201(JP,A)
【文献】 特開2009−037487(JP,A)
【文献】 米国特許出願公開第2009/0033588(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G09G 5/00
G02B 27/02
G09G 3/20
G09G 5/38
(57)【特許請求の範囲】
【請求項1】
撮影手段及び光学透過可能な画像表示デバイスを有するヘッドマウントディスプレイであって、
前記撮影手段で規定される座標系を前記撮影手段で撮影されたユーザの鏡像の撮影画像に基づく前記ユーザの眼球の実像における中心位置で規定される第1座標系へ変換するためのパラメータと、前記第1座標系を前記画像表示デバイスで規定される座標系へ変換するためのパラメータとを含む座標変換パラメータを、前記撮影手段で規定される座標系において推定された前記ユーザの眼球の実像における中心位置並びに前記撮影手段で規定される座標系において推定された前記画像表示デバイスの実像の位置及び方向に基づいて算出し、当該座標変換パラメータを用いることで前記画像表示デバイスを介して観察される対象と前記撮影手段の撮影画像に基づく情報との前記ユーザの視界における位置関係を調整するための校正を行う校正手段を備えるヘッドマウントディスプレイ。
【請求項2】
前記校正手段は、
前記ユーザの眼球の実像における中心位置に基づいて、前記第1座標系の座標を、前記情報を前記画像表示デバイス上に表示させるために前記ヘッドマウントディスプレイにて規定される座標系の座標へ変換するためのパラメータを求めるパラメータ算出手段、
を更に備えることを特徴とする請求項1に記載のヘッドマウントディスプレイ。
【請求項3】
前記校正手段は、
前記鏡像の撮影画像から、前記ユーザの眼球の実像における中心位置を推定する第1推定手段と、
前記鏡像の撮影画像から、前記撮影手段の鏡像における光学中心位置及び光軸方向を推定する第2推定手段と、
前記鏡像の撮影画像から、前記ユーザの眼球の鏡像における中心位置を推定する第3推定手段と、
前記第2推定手段によって推定された前記光学中心位置及び前記光軸方向に基づいて、前記鏡像を生成した鏡平面を推定する第4推定手段と、を更に備え、
前記第1推定手段は、前記第4推定手段によって推定された前記鏡平面、及び前記第3推定手段によって推定された前記ユーザの眼球の鏡像における中心位置に基づいて、前記ユーザの眼球の実像における中心位置を推定することを特徴とする請求項1または2に記載のヘッドマウントディスプレイ。
【請求項4】
前記撮影手段には、マーカが付加されており、
前記校正手段は、前記鏡像の撮影画像に含まれる、前記撮影手段に付加された前記マーカに基づいて、前記校正を行うことを特徴とする請求項1または2に記載のヘッドマウントディスプレイ。
【請求項5】
前記画像表示デバイスには、マーカが付加されており、
前記校正手段は、前記鏡像の撮影画像に含まれる、前記画像表示デバイスに付加された前記マーカに基づいて、前記校正を行うことを特徴とする請求項1または2に記載のヘッドマウントディスプレイ。
【請求項6】
前記校正手段によって求められた座標変換パラメータを用いて座標変換を行うことで、前記情報を前記画像表示デバイス上に表示させる制御を行う表示制御手段を更に備えることを特徴とする請求項1または2に記載のヘッドマウントディスプレイ。
【請求項7】
前記校正手段は、
前記鏡像の撮影画像から、鏡像における前記画像表示デバイスの位置及び方向を推定する第5推定手段と、
前記第4推定手段によって推定された前記鏡平面、及び前記第5推定手段によって推定された前記位置及び前記方向に基づいて、実像における前記画像表示デバイスの位置及び方向を推定する第6推定手段と、を更に備え、
前記校正手段は、前記第1推定手段によって推定された前記中心位置、及び前記第6推定手段によって推定された前記位置及び前記方向に基づいて、前記第1座標系を光学透過可能な画像表示デバイスにて規定される座標系へ変換するパラメータを求め、
前記校正手段は、前記第1推定手段によって推定された前記中心位置、及び前記第6推定手段によって推定された前記位置及び前記方向に基づいて、前記第1座標系の座標を、前記情報を前記画像表示デバイス上に表示させるために前記ヘッドマウントディスプレイにて規定される座標系の座標へ変換するためのパラメータを求めることを特徴とする請求項3に記載のヘッドマウントディスプレイ。
【請求項8】
前記ユーザの眼球の中心位置は、瞳孔中心位置又は前記撮影手段の光学中心位置が用いられることを特徴とする請求項1乃至6のいずれか一項に記載のヘッドマウントディスプレイ。
【請求項9】
撮影手段及び光学透過可能な画像表示デバイスを有し、前記撮影手段の撮影画像に基づく情報を前記画像表示デバイス上で視認させるヘッドマウントディスプレイによって実行される校正方法であって、
前記撮影手段で規定される座標系を前記撮影手段で撮影されたユーザの鏡像の撮影画像に基づく前記ユーザの眼球の実像における中心位置で規定される第1座標系へ変換するためのパラメータと、前記第1座標系を前記画像表示デバイスで規定される座標系へ変換するためのパラメータとを含む座標変換パラメータを、前記撮影手段で規定される座標系において推定された前記ユーザの眼球の実像における中心位置並びに前記撮影手段で規定される座標系において推定された前記画像表示デバイスの実像の位置及び方向に基づいて算出し、当該座標変換パラメータを用いることで前記画像表示デバイスを介して観察される対象と前記撮影手段の撮影画像に基づく情報との前記ユーザの視界における位置関係を調整するための校正を行う校正工程を備えることを特徴とする校正方法。
【請求項10】
撮影手段及び光学透過可能な画像表示デバイスを有し、前記撮影手段の撮影画像に基づく情報を前記画像表示デバイス上で視認させると共に、コンピュータを備えるヘッドマウントディスプレイによって実行される校正プログラムであって、
前記撮影手段で規定される座標系を前記撮影手段で撮影されたユーザの鏡像の撮影画像に基づく前記ユーザの眼球の実像における中心位置で規定される第1座標系へ変換するためのパラメータと、前記第1座標系を前記画像表示デバイスで規定される座標系へ変換するためのパラメータとを含む座標変換パラメータを、前記撮影手段で規定される座標系において推定された前記ユーザの眼球の実像における中心位置並びに前記撮影手段で規定される座標系において推定された前記画像表示デバイスの実像の位置及び方向に基づいて算出し、当該座標変換パラメータを用いることで前記画像表示デバイスを介して観察される対象と前記撮影手段の撮影画像に基づく情報との前記ユーザの視界における位置関係を調整するための校正を行う校正手段として前記コンピュータを機能させることを特徴とする校正プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ヘッドマウントディスプレイの技術分野に関する。
【背景技術】
【0002】
従来から、ヘッドマウントディスプレイなどを用いて、現実空間に対して仮想の画像を重ね合わせて表示するAR(Augmented Reality)に関する技術が提案されている。また、このようなARに関して、現実空間と仮想空間との間の位置姿勢合わせ(校正)を行う技術が提案されている。例えば、特許文献1には、ユーザの姿勢と、位置および姿勢を計測するセンサの値とを用いて、校正を行う技術が開示されている。具体的には、当該技術では、ユーザに表示とマーカとが一致するような姿勢を取らせることで、校正を行っている。このようなマーカを用いて校正を行う技術は、これ以外にも、例えば特許文献2及び非特許文献1乃至3に開示されている。更に、例えば特許文献3には、ディスプレイの表示と風景とが一致するように、ユーザがボタンを操作してディスプレイの表示を変換することで校正を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002−229730号公報
【特許文献2】特開2009−284175号公報
【特許文献3】特開2011−2753号公報
【非特許文献】
【0004】
【非特許文献1】加藤博一,Mark Billinghurst,浅野浩一,橘啓八郎,"マーカー追跡に基づく拡張現実感システムとそのキャリブレーション",日本バーチャルリアリティ学会論文誌,Vol. 4 (1999),No. 4,pp.607-616
【非特許文献2】Mihran Tuceryan,Yakup Genc,Nassir Navab,Single point active alignment method (SPAAM) for optical see-through HMD calibration for augmented reality,Teleoperators and Virtual Environments,Vol. 11,Issue 3,pp. 259-276,June 2002,published by the MIT Press
【非特許文献3】佐藤清秀,山本裕之事,田村秀行,カメラと3次元センサの組み合わせによる現実空間と仮想空間の位置合わせ手法,TVRSJ VoL4 No.i,pp.295-302
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記の特許文献1乃至3および非特許文献1乃至3に記載された技術では、校正を行う場合に、現実空間と仮想空間との位置関係を調整するための所定の作業をユーザに課していたため、ユーザにとって手間であった。
【0006】
本発明が解決しようとする課題は上記のようなものが例として挙げられる。本発明は、容易に校正を行うことが可能なヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体を提供することを課題とする。
【課題を解決するための手段】
【0007】
請求項1に記載の発明は、撮影手段及び光学透過可能な画像表示デバイスを有するヘッドマウントディスプレイであって、前記撮影手段で規定される座標系を前記撮影手段で撮影されたユーザの鏡像の撮影画像に基づく前記ユーザの眼球の実像における中心位置で規定される第1座標系へ変換するためのパラメータと、前記第1座標系を前記画像表示デバイスで規定される座標系へ変換するためのパラメータとを含む座標変換パラメータを、前記撮影手段で規定される座標系において推定された前記ユーザの眼球の実像における中心位置並びに前記撮影手段で規定される座標系において推定された前記画像表示デバイスの実像の位置及び方向に基づいて算出し、当該座標変換パラメータを用いることで前記画像表示デバイスを介して観察される対象と前記撮影手段の撮影画像に基づく情報との前記ユーザの視界における位置関係を調整するための校正を行う校正手段を備える。
【0008】
請求項9に記載の発明は、撮影手段及び光学透過可能な画像表示デバイスを有し、前記撮影手段の撮影画像に基づく情報を前記画像表示デバイス上で視認させるヘッドマウントディスプレイによって実行される校正方法であって、前記撮影手段で規定される座標系を前記撮影手段で撮影されたユーザの鏡像の撮影画像に基づく前記ユーザの眼球の実像における中心位置で規定される第1座標系へ変換するためのパラメータと、前記第1座標系を前記画像表示デバイスで規定される座標系へ変換するためのパラメータとを含む座標変換パラメータを、前記撮影手段で規定される座標系において推定された前記ユーザの眼球の実像における中心位置並びに前記撮影手段で規定される座標系において推定された前記画像表示デバイスの実像の位置及び方向に基づいて算出し、当該座標変換パラメータを用いることで前記画像表示デバイスを介して観察される対象と前記撮影手段の撮影画像に基づく情報との前記ユーザの視界における位置関係を調整するための校正を行う校正工程を備える。
【0009】
請求項10に記載の発明は、撮影手段及び光学透過可能な画像表示デバイスを有し、前記撮影手段の撮影画像に基づく情報を前記画像表示デバイス上で視認させると共に、コンピュータを備えるヘッドマウントディスプレイによって実行される校正プログラムであって、前記撮影手段で規定される座標系を前記撮影手段で撮影されたユーザの鏡像の撮影画像に基づく前記ユーザの眼球の実像における中心位置で規定される第1座標系へ変換するためのパラメータと、前記第1座標系を前記画像表示デバイスで規定される座標系へ変換するためのパラメータとを含む座標変換パラメータを、前記撮影手段で規定される座標系において推定された前記ユーザの眼球の実像における中心位置並びに前記撮影手段で規定される座標系において推定された前記画像表示デバイスの実像の位置及び方向に基づいて算出し、当該座標変換パラメータを用いることで前記画像表示デバイスを介して観察される対象と前記撮影手段の撮影画像に基づく情報との前記ユーザの視界における位置関係を調整するための校正を行う校正手段として前記コンピュータを機能させる。
【図面の簡単な説明】
【0010】
図1】本実施例に係るHMDの概略構成を示すブロック図である。
図2】本実施例に係るHMDの全体構成を概略的に示した図である。
図3】本実施例に係るHMDの画像表示デバイスの概略構成を示す側面図である。
図4】提示情報がずれた位置に表示されてしまうといった問題点を説明するための図を示す。
図5】本実施例に係る校正方法の概要を説明するための図を示す。
図6】本実施例で用いる座標系を説明するための図を示す。
図7】本実施例に係る座標変換方法を示すフローチャートである。
図8】目座標系での座標と投影座標との関係を示す。
図9】本実施例に係る座標変換パラメータの算出方法を示すフローチャートである。
【発明を実施するための形態】
【0011】
本発明の1つの観点では、撮影手段及び光学透過可能な画像表示デバイスを有し、前記撮影手段の撮影画像に基づく情報を前記画像表示デバイス上で視認させるヘッドマウントディスプレイは、前記撮影手段によって撮影された、前記ヘッドマウントディスプレイを装着したユーザの鏡像の撮影画像に基づいて、前記画像表示デバイスを介して観察される観察対象と前記情報との前記ユーザの視界における位置関係を調整するための校正を行う校正手段を備える。
【0012】
上記のヘッドマウントディスプレイは、撮影手段及び光学透過可能な画像表示デバイスを有し、撮影手段の撮影画像に基づく情報(提示情報)を画像表示デバイス上でユーザに視認させる。校正手段は、撮影手段によって撮影された、ヘッドマウントディスプレイを装着したユーザの鏡像の撮影画像に基づいて、画像表示デバイスを介して観察される観察対象と提示情報とのユーザの視界における位置関係を調整する。これにより、ユーザが鏡などに向き合うことで自動的に校正が行われるため、前述した先行技術文献に記載された技術と比較して、校正時におけるユーザの手間を少なくすることができる。
【0013】
上記のヘッドマウントディスプレイの一態様では、前記校正手段は、前記鏡像の撮影画像に含まれる前記撮影手段及び前記ユーザの眼球の位置関係に基づいて、前記校正を行うことができる。この態様によれば、簡便な処理にて校正を行うことができる。
【0014】
上記のヘッドマウントディスプレイの他の一態様では、前記校正手段は、前記鏡像の撮影画像に含まれる前記撮影手段、前記画像表示デバイス及び前記ユーザの眼球の位置関係に基づいて、前記校正を行うことができる。この態様によれば、撮影手段と画像表示デバイスとの位置関係が固定されていない場合であっても、精度良く校正を行うことができる。
【0015】
上記のヘッドマウントディスプレイにおいて好適には、前記撮影手段には、マーカが付加されており、前記校正手段は、前記鏡像の撮影画像に含まれる、前記撮影手段に付加された前記マーカに基づいて、前記校正を行うことができる。
【0016】
また好適には、前記鏡像を形成する鏡には、マーカが付加されており、前記校正手段は、前記鏡像の撮影画像に含まれる、前記鏡に付加された前記マーカに基づいて、前記校正を行うことができる。なお、本明細書では、「鏡」には、純粋な意味での鏡だけでなく、所定以上の反射率を有するもの(例えばガラスなど)も含まれるものとする。
【0017】
また好適には、前記画像表示デバイスには、マーカが付加されており、前記校正手段は、前記鏡像の撮影画像に含まれる、前記画像表示デバイスに付加された前記マーカに基づいて、前記校正を行うことができる。
【0018】
上記のヘッドマウントディスプレイの他の一態様では、前記校正手段は、前記鏡像の撮影画像に基づいて、前記撮影手段にて規定される座標系から前記画像表示デバイスにて規定される座標系へ座標変換するために用いられる座標変換パラメータを求めることで、前記校正を行う。この態様では、校正手段は、ヘッドマウントディスプレイの校正として、撮影手段にて規定される座標系から画像表示デバイスにて規定される座標系への変換を決定する。
【0019】
上記のヘッドマウントディスプレイの他の一態様では、前記校正手段によって求められた前記座標変換パラメータを用いて前記座標変換を行うことで、前記情報を前記画像表示デバイス上に表示させる制御を行う表示制御手段を更に備える。これにより、画像表示デバイスを透過したユーザの観察像に重畳される画像表示デバイス上の情報表示位置を、撮影画像とこれに基づく情報の位置関係に適切に一致させることができる。
【0020】
上記のヘッドマウントディスプレイにおいて好適には、前記校正手段は、前記鏡像の撮影画像から、前記撮影手段の鏡像における光学中心位置及び光軸方向を推定する第1推定手段と、前記鏡像の撮影画像から、前記ユーザの眼球の鏡像における中心位置を推定する第2推定手段と、前記第1推定手段によって推定された前記光学中心位置及び前記光軸方向に基づいて、前記鏡像を生成した鏡平面を推定する第3推定手段と、前記第3推定手段によって推定された前記鏡平面、及び前記第2推定手段によって推定された前記中心位置に基づいて、前記ユーザの眼球の実像における中心位置を推定する第4推定手段と、前記第4推定手段によって推定された前記中心位置に基づいて、前記撮影手段にて規定される座標系の座標を、前記ユーザの眼球にて規定される座標系の座標へ変換するための第1パラメータを、前記座標変換パラメータの1つとして求める第1パラメータ算出手段と、前記第4推定手段によって推定された前記中心位置に基づいて、前記ユーザの眼球にて規定される座標系の座標を前記画像表示デバイスに投影するための第2パラメータを、前記座標変換パラメータの1つとして求める第2パラメータ算出手段と、前記第4推定手段によって推定された前記中心位置に基づいて、前記ユーザの眼球にて規定される座標系の座標を、前記情報を前記画像表示デバイス上に表示させるために前記ヘッドマウントディスプレイにて規定される座標系の座標へ変換するための第3パラメータを、前記座標変換パラメータの1つとして求める第3パラメータ算出手段と、を備える。これにより、座標変換パラメータを適切に求めることができる。なお、「実像」は、鏡像の生成元となった像を意味するものとする。
【0021】
また、上記のヘッドマウントディスプレイにおいて好適には、前記校正手段は、前記鏡像の撮影画像から、前記画像表示デバイスの鏡像における位置及び方向を推定する第5推定手段と、前記第3推定手段によって推定された前記鏡平面、及び前記第5推定手段によって推定された前記位置及び前記方向に基づいて、前記画像表示デバイスの実像における位置及び方向を推定する第6推定手段と、を更に備え、前記第2パラメータ算出手段は、前記第4推定手段によって推定された前記中心位置、及び前記第6推定手段によって推定された前記位置及び前記方向に基づいて、前記第2パラメータを求め、前記第3パラメータ算出手段は、前記第4推定手段によって推定された前記中心位置、及び前記第6推定手段によって推定された前記位置及び前記方向に基づいて、前記第3パラメータを求める。この場合、前記画像表示デバイスの位置及び方向を推定し、当該位置及び当該方向に基づいて座標変換パラメータを求める。これにより、精度良く座標変換パラメータを求めることができる。
【0022】
上記のヘッドマウントディスプレイにおいて好適には、前記ユーザの眼球の中心位置は、瞳孔中心位置又は光学中心位置が用いられる。瞳孔中心位置を採用した場合には、撮影画像から容易に眼球の位置を求めることができる。光学中心位置を採用した場合には、精度良く座標変換パラメータを求めることができる。
【0023】
好適な例では、前記撮影手段として、ステレオカメラを用いることができる。
また、好適な例では、前記鏡像の撮影画像として、前記ユーザと鏡とが概ね正対した状態にて撮影された画像を用いることができる。
【0024】
本発明の他の観点では、撮影手段及び光学透過可能な画像表示デバイスを有し、前記撮影手段の撮影画像に基づく情報を前記画像表示デバイス上で視認させるヘッドマウントディスプレイによって実行される校正方法は、前記撮影手段によって撮影された、前記ヘッドマウントディスプレイを装着したユーザの鏡像の撮影画像に基づいて、前記画像表示デバイスを介して観察される観察対象と前記情報との前記ユーザの視界における位置関係を調整するための校正を行う校正工程を備える。
【0025】
本発明の更に他の観点では、撮影手段及び光学透過可能な画像表示デバイスを有し、前記撮影手段の撮影画像に基づく情報を前記画像表示デバイス上で視認させると共に、コンピュータを備えるヘッドマウントディスプレイによって実行される校正プログラムは、前記撮影手段によって撮影された、前記ヘッドマウントディスプレイを装着したユーザの鏡像の撮影画像に基づいて、前記画像表示デバイスを介して観察される観察対象と前記情報との前記ユーザの視界における位置関係を調整するための校正を行う校正手段、として前記コンピュータを機能させる。
【0026】
なお、上記の校正プログラムは、記録媒体に記録した状態で好適に取り扱うことができる。
【実施例】
【0027】
以下、図面を参照して本発明の好適な実施例について説明する。
[装置構成]
まず、本実施例に係るヘッドマウントディスプレイ(以下、適宜「HMD」と表記する。)の構成について説明する。
【0028】
図1は、本実施例に係るHMD1の概略構成を示すブロック図である。図1に示すように、HMD1は、主に、制御部11と、カメラ12と、光学透過可能な画像表示デバイス13とを有する。HMD1は、例えば眼鏡型に構成されており、ユーザの頭部に装着可能に構成されている。また、HMD1は、画像表示デバイス13を用いることで、外界に存在する対象物(例えば、現実空間における人物や物体、物品、景色等)のユーザによる視認を可能とし、対象物の像(現実の像)に対して仮想の画像を重ね合わせて表示させることで、AR(拡張現実)を実現する。
【0029】
カメラ(撮影手段)12は、HMD1の前方を撮影し、撮影画像を生成する。カメラ12は、内部パラメータが既知のピンホールカメラ、あるいはレンズ歪みが補正されかつ内部パラメータが既知のカメラである。
【0030】
画像表示デバイス13は、撮影画像に応じた情報(以下、「提示情報」と呼ぶ。)を対象物の像とオーバーラップしてユーザに視認せしめる。
【0031】
制御部11は、図示しないCPUやRAMやROMなどを有し、HMD1の全体的な制御を行う。具体的には、制御部11は、カメラ12から撮影画像を取得し、提示情報を画像表示デバイス13上でユーザに視認させるための制御を行う。この場合、制御部11は、撮影画像を解析することで、提示すべき提示情報を決定すると共に、提示情報を提示する提示位置を決定し、当該提示情報を当該提示位置に表示させる制御を行う。
【0032】
なお、制御部11は、本発明における「校正手段」及び「表示制御手段」の一例に相当する。具体的には、制御部11は、「第1推定手段」、「第2推定手段」、「第3推定手段」、「第4推定手段」、「第5推定手段」、「第6推定手段」、「第1パラメータ算出手段」、「第2パラメータ算出手段」、「第3パラメータ算出手段」として機能する。これらの詳細については後述する。
【0033】
図2は、本実施例に係るHMD1の全体構成を概略的に示した図である。図2に示すように、HMD1は、眼鏡型に構成されており、カメラ12及び画像表示デバイス13がフレーム14に固定されている。なお、図2では、制御部11の図示を省略している。また、図2では、左目用の画像表示デバイス13のみを示し、右目用の画像表示デバイス13の図示を省略している。なお、両目に対して画像表示デバイス13を適用することに限定はされず、片目のみに画像表示デバイス13を適用することとしても良い。つまり、片目のみに画像を表示させることとしても良い。
【0034】
また、図2に示すように、カメラ12及び画像表示デバイス13には、それぞれ、マーカ12a及びマーカ13aが付加されている。これらのマーカ12a、13aは、後述する校正方法にて用いられる。マーカ12a、13aの大きさや形状は、制御部11が把握しているものとする。加えて、カメラ12の光学中心(optical center)とマーカ12aとの位置関係、及び画像表示デバイス13とマーカ13aとの位置関係についても、制御部11が把握しているものとする。
【0035】
なお、図2に示すようにマーカ12a、13aを4つ設けることに限定はされず、また、図2に示すような位置にマーカ12a、13aを設けることに限定はされない。更に、HMD1を眼鏡型に構成することに限定はされず、ヘルメットのようなもので構成しても良い。
【0036】
図3は、本実施例に係る画像表示デバイスの概略構成を示す側面図である。LCD13bに表示された画像は、レンズ13cとハーフミラー13dを用いてユーザの眼から距離hの位置に虚像40(以下、「仮想スクリーン」あるいは単に「スクリーン」と表記することがある。)を結ぶ。レンズ13cによって虚像40に歪みが生じる可能性があるが、制御部11によって画像を補正する。画像表示デバイス13と仮想スクリーン40の位置関係は、制御部11が把握しているものとする。本実施例の画像表示デバイスは特に制限されるわけではない。光学ガラスやプラスチック材料等からなる導光板を有していてもよい。また、LCDではなく例えばOELD等を用いてもよい。また、ハーフミラーではなくホログラム光学素子等を用いてもよい。また、レンズは2枚以上用いてもよく、レンズを用いなくてもよい。
【0037】
[校正方法の概要]
次に、本実施例に係る校正方法の概要について説明する。
上記したように、制御部11は、現実空間に提示情報を提示するAR(拡張現実)を実現するに当たり、カメラ12の撮影画像を解析し、それに基づいて提示情報及び提示位置を決定して、画像表示デバイス13に表示し、ユーザは仮想スクリーン40を視認する。ところで、ユーザが実際に見ている風景とカメラ12の撮影画像とでは、視点(どこから見ているか)や、視角(画角)や、視軸が異なる傾向にある。そのため、カメラ12の撮影画像を解析して決定した提示位置に提示情報を表示した場合に、ユーザが見ている現実空間の中でずれた位置に提示情報が表示されてしまう可能性がある。
【0038】
図4は、提示情報がずれた位置に表示されてしまうといった問題点を説明するための図を示している。図4(a)は、HMD1を装着したユーザが実際に視認する像の一例を示している。具体的には、図4(a)は、ユーザの視野の適切な位置に提示情報(施設A、施設Bといった文字や、建物を囲んだ丸や、引き出し線など)が表示された場合の例を示している。図4(b)は、カメラ12の撮影画像の一例を示している。具体的には、図4(b)は、カメラ12の撮影画像が、ユーザが実際に見ている風景とずれている場合の例を示している。図4(c)は、HMD1を装着したユーザが視認する像の他の例を示している。具体的には、図4(c)は、図4(b)に示したような撮影画像を解析して決定した提示位置に提示情報を表示させた場合の例を示している。これより、ユーザの視野の適切な位置に提示情報が表示されていないことがわかる。つまり、提示情報を表示すべき位置からずれた位置に、提示情報が表示されていることがわかる。
【0039】
本実施例では、このような提示情報がずれた位置に表示されてしまうといった問題を解消するべく、HMD1についての校正を行う。ここで、「校正」とは、カメラ12にて規定される座標系(カメラ座標系)から、仮想スクリーン40にて規定される座標系(スクリーン座標系)への変換を決定することに相当する。具体的には、本実施例では、HMD1を装着したユーザの鏡像をカメラ12によって撮影し、その撮影画像に基づいて、画像表示デバイス13を介して観察される観察対象と提示情報とのユーザの視界における位置関係を調整する。
【0040】
図5は、本実施例に係る校正方法の概要を説明するための図を示す。本実施例では、校正を行う場合に、HMD1とともに、図5(a)に示すような鏡30を用いる。そして、図5(b)に示すように、鏡30に形成された、HMD1を装着したユーザの鏡像を、カメラ12によって撮影する。このような撮影を行う場合、鏡30は、反射面がユーザのほうを向き、ユーザの顔面と概ね正対し、ユーザの頭部が映るように配置されるものとする。なお、鏡30は、特殊なものを用いる必要はなく、手鏡などの身近にあるものを用いても良い。
【0041】
制御部11は、HMD1を装着したユーザの鏡像の撮影画像に基づいて、カメラ12、画像表示デバイス13及び目20の位置関係を推定する。具体的には、制御部11は、撮影画像から、カメラ12に付加されたマーカ12aを検出することで、カメラ12の光学中心位置及び光軸方向を推定する。この場合、制御部11は、マーカ12aの大きさや形状、及びカメラ12の光学中心とマーカ12aとの位置関係に基づいて、カメラ12の光学中心位置及び光軸方向を推定する。また、制御部11は、撮影画像から、画像表示デバイス13に付加されたマーカ13aを検出することで、画像表示デバイス13の位置及び方向を推定する。この場合、制御部11は、マーカ13aの大きさや形状、及び画像表示デバイス13とマーカ13aとの位置関係に基づいて、画像表示デバイス13の位置及び方向を推定する。
【0042】
更に、制御部11は、撮影画像から、ユーザの目20の黒目の部分を検出することで(黒目の大きさは既知であるものとする)、目20の3次元位置を推定する。この場合、制御部11は、目20の位置として、瞳孔中心位置を推定する。なお、瞳孔中心位置は眼球運動によって変化するため、撮影を行う際には、視軸(見ている方向)が鏡30に概ね正対するようにユーザに注目させ、さらに校正中はユーザに眼球運動を行わせないようにする。
【0043】
制御部11は、このように撮影画像から推定された、カメラ12の光学中心位置及び光軸方向、画像表示デバイス13の位置及び方向、及び瞳孔中心位置に基づいて、HMD1についての校正を行う。具体的には、制御部11は、当該校正として、カメラ座標系からスクリーン座標系へ座標変換する過程で必要なパラメータ(座標変換パラメータ)を求める処理を行う。座標変換パラメータの算出方法については、詳細は後述する。
【0044】
[座標系の定義]
次に、図6を参照して、本実施例で用いる座標系について説明する。図6に示すように、本実施例では、カメラ座標系、目座標系、画像表示デバイス座標系及びスクリーン座標系を用いる。なお、このような座標系は、制御部11が撮影画像に基づいて画像表示デバイス13に提示情報を表示させるに当たって、カメラ座標系からスクリーン座標系へ座標変換するために用いられる。
【0045】
カメラ座標系は、カメラ12の光学中心を原点Oとする3次元座標系である。カメラ座標系は、カメラ12の光軸をZ軸とし、撮影画像のx軸及びy軸にそれぞれ平行な方向をX軸及びY軸とする。目座標系は、HMD1のユーザの視覚に対応するものであり、ユーザの瞳孔中心を原点Oとする3次元座標系である。目座標系は、鏡30が存在する平面(以下、「鏡平面」と呼ぶ。)の法線方向をZ軸とし、カメラ座標系のX軸及びY軸にそれぞれ平行な方向をX軸及びY軸とする。
【0046】
スクリーン座標系は、仮想スクリーン40の画像座標である。画像表示デバイス座標系は、提示情報を仮想スクリーン40上に表示させるために制御部11にて規定される座標系であり、仮想スクリーン40を投影面とする3次元座標系である。画像表示デバイス座標系は、Z軸が仮想スクリーン40の中心と交わり、スクリーン座標系のx軸及びy軸にそれぞれ平行な方向をX軸及びY軸とする。
【0047】
[座標変換方法]
次に、本実施例に係る座標変換方法について説明する。ここで、座標変換の概要について簡単に説明する。まず、制御部11は、カメラ12の撮影画像を解析し、提示情報を提示する座標(以下、「提示座標」と呼ぶ。)を求める。次に、制御部11は、カメラ座標系での提示座標を目座標系へ変換し、変換後の座標を仮想スクリーン40に投影した投影座標を求める。次に、制御部11は、投影座標を画像表示デバイス座標系に変換し、変換後の座標をスクリーン座標系へ透視投影する。
【0048】
図7は、本実施例に係る座標変換方法を示すフローチャートである。このフローは、HMD1の制御部11によって繰り返し実行される。
【0049】
まず、ステップS101では、制御部11は、カメラ12の撮影画像を解析し、その解析結果に基づいて、提示すべき提示情報と、提示情報を提示する提示座標L(カメラ座標系で規定されるものとする)とを決定する。具体的には、制御部11は、撮影画像に対して、ARマーカ認識や特定物体認識などの手法を用いて、提示情報を提示すべき対象物体を検出し、対象物体の位置及び姿勢を算出することで、提示情報についての提示座標Lを決める。そして、処理はステップS102に進む。
【0050】
ステップS102では、制御部11は、以下の式(1)を用いて、カメラ座標系での提示座標Lを、目座標系での座標Lに変換する。
【0051】
【数1】
式(1)中の「R」及び「t」は、それぞれ、カメラ座標系から目座標系へ変換するための回転行列及び並進ベクトルである。また、「R」及び「t」は、上記した座標変換パラメータの1つである。以上のステップS102の後、処理はステップS103に進む。
【0052】
ステップS103では、制御部11は、目座標系での座標Lを、仮想スクリーン40に投影した投影座標M(目座標系で規定されるものとする)を算出する。図8は、座標Lと投影座標Mとの関係を示している。図8から分かるように、投影座標Mを求めるということは、仮想スクリーン40の平面と直線OeLeとの交点を求めることと同義である。目座標系で規定される、仮想スクリーン40の平面における単位法線ベクトルを「n」とし、仮想スクリーン40の平面と目座標系の原点Oとの距離を「h」とすると、制御部11は、以下の式(2)及び(3)を用いて、座標Lから投影座標Mへ変換する。なお、平面と直線との交点の求め方は、公知の手法を用いることができる。
【0053】
【数2】
具体的には、制御部11は、式(3)に「L」、「n」及び「h」を代入することで「α」を求め、この「α」を式(2)に代入することで、座標Lから投影座標Mを求める。なお、「n」及び「h」は、上記した座標変換パラメータの1つである。以上のステップS103の後、処理はステップS104に進む。
【0054】
ステップS104では、制御部11は、以下の式(4)を用いて、目座標系での投影座標Mを、画像表示デバイス座標系での座標Mに変換する。
【0055】
【数3】
式(4)中の「R」及び「t」は、それぞれ、目座標系から画像表示デバイス座標系へ変換するための回転行列及び並進ベクトルである。また、「R」及び「t」は、上記した座標変換パラメータの1つである。以上のステップS104の後、処理はステップS105に進む。
【0056】
ステップS105では、制御部11は、以下の式(5)を用いて、画像表示デバイス座標系での座標Mを、スクリーン座標系での座標mに透視投影する。
【0057】
【数4】
式(5)より得られる座標mが、仮想スクリーン40の表示座標である。式(5)において、「width」及び「height」は仮想スクリーン40の画像サイズであり、「k」及び「k」はLCD13bのドットピッチとLCD13bから仮想スクリーン40までの光路で決まる係数である。以上のステップS105の後、処理は終了する。
【0058】
なお、上記では、仮想スクリーン40の平面が目の視線に対して傾いている(つまり目座標系のZ軸と画像表示デバイス座標系のZ軸とが平行でない)ことを前提とした、座標変換の例を示した。他の例では、目の視線と仮想スクリーン40の平面とが直交している(つまり目座標系のZ軸と画像表示デバイス座標系のZ軸とが平行である)ことを前提として、座標変換を行うことができる。この場合には、目座標系からスクリーン座標系へ直接に透視投影を行うことができる。つまり、上記のステップS104の処理を行わなくて良い。
【0059】
[座標変換パラメータの算出方法]
次に、本実施例における座標変換パラメータの算出方法について説明する。本実施例では、HMD1の校正として、座標変換パラメータの算出を行う。前述したように、座標変換パラメータは、回転行列R、R、並進ベクトルt、t、仮想スクリーン40の平面の単位法線ベクトルn、及び、仮想スクリーン40の平面と目座標系の原点Oとの距離hである。「R」及び「t」は、カメラ座標系から目座標系に変換するためのパラメータであり、以下では、これらをまとめて「第1パラメータ」と呼ぶ。「n」及び「h」は、目座標系での座標を仮想スクリーン40の平面に投影するためのパラメータであり、以下では、これらをまとめて「第2パラメータ」と呼ぶ。「R」及び「t」は、目座標系から画像表示デバイス座標系に変換するためのパラメータであり、以下では、これらをまとめて「第3パラメータ」と呼ぶ。
【0060】
ここで、座標変換パラメータの算出方法の概要について簡単に説明する。まず、制御部11は、カメラ12によって撮影された、HMD1を装着したユーザの鏡像の撮影画像を取得する。次に、制御部11は、撮影画像から、カメラ12に付加されたマーカ12a(以下、適宜「カメラマーカ」と呼ぶ。)と、ユーザの目20と、画像表示デバイス13に付加されたマーカ13a(以下、適宜「スクリーンマーカ」と呼ぶ。)とを検出し、カメラ12、目20及び画像表示デバイス13のそれぞれについて、カメラ座標系での鏡像の位置及び方向を推定する。次に、制御部11は、カメラ12の鏡像の位置及び方向に基づいて鏡平面を推定し、目20及び画像表示デバイス13のそれぞれについて、カメラ座標系での実像(鏡像の生成元となった像を意味する。以下同様とする。)の位置及び方向を推定する。制御部11は画像表示デバイス13と仮想スクリーン40の位置関係を把握しており、カメラ座標系での仮想スクリーン40の位置及び方向を推定する。以上の推定により、カメラ12、目20及び仮想スクリーン40の位置・方向関係がわかるため、制御部11は、そのような位置・方向関係に基づいて、座標変換パラメータ(具体的には、第1パラメータR、t、第2パラメータn、h、及び第3パラメータR、t)を求める。
【0061】
図9は、本実施例に係る座標変換パラメータの算出方法を示すフローチャートである。このフローは、HMD1の制御部11によって実行される。例えば、当該フローは、HMD1がユーザに装着された際に実行される。
【0062】
まず、ステップS201では、制御部11は、カメラ12によって撮影された、HMD1を装着したユーザの鏡像の撮影画像を取得する。例えば、制御部11は、HMD1を装着した状態を鏡30に映し、この状態をカメラ12で撮影すべき旨を、ユーザに対して報知することで、撮影画像を取得する。この後、処理はステップS202、S203及びS204に進む。
【0063】
ステップS202では、制御部11は、撮影画像から、カメラマーカの画像上の位置を検出する。ステップS203では、制御部11は、撮影画像から、ユーザの目20の画像上の位置を検出する。ステップS204では、制御部11は、撮影画像から、スクリーンマーカの画像上の位置を検出する。以上のステップS202、S203及びS204の後、処理はステップS205、S206及びS207に進む。
【0064】
ステップS205では、制御部11は、ステップS202で検出された位置で画像解析を行い、カメラマーカの位置及び姿勢を利用して、カメラ座標系でのカメラ12の鏡像の光学中心位置及び光軸方向を推定する。この後、処理はステップS208に進む。ステップS206では、制御部11は、ステップS203で検出された位置で画像解析を行い、目20の位置及び大きさを利用して、カメラ座標系での目20の鏡像の瞳孔中心位置を推定する。ステップS207では、制御部11は、ステップS204で検出された位置で画像解析を行い、スクリーンマーカの位置及び姿勢を利用して、カメラ座標系での画像表示デバイス13の鏡像の位置及び方向を推定する。
【0065】
ステップS208では、制御部11は、ステップS205で推定されたカメラ12の鏡像の光学中心位置及び光軸方向に基づいて、鏡平面を推定する。具体的には、制御部11は、カメラ座標系での鏡平面の単位法線ベクトル及び原点Oとの距離を推定する。鏡平面は、カメラ12の鏡像の光学中心位置と原点Oの中点で交わる。また、鏡平面の法線は、カメラ12の鏡像の光軸方向をZ軸方向に1/2倍回転させた方向である。以上のステップS208の後、処理はステップS209及びS210に進む。
【0066】
ステップS209では、制御部11は、カメラ座標系での目20の実像の瞳孔中心位置を推定する。具体的には、制御部11は、ステップS206で推定された目20の鏡像の瞳孔中心位置を、ステップS208で推定された鏡平面で折り返すことで、目20の実像の瞳孔中心位置を推定する。ステップS210では、制御部11は、カメラ座標系での仮想スクリーン40の中心位置及び方向を推定する。具体的には、制御部11は、ステップS207で推定された画像表示デバイス13の鏡像の位置及び方向を、ステップS208で推定された鏡平面で折り返すことで、画像表示デバイス13の実像の位置及び方向を推定し、制御部11が把握している画像表示デバイス13と仮想スクリーン40の位置関係を利用して、仮想スクリーン40のカメラ座標系での中心位置及び方向を推定する。以上により、カメラ座標系のもとで、カメラ12、目20及び仮想スクリーン40の位置関係及び方向関係が判明する。ステップS209、S210の後、処理はステップS211、S212及びS213に進む。
【0067】
ステップS211では、制御部11は、ステップS209で推定された目20の実像の瞳孔中心位置に基づいて、カメラ座標系から目座標系に変換するための第1パラメータR、t(回転行列R、並進ベクトルt)を求める。ステップS212では、制御部11は、ステップS209で推定された目20の実像の瞳孔中心位置と、ステップS210で推定された仮想スクリーン40の中心位置及び方向とに基づいて、目座標系での座標を仮想スクリーン40に投影するための第2パラメータn、h(目座標系での仮想スクリーン40の平面の単位法線ベクトルn、仮想スクリーン40の平面と目座標系の原点Oとの距離h)を求める。ステップS213では、制御部11は、ステップS209で推定された目20の実像の瞳孔中心位置と、ステップS210で推定された仮想スクリーン40の中心位置及び方向とに基づいて、目座標系から画像表示デバイス座標系に変換するための第3パラメータR、t(回転行列R、並進ベクトルt)を求める。以上のステップS211、S212及びS213の後、処理は終了する。
【0068】
この後、制御部11は、上記のように求められた座標変換パラメータを用いて座標変換を行うことで、提示情報を画像表示デバイス13に表示させる制御を行う。
【0069】
[本実施例の作用効果]
以上説明した本実施例によれば、HMD1の校正を容易に行うことができる。具体的には、本実施例では、ユーザが鏡30に向き合うことで自動的に校正が行われるため、前述した先行技術文献に記載された技術と比較して、校正時におけるユーザの手間を少なくすることができる。また、このような校正は、ユーザの身近にある鏡30(手鏡など)を利用して実現できるので、本実施例によれば、校正用の特殊なもの(例えば校正用のマーカ)を携帯したり、使用環境に埋め込んだりする必要はない。
【0070】
[変形例]
以下で、上記した実施例の変形例を提示する。下記の変形例は、任意に組み合わせて実施することができる。
【0071】
(変形例1)
上記したカメラ12として、ステレオカメラを用いても良い。カメラ12としてステレオカメラを用いた場合、位置及び方向についての推定精度を向上させることができる。また、ステレオカメラを用いると、マーカ12a、13aの大きさが未知であっても、撮影画像から3次元位置を推定することができる。そのため、マーカ12a、13aの大きさを制御部11に予め把握させておく必要はない。
【0072】
(変形例2)
上記では、撮影画像からカメラ12及び画像表示デバイス13の位置及び方向を推定するに当たって、マーカ12a、13aを用いる実施例を示したが、このようなマーカ12a、13aを用いなくても良い。他の例では、マーカ12a、13aを用いずに、カメラ12の形状の特徴及び画像表示デバイス13の形状の特徴を用いて、カメラ12及び画像表示デバイス13の位置及び方向を推定することができる。
【0073】
(変形例3)
上記では、ユーザの目20の位置として瞳孔中心位置を用いる実施例を示したが、瞳孔中心位置の代わりに、目20の光学中心位置を用いても良い。瞳孔中心位置と光学中心位置との関係を予め計測しておけば、撮影画像から目20の光学中心位置を推定することができる。このような光学中心位置を用いた場合には、瞳孔中心位置を用いた場合より、精度良く座標変換パラメータを求めることができる。
【0074】
(変形例4)
上記では、画像表示デバイス13の位置及び方向を推定して、当該位置及び当該方向に基づいて座標変換パラメータを求める実施例を示した。他の例では、画像表示デバイス13の位置及び方向を推定せずに、座標変換パラメータを求めることができる。カメラ12と画像表示デバイス13との位置関係が固定されている場合(例えばフレーム14で、これらが適切に固定されている場合)には、画像表示デバイス13の位置及び方向が一義的に決まるため、仮想スクリーン40の位置及び方向を推定しなくても良い。この場合には、図9に示したステップS204、S207、S210の処理を行わなくて良い。つまり、スクリーンマーカの検出、画像表示デバイス13の鏡像の位置及び方向の推定、仮想スクリーン40の中心位置及び方向の推定を行わなくて良い。
【0075】
(変形例5)
鏡像の撮影画像を得るために鏡30を用いることに限定はされない。鏡30の代わりに、所定以上の反射率を有するもの(例えばガラスなど)を用いて、鏡像の撮影画像を得ても良い。
【0076】
(変形例6)
上記では、鏡平面を推定するために、カメラ12の鏡像の光学中心位置及び光軸方向を推定する実施例を示したが、鏡にマーカを付加させ、それを撮影することで鏡平面を推定してもよい。この場合には、図9に示したステップS202、S205、S208の処理は行わなくてよい。
【0077】
(変形例7)
上記では、光学透過可能な画像表示デバイスとして、LCD13b、レンズ13c、ハーフミラー13dを用いる形態を示した。他の例では、透明有機ELや透明LCDを用いた透明ディスプレイや、例えば曇りガラスのような半透明の板上にLCDプロジェクターで投影するものでもよい。
【符号の説明】
【0078】
1 ヘッドマウントディスプレイ(HMD)
11 制御部
12 カメラ
12a、13a マーカ
13 画像表示デバイス
13b LCD
13c レンズ
13d ハーフミラー
14 フレーム
図1
図2
図3
図4
図5
図6
図7
図8
図9