特許 7539187 拡張現実用画像の映像補正装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-15

(45)【発行日】2024-08-23

(54)【発明の名称】拡張現実用画像の映像補正装置

(51)【国際特許分類】

   G02B 27/02 20060101AFI20240816BHJP

   H04N 5/64 20060101ALI20240816BHJP

【ＦＩ】

G02B27/02 Z

H04N5/64 511A

【請求項の数】 10

(21)【出願番号】P 2023502939

(86)(22)【出願日】2021-06-16

(65)【公表番号】

(43)【公表日】2023-08-08

(86)【国際出願番号】 KR2021007525

(87)【国際公開番号】W WO2022019482

(87)【国際公開日】2022-01-27

【審査請求日】2023-01-16

(31)【優先権主張番号】10-2020-0092083

(32)【優先日】2020-07-24

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】518374631

【氏名又は名称】レティノル カンパニー リミテッド

(74)【代理人】

【識別番号】100121821

【弁理士】

【氏名又は名称】山田 強

(72)【発明者】

【氏名】ハ ジョン フン

(72)【発明者】

【氏名】パク スン ギ

【審査官】山本 貴一

(56)【参考文献】

【文献】特開２０１７－２２３８２５（ＪＰ，Ａ）

【文献】国際公開第２０１９／２２０３８６（ＷＯ，Ａ１）

【文献】特開２００６－１３３４３９（ＪＰ，Ａ）

【文献】国際公開第２０２０／０８４９５４（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１２／０２８１７２１（ＵＳ，Ａ１）

【文献】米国特許第０５７２６６７１（ＵＳ，Ａ）

【文献】特表２０１８－５２５６６２（ＪＰ，Ａ）

【文献】特開２０２０－０７９９０４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ２７／０１，２７／０２

Ｈ０４Ｎ ５／６４

(57)【特許請求の範囲】

【請求項1】

拡張現実用画像に相応する拡張現実画像光を出射する画像出射部、実際事物から出射した画像光である実際事物画像光の少なくとも一部を使用者の瞳孔に向けて透過させる光学手段、及び前記光学手段の内部に配置され、画像出射部から出射した拡張現実画像光を反射させて使用者の瞳孔に伝達する複数の反射部を備える拡張現実用光学装置と結合する拡張現実用画像の映像補正装置であって、
前記画像出射部から原本拡張現実用画像が出射するとき、前記拡張現実用光学装置を介して使用者が観察することになる観察映像の輝度情報を補正するための補償関数を決定する補償関数決定部と、
前記補償関数決定部で決定された補償関数及び原本拡張現実用画像情報に基づいて補正拡張現実用画像情報を生成する補正画像情報生成部と、
を含み、
前記補償関数決定部は、

【数1】

の式によって補償関数を決定し、
ここで、αはスケーリングファクター（ｓｃａｌｉｎｇ ｆａｃｔｏｒ）であり、

は反射部の形態関数であり、

は反射部の配列関数であり、

は眼球点拡散関数（Ｅｙｅ Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、ＰＳＦ）であり、＊は畳み込み演算子（ｃｏｎｖｏｌｕｔｉｏｎ ｏｐｅｒａｔｏｒ）であり、
前記画像出射部は前記補正画像情報生成部で生成された補正拡張現実用画像情報に相応する補正拡張現実画像光を出射し、前記複数の反射部は前記画像出射部から出射した補正拡張現実画像光を反射させて使用者の瞳孔に伝達することを特徴とする、拡張現実用画像の映像補正装置。

【請求項2】

前記反射部の配列関数

は複数の反射部の中心の位置を示す関数であることを特徴とする、請求項１に記載の拡張現実用画像の映像補正装置。

【請求項3】

前記反射部の配列関数

は、

【数2】

の式によって決定されることを特徴とする、請求項２に記載の拡張現実用画像の映像補正装置。
（ここで、ｈは横方向の反射部の個数であり、ｗは縦方向の反射部の個数であり、ｗ_ｈは反射部の横方向の間隔であり、ｗ_ｖは反射部の縦方向の間隔であり、δはディラックデルタ関数（Ｄｉｒａｃ ｄｅｌｔａ ｆｕｎｃｔｉｏｎ）であり、ｘ、ｙは反射部が配置された平面を２次元座標系で示すとき、各反射部の座標値である）

【請求項4】

前記反射部の配列関数

は、

【数3】

の式によって決定されることを特徴とする、請求項２に記載の拡張現実用画像の映像補正装置。
（ここで、ｈは横方向の反射部の個数であり、ｗは縦方向の反射部の個数であり、ｗ_ｈは反射部の横方向の間隔であり、ｗ_ｖは反射部の縦方向の間隔であり、δはディラックデルタ関数（Ｄｉｒａｃ ｄｅｌｔａ ｆｕｎｃｔｉｏｎ）であり、ｘ、ｙは反射部が配置された平面を２次元座標系で示すとき、各反射部の座標値である）

【請求項5】

前記眼球点拡散関数は、瞳孔の直径、基準映像距離、及び接眼距離に基づいて決定されることを特徴とする、請求項１に記載の拡張現実用画像の映像補正装置。

【請求項6】

前記眼球点拡散関数は、

【数4】

によって決定されることを特徴とする、請求項５に記載の拡張現実用画像の映像補正装置。
（ここで、ｃはブラー直径（ｂｌｕｒ ｄｉａｍｅｔｅｒ）であって、

であり、ｄａは前記瞳孔の直径であり、ｄｏは前記基準映像距離であり、ｄｍは前記接眼距離であり、ｘ，ｙは網膜を２次元座標系で表示する場合の座標値である）

【請求項7】

前記補正画像情報生成部は、「補正拡張現実用画像情報＝原本拡張現実用画像情報×補償関数」の式によって補正拡張現実用画像情報を生成することを特徴とする、請求項１に記載の拡張現実用画像の映像補正装置。

【請求項8】

前記映像補正装置は、基準映像距離を測定する深さカメラをさらに含み、
前記補償関数決定部は、前記深さカメラから基準映像距離を受信して眼球点拡散関数を計算することを特徴とする、請求項５に記載の拡張現実用画像の映像補正装置。

【請求項9】

前記映像補正装置は、瞳孔の直径及び接眼距離を測定する眼球追跡装置をさらに含み、
前記補償関数決定部は、前記眼球追跡装置から瞳孔の直径及び接眼距離を受信して眼球点拡散関数を計算することを特徴とする、請求項５または８に記載の拡張現実用画像の映像補正装置。

【請求項10】

前記補償関数決定部は、前記眼球追跡装置から瞳孔の相対位置情報を受信して反射部の配列関数のオフセット値を計算し、これに基づいて反射部の配列関数

を決定することを特徴とする、請求項９に記載の拡張現実用画像の映像補正装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は拡張現実用画像の映像補正装置に関するものであり、より詳しくは均一な輝度分布を有する拡張現実用画像を提供することができる拡張現実用画像の映像補正装置に関するものである。

【背景技術】

【0002】

拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）とは、周知のように、現実世界の実際映像にコンピュータなどによって提供される仮想の映像またはイメージを重ねて提供することを意味する。

【0003】

このような拡張現実を具現するためには、コンピュータのようなデバイスによって生成される仮想の映像またはイメージを現実世界の映像に重ねて提供することができるようにする光学系を必要とする。このような光学系としては、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）やメガネ型の装置を用いて仮想映像を反射または屈折させるプリズムなどのような光学手段を使う技術が知られている。

【0004】

しかし、このような従来の光学系を用いた装置は、その構成が複雑であって重さ及び体積が相当であるので、使用者が着用するのに不便さがあり、製造工程も複雑であって製造コストが高いという問題がある。

【0005】

また、従来の装置は、使用者が現実世界を見つめるときに焦点距離を変更する場合、仮想映像の焦点が合わなくなるという限界がある。これを解決するために、仮想映像に対する焦点距離を調節することができるプリズムのような構成を用いるか焦点距離の変更によって可変型焦点レンズを電気的に制御するなどの技術が提案されている。しかし、このような技術も焦点距離を調節するために使用者が別に操作しなければならないかまたは焦点距離の制御のための別途のプロセッサなどのようなハードウェア及びソフトウェアを必要とするという点で問題がある。

【0006】

このような従来技術の問題点を解決するために、本出願人は特許文献１に記載されているように、ヒトの瞳孔より小さいサイズの反射部を用いて仮想映像、つまり拡張現実用画像を瞳孔を通して網膜に投映することによって拡張現実を具現することができる装置を開発したことがある。

【0007】

図１は本出願人によって出願された特許文献１に開示されたような拡張現実用光学装置１００を示す図である。

【0008】

図１の拡張現実用光学装置１００は、光学手段１０、反射部２０、画像出射部３０及びフレーム部４０を含む。

【0009】

光学手段１０は実際事物から出射した画像光である実際事物画像光の少なくとも一部を透過させる手段であり、例えばメガネレンズであってもよく、その内部には反射部３０が埋め込まれて配置されている。また、光学手段１０は反射部２０から反射された拡張現実画像光を瞳孔に伝達するように透過させる機能も果たす。

【0010】

フレーム部４０は画像出射部３０と光学手段１０とを固定及び支持する手段であり、例えばメガネの枠のようなものであり得る。

【0011】

画像出射部３０は仮想映像、つまり拡張現実用画像に相応する画像光である拡張現実画像光を出射する手段であり、例えば拡張現実用画像を画面に表示して拡張現実画像光を放射する小型ディスプレイ装置と、ディスプレイ装置から放射される画像光を平行光に視準するためのコリメーター（ｃｏｌｌｉｍａｔｏｒ）とを備えることができる。

【0012】

反射部２０は画像出射部３０から出射した拡張現実用画像光を使用者の瞳孔５０に向けて反射させることによって拡張現実用画像を提供する。

【0013】

図１の反射部２０は、ヒトの一般的な瞳孔の大きさより小さい大きさ、すなわち８ｍｍ以下に形成されているが、反射部２０を瞳孔の大きさより小さく形成すれば、反射部２０を通して瞳孔に入射する光に対する深度をほぼ無限大に近く、すなわち深度を非常に深くすることができる。

【0014】

ここで、深度（Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ）とは、焦点が合うものと認識される範囲を言う。深度が深くなるというのは拡張現実用画像に対する焦点距離も大きくなることを意味する。したがって、深度が深くなれば、使用者が実際世界を見つめながら実際世界に対する焦点距離を変更しても、これに関係なく拡張現実用画像の焦点はいつも合うものと認識することになる。これは一種のピンホール効果（ｐｉｎｈｏｌｅ ｅｆｆｅｃｔ）と言える。したがって、使用者が実際世界に存在する実際事物を見つめながら焦点距離を変更しても、拡張現実用画像に対しては常に鮮明な仮想映像を見ることができる。

【0015】

図２及び図３は複数の反射部２０を配置した拡張現実用光学装置２００を示す図で、図２は拡張現実用光学装置２００の側面図であり、図３は拡張現実用光学装置２００の正面図である。

【0016】

図２及び図３は図１の拡張現実用光学装置１００と基本的に同一であるが、より広い視野角を提供することができるように複数の反射部２０がアレイ（ａｒｒａｙ）状に配置されているという点で違いがある。

【0017】

すなわち、図２及び図３の拡張現実用光学装置２００の反射部２０は４×９アレイ状に配置され、それぞれの反射部２０が画像出射部３０から出射する拡張現実用画像を受けることができるように、図２に示すように、拡張現実用光学装置２００を側面から見たとき、下側の行を構成する反射部２０が瞳孔５０にもっと近く位置するように配置する。

【0018】

画像出射部３０は、コンピュータ、スマートフォンなどのような映像再生装置（図示せず）から画像出射部３０で拡張現実画像を表示することができるようにする拡張現実画像情報を受け、拡張現実画像情報に相応する拡張現実画像光を出射して複数の反射部２０に伝達する。

【0019】

複数の反射部２０は、画像出射部３０から出射した拡張現実画像光を反射させて使用者の目の瞳孔５０に伝達することで、使用者に拡張現実画像光に相応する拡張現実画像を提供するようになる。

【0020】

このような複数の反射部２０を有する拡張現実用光学装置２００はより広い視野角を提供することができるという利点があるが、使用者に提供される拡張現実用画像の輝度分布が均一でないという問題点がある。

【0021】

図４は図２及び図３の拡張現実用光学装置２００を介して使用者が観測する拡張現実用画像の輝度分布が不均一な問題を説明するための図である。

【0022】

図４の（Ａ）は拡張現実用画像が画像出射部３０で表示された状態の画面を示すものであり、図４の（Ｂ）は図４の（Ａ）の拡張現実用画像を拡張現実用光学装置２００を介して使用者が観測する観察映像（ｏｂｓｅｒｖｅｄ ｉｍａｇｅ）である拡張現実用画像を示すものである。図４では、本発明の原理を説明するために画面の明暗がちょっと誇張して表現されていることに気をつけなければならない。

【0023】

図４の（Ａ）に示すように、輝度分布が均一な拡張現実用画像が画像出射部３０のディスプレイ部に表示される。しかし、このような拡張現実用画像が複数の反射部２０を通して瞳孔５０に伝達されれば、図４の（Ｂ）に示すように、輝度分布が均一でない映像を使用者が観察することになる。

【0024】

図４の（Ｂ）に白色で示した部分は隣接した反射部２０で反射された光によって周辺領域より明るく見える領域である。

【0025】

このような輝度分布の不均一性は、反射部２０の形状、大きさ及び配列構造と、瞳孔直径、接眼距離（瞳孔から反射部２０までの距離（ｅｙｅ ｒｅｌｉｅｆ））、眼球の焦点位置、眼球の水平位置などに関連している。

【0026】

したがって、複数の反射部２０を用いた拡張現実用光学装置２００において輝度分布の不均一性によって使用者が最終的に観察するようになる拡張現実用画像が不明であるか鮮明でないという問題が発生し得る。

【先行技術文献】

【特許文献】

【0027】

【文献】韓国登録特許第１０－１６６０５１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0028】

前述したような問題点を解決するために、本発明は、複数の反射部を使って拡張現実用画像を提供する拡張現実用光学装置において、輝度分布が不均一な問題点を解決するために拡張現実用画像の輝度分布情報を事前に補正することで、均一な輝度分布を有する拡張現実用画像を提供することができる拡張現実用画像の映像補正装置を提供することを目的とする。

【課題を解決するための手段】

【0029】

前述したような課題を解決するために、本発明は、拡張現実用画像に相応する拡張現実画像光を出射する画像出射部、実際事物から出射した画像光である実際事物画像光の少なくとも一部を使用者の瞳孔に向けて透過させる光学手段、及び前記光学手段の内部に配置され、画像出射部から出射した拡張現実画像光を反射させて使用者の瞳孔に伝達する複数の反射部を備える拡張現実用光学装置と結合する拡張現実用画像の映像補正装置であって、前記画像出射部から原本拡張現実用画像が出射するとき、前記拡張現実用光学装置を介して使用者が観察することになる観察映像の輝度情報を補正するための補償関数を決定する補償関数決定部と、前記補償関数決定部で決定された補償関数及び原本拡張現実用画像情報に基づいて補正拡張現実用画像情報を生成する補正画像情報生成部とを含み、前記画像出射部は前記補正画像情報生成部で生成された補正拡張現実用画像情報に相応する補正拡張現実画像光を出射し、前記複数の反射部は前記画像出射部から出射した補正拡張現実画像光を反射させて使用者の瞳孔に伝達することを特徴とする拡張現実用画像の映像補正装置を提供する。

【0030】

ここで、前記補償関数決定部は、

【数1】

の式によって補償関数を決定することができる。

【0031】

（ここで、αはスケーリングファクター（ｓｃａｌｉｎｇ ｆａｃｔｏｒ）であり、

は反射部の形態関数であり、

は反射部の配列関数であり、

は眼球点拡散関数（Ｅｙｅ Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、ＰＳＦ）であり、＊は畳み込み演算子（ｃｏｎｖｏｌｕｔｉｏｎ ｏｐｅｒａｔｏｒ）である）
また、前記反射部の形態関数

は、

【数2】

によって決定されることができる。

【0032】

（ここで、ｘ、ｙは反射部が配置された平面を２次元座標系で表示するときの座標値であり、ｒは反射部の半径であり、

はｒより小さければ１であり、他の場合には０である）
また、前記反射部の配列関数

は複数の反射部の中心の位置を示す関数であり得る。

【0033】

また、前記反射部の配列関数

は、

【数3】

の式によって決定されることができる。

【0034】

（ここで、ｈは横方向の反射部の個数であり、ｗは縦方向の反射部の個数であり、ｗ_ｈは反射部の横方向の間隔であり、ｗ_ｖは反射部の縦方向の間隔であり、δはディラックデルタ関数（Ｄｉｒａｃ ｄｅｌｔａ ｆｕｎｃｔｉｏｎ）であり、ｘ、ｙは反射部が配置された平面を２次元座標系で示すとき、各反射部の座標値である）
また、前記反射部の配列関数

は、

【数4】

の式によって決定されることができる。

【0035】

（ここで、ｈは横方向の反射部の個数であり、ｗは縦方向の反射部の個数であり、ｗ_ｈは反射部の横方向の間隔であり、ｗ_ｖは反射部の縦方向の間隔であり、δはディラックデルタ関数（Ｄｉｒａｃ ｄｅｌｔａ ｆｕｎｃｔｉｏｎ）であり、ｘ、ｙは反射部が配置された平面を２次元座標系で示すとき、各反射部の座標値である）
また、前記眼球点拡散関数は、瞳孔の直径、基準映像距離、及び接眼距離に基づいて決定されることができる。

【0036】

また、前記眼球点拡散関数は、

【数5】

によって決定されることができる。

【0037】

（ここで、ｃはブラー直径（ｂｌｕｒ ｄｉａｍｅｔｅｒ）で、

である）
また、前記補正画像情報生成部は、「補正拡張現実用画像情報＝原本拡張現実用画像情報×補償関数」の式によって補正拡張現実用画像情報を生成することができる。

【0038】

また、前記映像補正装置は、基準映像距離を測定する深さカメラをさらに含み、
前記補償関数決定部は、前記深さカメラから基準映像距離を受信して眼球点拡散関数を計算することができる。

【0039】

また、前記映像補正装置は、瞳孔の直径及び接眼距離を測定する眼球追跡装置をさらに含み、前記補償関数決定部は、前記眼球追跡装置から瞳孔の直径及び接眼距離を受信して眼球点拡散関数を計算することができる。

【0040】

また、前記補償関数決定部は、前記眼球追跡装置から瞳孔の相対位置情報を受信して反射部の配列関数のオフセット値を計算し、これに基づいて反射部の配列関数

を決定することができる。

【発明の効果】

【0041】

本発明によれば、複数の反射部を使って拡張現実用画像を提供する拡張現実用光学装置において、輝度分布が不均一な問題点を解決することができるように拡張現実用画像の輝度分布情報を事前に補正することで、均一な輝度分布を有する拡張現実用画像を提供することができる拡張現実用画像の映像補正装置を提供することができる。

【図面の簡単な説明】

【0042】

【図1】本出願人によって出願された特許文献１に開示されたような拡張現実用光学装置１００を示す図である。

【図2】複数の反射部２０を配置した拡張現実用光学装置２００を示す図で、拡張現実用光学装置２００の側面図である。

【図3】複数の反射部２０を配置した拡張現実用光学装置２００を示す図で、拡張現実用光学装置２００の正面図である。

【図4】図２及び図３の拡張現実用光学装置２００を介して使用者が観測する拡張現実用画像の輝度分布が不均一な問題を説明するための図である。

【図5】本発明の一実施例による拡張現実用画像の映像補正装置３００及び拡張現実用光学装置２００を示す図である。

【図6】反射部２０の配列関数の他の例を示す図である。

【図7】眼球点拡散関数の一例を示す図である。

【図8】眼球点拡散関数のｃ、ｄ_ａ、ｄ-、ｄ_ｍを説明するための図である。

【図9】眼球点拡散関数の他の一例を示す図である。

【図10】使用者が観察する観察映像の輝度分布が反射部２０の形態関数、反射部２０の配列関数及び眼球点拡散関数の畳み込み演算によって表現される原理を示す図である。

【図11】使用者が観察する観察映像を事前に補正することで、均一な輝度分布を有する観察映像を得ることができる本発明の原理を説明するための図である。

【図12】本発明による映像補正装置３００が適用された場合の観察映像を映像補正装置３００が適用されなかった場合の観察映像と比較して示す図である。

【発明を実施するための形態】

【0043】

以下、添付図面を参照して本発明の実施例を詳細に説明する。

【0044】

図５は本発明の一実施例による拡張現実用画像の映像補正装置３００及び拡張現実用光学装置２００を示す図である。

【0045】

図５の実施例の拡張現実用画像の映像補正装置３００（以下、簡単に「映像補正装置３００」と言う）は、原本拡張現実用画像情報に基づいて補正拡張現実用画像情報を生成し、生成された補正拡張現実用画像情報を拡張現実用光学装置２００の画像出射部３０に伝送することで、拡張現実用光学装置２００を介して均一な輝度分布を有する補正拡張現実用画像を使用者に提供する機能を果たす。

【0046】

映像補正装置３００は、補償関数決定部３１０及び補正画像情報生成部３２０を含む。これについては後述し、それに先立ち、本発明による映像補正装置３００が適用される拡張現実用光学装置２００の構成及び動作について概略的に説明する。

【0047】

拡張現実用光学装置２００は、先に図２及び図３を参照して背景技術で説明したように、光学手段１０、複数の反射部２０、及び画像出射部３０を備える。

【0048】

光学手段１０は、実際の事物から出射した画像光である実際事物画像光の少なくとも一部を使用者の目の瞳孔５０に向けて透過させる手段であり、複数の反射部２０は前記光学手段１０の内部に配置され、画像出射部３０から出射した補正拡張現実画像光を反射させて使用者の瞳孔５０に伝達する手段である。

【0049】

ここで、複数の反射部２０のそれぞれは、先に背景技術で説明したように、深度を深くしてピンホール効果を得ることができるように、ヒトの平均的な瞳孔の大きさより小さい大きさ、すなわち８ｍｍ以下、より好ましくは４ｍｍ以下に形成される。

【0050】

画像出射部３０は映像補正装置３００から補正拡張現実用画像情報を受信し、これに相応する補正拡張現実画像光を出射する手段である。画像出射部３０は、例えば小型ＬＣＤのようなディスプレイ装置とコリメーターとからなることができる。このような画像出射部３０自体は本発明の直接的な目的ではなく、従来技術に知られているものであるので、その詳細説明は省略する。

【0051】

図５では、複数の反射部２０が画像出射部３０から直接補正拡張現実画像光を受けるものとして示したが、これは例示的なものであり、画像出射部３０からの補正拡張現実画像光は光学手段１０の内面で少なくとも１回以上全反射されて反射部２０に伝達されるように構成することもできるというのは言うまでもない。

【0052】

また、複数の反射部２０は、前述したように、光学手段１０の側面から見るとき、下側の行を構成する反射部２０が瞳孔５０にもっと近く位置するように配置されているが、これも例示的なものであり、他の配置構造を有することもできるというのは言うまでもない。

【0053】

すなわち、本発明による映像補正装置３００が適用される拡張現実用光学装置２００は、反射部２０の具体的な配置構造または画像出射部３０と瞳孔５０との間の光経路において特別な制限がなく、複数の反射部２０を使って拡張現実画像光を使用者の瞳孔５０に伝達する拡張現実用光学装置２００のいずれにも適用可能である。

【0054】

次に、映像補正装置３００について説明する。

【0055】

映像補正装置３００は、補償関数決定部３１０と、補正画像情報生成部３２０とを含む。

【0056】

補償関数決定部３１０は、画像出射部３０から原本拡張現実用画像が出射するとき、拡張現実用光学装置２００を介して使用者が観察する観察映像の輝度情報を補正するための補償関数を決定し、補正画像情報生成部３２０は、前記補償関数決定部３１０で決定された補償関数に基づいて補正拡張現実用画像情報を生成する機能を果たす。

【0057】

まず、補償関数決定部３１０は、例えばコンピュータやスマートフォンのようなデバイスに含まれた映像再生装置（図示せず）から原本拡張現実用画像情報を受信し、これに基づいて、原本拡張現実用画像が画像出射部３０を通して出射するときに使用者が観察することになる観察映像の輝度情報を補正するための補償関数を決定して補正画像情報生成部３２０に伝送する。

【0058】

ここで、拡張現実用画像情報とは、拡張現実用画像が画像出射部３０から拡張現実用画像光として出射することができるようにする情報であり、画像出射部３０に含まれたディスプレイ部（図示せず）に拡張現実用画像を表示するための情報を意味する。

【0059】

一般的に、ディスプレイ部で画像を表示するための情報は、当該画像がｍ×ｎ個の画素（ｐｉｘｅｌ）から構成された場合、各画素に対するＲ（ｒｅｄ）、Ｇ（ｇｒｅｅｎ）、Ｂ（ｂｌｕｅ）の色相別強度値（ｉｎｔｅｎｓｉｔｙ ｖａｌｕｅ）からなるｍ×ｎ×３の３次元配列（ａｒｒａｙ）から構成される。ここで、各画素のＲ（ｒｅｄ）、Ｇ（ｇｒｅｅｎ）、Ｂ（ｂｌｕｅ）の色相別強度値は当該画素のＲ、Ｇ、Ｂ色相別輝度に対応する。強度値の範囲は通常０～２５５の値を有するように８ビットで表現され、各色相別組合せによって２５６×２５６×２５６種の組合せを有することができる。

【0060】

拡張現実用画像情報も画像出射部３０に含まれるディスプレイ部で拡張現実用画像を表示することができるように、当該拡張現実用画像がｍ×ｎ個の画素（ｐｉｘｅｌ）から構成された場合、各画素に対するＲ、Ｇ、Ｂ色相別強度値から構成されるｍ×ｎ×３の３次元配列から構成され、これは行列（ｍａｔｒｉｘ）で表記することができる。

【0061】

一方、本発明で、「原本（ｏｒｉｇｉｎａｌ）」拡張現実用画像情報とは、本発明による映像補正装置３００によって輝度情報が補正されなかった状態の拡張現実用画像についての画像情報を意味し、「補正（ｐｒｅ－ｃｏｍｐｅｎｓａｔｅｄ）」拡張現実用画像情報は本発明による映像補正装置３００によって補正された輝度情報を有する補正拡張現実用画像についての画像情報を意味する。

【0062】

原本拡張現実用画像が画像出射部３０から出射するときに使用者が観察することになる観察映像の輝度情報を補正するための補償関数（ｃｏｍｐｅｎｓａｔｉｏｎ ｆｕｎｃｔｉｏｎ）は次のような式によって決定することができる。

【0063】

【数6】

ここで、αはスケーリングファクター（ｓｃａｌｉｎｇ ｆａｃｔｏｒ）であり、補正拡張現実用画像の輝度が画像出射部３０のディスプレイ部が表現することができる範囲を超える場合、これをディスプレイ部が表現することができる範囲に相応するように正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ）するための値である。これは補正拡張現実用画像の最大値によって変動することができる。

【0064】

また、

は反射部２０の形態関数であり、

は反射部２０の配列関数であり、

は眼球点拡散関数（Ｅｙｅ Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、ＰＳＦ）であり、＊は畳み込み演算子（ｃｏｎｖｏｌｕｔｉｏｎ ｏｐｅｒａｔｏｒ）である。

【0065】

また、ｘ、ｙは反射部２０が配置された平面または網膜を２次元座標系で表示する場合のｘ軸及びｙ軸の座標値を意味する。

【0066】

反射部２０の形態関数

は、反射部２０の形状を数学的に示す関数であり、例えば反射部２０が円形の場合、次の通りに定義することができる。

【0067】

【数7】

ここで、ｘ、ｙは反射部２０が配置された平面を２次元座標系で表示する場合の座標値であり、ｒは反射部２０の半径である。

【0068】

また、

はｒより小さければ１であり、その他の場合には０である。

【0069】

反射部２０の配列関数

は、反射部２０が配置された平面で反射部２０の配置構造を記述する関数であり、各反射部２０の中心の位置を反射部２０が配置された平面の２次元座標系に表示する関数である。

【0070】

例えば、複数の反射部２０が２次元の格子状に配列されていると仮定すると、各反射部２０の中心の位置を示す反射部２０の配列関数は下記の通りに定義することができる。

【0071】

【数8】

ここで、ｈは横方向の反射部２０の個数であり、ｗは縦方向の反射部２０の個数であり、ｗ_ｈは反射部２０の横方向の間隔であり、ｗ_ｖは反射部２０の縦方向の間隔であり、δはディラックデルタ関数（Ｄｉｒａｃ ｄｅｌｔａ ｆｕｎｃｔｉｏｎ）である。また、ｘ、ｙは反射部２０が配置された平面を２次元座標系で示す場合の各反射部２０の座標値である。

【0072】

図６は反射部２０の配列関数の他の例を示す図である。

【0073】

図６を参照すると、複数の反射部２０が六角形の２次元格子状に配列されており、各行はｗ_ｖだけ離れており、各列はｗ_ｈ／２だけ離れるように配置されている。

【0074】

このような場合、反射部２０の配列関数は下記の通りに定義することができる。

【0075】

【数9】

前記式で、左側のシグマ演算は左側から奇数番目列の反射部２０の配列を示すものであり、右側のシグマ演算は偶数番目列の反射部２０の配列を示すものである。

【0076】

ここで、ｈは横方向の反射部２０の個数であり、ｗは縦方向の反射部２０の個数であり、ｗ_ｈは反射部２０の横方向の間隔であり、ｗ_ｖは反射部２０の縦方向の間隔であり、δはディラックデルタ関数（Ｄｉｒａｃ ｄｅｌｔａ ｆｕｎｃｔｉｏｎ）である。また、ｘ、ｙは反射部２０が配置された平面を２次元座標系で示す場合の各反射部２０の座標値である。

【0077】

眼球点拡散関数（Ｅｙｅ Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、）は瞳孔５０から距離ｄ_ｍだけ離れた所にある点光源を観察するとき、網膜に結ぶ映像の強度（ｉｎｔｅｎｓｉｔｙ）値の網膜面での２次元空間分布関数を意味する。

【0078】

図７は眼球点拡散関数の一例を示す図である。

【0079】

図７の眼球点拡散関数は、下記のようなガウス分布（Ｇａｕｓｓｉａｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）によって定義することができる。

【0080】

【数10】

ここで、ｃはブラー直径（ｂｌｕｒ ｄｉａｍｅｔｅｒ）であり、

と定義される。

【0081】

また、ｄ_ａは瞳孔５０の直径であり、ｄ_ｏは基準映像距離（拡張現実用画像に含まれた客体に対する焦点位置）、ｄ_ｍは接眼距離（瞳孔５０から反射部２０までの距離（ｅｙｅ ｒｅｌｉｅｆ））であり、ｘ、ｙは網膜を２次元座標系で表示する場合の座標値を意味する。

【0082】

図８は眼球点拡散関数のｃ、ｄ_ａ、ｄ_ｏ、ｄ_ｍを説明するための図である。

【0083】

図８を参照すると、ｄ_ａは瞳孔５０の直径であり、ｄ_ｍは接眼距離（瞳孔５０から反射部２０までの距離（ｅｙｅ ｒｅｌｉｅｆ））である。

【0084】

また、ｄ_ｏは基準映像距離であり、拡張現実用画像に含まれた客体である仮想物体の位置である焦点位置と瞳孔５０との間の距離を意味する。

【0085】

一方、ｃはブラー直径であり、一つの点光源が反射部２０を通して網膜に投影されたとき、点光源が拡大して見える錯乱円（ｃｉｒｃｌｅ ｏｆ ｃｏｎｆｕｓｉｏｎ）の直径を意味する。

【0086】

の式は図８に示すような三角形の比例式によって誘導することができる。

【0087】

図９は眼球点拡散関数の他の一例を示す図である。

【0088】

図９の眼球点拡散関数は、原点から瞳孔５０の半径に相当する位置での輝度が最も高く現れ、瞳孔５０の中心に相当する位置の輝度がちょっと低く現れ、瞳孔５０の半径より外側では輝度が急激に低下する分布を示していることが分かる。

【0089】

図９の眼球点拡散関数は

に一般化して示すことができる。ここで、添字で表示したｄ_ａ、ｄ_ｏ、ｄ_ｍは眼球点拡散関数がこれらの値によって変化することを意味する。

【0090】

このような眼球点拡散関数はヒトの眼球特性によって決定される関数であり、個人別眼球点拡散関数はヒト別に視力、お年、眼球状態などによって眼球点拡散関数の詳細形態は変わることができるが、一般的に中心部が明るい同心円の形態を有し、個人別眼球点拡散関数は瞳孔直径、基準映像距離、接眼距離によって変化するが、同一条件では同じ値を有する。

【0091】

一方、図７及び図９で、眼球点拡散関数は説明の便宜のために１次元関数で表現したが、実際には網膜面による分布関数であるので、網膜の位置（ｘ、ｙ）によって変わる２次元関数という点に気をつけなければならない。

【0092】

また、図７及び図９に示す眼球点拡散関数は例示的なものであり、その他の眼球点拡散関数を使うこともできるというのは言うまでもない。

【0093】

このような反射部２０の形態関数

反射部２０の配列関数

及び眼球点拡散関数

並びにスケーリングファクター（α）によって補償関数を決定することができる。これは下記のような原理に基づくものである。

【0094】

使用者が観察する観察映像は画像出射部３０から出射した拡張現実用画像が反射部２０で反射されて瞳孔５０を通して網膜に投影された映像であるので、使用者が観察する観察映像の輝度は反射部２０の形態関数

反射部２０の配列関数

及び眼球点拡散関数

の畳み込み演算（ｃｏｎｖｏｌｕｔｉｏｎ ｏｐｅｒａｔｉｏｎ）に原本拡張現実用画像を掛けた値の結果として示すことができる。

【0095】

図１０は使用者が観察する観察映像の輝度分布が反射部２０の形態関数、反射部２０の配列関数、及び眼球点拡散関数の畳み込み演算によって表現される原理を示す図である。

【0096】

図１０の（Ａ）に示すように、原本映像（ｏｒｉｇｉｎａｌ ｉｍａｇｅ）は位置に関係なく同じ輝度分布を有し、（Ｂ）に示すような幅及び間隔で反射部２０が配置され、（Ｃ）に示すような眼球点拡散関数を有するというとき、最終的に使用者が観察する観察映像（Ｏｂｓｅｒｖｅｄ ｉｍａｇｅ）の輝度は、図１０の（Ｄ）に示すように、反射部２０の形態関数

反射部２０の配列関数

及び眼球点拡散関数

の畳み込み演算の結果に原本映像を掛けた値によって表現されることが分かる。

【0097】

ここで、原本映像を反射部２０の形態関数、反射部２０の配列関数、及び眼球点拡散関数の畳み込み演算の結果に掛けるというのは、前述したように、原本映像がｍ×ｎ個の画素（ｐｉｘｅｌ）から構成された場合、各画素のＲ、Ｇ、Ｂ色相別強度値から構成されるｍ×ｎ×３個の画素行列と

の結果を行列の成分別に掛け算するという意味である。

【0098】

すなわち、観察映像の輝度分布は、

【数11】

によって得ることができる。

【0099】

一方、図１０の（Ｄ）に示すような最終観察映像は、（Ａ）で原本映像の輝度分布が均一であることとは違い、（Ｂ）及び（Ｃ）での畳み込み演算の結果、すなわち

によって、位置によって均一でない輝度分布を示すことが分かる。

【0100】

このような原理を考慮して、最終観察映像の輝度分布を均一にすることができるように画像出射部３０に伝達される拡張現実用画像情報を事前に補正することができれば、均一な輝度分布を有する最終観察映像を得ることができるであろう。

【0101】

図１１は使用者が観察する観察映像を事前に補正することで、均一な輝度分布を有する観察映像を得ることができる本発明の原理を説明するための図である。

【0102】

図１１の（Ｂ）及び（Ｃ）は図１０の（Ｂ）及び（Ｃ）と同一であり、原本映像の代わりに、図１１の（Ａ）に示すような輝度分布を有する事前補正映像（Ｐｒｅ－ｃｏｍｐｅｎｓａｔｅｄ ｉｍａｇｅ）が入力されるという点で図１０と違う。

【0103】

図１０で説明したように、観察映像の輝度分布は

によって得ることができるので、図１１の（Ａ）のような輝度分布を有する事前補正映像に対する最終観察映像は（Ｄ）に示すように均一な輝度分布を有するようになる。

【0104】

このような原理に基づいて、補償関数決定部３１０は補償関数を

の式によって決定する。

【0105】

一方、反射部２０の形態及び配列は拡張現実用光学装置２００を製造するときに予め決定されているので、反射部２０の形態関数及び配列関数は事前に分かる値であり、眼球点拡散関数において、瞳孔５０の直径、すなわちｄ_ａを除き、ｄ_ｏ、ｄ_ｍも拡張現実用光学装置２００を設計するときに予め設定され、特別に変更されない値である。

【0106】

したがって、補償関数は拡張現実用光学装置２００の使用者の瞳孔５０の直径さえ測定すれば計算することができる。

【0107】

使用者の瞳孔５０の直径は、拡張現実用画像に含まれて表示される主要客体の深さ情報、原本拡張現実用画像の輝度情報などによって変わり、主要客体の深さ情報、原本拡張現実用画像の輝度情報も予め分かる値であるので、これら値に相応する使用者の瞳孔５０の直径の平均値を予め実験的に求めておけば、補償関数を簡便に得ることができる。

【0108】

次に、補正画像情報生成部３２０について説明する。

【0109】

補正画像情報生成部３２０は、補償関数決定部３１０で決定された補償関数及び原本拡張現実用画像情報に基づいて補正拡張現実用画像情報を生成して画像出射部３０に伝達する機能を果たす。

【0110】

ここで、補正拡張現実用画像情報は、次のような式によって得ることができる。

【0111】

補正拡張現実用画像情報＝原本拡張現実用画像情報×補償関数
これは、前述したように、原本拡張現実用画像がｍ×ｎ個の画素から構成された場合、各画素のＲ、Ｇ、Ｂ色相別強度値から構成されるｍ×ｎ×３個の画素行列と補償関数を行列の成分別に掛け算するという意味である。

【0112】

これによって生成される補正拡張現実用画像情報による補正拡張現実用画像の輝度分布は図１１の（Ａ）に表現する通りである。

【0113】

このような補正拡張現実用画像情報を受けた画像出射部３０はこれに相応する補正拡張現実画像光を出射し、反射部２０は補正拡張現実画像光を反射させて瞳孔５０に伝達することで、補正拡張現実用画像を使用者に提供するようになる。これは、図１１の（Ｂ）及び（Ｃ）での反射部２０の形態関数、反射部２０の配列関数、及び眼球点拡散関数の畳み込み演算に相応するので、使用者が最終的に観察することになる補正拡張現実用画像は図１１の（Ｄ）のような均一な輝度分布を有するようになる。

【0114】

図１２は本発明による映像補正装置３００が適用された場合の観察映像を映像補正装置３００が適用されなかった場合の観察映像と比較して示す図である。

【0115】

図１２で、（Ａ）は原本拡張現実用画像が画像出射部３０に表示された状態を示すものであり、（Ｂ）は映像補正装置３００の適用なしに原本拡張現実用画像が拡張現実用光学装置２００を介して瞳孔５０に伝達されるとき、使用者が観察することになる観察映像を示すものである。これは、先に図４及び図１０の（Ｄ）で説明したように、不均一な輝度分布を有することが分かる。

【0116】

一方、図１２の（Ｃ）は、前述したように、映像補正装置３００によって生成された補正拡張現実用画像情報に相応する補正拡張現実用画像が画像出射部３０に表示された状態を示すものであり、（Ｄ）は補正拡張現実用画像が拡張現実用光学装置２００を介して瞳孔５０に伝達されるとき、使用者が観察することになる最終観察映像を示すものである。図１２の（Ｄ）に示すように、映像補正装置３００によって輝度情報が補正された補正拡張現実用画像に対する観察映像は均一な輝度分布を有することが分かる。したがって、使用者は、図１２の（Ｂ）の場合に比べて鮮明で明確な拡張現実用画像を受けることができる。

【0117】

一方、前述したように、眼球点拡散関数は、瞳孔５０の直径ｄ_ａ、接眼距離ｄ_ｍ、及び基準映像距離ｄ_ｏによって変更される。ここで、基準映像距離ｄ_ｏが変わる場合には、これを測定するために、深さカメラ（ｄｅｐｔｈ ｃａｍｅｒａ）を使って仮想物体の位置と瞳孔５０との間の距離を動的に測定することができる。

【0118】

また、眼球追跡装置を使用すれば、瞳孔５０の直径ｄ_ａ及び接眼距離ｄ_ｍを動的に測定することができる。

【0119】

また、前記実施例で、反射部２０の配列関数

は固定された瞳孔５０の位置について説明したが、瞳孔５０の位置が動けば、反射部２０の配列関数

にオフセットが発生し得る。ここで、眼球追跡装置を使用すれば、実時間で瞳孔５０の相対位置が分かるので、反射部２０の配列関数

のオフセットを補正することができ、これは任意の反射部２０の配列関数

に全部適用することができる。

【0120】

この場合、前述した反射部２０の中心の位置を示す反射部２０の配列関数は下記のように修正することができる。

【0121】

【数12】

ここで、ｘ_ｏ、ｙ_ｏはそれぞれｘ軸、ｙ軸方向のオフセット値である。

【0122】

また、深さカメラと眼球追跡装置を一緒に使用すれば、瞳孔５０の直径ｄ_ａ、接眼距離ｄ_ｍ、基準映像距離ｄ_ｏ、及び瞳孔５０の相対位置を全部実時間で測定することができる。

【0123】

したがって、例えば拡張現実用画像が動画であり、基準映像距離が変化する場合、及び輝度の変化によって瞳孔の直径がよく変わる場合に対しても本発明を容易に適用することができる。

【0124】

このような深さカメラ及び眼球追跡装置は従来技術に知られているものであるので、ここでは詳細説明は省略する。

【0125】

以上で、本発明による好適な実施例に基づいて本発明を説明したが、本発明は前記実施例に限定されるものではなく、多様な修正及び変形実施が可能であるというのは言うまでもない。

【図1】

【図2】

【図3】

【図4(A)】

【図4(B)】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】