特開 2024-178584 画像観察装置、画像観察装置の制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024178584

(43)【公開日】2024-12-25

(54)【発明の名称】画像観察装置、画像観察装置の制御方法、およびプログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20241218BHJP

   G06T 19/00 20110101ALI20241218BHJP

   G06F 3/01 20060101ALI20241218BHJP

   G09G 5/373 20060101ALI20241218BHJP

   G09G 5/377 20060101ALI20241218BHJP

   G02B 27/02 20060101ALI20241218BHJP

   H04N 13/344 20180101ALI20241218BHJP

   H04N 13/366 20180101ALI20241218BHJP

   H04N 13/122 20180101ALI20241218BHJP

   G06F 3/04845 20220101ALI20241218BHJP

【ＦＩ】

G09G5/00 550C

G06T19/00 600

G06F3/01 510

G09G5/373 300

G09G5/377 100

G02B27/02 Z

H04N13/344

H04N13/366

H04N13/122

G06F3/04845

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2023096830

(22)【出願日】2023-06-13

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】近藤 亮史

【テーマコード（参考）】

2H199

5B050

5C182

5E555

【Ｆターム（参考）】

2H199CA73

2H199CA77

2H199CA92

2H199CA96

5B050AA03

5B050BA06

5B050BA09

5B050BA13

5B050CA01

5B050DA05

5B050DA07

5B050EA07

5B050EA19

5B050EA26

5B050FA02

5C182AA31

5C182AB34

5C182AC03

5C182BA14

5C182BA56

5C182BC22

5C182BC25

5C182CB12

5C182CB17

5C182CB42

5C182CB54

5E555AA26

5E555AA27

5E555BA08

5E555BA18

5E555BA87

5E555BB08

5E555BE16

5E555BE17

5E555CA42

5E555CB47

5E555CB48

5E555DA08

5E555DA09

5E555DB57

5E555DC26

5E555DC27

5E555FA00

(57)【要約】

【課題】違和感の少ない画像を生成することが可能な画像観察装置を提供する。
【解決手段】画像観察装置（１０１）は、画像表示素子（１０６）と、画像表示素子からの光束を観察者（１０２）の眼球に導く観察光学系（１０７）と、観察者の視線方向を検出する視線検知手段（１０８、１０９）と、第１画像を取得する撮像手段（１０３、１０４）と、第１画像と第２画像との合成画像を生成する処理手段（１２０）とを有し、処理手段は、視線方向に基づいて取得された観察者の注視距離に応じて、画像表示素子に表示される合成画像の倍率を変更する。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像表示素子と、
前記画像表示素子からの光束を観察者の眼球に導く観察光学系と、
前記観察者の視線方向を検出する視線検知手段と、
第１画像を取得する撮像手段と、
前記第１画像と第２画像との合成画像を生成する処理手段とを有し、
前記処理手段は、前記視線方向に基づいて取得された前記観察者の注視距離に応じて、前記画像表示素子に表示される前記合成画像の倍率を変更することを特徴とする画像観察装置。

【請求項2】

前記処理手段は、
前記注視距離が第１注視距離の場合、前記倍率を第１倍率に設定し、
前記注視距離が前記第１注視距離よりも近い第２注視距離の場合、前記倍率を前記第１倍率よりも低い第２倍率に設定することを特徴とする請求項１に記載の画像観察装置。

【請求項3】

前記処理手段は、前記倍率の単位時間あたりの変更量の上限値を有することを特徴とする請求項１に記載の画像観察装置。

【請求項4】

前記処理手段は、前記倍率の変更量が所定量未満である場合、前記倍率を変更しないことを特徴とする請求項１に記載の画像観察装置。

【請求項5】

前記処理手段は、前記倍率の総変更量の上限値を有することを特徴とする請求項１に記載の画像観察装置。

【請求項6】

前記処理手段は、前記注視距離を取得できない場合、前記倍率を所定値に設定することを特徴とする請求項１に記載の画像観察装置。

【請求項7】

画像表示素子と、
前記画像表示素子からの光束を観察者の眼球に導く観察光学系と、
前記観察者の視線方向を検出する視線検知手段と、
第１画像を取得する撮像手段と、
前記第１画像と第２画像との合成画像を生成する処理手段とを有し、
前記処理手段は、前記視線方向に基づいて取得された前記観察者の注視距離に応じて、前記画像表示素子に表示される前記合成画像の輻輳角を変更することを特徴とする画像観察装置。

【請求項8】

前記処理手段は、
前記注視距離が第１注視距離の場合、前記輻輳角を第１輻輳角に設定し、
前記注視距離が前記第１注視距離よりも近い第２注視距離の場合、前記輻輳角を前記第１輻輳角よりも小さい第２輻輳角に設定することを特徴とする請求項７に記載の画像観察装置。

【請求項9】

前記処理手段は、前記画像表示素子に表示される前記合成画像のシフト量を変更することにより、前記輻輳角を変更することを特徴とする請求項７に記載の画像観察装置。

【請求項10】

前記処理手段は、前記輻輳角の単位時間あたりの変更量の上限値を有することを特徴とする請求項７に記載の画像観察装置。

【請求項11】

前記処理手段は、前記輻輳角の変更量が所定量未満である場合、前記輻輳角を変更しないことを特徴とする請求項７に記載の画像観察装置。

【請求項12】

前記処理手段は、前記輻輳角の総変更量の上限値を有することを特徴とする請求項７に記載の画像観察装置。

【請求項13】

前記処理手段は、前記注視距離を取得できない場合、前記輻輳角を所定値に設定することを特徴とする請求項７に記載の画像観察装置。

【請求項14】

前記第１画像は、外界の画像であり、
前記第２画像は、前記第１画像に対して前記外界での幾何学的位置関係が整合するように重畳された画像であることを特徴とする請求項１乃至１３のいずれか一項に記載の画像観察装置。

【請求項15】

前記処理手段は、前記観察者の前記注視距離に関するノイズを除去するフィルタ処理を行うことを特徴とする請求項１乃至１３のいずれか一項に記載の画像観察装置。

【請求項16】

画像表示素子からの光束を観察者の眼球に導くステップと、
前記観察者の視線方向を検出するステップと、
撮像手段により取得された第１画像と、第２画像との合成画像を生成するステップと、
前記視線方向に基づいて取得された前記観察者の注視距離に応じて、前記画像表示素子に表示される前記合成画像の倍率を変更するステップとを有することを特徴とする画像観察装置の制御方法。

【請求項17】

画像表示素子からの光束を観察者の眼球に導くステップと、
前記観察者の視線方向を検出するステップと、
撮像手段により取得された第１画像と、第２画像との合成画像を生成するステップと、
前記視線方向に基づいて取得された前記観察者の注視距離に応じて、前記画像表示素子に表示される前記合成画像の輻輳角を変更するステップとを有することを特徴とする画像観察装置の制御方法。

【請求項18】

請求項１６または１７に記載の画像観察装置の制御方法をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像観察装置、画像観察装置の制御方法、およびプログラムに関する。

【背景技術】

【0002】

現実世界と仮想世界とをリアルタイムに融合させる技術として、複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術や拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が知られている。これらの技術は、現実空間とコンピュータによって作られる仮想空間とを繋ぎ目なく融合する技術である。これにより、観察者が現実空間に仮想の物体が存在するかのような体験をするなどが可能となるため、各種分野への応用が期待されている。

【0003】

特許文献１および特許文献２には、観察者がＭＲ（以降、複合現実技術や拡張現実技術を総称してＭＲと呼称する）を体感するための装置の一つとして、ビデオシースルー型の画像観察装置が開示されている。これは、ビデオカメラで現実世界を撮影し、その画像にリアルタイムにＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳した合成画像を作成し、合成画像をディスプレイ等の画像表示素子に表示させ、観察者に提示する画像観察装置である。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第４２９４０９３号公報

【特許文献2】特許第３６０４９９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ＭＲ技術において、現実世界と仮想世界との一体感を高めるには、観察者に知覚される大きさの整合を保つことが求められる。ここで知覚される大きさの整合とは、観察者が実際に現実を見る場合に知覚する世界や物体の大きさと、ＭＲを通して知覚する世界や物体の大きさとの一致を意味する。換言すれば、ビデオシースルー型の画像観察装置の使用時と非使用時とで観察者が現実世界を同じ大きさで知覚できるか、ということである。しかし、ビデオシースルー型の画像観察装置において、知覚される大きさの整合を保つこと、すなわち違和感の少ない画像を生成することは困難である。

【0006】

そこで本発明は、違和感の少ない画像を生成することが可能な画像観察装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一側面としての画像観察装置は、画像表示素子と、前記画像表示素子からの光束を観察者の眼球に導く観察光学系と、前記観察者の視線方向を検出する視線検知手段と、第１画像を取得する撮像手段と、前記第１画像と第２画像との合成画像を生成する処理手段とを有し、前記処理手段は、前記視線方向に基づいて取得された前記観察者の注視距離に応じて、前記画像表示素子に表示される前記合成画像の倍率を変更する。

【0008】

本発明の他の目的及び特徴は、以下の実施形態において説明される。

【発明の効果】

【0009】

本発明によれば、違和感の少ない画像を生成することが可能な画像観察装置を提供することができる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態における画像観察装置を示す図である。

【図2】観察者が両眼で対象物を注視している状況を示す模式図である。

【図3】第１実施形態における距離と像の大きさの比との関係を示す図である。

【図4】第１実施形態における距離と像補正倍率との関係を示す図である。

【図5】第２実施形態における輻輳角の説明図である。

【図6】第２実施形態における距離と輻輳角差との関係を示す図である。

【図7】第２実施形態における距離と片眼あたりの像シフト量との関係を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

【0012】

（第１実施形態）
まず、図１を参照して、本発明の第１実施形態における画像観察装置（画像表示装置）１０１について説明する。図１は、画像観察装置１０１の説明図であり、画像観察装置１０１としてビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を用いて観察者１０２が画像を観察している垂直方向断面の模式図を示す。図１中の右下に示されるように、観察者１０２の視軸方向（図１中の左側）に向かって＋Ｚ軸を取り、Ｚ軸に対してＸ軸（水平方向）およびＹ軸（垂直方向）を右手系座標で定義する。

【0013】

図１において、撮像光学系１０３および撮像素子１０４は、画像観察装置１０１の撮像手段を構成し、高さＹの物体１０５を含む現実世界の像（外界の像）を画像データ（第１画像）として取得する。画像観察装置１０１は、不図示の位置合わせ手段により構成される合成画像形成手段としての機能を有する処理手段１２０を有する。図１において、処理手段１２０は、画像観察装置１０１の外部に配置されており、画像観察装置１０１と有線または無線で通信可能に接続されている。ただし本実施形態は、これに限定されるものではなく、処理手段１２０は画像観察装置１０１の内部に設けられていてもよい。

【0014】

合成画像形成手段は、現実世界（外界）の画像データ（第１画像）に対して幾何学的位置関係が略整合するように仮想の画像データ（第２画像）を重畳する機能を有する。合成画像形成手段で重畳された画像（第１画像と第２画像との重畳画像）を合成画像と呼び、合成画像はディスプレイなどの画像表示素子１０６に表示される。なお、状況によっては仮想の画像データが重畳されていない現実世界の画像データのみが画像表示素子１０６に表示される場合もあるが、そのような状態であっても本明細書ではその画像を合成画像と呼ぶ。

【0015】

１０７は観察光学系であり、画像表示素子１０６に表示された画像の拡大虚像を観察者１０２に提示する。すなわち観察光学系１０７は、画像表示素子１０６からの光束を観察者１０２の眼球に導く。観察光学系１０７として、屈折系だけでなく、偏光を利用した反射系などを使用することができるが、これに限定されるものではない。本実施形態では、観察光学系（接眼光学系）１０７の光軸と撮像光学系１０３の光軸は互いに一致しており、図１中のＹＺ断面だけでなく、ＸＺ断面においても各光軸は一致している。また本実施形態において、撮像手段で取得された画像の画角θ_１と、観察光学系１０７の画角θ_２は、互いに一致している。ここで、画角θ_１は、撮像光学系１０３および撮像素子１０４で取得したより広い画角のうちの一部の画角である。

【0016】

撮像光学系１０３の位置と観察者１０２の瞳位置は、Ｚ軸方向において距離Ｌ_１だけ離れている。また、撮像光学系１０３の位置と物体１０５の位置は、Ｚ軸方向において距離Ｌ_２だけ離れている。ここで、撮像光学系１０３の位置とは、入射瞳位置または像側主点位置などの点が代表的であるが、これらに限定されるものではない。赤外線カメラ１０９は、赤外線光源１０８で照明された観察者１０２の眼球の像を撮像することで、観察者１０２の眼球の注視方向を算出（取得）することができる。赤外線光源１０８および赤外線カメラ１０９と、注視方向情報を処理する処理手段１２０とにより、観察者１０２の視線方向を検出する視線検知手段が構成される。なお図１は、画像観察装置１０１として、観察者１０２の片眼（一方の眼）に関する構成を示すが、観察者１０２の他方の眼に関しても同様の構成が配置されている。

【0017】

画像観察装置１０１を用いずに物体１０５を観察する場合、観察者１０２は実際に距離（Ｌ_１＋Ｌ_２）だけ離れた物体１０５を観察することになる。距離（Ｌ_１＋Ｌ_２）は、観察者１０２の注視距離に相当する。一方、画像観察装置１０１を用いて物体１０５を観察する場合、撮像光学系１０３からの距離Ｌ_２だけ離れた物体１０５を観察することに相当するため、物体１０５が実際よりも大きく知覚されることになる。ミラーまたはプリズムなどを用いて光路を折り曲げ、光軸一致配置を維持しながら距離Ｌ_１を小さくすることも可能であるが、画像観察装置１０１の肥大化などの弊害がある。本実施形態において、処理手段１２０は、視線検知手段により検出された観察者１０２の視線情報（視線方向）を用いて、観察者１０２の注視距離に関する情報を求める。そして処理手段１２０は、注視距離に関する情報を用いて、画像表示素子１０６に表示される合成画像の倍率を変更（補正）する。

【0018】

次に、図２を参照して、観察者１０２が両眼で対象物を注視している状況について説明する。図２は、観察者１０２が両眼で対象物１１０を注視している状況の模式図である。観察者１０２から対象物１１０までの距離（注視距離）Ｌ_３と、輻輳角θ_３と、観察者の１０２の眼間距離Ｉとの間には、以下の式（１）で表される関係がある。

【0019】

【数1】

【0020】

式（１）より、視線検知機能を使用して輻輳角θ_３を求めることで、距離Ｌ_３を取得することができる。眼間距離Ｉとして、人間の平均的な目幅距離を使用することが可能であるが、視線検知機能を使用して各観察者の眼間距離Ｉを求めて使用してもよい。

【0021】

倍率調整手段としての機能を有する処理手段１２０は、距離Ｌ_３に関する情報に基づいて、画像の倍率を補正する。倍率の補正値としては、図１において撮像手段が距離Ｌ_１の位置にある場合に撮像される像と観察者１０２の瞳の位置にある場合に撮像される像の大きさの比を求めればよい。この比は、Ｌ_２／（Ｌ_１＋Ｌ_２）として表される。

【0022】

図３は、距離と像の大きさとの比を示す図である。図３において、横軸は距離（Ｌ_１＋Ｌ_２）［ｍｍ］、縦軸は撮像される像の大きさの比をそれぞれ示す。図３は、Ｌ_１＝４０ｍｍの場合の大きさの比を表しており、大きさの比が１．０の場合に等倍、大きさの比が１．０より大きいと画像が大きく見えることを意味している。

【0023】

ここまでは、画角θ_１と画角θ_２は互いに一致しているとして説明したため、観察者１０２と物体１０５との間の距離（Ｌ_１＋Ｌ_２）が無限大の場合、大きさの比は１．０、すなわち等倍である。一方、距離Ｌ_１＋Ｌ_２が小さくなるにつれて、画像が大きく見えるように変化する。これを補正するため、視線検知機能により求められた距離情報（距離Ｌ_３）を用いて、大きさの比の逆数を画像の倍率として合成画像を全体に縮小補正し、画像表示素子１０６に表示すればよい。

【0024】

次に、図４を参照して、像補正倍率（補正する画像の倍率）について説明する。図４は、距離と像補正倍率との関係を示す図である。図４において、横軸は距離（Ｌ_１＋Ｌ_２）［ｍｍ］、縦軸は像補正倍率をそれぞれ示す。図４において、像補正倍率が１．０より小さい場合、画像を縮小することを意味している。

【0025】

具体的には、撮像素子１０４の最大画素数が水平４０００ｐｉｘｅｌ、垂直４０００ｐｉｘｅｌ、撮像光学系１０３が撮像素子１０４の最大画素数にとりこむ画角は水平画角８０°、垂直画角８０°であるとする。また、画像表示素子１０６の画素数が水平２０００ｐｉｘｅｌ、垂直２０００ｐｉｘｅｌであり、観察光学系１０７の画角が水平６０°、垂直６０°であるとする。このとき、θ_１＝θ_２の場合は撮像素子１０４上の６０°に相当する領域、すなわち２７５２ｐｉｘｅｌを２０００ｐｉｘｅｌにリサイズし、これを画像表示素子１０６で表示させることになる。一方、視線検知手段により観察者１０２が距離１０００ｍｍの物体を見ていることが求められた場合、縮小すべき倍率は０．９６倍となる。このため、撮像素子１０４の２８６７ｐｉｘを２０００ｐｉｘｅｌにリサイズし、これを画像表示素子１０６で表示させればよい。

【0026】

倍率調整手段としての機能を有する処理手段１２０は、観察者１０２の距離情報（注視距離）を用いて、観察者１０２にとって違和感の少ない適切な倍率を算出し、画像表示素子１０６に表示する画像データ（合成画像データ）を作成する。例えば、処理手段１２０は、注視距離が第１注視距離の場合には倍率を第１倍率に設定し、注視距離が第１注視距離よりも近い第２注視距離の場合には倍率を第１倍率よりも低い第２倍率に設定する。

【0027】

このように画像表示素子１０６に表示される合成画像の倍率を補正（調整）することにより、画像観察装置を大型化することなく、観察者は大きさの違和感が少ない画像を観察することができる。なお、倍率の補正値の算出方法は、式（１）を用いる方法に限定されるものではない。例えば、画角θ_１と画角θ_２との関係、または観察者１０２の主観的な印象に応じて適宜選択可能であり、大きさの違和感が少ない補正を行うことが可能であれば他の方法を用いてもよい。なお、視線検出手段から求められた注視距離は、厳密には距離Ｌ_１だけずれた画像を見ている状態で算出された注視距離であるため、このような点を考慮して倍率の補正値を修正してもよい。

【0028】

倍率補正を行う場合、画像の倍率が変化したことを観察者１０２に気づかれないようにすることが好ましい。人間の視線はサッカードと呼ばれるような高速移動などを有するため、一般的には、検出するフレームレートは高く、多くの情報を取得しているが、その中にはノイズ成分なども含まれている。そのため、距離の算出結果（観察者１０２の注視距離）をそのまま使用すると、画像の振動（変動、ノイズ）などを感じてしまう場合がある。このような振動を避けるため（観察者１０２の注視距離に関するノイズを低減するため）、処理手段１２０は、視線の検出結果に対してフィルタ処理を行うことにより、画像の変動を避けることが有効である。ここでフィルタには、時間方向における平均化または統計フィルタなどの既知のフィルタを使用することが可能である。

【0029】

また処理手段１２０は、倍率の単位時間あたりの変更量（補正量）の上限値を有する（単位時間あたりの補正量の上限値を設定する）ことにより、急激な変動を避けることも有効である。例えば、倍率の補正量を１秒あたり０．１未満に抑えると違和感が少ない。より違和感を抑えるには、倍率の相対補正量の絶対値を１秒あたり０．０１未満に抑えることが好ましい。ここで倍率の相対補正量とは、例えば、画像表示素子１０６に表示する元の撮像素子１０４の画素数を２７５２ｐｉｘｅｌから２８６７ｐｉｘｅｌに変える場合、１－（２７５６／２８６７）＝０．０４である。

【0030】

また、わずかな注視距離の変化に対しては倍率の補正を行わないことも有効である。例えば処理手段１２０は、倍率の変更量（補正量）が所定量未満である場合、倍率を変更しない。具体的には、上記倍率の相対補正量が０．０３未満の場合には補正を行わないということが好ましい。より好ましくは、倍率の相対補正量が０．０１未満の場合には補正を行わないようにすると、正確な倍率補正と違和感の低減を両立させることができる。

【0031】

観察者１０２が画像観察装置１０１の装着を解除したことが検知された場合、または、観察者１０２の視線検知が不可能になった場合などには、補正後の倍率を所定の倍率に戻すことが好ましい。例えば処理手段１２０は、注視距離を取得できない場合、倍率を所定値（所定の倍率）に設定する。所定の倍率として、例えば倍率１．０（θ_１＝θ_２）を選択可能である。

【0032】

本実施形態において、撮像光学系１０３が取得可能な最大画角は、画角θ_２よりも大きい。ただし、倍率の補正量と撮像光学系１０３の最大画角と観察光学系１０７の画角θ_１との関係によっては、画像表示素子１０６に表示すべき画像領域が不足する場合もある。このため、倍率補正量に上限を設けることで、画像の欠けなどを防ぐことが可能となる。例えば処理手段１２０は、倍率の総変更量の上限値を有する。

【0033】

（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態の画像観察装置は、輻輳角調整手段としての機能を有する処理手段を用いて画像の輻輳角を補正する点で、倍率調整手段としての機能を有する処理手段を用いて画像の倍率を補正する第１実施形態の画像観察装置とは異なる。なお、本実施形態の画像観察装置の基本構成は、図１を参照して説明した第１実施形態の画像観察装置１０１と同様であるため、共通の説明については省略する。

【0034】

図５は、輻輳角の説明図であり、観察者１０２が物体２０１を観察している状態を示す。観察者１０２は、画像観察装置（ＨＭＤ）１０１を装着していない場合、物体２０１を輻輳角θ５で観察することになる。一方、観察者１０２は、画像観察装置１０１を装着した状態で物体２０１を観察する場合、左眼側撮像手段２０２および右眼側撮像手段２０３は、観察者１０２よりも距離Ｌ_１だけ物体２０１に近いため、輻輳角θ_４で物体２０１を観察することになる。つまり、画像観察装置１０１を装着した状態で観察する場合、裸眼で観察する場合よりも輻輳角が大きくなるため、観察者１０２は物体２０１を近くに感じることになる。ここで、輻輳角θ_４と輻輳角θ_５との差（輻輳角差）は、以下の式（２）で表される。

【0035】

【数2】

【0036】

図６は、距離と輻輳角差との関係を示す図である。図６において、横軸は距離（Ｌ_１＋Ｌ_２）［ｍｍ］、縦軸は輻輳角差（°）をそれぞれ示す。 図６は、距離Ｌ_１が４０ｍｍ、画像観察装置１０１の左右のカメラ間距離（左眼側撮像手段２０２と右眼側撮像手段２０３との間の距離）と観察者１０２の眼幅（眼間距離Ｉ）が共に６３ｍｍの場合を示す。このような条件において、観察者１０２がある距離で画像観察装置１０１を用いて物体２０１を見た場合の、観察者１０２が知覚する輻輳角差（輻輳角のずれ）を示す。図６において、輻輳角差が大きいほど、直接の観察時よりも輻輳角が大きくなることを示し、近距離の物体を見るほど輻輳角差が大きくなっている。一般に、輻輳角のずれも知覚される大きさに影響することが知られているため、直接の観察時との違和感を生じる原因となりうる。

【0037】

そこで本実施形態の画像観察装置において、第１実施形態と同様に、視線検知手段は、観察者１０２が注視している物体２０１の輻輳角を求める。そして輻輳角調整手段としての機能を有する処理手段１２０は、輻輳角から求められた距離に応じたシフト量（像シフト量）だけ、合成画像を画像表示素子１０６に表示する際の位置をシフトさせる。これにより、観察者１０２が注視している注視点の輻輳角を補正（変更）することができる。

【0038】

次に、図７を参照して、像シフト量について説明する。図７は、距離と片眼あたりの像シフト量との関係を示す図である。図７において、横軸は距離（Ｌ_１＋Ｌ_２）［ｍｍ］、縦軸は像シフト量［ｐｉｘｅｌ］をそれぞれ示す。図７は、観察光学系１０７の焦点距離が２０ｍｍ、画像表示素子１０６の画素ピッチが１０μｍの場合における、片眼あたりの像シフト量（ｐｉｘｅｌ）を示す。像シフト量が正の場合、右眼画像は右方向に、左眼画像は左方向にそれぞれシフトさせることを意味している。

【0039】

輻輳角調整手段としての機能を有する処理手段１２０は、観察者１０２の距離情報（注視距離）に応じて、違和感の少ない適切な像シフト量を算出（取得）し、画像表示素子１０６に表示する画像データ（合成画像データ）を生成する。すなわち処理手段１２０は、視線方向に基づいて取得された観察者１０２の注視距離に応じて、画像表示素子１０６に表示される合成画像の輻輳角θ_４を変更する。ここで合成画像の輻輳角θ_４は、例えば図５に示されるように、観察者１０２が注視している物体２０１と左眼側撮像手段２０２とを結ぶ線と、物体２０１と右眼側撮像手段２０３とを結ぶ線とのなす角度に相当する。

【0040】

例えば、処理手段１２０は、注視距離が第１注視距離の場合には輻輳角を第１輻輳角に設定し、注視距離が第１注視距離よりも近い第２注視距離の場合には輻輳角を第１輻輳角よりも小さい第２輻輳角に設定する。好ましくは、処理手段１２０は、画像表示素子１０６に表示される合成画像のシフト量を変更することにより、輻輳角を変更する。これにより、輻輳角のずれを補正することができる。この補正により、画像観察装置を大型化することなく、観察者は大きさの違和感が少ない画像を観察することができる。

【0041】

なお本実施形態において、輻輳角の補正値（像シフト量）の算出方法は、式（２）を用いた方法に限定されるものではなく、観察者１０２の主観的な印象に応じて適宜選択可能であり、大きさの違和感の少ない補正を行うことができれば他の方法でもよい。なお、視線検出手段から求められた注視距離は、厳密には距離Ｌ_１だけずれた画像を見ている状態で算出された注視距離であるため、このような点を考慮して輻輳角の補正値を修正してもよい。

【0042】

輻輳角の補正を行う場合、輻輳角が変化したことを観察者１０２に気づかれないようにすることが好ましい。人間の視線はサッカードと呼ばれるような高速移動などを有するため、一般的には、検出するフレームレートは高く、多くの情報を取得しているが、その中にはノイズ成分なども含まれている。そのため、距離の算出結果（観察者１０２の注視距離）をそのまま使用すると、画像の振動（変動、ノイズ）などを感じてしまう場合がある。このような振動を避けるため（観察者１０２の注視距離に関するノイズを低減するため）、処理手段１２０は、視線の検出結果に対してフィルタ処理を行うことにより、画像の変動を避けることが有効である。ここでフィルタには、時間方向における平均化または統計フィルタなどの既知のフィルタを使用することが可能である。

【0043】

また処理手段１２０は、輻輳角の単位時間あたりの変更量（補正量）の上限値を有する（単位時間あたりの補正量の上限値を設定する）ことにより、急激な変動を避けることも有効である。例えば、輻輳角の相対補正量を１秒あたり１°未満に抑えると違和感が少ない。より違和感を抑えるには、輻輳角の相対補正量の絶対値を１秒あたり０．５°未満に抑えることが好ましい。ここで輻輳角の相対補正量とは、例えば、現在の注視距離における輻輳角が０．６２°であり、補正後の輻輳角が０．１５°となる場合、０．１５－０．６２＝－０．４７°である。

【0044】

また、わずかな輻輳角の変化に対しては輻輳角の補正を行わないことも有効である。例えば処理手段１２０は、輻輳角の変更量（補正量）が所定量未満である場合、輻輳角を変更しない。具体的には、上記輻輳角の相対補正量の絶対値が０．５°未満の場合には補正を行わないということが好ましい。より好ましくは、倍率の相対補正量の絶対値が０．１°未満の場合には補正を行わないようにすると、正確な輻輳角の補正と違和感の低減とを両立させることができる。

【0045】

観察者１０２が画像観察装置１０１を取り外したことが検知された場合、または観察者１０２の視線検知が不可能になった場合などには、補正後の輻輳角を所定の輻輳角に戻すことが好ましい。例えば処理手段１２０は、注視距離を取得できない場合、輻輳角を所定値（所定の輻輳角）に設定する。所定の輻輳角としては、例えば角度０°（無限遠注視相当もしくは平行配置）を選択可能である。また、輻輳角の補正量に上限を設けることで、画像の欠けなどを防ぐことが可能となる。例えば処理手段１２０は、輻輳角の総変更量の上限値を有する。

【0046】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0047】

各実施形態によれば、違和感の少ない画像を生成することが可能な画像観察装置、画像観察装置の制御方法、およびプログラムを提供することができる。

【0048】

各実施形態の開示は、以下の構成および方法を含む。
（構成１）
画像表示素子と、
前記画像表示素子からの光束を観察者の眼球に導く観察光学系と、
前記観察者の視線方向を検出する視線検知手段と、
第１画像を取得する撮像手段と、
前記第１画像と第２画像との合成画像を生成する処理手段とを有し、
前記処理手段は、前記視線方向に基づいて取得された前記観察者の注視距離に応じて、前記画像表示素子に表示される前記合成画像の倍率を変更することを特徴とする画像観察装置。
（構成２）
前記処理手段は、
前記注視距離が第１注視距離の場合、前記倍率を第１倍率に設定し、
前記注視距離が前記第１注視距離よりも近い第２注視距離の場合、前記倍率を前記第１倍率よりも低い第２倍率に設定することを特徴とする構成１に記載の画像観察装置。
（構成３）
前記処理手段は、前記倍率の単位時間あたりの変更量の上限値を有することを特徴とする構成１または２に記載の画像観察装置。
（構成４）
前記処理手段は、前記倍率の変更量が所定量未満である場合、前記倍率を変更しないことを特徴とする構成１乃至３のいずれかに記載の画像観察装置。
（構成５）
前記処理手段は、前記倍率の総変更量の上限値を有することを特徴とする構成１乃至４のいずれかに記載の画像観察装置。
（構成６）
前記処理手段は、前記注視距離を取得できない場合、前記倍率を所定値に設定することを特徴とする構成１乃至５のいずれかに記載の画像観察装置。
（構成７）
画像表示素子と、
前記画像表示素子からの光束を観察者の眼球に導く観察光学系と、
前記観察者の視線方向を検出する視線検知手段と、
第１画像を取得する撮像手段と、
前記第１画像と第２画像との合成画像を生成する処理手段とを有し、
前記処理手段は、前記視線方向に基づいて取得された前記観察者の注視距離に応じて、前記画像表示素子に表示される前記合成画像の輻輳角を変更することを特徴とする画像観察装置。
（構成８）
前記処理手段は、
前記注視距離が第１注視距離の場合、前記輻輳角を第１輻輳角に設定し、
前記注視距離が前記第１注視距離よりも近い第２注視距離の場合、前記輻輳角を前記第１輻輳角よりも小さい第２輻輳角に設定することを特徴とする構成７に記載の画像観察装置。
（構成９）
前記処理手段は、前記画像表示素子に表示される前記合成画像のシフト量を変更することにより、前記輻輳角を変更することを特徴とする構成７または８に記載の画像観察装置。
（構成１０）
前記処理手段は、前記輻輳角の単位時間あたりの変更量の上限値を有することを特徴とする構成７乃至９のいずれかに記載の画像観察装置。
（構成１１）
前記処理手段は、前記輻輳角の変更量が所定量未満である場合、前記輻輳角を変更しないことを特徴とする構成７乃至１０のいずれかに記載の画像観察装置。
（構成１２）
前記処理手段は、前記輻輳角の総変更量の上限値を有することを特徴とする構成７乃至１１のいずれかに記載の画像観察装置。
（構成１３）
前記処理手段は、前記注視距離を取得できない場合、前記輻輳角を所定値に設定することを特徴とする構成７乃至１２のいずれかに記載の画像観察装置。
（構成１４）
前記第１画像は、外界の画像であり、
前記第２画像は、前記第１画像に対して前記外界での幾何学的位置関係が整合するように重畳された画像であることを特徴とする構成１乃至１３のいずれかに記載の画像観察装置。
（構成１５）
前記処理手段は、前記観察者の前記注視距離に関するノイズを除去するフィルタ処理を行うことを特徴とする構成１乃至１４のいずれかに記載の画像観察装置。
（方法１）
画像表示素子からの光束を観察者の眼球に導くステップと、
前記観察者の視線方向を検出するステップと、
撮像手段により取得された第１画像と、第２画像との合成画像を生成するステップと、
前記視線方向に基づいて取得された前記観察者の注視距離に応じて、前記画像表示素子に表示される前記合成画像の倍率を変更するステップとを有することを特徴とする画像観察装置の制御方法。
（方法２）
画像表示素子からの光束を観察者の眼球に導くステップと、
前記観察者の視線方向を検出するステップと、
撮像手段により取得された第１画像と、第２画像との合成画像を生成するステップと、
前記視線方向に基づいて取得された前記観察者の注視距離に応じて、前記画像表示素子に表示される前記合成画像の輻輳角を変更するステップとを有することを特徴とする画像観察装置の制御方法。
（構成１６）
方法１または２に記載の画像観察装置の制御方法をコンピュータに実行させることを特徴とするプログラム。

【0049】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【0050】

各実施形態では、ＭＲ技術を用いたＨＭＤを画像観察装置として説明したが、これに限定されるものではなく、各実施形態は他の画像観察装置にも適用可能である。

【符号の説明】

【0051】

１０１ 画像観察装置
１０２ 観察者
１０３ 撮像光学系（撮像手段）
１０４ 撮像素子（撮像手段）
１０６ 画像表示素子
１０７ 観察光学系
１０８ 視線検知カメラ（視線検知手段）
１０９ 赤外線光源（視線検知手段）
１２０ 処理手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】