特開 2024-5644 合焦制御装置、表示装置、および画像伝送装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024005644

(43)【公開日】2024-01-17

(54)【発明の名称】合焦制御装置、表示装置、および画像伝送装置

(51)【国際特許分類】

   H04N 13/122 20180101AFI20240110BHJP

   H04N 13/383 20180101ALI20240110BHJP

   H04N 13/194 20180101ALI20240110BHJP

   H04N 21/431 20110101ALI20240110BHJP

   H04N 21/4728 20110101ALI20240110BHJP

   H04N 5/262 20060101ALI20240110BHJP

【ＦＩ】

H04N13/122

H04N13/383

H04N13/194

H04N21/431

H04N21/4728

H04N5/262 010

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022105909

(22)【出願日】2022-06-30

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】三須 俊枝

【テーマコード（参考）】

5C023

5C061

5C164

【Ｆターム（参考）】

5C023AA07

5C023BA11

5C023CA01

5C061AA21

5C061AB08

5C061AB12

5C061AB16

5C164UB10S

5C164UB41S

5C164UB81P

5C164UD44P

5C164YA12

(57)【要約】

【課題】画像を観視する際、注視領域では合焦した画像を観視者が疲労しないように提示することが可能であり、注視点のない領域では情報量を抑制し、伝送データ量を削減すること。
【解決手段】開示の技術の一態様に係る合焦制御装置は、デプスマップまたは三次元モデルを含む入力情報と、前記入力情報に対応する入力画像の画像座標に対応付けられた観視者の注視領域情報と、に基づいて前記観視者の注視領域の奥行き位置に関する奥行き情報を出力する奥行き出力手段と、前記奥行き出力手段からの前記奥行き情報と、前記入力情報と、に基づいて、前記画像座標ごとにおける焦点外れに対応するぼやけ量情報を出力するぼやけ量出力手段と、前記画像座標の各座標に対し、前記ぼやけ量出力手段からの前記ぼやけ量情報に対応する焦点外れを付加することにより得られるぼやけ付加画像を出力するぼやけ付加画像出力手段と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

デプスマップまたは三次元モデルを含む入力情報と、前記入力情報に対応する入力画像の画像座標に対応付けられた観視者の注視領域情報と、に基づいて前記観視者の注視領域の奥行き位置に関する奥行き情報を出力する奥行き出力手段と、
前記奥行き出力手段からの前記奥行き情報と、前記入力情報と、に基づいて、前記画像座標ごとにおける焦点外れに対応するぼやけ量情報を出力するぼやけ量出力手段と、
前記画像座標の各座標に対し、前記ぼやけ量出力手段からの前記ぼやけ量情報に対応する焦点外れを付加することにより得られるぼやけ付加画像を出力するぼやけ付加画像出力手段と、を有する、合焦制御装置。

【請求項2】

請求項１に記載の合焦制御装置と、
前記観視者の視線に基づいて得られる前記注視領域情報を出力する注視領域検出手段と、
画像表示素子と、
前記画像表示素子と、前記観視者と、の間に配置されるレンズと、
前記レンズの視度補正量を調節する調節手段と、
前記調節手段の動作を制御する制御手段と、を有し、
前記合焦制御装置は、前記注視領域検出手段からの前記注視領域情報と、前記入力情報と、前記入力画像と、に基づいて、前記奥行き情報および前記ぼやけ付加画像を出力し、
前記制御手段は、前記合焦制御装置からの前記奥行き情報に基づいて前記レンズの前記視度補正量を調節し、
前記画像表示素子は、前記合焦制御装置からの前記ぼやけ付加画像を表示する、表示装置。

【請求項3】

請求項１に記載の合焦制御装置と、
前記入力画像に基づいて推定される前記注視領域情報を出力する注視領域推定手段と、
画像表示素子と、
前記画像表示素子と、前記観視者と、の間に配置されるレンズと、
前記レンズの視度補正量を調節する調節手段と、
前記調節手段の動作を制御する制御手段と、を有し、
前記合焦制御装置は、前記注視領域推定手段からの前記注視領域情報と、前記入力情報と、前記入力画像と、に基づいて、前記奥行き情報と、前記ぼやけ付加画像と、を出力し、
前記制御手段は、前記合焦制御装置からの前記奥行き情報に基づいて前記レンズの前記視度補正量を調節し、
前記画像表示素子は、前記合焦制御装置からの前記ぼやけ付加画像を表示する、表示装置。

【請求項4】

請求項１に記載の合焦制御装置と、
前記合焦制御装置からの前記ぼやけ付加画像に対して情報源符号化をおこなってビットストリームを出力する符号化手段と、
前記符号化手段の前記ビットストリームを伝送する伝送手段と、
前記伝送手段から伝送されてきた前記ビットストリームを復号し、復号された前記ぼやけ付加画像である復号ぼやけ付加画像を出力する復号手段と、を有する、画像伝送装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、合焦制御装置、表示装置、および画像伝送装置に関する。

【背景技術】

【0002】

従来、左右の眼に視点の異なる映像を提示することで奥行き知覚を可能とした表示装置が知られている（特許文献１）。また、頭部追跡により運動視差に応じた映像を提示することにより奥行き知覚を可能とした表示装置が知られている（特許文献２）。さらに、ホログラフィ技術を用い、両眼視差、運動視差および焦点調節による違和感のない奥行き知覚を可能とする表示装置が知られている（特許文献３）。また、奥行きの異なる位置に複数の画像表示素子を配置し、奥行き知覚を可能とする表示装置が知られている（特許文献４）。

【0003】

上記の表示装置の他、表示装置の姿勢変化をジャイロセンサによって感知し、該姿勢変化に応じて異なる視点からの画像を提示する技術が開示されている（特許文献５）。また、視線によって注視点位置情報を入力することで合焦制御を行うカメラが開示されている（特許文献６）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－６４０６５号公報

【特許文献2】特開２０２０－０６１１８７号公報

【特許文献3】特開２０２０－０６１１８７号公報

【特許文献4】特開２０００－１１５８１２号公報

【特許文献5】特開２００６－１７４４３４号公報

【特許文献6】特許第３３０６６６６号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の表示装置は、眼球調節位置は被写体の形状や被写体までの距離には無関係であるため、両眼視差、すなわち両眼の輻輳角と焦点調節との不整合が生じ、被写体の大きさの誤認や、眼の疲労、焦点調節の不良に起因するぼやけ等が生じる場合がある。特許文献２に記載の表示装置も、被写体までの距離等に応じた焦点調節には対応せず、運動視差と焦点調節の不整合が生じる場合がある。特許文献３に記載の技術では、両眼視差、運動視差および焦点調節による違和感のない観視が可能となるものの、極めて高解像度なパターン提示が可能な画像表示素子が必要となる。また、こうした画像表示素子に提示するパターンのデータ量が膨大であり、回路規模やデータ伝送などにおいて高コストである。

【0006】

特許文献４に記載の表示装置は、視差および焦点調節に対応しており、また画像表示素子の解像度も膨大とはならないが、層状に配置する画像表示素子の数は、その透明度や厚みによって制限されるため、奥行き分解能が低い点に改善の余地がある。特許文献５に記載の技術では、合焦した画像を疲労せずに提示することに改善の余地がある。特許文献６に記載のカメラは、撮影時のレンズの焦点調節を行うための技術であり、すでに撮影された映像を提示した際の眼の焦点調節を制御するものではない。

【0007】

本開示は、上記の課題に鑑みてなされたものであり、画像を観視する際、注視領域において合焦した画像を観視者が疲労しないように提示すること、または注視点のない領域において情報量を抑制し、伝送データ量を削減することを目的とする。

【課題を解決するための手段】

【0008】

開示の技術の一態様に係る合焦制御装置は、デプスマップまたは三次元モデルを含む入力情報と、前記入力情報に対応する入力画像の画像座標に対応付けられた観視者の注視領域情報と、に基づいて前記観視者の注視領域の奥行き位置に関する奥行き情報を出力する奥行き出力手段と、前記奥行き出力手段からの前記奥行き情報と、前記入力情報と、に基づいて、前記画像座標ごとにおける焦点外れに対応するぼやけ量情報を出力するぼやけ量出力手段と、前記画像座標の各座標に対し、前記ぼやけ量出力手段からの前記ぼやけ量情報に対応する焦点外れを付加することにより得られるぼやけ付加画像を出力するぼやけ付加画像出力手段と、を有する。

【発明の効果】

【0009】

開示の技術によれば、画像を観視する際、注視領域において合焦した画像を観視者が疲労しないように提示すること、または注視点のない領域において情報量を抑制し、伝送データ量を削減することができる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態に係る表示装置の構成例を示すブロック図である。

【図2】第１実施形態に係る調節手段によるレンズ調節動作例を説明する図である。

【図3】第２実施形態に係る表示装置の構成例を示すブロック図である。

【図4】第３実施形態に係る画像伝送装置の構成例を示すブロック図である。

【発明を実施するための形態】

【0011】

以下、図面を参照しながら実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は適宜省略する。なお、以下に示す実施形態は、本開示の技術思想を具体化するための表示装置を例示するものであって、本開示を以下に示す実施形態に限定するものではない。以下に記載されている構成部品の寸法、材質、形状、その相対的配置等は、特定的な記載がない限り、本発明の範囲をそれのみに限定する趣旨ではなく、例示することを意図したものである。また図面が示す部材の大きさや位置関係等は、説明を明確にするため、誇張している場合がある。

【0012】

［第１実施形態］
＜表示装置２の構成＞
図１は、第１実施形態に係る表示装置２の構成の一例を示すブロック図である。表示装置２は、合焦制御装置１と、視線センサ２２と、注視領域検出手段２３と、レンズ２４と、調節手段２５と、制御手段２６と、画像表示素子２７と、を有する。合焦制御装置１は、奥行き出力手段１０と、ぼやけ量出力手段１１と、ぼやけ付加画像出力手段１２と、を有する。

【0013】

奥行き出力手段１０、ぼやけ量出力手段１１、ぼやけ付加画像出力手段１２、注視領域検出手段２３および制御手段２６の各機能は、電気回路または電子回路により実現される他、上記各機能の少なくとも一部はソフトウェア（ＣＰＵ：Central Processing Unit）により実現されてもよい。また、上記各機能は、複数の電気回路または電子回路、あるいは複数のソフトウェアによって実現されてもよい。

【0014】

（合焦制御装置１）
合焦制御装置１は、奥行き出力手段１０により、デプスマップまたは三次元モデルを含む入力情報ｄｔと、入力情報ｄｔに対応する入力画像Ｉ（ｘ，ｙ）の画像座標に対応付けられた観視者２０の注視領域情報ｇｚと、に基づいて観視者２０の注視領域の奥行き位置に関する奥行き情報ｄｐを出力する。また、合焦制御装置１は、ぼやけ量出力手段１１により、奥行き出力手段１０からの奥行き情報ｄｐと、入力情報ｄｔと、に基づいて、入力画像Ｉ（ｘ，ｙ）の画像座標ごとでの焦点外れに対応するぼやけ量情報ρ（ｘ，ｙ）を出力する。さらに、合焦制御装置１は、ぼやけ付加画像出力手段１２により、入力画像Ｉ（ｘ，ｙ）における画像座標の各座標に対し、ぼやけ量出力手段１１からのぼやけ量情報ρ（ｘ，ｙ）に対応する焦点外れを付加することにより得られるぼやけ付加画像Ｂ（ｘ，ｙ）を出力する。

【0015】

デプスマップとは、入力画像Ｉ（ｘ，ｙ）を含む仮想平面の法線に沿う方向における、入力画像Ｉ（ｘ，ｙ）の各画素と、上記法線に直交し、カメラまたセンサを含む仮想平面上の上記各画素に対応する点と、の間の距離である奥行き距離を表現したマップをいう。デプスマップは深度マップとも呼ばれる。三次元モデルとは、物体の三次元形状を表す情報、または該三次元形状に関連する情報をいう。

【0016】

デプスマップまたは三次元モデルを含む入力情報ｄｔは、ＣＧ（Computer Graphics）または三次元形状を測定した実写であることが好ましい。三次元モデルは、人手によって作成された三次元モデル、あるいはボリュメトリックキャプチャにより取得された三次元モデルをレンダリングした画像であることが好ましい。

【0017】

入力情報ｄｔがデプスマップを含む場合には、デプスマップには、入力画像Ｉ（ｘ，ｙ）の各画素の画像座標に対応付けて、デプス情報が記録されているものとする。デプス情報は、入力画像Ｉ（ｘ，ｙ）を撮影したカメラに固定された代表点から入力画像Ｉ（ｘ，ｙ）の各画素に記録されている画素値の元となった被写体に至るベクトルの光軸方向成分とする。代表点は、レンズの主点等である。

【0018】

入力情報ｄｔが三次元モデルを含む場合には、画像座標である注視領域に対応する三次元モデル上の点である対応点を求め、入力画像Ｉ（ｘ，ｙ）を撮影したカメラに固定された代表点から該対応点に至るベクトルの光軸方向成分を求めることにより、デプス情報が導出されるものとする。対応点は、三次元モデル上において複数の点が対応する場合には、最近傍の点が該当する。

【0019】

観視者２０は、表示装置２により提示される画像を観視する者をいう。観視者２０の注視領域とは、レンズ２４の光軸２４０と直交する平面内において観視者２０が見つめる点である注視点、または、該注視点および該注視点の周辺領域の両方をいう。該注視領域は、入力画像Ｉ（ｘ，ｙ）の画像座標系における画像座標により与えられる。観視者２０の注視領域の奥行き情報ｄｐとは、観視者２０の注視領域の、レンズ２４の光軸２４０に沿う方向における奥行き位置を表す情報、または該位置に関連する情報をいう。なお、本明細書では、レンズ２４の光軸２４０に沿う方向を奥行き方向という場合がある。

【0020】

ぼやけ量情報ρ（ｘ，ｙ）とは、焦点外れに伴うぼやけ量を表す情報、または該ぼやけ量に関連する情報をいう。また、ぼやけ量情報ρ（ｘ，ｙ）は、想定する画像表示素子２７上における実寸でのぼやけの半径である。実寸でのぼやけの半径は、画像座標ではなく実世界におけるぼやけの半径を意味する。ぼやけは焦点外れに対応する。

【0021】

入力画像Ｉ（ｘ，ｙ）は、全焦点画像であることが好ましい。全焦点画像とは、画像全体において焦点が合っている画像をいう。焦点が合っているとは、焦点外れがほぼないことに対応する。

【0022】

ぼやけ付加画像Ｂ（ｘ，ｙ）は、入力画像Ｉ（ｘ，ｙ）内の一または複数の領域に、ぼやけ量情報ρ（ｘ，ｙ）に応じた焦点外れが付加された画像をいう。ぼやけ付加画像Ｂ（ｘ，ｙ）は、焦点が合っている領域を少なくとも一部に含んでもよい。

【0023】

奥行き出力手段１０は、入力情報ｄｔと、観視者２０の注視領域情報ｇｚと、を入力する。奥行き出力手段１０は、入力情報ｄｔに含まれるデプス情報または入力情報ｄｔから導出されるデプス情報のうち、観視者２０の注視領域の画像座標におけるデプス情報を演算により求める。奥行き出力手段１０は、該デプス情報を奥行き情報ｄｐとして出力する。

【0024】

ぼやけ量出力手段１１は、奥行き出力手段１０から出力された奥行き情報ｄｐと、入力情報ｄｔと、に基づいて、入力画像Ｉ（ｘ，ｙ）の画素位置ごとのぼやけ量情報ρ（ｘ，ｙ）を演算により決定する。入力情報ｄｔに含まれる画像座標（ｘ，ｙ）または入力情報ｄｔから導出される画像座標（ｘ，ｙ）におけるデプス情報をｄ（ｘ，ｙ）とすると、ぼやけ量出力手段１１は、次の式（１）からぼやけ量情報ρ（ｘ，ｙ）を決定することができる。

【数1】

【0025】

式（１）において、Ａは、想定する観視者２０の瞳２１の直径を表す。ｆは観視者２０の眼球の焦点距離を表す。ｇは眼球の第一光学主点から想定する画像表示素子２７までの距離を表す。直径Ａおよび焦点距離ｆの情報は、観視者２０の眼球を生体計測することにより取得されてもよいし、人間における典型的な情報が用いられてもよいし、これらと無関係に設定されてもよい。距離ｇは、実測値が用いられてもよいし、レンズを含む機器の設計値が用いられてもよいし、これらと無関係に設定されてもよい。

【0026】

ぼやけ付加画像出力手段１２は、ぼやけ量出力手段１１からのぼやけ量情報ρ（ｘ，ｙ）に基づき、入力画像Ｉ（ｘ，ｙ）に対して焦点外れを付加する画像処理を実行する。ぼやけ付加画像出力手段１２は、実測により与えられたぼやけ量情報ρ（ｘ，ｙ）を画像座標系における点拡がり関数ψ（ρ；ｘ，ｙ）に変換する。ぼやけ付加画像出力手段１２は、この点拡がり関数ψ（ρ；ｘ，ｙ）を用いて、画素位置ごとに局所的な畳み込み積分処理を実行し、次の式（２）により表されるぼやけ付加画像Ｂ（ｘ，ｙ）を演算により求める。

【数2】

【0027】

点拡がり関数ψ（ρ；ｘ，ｙ）は、次の式（３）により表される。

【数3】

【0028】

式（３）において、μｘは、想定する画像表示素子２７における１画素の水平方向における大きさを表す。μｙは、想定する画像表示素子２７における１画素の垂直方向における大きさを表す。μｘおよびμｙは、いずれも実測によるものである。式（２）の積分は、有限範囲の総和であってもよい。有限範囲の総和とする場合には、離散化に伴う信号値の誤差を抑えるため、式（３）に代えて、次の式（４）を用いることが好ましい。

【数4】

【0029】

（表示装置２）
表示装置２は、視線センサ２２により、観視者２０の視線を示す情報、または該視線に関連する情報を取得する。視線センサ２２はカメラを含む。視線センサ２２は、観視者２０の眼や瞳２１、あるいは観視者２０の眼や瞳２１の周囲を撮影した撮影画像Ｅを注視領域検出手段２３に出力する。視線センサ２２は、カメラ以外の構成部を用いて、観視者２０の視線に関する情報を注視領域検出手段２３に出力してもよい。

【0030】

表示装置２は、注視領域検出手段２３により、観視者２０の視線に基づいて得られる注視領域情報ｇｚを出力する。注視領域検出手段２３は、撮影画像Ｅを解析することにより、観視者２０が入力画像Ｉ（ｘ，ｙ）におけるどの領域を注視しているかを特定する。注視領域検出手段２３は、特定した画像座標を注視領域情報ｇｚとして合焦制御装置１に出力する。

【0031】

表示装置２は、合焦制御装置１により、注視領域検出手段２３からの注視領域情報ｇｚと、入力情報ｄｔと、入力画像Ｉ（ｘ，ｙ）と、に基づいて、奥行き情報ｄｐおよびぼやけ付加画像Ｂ（ｘ，ｙ）を出力する。また、表示装置２は、画像表示素子２７により、合焦制御装置１からのぼやけ付加画像Ｂ（ｘ，ｙ）を表示する。さらに、表示装置２は、制御手段２６により、合焦制御装置１からの奥行き情報ｄｐに基づいて、観視者２０と画像表示素子２７との間に配置されたレンズ２４の視度補正量を調節する。

【0032】

レンズ２４には、単レンズ、組レンズ等の各種レンズを、表示装置２の仕様に応じて適宜選択使用できる。レンズ２４は、焦点調節機能、フォーカス機能等を有してもよい。レンズ２４の材質には、特段の制限はなく、ガラス、樹脂等を適用可能である。

【0033】

調節手段２５は、ピニオン２５１と、ラック２５２と、を有する。ピニオン２５１は、モータ等の駆動部に連結している。ピニオン２５１は、制御手段２６からの制御信号に応じて、駆動部により回転駆動される。ピニオン２５１の回転駆動は、光軸２４０に沿う方向へのラック２５２の並進移動に変換される。ラック２５２に支持されたレンズ２４は、ラック２５２の並進移動によって、光軸２４０に沿う方向に並進移動する。但し、調節手段２５の構成は、ピニオン２５１とラック２５２を有するものに限定されず、表示装置２の仕様等に合わせて適宜変更可能である。

【0034】

レンズ２４は瞳２１に近接して配置される。距離ａが１０ｍｍ程度の場合には、レンズ２４直径は５ｍｍから３０ｍｍ程度になる。距離ａが１０ｍｍ、レンズ直径が１０ｍｍの場合には、視野は５３°程度になる。

【0035】

画像表示素子２７は、二次元方向に整列する複数の画素を有する。画像表示素子２７は、該複数の画素により構成される二次元画像を表示する。画像表示素子２７には、液晶パネル、有機ＥＬ（Electro Luminescence）パネル等を使用できる。

【0036】

観視者２０は、レンズ２４を通して、瞳２１から奥行き情報ｄｐだけ離れた位置にある画像表示素子２７の表面を観視するとともに、画像表示素子２７により表示されたぼやけ付加画像Ｂ（ｘ，ｙ）を観視できる。

【0037】

表示装置２は、制御手段２６により、合焦制御装置１からの奥行き情報ｄｐに応じて調節手段２５を駆動させ、画像表示素子２７を観視する観視者２０の眼球の調節状態が、奥行き情報ｄｐと等しい位置に調節されるように、レンズ２４の調節を行う。すなわち、表示装置２は、調節手段２５により、レンズ２４を通して観視される画像表示素子２７の表面が、瞳２１から奥行き情報ｄｐだけ離れた位置に結像するように、レンズ２４の視度補正量を調節する。

【0038】

＜調節手段２５による調節動作例＞
図２を参照して、調節手段２５による調節動作の一例を説明する。図２は、調節手段２５によるレンズ２４の調節動作の一例を示す図である。

【0039】

図２において、瞳２１からレンズ２４のレンズ主平面までの距離をａ、レンズ２４の主平面から画像表示素子２７の表面までの距離をｂ、レンズ２４の焦点距離をＦとする。この場合には、画像表示素子２７に表示された画像は瞳２１から見て、次の式（５）により表される距離ｄ_ｉｍｇにあるように知覚される。

【数5】

距離ｄ_ｉｍｇは、瞳２１から見た画像のみかけの距離を意味する。観視者２０の眼球のレンズ機能とは無関係になる。

【0040】

（（例１：レンズ２４の焦点距離がＦで固定、距離ｂが可変の場合））
上記の式（５）を距離ｂについて解くと、次の式（６）が得られる。

【数6】

【0041】

距離ａおよび焦点距離Ｆは、表示装置２の仕様に応じて予め定められる。観視者２０に知覚させたい距離ｄ_ｉｍｇを式（６）に代入することにより、レンズ２４の位置が決定される。表示装置２は、距離ｂが式（６）により表される距離になるように、制御手段２６により調節手段２５を駆動させることによってレンズ２４を移動させる。

【0042】

例えば、ａ＝１０（ｍｍ）、Ｆ＝１００（ｍｍ）とすると、ｄ_ｉｍｇ＝２００（ｍｍ）の位置に像が知覚されるようにするためには、ｂ≒６５．５（ｍｍ）の位置にレンズ２４を移動させればよい。また、ｄ_ｉｍｇ＝１０００（ｍｍ）に像が知覚されるようにするためには、ｂ≒９０．８（ｍｍ）の位置にレンズ２４を移動させればよい。

【0043】

（（例２：距離ｂが固定で、焦点距離Ｆが可変の場合））
レンズ２４は焦点距離が可変であり、調節手段２５はレンズ２４の焦点距離を調節する機能を有するものとする。上記の式（５）を焦点距離Ｆについて解くと、次の式（７）が得られる。

【数7】

距離ａおよび距離ｂは、表示装置２の仕様、特にサイズに応じて予め定められる。距離ｄｉｍｇを式（７）に代入することにより焦点距離Ｆが決定される。表示装置２は、焦点距離Ｆが式（７）に表される焦点距離になるように、制御手段２６により調節手段２５を駆動させることによってレンズ２４の焦点距離を調節する。

【0044】

例えば、ａ＝１０（ｍｍ）、ｂ＝１００（ｍｍ）とすると、ｄ_ｉｍｇ＝２００（ｍｍ）に像が知覚されるようにするためには、Ｆ＝２１１．１（ｍｍ）にレンズ２４の焦点距離Ｆを調節すればよい。また、ｄ_ｉｍｇ＝１０００（ｍｍ）に像が知覚されるようにするためには、Ｆ＝１１１．２（ｍｍ）にレンズ２４の焦点距離Ｆを調節すればよい。

【0045】

＜合焦制御装置１および表示装置２の作用効果＞
以上説明したように、表示装置２は、入力画像Ｉ（ｘ、ｙ）内における自身の注視領域では、観視者２０の眼球の調節状態が奥行き情報ｄｐに対応する位置を合焦させた際にぼやけのない像を、観視者２０に知覚させることができる。また表示装置２は、入力画像Ｉ（ｘ、ｙ）内における注視領域以外の領域では、この位置におけるデプス情報と奥行き情報ｄｐに対応する位置との差異に応じた焦点外れが付加された像を、観視者２０に知覚させることができる。なお、入力画像Ｉ（ｘ、ｙ）内における注視領域以外の領域は、「注視点のない領域」に対応する。これらの結果、表示装置２は、自身の眼球が自然に調節されている状態において、ぼやけのない画像、あるいは適切なぼやけを伴う画像を、観視者２０に観視させることができる。

【0046】

以上により、合焦制御装置１および表示装置２は、画像を観視する際、注視領域において合焦した画像を、観視者２０が疲労しないように提示することができる。また、合焦制御装置１および表示装置２は、奥行き知覚を変化させた画像を提示することができる。さらに、合焦制御装置１および表示装置２は、焦点調節に関して違和感のない画像または映像の提示を実現することができる。

【0047】

［第２実施形態］
図３は、第２実施形態に係る表示装置２ａの構成の一例を示すブロック図である。表示装置２ａは、注視領域推定手段２８と、合焦制御装置１ａと、を有する。

【0048】

注視領域推定手段２８および合焦制御装置１ａの各機能は、電気回路または電子回路により実現される他、上記各機能の少なくとも一部はソフトウェア（ＣＰＵ）により実現されてもよい。また、上記各機能は、複数の電気回路または電子回路、あるいは複数のソフトウェアによって実現されてもよい。

【0049】

注視領域推定手段２８は、入力画像Ｉ（ｘ，ｙ）に基づいて推定される注視領域情報ｇｚを出力する。具体的には、注視領域推定手段２８は、入力画像Ｉ（ｘ，ｙ）のうちどこが注視されやすい領域であるかを、入力画像Ｉ（ｘ，ｙ）に基づき、ディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）等を用いて推定する。注視領域推定手段２８は、入力画像Ｉ（ｘ，ｙ）のうち、最も注視される可能性が高いと判定した注視領域の画像座標を注視領域情報ｇｚとして出力する。

【0050】

合焦制御装置１ａは、注視領域推定手段２８からの注視領域情報ｇｚと、入力情報ｄｔと、入力画像Ｉ（ｘ，ｙ）と、に基づいて、奥行き情報ｄｐと、ぼやけ付加画像Ｂ（ｘ，ｙ）と、を出力する。

【0051】

制御手段２６は、合焦制御装置１ａからの奥行き情報ｄｐに基づいてレンズ２４の視度補正量を調節する。画像表示素子２７は、合焦制御装置１ａからのぼやけ付加画像Ｂ（ｘ，ｙ）を表示する。

【0052】

本実施形態では、合焦制御装置１ａおよび表示装置２ａは、入力画像Ｉ（ｘ，ｙ）のうち、最も注視される可能性が高いと判定した注視領域に対し、観視者２０の眼球の適切な調節状態において合焦状態を創出することができる。合焦制御装置１ａおよび表示装置２ａは、注視領域以外の領域についてはデプス情報と奥行き情報ｄｐに対応する位置との差異に応じて適切なぼやけ感により観視者２０に観視させることができる。以上により、合焦制御装置１ａおよび表示装置２ａは、画像を観視する際、注視領域では合焦した画像を、観視者２０が疲労しないように提示することができる。これ以外の効果は、第１実施形態で示したものと同じである。

【0053】

［第３実施形態］
図４は、第３実施形態に係る画像伝送装置３の構成の一例を示すブロック図である。画像伝送装置３は、合焦制御装置１と、符号化手段３０と、伝送手段３１と、復号手段３２と、を有する。

【0054】

符号化手段３０、伝送手段３１および復号手段３２の各機能は、電気回路または電子回路により実現される他、上記各機能の少なくとも一部はソフトウェア（ＣＰＵ）により実現されてもよい。また、上記各機能は、複数の電気回路または電子回路、あるいは複数のソフトウェアによって実現されてもよい。

【0055】

符号化手段３０は、合焦制御装置１からのぼやけ付加画像Ｂ（ｘ，ｙ）に対して情報源符号化をおこなってビットストリームを出力する。データが圧縮されたビットストリームが、符号化手段３０から出力される。情報源符号化に用いる手法は任意であり、非可逆圧縮であってもよいし、可逆圧縮であってもよい。

【0056】

伝送手段３１は、符号化手段３０からのビットストリームを復号手段３２へ伝送する。伝送手段３１は、有線であってもよいし、無線であってもよいし、電気的であってもよいし、光学的であってもよい。伝送手段３１によるビットストリームの伝送距離も特段に制限されない。伝送手段３１は、伝送路における誤り等への耐性を強化するため、伝送路符号化を伴ってもよい。また、伝送路符号化および情報源符号化の処理は、一つの手段により実行されてもよい。

【0057】

復号手段３２は、伝送手段３１から伝送されてきたビットストリームを復号し、復号されたぼやけ付加画像である復号ぼやけ付加画像Ｂ'（ｘ，ｙ）を出力する。復号手段３２は、符号化手段３０と対をなし、符号化手段３０によって符号化されたビットストリームを画像に戻す。復号手段３２の出力である復号ぼやけ付加画像Ｂ'（ｘ，ｙ）は、画像表示素子２７に入力される。画像表示素子２７は、入力された復号ぼやけ付加画像Ｂ'（ｘ，ｙ）を表示する。

【0058】

ぼやけ付加画像Ｂ（ｘ，ｙ）は、ぼやけ量情報ρ（ｘ，ｙ）に応じた焦点外れを付加する前の入力画像Ｉ（ｘ，ｙ）よりも空間周波数における高周波成分が少ないため、符号化手段３０における符号化効率が向上する。但し、ぼやけ付加画像Ｂ（ｘ，ｙ）のすべての領域が合焦状態である場合には、該高周波成分は、ぼやけ量情報ρ（ｘ，ｙ）に応じた焦点外れを付加する前の入力画像Ｉ（ｘ，ｙ）におけるものと等しくなるため、符号化効率は向上しない。

【0059】

以上により、画像伝送装置３は、伝送手段３１により伝送されるビットストリームのビットレートを削減することができる。符号化手段３０が非可逆符号化による場合には、画像伝送装置３は、同一ビットレートにおいて復号画質を向上させることができる。画像伝送装置３は、注視点のない領域において、情報量を抑制し、伝送データ量を削減することができる。

【0060】

以上、好ましい実施の形態について詳説したが、上述した実施の形態に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態に種々の変形および置換を加えることができる。

【0061】

上述した実施形態の説明で用いた序数、数量等の数字は、全て本発明の技術を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明の技術を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。

【符号の説明】

【0062】

１、１ａ 合焦制御装置
１０ 奥行き出力手段
１１ ぼやけ量出力手段
１２ ぼやけ付加画像出力手段
２、２ａ 表示装置
２０ 観視者
２１ 瞳
２２ 視線センサ
２３ 注視領域検出手段
２４ レンズ
２４０ 光軸
２５ 調節手段
２５１ ピニオン
２５２ ラック
２６ 制御手段
２７ 画像表示素子
２８ 注視領域推定手段
３ 画像伝送装置
３０ 符号化手段
３１ 伝送手段
３２ 復号手段
ａ、ｂ 距離
Ｂ（ｘ，ｙ） ぼやけ付加画像
Ｂ'（ｘ，ｙ） 復号ぼやけ付加画像
ｄｔ 入力情報
ｄｐ 奥行き情報
Ｅ 撮影画像
Ｆ 焦点距離
ｇｚ 注視領域情報
Ｉ（ｘ，ｙ） 入力画像
ρ（ｘ，ｙ） ぼやけ量

【図1】

【図2】

【図3】

【図4】