6029294 映像提示装置および映像提示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6029294

(24)【登録日】2016年10月28日

(45)【発行日】2016年11月24日

(54)【発明の名称】映像提示装置および映像提示プログラム

(51)【国際特許分類】

   G09G 5/36 20060101AFI20161114BHJP

   H04N 5/225 20060101ALI20161114BHJP

   H04N 5/222 20060101ALI20161114BHJP

   G09G 5/00 20060101ALI20161114BHJP

   G09G 5/38 20060101ALI20161114BHJP

   A63F 13/213 20140101ALI20161114BHJP

   A63F 13/803 20140101ALI20161114BHJP

【ＦＩ】

   G09G5/36 520C

   H04N5/225 F

   H04N5/222 Z

   G09G5/00 550C

   G09G5/36 520P

   G09G5/00 550R

   G09G5/38 B

   A63F13/213

   A63F13/803

【請求項の数】5

【全頁数】23

(21)【出願番号】特願2012-50585(P2012-50585)

(22)【出願日】2012年3月7日

(65)【公開番号】特開2013-186254(P2013-186254A)

(43)【公開日】2013年9月19日

【審査請求日】2015年2月2日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(74)【代理人】

【識別番号】100064414

【弁理士】

【氏名又は名称】磯野 道造

(74)【代理人】

【識別番号】100111545

【弁理士】

【氏名又は名称】多田 悦夫

(72)【発明者】

【氏名】島本 洋

【審査官】 橋本 直明

(56)【参考文献】

【文献】 特開２０００−１３２１５２（ＪＰ，Ａ）

【文献】 特開２００６−１８４８５４（ＪＰ，Ａ）

【文献】 特開２０１１−１３３５１６（ＪＰ，Ａ）

【文献】 特開２００３−０４８４５３（ＪＰ，Ａ）

【文献】 特開２００９−０２０２６６（ＪＰ，Ａ）

【文献】 特開２００３−０３２５４１（ＪＰ，Ａ）

【文献】 特開２００２−１７０１３１（ＪＰ，Ａ）

【文献】 特開２００４−３０２９９８（ＪＰ，Ａ）

【文献】 特表２００４−５３４２６１（ＪＰ，Ａ）

【文献】 特開２００６−０９９４０４（ＪＰ，Ａ）

【文献】 特開平０３−０５４９７１（ＪＰ，Ａ）

【文献】 特表２００９−５２７９７８（ＪＰ，Ａ）

【文献】 特開平０８−１６３５５６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｇ ５／３６

Ａ６３Ｆ １３／２１３

Ａ６３Ｆ １３／８０３

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３８

Ｈ０４Ｎ ５／２２２

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

映像を視聴する視聴者の視野を認識し、当該視野の中心領域と周辺領域とで解像度の異なる映像を生成し、当該映像を、表示装置を介して視聴者に提示する映像提示装置であって、
前記視聴者の眼球を撮影する撮像装置によって撮影された映像から、前記表示装置の画面上における前記視聴者の視線位置を算出する視線算出手段と、
前記表示装置の画面上におけるそれぞれの画素が、前記視聴者の視線位置を中心とした、予め設定された領域範囲に含まれるか否かを判定する領域判定手段と、
前記領域判定手段によって前記領域範囲に含まれると判定された画素位置に表示される映像の画素について、前フレームにおける同一位置の画素と加算平均処理を行うことで時間解像度を低下させ、前記領域判定手段によって前記領域範囲に含まれないと判定された画素について、同一フレームにおける周辺位置の画素との加算平均処理を行うことで空間解像度を低下させる加算処理手段と、
を備えることを特徴とする映像提示装置。

【請求項2】

前記撮像装置によって撮影された映像から、前記視聴者と前記表示装置との距離である視聴距離を算出する視聴距離算出手段を備え、
前記領域判定手段は、前記表示装置の画面上におけるそれぞれの画素が、前記視聴者の視線位置を中心とした、前記視聴距離に応じて設定された領域範囲に含まれるか否かを判定することを特徴とする請求項１に記載の映像提示装置。

【請求項3】

映像を視聴する視聴者の視野を認識し、当該視野の中心領域と周辺領域とで解像度の異なる映像を生成し、当該映像を、表示装置を介して視聴者に提示する映像提示装置であって、
前記視聴者の眼球を撮影する撮像装置によって撮影された映像から、前記表示装置の画面上における前記視聴者の視線位置を算出する視線算出手段と、
前記表示装置に映像を出力するドライビングシミュレーションのゲーム装置から車の走行速度に関する情報が入力され、前記表示装置の画面上におけるそれぞれの画素が、前記視聴者の視線位置を中心とした、予め前記走行速度に関する情報に応じて設定された領域範囲に含まれるか否かを判定する領域判定手段と、
前記領域判定手段によって前記領域範囲に含まれると判定された画素位置に表示される映像の画素について、前フレームにおける同一位置の画素と加算平均処理を行うことで時間解像度を低下させ、前記領域判定手段によって前記領域範囲に含まれないと判定された画素位置に表示される映像の画素について、同一フレームにおける周辺位置の画素との加算平均処理を行うことで空間解像度を低下させる加算処理手段と、
を備えることを特徴とする映像提示装置。

【請求項4】

映像を視聴する視聴者の視野を認識し、当該視野の中心領域と周辺領域とで解像度の異なる映像を生成し、当該映像を、表示装置を介して視聴者に提示するために、コンピュータを、
前記視聴者の眼球を撮影する撮像装置によって撮影された映像から、前記表示装置の画面上における前記視聴者の視線位置を算出する視線算出手段、
前記表示装置の画面上におけるそれぞれの画素が、前記視聴者の視線位置を中心とした、予め設定された領域範囲に含まれるか否かを判定する領域判定手段、
前記領域判定手段によって前記領域範囲に含まれると判定された画素位置に表示される映像の画素について、前フレームにおける同一位置の画素と加算平均処理を行うことで時間解像度を低下させ、前記領域判定手段によって前記領域範囲に含まれないと判定された画素について、同一フレームにおける周辺位置の画素との加算平均処理を行うことで空間解像度を低下させる加算処理手段、
として機能させるための映像提示プログラム。

【請求項5】

映像を視聴する視聴者の視野を認識し、当該視野の中心領域と周辺領域とで解像度の異なる映像を生成し、当該映像を、表示装置を介して視聴者に提示するために、コンピュータを、
前記視聴者の眼球を撮影する撮像装置によって撮影された映像から、前記表示装置の画面上における前記視聴者の視線位置を算出する視線算出手段、
前記表示装置に映像を出力するドライビングシミュレーションのゲーム装置から車の走行速度に関する情報が入力され、前記表示装置の画面上におけるそれぞれの画素が、前記視聴者の視線位置を中心とした、予め前記走行速度に関する情報に応じて設定された領域範囲に含まれるか否かを判定する領域判定手段、
前記領域判定手段によって前記領域範囲に含まれると判定された画素位置に表示される映像の画素について、前フレームにおける同一位置の画素と加算平均処理を行うことで時間解像度を低下させ、前記領域判定手段によって前記領域範囲に含まれないと判定された画素位置に表示される映像の画素について、同一フレームにおける周辺位置の画素との加算平均処理を行うことで空間解像度を低下させる加算処理手段、
として機能させるための映像提示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視聴者に対して表示装置を介して映像を提示する映像提示装置および映像提示プログラムに係るものであり、特に視聴者に対して広い視野角を提供可能な超高精細かつ大画面の表示装置、例えばスーパーハイビジョン用プロジェクター上映装置ないし液晶型またはプラズマディスプレイ型の直視型ディスプレイ装置等を用いた映像提示装置および映像提示プログラムに関するものである。

【背景技術】

【0002】

従来の映像提示装置は、例えば特許文献１に示すように、画面全体で表示する映像の空間解像度および時間解像度、すなわち表示する映像の空間周波数とフレーム周波数が均一な映像を提示していた。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−２４４２１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、映像を撮影するカメラのＳＮ比が悪い場合、カメラのノイズ成分が映像品質を落とす原因となっていた。カメラのＳＮ比は撮像デバイスの設計・製造技術や電子回路技術の進歩により改善されてはきたものの、近年では撮像デバイスの画素数が多くなっているため、一定の受光面積で撮影する場合の１画素当たりのフォトダイオード容量が小さくなり、撮像素子の蓄積電荷容量がより少ない映像を用いる結果となってきている。さらに、例えば次世代の超高画質テレビジョンシステムとして期待されるフルスペック・スーパーハイビジョンにおいては、高画質で動きボケの少ない映像を撮影するために、従来のハイビジョン等で用いられてきた５９．９４フィールド／秒（２９．９７フレーム／秒）を超える１２０フレーム／秒のフレーム周波数で撮影が行われる。従って、今後は１フレームあたりに撮像素子に蓄積される光の電荷量がますます少なくなり、光ショットノイズの影響がこれまで以上に大きくなることが予想される。

【0005】

なお、前記した光ショットノイズとは、一定時間内に一画素に入射する光の量に揺らぎがあることに起因するランダムノイズであり、光が撮像素子で光電変換される際に発生するものである。また、光ショットノイズは、１つの撮像素子に蓄積される光の電荷量で決定されるため、前記したように、撮像素子に蓄積される光の電荷量が減少すればするほどその影響が大きくなり、視聴の妨げとなる。このような光ショットノイズの影響は原理的なものであるため、これを回避する技術はこれまであまり開発されてこなかった。

【0006】

本発明はかかる点に鑑みてなされたものであって、カメラで撮影する撮像素子の性能は従来通りとしながら、信号処理によって光ショットノイズを抑制し、映像品質を改善することができる映像提示装置および映像提示プログラムを提供することを課題とする。

【課題を解決するための手段】

【0007】

前記課題を解決するために請求項１に係る映像提示装置は、映像を視聴する視聴者の視野を認識し、当該視野の中心領域と周辺領域とで解像度の異なる映像を生成し、当該映像を、表示装置を介して視聴者に提示する映像提示装置であって、視線算出手段と、領域判定手段と、加算処理手段と、を備える構成とした。

【0008】

このような構成を備える映像提示装置は、視線算出手段によって、視聴者の眼球を撮影する撮像装置において撮影された映像から、表示装置の画面上における視聴者の視線位置を算出する。また、映像提示装置は、領域判定手段によって、表示装置の画面上におけるそれぞれの画素が、視聴者の視線位置を中心とした、予め設定された領域範囲に含まれるか否かを判定する。そして、映像提示装置は、加算処理手段によって、領域判定手段において領域範囲に含まれると判定された画素位置に表示される映像の画素について、前フレームにおける同一位置の画素と加算平均処理を行うことで時間解像度を低下させ、領域判定手段において領域範囲に含まれないと判定された画素について、同一フレームにおける周辺位置の画素との加算平均処理を行うことで空間解像度を低下させる。

【0009】

これにより、映像提示装置は、視線算出手段によって、表示装置の画面上における視聴者の視線位置を算出し、領域判定手段によって、表示装置の画面上における各画素が視聴者の視野の中心領域に含まれるか否かを判定する。そして、映像提示装置は、加算処理手段によって、視聴者の視野の中心領域内の画素についてフレーム加算処理を行うことで、映像の時間解像度を低下させることができるとともに、視聴者の視野の周辺領域内の画素について画素加算処理を行うことで、映像の空間解像度を低下させることができる。そのため、映像提示装置は、画素位置ごとに時間解像度または空間解像度の異なる映像を提示することができる。

【0010】

なお、領域判定手段による判定の基準となる領域の形状は、視聴者の視聴特性に応じて臨機応変に変更することができ、例えば真円状、楕円状、多角形状等、様々な形状の領域を基準として領域判定を行うことができる。

【0011】

また、請求項２に係る映像提示装置は、請求項１に記載の映像提示装置において、視聴距離算出手段を備える構成とした。

【0012】

このような構成を備える映像提示装置は、視聴距離算出手段によって、撮像装置によって撮影された映像から、視聴者と表示装置との距離である視聴距離を算出する。そして、映像提示装置は、領域判定手段によって、表示装置の画面上におけるそれぞれの画素が、視聴者の視線位置を中心とした、視聴距離に応じて設定された領域範囲に含まれるか否かを判定する。

【0013】

これにより、映像提示装置は、視聴距離算出手段によって、視聴者の視聴距離を算出し、領域判定手段によって、視聴者の視聴距離ごとに異なる大きさの領域範囲を用いて領域判定を行うことができる。従って、映像提示装置は、表示装置に対する視聴者の距離に応じて、画素加算およびフレーム加算の基準となる視聴者の視野の中心領域の大きさを臨機応変に変更することができる。例えば、映像提示装置は、視聴者が表示装置から近い位置で視聴する場合は、小さな中心領域を用いて領域判定を行い、その結果に基づいて加算平均処理を行うことができ、視聴者が表示装置から遠い位置で視聴する場合は、大きな中心領域を用いて領域判定を行い、その結果に基づいて加算平均処理を行うことができる。

【0017】

また、前記課題を解決するために請求項３に係る映像提示装置は、映像を視聴する視聴者の視野を認識し、当該視野の中心領域と周辺領域とで解像度の異なる映像を生成し、当該映像を、表示装置を介して視聴者に提示する映像提示装置であって、視線算出手段と、領域判定手段と、加算処理手段と、を備える構成とした。

【0018】

このような構成を備える映像提示装置は、視線算出手段によって、視聴者の眼球を撮影する撮像装置において撮影された映像から、表示装置の画面上における視聴者の視線位置を算出する。また、映像提示装置は、領域判定手段に対して、表示装置に映像を出力するドライビングシミュレーションのゲーム装置から車の走行速度に関する情報に関する情報が入力され、当該領域判定手段によって、表示装置の画面上におけるそれぞれの画素が、視聴者の視線位置を中心とした、予め走行速度に関する情報に応じて設定された領域範囲に含まれるか否かを判定する。そして、映像提示装置は、加算処理手段によって、領域判定手段において領域範囲に含まれると判定された画素位置に表示される映像の画素について、前フレームにおける同一位置の画素と加算平均処理を行うことで時間解像度を低下させ、領域判定手段において領域範囲に含まれないと判定された画素位置に表示される映像の画素について、同一フレームにおける周辺位置の画素との加算平均処理を行うことで空間解像度を低下させる。

【0019】

これにより、映像提示装置は、視線算出手段によって、表示装置の画面上における視聴者の視線位置を算出し、領域判定手段によって、表示装置の画面上における各画素が、映像の速度に応じた視聴者の視野の中心領域に含まれるか否かを判定する。そして、映像提示装置は、加算処理手段によって、視聴者の視野の中心領域内の画素についてフレーム加算処理を行うことで、映像の時間解像度を低下させることができるとともに、視聴者の視野の周辺領域内の画素について画素加算処理を行うことで、映像の空間解像度を低下させることができる。そのため、映像提示装置は、表示装置が表示する映像の速度に応じて、画素位置ごとに時間解像度または空間解像度の異なる映像を提示することができる。

【0020】

また、前記課題を解決するために請求項４に係る映像提示プログラムは、映像を視聴する視聴者の視野を認識し、当該視野の中心領域と周辺領域とで解像度の異なる映像を生成し、当該映像を、表示装置を介して視聴者に提示するために、コンピュータを、視線算出手段、領域判定手段、加算処理手段、として機能させる構成とした。

【0021】

このような構成を備える映像提示プログラムは、視線算出手段によって、視聴者の眼球を撮影する撮像装置において撮影された映像から、表示装置の画面上における視聴者の視線位置を算出する。また、映像提示プログラムは、領域判定手段によって、表示装置の画面上におけるそれぞれの画素が、視聴者の視線位置を中心とした、予め設定された領域範囲に含まれるか否かを判定する。そして、映像提示プログラムは、加算処理手段によって、領域判定手段において領域範囲に含まれると判定された画素位置に表示される映像の画素について、前フレームにおける同一位置の画素と加算平均処理を行うことで時間解像度を低下させ、領域判定手段において領域範囲に含まれないと判定された画素について、同一フレームにおける周辺位置の画素との加算平均処理を行うことで空間解像度を低下させる。

【0022】

これにより、映像提示プログラムは、視線算出手段によって、表示装置の画面上における視聴者の視線位置を算出し、領域判定手段によって、表示装置の画面上における各画素が視聴者の視野の中心領域に含まれるか否かを判定する。そして、映像提示プログラムは、加算処理手段によって、視聴者の視野の中心領域内の画素についてフレーム加算処理を行うことで、映像の時間解像度を低下させることができるとともに、視聴者の視野の周辺領域内の画素について画素加算処理を行うことで、映像の空間解像度を低下させることができる。そのため、映像提示プログラムは、画素位置ごとに時間解像度または空間解像度の異なる映像を提示することができる。

【0023】

また、前記課題を解決するために請求項５に係る映像提示プログラムは、映像を視聴する視聴者の視野を認識し、当該視野の中心領域と周辺領域とで解像度の異なる映像を生成し、当該映像を、表示装置を介して視聴者に提示するために、コンピュータを、視線算出手段、領域判定手段、加算処理手段、として機能させる構成とした。

【0024】

このような構成を備える映像提示プログラムは、視線算出手段によって、視聴者の眼球を撮影する撮像装置において撮影された映像から、表示装置の画面上における視聴者の視線位置を算出する。また、映像提示プログラムは、領域判定手段に表示装置に映像を出力するドライビングシミュレーションのゲーム装置から車の走行速度に関する情報が入力され、領域判定手段によって、表示装置の画面上におけるそれぞれの画素が、視聴者の視線位置を中心とした、予め走行速度に関する情報に応じて設定された領域範囲に含まれるか否かを判定する。そして、映像提示プログラムは、加算処理手段によって、領域判定手段において領域範囲に含まれると判定された画素位置に表示される映像の画素について、前フレームにおける同一位置の画素と加算平均処理を行うことで時間解像度を低下させ、領域判定手段において領域範囲に含まれないと判定された画素位置に表示される映像の画素について、同一フレームにおける周辺位置の画素との加算平均処理を行うことで空間解像度を低下させる。

【0025】

これにより、映像提示プログラムは、視線算出手段によって、表示装置の画面上における視聴者の視線位置を算出し、領域判定手段によって、表示装置の画面上における各画素が、映像の速度に応じた視聴者の視野の中心領域に含まれるか否かを判定する。そして、映像提示プログラムは、加算処理手段によって、視聴者の視野の中心領域内の画素についてフレーム加算処理を行うことで、映像の時間解像度を低下させることができるとともに、視聴者の視野の周辺領域内の画素について画素加算処理を行うことで、映像の空間解像度を低下させることができる。そのため、映像提示プログラムは、表示装置が表示する映像の速度に応じて、画素位置ごとに時間解像度または空間解像度の異なる映像を提示することができる。

【発明の効果】

【0026】

請求項１および請求項４に係る発明によれば、視聴者の視線の中心領域と周辺領域とで時間解像度または空間解像度の異なる映像を提示することで、場所（画素位置）や時間（フレーム）によって光の信号量がランダムに変化する光ショットノイズによる光のばらつきを平均化することができるため、撮像素子の性能を変更することなく光ショットノイズの影響を低減することができる。

【0027】

請求項２に係る発明によれば、視聴者と表示装置との距離を考慮して当該視聴者の視野の中心領域および周辺領域を決定するため、当該中心領域と周辺領域とで時間解像度または空間解像度を変化させた場合であっても、視聴者が違和感を覚えることのない自然な映像を提示することができる。

【0029】

請求項３および請求項５に係る発明によれば、視聴者の視線の中心領域と周辺領域とで時間解像度または空間解像度の異なる映像を提示することで、ゲーム装置からの映像に光ショットノイズが含まれている場合であっても、当該光ショットノイズによる光のばらつきを平均化することができるため、撮像素子の性能を変更することなく光ショットノイズの影響を低減することができる。また、請求項３および請求項５に係る発明によれば、ゲーム装置からの映像（ゲーム映像）が速度によって変化する場合において、当該速度に応じて映像の時間解像度または空間解像度を変化させることができるため、臨場感のある映像を視聴者に提示することができる。

【図面の簡単な説明】

【0030】

【図1】本発明に係る映像提示装置を含む映像提示システムの全体構成を示す概略図である。

【図2】本発明の第１実施形態に係る映像提示装置の内部構成を示すブロック図である。

【図3】本発明の第１実施形態に係る映像提示装置が備える領域判定手段における処理を説明するための概略図である。

【図4】本発明に係る映像提示装置において、視聴者の視野の中心領域と周辺領域の一例を示す概略図である。

【図5】本発明に係る映像提示装置において、視聴者の視野の中心領域と周辺領域のその他の例を示す概略図である。

【図6】本発明の第１実施形態に係る映像提示装置が備える加算処理手段における処理を説明するための概略図である。

【図7】本発明の第１実施形態に係る映像提示装置の動作を示すフローチャートである。

【図8】本発明の第２実施形態に係る映像提示装置の内部構成を示すブロック図である。

【図9】本発明の第３実施形態に係る映像提示装置の内部構成を示すブロック図である。

【図10】本発明の第３実施形態に係る映像提示装置が備える撮像装置における処理を示す概略であって、フレーム加算処理の例を示す図である。

【図11】本発明の第３実施形態に係る映像提示装置が備える撮像装置における処理を示す概略であって、画素加算処理の例を示す図である。

【図12】本発明の第４実施形態に係る映像提示装置の内部構成を示すブロック図である。

【図13】本発明の第４実施形態に係る映像提示装置による映像の提示例を示す概略図であって、（ａ）は、映像内の車が停止している場合を示す図、（ｂ）は、映像内の車が時速５０ｋｍで走行している場合であって、視聴者の視野の中心領域を横長の楕円形とした場合を示す図、（ｃ）は、映像内の車が時速２００ｋｍで走行している場合であって、視聴者の視野の中心領域を横長の楕円形とした場合を示す図、である。

【図14】本発明の第４実施形態に係る映像提示装置による映像の別の提示例を示す概略図であって、（ａ）は、映像内の車が時速５０ｋｍで走行している場合であって、視聴者の視野の中心領域を横長の長方形とした場合を示す図、（ｂ）は、映像内の車が時速２００ｋｍで走行している場合であって、視聴者の視野の中心領域を横長の長方形とした場合を示す図、（ｃ）は、映像内の車が時速２００ｋｍで走行している場合であって、視聴者の視野の中心領域を縦長の長方形とした場合を示す図、である。

【発明を実施するための形態】

【0031】

以下、本発明の実施形態に係る映像提示装置について、図面を参照しながら説明する。なお、各図面が示す部材のサイズや位置関係等は、説明の便宜上誇張していることがある。さらに、以下の説明において、同一の名称および符号については原則として同一もしくは同質の部材を示しており、詳細説明を適宜省略する。

【0032】

［第１実施形態］
本発明の第１実施形態に係る映像提示装置１０の構成について、図１〜図６を参照しながら説明する。映像提示装置１０は、図１に示すように、視聴者Ａに対して表示装置５０を介して映像を提示するものである。映像提示装置１０は、具体的には図１に示すように、表示装置５０によって映像を視聴する視聴者Ａの視野を認識し、当該視野の中心領域と周辺領域とで解像度の異なる映像を生成し、表示装置５０を介して、当該映像を視聴者Ａに提示する。

【0033】

ここで、映像提示装置１０は、図１に示すように、映像提示システム１の一部を構成している。映像提示システム１は、ここでは図１に示すように、映像提示装置１０の他に、撮像装置２０と、撮像装置３０と、表示装置５０と、を備えている。以下、映像提示システム１の映像提示装置１０以外の構成について先に説明する。

【0034】

撮像装置（眼球撮像装置）２０は、視聴者Ａの眼球を撮影するものである。撮像装置２０は、例えば図１に示すように家庭内に設けられたカメラであり、図２に示すように、撮影した眼球の映像を映像提示装置１０内の視線算出手段１１に出力する。

【0035】

撮像装置（映像撮像装置）３０は、表示装置５０によって表示する映像を撮影するものである。撮像装置３０は、例えば図１に示すように屋外中継用のテレビカメラあるいはテレビ局のスタジオ内のテレビカメラであり、図２に示すように、撮影した映像を映像提示装置１０内の加算処理手段１３に出力する。なお、撮像装置３０に代えて、図２に示すように、テレビ局等に設置された映像再生装置４０から加算処理手段１３に映像が入力される構成としても構わない。

【0036】

表示装置５０は、撮像装置３０によって撮影された映像を視聴者Ａに表示するものである。表示装置５０は、例えば家庭内に設けられたテレビ等であり、より具体的にはスーパーハイビジョン用プロジェクター上映装置ないし液晶型またはプラズマディスプレイ型の直視型ディスプレイ装置等が挙げられる。なお、表示装置５０は、図２に示すように、撮像装置３０の代わりに映像再生装置４０が用いられている場合は、当該映像再生装置４０の映像を視聴者Ａに表示する。

【0037】

以下、映像提示装置１０の構成について説明する。映像提示装置１０は、ここでは図２に示すように、視線算出手段１１と、領域判定手段１２と、加算処理手段１３と、を備えている。

【0038】

視線算出手段１１は、視聴者Ａの視線位置を算出するものである。視線算出手段１１には、図２に示すように、撮像装置２０から視聴者Ａの眼球の映像が入力される。そして、視線算出手段１１は、当該撮像装置２０から入力された眼球の映像から、表示装置５０の画面上における視聴者Ａの視線位置を算出し、図２に示すように、これを領域判定手段１２に出力する。なお、視聴者Ａの視線位置の算出方法は特に限定されず、例えば「特開２００５−３２３９０５号公報」における方法を用いることができる。

【0039】

領域判定手段１２は、表示装置５０の画面の各画素が視聴者Ａの視野の中心領域に含まれるか否かを判定するものである。領域判定手段１２には、図２に示すように、視線算出手段１１から視聴者Ａの視線位置が入力されるとともに、外部から表示装置５０の画素情報が入力される。ここで、表示装置５０の画素情報とは、表示装置５０の画面の画素数に関する情報を示している。そして、領域判定手段１２は、表示装置５０の画面上におけるそれぞれの画素が、視聴者Ａの視線位置を中心とした、予め設定された領域範囲に含まれるか否かを判定する。なお、領域範囲とは、後記するように、視聴者Ａの視野の中心領域（図４および図５参照）のことを示している。

【0040】

ここで、領域判定手段１２による領域判定の方法はいくつか考えられるが、以下では予め設定された閾値を用いて、表示装置５０の画面上の画素ごとの距離を閾値処理する方法について説明する。この方法では、領域判定手段１２は、まず図３に示すように、視聴者Ａの視線位置Ｅ（ｘ，ｙ，ｔ）と、表示装置５０の画面上におけるそれぞれの画素位置Ｐ（ｘ，ｙ，ｔ）と、の距離Ｄ（ｘ，ｙ）を算出する。この距離Ｄ（ｘ，ｙ）は、例えば以下の式（１）のように表わすことができる。

【0041】

【数1】

【0042】

ここで、式（１）におけるｘは、表示装置５０の画面上における水平座標を示しており、ｙは、表示装置５０の画面上における垂直座標を示しており、ｔは、時間を示している。

【0043】

次に、領域判定手段１２は、式（１）によって算出された距離Ｄ（ｘ，ｙ）が、予め設定された閾値Ｄ_０未満であるか否かを、表示装置５０の画面上におけるそれぞれの画素位置Ｐ（ｘ，ｙ，ｔ）ごとに判定し、図２に示すように、これらの判定結果を加算処理手段１３に出力する。なお、この閾値Ｄ_０は、視聴者Ａの視聴特性に応じて算出され、領域判定手段１２に予め入力される。このような処理により、領域判定手段１２は、図４に示すように、表示装置５０の画面上におけるそれぞれの画素が視聴者Ａの視野の中心領域に含まれるのか、あるいは、視聴者Ａの視野の周辺領域に含まれるのか（視聴者Ａの視野の中心領域に含まれないのか）を判定することができる。すなわち、ここで用いられる閾値Ｄ_０は、図４における視野の中心領域と周辺領域とを選別するためのものであり、視線位置Ｅ（ｘ，ｙ，ｔ）との距離Ｄ（ｘ，ｙ）が閾値Ｄ_０未満である画素は、視聴者Ａの視野の中心領域内にあり、視線位置Ｅ（ｘ，ｙ，ｔ）との距離Ｄ（ｘ，ｙ）が閾値Ｄ_０を超える画素は、視聴者Ａの視野の周辺領域内にあると選別されることになる。

【0044】

また、視野の中心領域とは、具体的には図４に示すように、視聴者Ａの視線位置を中心とした所定サイズの領域範囲のことを意味しており、視野の周辺領域とは、表示装置５０の画面上における視野の中心領域以外の部分のことを意味している。この視野の中心領域の大きさは、前記した閾値Ｄ_０によって決定され、当該閾値Ｄ_０が大きいほど中心領域は大きくなり、当該閾値Ｄ_０が小さいほど中心領域は小さくなる。また、領域判定手段１２では、外部から入力される固定された閾値Ｄ_０を用いて閾値処理を行うため、図４に示すように、閾値Ｄ_０が視聴者Ａの視野の中心領域の半径に相当することとなり、前記した閾値処理によって導き出される視聴者Ａの視野の中心領域は、同図に示すように真円状となる。

【0045】

なお、図４では、領域判定手段１２において、予め設定された一つの閾値を用いて、表示装置５０の画面上の画素ごとの距離を閾値処理したため、視聴者Ａの視野の中心領域が真円状となったが、当該中心領域の形状は、視聴者Ａの視聴特性に応じて臨機応変に変更することができ、例えば図５（ａ）に示す楕円状や、図５（ｂ）に示す長方形状等、様々な形状を適用することができる。

【0046】

領域判定手段１２は、例えば図５（ａ）に示すように、視野の中心領域を楕円状とする場合は、楕円の式を用いて領域判定を行う。この場合、視聴者Ａの視聴特性に応じて、楕円の長軸半径ａと、楕円の短軸半径ｂとが算出され、予め領域判定手段１２に入力される。また、領域判定手段１２には、図２に示すように、視線算出手段１１から視聴者Ａの視線位置Ｅ（ｘ，ｙ，ｔ）が入力されるとともに、外部から表示装置５０の画素情報が入力されている。

【0047】

そして、領域判定手段１２は、以下の式（２）を用いて、表示装置５０の画面上におけるそれぞれの画素が、視聴者Ａの視線位置Ｅ（ｘ，ｙ，ｔ）を中心とした楕円の領域、すなわち視聴者Ａの視野の中心領域に含まれるか否かを判定する。すなわち、領域判定手段１２は、視聴者Ａの視線位置Ｅ（ｘ，ｙ，ｔ）を楕円の原点に設定した上で、以下の式（２）を満たす画素位置Ｐ（ｘ，ｙ，ｔ）の画素については、視野の中心領域内であると判定し、以下の式（２）を満たさない画素位置Ｐ（ｘ，ｙ，ｔ）の画素については、視野の中心領域外であると判定し、図２に示すように、それぞれの画素位置Ｐ（ｘ，ｙ，ｔ）ごとの判定結果を加算処理手段１３に出力する。

【0048】

【数2】

【0049】

また同様に、領域判定手段１２は、例えば図５（ｂ）に示すように、視聴者Ａの視野の中心領域を長方形状とする場合は、長方形の式（図示省略）を用いて領域判定を行い、その判定結果を加算処理手段１３に出力する。そして、視聴者Ａの視野の中心領域を楕円状や長方形状以外の形状とする場合も、これらに対応する形状の式（図示省略）を用いることで領域判定を行うことができる。

【0050】

加算処理手段１３は、映像に対して加算平均処理を行うものである。加算処理手段１３には、図２に示すように、撮像装置３０または映像再生装置４０から映像が入力され、領域判定手段１２から判定結果が入力される。そして、加算処理手段１３は、予め設定された領域範囲に含まれると領域判定手段１２に判定された画素位置Ｐ（ｘ，ｙ，ｔ）に表示される映像の画素について、フレーム加算処理を行い、予め設定された領域範囲に含まれないと領域判定手段１２に判定された画素位置Ｐ（ｘ，ｙ，ｔ）に表示される映像の画素について、画素加算処理を行う。

【0051】

なお、図６に示すように、フレーム加算処理とは、映像中における２つのフレームの同じ位置の画素値を加算平均処理することを意味しており、画素加算処理とは、映像中における同一フレームの異なる位置の画素値を加算平均処理することを意味している。以下、加算処理手段１３によって行われる処理を、フレーム加算処理と画素加算処理とに分けてそれぞれ説明する。また、以下では、前記した領域判定手段１２において、図４に示すように、予め設定された閾値Ｄ_０を用いて、真円状の領域で行った領域判定の結果に基づいて、加算平均処理を行う例を説明する。

【0052】

（フレーム加算処理）
加算処理手段１３は、領域判定手段１２によって閾値Ｄ_０未満である（すなわち視野の中心領域内）と判定された画素位置Ｐ（ｘ，ｙ，ｔ）に表示される映像の画素について、フレーム加算処理、すなわち前フレームにおける同一位置の画素と加算平均処理（図６参照）を行うことで時間解像度を低下させる。加算処理手段１３は、より具体的には以下の式（３）に示すように、時間方向のローパスフィルター処理（前フレームとの加算平均処理）を行い、表示データＰ_{ｆｒａｍｅ＿ａｖｇ}（ｘ，ｙ，ｔ）を算出する。

【0053】

【数3】

【0054】

ここで、式（３）におけるＰ_{ｆｒａｍｅ＿ａｖｇ}は、任意の画素位置Ｐ（ｘ，ｙ，ｔ）におけるフレーム加算処理後の画素値を示している。また、式（３）における小文字のｐ（ｘ，ｙ，ｔ），ｐ（ｘ，ｙ，ｔ−１）は、任意の画素位置Ｐ（ｘ，ｙ，ｔ），Ｐ（ｘ，ｙ，ｔ−１）における画素値を示している。また、式（３）におけるｘは、映像の水平画素番号を示しており、ｙは、映像の垂直画素番号を示しており、ｔは、フレーム番号を示している。

【0055】

このように、加算処理手段１３によってフレーム加算処理を行うことで、表示装置５０の時間解像度（フレームレート、フレーム周波数）が一定であっても、同じまたは類似した表示データを同じ画素位置Ｐ（ｘ，ｙ，ｔ）に複数回表示することになるため、視聴者Ａにとっては表示装置５０の時間解像度を低下させることと等価となる。

【0056】

（画素加算処理）
加算処理手段１３は、領域判定手段１２によって閾値Ｄ_０を超える（すなわち視野の周辺領域内）と判定された画素位置Ｐ（ｘ，ｙ，ｔ）に表示される映像の画素について、画素加算処理、すなわち同一フレームにおける周辺位置の画素との加算平均処理（図６参照）を行うことで空間解像度を低下させる。加算処理手段１３は、より具体的には以下の式（４）に示すように、空間方向のローパスフィルター処理（周辺４画素加算平均処理）を行い、表示データＰ_{２ｄ＿ａｖｇ}（ｘ，ｙ，ｔ）を算出する。

【0057】

【数4】

【0058】

ここで、式（４）におけるＰ_{２ｄ＿ａｖｇ}は、任意の画素位置Ｐ（ｘ，ｙ，ｔ）における画素加算処理後の画素値を示している。また、式（４）における小文字のｐ（ｘ＋１，ｙ，ｔ），ｐ（ｘ−１，ｙ，ｔ），ｐ（ｘ，ｙ＋１，ｔ），ｐ（ｘ，ｙ−１，ｔ）は、任意の画素位置Ｐ（ｘ＋１，ｙ，ｔ），Ｐ（ｘ−１，ｙ，ｔ），Ｐ（ｘ，ｙ＋１，ｔ），Ｐ（ｘ，ｙ−１，ｔ）における画素値を示している。また、式（４）におけるｘは、映像の水平画素番号を示しており、ｙは、映像の垂直画素番号を示しており、ｔは、フレーム番号を示している。

【0059】

このように、加算処理手段１３によって画素加算処理を行うことで、表示装置５０の空間解像度（空間周波数）が一定であっても、同じまたは類似した表示データを複数の画素位置Ｐ（ｘ，ｙ，ｔ）に表示することになるため、視聴者Ａにとっては表示装置５０の空間解像度を低下させることと等価となる。

【0060】

ここで、前記したような加算処理手段１３における処理は、例えば以下の式（５）に示すようなアルゴリズムで示すことができる。なお、以下の式（５）におけるＰ_ｄｉｓｐは、任意の画素位置Ｐ（ｘ，ｙ，ｔ）における加算処理後の画素値を示している。

【0061】

【数5】

【0062】

以上のような構成を備える映像提示装置１０は、視聴者Ａの視野に基づいて、映像を構成するフレームごとに時間解像度または空間解像度が異なる映像を提示することができる。例えば、撮影および表示に用いる映像フォーマットとしてフルスペック・スーパーハイビジョン信号、すなわち、表示装置５０の画面全体の解像度を水平７６８０画素×垂直４３２０画素の３３００万画素相当とし、フレーム周波数（時間解像度）を１２０Ｈｚ／秒とした映像を提示する場合を想定する。この場合、映像提示装置１０は、視聴者Ａの視線に従い、その視野の中心領域では、表示する映像の空間解像度を高解像度、例えばフルスペックに相当する空間解像度とし、かつ、映像の時間解像度、すなわちフレーム周波数をフルスペックよりも低いレート、例えば６０フレーム／秒とした映像を生成し、表示装置５０に出力する。一方、映像提示装置１０は、視聴者Ａの視野の周辺領域では、表示する映像の空間解像度を低解像度、例えばフルスペックの半分に相当する空間解像度とし、かつ、映像の時間解像度、すなわちフレーム周波数をフルスペックのままの高いレート、例えば１２０フレーム／秒とした映像を生成し、表示装置５０に出力する。

【0063】

このように、映像提示装置１０は、視線算出手段１１によって、表示装置５０の画面上における視聴者Ａの視線位置を算出し、領域判定手段１２によって、表示装置５０の画面上における各画素が視聴者Ａの視野の中心領域に含まれるか否かを判定する。そして、映像提示装置１０は、加算処理手段１３によって、視聴者Ａの視野の中心領域内の画素についてフレーム加算処理を行うことで、映像の時間解像度を低下させることができるとともに、視聴者Ａの視野の周辺領域内の画素について画素加算処理を行うことで、映像の空間解像度を低下させることができる。そのため、映像提示装置１０は、画素位置Ｐ（ｘ，ｙ，ｔ）ごとに時間解像度または空間解像度の異なる映像を提示することができる。

【0064】

なお、視聴者Ａの視野の中心領域を高解像度および低フレームレートにし、視野の周辺領域を低解像度および高フレームレートにする理由は、人間の視覚特性に基づいている。すなわち、人間の視覚特性は、視野の中心領域では細かいものまで認識できるものの動きには敏感ではなく、視野の周辺領域では動きには敏感であるが細かいものまで認識できない、という特徴がある。従って、このような人間の視覚特性を考慮することで、視聴者Ａに違和感を持たせることなく映像の時間解像度および空間解像度を調整することができる。

【0065】

従って、映像提示装置１０によれば、視聴者Ａの視線の中心領域と周辺領域とで時間解像度または空間解像度の異なる映像を提示することで、場所（画素位置）や時間（フレーム）によって光の信号量がランダムに変化する光ショットノイズによる光のばらつきを平均化することができるため、撮像素子の性能を変更することなく光ショットノイズの影響を低減することができる。また、映像提示装置１０によれば視聴者Ａの視野・視線を認識し、視聴者Ａの視覚特性に合わせた映像をリアルタイムで生成して提示することによって、視聴者Ａが違和感を持つことなく、高い映像品質での視聴が可能となる。

【0066】

以下、映像提示装置１０の動作（真円状の領域を視野の中央領域とする場合（図４参照））について、図７を参照しながら説明する。まず、映像提示装置１０は、視線算出手段１１によって、視聴者Ａの視線位置Ｅ（ｘ，ｙ，ｔ）を算出する（ステップＳ１）。次に、映像提示装置１０は、領域判定手段１２によって、視線位置Ｅ（ｘ，ｙ，ｔ）と画素位置Ｐ（ｘ，ｙ，ｔ）との距離Ｄ（ｘ，ｙ）を算出する（ステップＳ２）。次に、映像提示装置１０は、領域判定手段１２によって、距離Ｄ（ｘ，ｙ）が予め設定された閾値Ｄ_０未満であるか否かを判定する（ステップＳ３）。

【0067】

次に、映像提示装置１０は、領域判定手段１２によって、距離Ｄ（ｘ，ｙ）が予め設定された閾値Ｄ_０未満であると判定された場合（ステップＳ３においてＹｅｓ）、加算処理手段１３によって、当該距離Ｄ（ｘ，ｙ）を算出した際の画素位置Ｐ（ｘ，ｙ，ｔ）について、フレーム加算処理を行い（ステップＳ４）、表示装置５０に出力する（ステップＳ６）。一方、映像提示装置１０は、領域判定手段１２によって、距離Ｄ（ｘ，ｙ）が予め設定された閾値Ｄ_０を超えると判定された場合（ステップＳ３においてＮｏ）、加算処理手段１３によって、当該距離Ｄ（ｘ，ｙ）を算出した際の画素位置Ｐ（ｘ，ｙ，ｔ）について、画素加算処理を行い（ステップＳ５）、表示装置５０に出力する（ステップＳ６）。

【0068】

映像提示装置１０は、以上のような手順を、表示装置５０の画面上の画素ごとに行うことにより、視聴者Ａの視野の中心領域内の画素についてフレーム加算処理を行って時間解像度を低下させることができるとともに、視聴者Ａの視野の周辺領域内の画素について画素加算処理を行って空間解像度を低下させることができる。

【0069】

［第２実施形態］
以下、本発明の第２実施形態に係る映像提示装置１０Ａについて、図８を参照しながら説明する。映像提示装置１０Ａは、図８に示すように、領域判定手段１２の代わりに領域判定手段１２Ａを備え、視聴距離算出手段１４をさらに備えている以外は、第１実施形態に係る映像提示装置１０と同様の構成を備えている。従って、以下の説明では、映像提示装置１０との相違点を中心に説明を行い、当該映像提示装置１０と重複する構成および映像提示装置１０Ａの動作については詳細説明を省略する。

【0070】

映像提示装置１０Ａは、領域判定手段１２Ａにおいて用いられる領域範囲（中央領域）の大きさが、視聴者Ａと表示装置５０との距離によって変化することを特徴としている。すなわち、映像提示装置１０Ａは、図８に示すように、視聴距離算出手段１４によって算出された視聴者Ａと表示装置５０との距離に応じて、異なる閾値Ｄ_０または異なる式を用いて領域判定を行う。

【0071】

視聴距離算出手段１４は、撮像装置２０によって撮影された映像から、視聴者Ａと表示装置５０との距離である視聴距離を算出するものである。ここで、視聴距離の算出方法は特に限定されず、例えば「特開２００３−９７９１４号公報」における方法を用いることができる。そして、視聴距離算出手段１４は、図８に示すように、算出した視聴距離を領域判定手段１２Ａに出力する。

【0072】

このような視聴距離算出手段１４を備える映像提示装置１０Ａは、領域判定手段１２Ａによって、表示装置５０の画面上におけるそれぞれの画素が、視聴者Ａの視線位置Ｅ（ｘ，ｙ，ｚ）を中心とした、視聴距離に応じて設定された領域範囲に含まれるか否かを判定する。すなわち、領域判定手段１２Ａは、予め外部から入力された閾値Ｄ_０または式を、視聴距離に応じて補正し、補正後の閾値Ｄ_０または式に基づいて領域判定を行う。

【0073】

例えば、領域判定手段１２Ａは、図４に示すように、予め設定された閾値Ｄ_０を用いて、真円状の領域で領域判定を行う場合は、視聴距離に応じて当該閾値Ｄ_０を増減させることで、真円状の領域を拡大または縮小させて領域判定を行う。また、領域判定手段１２Ａは、図５（ａ）に示すように、予め設定された長軸半径ａおよび短軸半径ｂを用いて、楕円状の領域で領域判定を行う場合は、視聴距離に応じて当該長軸半径ａおよび短軸半径ｂを増減させることで、楕円状の領域を拡大または縮小させて領域判定を行う。

【0074】

ここで、視聴者Ａの視野は、一般的に表示装置５０の画面に近づく程小さくなり、表示装置５０の画面から遠ざかる程大きくなる。従って、領域判定手段１２Ａは、視聴距離が短い場合は、閾値Ｄ_０または長軸半径ａおよび短軸半径ｂを減少させることで真円状および楕円状の領域範囲を縮小し、縮小後の領域範囲で領域判定を行う。一方、領域判定手段１２Ａは、視聴距離が長い場合は閾値Ｄ_０、長軸半径ａおよび短軸半径ｂを増加させることで真円状および楕円状の領域範囲を拡大し、拡大後の領域範囲で領域判定を行う。

【0075】

以上のような構成を備える映像提示装置１０Ａは、視聴距離算出手段１４によって、視聴者Ａの視聴距離を算出し、領域判定手段１２Ａによって、視聴者Ａの視聴距離ごとに異なる大きさの領域範囲を用いて領域判定を行うことができる。従って、映像提示装置１０Ａは、表示装置５０に対する視聴者Ａの距離に応じて、画素加算およびフレーム加算の基準となる視聴者Ａの視野の中心領域の大きさを臨機応変に変更することができる。例えば、映像提示装置１０Ａは、視聴者Ａが表示装置５０から近い位置で視聴する場合は、小さな中心領域を用いて領域判定を行い、その結果に基づいて加算平均処理を行うことができ、視聴者Ａが表示装置５０から遠い位置で視聴する場合は、大きな中心領域を用いて領域判定を行い、その結果に基づいて加算平均処理を行うことができる。

【0076】

従って、映像提示装置１０Ａによれば、視聴者Ａと表示装置５０との距離を考慮して当該視聴者Ａの視野の中心領域および周辺領域を決定するため、当該中心領域と周辺領域とで時間解像度または空間解像度を変化させた場合であっても、視聴者Ａが違和感を覚えることのない自然な映像を提示することができる。

【0077】

［第３実施形態］
以下、本発明の第３実施形態に係る映像提示装置１０Ｂについて、図９〜図１１を参照しながら説明する。映像提示装置１０Ｂは、図９に示すように、加算処理手段１３の代わりに撮像素子１５を備える以外は、第１実施形態に係る映像提示装置１０と同様の構成を備えている。従って、以下の説明では、映像提示装置１０との相違点を中心に説明を行い、当該映像提示装置１０と重複する構成および映像提示装置１０Ｂの動作については詳細説明を省略する。

【0078】

映像提示装置１０Ｂは、加算処理手段１３（第１、第２実施形態）で行っていた加算平均処理が、撮像装置３０Ａ内の撮像素子１５において行われることを特徴としている。すなわち、映像提示装置１０Ｂは、撮像装置２０からの視線情報に基づく距離判定結果を撮像素子１５にフィードバックし、当該撮像素子１５において画素加算処理およびフレーム加算処理を行う。

【0079】

撮像素子１５は、撮像装置３０Ａのレンズ（図示省略）から入射した光を電気信号に変換するものである。撮像素子１５は、図１０および図１１に示すように、複数の光電変換部１５１と、複数の転送ゲートトランジスタ１５２と、電荷電圧変換部１５３と、選択トランジスタ１５４と、リセットトランジスタ１５５と、を備えている。なお、図１１では、リセットトランジスタ１５５の図示を省略している。

【0080】

光電変換部１５１は、撮影対象からの光を電荷に変換するフォトダイオードである。また、転送ゲートトランジスタ１５２は、光電変換部１５１に蓄積された電荷を電荷電圧変換部１５３に転送するものである。また、電荷電圧変換部１５３は、光電変換部１５１から転送される電荷を電圧に変換して蓄積するフローティングディフュージョンである。また、選択トランジスタ１５４は、転送ゲートトランジスタ１５２によって電荷電圧変換部１５３に電荷を転送するか否かを選択するゲートスイッチである。また、リセットトランジスタ１５５は、光電変換部１５１に蓄積された電荷をリセットするリセットスイッチである。

【0081】

このような構成を備える撮像素子１５は、領域判定手段１２による判定結果に応じてフレーム加算処理および画素加算処理を行う。以下、撮像素子１５によって行われる処理を、フレーム加算処理と画素加算処理とに分けてそれぞれ説明する。また、以下では、前記した領域判定手段１２において、図４に示すように、予め設定された閾値Ｄ_０を用いて、真円状の領域で行った領域判定の結果に基づいて、加算平均処理を行う例を説明する。

【0082】

（フレーム加算処理）
フレーム加算処理において、図１０に示すように、撮像素子１５内部の各画素（光電変換部１５１）の蓄積電荷は、通常動作では読み出し動作後、リセットトランジスタ１５５によってリセット電位にリセットされる。このリセットトランジスタ１５５を操作し、読み出し操作およびリセット操作を行わない場合、光電変換部１５１の蓄積電荷は次のフレームも蓄積動作を継続する。そして、これを適当なフレーム分蓄積した後に読み出すと、読み出した画素信号はフレーム蓄積された画素信号となるため、撮像素子１５内部でフレーム加算処置を行うことが可能となる。なお、これらのリセットトランジスタ１５５のスイッチ制御は、領域判定手段１２の判定結果に含まれる制御信号によって操作される。

【0083】

このように、撮像素子１５は、領域判定手段１２によって予め定められた領域範囲内（閾値Ｄ０未満）であると判定された画素位置Ｐ（ｘ，ｙ，ｔ）に表示される映像の画素に対応する電荷が光電変換部１５１に蓄積された際に、リセットトランジスタ１５５によるリセットを行わないことにより、閾値Ｄ０未満であると判定された画素について、前フレームにおける同一位置の画素と加算処理を行って時間解像度を低下させる。

【0084】

（画素加算処理）
画素加算処理において、図１１に示すように、撮像素子１５内部の各画素（光電変換部１５１）からの読み出しは、転送ゲートトランジスタ１５２（ｇａｔｅ１〜４）を経て、共通の電荷電圧変換部１５３（フローティングディフュージョン）に転送されて読み出される。転送ゲートトランジスタ１５２（ｇａｔｅ１〜４）のｏｎ／ｏｆｆを制御する選択トランジスタ１５４（Ｇａｔｅ ｓｗｉｔｃｈ１〜４）を操作することにより、任意の組み合わせで画素混合、すなわち画素加算を行うことが可能となる。例えば選択トランジスタ１５４のＧａｔｅ ｓｗｉｔｃｈ１とＧａｔｅ ｓｗｉｔｃｈ２とを同時にｏｎとすると、水平方向の２画素の蓄積電荷が同時に電荷電圧変換部１５３に転送され、画素加算処理されることになる。同様に、選択トランジスタ１５４のＧａｔｅ ｓｗｉｔｃｈ１とＧａｔｅ ｓｗｉｔｃｈ３とを同時にｏｎすると、直画素加算、選択トランジスタ１５４のＧａｔｅ ｓｗｉｔｃｈ１〜４を同時にｏｎすると４画素加算となる。なお、これらの選択トランジスタ１５４のスイッチ制御は、領域判定手段１２の判定結果に含まれる制御信号によって操作される。

【0085】

このように、撮像素子１５は、領域判定手段１２によって領域範囲外（閾値Ｄ_０以上）であると判定された画素位置Ｐ（ｘ，ｙ，ｔ）に表示される映像の画素およびその周辺の画素にそれぞれ対応する電荷を、選択トランジスタ１５４による選択に従って、転送ゲートトランジスタ１５２によって電荷電圧変換部１５３に同時に転送することで、閾値Ｄ_０以上であると判定された画素について、同一フレームにおける周辺位置の画素との加算平均処理を行って空間解像度を低下させる。

【0086】

以上のような構成を備える映像提示装置１０Ｂは、視線算出手段１１によって、表示装置５０の画面上における視聴者Ａの視線位置Ｅ（ｘ，ｙ，ｔ）を算出し、領域判定手段１２によって、表示装置５０の画面上における各画素が視聴者Ａの視野の中心領域に含まれるか否かを判定する。そして、映像提示装置１０Ｂは、撮像素子１５内において、視聴者Ａの視野の中心領域内の画素についてフレーム加算処理を行うことで、映像の時間解像度を低下させることができるとともに、視聴者Ａの視野の周辺領域内の画素について画素加算処理を行うことで、映像の空間解像度を低下させることができる。そのため、映像提示装置１０Ｂは、画素位置Ｐ（ｘ，ｙ，ｔ）ごとに時間解像度または空間解像度の異なる映像を提示することができる。

【0087】

従って、映像提示装置１０Ｂによれば、視聴者Ａの視線の中心領域と周辺領域とで時間解像度または空間解像度の異なる映像を提示することで、光ショットノイズによる光のばらつきを平均化することができるため、撮像素子の性能を変更することなく光ショットノイズの影響を低減することができる。また、映像提示装置１０Ｂによれば、撮像装置３０Ａ内の撮像素子１５によって画素加算処理およびフレーム加算処理を行うことができるため、装置全体の構成の数を減らし、コストを低減することができる。

【0088】

［第４実施形態］
以下、本発明の第４実施形態に係る映像提示装置１０Ｃについて、図１２および図１３を参照しながら説明する。映像提示装置１０Ｃは、図１２に示すように、領域判定手段１２の代わりに領域判定手段１２Ｂを備える以外は、第１実施形態に係る映像提示装置１０と同様の構成を備えている。従って、以下の説明では、映像提示装置１０との相違点を中心に説明を行い、当該映像提示装置１０と重複する構成および映像提示装置１０Ｃの動作については詳細説明を省略する。

【0089】

映像提示装置１０Ｃは、前記した映像提示装置１０をゲーム装置６０からの映像に応用したものである。映像提示装置１０Ｃは、ゲーム装置６０から入力される速度を伴う映像についてフレーム加算処理および画素加算処理を行うことを特徴としている。すなわち、映像提示装置１０Ｃは、図１２に示すように、領域判定手段１２Ｂを備え、当該領域判定手段１２Ｂによる判定結果に従ってフレーム加算処理および画素加算処理を行う。

【0090】

ゲーム装置６０は、映像提示装置１０Ｃおよび表示装置５０を介して、視聴者Ａにゲームの映像を提供するものである。このゲームの映像は、ゲーム装置６０に接続されたコントローラ等の入力手段（図示省略）による視聴者Ａの操作が反映された映像である。例えば、視聴者Ａがゲーム装置６０によって、ドライビングシミュレーションのゲームをプレイしている場合、表示装置５０の画面上には図１３に示すように、ゲーム内における車からの視野に対応する映像が表示される。そして、視聴者Ａがコントローラを介してゲーム内の車を走行させると、図１３に示すように、車の速度に応じて映像が流れる（変化する）ように構成されている。

【0091】

領域判定手段１２Ｂは、表示装置５０の画面上におけるそれぞれの画素が、視聴者Ａの視線位置Ｅ（ｘ，ｙ，ｔ）を中心とした、予め速度に関する情報に応じて設定された領域範囲に含まれるか否かを判定するものである。ここでの領域範囲は、映像が変化する速度に応じた視聴者Ａの視野に基づいて算出され、予め領域判定手段１２Ｂに入力されている。また、この領域範囲は、図１３（ｂ）、（ｃ）に示すように、視聴者Ａの視覚特性を考慮して、像が変化する速度が遅いほど大きくなるように設定され、映像が変化する速度が速いほど小さくなるように設定される。

【0092】

例えば、視聴者Ａがゲーム装置６０によって、ドライビングシミュレーションのゲームをプレイしている場合を考える。この場合、領域判定手段１２Ｂは、図１３（ａ）に示すように車が停止している場合は、領域範囲を設定しない。一方、領域判定手段１２Ｂは、図１３（ｂ）に示すように車が時速５０ｋｍで走行している場合は、同図に示すような大きさの領域範囲を設定する。また、領域判定手段１２Ｂは、図１３（ｃ）に示すように、車が時速２００ｋｍで走行している場合は、車が時速５０ｋｍで走行している場合（図１３（ｂ）参照）よりも狭い大きさの領域範囲を設定する。そして、領域判定手段１２Ｂは、それぞれの大きさの領域範囲を用いて領域判定を行う。

【0093】

このような領域判定手段１２Ｂを備えた映像提示装置１０Ｃは、当該領域判定手段１２Ｂによって領域範囲に含まれると判定された画素位置Ｐ（ｘ，ｙ，ｔ）に表示される映像の画素について、前フレームにおける同一位置の画素と加算平均処理を行うことで時間解像度を低下させる。また、映像提示装置１０Ｃは、当該領域判定手段１２Ｂによって領域範囲に含まれないと判定された画素位置Ｐ（ｘ，ｙ，ｔ）に表示される映像の画素について、同一フレームにおける周辺位置の画素との加算平均処理を行うことで空間解像度を低下させる。つまり、映像提示装置１０Ｃは、加算処理手段１３によって、ゲーム内における映像の速度に応じた加算平均処理を行い、映像の時間解像度または空間解像度を低下させる。

【0094】

以上のような構成を備える映像提示装置１０Ｃは、視線算出手段１１によって、表示装置５０の画面上における視聴者Ａの視線位置Ｅ（ｘ，ｙ，ｔ）を算出し、領域判定手段１２Ｂによって、表示装置５０の画面上における各画素が、映像の速度に応じた視聴者Ａの視野の中心領域に含まれるか否かを判定する。そして、映像提示装置１０Ｃは、加算処理手段１３によって、視聴者Ａの視野の中心領域内の画素についてフレーム加算処理を行うことで、映像の時間解像度を低下させることができるとともに、視聴者Ａの視野の周辺領域内の画素について画素加算処理を行うことで、映像の空間解像度を低下させることができる。そのため、映像提示装置１０は、表示装置５０が表示する映像の速度に応じて、画素位置Ｐ（ｘ，ｙ，ｔ）ごとに時間解像度または空間解像度の異なる映像を提示することができる。

【0095】

従って、映像提示装置１０Ｃによれば、視聴者Ａの視線の中心領域と周辺領域とで時間解像度または空間解像度の異なる映像を提示することで、ゲーム装置６０からの映像に光ショットノイズが含まれている場合であっても、当該光ショットノイズによる光のばらつきを平均化することができるため、撮像素子の性能を変更することなく光ショットノイズの影響を低減することができる。また、映像提示装置１０Ｃによれば、ゲーム装置６０からの映像（ゲーム映像）が速度によって変化する場合において、当該速度に応じて映像の時間解像度または空間解像度を変化させることで臨場感のある映像を視聴者Ａに提示することができる。

【0096】

［映像提示プログラム］
ここで、前記した映像提示装置１０，１０Ｃは、一般的なコンピュータを、前記した各手段および各部として機能させるプログラムにより動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

【0097】

以上、本発明に係る映像提示装置および映像提示プログラムについて、発明を実施するための形態により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変等したものも本発明の趣旨に含まれることはいうまでもない。

【0098】

例えば、映像提示装置１０，１０Ａ，１０Ｂ，１０Ｃは、いずれも視聴者Ａの視野の中心領域と周辺領域とを選別し、映像中におけるそれぞれの領域について加算平均処理を行うことで画素位置ごとに時間解像度または空間解像度の異なる映像を提示していたが、視聴者Ａの視野の中心領域と周辺領域とを明確に選別せずに、画素位置ごとに時間解像度または空間解像度の異なる映像を提示することもできる。

【0099】

この場合、当該変形例に係る映像提示装置は、まず視線算出手段によって視聴者Ａの視線位置Ｅ（ｘ，ｙ，ｔ）を算出した後、領域判定手段によって、前記した式（１）を用いて、視聴者Ａの視線位置Ｅ（ｘ，ｙ，ｔ）と、表示装置５０の画面上におけるそれぞれの画素位置Ｐ（ｘ，ｙ，ｔ）と、の距離Ｄ（ｘ，ｙ）を算出する。

【0100】

そして、変形例に係る映像提示装置は、以下の式（６）を用いて、表示装置５０の画面上におけるそれぞれの画素位置Ｐ（ｘ，ｙ，ｔ）における画素値Ｐ_ｄｉｓｐを算出する。

【0101】

【数6】

【0102】

ここで、ｃ_１およびｃ_２は、距離Ｄ（ｘ，ｙ）に応じた関数である。式（６）におけるｃ_１は、距離Ｄ（ｘ，ｙ）が小さいほど大きな値となり、距離Ｄ（ｘ，ｙ）が大きいほど小さな値となるように設定される。また、式（６）におけるｃ_２は、距離Ｄ（ｘ，ｙ）が小さいほど小さな値となり、距離Ｄ（ｘ，ｙ）が大きいほど大きな値となるように設定される。そして、式（６）におけるＰ_{ｆｒａｍｅ＿ａｖｇ}は、前記した式（３）によって算出することができ、Ｐ_{２ｄ＿ａｖｇ}は、前記した式（４）によって算出することができる。

【0103】

このように、変形例に係る映像提示装置は、映像中における各画素について、フレーム加算処理と画素加算処理を同時に行うとともに、視聴者Ａの視線位置Ｅ（ｘ，ｙ，ｔ）との距離Ｄ（ｘ，ｙ）距離が近ければ近いほどフレーム加算処理の影響を高くなり、視聴者Ａの視線位置Ｅ（ｘ，ｙ，ｔ）との距離Ｄ（ｘ，ｙ）距離が遠ければ遠いほど画素加算処理の影響が高くなるように構成されている。従って、変形例に係る映像提示装置は、視聴者Ａに対してより自然な映像を提示することができる。

【0104】

また、前記した映像提示装置１０Ｃは、領域判定手段１２Ｂによって、図１３（ｂ）、（ｃ）に示すように、楕円形の領域（視野の中心領域）を決定していたが、当該領域の形状はこれに限られない。例えば、映像提示装置１０Ｄは、ゲーム内における車の速度が時速５０ｋｍである場合に、図１４（ａ）に示すように、長方形の領域を決定することもできる。また、映像提示装置１０Ｄは、ゲーム内における車の速度が時速５０ｋｍから時速２００ｋｍに上がった場合に、図１４（ｂ）に示すように、横長になるように領域を縮小することもでき、あるいは、図１４（ｃ）に示すように、縦長になるように領域を縮小することもできる。

【符号の説明】

【0105】

１ 映像提示システム
１０，１０Ａ，１０Ｂ，１０Ｃ 映像提示装置
１１ 視線算出手段
１２，１２Ａ，１２Ｂ 領域判定手段
１３ 加算処理手段
１４ 視聴距離算出手段
１５ 撮像素子
１５１ 光電変換部（フォトダイオード）
１５２ 転送ゲートトランジスタ
１５３ 電荷電圧変換部
１５４ 選択トランジスタ
１５５ リセットトランジスタ
２０ 撮像装置（眼球撮像装置）
３０，３０Ａ 撮像装置（映像撮像装置）
４０ 映像再生装置
５０ 表示装置
６０ ゲーム装置
Ａ 視聴者
Ｄ_０ 閾値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】