(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0014】
以下、図面を参照して、本発明の実施の形態について説明する。
図1は、この発明の一実施形態による立体映像表示装置10の構成を示す概略ブロック図である。本実施形態における立体映像表示装置10は、視聴者の位置を検出して、該視聴者が立体視聴可能なように視域を制御するインテグラル方式の立体映像表示装置である。
図1に示すように、立体映像表示装置10は、カメラ部11、視聴者位置検出部12、表示制御部13、表示部姿勢駆動部14、立体映像情報取得部15、要素画像構成部16、表示部17を含んで構成される。
【0015】
カメラ部11は、複数の視聴者までの距離を検出するとともに、複数の視聴者を撮影するビデオカメラである。視聴者位置検出部12は、カメラ部11が検出した距離と、撮影した映像とを用いて、表示部17に対する視聴者各々の顔の、表示部17に対する3次元的な位置を検出する。該位置の検出は、例えば、三田らのJoint Haar−Like特徴量(三田雄志、金子敏充、堀修、“顔検出に適した共起に基づくJoint Haar-like特徴”、電子情報通信学会論文誌Dvol.J89-D No.8 pp.1791-1801,2006)を用いた顔検出により行う。なお、本実施形態では、カメラ部11を用いて視聴者各々の顔の位置を検出したが、レーダー、ステレオカメラなど、その他の方法で、位置を検出するようにしてもよい。
【0016】
表示制御部13は、視聴者位置検出部12が検出した視聴者各々の位置が、3D視聴可能な視域に含まれるように、表示部17が表示する要素画像の形状を決定する。表示制御部13の処理の詳細は後述するが、本実施形態において、要素画像の形状は、矩形を回転させたものであり、表示制御部13は、該矩形の長辺の長さEx(以降、要素画像の幅という)、短辺の長さEy(以降、要素画像の高さという)、回転角θ
Eを決定することで、要素画像の形状を決定する。また、表示制御部13は、要素画像の拡大縮小率α(以降、ピッチαという)と、中心の要素画像のシフト量Tも決定する。なお、シフト量Tの横方向の成分をT
x、縦方向の成分をT
yと表記する。また、中心の要素画像とは、レンズアレイ部220の中心に位置する凸レンズに対応する要素画像である。
【0017】
なお、要素画像の拡大縮小率αは、要素画像が2次元方向に配列された要素画像アレイの拡大縮小率でもある。また、シフト量Tも、要素画像が2次元方向に配列された要素画像アレイのシフト量でもある。すなわち、拡大縮小およびシフト前の要素画像を2次元方向に配列した要素画像アレイを、該要素画像アレイの中心が移動しないように、α倍した後、シフト量Tだけシフトさせると、要素画像表示部210に表示させる要素画像アレイが得られる。
【0018】
本実施形態における表示制御部13は、直接的には、要素画像のピッチα、シフト量T、後述する並び角θ
n、回転角θ
Eを決定する。並び角θ
nと回転角θ
Eとが決まると、表示部17の姿勢角θも決まる。ここで、表示部17の姿勢角θは、表示部17の表示面に垂直な軸回りの角度である。後述するように、並び角θ
nが決まるとピッチαによる拡大または縮小前の要素画像の幅Ex/αおよび高さEy/αは決まる。すなわち、凸レンズ22の配置を決定する姿勢角θ(=θ
n+θ
E)と、回転角θ
Eと、ピッチαによる拡大または縮小前の要素画像の幅Ex/αおよび高さEy/αとの組み合わせは、所定の規則を満たしている必要がある。したがって、姿勢角θ(=θ
n+θ
E)を変更可能とすることで、回転角θ
Eと、要素画像の幅Exおよび高さEyとを柔軟に制御可能としている。
【0019】
なお、表示制御部13は、視聴者位置検出部12から定期的に視聴者の位置を取得し、該位置を取得する度に、要素画像のピッチα、シフト量T、後述する並び角θ
n、回転角θ
Eの決定を行うようにしてもよいし、位置に変更があったときのみ、これらパラメータの決定を行うようにしてもよい。
【0020】
表示部姿勢駆動部14は、表示制御部13が決定した表示部17の姿勢角θとなるように、表示部17の姿勢を制御する。立体映像情報取得部15は、表示部17に表示させる立体映像の元となるデータを取得する。立体映像の元となるデータは、例えば、インテグラル方式で表示するための要素画像群からなるデータであってもよいし、立体形状を表すデータであってもよい。
【0021】
要素画像構成部16は、表示制御部13が決定した要素画像の形状(Ex、Ey、θ
E)、ピッチα、シフト量T、姿勢角θを用い、立体映像情報取得部15が取得したデータから、各要素画像を生成する。要素画像構成部16は、生成した要素画像を2次元方向に配列した画像を生成し、表示部17に表示させる。表示部17は、液晶ディスプレイ、有機ELディスプレイなどの画像表示デバイスである要素画像表示部210と、凸レンズがデルタ配列されたレンズアレイ部220(要素光学素子群)とを含んで構成される。要素画像表示部210は、要素画像構成部16が生成した画像を表示する。レンズアレイ部220は、視域内にいる視聴者が各凸レンズを介して、該凸レンズに対応する要素画像の一部を視聴するように、要素画像表示部210の前面に設けられている。
【0022】
図2は、表示部17の構成を示す模式的な分解斜視図である。表示部17は、要素画像表示部210の前面に、レンズアレイ部220が配置されている。レンズアレイ部220には、
図2に示すように、円形の凸レンズ22−1、22−2、・・・22−Nが、デルタ配列で、表示面全体に亘って設けられている。要素画像表示部210は、要素画像構成部16が生成した画像を表示する。要素画像構成部16が生成した画像は、
図2に示すように、レンズアレイ部220の凸レンズ各々に対応する要素画像21−1、21−2、・・・21−Nが、画像全体に亘って隙間なく配置されている。なお、
図2では、要素画像21−1、21−2、・・・21−N各々の形状は、その長辺が水平方向と平行となっている長方形であるが、後述するように、本実施形態では、異なる形状となる場合もある。
【0023】
図3は、表示部姿勢駆動部14による表示部17の姿勢制御を説明する外観図である。表示部姿勢駆動部14は、表示部17を左右の両端で支持し、伸縮可能な支持材14−1、14−2の伸縮を含んで構成される。支持材14−1、14−2は、接地面から表示部17との接合面までの長さを伸縮させることで、表示部17の姿勢角θを制御する。ここで、姿勢角θは、
図3に示すように、表示部17の長辺と平行な方向(以降、長辺方向という。同様に、短辺と平行な方向を短辺方向という。)の軸Xの、水平方向の軸X”からのずれを表す角(あるいは、表示部17の短辺方向の軸Yの、鉛直方向の軸Y”からのずれを表す角)であり、時計回りにずれているときを正とする。なお、姿勢角θを変更したときに、表示部17の中心が移動しないように、支持材14−1、14−2のうち、一方を伸ばす量と、他方を縮める量とを同じにすることが望ましいが、これに限定されない。
【0024】
図4は、要素画像21の配置を説明する外観図である。
図4において、x軸は、表示部17の長辺方向であり、x’軸は、要素画像21の長辺方向であり、x”軸は、水平方向である。また、表示部17の姿勢角θは、x軸とx”軸とがなす角となる。
図2でも説明したように、凸レンズ22は、デルタ配置で表示面全体に亘って設けられている。凸レンズ22各々に対して、対応する要素画像21が配置されている。そして、x’軸に沿って中心が位置する凸レンズ22に対応する要素画像21が、隙間なく並んで列を形成している。後述するように、並び角θ
nは、θ
0、θ
1、θ
2、・・・というように飛び飛びの値をとる。
図4は、並び角θ
nが、θ
1のときの例を示す図であるが、並び角θ
nが、その他の値をとるときも、x’軸に沿って中心が位置する凸レンズ22に対応する要素画像21は、隙間なく並んで列を形成する。
【0025】
図5は、表示制御部13が決定する各パラメータを説明する模式図である。
図5における要素画像21は、要素画像21−1〜21−Nのうちの一つであり、凸レンズ22に対応するものである。凸レンズ22は、凸レンズ22−1〜22−Nのうち、レンズアレイ部220の中心に位置するものである。x”軸は、凸レンズ22の中心を通る水平方向の軸であり、y”軸は、凸レンズ22の中心を通る鉛直方向の軸である。x軸は、表示部17の長辺方向であり、表示部17の姿勢角θが「0」であるときに、凸レンズ22の中心と、該凸レンズ22と水平方向に隣接する凸レンズの中心とを通る直線と一致する。したがって、
図3にて説明したように、x”軸と、x軸とがなす角は、表示部17の姿勢角θである。また、x’軸は、要素画像21の長辺方向であり、要素画像21が並ぶ方向である。
【0026】
凸レンズ22の中心から要素画像21の中心までのベクトルであるTは、表示制御部13が決定するシフト量である。Exは、要素画像21の幅、Eyは要素画像21の高さであるが、Exと、Eyとは、後述するように、x軸とx’軸とがなす角である並び角θ
nおよび要素画像のピッチαにより決まる。θ
Eは、水平方向と、要素画像21の長辺方向とが成す回転角である。すなわち、要素画像21は、水平方向の長さがExであり、鉛直方向の長さがEyである長方形を、θ
Eだけ時計回りに回転させたものである。なお、
図5からも分かるように、並び角θ
nと、回転角θ
Eとの和は、表示部17の姿勢角θである。
【0027】
図6は、要素画像21の幅Ex、高さEyと、ピッチαと、並び角θ
nとの関係を説明する説明図である。説明の簡易のために、
図6では表示部17の姿勢角θが「0」であり、ピッチαが「1」であり、シフト量Tが「0」である場合を示す。なお、ここでは、凸レンズ22に対応する要素画像21を例に説明するが、その他の要素画像についても、幅Ex、高さEyと、ピッチαと、並び角θ
nとの関係は同様である。
図6に示すように、本実施形態における並び角θ
nは、ある凸レンズ22の中心と、該凸レンズから1行n列ずれた位置の凸レンズの中心L
nとを通るx
n軸と、x軸(表示部17の長辺方向)とが成す角である。したがって、並び角θ
nは、θ
0、θ
1、θ
2、・・・というように、飛び飛びの値をとり、下記の式(1)で表せる。なお、θ
0は「0」である。
【0029】
また、並び角がθ
nであるときには、要素画像21の長辺方向は、x
n軸である。そして、要素画像21の長辺の長さは、凸レンズ22の中心からx
n軸方向の凸レンズの中心L
nまでの長さである。これらの条件を満たす要素画像21の幅Exは、式(2)で、高さEyは、式(3)で表せる。このように、ピッチαと並び角θ
nが決まると、幅Ex、高さEyも決まる。なお、式(2)、式(3)において、Pはレンズアレイ220のピッチすなわち、凸レンズ22の中心間の距離であり、αは要素画像の縮小率を表すピッチである。
【0031】
図7は、本実施形態における表示制御部13の動作を説明するフローチャートである。表示制御部13は、視聴者位置検出部12が視聴者各々の顔の位置を検出すると、以下の処理を行う。まず、表示制御部13は、決定するパラメータに初期値を設定する(S1)。決定するパラメータは、並び角θ
n、回転角θ
E、x”軸方向のシフト量T
x、y”軸方向のシフト量T
y、要素画像のピッチαである。それぞれの初期値は、θ
n=0、θ
E=0、T
x=0、T
y=0、α=1.0である。なお、初期値として、前回選択した値を設定するようにしてもよい。
【0032】
次に、表示制御部13は、各パラメータが設定されている値であるときの視域を算出する(S2)。次に、表示制御部13は、ステップS2にて算出した視域と、視聴者位置検出部12が検出した視聴者各々の顔の位置とを照合する(S3)。視域の算出と、視域と顔の位置との照合の詳細については後述する。次に、表示制御部13は、該照合に基づき、視聴者全員の顔が視域内であるか否かを判定する(S4)。視聴者全員の顔が視域内であるときは(S4−YES)、設定されているパラメータの値を、使用する値として選択し(S5)、処理を終了する。
【0033】
一方、ステップS4にて視聴者のいずれかの顔が視域内でないと判定したときは(S4−NO)、表示制御部13は、現在設定されているシフト量T、回転角θ
E、並び角θ
nにおいて、要素画像のピッチαの全範囲を変更したか否かを判定する(S6)。全範囲を変更していないときは(S6−NO)、表示制御部13は、所定の変化量dαだけ、要素画像のピッチαを変更し(S7)、ステップS2に戻る。なお、本実施形態では、所定の変化量dαの一例として「0.01」を用い、ピッチαの全範囲の一例として、「0.9<α<1.1」を用いる。
【0034】
一方、ステップS6にて、全範囲を変更したと判定したときは(S6−YES)、表示制御部13は、現在設定されているシフト量Tの横方向T
x、回転角θ
E、並び角θ
nにおいて、シフト量Tの縦方向Tyの全範囲を変更したか否かを判定する(S8)。全範囲を変更していないときは(S8−NO)、表示制御部13は、所定の変化量dTyだけ、シフト量Tの縦方向Tyを変更し(S9)、ステップS2に戻る。なお、本実施形態では、所定の変化量dTyの一例としてEy/100を用い、シフト量Tの縦方向Tyの全範囲の一例として、「−Ey/2<T
y<Ey/2」を用いる。
【0035】
一方、ステップS8にて、全範囲を変更したと判定したときは(S8−YES)、表示制御部13は、現在設定されている回転角θ
E、並び角θ
nにおいて、シフト量Tの横方向T
xの全範囲を変更したか否かを判定する(S10)。全範囲を変更していないときは(S10−NO)、表示制御部13は、所定の変化量dTxだけ、シフト量Tの横方向T
xを変更し(S11)、ステップS2に戻る。なお、本実施形態では、所定の変化量dTxの一例としてEx/100を用い、シフト量Tの横方向T
xの全範囲の一例として、「−Ex/2<T
x<Ex/2」を用いる。
【0036】
一方、ステップS10にて、全範囲を変更したと判定したときは(S10−YES)、表示制御部13は、現在設定されている並び角θ
nにおいて、回転角θ
Eの全範囲を変更したか否かを判定する(S12)。全範囲を変更していないときは(S12−NO)、表示制御部13は、所定の変化量dθ
Eだけ、回転角θ
Eを変更し(S13)、ステップS2に戻る。なお、本実施形態では、所定の変化量dθ
Eの一例としてπ/100を用い、回転角θ
Eの全範囲の一例として、「0≦θ
E<π」を用いる。
【0037】
一方、ステップS12にて、全範囲を変更したと判定したときは(S12−YES)、表示制御部13は、並び角θ
nの全範囲を変更したか否かを判定する(S14)。全範囲を変更していないときは(S14−NO)、表示制御部13は、nの値を1増加させて、並び角θ
nを変更し(S15)、ステップS2に戻る。なお、本実施形態では、nの値の範囲として0〜100を用いる。
【0038】
一方、ステップS14にて、全範囲を変更したと判定したときは(S14−YES)、表示制御部13は、ステップS3にて照合したときに、視域内に顔がある視聴者の数が最も多かったときのパラメータを選択し(S16)、処理を終了する。
【0039】
次に、
図7のフローチャートにおけるステップS2、S3の処理、すなわち視域の算出と、顔の位置と視域との照合について、説明する。表示制御部13は、レンズアレイ部220の4隅の凸レンズ22に対応する要素画像21各々が、表示部17からの距離が、表示部17から視聴者までの距離である平面に作る視域を算出し、これらに共通な領域を、視聴者が像全体を立体視できる視域とする。
図8は、視域の算出を説明する図である。
図8において、領域A1〜A4は、4隅の凸レンズ22に対応する要素画像21各々が作る領域である。これらに共通な領域VAが、視聴者が像全体を立体視できる視域であり、顔の位置が、該領域内であるか否かで、顔の位置と視域との照合を行う。
【0040】
表示制御部13は、要素画像21の各頂点のx座標X(i)(iは、頂点の通し番号)を式(4)に、y座標Y(i)(iは、頂点の通し番号)を式(5)に代入することで、領域A1〜A4の各々の頂点の座標Vx(i)、Vy(i)(iは、頂点の通し番号)を算出する。
【0042】
式(4)、(5)において、Lx、Lyは、当該要素画像21に対応する凸レンズ22の中心座標であり、gは、要素画像表示部210と、レンズアレイ部220との距離であり、Lは、表示部17から視聴者までの距離である。
【0043】
なお、本実施形態において、表示部姿勢駆動部14は、表示部17全体の姿勢を制御したが、要素画像表示部210の姿勢は変化させず、レンズアレイ部220の姿勢のみを変化させるようにしてもよい。
また、本実施形態において要素光学素子を凸レンズ22とする場合を説明したが、ピンホールであってもよい。
【0044】
また、凸レンズ22各々を液晶レンズにより実現し、表示部姿勢駆動部14は、表示部17の姿勢ではなく、該液晶レンズを形成する位置を制御することで、姿勢角θを制御するようにしてもよい。また、要素光学素子をピンホールとし、レンズアレイ部220に変えて、任意の位置にピンホールを生成可能な液晶パネルを用いる場合も同様である。
【0045】
また、本実施形態において、表示部17の姿勢角θが0のときに、凸レンズ22−1〜22−Nは、その各々の水平方向に隣接する凸レンズがあるようなデルタ配列で配置されているが、これに限らず、水平方向から所定のずれ角だけずれた方向に隣接する凸レンズがあるようなデルタ配列であってもよい。その場合、姿勢角θは、並び角θnと回転角θEとの和に、上述の所定のずれ角を加えた角度となる。
【0046】
また、本実施形態において、要素画像の形状は、矩形を回転させたものとしたが、例えば、六角形、菱形、平行四辺形など、その他の図形を回転させたものであってもよいし、複数の図形の中から選択したものを回転させたものであってもよい。
【0047】
このように、本実施形態における立体映像表示装置10は、要素画像の形状を、所定の図形を回転させたものとし、表示制御部13が、該回転の回転角θ
Eを決定するので、従来よりも柔軟に制御することができる。例えば、身長が異なるなどの理由で、複数人の顔がディスプレイの水平垂直方向に対して斜め方向に位置していても、回転角θ
Eを調整することで、複数人の顔が視域内に入れることができる。
【0048】
また、凸レンズ22はデルタ配列であり、要素画像の幅Exおよび高さEyは、ピッチαと、nの値によって決まるので、姿勢角θ(=θ
n+θ
E)と、回転角θ
Eと、ピッチαと、要素画像の幅Exおよび高さEyとの組み合わせは、所定の規則を満たしている必要がある。したがって、本実施形態は、姿勢角θ(=θ
n+θ
E)を変更可能、すなわち凸レンズ22の配置を変更可能とし、表示制御部13が姿勢角θを制御することで、回転角θ
Eと、要素画像の幅Exおよび高さEyとを柔軟に制御可能としている。
【0049】
また、本実施形態において、表示制御部13は、視聴者位置検出部12が検出した視聴者の顔の位置を用いて、要素画像21の形状を決定するので、該視聴者が立体視できるように、要素画像21の形状を決定することができる。
【0050】
また、
図1における視聴者位置検出部12、表示制御部13、表示部姿勢駆動部14、立体映像情報取得部15、要素画像構成部16の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部を実現するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0051】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0052】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。