特許第6042732号(P6042732)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電信電話株式会社の特許一覧
特許6042732画像生成方法、画像生成装置及び画像生成プログラム
<>
  • 特許6042732-画像生成方法、画像生成装置及び画像生成プログラム 図000004
  • 特許6042732-画像生成方法、画像生成装置及び画像生成プログラム 図000005
  • 特許6042732-画像生成方法、画像生成装置及び画像生成プログラム 図000006
  • 特許6042732-画像生成方法、画像生成装置及び画像生成プログラム 図000007
  • 特許6042732-画像生成方法、画像生成装置及び画像生成プログラム 図000008
  • 特許6042732-画像生成方法、画像生成装置及び画像生成プログラム 図000009
  • 特許6042732-画像生成方法、画像生成装置及び画像生成プログラム 図000010
  • 特許6042732-画像生成方法、画像生成装置及び画像生成プログラム 図000011
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6042732
(24)【登録日】2016年11月18日
(45)【発行日】2016年12月14日
(54)【発明の名称】画像生成方法、画像生成装置及び画像生成プログラム
(51)【国際特許分類】
   H04N 5/232 20060101AFI20161206BHJP
   H04N 5/225 20060101ALI20161206BHJP
【FI】
   H04N5/232 Z
   H04N5/225 F
【請求項の数】6
【全頁数】11
(21)【出願番号】特願2013-6379(P2013-6379)
(22)【出願日】2013年1月17日
(65)【公開番号】特開2014-138306(P2014-138306A)
(43)【公開日】2014年7月28日
【審査請求日】2015年2月18日
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】110001634
【氏名又は名称】特許業務法人 志賀国際特許事務所
(72)【発明者】
【氏名】伊達 宗和
(72)【発明者】
【氏名】高田 英明
(72)【発明者】
【氏名】小島 明
【審査官】 藤原 敬利
(56)【参考文献】
【文献】 特開2005−142765(JP,A)
【文献】 特開2003−009108(JP,A)
【文献】 特開2004−287517(JP,A)
【文献】 特開2012−191351(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222− 5/257
G06T 1/00 − 1/40
G06T 3/00 − 5/50
G06T 9/00 − 9/40
(57)【特許請求の範囲】
【請求項1】
被写体をそれぞれ異なる位置から撮像する複数の撮像手段と、前記被写体に対する視点位置を設定する視点位置設定手段とを備えた画像生成装置が行う画像生成方法であって、
前記被写体の画像を映す仮想のスクリーン上の各々の対象画素について、対象画素と前記視点位置を結ぶ光線に近い前記撮像手段を複数選択する選択ステップと、
前記選択ステップにおいて選択された複数の前記撮像手段によって撮像された複数の画像に基づいて、前記仮想のスクリーン上の各対象画素の画素値を算出し前記視点位置から見た前記被写体の画像を生成する画像生成ステップと
を有することを特徴とする画像生成方法。
【請求項2】
前記画像生成ステップでは、選択された複数の前記撮像手段によって撮像された複数の画像の対象画素の画素値から加重平均によって求めた値を生成すべき画像の対象画素の画素値とし、
前記加重平均する際の加重の係数を、前記光線からの前記撮像手段までの距離に応じた値とすることを特徴とする請求項1に記載の画像生成方法。
【請求項3】
前記画像生成ステップでは、前記光線との距離が最も小さい撮像手段の加重を、実際の撮像手段の位置よりもさらに前記光線の近くに位置しているとした場合の加重とすることを特徴とする請求項に記載の画像生成方法。
【請求項4】
前記画像生成ステップでは、生成すべき画像の画素位置と、前記撮像手段によって撮像た複数の画像の画素位置とのずれに応じて、シフトした位置の画素を前記対象画素として選択し、選択した前記対象画素の画素値の加重平均を求めることを特徴とする請求項2に記載の画像生成方法。
【請求項5】
被写体をそれぞれ異なる位置から撮像する複数の撮像手段と、
前記被写体に対する視点位置を設定する視点位置設定手段と、
前記被写体の画像を映す仮想のスクリーン上の各々の対象画素について、対象画素と前記視点位置を結ぶ光線に近い前記撮像手段を複数選択する選択手段と、
前記選択手段において選択された複数の前記撮像手段によって撮像された複数の画像に基づいて、前記仮想のスクリーン上の各対象画素の画素値を算出し前記視点位置から見た前記被写体の画像を生成する画像生成手段と
備えることを特徴とする画像生成装置。
【請求項6】
コンピュータに、請求項1からのいずれか1項に記載の画像生成方法を実行させるための画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、既存の画像から所望の視点位置の画像を生成する画像生成方法、画像生成装置及び画像生成プログラムに関する。
【背景技術】
【0002】
従来から、視点の変化に応じた画像を2次元ディスプレイ上に表示する技術が知られている(例えば、特許文献1参照)。図8(特許文献1の図1から引用)は、従来技術による映像表示のイメージを示す概念図である。図8において、ユーザ1が視点を変えると(3軸移動に対応)、映像中の対話相手2の奥行き位置(対話相手2とその背景の壁3)を、その視点の変化に応じて2次元ディスプレイ4上に表示することで、対話相手2、背景の壁3の見え方があたかも現実のように再現することができる。
【0003】
これは、ユーザ1が位置P1にて2次元ディスプレイ4に対峙する場合には、対話相手2を正面から見ているように表示し、ユーザ1が左側の位置P2から見ている場合には、対話相手2、及びその背景にある壁3との位置関係(奥行き)を反映し、対話相手2を左側から見ているように表示し、ユーザ1が右側の位置 P3から見ている場合には、対話相手2、及びその背景にある壁3との位置関係(奥行き)を反映し、対話相手2を右側から見ているように表示するものである。
【0004】
この従来技術を実現するために、ディスプレイ4に対するユーザ1の視点位置・姿勢の検出、ユーザ1の視点位置に応じた対話相手2の映像の生成・表示の2つの技術が重要であり、カメラから撮影された2次元映像から、人物と背景を分離し、多層化して奥行きを持つ3次元映像を生成し、ユーザの視点位置に応じて、ディスプレイ面に投影して表示することを提案している。
【0005】
しかしながら、特許文献1に記載の映像表示方法にあっては、ユーザと背景の位置関係や大きさを正しく表現はできるものの、背景が立体的な構造を有していた場合、ユーザ1の視点が変化しても背景が変化しないため、背景の状態を正しく表現することができないという問題がある。このような問題は、視線方向に応じた背景画像を生成すれば解決することができる。このような問題を解決する技術として、複数のカメラ画像から所望の位置の視点からの映像を生成する仮想視点画像生成方法が知られている(例えば、特許文献2参照)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2011−077710号公報
【特許文献2】特許第4052331号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献2に記載の仮想視点画像生成方法にあっては、複数の画像のマッチングにより奥行位置を推定して画像を計算するため、画像のテクスチャ状態によって奥行が取得できなかったり、奥行の誤差が大きすぎてしまったりという問題を有している。特許文献2に記載の仮想視点画像生成方法においては奥行位置の尤度を考慮して画質の向上を図っているが、高臨場感を与えられるような品質での特定の視点からの画像を作成することは困難であるという問題がある。
【0008】
本発明は、このような事情に鑑みてなされたもので、高臨場感を与えられる品質で所望の視点位置から見た画像を生成することができる画像生成方法、画像生成装置及び画像生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明は、被写体をそれぞれ異なる位置から撮像する複数の撮像手段と、前記被写体に対する視点位置を設定する視点位置設定手段とを備えた画像生成装置が行う画像生成方法であって、前記被写体と前記視点位置との位置関係と、前記被写体と前記撮像手段との位置関係とが近い前記撮像手段を複数選択する選択ステップと、前記選択ステップにおいて選択された複数の前記撮像手段によって撮像された複数の画像に基づいて、前記視点位置設定手段によって設定された前記視点位置から見た前記被写体の画像を生成する画像生成ステップとを有することを特徴とする。
【0010】
本発明は、前記画像生成ステップでは、選択された複数の前記撮像手段によって撮像された複数の画像の対象画素の輝度値から加重平均によって求めた値を生成すべき画像の対象画素の輝度値とすることを特徴とする。
【0011】
本発明は、前記画像生成ステップでは、前記加重平均する際の加重の係数を、前記位置関係の近さに応じた値とすることを特徴とする。
【0012】
本発明は、前記画像生成ステップでは、前記加重平均する際の加重の係数を、前記位置関係の近さに反比例する値とすることを特徴とする。
【0013】
本発明は、前記画像生成ステップでは、前記位置関係が最も近い前記撮像手段によって撮像した画像の画素値に対する前記加重の係数を0.5以上とすることを特徴とする。
【0014】
本発明は、前記画像生成ステップでは、生成すべき画像の画素位置と、前記撮像手段によって撮像した複数の画像の画素位置とのずれに応じて、シフトした位置の画素を前記対象画素として選択し、選択した前記対象画素の輝度値の加重平均を求めることを特徴とする。
【0015】
本発明は、被写体をそれぞれ異なる位置から撮像する複数の撮像手段と、前記被写体に対する視点位置を設定する視点位置設定手段と、前記被写体と前記視点位置の位置関係と、前記被写体と前記撮像手段の位置関係とが近い前記撮像手段を複数選択する選択手段と、前記選択手段において選択された複数の前記撮像手段によって撮像された複数の画像に基づいて、前記視点位置設定手段によって設定された前記視点位置から見た前記被写体の画像を生成する画像生成手段とを備えたことを特徴とする。
【0016】
本発明は、コンピュータに、前記画像生成方法を実行させるための画像生成プログラムである。
【発明の効果】
【0017】
本発明によれば、所望の視点位置から見た画像を高臨場感が与えられる品質で生成することができるという効果が得られる。
【図面の簡単な説明】
【0018】
図1】本発明の第1の実施形態の構成を示すブロック図である。
図2図1に示す画像生成部5が行う画像生成処理の概略を示す説明図である。
図3図1に示す画像生成部5の処理動作を示すフローチャートである。
図4】2つの画像の加重平均と輪郭位置の関係を示す図である。
図5】カメラ位置の後方に視点位置がある場合の画像生成処理の概略を示す説明図である。
図6】2つの画像の加重平均と輪郭位置の関係を示す図である。
図7図1に示す画像生成部5が行う画像生成処理の概略を示す説明図である。
図8】従来技術による映像表示のイメージを示す概念図である。
【発明を実施するための形態】
【0019】
<第1の実施形態>
以下、図面を参照して、本発明の第1の実施形態による画像生成装置を説明する。図1は同実施形態の構成を示すブロック図である。この図において、符号1は、画像生成対象の被写体である。符号2は、生成すべき画像を映す仮想のスクリーンである。符号3−1、3−2は、被写体1を撮像する複数のカメラである。図1においては、カメラを2台のみ図示したが、必要に応じて3台以上のカメラを備えていてもよい。生成する画像の品質を向上させるためには、多数のカメラを備えていることが望ましい。また、複数のカメラは、スクリーン2と平行な面状に配置されていることが望ましい。符号4は、生成した画像を見る者の視点位置を検出して、生成すべき画像の視点位置を設定する視点位置設定部である。符号5は、視点位置設定部4によって設定した視点位置から見た被写体1の画像を生成する画像生成部である。符号6は、画像生成部5において生成された生成画像を表示する表示装置である。
【0020】
次に、図2を参照して、図1に示す画像生成部5の画像生成の原理について説明する。図2図1に示す画像生成部5が行う画像生成処理の概略を示す説明図である。図2は、スクリーン2に垂直な断面を示しており、スクリーン2上のある画素の輝度の計算方法の概略を示している。図2に示す視点位置から見た場合の画像の生成方法を説明する。図2に示す対象画素の輝度は、対象画素から出た光が視点位置に達する光線の近傍にあるカメラ位置から撮像された画像から計算する。図2に示す例では、第1のカメラ位置、第2のカメラ位置の2箇所のカメラによって撮像した画像から設定した視点位置の画像を生成する。対象画素の輝度Lは、第1のカメラ位置、第2のカメラ位置から撮像した画像の画素の輝度(画素値)をL1、L2とし、第1のカメラ位置、第2のカメラ位置それぞれから光線までの距離をd1、d2とすると、(1)式によって求める。
【数1】
【0021】
なお、カラー画像の場合には、各原色ごとに同様の計算をすればよい。カメラと光線の距離は、カメラ位置から光線におろした垂線の長さであるが、格子状にカメラを配置している場合は、格子を形成する面と光線の交点とカメラ位置の距離を用いるなど近似をしてもよい。また、近傍のカメラ数を2としたが、2より多くてもよい。この場合には近傍のカメラ数をnとすると、対象画素の輝度Lは、(2)式によって求める。
【数2】
【0022】
なお、視点位置がカメラ位置と同一の場合、(1)式、(2)式は不安定になるがその場合は視点位置に配置されたカメラの画像の輝度値をそのまま対象画素の輝度Lとして用いればよい。
【0023】
次に、図3を参照して、図1に示す画像生成部5の処理動作を説明する。図3は、図1に示す画像生成部5の処理動作を示すフローチャートである。図3に示す処理動作は、1枚の静止画像を生成する処理動作であるが、図3に示す処理動作を連続して繰り返すことで動画像にも対応することができる。
【0024】
まず、画像生成部5は、生成すべきスクリーン上の画像中の対象画素を1個選択する(ステップS1)。そして、画像生成部5は、選択した対象画素と、視点位置設定部4において設定した視点位置とを結ぶ光線(直線)を計算する(ステップS2)。
【0025】
次に、画像生成部5は、求めた光線の近傍に位置するカメラを選択する(ステップS3)。ここで、近傍に位置するカメラの選択は、(1)各カメラ位置について光線からの距離を計算し近い順に所定の個数選ぶ、(2)視点位置とカメラ位置の距離を算出し近い順に所定の個数選ぶ、(3)カメラを格子状にならべ、格子の単位胞がなす多角形の頂点に相当するカメラ位置を選ぶ、などの手法を適用することができる。
【0026】
次に、画像生成部5は、光線からの距離をパラメータとする所定の重みで、選択されたカメラの画像のスクリーン上の対象画素の輝度を加重平均し、対象画素の輝度値とする(ステップS4)。そして、画像生成部5は、未計算の画素が残っているか否かを判定し(ステップS5)、残っていればステップS1に戻って他の対象画素の計算を繰り返し、残っていなければ処理を終了する。
【0027】
この処理動作により作成された画像は、複数カメラ位置から撮像された画像となる。カメラ位置の違いによりずれた画像の加重平均となる。ずれの幅が小さい場合には図4のように輪郭位置が加重比によって連続的に変化するため、視点位置にあった適切な輪郭位置の画像が生成されることになる。図4は、2つの画像の加重平均と輪郭位置の関係を示す図である。
【0028】
ここでは、カメラ位置と視点が同一直線上に並んだ場合を説明したが、異なってもよい。図5はカメラ位置の後方に視点位置がある場合の説明図である。このような場合にも図3に示す処理動作に従って画像生成を行えばよい。図3に示す処理動作に従うと画素によって加重平均する画像が変化する。図5に示す第1の対象画素については第1、第2のカメラ位置の画像、第2の対象画素については第2、第3のカメラ位置の画像、第3の対象画素については第3、第4のカメラ位置の画像になるが、カメラ位置が前後に変化しても同様な処理動作によって画像生成することができる。
【0029】
本実施形態で使用する各カメラ位置から撮像された画像は、それぞれのカメラ位置で撮像された画像をスクリーン面に対し射影したものとする。このような画像は、一般的なカメラよって所定の位置から画像を撮像し、カメラの光軸がスクリーンの法線からずれに相当する台形補正を施すことで容易に取得することができる。また、カメラの光軸をスクリーン法線と平行として撮像し、スクリーンの表示領域に相当する部分を切り抜いてもよい。また、カメラの光軸をスクリーン法線と平行とし、シフト可能なレンズを使用しスクリーンの表示領域の中心と光軸のずれを補償しながら撮像して取得し、表示領域に相当する部分を切り抜いてもよい。
【0030】
このように、所望の視点位置から見た画像生成において、複数カメラの画像から特定の視点の画像を生成する際に、画像を劣化させる原因となる奥行情報を使用しないようにしたため、高臨場感を与えられる品質で所望の視点位置から見た画像を生成することができる。
【0031】
<第2の実施形態>
次に、本発明の第2の実施形態による画像生成装置を説明する。第2の実施形態おける装置構成は、図1に示す装置構成と同様であるので、ここでは詳細な説明を省略する。第2の実施形態おける画像生成装置が、第1の実施形態における画像生成装置と異なる点は、カメラ位置による画像のずれ量が大きい場合に適した加重とする点である。図6に示すように画像のずれが大きい場合には、輪郭位置は図4のように加重に比例するのではなく、図6に示したように敏感に変化するように人は知覚する。すなわち、視点位置に最も近いカメラ位置の画像の加重を0.5以上として主に使用し、他の近傍のカメラ位置の画像をそれより小さい加重で平均するものである。これにより、多重像を目立たせずに適切な輪郭位置の画像を生成することができるようになる。
【0032】
<第3の実施形態>
次に、本発明の第3の実施形態による画像生成装置を説明する。第3の実施形態おける装置構成は、図1に示す装置構成と同様であるので、ここでは詳細な説明を省略する。また、画像生成の処理動作も図3に示す処理動作と同様である。第3の実施形態おける画像生成装置は、スクリーン位置と画像の物体(被写体1)位置が異なる場合に適した画像生成方法である。この場合、異なるカメラ位置の画像をそのまま重ねると、スクリーン上での画像のずれがそのまま重ねられてしまい、多重像が見苦しい画像となってしまう。図3に示す処理動作における加重平均処理(ステップS4)において、注目する画素に対応する物体(被写体1)上の位置を計算し、第1のカメラ位置、第2のカメラ位置の画像の物体(被写体1)上の位置に対応する画素の輝度を加重平均することで、多重像を抑制する。すなわち、図7に示すように、図3に示す画像生成処理における加重平均処理(ステップS4)において、第1のカメラ位置、第2のカメラ位置の画像の画素位置の算出の際に第1のシフト量、第2のシフト量に相当するオフセットを加えて計算する。図7は、画像生成部5が行う画像生成処理の概略を示す説明図である。これにより、多重像を抑制する輝度計算を容易に行うことができる。
【0033】
なお、演算方法は前述した演算方法に限るものではなく、同等の結果が得られる別の演算方法を用いるようにしてもよい。例えば、第1〜第3の実施形態におけるスクリーン位置を本実施形態の物体(被写体)位置と仮定して計算し、得られた画像を被写体位置とスクリーン位置の差に相当する視差だけシフトするようにしてもよい。
【0034】
次に、前述した第1〜第3の実施形態による画像生成装置によって生成した所望の視点位置における画像を表示装置6に表示した結果について説明する。使用者(画像を見る者)の視点位置の検出し、視点位置設定部4によって視点位置を設定して、画像生成部5によって視点位置に応じた画像を表示装置6に表示した。表示装置6に表示される画像は、視点位置に対応した画像となるので定位感が高く高臨場な表示が可能であった。また、表示装置6に表示される表示画像を被写体1の実サイズとすることで、より高い臨場感を得ることができた。また、使用者の左右眼の位置に合わせた画像を生成し、3Dメガネを使用して左右眼それぞれに画像を提示したところあたかもそこに実物があるかのような高臨場感で画像を見ることができた。さらに表示装置として、裸眼式の3D表示装置を使用し、各視点位置に対応した画像を生成表示したところ、3Dメガネのような特殊な器具を装着しなくてもあたかもそこに実物があるかのような高臨場感で画像を見ることができた。
【0035】
以上説明したように、所望の視点位置における画像の生成において、視点位置と画面上の位置を結ぶ直線(光線)の近傍の位置において撮像された画像を所定の比率で加重平均して画像生成するようにした。そして、所定の比率として、直線(光線)と撮像位置の距離に反比例する量を加重として用いるようにした。また、所定の比率として、直線(光線)と撮像位置の距離が最も近い画像に対する加重を重くするようにした。さらに、複数の撮像画像を光線と撮像位置の関係から決まる所定量だけシフトするようにした。
【0036】
この構成により、所望の視点位置における画像の生成において、奥行情報を使用しないため、高画質の画像を生成することができる。また、加重平均となる対象の画像間のずれがあまり大きくない場合には、人間の知覚特性により正しい位置に物体のエッジを表現することができる。また、加重平均となる対象の画像間のずれが比較的大きい場合には、人間の知覚特性により正しい位置に物体のエッジが表現されかつ、エッジが目障りな二重像になることを抑制することができる。また、スクリーン位置と被写体の奥行方向の処理が異なる場合でも、多重像になることを防ぐことができる。これにより、高臨場な表現の画像を生成して表示することが実現できる。
【0037】
なお、図1における視点位置設定部4及び画像生成部5の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像生成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
【0038】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0039】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【0040】
既存の画像から所望の視点位置の画像を生成することが不可欠な用途に適用できる。
【符号の説明】
【0041】
1・・・被写体、2・・・スクリーン、3−1、3−2・・・カメラ(撮像手段)、4・・・視点位置設定部、5・・・画像生成部、6・・・表示装置
図1
図2
図3
図4
図5
図6
図7
図8