特許第6881450号(P6881450)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーグループ株式会社の特許一覧
<>
  • 特許6881450-画像生成装置および画像生成方法 図000006
  • 特許6881450-画像生成装置および画像生成方法 図000007
  • 特許6881450-画像生成装置および画像生成方法 図000008
  • 特許6881450-画像生成装置および画像生成方法 図000009
  • 特許6881450-画像生成装置および画像生成方法 図000010
  • 特許6881450-画像生成装置および画像生成方法 図000011
  • 特許6881450-画像生成装置および画像生成方法 図000012
  • 特許6881450-画像生成装置および画像生成方法 図000013
  • 特許6881450-画像生成装置および画像生成方法 図000014
  • 特許6881450-画像生成装置および画像生成方法 図000015
  • 特許6881450-画像生成装置および画像生成方法 図000016
  • 特許6881450-画像生成装置および画像生成方法 図000017
  • 特許6881450-画像生成装置および画像生成方法 図000018
  • 特許6881450-画像生成装置および画像生成方法 図000019
  • 特許6881450-画像生成装置および画像生成方法 図000020
  • 特許6881450-画像生成装置および画像生成方法 図000021
  • 特許6881450-画像生成装置および画像生成方法 図000022
  • 特許6881450-画像生成装置および画像生成方法 図000023
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6881450
(24)【登録日】2021年5月10日
(45)【発行日】2021年6月2日
(54)【発明の名称】画像生成装置および画像生成方法
(51)【国際特許分類】
   H04N 5/232 20060101AFI20210524BHJP
   H04N 5/225 20060101ALI20210524BHJP
   H04N 5/235 20060101ALI20210524BHJP
   G03B 15/00 20210101ALI20210524BHJP
   G03B 35/00 20210101ALI20210524BHJP
   G03B 7/091 20210101ALI20210524BHJP
   G06T 7/593 20170101ALI20210524BHJP
   G06T 5/00 20060101ALI20210524BHJP
【FI】
   H04N5/232 290
   H04N5/225 800
   H04N5/235 500
   H04N5/235 600
   H04N5/232 300
   G03B15/00 H
   G03B35/00
   G03B15/00 W
   G03B7/091
   G06T7/593
   G06T5/00 740
【請求項の数】8
【全頁数】26
(21)【出願番号】特願2018-523643(P2018-523643)
(86)(22)【出願日】2017年6月1日
(86)【国際出願番号】JP2017020396
(87)【国際公開番号】WO2017217241
(87)【国際公開日】20171221
【審査請求日】2020年4月14日
(31)【優先権主張番号】特願2016-118578(P2016-118578)
(32)【優先日】2016年6月15日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(72)【発明者】
【氏名】加納 夏紀
【審査官】 大西 宏
(56)【参考文献】
【文献】 特開2011−254170(JP,A)
【文献】 特開2003−018617(JP,A)
【文献】 特開2016−008847(JP,A)
【文献】 特開2008−113070(JP,A)
【文献】 特開2006−214735(JP,A)
【文献】 特開2015−144416(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222− 5/257
G06T 1/00 − 1/40
G06T 3/00 − 5/50
G06T 7/00 − 7/90
G06T 9/00 − 9/40
G03B 7/00 − 7/30
G03B 15/00 −15/035
G03B 15/06 −15/16
G03B 35/00 −37/06
(57)【特許請求の範囲】
【請求項1】
2視点のペアごとに複数の露出値で撮影された複数露出ペア画像内の各領域を、白飛び領域または黒潰れ領域の少なくとも一方の領域である除外領域の度合に応じた重みで用いて、前記2視点のペアごとに同一の露出値で撮影された同一露出ペア画像のマッチングを複数の露出値について行い、前記2視点のペアの視差を表す視差画像を生成する視差画像生成部
を備える画像生成装置。
【請求項2】
前記視差画像生成部により生成された前記視差画像と前記複数露出ペア画像とを用いて、所定の視点のハイダイナミックレンジ画像を生成するハイダイナミックレンジ画像生成部と、
前記ハイダイナミックレンジ画像生成部により生成された前記ハイダイナミックレンジ画像の各画素値から前記画素値の最小値を減算し、その結果得られる差分のビット数を所定のビット数に変換した値を、前記ハイダイナミックレンジ画像の各画素値として伝送する伝送部と
をさらに備える
請求項1に記載の画像生成装置。
【請求項3】
前記伝送部は、前記ハイダイナミックレンジ画像生成部により生成された前記ハイダイナミックレンジ画像の画素値の範囲を示す情報を伝送する
ように構成された
請求項2に記載の画像生成装置。
【請求項4】
前記視差画像生成部により生成された前記視差画像と前記複数露出ペア画像とを用いて、所定の視点のハイダイナミックレンジ画像を生成するハイダイナミックレンジ画像生成部
をさらに備え、
前記ハイダイナミックレンジ画像生成部により生成された前記ハイダイナミックレンジ画像を表示する表示装置は、表示する前記ハイダイナミックレンジ画像の視点を変更する場合、変更後の視点の前記ハイダイナミックレンジ画像の画素値の範囲を、変更前の視点の前記ハイダイナミックレンジ画像の画素値の範囲から段階的に移行する
ように構成された
請求項1に記載の画像生成装置。
【請求項5】
前記複数露出ペア画像は、前記視点ごと、かつ、露出値ごとに設けられた撮影装置により撮影される
ように構成された
請求項1乃至4のいずれかに記載の画像生成装置。
【請求項6】
前記複数露出ペア画像は、前記視点ごとに設けられた撮影装置により撮影され、
各2視点のペアの前記撮影装置は、露出値を順に変更することにより、前記複数露出ペア画像を撮影する
ように構成された
請求項1乃至4のいずれかに記載の画像生成装置。
【請求項7】
前記複数露出ペア画像の前記除外領域を検出する領域検出部
をさらに備える
請求項1乃至6のいずれかに記載の画像生成装置。
【請求項8】
画像生成装置が、
2視点のペアごとに複数の露出値で撮影された複数露出ペア画像内の各領域を、白飛び領域または黒潰れ領域の少なくとも一方の領域である除外領域の度合に応じた重みで用いて、前記2視点のペアごとに同一の露出値で撮影された同一露出ペア画像のマッチングを複数の露出値について行い、前記2視点のペアの視差を表す視差画像を生成する視差画像生成ステップと
を含む画像生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像生成装置および画像生成方法に関し、特に、高精度の視差画像を生成することができるようにした画像生成装置および画像生成方法に関する。
【背景技術】
【0002】
近年、複数視点の画像を入力とした画像処理技術の研究が進んでいる。このような画像処理技術としては、例えば、単眼カメラで視点を動かしながら広い範囲を撮影することにより得られた撮影画像を用いて1枚のパノラマ画像を生成する技術や、複眼カメラで撮影された撮影画像を用いて3次元情報の復元を行う技術などがある。
【0003】
また、1台の複眼カメラで複数の露出値で撮影された複数視点の撮影画像から、視差を用いて所定の視点のHDR(High Dynamic Range)画像を生成する技術もある(例えば、特許文献1参照)。特許文献1に記載されている技術では、複数の露出値で撮影が行われるが、視差は、同一の露出値で撮影された複数視点の撮影画像を用いたマッチングにより検出される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2015-207862公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従って、視差の検出に用いられる撮影画像の露出値が適切ではなく、撮影画像に白飛び領域や黒潰れ領域が発生する場合、マッチング精度が劣化し、高精度で視差を検出することができない。
【0006】
本開示は、このような状況に鑑みてなされたものであり、高精度の視差画像を生成することができるようにするものである。
【課題を解決するための手段】
【0007】
本開示の一側面の画像生成装置は、2視点のペアごとに複数の露出値で撮影された複数露出ペア画像内の各領域を、白飛び領域または黒潰れ領域の少なくとも一方の領域である除外領域の度合に応じた重みで用いて、前記2視点のペアごとに同一の露出値で撮影された同一露出ペア画像のマッチングを複数の露出値について行い、前記2視点のペアの視差を表す視差画像を生成する視差画像生成部を備える画像生成装置である。
【0008】
本開示の一側面の画像生成方法は、本開示の一側面の画像生成装置に対応する。
【0009】
本開示の一側面においては、2視点のペアごとに複数の露出値で撮影された複数露出ペア画像内の各領域を、白飛び領域または黒潰れ領域の少なくとも一方の領域である除外領域の度合に応じた重みで用いて、前記2視点のペアごとに同一の露出値で撮影された同一露出ペア画像のマッチングが複数の露出値について行われ、前記2視点のペアの視差を表す視差画像が生成される。
【0010】
なお、本開示の一側面の画像生成装置は、コンピュータにプログラムを実行させることにより実現することができる。
【0011】
また、本開示の一の側面の画像生成装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【0012】
本開示の一側面によれば、高精度の視差画像を生成することができる。
【0013】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0014】
図1】本開示を適用した画像表示システムの第1実施の形態の構成例を示すブロック図である。
図2図1の撮影装置のカメラモジュールの第1の構成例を示す図である。
図3図1の撮影装置のカメラモジュールの第2の構成例を示す図である。
図4図1の画像生成装置の構成例を示す図である。
図5図4の画像処理部の構成例を示すブロック図である。
図6】白飛びマスクと黒潰れマスクの例を示す図である。
図7】平均値Cost(x,y,d)の例を示す図である。
図8】第1実施の形態における効果を説明する図である。
図9】伝送データを説明する図である。
図10図1の画像生成装置のHDR全天球画像生成処理を説明するフローチャートである。
図11図10の視差画像生成処理を説明するフローチャートである。
図12図1の表示装置の構成例を示すブロック図である。
図13】各表示視点のHDR全天球画像の画素値の範囲を示す図である。
図14】表示画像の画素値の範囲を示す図である。
図15図12の表示装置の表示処理を説明するフローチャートである。
図16】本開示を適用した画像表示システムの第2実施の形態における画像処理部の構成例を示すブロック図である。
図17】マスクの例を示す図である。
図18】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【0015】
以下、本開示を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1実施の形態:画像表示システム(図1乃至図15
2.第2実施の形態:画像表示システム(図16および図17
3.第3実施の形態:コンピュータ(図18
【0016】
<第1実施の形態>
(画像表示システムの第1実施の形態の構成例)
図1は、本開示を適用した画像表示システムの第1実施の形態の構成例を示すブロック図である。
【0017】
画像表示システム10は、撮影装置11、画像生成装置12、表示装置13により構成される。画像表示システム10は、2視点のペアごとに複数の露出値で撮影された静止画像である複数露出ペア画像を用いて、ハイダイナミックレンジの全天球画像(以下、HDR全天球画像という)を生成し、表示する。
【0018】
具体的には、画像表示システム10の撮影装置11は、各2視点のペアの複数露出ペア画像を撮影するカメラモジュールが、水平方向に360度、垂直方向に180度広がるように配置されることにより構成される。以下では、複数露出ペア画像のうちの、露出が同一である画像を同一露出ペア画像といい、視点が同一である画像を同一視点画像といい、複数露出ペア画像の各画像を特に区別する必要がない場合、その画像を単に画像という。
【0019】
撮影装置11は、各カメラモジュールにより撮影された各2視点のペアの複数露出ペア画像の各画像に対してキャリブレーションを行う。撮影装置11は、各2視点のペアの複数露出ペア画像と、各画像のキャリブレーションにより推定された、その画像を撮影するカメラの位置や姿勢、焦点距離、収差などを含むカメラパラメータとを、画像生成装置12に供給する。
【0020】
画像生成装置12は、撮影装置11から供給される複数露出ペア画像の各画像の白飛び領域および黒潰れ領域等のマッチング精度が劣化する領域を、視差の検出に用いない除外領域として検出する。画像生成装置12は、2視点のペアごとに、複数露出ペア画像の除外領域以外の領域を用いて、2視点のペアの視差を表す視差画像(被写体の奥行き方向の位置を表す奥行き情報)を生成する。このとき、画像生成装置12は、必要に応じて、カメラパラメータを参照する。
【0021】
画像生成装置12は、各2視点のペアの視差画像と各複数露出ペア画像のうちの最適な露出値の同一露出ペア画像とを用いて3次元再構成を行うことにより、水平方向に360度、垂直方向に180度広がる各表示視点のHDR画像をHDR全天球画像として生成し、記憶する。画像生成装置12は、表示装置13から送信されてくる、表示対象とするHDR全天球画像の表示視点を示す表示視点情報に基づいて、その表示視点のHDR全天球画像を読み出す。画像生成装置12は、読み出されたHDR全天球画像に基づいて、そのHDR全天球画像の伝送データを生成し、表示装置13に送信する。
【0022】
表示装置13は、画像生成装置12から送信されてくる伝送データに基づいてHDR全天球画像を表示する。また、表示装置13は、視聴者からの入力などに応じて、表示対象とするHDR全天球画像の表示視点を決定し、表示視点情報を画像生成装置12に送信する。
【0023】
(カメラモジュールの第1の構成例)
図2は、図1の撮影装置11のカメラモジュールの第1の構成例を示す図である。
【0024】
図2の例では、複数露出ペア画像の露出値(EV)が+1.0と-1.0である。従って、図2の撮影装置11のカメラモジュール30は、水平方向に並ぶ2視点のペアの画像を露出値+1.0で撮影するカメラ31−1およびカメラ31−2と、水平方向に並ぶ2視点のペアの画像を露出値-1.0で撮影するカメラ32−1およびカメラ32−2とにより構成される。また、図2の例では、カメラ31−1とカメラ32−1、カメラ31−2とカメラ31−2は、それぞれ、垂直方向に並んで配置される。
【0025】
即ち、カメラモジュール30は、視点ごと、かつ、露出値ごとに設けられ、2(水平方向)×2(垂直方向)で配列されたカメラ31−1、カメラ31−2、カメラ32−1、およびカメラ32−2(撮影装置)により構成される。なお、以下では、カメラ31−1、カメラ31−2、カメラ32−1、およびカメラ32−2を特に区別する必要がない場合、それらをまとめてカメラ31(32)という。
【0026】
以上のように、図2のカメラモジュール30では、カメラ31(32)が、視点ごと、かつ、露出値ごとに設けられるため、複数露出ペア画像の全てを同時に撮影することが可能である。従って、カメラモジュール30は、複数露出ペア画像として、静止画像だけでなく、一定間隔で連写するタイムラプス画像や動画像を撮影する場合にも適している。
【0027】
なお、図2の例では、複数露出ペア画像の露出値の種類が2種類であるため、カメラモジュール30を構成するカメラ31(32)の数は4台であったが、カメラ31(32)の数は露出値の種類数によって異なる。例えば、複数露出ペア画像の露出値の種類が-2.0,-1.0,0.0,+1.0,+2.0の5種類である場合、カメラ31(32)の数は、10台である。複数露出ペア画像の露出値の種類が多いほど、HDR全天球画像のダイナミックレンジを高めることができる。
【0028】
また、2視点のペアのカメラ31(32)どうしは、必ずしも平行に配置される必要はない。但し、2視点のペアのカメラ31(32)どうしが平行に配置される方が、各視点の画像間で重複する領域が広くなる。後述するように、視差は、2視点のペアの複数露出ペア画像を用いたブロックマッチングにより検出されるため、2視点のペアのカメラ31(32)どうしが平行に配置される方が、高精度で視差検出可能な範囲が広くなる。
【0029】
(カメラモジュールの第2の構成例)
図3は、図1の撮影装置11のカメラモジュールの第2の構成例を示す図である。
【0030】
図3の例では、図2の場合と同様に、複数露出ペア画像の露出値が+1.0と-1.0であるが、図3の撮影装置11のカメラモジュール50には、水平方向に並ぶ2つのカメラ51−1とカメラ51−2のみが設けられる。即ち、カメラモジュール50は、視点ごとに設けられ、2(水平方向)×1(垂直方向)で配列されたカメラ51−1とカメラ51−2(撮影装置)により構成される。なお、以下では、カメラ51−1とカメラ51−2を特に区別する必要がない場合、それらをまとめてカメラ51という。
【0031】
のカメラモジュール50では、各カメラ51は、露出値を+1.0と-1.0に順に変更して撮影を行う(AE(Automatic Exposure)ブラケット撮影を行う)ことにより、露出値が+1.0と-1.0である複数露出ペア画像を撮影し、この複数露出ペア画像の撮影時刻を同時刻とする。即ち、複数露出ペア画像のうちの、露出値が+1.0である同一露出ペア画像の撮影時刻と、露出値が-1.0である同一露出ペア画像の撮影時刻は実際には連続する異なる時刻であるが、同一の時刻とされる。
【0032】
カメラモジュール50は、複数露出ペア画像を同時に撮影することができないため、複数露出ペア画像として静止画像やタイムラプス画像を撮影する場合に適している。
【0033】
なお、図3のカメラモジュール50では、カメラ51が視点ごとに設けられるため、複数露出ペア画像の露出値の種類によってカメラモジュール50を構成するカメラ51の数は変化しない。例えば、複数露出ペア画像の露出値の種類が-2.0,-1.0,0.0,+1.0,+2.0の5種類である場合であっても、カメラ51の数は2台である。また、図2の場合と同様に、2視点のペアのカメラ51どうしは、必ずしも平行に配置される必要はない。
【0034】
(画像生成装置の構成例)
図4は、図1の画像生成装置12の構成例を示す図である。
【0035】
図4の画像生成装置12は、画像取得部71、パラメータ取得部72、画像処理部73、HDR画像生成部74、記憶部75、受け取り部76、および伝送部77により構成される。
【0036】
画像生成装置12の画像取得部71は、撮影装置11から供給される各2視点のペアの複数露出ペア画像を取得し、画像処理部73に供給する。パラメータ取得部72は、撮影装置11から供給される各画像のカメラパラメータを取得し、画像処理部73に供給する。
【0037】
画像処理部73は、パラメータ取得部72から供給される各画像のカメラパラメータのうちの収差に基づいて、画像取得部71から供給される複数露出ペア画像の各画像を補正する。画像処理部73は、補正後の各画像の白飛び領域および黒潰れ領域を除外領域として検出する。画像処理部73は、2視点のペアごとに、カメラパラメータのうちのカメラの位置および姿勢並びに焦点距離と、補正後の複数露出ペア画像の除外領域以外の領域とを用いて、2視点のペアの視差画像を生成する。画像処理部73は、各2視点のペアの視差画像と各複数露出ペア画像をHDR画像生成部74に供給する。
【0038】
HDR画像生成部74は、画像処理部73から供給される、各2視点のペアの視差画像と各複数露出ペア画像のうちの最適な露出値の同一露出ペア画像とを用いて3次元再構成を行うことにより、各表示視点のHDR全天球画像を生成する。HDR画像生成部74は、各表示視点のHDR全天球画像を記憶部75に供給し、記憶させる。
【0039】
また、HDR画像生成部74は、受け取り部76から供給される表示視点情報が示す表示視点のHDR全天球画像を記憶部75から読み出し、伝送部77に供給する。
【0040】
記憶部75は、HDR画像生成部74から供給される各表示視点のHDR全天球画像を記憶する。受け取り部76は、図1の表示装置13から送信されてくる表示視点情報を受け取り、HDR画像生成部74に供給する。
【0041】
伝送部77は、HDR画像生成部74から供給されるHDR全天球像のビット数を伝送用のビット数に変換し、伝送用のビット数のHDR全天球画像と復元データを含む伝送データを生成する。復元データとは、伝送用のビット数のHDR全天球画像を変換前のビット数のHDR全天球画像に戻す際に用いられるメタデータである。HDR画像生成部74は、伝送データを図1の表示装置13に伝送する。
【0042】
(画像処理部の構成例)
図5は、図4の画像処理部73の構成例を示すブロック図である。
【0043】
図5の画像処理部73は、補正部90、白飛び領域検出部91、黒潰れ領域検出部92、および視差画像生成部93により構成される。
【0044】
図4の画像取得部71から入力される各2視点のペアの複数露出ペア画像は、補正部90に入力されるとともに、図4のHDR画像生成部74に出力される。また、パラメータ取得部72から入力される各画像のカメラパラメータは、補正部90と視差画像生成部93に供給される。
【0045】
補正部90は、複数露出ペア画像の各画像のカメラパラメータのうちの収差に基づいて、その画像を補正する。補正部90は、補正後の複数露出ペア画像のうちの、露出値が0以上である同一露出ペア画像を、+EVペア画像として白飛び領域検出部91と視差画像生成部93に供給する。また、補正部90は、補正後の複数露出ペア画像のうちの、露出値EVが負である同一露出ペア画像を、-EVペア画像として黒潰れ領域検出部92と視差画像生成部93に供給する。
【0046】
白飛び領域検出部91は、補正部90から供給される+EVペア画像の各画像の白飛び領域を検出する。具体的には、白飛び領域検出部91は、各画像を所定のサイズのブロックに分割し、各ブロックの画素値のヒストグラムを生成する。そして、白飛び領域検出部91は、各ブロックのヒストグラムに基づいて、白飛び領域判定用の閾値より大きい画素値が多いブロックを白飛び領域として検出する。白飛び領域検出部91は、画像ごとに、白飛び領域をマスクする白飛びマスクを生成し、視差画像生成部93に供給する。
【0047】
黒潰れ領域検出部92は、補正部90から供給される-EVペア画像の各画像の黒潰れ領域を検出する。具体的には、黒潰れ領域検出部92は、各画像を所定のサイズのブロックに分割し、各ブロックの画素値のヒストグラムを生成する。そして、黒潰れ領域検出部92は、各ブロックのヒストグラムに基づいて、黒潰れ領域判定用の閾値より小さい画素値が多いブロックを黒潰れ領域として検出する。黒潰れ領域検出部92は、画像ごとに、黒潰れ領域をマスクする黒潰れマスクを生成し、視差画像生成部93に供給する。
【0048】
視差画像生成部93は、補正部90から供給される+EVペア画像の各画像に対して、その画像の白飛びマスクを用いることにより、各画像の白飛び領域を除外領域とする。また、視差画像生成部93は、補正部90から供給される-EVペア画像の各画像に対して、その画像の黒潰れマスクを用いることにより、各画像の黒潰れ領域を除外領域とする。
【0049】
視差画像生成部93は、2視点のペアごとに、例えばプレーンスイープ(Plane Sweep)法により、白飛び領域または黒潰れ領域が除外領域とされた複数露出ペア画像を用いて、2視点のペアの視差を検出し、視差画像を生成する。
【0050】
具体的には、視差画像生成部93は、ある基準視点に対して、白飛び領域または黒潰れ領域が除外領域とされた同一露出ペア画像を、所定の範囲内の候補となる各視差に対応する奥行き方向の位置dに射影変換し、被写体が各位置dに存在する場合の基準視点の画像を生成する。
【0051】
そして、視差画像生成部93は、位置dごとに、以下の式(1)により、基準視点の画像どうしのブロックマッチングを行い、各ブロックのマッチングコストを算出する。なお、候補となる視差の範囲は、カメラパラメータのうちのカメラの位置および姿勢並びに焦点距離に基づいて決定される。また、ブロックは、1以上の画素からなる。
【0052】
【数1】
【0053】
なお、Sub_Cost(x,y,d)は、被写体が位置dに存在する場合の基準視点の画像内の位置(x,y)のブロックのマッチングコストである。I0(x,y,d)は、2視点のペアのうちの一方に対応する、被写体が位置dに存在する場合の基準視点の画像内の位置(x,y)のブロック(の各画素値)である。また、I1(x,y,d)は、2視点のペアのうちの他方に対応する、被写体が位置dに存在する場合の基準視点の画像内の位置(x,y)のブロック(の各画素値)である。
【0054】
式(1)によれば、マッチングコストSub_Cost(x,y,d)は、ブロックI0(x,y,d)とブロックI1(x,y,d)の絶対誤差である。なお、マッチングコストSub_Cost(x,y,d)は、ブロックI0(x,y,d)とブロックI1(x,y,d)のいずれか一方に除外領域が含まれる場合算出されない。また、マッチングコストSub_Cost(x,y,d)は、ブロックI0(x,y,d)とブロックI1(x,y,d)の二乗誤差などであってもよい。
【0055】
視差画像生成部93は、2視点のペアごとに、以下の式(2)により、算出された全ての露出値のマッチングコストSub_Cost(x,y,d)を平均化する。
【0056】
【数2】
【0057】
Cost(x,y,d)は、マッチングコストSub_Cost(x,y,d)の平均値であり、Nは、算出されたマッチングコストSub_Cost(x,y,d)の数である。
【0058】
視差画像生成部93は、ブロックごとに平均値Cost(x,y,d)が最も小さい場合の位置dを視差として検出し、基準視点の視差画像を生成する。視差画像生成部93は、各2視点のペアの基準視点の視差画像を、図4のHDR画像生成部74に供給する。
【0059】
(白飛びマスクと黒潰れマスクの例)
図6は、白飛びマスクと黒潰れマスクの例を示す図である。
【0060】
図6の例では、被写体が、人物、木、太陽であり、人物は、太陽の手前に存在する。そして、人物に適切な露出値で+EVペア画像が撮影されると太陽が白飛びし、太陽に適切な露出値で-EVペア画像が撮影されると人物が黒潰れする。
【0061】
この場合、白飛び領域検出部91は、+EVペア画像内の太陽の領域を白飛び領域として検出する。従って、白飛び領域検出部91は、+EVペア画像の各画像内の太陽の領域を除外領域(図中黒色の領域)とし、太陽以外の領域を有効領域(図中白色の領域)とする2値の白飛びマスクを生成する。
【0062】
また、黒潰れ領域検出部92は、-EVペア画像内の人物の領域を黒潰れ領域として検出する。従って、黒潰れ領域検出部92は、-EVペア画像の各画像内の人物の領域を除外領域(図中黒色の領域)とし、人物以外の領域を有効領域(図中白色の領域)とする2値の黒潰れマスクを生成する。
【0063】
(平均値Cost(x,y,d)の例)
図7は、平均値Cost(x,y,d)の例を示す図である。
【0064】
図7のグラフにおいて、横軸は奥行き方向の位置dを表し、縦軸はマッチングコストの平均値Cost(x,y,d)を表す。また、図7の例では、複数露出ペア画像が1つの+EVペア画像と1つの-EVペア画像により構成される。
【0065】
この場合、図7のAに示すように、+EVペア画像から生成された2つの基準視点の画像の位置(x,y)のブロックと、-EVペア画像から生成された2つの基準視点の画像の位置(x,y)のブロックの全てが除外領域ではない場合、平均値Cost(x,y,d)は、図7のA中実線で示すようになる。即ち、平均値Cost(x,y,d)は、+EVペア画像と-EVペア画像のそれぞれから生成されたマッチングコストSub_Cost(x,y,d)の平均値である。
【0066】
これに対して、図7のBに示すように、+EVペア画像から生成された2つの基準視点の画像の位置(x,y)のブロックの少なくとも一方が白飛び領域である場合、+EVペア画像からマッチングコストSub_Cost(x,y,d)は生成されない。従って、平均値Cost(x,y,d)は、図7のB中実線で示す、-EVペア画像から生成されたマッチングコストSub_Cost(x,y,d)になる。
【0067】
また、図7のCに示すように、-EVペア画像から生成された2つの基準視点の画像の位置(x,y)のブロックの少なくとも一方が黒潰れ領域である場合、-EVペア画像からマッチングコストSub_Cost(x,y,d)は生成されない。従って、平均値Cost(x,y,d)は、図7のC中実線で示す、+EVペア画像から生成されたマッチングコストSub_Cost(x,y,d)になる。
【0068】
以上のように、平均値Cost(x,y,d)は、白飛び領域または黒潰れ領域以外の領域のマッチングコストSub_Cost(x,y,d)を用いて生成される。
【0069】
従って、視差画像生成部93は、+EVペア画像と−EVペア画像の両方の除外領域以外の領域であるブロックの視差を、+EVペア画像と-EVペア画像の両方を用いて精度良く検出することができる。また、視差画像生成部93は、+EVペア画像の少なくとも一方の白飛び領域であるブロックの視差を-EVペア画像のみを用いて精度良く検出することができる。さらに、視差画像生成部93は、−EVペア画像の少なくとも一方の黒潰れ領域であるブロックの視差を+EVペア画像のみを用いて精度良く検出することができる。
【0070】
(効果の説明)
図8は、第1実施の形態における効果を説明する図である。
【0071】
図8の+EVペア画像と-EVペア画像は、図6と同一である。また、図8の例では、複数露出ペア画像が1つの+EVペア画像と1つの-EVペア画像により構成される。
【0072】
図8のAに示すように、視差画像生成部93は、+EVペア画像と-EVペア画像の除外領域以外の領域を用いて視差画像を生成する。従って、視差画像生成部93は、+EVペア画像と−EVペア画像の両方の除外領域以外の領域であるブロックの視差を、+EVペア画像と-EVペア画像の両方を用いて精度良く検出することができる。
【0073】
また、視差画像生成部93は、+EVペア画像の少なくとも一方の白飛び領域であるブロックの視差を-EVペア画像のみを用いて精度良く検出することができる。さらに、視差画像生成部93は、−EVペア画像の少なくとも一方の黒潰れ領域であるブロックの視差を+EVペア画像のみを用いて精度良く検出することができる。その結果、図8のAに示すように、白飛び領域や黒潰れ領域においても精度が劣化しない視差画像を生成することができる。
【0074】
これに対して、図8のBの左側に示すように、+EVペア画像のみから視差画像が生成される場合、基準視点の画像内の白飛び領域である太陽の領域のマッチングの精度が劣化するため、太陽の領域の視差画像の精度が劣化する。また、図8のBの右側に示すように、-EVペア画像のみから視差画像が生成される場合、基準視点の画像内の黒潰れ領域である人物の領域のマッチングの精度が劣化するため、人物の領域の視差画像の精度が劣化する。
【0075】
(伝送データの説明)
図9は、伝送データを説明する図である。
【0076】
図9のグラフにおいて、横軸は、表示視点の位置を表し、縦軸は、記憶部75に保持されている各表示視点のHDR全天球画像の使用ビットである保持ビット、または、伝送データに含まれる各表示視点のHDR全天球画像の使用ビットでる伝送ビットを表す。
【0077】
また、図9の例では、記憶部75に保持されている各表示視点のHDR全天球画像の保持用のビット数は256ビットであり、伝送データに含まれる各表示視点のHDR全天球画像の伝送用のビット数は8ビットである。
【0078】
表示視点のHDR全天球画像の保持用のビット数を伝送用のビット数に変換する場合、一般的には、表示視点のHDR全天球画像の保持用のビット数が、伝送用のビット数/保持用のビット数倍(図9の例では8/256(=1/32)倍)される。
【0079】
これにより、例えば、図9のAに示すように、保持ビットが0ビットから256ビットまでの範囲である表示視点V1のHDR全天球画像の伝送ビットは、図9のBに示すように、0ビットから8ビットまでの範囲になる。また、図9のAに示すように、保持ビットが0ビットから64ビットまでの範囲である表示視点V2のHDR全天球画像の伝送ビットは、図9のBに示すように、0ビットから2ビットまでの範囲になる。
【0080】
さらに、図9のAに示すように、保持ビットが192ビットから256ビットまでの範囲である表示視点V3のHDR全天球画像の伝送ビットは、図9のBに示すように、6ビットから8ビットまでの範囲になる。
【0081】
これに対して、伝送部77は、保持用のビット数の表示視点のHDR全天球画像の各画素値から画素値の最小値を減算し、その結果得られる差分のビット数を伝送用のビット数に変換することにより、表示視点のHDR全天球画像の保持用のビット数を伝送用のビット数に変換する。
【0082】
例えば、伝送部77は、図9のAに示すように、保持ビットが0ビットから256ビットまでの範囲である表示視点V1のHDR全天球画像の各画素値から画素値の最小値である0を減算する。そして、伝送部77は、図9のCに示すように、その結果得られる256ビットの差分のビット数を8/256(=1/32)倍して8ビットにした値を、伝送用のビット数の表示視点V1のHDR全天球画像の画素値とする。
【0083】
また、伝送部77は、図9のAに示すように、保持ビットが0ビットから64ビットまでの範囲である表示視点V2のHDR全天球画像の各画素値から画素値の最小値である0を減算する。そして、伝送部77は、図9のCに示すように、その結果得られる64ビットの差分のビット数を64/256(=1/8)倍して8ビットにした値を、伝送用のビット数の表示視点V2のHDR全天球画像の画素値とする。
【0084】
さらに、伝送部77は、図9のAに示すように、保持ビットが192ビットから256ビットまでの範囲である表示視点V3のHDR全天球画像の各画素値から画素値の最小値である2192-1を減算する。そして、伝送部77は、図9のCに示すように、その結果得られる64ビットの差分のビット数を64/256(=1/8)倍して8ビットにした値を、伝送用のビット数の表示視点V3のHDR全天球画像の画素値とする。
【0085】
以上のように、伝送部77は、HDR全天球画像の画素値そのものではなく、画素値の最小値との差分のビット数を伝送用のビット数に変換する。従って、HDR全天球画像の保持ビットが保持用のビット数より小さい場合、HDR全天球画像の画素値そのもののビット数を変換する場合に比べて、伝送による階調の減少を抑制することができる。即ち、表示視点V2や表示視点V3では、HDR全天球画像の画素値そのもののビット数を変換する場合階調は1/32倍になるが、画素値の最小値との差分のビット数を伝送用のビット数に変換する場合、階調は1/8倍になる。
【0086】
また、以上のようにして生成された8ビットのHDR全天球画像のビット数を元の256ビットに戻すためには、ビット数変換前のHDR全天球画像の画素値の範囲が必要である。従って、伝送部77は、8ビットのHDR全天球画像とともに、ビット数変換前のHDR全天球画像の画素値の範囲を復元データとして含めて伝送データを生成し、表示装置13に伝送する。
【0087】
なお、復元データは、ビット数変換前のHDR全天球画像の画素値の範囲を示す情報であれば、範囲そのものでなくてもよい。例えば、保持用のビット数を何分割したときの下から何分割目(例えば、表示視点V2の場合4分割したときの下から1分割目)であることを示す情報であってもよい。また、HDR全天球画像の画素値から減算される画素値の最小値は、そのHDR全天球画像を含む所定の範囲の表示視点のHDR全天球画像の画素値の最小値であってもよい。この場合、復元データは、所定の範囲の表示視点のHDR全天球画像の伝送ごとに伝送されてもよい。
【0088】
(画像生成装置の処理の説明)
図10は、図1の画像生成装置12のHDR全天球画像生成処理を説明するフローチャートである。このHDR全天球画像生成処理は、例えば、図1の撮影装置11から各2視点のペアの複数露出ペア画像と各画像のカメラパラメータが供給されたとき、開始される。
【0089】
図10のステップS11において、画像生成装置12の画像取得部71は、撮影装置11から供給される各2視点のペアの複数露出ペア画像を取得する。画像取得部71は、取得された複数露出ペア画像を画像処理部73に供給するとともに、画像処理部73を介してHDR画像生成部74に供給する。ステップS12において、パラメータ取得部72は、撮影装置11から供給される各画像のカメラパラメータを取得し、画像処理部73に供給する。
【0090】
ステップS13において、画像処理部73の補正部90は、パラメータ取得部72から供給される各画像のカメラパラメータのうちの収差に基づいて、画像取得部71から供給される複数露出ペア画像の各画像を補正する。補正部90は、補正後の複数露出ペア画像のうちの+EVペア画像を白飛び領域検出部91と視差画像生成部93に供給し、-EVペア画像を白飛び領域検出部91と視差画像生成部93に供給する。
【0091】
ステップS14において、白飛び領域検出部91は、補正部90から供給される+EVペア画像の各画像の白飛び領域を検出して白飛びマスクを生成し、視差画像生成部93に供給する。ステップS15において、黒潰れ領域検出部92は、補正部90から供給される-EVペア画像の各画像の黒潰れ領域を検出して黒潰れマスクを生成し、視差画像生成部93に供給する。
【0092】
ステップS16において、視差画像生成部93は、補正部90から供給される+EVペア画像の各画像に対して、その画像の白飛びマスクを用いることにより、各画像の白飛び領域を除外領域とする。ステップS17において、視差画像生成部93は、補正部90から供給される-EVペア画像の各画像に対して、その画像の黒潰れマスクを用いることにより、各画像の黒潰れ領域を除外領域とする。
【0093】
ステップS18において、視差画像生成部93は、各2視点のペアの基準視点の視差画像を生成する視差画像生成処理を行う。この視差画像生成処理の詳細は、後述する図11を参照して説明する。
【0094】
ステップS19において、HDR画像生成部74は、画像処理部73から供給される、各2視点のペアの基準視点の視差画像と各複数露出ペア画像のうちの最適な露出値の同一露出ペア画像とを用いて3次元再構成を行うことにより、各表示視点のHDR全天球画像を生成する。HDR画像生成部74は、各表示視点のHDR全天球画像を記憶部75に供給し、記憶させる。
【0095】
図11は、図10のステップS18の視差画像生成処理を説明するフローチャートである。
【0096】
図11のステップS20において、視差画像生成部93は、まだ処理対象として設定されていない2視点のペアを処理対象とし、マッチングコストSub_Cost(x,y,d)の積算数Nを0に設定する。また、視差画像生成部93は、奥行き方向の位置dを、候補とする視差の範囲に対応する位置dの範囲の最小値dminに設定し、基準視点の画像上のブロックの位置(x,y)を、まだ設定されていない位置に設定する。さらに、視差画像生成部93は、露出値の種類が、処理対象の2視点のペアの複数露出ペア画像の露出値の種類のうちの何番目の種類であるかを示すeを1に設定する。
【0097】
ステップS21において、視差画像生成部93は、ある基準視点に対して、処理対象の2視点のペアのe番目の露出値の同一露出ペア画像の各画像を奥行き方向の位置dに射影変換して得られる基準視点の画像の位置(x,y)のブロックの少なくとも一方が除外領域であるかどうかを判定する。
【0098】
ステップS21で両方の基準視点の画像の位置(x,y)のブロックが除外領域ではないと判定された場合、処理はステップS22に進む。ステップS22において、視差画像生成部93は、上述した式(1)により、基準視点の画像の位置(x,y)のブロックからマッチングコストSub_Cost(x,y,d)を算出する。
【0099】
ステップS23において、視差画像生成部93は、ステップS21で算出されたマッチングコストSub_Cost(x,y,d)を、保持しているマッチングコストSub_Cost(x,y,d)の積算値に積算し、その結果得られる積算値を保持する。なお、マッチングコストSub_Cost(x,y,d)の積算値がまだ保持されていない場合には、ステップS21で算出されたマッチングコストSub_Cost(x,y,d)をそのまま保持する。
【0100】
ステップS24において、視差画像生成部93は、積算数Nを1だけインクリメントし、処理をステップS25に進める。
【0101】
一方、ステップS21で少なくとも一方の基準視点の画像の位置(x,y)のブロックが除外領域であると判定された場合、ステップS22乃至S24の処理はスキップされ、処理はステップS25に進む。即ち、この場合、マッチングコストSub_Cost(x,y,d)は算出されず、マッチングコストSub_Cost(x,y,d)の積算は行われない。
【0102】
ステップS25において、eが、処理対象の2視点のペアの複数露出ペア画像の露出値の種類数E以上であるかどうかを判定する。ステップS25でeが種類数E以上ではないと判定された場合、ステップS26において、視差画像生成部93は、eを1だけインクリメントする。そして、処理はステップS21に戻り、eが種類数E以上となるまで、ステップS21乃至S26の処理が繰り返される。
【0103】
一方、ステップS26でeが種類数E以上であると判定された場合、即ち、両方の基準視点の画像の位置(x,y)のブロックが除外領域とならない全ての露出値のマッチングコストSub_Cost(x,y,d)が積算された場合、処理はステップS27に進む。
【0104】
ステップS27において、視差画像生成部93は、マッチングコストSub_Cost(x,y,d)の積算値を積算数Nで除算し、マッチングコストSub_Cost(x,y,d)の平均値Cost(x,y,d)を算出する。
【0105】
ステップS28において、視差画像生成部93は、奥行き方向の位置dが、候補とする視差の範囲に対応する位置dの範囲の最大値dmax以上であるかどうかを判定する。ステップS28で位置dが最大値dmax以上ではないと判定された場合、処理はステップS29に進む。
【0106】
ステップS29において、視差画像生成部93は、奥行き方向の位置dを1だけインクリメントし、処理をステップS21に戻す。そして、奥行き方向の位置dが最大値dmaxになるまで、ステップS21乃至S29の処理が繰り返される。
【0107】
一方、ステップS28で位置dが最大値dmax以上であると判定された場合、処理はステップS30に進む。ステップS30において、視差画像生成部93は、各位置dの位置(x,y)のブロックの平均値Cost(x,y,d)のうちの、平均値Cost(x,y,d)が最小となる位置dを、位置(x,y)の視差として検出する。
【0108】
ステップS31において、視差画像生成部93は、基準視点の画像内の全てのブロックの位置を位置(x,y)に設定したかどうかを判定する。ステップS31でまだ基準視点の画像内の全てのブロックの位置を位置(x,y)に設定していないと判定された場合、処理はステップS20に戻る。そして、基準視点の画像内の全てのブロックの位置を位置(x,y)に設定するまで、ステップS20乃至S31の処理が繰り返される。
【0109】
ステップS31で基準視点の画像内の全てのブロックの位置を位置(x,y)に設定したと判定された場合、処理はステップS32に進む。
【0110】
ステップS32において、視差画像生成部93は、全ての2視点のペアの視差画像を生成したかどうかを判定する。ステップS32で全ての2視点のペアの視差画像を生成していないと判定された場合、処理はステップS20に戻り、全ての2視点のペアの視差画像が生成されるまで、ステップS20乃至S32の処理が繰り返される。
【0111】
一方、ステップS32で全ての2視点のペアの視差画像を生成したと判定された場合、処理は図10のステップS18に戻り、ステップS19に進む。
【0112】
以上のように、画像生成装置12は、複数露出ペア画像の除外領域を除外した領域を用いて視差画像を生成する。従って、画像生成装置12は、+EVペア画像と-EVペア画像の除外領域以外の領域では、+EVペア画像と-EVペア画像の両方を用いて視差画像を生成することができる。よって、+EVペア画像と-EVペア画像のいずれか一方を用いて視差画像を生成する場合に比べて、視差画像の精度を向上させることができる。
【0113】
また、画像生成装置12は、+EVペア画像の少なくとも一方の白飛び領域では、-EVペア画像のみを用いて高精度の視差画像を生成することができる。さらに、画像生成装置12は、−EVペア画像の少なくとも一方の黒潰れ領域では、+EVペア画像のみを用いて高精度の視差画像を生成することができる。第1実施の形態のように、撮影装置11が、水平方向に360度、垂直方向に180度広がる視点の画像を撮影する場合、いずれかの視点の画像が光源を含むため、白飛び領域などにおいても高精度の視差画像を生成可能にすることは、特に有用である。
【0114】
さらに、画像生成装置12は、高精度の視差画像を用いて高精度のHDR全天球画像を生成することができる。
【0115】
(表示装置の構成例)
図12は、図1の表示装置13の構成例を示すブロック図である。
【0116】
撮影装置11の表示装置13は、指定部111、伝送部112、受け取り部113、表示画像生成部114、および表示部115により構成される。
【0117】
表示装置13の指定部111は、視聴者による表示視点の変更の指令(最初の表示視点の指定も含む)を受け付け、その表示視点の表示視点情報を生成する。指定部111は、表示視点情報を伝送部112と表示画像生成部114に供給する。伝送部112は、指定部111から供給される表示視点情報を図1の画像生成装置12に送信する。受け取り部113は、図1の画像生成装置12から送信されてくる伝送データを受け取り、表示画像生成部114に供給する。
【0118】
表示画像生成部114は、受け取り部113から供給される伝送データに含まれる復元データに基づいて、HDR全天球画像の伝送用のビット数を保持用のビット数に変換する。表示画像生成部114は、指定部111から供給される表示視点情報が示す変更後の表示視点のビット数変換後のHDR全天球画像の画素値の範囲が、変更前の表示視点のビット数変換後のHDR全天球画像の画素値の範囲から段階的に移行するように、変更後の表示視点のビット数変換後のHDR全天球画像の画素値を変更する。表示画像生成部114は、画素値が変更されたHDR全天球画像を表示画像として表示部115に供給する。
【0119】
表示部115は、表示画像生成部114から供給される表示画像を表示する。
【0120】
なお、図12の例では、表示部115が表示可能な画像のビット数が保持用のビット数であるため、表示画像生成部114は、HDR全天球画像の伝送用のビット数を保持用のビット数に変換したが、表示部115が表示可能な画像のビット数が伝送用のビット数である場合、表示画像生成部114は、変換を行わない。
【0121】
(表示画像の説明)
図13は、表示画像生成部114によるビット数変換後の各表示視点のHDR全天球画像の画素値の範囲を示す図であり、図14は、図13が画素値の範囲を示す各表示視点のHDR全天球画像から生成された表示画像の画素値の範囲を示す図である。
【0122】
図13の上段は、下段のグラフの横軸が表す各表示視点のビット数変換後のHDR全天球画像を示している。図13の下段は、ビット数変換後の各表示視点のHDR全天球画像の画素値の範囲を示すグラフである。図13の下段のグラフにおいて、横軸は表示視点を表し、縦軸は各表示視点のHDR全天球画像の画素値を表す。また、図14のグラフにおいて、横軸は表示時刻を表し、縦軸は、各表示時刻の表示画像の画素値を表す。
【0123】
図13の例では、ビット数変換後の表示視点V11のHDR全天球画像の画素値の最小値と最大値の範囲は、範囲D1である。また、ビット数変換後の表示視点V12のHDR全天球画像の画素値の最小値と最大値の範囲は、範囲D2である。
【0124】
この場合、図14に示すように、表示時刻t2において、表示視点情報が示す表示視点が表示視点V11から表示視点V12に変更されるとき、表示時刻t2の表示画像は、ビット数変換後の表示視点V12のHDR全天球画像から生成されるが、画素値の最小値と最大値の範囲は、ビット数変換後の表示視点V11のHDR全天球画像の範囲D1にされる。そして、表示時刻t2から表示時刻t3までの間に、表示画像の画素値の最小値と最大値の範囲は、ビット数変換後の表示視点V11のHDR全天球画像の範囲D1から、ビット数変換後の表示視点V12のHDR全天球画像の範囲D2へ段階的に移行される。
【0125】
従って、表示時刻t2において、表示画像の画素値の最小値と最大値の範囲が、範囲D1から範囲D2に急激に変化する場合に比べて、視聴者は、眼を徐々に範囲D2に順応させることができる。表示画像が全天球画像である場合、表示視点によって画素値の最小値と最大値の範囲が大きく異なる場合があるため、このことは特に有用である。
【0126】
表示画像の画素値の最小値と最大値の範囲の移行時間は、視聴者により設定されてもよいし、予め設定されていてもよい。また、表示視点の変更前と変更後で画素値の範囲の変更が大きい場合にのみ、表示画像の画素値の範囲を段階的に移行させるようにしてもよい。
【0127】
(表示装置の処理の説明)
図15は、図12の表示装置13の表示処理を説明するフローチャートである。この表示処理は、例えば、視聴者により表示視点の変更の指令が行われたとき、開始される。
【0128】
図15のステップS51において、表示装置13の指定部111は、視聴者による表示視点の変更の指令を受け付け、その表示視点の表示視点情報を生成する。指定部111は、表示視点情報を伝送部112と表示画像生成部114に供給する。
【0129】
ステップS52において、伝送部112は、指定部111から供給される表示視点情報を図1の画像生成装置12に送信する。ステップS53において、受け取り部113は、表示視点情報に応じて画像生成装置12から伝送データが送信されてきたかどうかを判定する。ステップS53でまだ伝送データが送信されてきていないと判定された場合、受け取り部113は、伝送データが送信されてくるまで待機する。
【0130】
一方、ステップS53で伝送データが送信されてきたと判定された場合、受け取り部113は、送信されてきた伝送データを受け取り、表示画像生成部114に供給する。ステップS55において、表示画像生成部114は、受け取り部113から供給される伝送データに含まれる復元データに基づいて、HDR全天球画像の伝送用のビット数を保持用のビット数に変換する。
【0131】
ステップS56において、表示画像生成部114は、指定部111から供給される表示視点情報が示す変更後の表示視点のビット数変換後のHDR全天球画像の画素値の範囲が、変更前の表示視点のHDR全天球画像の画素値の範囲から段階的に移行するように、変更後の表示視点のビット数変換後のHDR全天球画像の画素値を変更する。
【0132】
ステップS57において、表示画像生成部114は、画素値が変更されたHDR全天球画像を表示画像として表示部115に供給し、表示画像を表示部115に表示させる。そして、処理は終了する。
【0133】
<第2実施の形態>
(画像表示システムの第2実施の形態における画像処理部の構成例)
本開示を適用した画像表示システムの第2実施の形態の構成は、画像処理部を除いて、図1の画像表示システム10の構成と同様である。従って、以下では、画像処理部についてのみ説明する。
【0134】
図16は、本開示を適用した画像表示システムの第2実施の形態における画像処理部の構成例を示すブロック図である。
【0135】
図16に示す構成のうち、図5の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【0136】
図16の画像処理部130の構成は、白飛び領域検出部91と黒潰れ領域検出部92の代わりに領域検出部131が設けられる点、および視差画像生成部93の代わりに視差画像生成部132が設けられる点が、図5の画像処理部73の構成と異なる。画像処理部130は、2値の白飛びマスクまたは黒潰れマスクの代わりに、多値のマスクを生成する。
【0137】
具体的には、画像処理部130の領域検出部131には、補正部90から+EVペア画像と-EVペア画像の両方が供給される。領域検出部131は、+EVペア画像と-EVペア画像の各画像の各ブロックの除外領域の度合を表す値を算出する。
【0138】
より詳細には、領域検出部131は、画像を所定のサイズのブロックに分割し、各ブロックの画素値のヒストグラムを生成する。そして、領域検出部131は、ブロックごとに、ヒストグラムに基づいて、例えば、白飛び領域判定用の閾値より大きい画素値、または、黒潰れ領域判定用の閾値より小さい画素値が多いほど大きくなるように、除外領域の度合を表す値を算出する。領域検出部131は、各ブロックの除外領域の度合を表す値をマスク値とするマスクを生成する。マスク値は、0から1までの範囲の多値であり、除外領域の度合が大きいほど大きい。
【0139】
視差画像生成部132は、領域検出部131から供給される+EVペア画像と-EVペア画像の各画像に対して、その画像のマスクを用いることにより、以下の式(3)により各画像の各ブロックに対して重みweightを設定する。
【0140】
【数3】
【0141】
M(x,y)は、画像内の位置(x,y)のブロックのマスク値である。式(3)によれば、重みは、必ず、1より大きい値となる。
【0142】
視差画像生成部132は、2視点のペアごとに、例えばプレーンスイープ法により、複数露出ペア画像の各ブロックを、そのブロックに対して設定された重みで用いて、2視点のペアの視差を検出し、視差画像を生成する。
【0143】
具体的には、視差画像生成部132は、ある基準視点に対して、各ブロックに対して重みが設定された同一露出ペア画像を、所定の範囲内の候補となる各視差に対応する奥行き方向の位置dに射影変換し、被写体が各位置dに存在する場合の基準視点の画像を生成する。そして、視差画像生成部132は、図5の視差画像生成部93と同様に、位置dごとに、上述した式(1)により、各ブロックのマッチングコストSub_Cost(x,y,d)を得る。但し、マッチングコストSub_Cost(x,y,d)は、全てのブロックについて算出される。
【0144】
視差画像生成部132は、2視点のペアごとに、以下の式(3)により、算出された全ての露出値のマッチングコストSub_Cost(x,y,d)を重み付け加算し、重み付け加算値の平均値Cost(x,y,d)´を求める。
【0145】
【数4】
【0146】
Lは、複数露出ペア画像の露出値の種類数である。また、weight´は、マッチングコストSub_Cost(x,y,d)の算出に用いられたブロックI0(x,y,d)とブロックI1(x,y,d)の射影変換前のブロックの重みに基づいて決定される重みである。
【0147】
視差画像生成部132は、ブロックごとに平均値Cost(x,y,d)´が最も小さい場合の位置dを視差として検出し、基準視点の視差画像を生成する。視差画像生成部132は、各2視点のペアの基準視点の視差画像を、図4のHDR画像生成部74に供給する。
【0148】
(マスクの例)
図17は、図16の領域検出部131により生成されるマスクの例を示す図である。
【0149】
図17の例では、被写体が、人物、木、太陽であり、人物は、太陽の手前に存在する。そして、太陽に適切な露出値で-EVペア画像が撮影されると人物が黒潰れする。この場合、例えば、-EVペア画像のうちの1つの画像内の人物の内側の領域、人物の外側の領域、木の領域、その他の領域の除外領域の度合は、順に小さくなる。従って、領域検出部131は、-EVペア画像のうちの1つの画像内の人物の内側の領域、人物の外側の領域、木の領域、その他の領域のマスク値が順に小さくなるマスクを生成する。なお、図17では、マスク値を色の濃淡で表しており、色が濃いほどマスク値は大きい。
【0150】
図16の画像処理部130のHDR全天球画像生成処理は、白飛びマスクと黒潰れマスクがマスクに代わる点、および、視差画像生成処理を除いて、図10のHDR全天球画像生成処理と同一である。
【0151】
また、画像処理部130の視差画像生成処理は、除外領域であるかどうかの判定が行われない点、および、平均値Cost(x,y,d)の代わりに平均値Cost(x,y,d)´が算出される点を除いて、図11の視差画像処理と同一である。
【0152】
以上のように、画像処理部130は、各画像の除外領域の度合に基づいて多値のマスクを生成する。従って、各画像の除外領域の度合に基づいて、その画像の視差画像への影響度合をより細かく設定することができる。その結果、高精度の視差画像を生成することができる。
【0153】
なお、第1および第2実施の形態では、白飛び領域と黒潰れ領域の両方を除外領域としたが、いずれか一方を除外領域とするようにしてもよい。
【0154】
また、第1および第2実施の形態では、カメラモジュールが水平方向に360度、垂直方向に180度広がるように配置されるようにしたが、水平方向にのみ360度広がるように(円周状に並べて)配置されるようにしてもよい。この場合、視差画像と複数露出ペア画像を用いて、水平方向に360度広がる全天周画像が生成される。
【0155】
さらに、第1および第2実施の形態では、各表示視点のHDR全天球画像が予め記憶されず、表示視点情報が受け取られたときに、その表示視点情報が示す表示視点のHDR全天球画像のみが生成されるようにしてもよい。
【0156】
また、複数露出ペア画像は動画像であってもよい。各同一露出ペア画像に対応する2視点のペアの位置は異なっていてもよい。
【0157】
さらに、第1および第2実施の形態では、表示装置13が表示画像を生成したが、画像生成装置12が表示画像を生成し、表示装置13に送信するようにしてもよい。
【0158】
<第3実施の形態>
(本開示を適用したコンピュータの説明)
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【0159】
図18は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【0160】
コンピュータ200において、CPU(Central Processing Unit)201,ROM(Read Only Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。
【0161】
バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、入力部206、出力部207、記憶部208、通信部209、及びドライブ210が接続されている。
【0162】
入力部206は、キーボード、マウス、マイクロフォンなどよりなる。出力部207は、ディスプレイ、スピーカなどよりなる。記憶部208は、ハードディスクや不揮発性のメモリなどよりなる。通信部209は、ネットワークインタフェースなどよりなる。ドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア211を駆動する。
【0163】
以上のように構成されるコンピュータ200では、CPU201が、例えば、記憶部208に記憶されているプログラムを、入出力インタフェース205及びバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。
【0164】
コンピュータ200(CPU201)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア211に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【0165】
コンピュータ200では、プログラムは、リムーバブルメディア211をドライブ210に装着することにより、入出力インタフェース205を介して、記憶部208にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部209で受信し、記憶部208にインストールすることができる。その他、プログラムは、ROM202や記憶部208に、あらかじめインストールしておくことができる。
【0166】
なお、コンピュータ200が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0167】
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0168】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【0169】
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【0170】
例えば、本開示は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0171】
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0172】
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0173】
なお、本開示は、以下のような構成もとることができる。
【0174】
(1)
2視点のペアごとに複数の露出値で撮影された複数露出ペア画像内の、白飛び領域または黒潰れ領域の少なくとも一方の領域である除外領域を除外した領域を用いて、前記2視点のペアの視差を表す視差画像を生成する視差画像生成部
を備える画像生成装置。
(2)
前記視差画像生成部により生成された前記視差画像と前記複数露出ペア画像とを用いて、所定の視点のハイダイナミックレンジ画像を生成するハイダイナミックレンジ画像生成部と、
前記ハイダイナミックレンジ画像生成部により生成された前記ハイダイナミックレンジ画像の各画素値から前記画素値の最小値を減算し、その結果得られる差分のビット数を所定のビット数に変換した値を、前記ハイダイナミックレンジ画像の各画素値として伝送する伝送部と
をさらに備える
前記(1)に記載の画像生成装置。
(3)
前記伝送部は、前記ハイダイナミックレンジ画像生成部により生成された前記ハイダイナミックレンジ画像の画素値の範囲を示す情報を伝送する
ように構成された
前記(2)に記載の画像生成装置。
(4)
前記視差画像生成部により生成された前記視差画像と前記複数露出ペア画像とを用いて、所定の視点のハイダイナミックレンジ画像を生成するハイダイナミックレンジ画像生成部
をさらに備え、
前記ハイダイナミックレンジ画像生成部により生成された前記ハイダイナミックレンジ画像を表示する表示装置は、表示する前記ハイダイナミックレンジ画像の視点を変更する場合、変更後の視点の前記ハイダイナミックレンジ画像の画素値の範囲を、変更前の視点の前記ハイダイナミックレンジ画像の画素値の範囲から段階的に移行する
ように構成された
前記(1)に記載の画像生成装置。
(5)
前記複数露出ペア画像は、前記視点ごと、かつ、露出値ごとに設けられた撮影装置により撮影される
ように構成された
前記(1)乃至(4)のいずれかに記載の画像生成装置。
(6)
前記複数露出ペア画像は、前記視点ごとに設けられた撮影装置により撮影され、
各2視点のペアの前記撮影装置は、露出値を順に変更することにより、前記複数露出ペア画像を撮影する
ように構成された
前記(1)乃至(4)のいずれかに記載の画像生成装置。
(7)
前記複数露出ペア画像の前記除外領域を検出する領域検出部
をさらに備える
前記(1)乃至(6)のいずれかに記載の画像生成装置。
(8)
前記視差画像生成部は、前記複数露出ペア画像の各領域を、その領域が除外領域である度合に応じた重みで用いて、前記視差画像を生成する
ように構成された
前記(1)乃至(7)のいずれかに記載の画像生成装置。
(9)
画像生成装置が、
2視点のペアごとに複数の露出値で撮影された複数露出ペア画像内の、白飛び領域または黒潰れ領域の少なくとも一方の領域である除外領域を除外した領域を用いて、前記2視点のペアの視差を表す視差画像を生成する視差画像生成ステップと
を含む画像生成方法。
【符号の説明】
【0175】
12 画像生成装置, 13 表示装置, 31−1,31−2,32−1,32−2,51−1,51−2 カメラ, 74 HDR画像生成部, 77 伝送部, 91 白飛び領域検出部, 92 黒潰れ領域検出部, 93 視差画像生成部, 131 領域検出部, 132 視差画像生成部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18