特許 5807354 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5807354

(24)【登録日】2015年9月18日

(45)【発行日】2015年11月10日

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   H04N 13/02 20060101AFI20151021BHJP

   H04N 13/00 20060101ALI20151021BHJP

   H04N 5/225 20060101ALI20151021BHJP

   G03B 35/08 20060101ALI20151021BHJP

   G03B 19/07 20060101ALI20151021BHJP

【ＦＩ】

   H04N13/02 390

   H04N13/00 250

   H04N5/225 Z

   G03B35/08

   G03B19/07

【請求項の数】14

【全頁数】18

(21)【出願番号】特願2011-62020(P2011-62020)

(22)【出願日】2011年3月22日

(65)【公開番号】特開2012-199736(P2012-199736A)

(43)【公開日】2012年10月18日

【審査請求日】2014年3月10日

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニー株式会社

(74)【代理人】

【識別番号】100093241

【弁理士】

【氏名又は名称】宮田 正昭

(74)【代理人】

【識別番号】100101801

【弁理士】

【氏名又は名称】山田 英治

(74)【代理人】

【識別番号】100095496

【弁理士】

【氏名又は名称】佐々木 榮二

(74)【代理人】

【識別番号】100086531

【弁理士】

【氏名又は名称】澤田 俊夫

(74)【代理人】

【識別番号】110000763

【氏名又は名称】特許業務法人大同特許事務所

(72)【発明者】

【氏名】荒船 晶

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 特開２０１１−０５５３３７（ＪＰ，Ａ）

【文献】 特開平０５−３４４４２７（ＪＰ，Ａ）

【文献】 特開２００８−００５２４４（ＪＰ，Ａ）

【文献】 特開２００４−１１８７１１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／０２

Ｇ０３Ｂ １９／０７

Ｇ０３Ｂ ３５／０８

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ １３／００

(57)【特許請求の範囲】

【請求項1】

２眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対して、別個に生じた光の反射に基づく光学的なノイズの幾何学的な不一致を修正するノイズ除去処理を施すノイズ除去部を備え、
上記ノイズ除去部は、
上記左眼用画像および上記右眼用画像のそれぞれから光源および上記光学的なノイズを含む第１の領域と、該第１の領域に隣接する第２の領域を検出し、一方の画像の第１の領域および第２の領域を他方の画像の第１の領域および第２の領域で置換する
画像処理装置。

【請求項2】

上記ノイズ除去部は、
上記左眼用画像および上記右眼用画像のそれぞれを複数の領域に分割する領域分割部と、
上記左眼用画像および上記右眼用画像のそれぞれの上記領域分割部で分割された各分割領域のうち、同一被写体を撮影した領域同士および光学的に同一原因で生じた像による領域同士を対応付けする分割領域対応付け部と、
上記左眼用画像および上記右眼用画像のそれぞれの上記領域分割部で分割された分割領域から、上記第１の領域および上記第２の領域を検出する領域検出部と、
上記左眼用画像および上記右眼用画像の一方の第１の領域および第２の領域を、上記分割領域対応付け部の対応付けの結果に基づいて、他方の第１の領域および第２の領域で置換する画像置換部を有する
請求項１に記載の画像処理装置。

【請求項3】

２眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対して、別個に生じた光の反射に基づく光学的なノイズの幾何学的な不一致を修正するノイズ除去処理を施すノイズ除去部を備え、
上記ノイズ除去部は、
上記左眼用画像および上記右眼用画像のそれぞれから光源および上記光学的なノイズを含む第１の領域を検出し、上記左眼用画像および上記右眼用画像から上記第１の領域に含まれる上記光源および上記光学的なノイズを除去し、上記左眼用画像および上記右眼用画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光学的なノイズの効果を付与する
画像処理装置。

【請求項4】

上記ノイズ除去部は、
上記左眼用画像および上記右眼用画像のそれぞれを複数の領域に分割する領域分割部と、
上記左眼用画像および上記右眼用画像のそれぞれの上記領域分割部で分割された分割領域から、上記第１の領域を検出する領域検出部と、
上記左眼用画像および上記右眼用画像から上記第１の領域に含まれる光源および光学的なノイズを除去し、上記左眼用画像および上記右眼用画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光学的なノイズの効果を付与する画像置換部を有する
請求項３に記載の画像処理装置。

【請求項5】

上記ノイズ除去部で上記ノイズ除去処理を実行するか否かを決定するノイズ除去処理決定部をさらに備える
請求項１または３に記載の画像処理装置。

【請求項6】

カメラシステムから伝送される上記左眼用画像および上記右眼用画像を入力すると共に、上記カメラシステムから送付される撮影設定情報を入力する入力端子部をさらに備え、
上記ノイズ除去処理決定部は、上記カメラシステムから送付される撮影設定情報に含まれる絞り値に基づいて、上記ノイズ除去処理を実行するか否かを決定する
請求項５に記載の画像処理装置。

【請求項7】

上記光学的なノイズは光条・光芒であり、
上記ノイズ除去処理決定部は、上記左眼用画像および上記右眼用画像に生じる上記光条・光芒の半径に基づいて、上記ノイズ除去処理を実行するか否かを決定する
請求項５に記載の画像処理装置。

【請求項8】

上記光学的なノイズは光条・光芒であり、
上記ノイズ除去処理決定部は、上記左眼用画像および上記右眼用画像に生じる上記光条・光芒の本数に基づいて、上記ノイズ除去処理を実行するか否かを決定する
請求項５に記載の画像処理装置。

【請求項9】

上記光学的なノイズは光条・光芒であり、
上記ノイズ除去処理決定部は、上記左眼用画像および上記右眼用画像を得るためのカメラにおけるカメラレンズの絞り羽根の枚数情報に基づいて、上記ノイズ除去処理を実行するか否かを決定する
請求項５に記載の画像処理装置。

【請求項10】

上記光学的なノイズは光条・光芒であり、
上記ノイズ除去処理決定部は、上記左眼用画像および上記右眼用画像に生じる上記光条・光芒の存続期間に基づいて、上記ノイズ除去処理を実行するか否かを決定する
請求項５に記載の画像処理装置。

【請求項11】

２眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対して、別個に生じた光の反射に基づく光学的なノイズの幾何学的な不一致を修正するノイズ除去処理を施すノイズ除去ステップを有し、
上記ノイズ除去ステップでは、
上記左眼用画像および上記右眼用画像のそれぞれから光源および上記光学的なノイズを含む第１の領域と、該第１の領域に隣接する第２の領域を検出し、一方の画像の第１の領域および第２の領域を他方の画像の第１の領域および第２の領域で置換する
画像処理方法。

【請求項12】

２眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対して、別個に生じた光の反射に基づく光学的なノイズの幾何学的な不一致を修正するノイズ除去処理を施すノイズ除去ステップを有し、
上記ノイズ除去ステップでは、
上記左眼用画像および上記右眼用画像のそれぞれから光源および上記光学的なノイズを含む第１の領域を検出し、上記左眼用画像および上記右眼用画像から上記第１の領域に含まれる上記光源および上記光学的なノイズを除去し、上記左眼用画像および上記右眼用画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光学的なノイズの効果を付与する
画像処理方法。

【請求項13】

２眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像を処理するコンピュータを、
上記左眼用画像および上記右眼用画像のそれぞれを複数の領域に分割する領域分割手段と、
上記左眼用画像および上記右眼用画像のそれぞれの上記領域分割手段で分割された各分割領域のうち、同一被写体を撮影した領域同士および光学的に同一原因で生じた像による領域同士を対応付けする分割領域対応付け手段と、
上記左眼用画像および上記右眼用画像のそれぞれの上記領域分割手段で分割された分割領域から、光源および光条・光芒を含む光条領域と、該光条領域に隣接する光条背景領域を検出する光条検索手段と、
上記左眼用画像および上記右眼用画像の一方の光条領域および光条背景領域を、上記分割領域対応付け部の対応付けの結果に基づいて、他方の光条領域および光条背景領域で置換する画像置換手段
として機能させるプログラム。

【請求項14】

２眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像を処理するコンピュータを、
上記左眼用画像および上記右眼用画像のそれぞれを複数の領域に分割する領域分割手段と、
上記左眼用画像および上記右眼用画像のそれぞれの上記領域分割手段で分割された分割領域から、光源および光条・光芒を含む光条領域を検出する光条検索手段と、
上記左眼用画像および上記右眼用画像から上記光条領域に含まれる光源および光条・光芒を除去し、上記左眼用画像および上記右眼用画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条・光芒の効果を付与する画像置換手段
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、画像処理装置、画像処理方法およびプログラムに関する。詳しくは、この本技術は、２眼式の立体画像撮像用カメラによって撮影された左眼用画像および右眼用画像を処理する画像処理装置等に関する。

【背景技術】

【0002】

実写で立体（３Ｄ）画像を構成する左眼用画像および右眼用画像を取得する方法として、１本のレンズで受けた光を光学系内部で左右画像に光学的に分割する単眼式の取得方法と、左右別々のカメラシステムで同期をとり同時刻の画像を取得する２眼式の取得方法とがある。

【0003】

カメラシステムでは、一般的に、構図の上方に空・太陽が映り、下方に景色が広がるシーンや、夜間に撮影した夜空の下強い照明で照らされたスポーツフィールドのシーンなどで、光条の発生がみられる。２眼式の画像取得方法では、左眼用画像および右眼用画像のそれぞれに発生する光条形状は、立体（３Ｄ）の知覚を生じさせる幾何学的な相関はなく、また光源・光条と背景のコントラストによって強調され、画像コンテンツの視聴者に違和感を生じさせる原因となる。

【0004】

例えば、特許文献１には、カメラで撮影した画像に含まれるフレアを補正する発明が記載されている。この発明においては、カメラのフレア特性を予め測定し、このフレア特性を用いて撮影画像のフレアを補正するものである。なお、フレアは、光条・光芒を含む概念である。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００３−６９８９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本技術の目的は、左眼用画像および右眼用画像に存在する光学的なノイズにより立体画像を知覚する視聴者に違和感を生じさせることを回避することにある。

【課題を解決するための手段】

【0007】

本技術の概念は、
２眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対して、別個に生じた光学的なノイズを除去するノイズ除去処理を施し、左眼用画像および右眼用画像の幾何学的な不一致を修正するノイズ除去部を備える
画像処理装置にある。

【0008】

本技術において、ノイズ除去部により、２眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対して、別個に生じた光学的なノイズを除去するノイズ除去処理が施され、左眼用画像および右眼用画像の幾何学的な不一致が修正される。ここで、光学的なノイズには、撮像レンズから鏡筒を通って撮像素子までの間で生じる光の反射で生じるフレアが含まれる。そして、このフレアの１つとして、光条・光芒がある。

【0009】

このように本技術においては、左眼用画像および右眼用画像の幾何学的な不一致が修正される。そのため、左眼用画像および右眼用画像に存在する光学的なノイズにより立体画像を知覚する視聴者に違和感を生じさせることを回避することが可能となる。

【0010】

本技術において、例えば、ノイズ除去部は、左眼用画像および右眼用画像のそれぞれから光源および光条・光芒を含む光条領域と、この光条領域に隣接する光条背景領域を検出し、一方の画像の光条領域および光条背景領域を他方の画像の光条領域および光条背景領域で置換する、ようにされる。これにより、左眼用画像および右眼用画像の幾何学的な不一致が修正される。

【0011】

この場合、例えば、ノイズ除去部は、左眼用画像および上記右眼用画像のそれぞれを複数の領域に分割する領域分割部と、左眼用画像および右眼用画像のそれぞれの領域分割部で分割された各分割領域のうち、同一被写体を撮影した領域同士および光学的に同一原因で生じた像による領域同士を対応付けする分割領域対応付け部と、左眼用画像および右眼用画像のそれぞれの領域分割部で分割された分割領域から、光源および光条・光芒を含む光条領域と、この光条領域に隣接する光条背景領域を検出する光条検索部と、左眼用画像および右眼用画像の一方の光条領域および光条背景領域を、分割領域対応付け部の対応付けの結果に基づいて、他方の光条領域および光条背景領域で置換する画像置換部を有する、ようにされる。

【0012】

また、本技術において、例えば、ノイズ除去部は、左眼用画像および右眼用画像のそれぞれから光源および光条・光芒を含む光条領域と、この光条領域に隣接する光条背景領域を検出し、左眼用画像および右眼用画像から光条領域に含まれる光源および光条・光芒を除去し、左眼用画像および右眼用画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条・光芒の効果を付与する、ようにされる。これにより、左眼用画像および右眼用画像の幾何学的な不一致が修正される。

【0013】

この場合、例えば、ノイズ除去部は、左眼用画像および右眼用画像のそれぞれを複数の領域に分割する領域分割部と、左眼用画像および右眼用画像のそれぞれの領域分割部で分割された分割領域から、光源および光条・光芒を含む光条領域を検出する光条検索部と、左眼用画像および右眼用画像から光条領域に含まれる光源および光条・光芒を除去し、左眼用画像および右眼用画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条・光芒の効果を付与する画像置換部を有する、ようにされる。

【0014】

また、本技術において、例えば、ノイズ除去部でノイズ除去処理を実行するか否かを決定するノイズ除去処理決定部をさらに備える、ようにされる。これにより、左眼用画像および右眼用画像に対してノイズ除去処理が不必要に行われることを回避できる。この場合、例えば、ＣＰＵ（中央演算装置）の計算量を削減でき、その負荷を低減できる。

【0015】

この場合、例えば、カメラシステムから伝送される左眼用画像および右眼用画像を入力すると共に、カメラシステムから送付される撮影設定情報を入力する入力端子部をさらに備え、ノイズ除去処理決定部は、カメラシステムから送付される撮影設定情報に含まれる絞り値に基づいて、ノイズ除去処理を実行するか否かを決定する、ようにされる。

【0016】

また、この場合、例えば、光学的なノイズは光条・光芒であり、ノイズ除去処理決定部は、左眼用画像および右眼用画像に生じる光条・光芒の半径に基づいて、ノイズ除去処理を実行するか否かを決定する、ようにされる。また、この場合、例えば、光学的なノイズは光条であり、ノイズ除去処理決定部は、左眼用画像および右眼用画像に生じる光条の本数に基づいて、ノイズ除去処理を実行するか否かを決定する、ようにされる。

【0017】

また、この場合、例えば、光学的なノイズは光条であり、ノイズ除去処理決定部は、左眼用画像および右眼用画像を得るためのカメラにおけるカメラレンズの絞り羽根の枚数情報に基づいて、ノイズ除去処理を実行するか否かを決定する、ようにされる。また、この場合、例えば、光学的なノイズは光条であり、ノイズ除去処理決定部は、左眼用画像および右眼用画像に生じる光条・光芒の存続期間に基づいて、ノイズ除去処理を実行するか否かを決定する、ようにされる。

【発明の効果】

【0018】

本技術によれば、左眼用画像および右眼用画像の幾何学的な不一致を修正でき、立体画像を知覚する視聴者に違和感を生じさせることを回避できる。

【図面の簡単な説明】

【0019】

【図1】本技術の第１の実施の形態としての画像処理装置の構成例を示すブロック図である。

【図2】中央演算装置におけるノイズ除去処理の処理手順の一例を示すフローチャートである。

【図3】夜間のサッカー場全景をとらえる原画像（左眼用画像Ｌ、右眼用画像Ｒ）とラベリング結果を示す図である。

【図4】領域分割結果と各分割領域へのラベリング結果を示す図である。

【図5】左眼用画像Ｌ、右眼用画像Ｒの各分割領域の分割領域対応付けの一例を示す図である。

【図6】光源位置を検出するためのアルゴリズム例を説明するための図である。

【図7】中央演算装置におけるノイズ除去処理の処理手順の一例を示すフローチャートである。

【図8】本技術の第２の実施の形態としての画像処理装置の構成例を示すブロック図である。

【図9】光条本数の算出方法の一例を説明するための図である。

【図10】「絞り：Ｆ１０」であるときの画像例と「絞り：Ｆ２」であるときの画像例とを比較して示す図である。

【発明を実施するための形態】

【0020】

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．変形例

【0021】

＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、第１の実施の形態としての画像処理装置１００の構成例を示している。この画像処理装置１００は、２眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対する処理を行う。

【0022】

すなわち、この画像処理装置１００は、これら左眼用画像および右眼用画像に対して、別個に生じた光学的なノイズを除去するノイズ除去処理を施し、光学的なノイズの幾何学的な不一致を修正する。ここで、光学的なノイズには、撮像レンズから鏡筒を通って撮像素子までの間で生じる光の反射で生じるフレアが含まれ、このフレアの１つとして光条・光芒がある。光条と光芒は同様のものであるが、一般的には、光条は輪郭がはっきりした状態にあるものを意味し、それに対して、光芒は輪郭がぼやけた状態にあるものを意味する。以下の説明では、説明を簡単にするため、光学的なノイズが光条であるとして説明する。

【0023】

画像処理装置１００は、中央演算装置（ＣＰＵ：Central Processing Unit）１０１と、主記憶装置１０２と、ユーザ指示入力装置１０３と、ユーザ情報出力装置１０４と、画像データ蓄積部１０５と、プログラム蓄積装置１０６を有している。これら各部は、内部バス１０７に接続されている。

【0024】

画像データ蓄積装置１０５は、２眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像のデータを蓄積する。なお、この画像データ蓄積装置１０５は、ノイズ除去処理後の左眼用画像および右眼用画像のデータも蓄積する。プログラム蓄積装置１０６は、中央演算装置１０１の処理プログラムを蓄積する。中央演算装置１０１は、画像処理装置１００の各部の動作を制御し、また、画像データ蓄積装置１０５に蓄積されている左眼用画像および右眼用画像に対して、上述の光学的なノイズを除去するノイズ除去処理を施す。

【0025】

主記憶装置１０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成されている。中央演算装置１０１は、例えば、プログラム蓄積装置１０６から処理プログラムを読み出し、主記憶装置１０２の例えばＲＡＭ上に展開することで、上述の制御処理およびノイズ除去処理を実行する。ユーザ指示入力装置１０３は、ユーザ指示を入力するキーボード、マウス等である。ユーザ情報出力装置１０４は、ユーザ操作情報、処理進捗情報などを提示してユーザの便宜をはかるディスプレイ等である。

【0026】

［ノイズ除去処理の詳細］
中央演算装置１０１が行うノイズ除去処理について説明する。プログラム蓄積装置１０６には、（１）領域分割アルゴリズム、（２）分割領域対応付けアルゴリズム、（３）光条検索アルゴリズム、（４）画像置換アルゴリズムを搭載したプログラムが実行可能形式で保存されている。プログラムは主記憶装置１０２に読みだされ、中央演算装置１０１は、画像データ蓄積装置１０５から読みだされた画像データに対して各アルゴリズムを適用する。

【0027】

領域分割アルゴリズムは、各画素の色相・輝度・位置座標を利用したカテゴライズによって画像データを複数の領域に分割するアルゴリズムである。分割領域対応付けアルゴリズムは、左眼画像および右眼画像の分割領域のうち、同一被写体を撮影した領域どうし、あるいは光学的に同一原因で生じた像による領域どうしを対応付けるアルゴリズムである。

【0028】

光条検索アルゴリズムは、光条の領域を検出するアルゴリズムである。すなわち、光条検索アルゴリズムは、例えば、光源の中心位置を画像Ｘ軸・Ｙ軸方向の輝度ヒストグラムから特定し、その中心から等間隔にある円半径上に複数点をサンプリングし、サンプリングした輝度の分布と先の領域分割結果とを合わせて光条の領域を決める。

【0029】

また、光条検索アルゴリズムは、光条背景領域を検出するアルゴリズムである。すなわち、光条検索アルゴリズムは、光条の領域に隣接していて、構成画素の色度情報や輝度情報が、所望の分散内に収まるような一様な色の点で構成される領域を、光条背景領域として検出する。例えば、分割領域のうち、全点の輝度が０に近い部分を光条背景領域とし、「LBACK」、「RBACK」とする。輝度が記録ビット幅の飽和値に近い点から構成されている部分を光条領域とし、「Lray」、「Rray」とする。

【0030】

画像置換アルゴリズムは、領域分割の結果を利用して、一方の画像の光条領域および光条背景領域を他方の画像の光条領域および光条背景領域で置換するアルゴリズムである。あるいは、画像置換アルゴリズムは、左眼用画像および右眼用画像から光条領域に含まれる光源および光条を除去し、双方の画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条の効果を付与するアルゴリズムである。

【0031】

図２のフローチャートは、中央演算装置１０１におけるノイズ除去処理の処理手順の一例を示している。この例は、画像置換アルゴリズムが、領域分割の結果を利用して、一方の画像の光条領域および光条背景領域を他方の画像の光条領域および光条背景領域で置換する場合の処理手順である。

【0032】

中央演算装置１０１は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、中央演算装置１０１は、画像データ蓄積部１０５より、処理すべき左眼用画像データおよび右眼用画像データを、主記憶装置１０２に取得する。

【0033】

次に、中央演算装置１０１は、ステップＳＴ３において、左眼用画像および右眼用画像のそれぞれを複数の領域に分割する。そして、中央演算装置１０１は、ステップＳＴ４において、左眼用画像および右眼用画像のそれぞれの各分割領域のうち、同一被写体を撮影した領域同士および光学的に同一原因で生じた像による領域同士を対応付けする。

【0034】

次に、中央演算装置１０１は、ステップＳＴ５において、左眼用画像および右眼用画像のそれぞれの分割領域から、光源および光条を含む光条領域と、この光条領域に隣接する光条背景領域を検出する。そして、中央演算装置１０１は、ステップＳＴ６において、左眼用画像および右眼用画像の一方の光条領域および光条背景領域を、分割領域対応付けの結果に基づいて、他方の対応領域（光条領域および光条背景領域）で置換する。この場合、中央演算装置１０１は、単に置換するのではなく、一方の光条領域および光条背景領域に視差を付与する変形を施した後に、置換するようにしてもよい。

【0035】

次に、中央演算装置１０１は、ステップＳＴ７において、置換後の画像データ、つまり上述の他方の画像の画像データを、画像データ蓄積部１０５に保存する。その後に、中央演算装置１０１は、ステップＳＴ８において、処理を終了する。

【0036】

上述の図２のフローチャートの各ステップの処理についてさらに詳細に説明する。中央演算装置１０１は、ステップＳＴ２において、画像データ蓄積装置１０５から、主記憶装置１０２に、同一の時刻情報をもつ左眼用画像Ｌおよび右眼画像Ｒを読み出す。そして、中央演算装置１０１は、ステップＳＴ３において、それぞれの画像に領域分割アルゴリズムを適用して、領域分割処理を行う。この場合、中央演算装置１０１は、領域分割を、例えば、L*a*b 色空間でのクラスタリング等、既知の手法を適用して行う。

【0037】

また、中央演算装置１０１は、ステップＳＴ４において、分割領域対応付けアルゴリズムを適用して、左右画像間で、分割領域の対応付けを行う。ここで、分割後のサブ領域を、左眼画像ＡＬ，ＢＬ，ＣＬ，…,右眼画像ＡＲ、ＢＲ，ＣＲ，…，とする。

【0038】

例えば、図３に示すような、夜間のサッカー場全景をとらえる構図例を考える。この構図例における左眼用画像Ｌ、右眼用画像Ｒについて、空の部位をＡＬ，ＡＲ、光源および光条の部位をＢＬ，ＢＲ、中央右に位置するスタンドおよび人物の部位をＣＬ，ＣＲ、サッカーフィールドの領域をＤＬ，ＤＲとする。図４は、領域分割結果と各分割領域へのラベリング名を示す。中央演算装置１０１は、L*a*b 空間におけるクラスタリング結果での、各クラスタ中心座標とクラスタ内の画素数・クラスタを構成する画素の座標より、各領域の左右対応付けを行う。図５は、各領域の左右対応付け結果を示している。

【0039】

また、中央演算装置１０１は、ステップＳＴ５において、光条検索アルゴリズム（光源・光条検出アルゴリズム）を適用し、領域分割の結果を用いて、光条領域および光条背景領域を検出する。光条検索アルゴリズムの例を説明する。

【0040】

「光源の検出」
L*a*b空間上において光源を含むと予想される明度の高い領域（例・白色）を中心に持つクラスタを構成する画像領域を光源領域であると仮定する。また、L*a*b空間上でほぼ一様な背景色（例・黒〜紺）を中心に持つクラスタを構成する画像領域を、空などの背景領域であると仮定する。図３、図４、図５の例では、背景/空がおおよそ領域１（ＡＬ，ＡＲ）、光源がおおよそ領域２（ＢＬ，ＢＲ）に相当する。

【0041】

左眼用画像Ｌでは、図６に示すように、ＡＬ，ＢＬを結合した画像領域をスキャンの全体範囲とし、Ｘ方向、Ｙ方向それぞれ１ライン上の画素の合計輝度情報を取得する。ＸＹ両方向でピーク値をとる画素位置Ｐx（Xp, Yp）を光源の座標位置とする。図示しないが、同様に、左眼用画像Ｌでは、ＡＲ，ＢＲを結合した画像領域をスキャンの全体範囲とし、Ｘ方向、Ｙ方向それぞれ１ライン上の画素の合計輝度情報を取得する。ＸＹ両方向でピーク値をとる画素位置Ｐx（Xp, Yp）を、光源の座標位置とする。

【0042】

［光条領域、光条背景領域の検出］
また、光源の座標からの距離に応じて明度が単純に減少し、かつ画素の明度が所望の規定値Ｖth以上である画像領域を光条領域に再決定する。また、この再決定された光条領域を除く領域を光条背景領域とする。再決定した領域（光条領域、光条背景領域）をＡＬ’，ＢＬ’，ＡＲ’，ＢＲ’とする。なお、ここでは、再決定された結果と初回の領域分割結果とでＡＬとＡＬ’、ＢＬとＢＬ’，ＡＲ’とＡＲ，ＢＲ’とＢＲがすべて等しくなったか、重複する画素数がたとえば９９％以上であった、等の条件から等しいとみなしてよいものとし、もとの記号を使用する。

【0043】

また、中央演算装置１０１は、ステップＳＴ６において、画像置換アルゴリズムを適用し、例えば、右眼用画像の背景領域ＡＲおよび光条領域ＢＲから構成される領域を、右眼用画像の背景領域ＡＬおよび光条領域ＢＬから構成される画像で置換する。そして、中央演算装置１０１は、置換後の右眼用画像の画像データを画像データ蓄積部１０５に保存する。なお、この場合、右眼用画像の背景領域ＡＲおよび光条領域ＢＲから構成される領域を、右眼用画像の背景領域ＡＬおよび光条領域ＢＬから構成される画像で置換する際に、単に置換するのではなく、視差が付くように変形した後に置換するようにしてもよい。

【0044】

中央演算装置１０１は、以降、画像処理装置１００がステレオ表示のための２視点画像を、別途端子や通信ネットワーク等を経由して他のシステムに配信するときには、オリジナルの左眼画像および置換処理後の右眼画像を提供する。

【0045】

図７のフローチャートは、中央演算装置１０１におけるノイズ除去処理の処理手順の一例を示している。この例は、画像置換アルゴリズムが、左眼用画像および右眼用画像から光条領域に含まれる光源および光条を除去し、双方の画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条の効果を付与する場合の処理手順である。

【0046】

中央演算装置１０１は、ステップＳＴ１１において、処理を開始し、その後に、ステップＳＴ１２の処理に移る。このステップＳＴ１２において、中央演算装置１０１は、画像データ蓄積部１０５より、処理すべき左眼用画像データおよび右眼用画像データを、主記憶装置１０２に取得する。

【0047】

次に、中央演算装置１０１は、ステップＳＴ１３において、左眼用画像および右眼用画像のそれぞれを複数の領域に分割する。そして、中央演算装置１０１は、ステップＳＴ１４において、左眼用画像および右眼用画像のそれぞれの各分割領域のうち、同一被写体を撮影した領域同士および光学的に同一原因で生じた像による領域同士を対応付けする。

【0048】

次に、中央演算装置１０１は、ステップＳＴ１５において、左眼用画像および右眼用画像のそれぞれの分割領域から、光源および光条を含む光条領域と、この光条領域に隣接する光条背景領域を検出する。

【0049】

次に、中央演算装置１０１は、ステップＳＴ１６において、光源情報と仮想光源系に基づき、光条画像Ｆを作成する。そして、中央演算装置１０１は、ステップＳＴ１７において、光条画像Ｆを右眼用画像に合成し、さらに、ステップＳＴ１８において、光条画像Ｆを左眼用画像に合成する。そして、中央演算装置１０１は、ステップＳＴ１９において、合成後の左眼用画像および右眼用画像の画像データを画像データ蓄積装置１０４に保存する。

【0050】

上述の図７のフローチャートの各ステップの処理についてさらに詳細に説明する。なお、図７のフローチャートのステップＳＴ１２〜ステップＳＴ１５の処理は、上述の図２のフローチャートのステップＳＴ２〜ステップＳＴ５の処理と同じであるので、その詳細説明は省略する。つまり、ここでは、ステップＳＴ１６移行の処理について説明する。

【0051】

中央演算装置１０１は、ステップＳＴ１６〜ステップＳＴ１８において、画像置換アルゴリズムを適用する。すなわち、中央演算装置１０１は、左眼用画像Ｌおよび右眼用画像Ｒから光条領域に含まれる光源および光条を除去し、双方の画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条の効果を付与する。

【0052】

すなわち、中央演算装置１０１は、左眼用画像Ｌおよび右眼用画像Ｒの両方において、光条背景領域Ａｘの色情報とテクスチャ情報を利用して、あたかも光源および光条が存在しないかのように、光条領域を補正する。そして、中央演算装置１０１は、ステップＳＴ１５において検出した原画像上の光源位置Ｐｘに投影されるような、三次元位置情報をもつ光源位置に設置した、所望の光強度特性をもつ仮想光源を設定する。このとき、光源の放射指向性も仮想光源の特性に加えてもよい。

【0053】

中央演算装置１０１は、光源の位置・光強度・放射指向性等をあわせて、光源情報とする。そして、中央演算装置１０１は、この光源情報の特性をもつ仮想光源から仮想光学系を通過した光線によって生じる虚像の光条画像Ｆを作成し、補正後の左眼用画像および右眼用画像に合成する。

【0054】

具体的には、上述の仮想光源からの入射光が、原画像を撮影した右画像用光学系と相対的に同じ位置に設置した仮想光学系を通過して生じる光の回折現象をレンダリングしたものが光条画像Ｆである。中央演算装置１０１は、この光条画像Ｆを、補正後の右眼画像に所望のブレンディング比率で重ね合わせる。中央演算装置１０１は、左眼画像にも、光条画像Ｆを視差補正して合成する。そして、中央演算装置１０１は、光条画像Ｆを合成した後の左眼用画像および右眼用画像の画像データを画像データ蓄積部１０５に保存する。

【0055】

中央演算装置１０１は、以降、ステレオ表示のための２視点画像を、別途端子や通信ネットワーク等を経由して他のシステムに配信するときには、光条画像Ｆが合成された左眼用画像および右眼用画像を提供する。

【0056】

なお、中央演算装置１０１は、上述したようにレンダリングで作成される光条画像Ｆの代わりに、縮小バッファ技法等既知の手法で別途ＣＧ作成したフィルタ画像（光条画像）を作成して用いることもできる。この場合、中央演算装置１０１は、例えば、このフィルタ画像を補正後の右眼用画像に所望のブレンディング比率で重ね合わせて、光条・光茫効果をもたらす処理を施し、同様に、左眼用画像にもフィルタ画像Ｆを視差補正して合成する。

【0057】

上述したように、図１に示す画像処理装置１００においては、２眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対して、別個に生じた光学的なノイズを除去するノイズ除去処理が施される。そして、左眼用画像および右眼用画像の幾何学的な不一致が修正される。

【0058】

例えば、左眼用画像および右眼用画像のそれぞれから光源および光条を含む光条領域と、この光条領域に隣接する光条背景領域が検出され、一方の画像の光条領域および光条背景領域が他方の画像の光条領域および光条背景領域で置換される。また、例えば、左眼用画像および右眼用画像のそれぞれから光源および光条を含む光条領域と、この光条領域に隣接する光条背景領域が検出され、左眼用画像および右眼用画像から光条領域に含まれる光源および光条が除去される。そして、左眼用画像および右眼用画像にステレオ立体画像の視聴に適した幾何学的な相関を持つ光源および光条の効果が付与される。

【0059】

そのため、図１に示す画像処理装置１００においては、左眼用画像および右眼用画像に存在する光学的なノイズ、例えば光条により立体画像を知覚する視聴者に違和感を生じさせることを良好に回避できる。

【0060】

＜２．第２の実施の形態＞
［画像処理装置の構成例］
図８は、第２の実施の形態としての画像処理装置１００Ａの構成例を示している。この画像処理装置１００Ａも、上述の図１に示す画像処理装置１００と同様に、２眼式の立体画像撮影用カメラによって撮影されて得られた左眼用画像および右眼用画像に対する処理を行う。この図８において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。

【0061】

この画像処理装置１００Ａは、中央演算装置１０１と、主記憶装置１０２と、ユーザ指示入力装置１０３と、ユーザ情報出力装置１０４と、プログラム蓄積装置１０６と、画像データ入力端子１１１Ｌ，１１１Ｒと、画像データ出力端子１１２を有している。これら各部は、内部バス１０７に接続されている。

【0062】

画像データ入力端子１１１Ｌは、カメラシステム２００Ｌによって撮影された左眼用画像の画像データ、さらにはカメラシステム２００Ｌにおける絞り値などの撮影設定情報を入力するための端子である。また、画像データ入力端子１１１Ｒは、カメラシステム２００Ｒによって撮影された右眼用画像の画像データ、さらにはカメラシステム２００Ｒにおける絞り値などの撮影設定情報を入力するための端子である。画像データ出力端子１１２は、処理後の左眼用画像データおよび右眼用画像データを、画像データ出力モニタ３００に出力するための端子である。

【0063】

中央演算装置１０１は、詳細説明は省略するが、上述の図１に示す画像処理装置１００と同様に、プログラム蓄積装置１０６から処理プログラムを読み出し、主記憶装置１０２の例えばＲＡＭ上に展開することで、ノイズ除去処理を実行する。すなわち、中央演算装置１０１は、カメラシステム２００Ｌ，２００Ｒから入力される左眼用画像および右眼用画像の画像データに対して光学的なノイズを除去する処理を行い、処理後の画像データを画像データ出力端子１１２からモニタ３００に出力する。

【0064】

また、中央演算装置１０１は、カメラシステム２００Ｌ，２００Ｒから画像データと共に入力される撮影設定情報を利用した処理を行う。中央演算装置１０１は、例えば、絞り値を用いて、ノイズ除去処理を行うか否かを決定し、無駄にノイズ除去処理が行われることを防止する。このノイズ除去処理を行うか否かの決定については、さらに、後述する。

【0065】

図８に示す画像処理装置１００Ａのその他は、上述の図１に示す画像処理装置１００と同様に構成される。したがって、この図８に示す画像処理装置１００Ａにおいても、上述の図１に示す画像処理装置１００と同様の効果を得ることができる。

【0066】

なお、図８に示す画像処理装置１００Ａにおいては、左眼用画像データはカメラシステム２００Ｌから入力され、右眼用画像データはカメラシステム２００Ｒから入力されている。しかし、左眼用画像データおよび右眼用画像データを２台のカメラシステムから入力する必要はない。例えば、２台のカメラシステム２００Ｌ，２００Ｒの部分は、２つ以上の光学系を備える等して、別視野から撮影された複数の画像を出力可能な１台のカメラシステムであってもよい。

【0067】

＜３．変形例＞
なお、上述実施の形態においては、画像データ蓄積装置１０５に蓄積されている、あるいはカメラシステムから入力される左眼用画像および右眼用画像の光学的なノイズの幾何学的な不一致を修正するために、ノイズ除去処理を行う例を示した。中央演算装置１０１は、このノイズ除去処理を実行するか否かを決定し、ノイズ除去処理が不必要に行われることを回避することも考えられる。これにより、例えば、中央演算装置（ＣＰＵ）１０１の計算量を削減でき、その負荷を低減できる。以下に、ノイズ除去処理を行わない場合の条件を述べる。

【0068】

（１）光条の最大半径が所望の半径よりも小さい場合
中央演算装置１０１は、光条の半径が所望の閾値、例えば、画像のＸ方向画素数に対して１／３０より小さいときは、その光源を中心として発生した光条に対して、ノイズ除去処理を行わないこととする。

【0069】

（２）光源から発生している光条の本数が所望本数よりも多く、光条の筋の間隔が狭い場合
中央演算装置１０１は、１つの光源から発生している光条の本数が、別途設定した閾値の本数よりも多いときには、全てまたは一部の光条に対して、ノイズ除去処理を行わないこととする。この場合、視覚の弁別限界を上回る、すなわち本数が多くそれらの間隔の狭さによって、ある光条と隣接する光条とを見分けることができないからである。

【0070】

ここで、図９を参照して、光条本数の算出方法の一例を説明する。中央演算装置１０１は、光条領域ＢＲおよび光源位置Ｐｘが確定されたとき、光源位置（Xp,Yp）を中心点とした距離rの点の輝度を、ｒを変化させながら角度Θ（範囲：０＜Θ＜２π）でプロットする。そして、中央演算装置１０１は、プロットされた曲線Lrkについて、例えば、任意の２つLr1とLr2を選び、その相関「L(Θ)=Lr1(Θ) x Lr2(Θ)」を算出する。次いで、中央演算装置１０１は、式L(Θ)のΘに関する一次微分を算出するなどして極大値をとる毎に光条の本数を１増やし、０＜Θ＜２πのうちの極大値の個数（ここでは６）を光条の本数とする。

【0071】

（３）カメラレンズの絞り羽根の枚数の偶奇および枚数
カメラレンズの絞り羽根の枚数Ｗと発生する光条の本数には法則があり、Ｗが偶数ならばＷ本の、Ｗが奇数ならば２Ｗ本の光条が生じる。すなわち、上述の光源から発生している光条の本数と所望の本数との比較は、レンズの絞りが偶数羽であるか奇数羽であるかと、その枚数とに置き換えることもできる。よって、カメラ設定情報よりレンズの絞り羽枚数を得て、その値が例えば奇数で７枚以上あれば、ノイズ除去処理を行わないこととする。

【0072】

（４）光条の存続時間が所望の閾値よりも短い場合
カメラのフラッシュ等に起因するような、任意の光源から光条が発生している時間（動画像で同一光源から光条が発生している連続フレーム数）が所望の閾値よりも短いときは、ノイズ除去処理を行わないこととする。この場合、その光条が長時間の視聴体験において注意を喚起するものではないからである。

【0073】

（５）カメラの絞り値が設定値より小さい場合
カメラレンズの絞り値が大きくなれば、一般に光条の筋の長さは長くなる。例えば、図１０（ａ）は「絞り：Ｆ１０」であるときの画像例であり、図１０（ｂ）は「絞り：Ｆ２」であるときの画像例である。従って、設定された閾値（例：Ｆ８）よりも絞りの値が小さいときには、光条の筋の長さは許容できるほど短いとして、ノイズ除去処理を行わないこととする。

【0074】

以上、処理を行わないための条件を述べたが、閾値との大小関係を逆にして、処理を絶対に行うための条件を設定してもよい。また、複数の条件を組み合わせて、処理を行うための条件や、処理を行わないための条件を設定してもよい。

【符号の説明】

【0075】

１００，１００Ａ・・・画像処理装置
１０１・・・中央演算装置
１０２・・・主記憶装置
１０３・・・ユーザ指示入力装置
１０４・・・ユーザ情報出力装置
１０５・・・画像データ蓄積装置
１０６・・・プログラム蓄積装置
１０７・・・内部バス
１１１Ｌ，１１１Ｒ・・・画像データ入力端子
１１２・・・画像データ出力端子
２００Ｌ，２００Ｒ・・・カメラシステム
３００・・・画像データ出力モニタ

【図1】

【図2】

【図4】

【図5】

【図7】

【図8】

【図9】

【図3】

【図6】

【図10】