ホーム > 特許ランキング > ＮＬＴテクノロジー株式会社
知財求人 - 知財ポータルサイト「IP Force」
特許6016061画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6016061
(24)【登録日】2016年10月7日
(45)【発行日】2016年10月26日
(54)【発明の名称】画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
(51)【国際特許分類】
H04N 13/00 20060101AFI20161013BHJP
H04N 13/02 20060101ALI20161013BHJP
G06T 19/00 20110101ALI20161013BHJP
G06T 3/00 20060101ALI20161013BHJP
G06T 5/00 20060101ALI20161013BHJP
G06T 1/00 20060101ALI20161013BHJP
【ＦＩ】
H04N13/00 110
H04N13/00 220
H04N13/02 600
G06T19/00 F
G06T3/00 725
G06T3/00 770
G06T5/00 705
G06T1/00 315
【請求項の数】14
【全頁数】22
(21)【出願番号】特願2012-96311(P2012-96311)
(22)【出願日】2012年4月20日
(65)【公開番号】特開2013-225740(P2013-225740A)
(43)【公開日】2013年10月31日
【審査請求日】2015年4月10日
【前置審査】
(73)【特許権者】
【識別番号】303018827
【氏名又は名称】ＮＬＴテクノロジー株式会社
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(72)【発明者】
【氏名】呉 荻
(72)【発明者】
【氏名】坂本 道昭
【審査官】
鈴木 隆夫
(56)【参考文献】
【文献】
国際公開第２０１０／０８７７５１（ＷＯ，Ａ１）
【文献】
特開２００１−２５６４８２（ＪＰ，Ａ）
【文献】
特表２０１１−５２５７６９（ＪＰ，Ａ）
【文献】
特開２０１２−０７８９４２（ＪＰ，Ａ）
【文献】
特開平１０−１９１３９６（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ １３／００−１５／００
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ３／００
Ｇ０６Ｔ ５／００
Ｇ０６Ｔ １９／００
(57)【特許請求の範囲】
【請求項1】
２次元画像と、前記２次元画像の奥行き情報を表すデプス画像と、３次元空間に仮想的に配置した仮想カメラのパラメータと、を用いて、前記仮想カメラ位置から撮影して得られる仮想視点画像を生成する画像生成装置であって、
前記デプス画像と前記仮想カメラのパラメータとを用いて、前記２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成部と、前記２次元画像及び前記視差画像から抽出した輪郭線に基づいて前記視差画像生成部で生成した前記視差画像の視差値を補正、若しくは、前記２次元画像及び前記デプス画像から抽出した輪郭線に基づいて前記視差画像生成部で前記視差画像を生成するための前記デプス画像の奥行き情報を補正する視差画像補正部と、補正後の視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理部と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素を補間して前記仮想視点画像を生成する未設定画素補間部と、を備え、
前記視差画像補正部は、前記視差画像の輪郭線の所定の行（又は列）の画素を基準画素とし、当該所定の行（又は列）の近傍の行（又は列）を含む範囲内で、行（又は列）のプラス方向及びマイナス方向に最も離れている２つの画素を特定し、前記２つの画素に挟まれる行（又は列）方向の領域をエラー領域として推測し、得られたエラー領域内の視差値を補正することを特徴とする画像生成装置。
前記デプス画像と前記仮想カメラのパラメータとを用いて、前記２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成部と、前記２次元画像及び前記視差画像から抽出した輪郭線に基づいて前記視差画像生成部で生成した前記視差画像の視差値を補正、若しくは、前記２次元画像及び前記デプス画像から抽出した輪郭線に基づいて前記視差画像生成部で前記視差画像を生成するための前記デプス画像の奥行き情報を補正する視差画像補正部と、補正後の視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理部と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素を補間して前記仮想視点画像を生成する未設定画素補間部と、を備え、
前記視差画像補正部は、前記視差画像の輪郭線の所定の行（又は列）の画素を基準画素とし、当該所定の行（又は列）の近傍の行（又は列）を含む範囲内で、行（又は列）のプラス方向及びマイナス方向に最も離れている２つの画素を特定し、前記２つの画素に挟まれる行（又は列）方向の領域をエラー領域として推測し、得られたエラー領域内の視差値を補正することを特徴とする画像生成装置。
【請求項2】
複数枚の２次元画像を用いて、３次元空間に仮想的に配置した仮想カメラ位置から撮影して得られる仮想視点画像を生成する画像生成装置であって、
複数枚の２次元画像を使用して、２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成部と、前記２次元画像及び前記視差画像の輪郭線を抽出し、抽出された輪郭線に基づいて前記視差画像からエラー領域を推測し、得られたエラー領域内の視差値を補正する視差画像補正部と、補正後の視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理部と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素を補間して前記仮想視点画像を生成する未設定画素補間部と、を備え、
前記視差画像補正部は、前記視差画像の輪郭線の所定の行（又は列）の画素を基準画素とし、当該所定の行（又は列）の近傍の行（又は列）を含む範囲内で、行（又は列）のプラス方向及びマイナス方向に最も離れている２つの画素を特定し、前記２つの画素に挟まれる行（又は列）方向の領域をエラー領域として推測し、得られたエラー領域内の視差値を補正することを特徴とする画像生成装置。
複数枚の２次元画像を使用して、２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成部と、前記２次元画像及び前記視差画像の輪郭線を抽出し、抽出された輪郭線に基づいて前記視差画像からエラー領域を推測し、得られたエラー領域内の視差値を補正する視差画像補正部と、補正後の視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理部と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素を補間して前記仮想視点画像を生成する未設定画素補間部と、を備え、
前記視差画像補正部は、前記視差画像の輪郭線の所定の行（又は列）の画素を基準画素とし、当該所定の行（又は列）の近傍の行（又は列）を含む範囲内で、行（又は列）のプラス方向及びマイナス方向に最も離れている２つの画素を特定し、前記２つの画素に挟まれる行（又は列）方向の領域をエラー領域として推測し、得られたエラー領域内の視差値を補正することを特徴とする画像生成装置。
【請求項3】
２次元画像と、前記２次元画像の奥行き情報を表すデプス画像と、３次元空間に仮想的に配置した仮想カメラのパラメータと、を用いて、前記仮想カメラ位置から撮影して得られる仮想視点画像を生成する画像生成装置であって、
前記デプス画像と前記仮想カメラのパラメータとを用いて、前記２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成部と、前記視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理部と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素領域にあるノイズを除去する未設定画素領域ノイズ除去部と、ノイズを除去した中間画像の前記未設定画素を補間して前記仮想視点画像を生成する未設定画素補間部と、を備え、
前記未設定画素領域ノイズ除去部は、二つの未設定画素領域に挟まる画素領域の長さと予め定めたノイズ判定閾値とを比較することによって、前記画素領域がノイズであるか否かを判断するノイズ判定部と、前記画素領域がノイズであると判断された場合に、前記ノイズを除去するノイズ除去部と、を備えることを特徴とする画像生成装置。
前記デプス画像と前記仮想カメラのパラメータとを用いて、前記２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成部と、前記視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理部と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素領域にあるノイズを除去する未設定画素領域ノイズ除去部と、ノイズを除去した中間画像の前記未設定画素を補間して前記仮想視点画像を生成する未設定画素補間部と、を備え、
前記未設定画素領域ノイズ除去部は、二つの未設定画素領域に挟まる画素領域の長さと予め定めたノイズ判定閾値とを比較することによって、前記画素領域がノイズであるか否かを判断するノイズ判定部と、前記画素領域がノイズであると判断された場合に、前記ノイズを除去するノイズ除去部と、を備えることを特徴とする画像生成装置。
【請求項4】
２次元画像と、前記２次元画像の奥行き情報を表すデプス画像と、３次元空間に仮想的に配置した仮想カメラのパラメータと、を用いて、前記仮想カメラ位置から撮影して得られる仮想視点画像を生成する画像生成装置であって、
前記デプス画像と前記仮想カメラのパラメータとを用いて、前記２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成部と、前記視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理部と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素領域にあるノイズを除去する未設定画素領域ノイズ除去部と、ノイズを除去した中間画像の前記未設定画素を補間して前記仮想視点画像を生成する未設定画素補間部と、を備え、
前記未設定画素領域ノイズ除去部は、二つの未設定画素領域の長さと前記二つの未設定画素領域に挟まる画素領域の長さの比例値と予め定めたノイズ判定閾値とを比較することによって、前記画素領域がノイズであるか否かを判断するノイズ判定部と、前記画素領域がノイズであると判断された場合に、前記ノイズを除去するノイズ除去部と、を備えることを特徴とする画像生成装置。
前記デプス画像と前記仮想カメラのパラメータとを用いて、前記２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成部と、前記視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理部と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素領域にあるノイズを除去する未設定画素領域ノイズ除去部と、ノイズを除去した中間画像の前記未設定画素を補間して前記仮想視点画像を生成する未設定画素補間部と、を備え、
前記未設定画素領域ノイズ除去部は、二つの未設定画素領域の長さと前記二つの未設定画素領域に挟まる画素領域の長さの比例値と予め定めたノイズ判定閾値とを比較することによって、前記画素領域がノイズであるか否かを判断するノイズ判定部と、前記画素領域がノイズであると判断された場合に、前記ノイズを除去するノイズ除去部と、を備えることを特徴とする画像生成装置。
【請求項5】
複数枚の２次元画像を用いて、３次元空間に仮想的に配置した仮想カメラ位置から撮影して得られる仮想視点画像を生成する画像生成装置であって、
複数枚の２次元画像を使用して、２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成部と、前記視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理部と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素領域にあるノイズを除去する未設定画素領域ノイズ除去部と、ノイズを除去した中間画像の前記未設定画素を補間して前記仮想視点画像を生成する未設定画素補間部と、を備え、
前記未設定画素領域ノイズ除去部は、二つの未設定画素領域に挟まる画素領域の長さと予め定めたノイズ判定閾値とを比較することによって、前記画素領域がノイズであるか否かを判断するノイズ判定部と、前記画素領域がノイズであると判断された場合に、前記ノイズを除去するノイズ除去部と、を備えることを特徴とする画像生成装置。
複数枚の２次元画像を使用して、２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成部と、前記視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理部と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素領域にあるノイズを除去する未設定画素領域ノイズ除去部と、ノイズを除去した中間画像の前記未設定画素を補間して前記仮想視点画像を生成する未設定画素補間部と、を備え、
前記未設定画素領域ノイズ除去部は、二つの未設定画素領域に挟まる画素領域の長さと予め定めたノイズ判定閾値とを比較することによって、前記画素領域がノイズであるか否かを判断するノイズ判定部と、前記画素領域がノイズであると判断された場合に、前記ノイズを除去するノイズ除去部と、を備えることを特徴とする画像生成装置。
【請求項6】
複数枚の２次元画像を用いて、３次元空間に仮想的に配置した仮想カメラ位置から撮影して得られる仮想視点画像を生成する画像生成装置であって、
複数枚の２次元画像を使用して、２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成部と、前記視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理部と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素領域にあるノイズを除去する未設定画素領域ノイズ除去部と、ノイズを除去した中間画像の前記未設定画素を補間して前記仮想視点画像を生成する未設定画素補間部と、を備え、
前記未設定画素領域ノイズ除去部は、二つの未設定画素領域の長さと前記二つの未設定画素領域に挟まる画素領域の長さの比例値と予め定めたノイズ判定閾値とを比較することによって、前記画素領域がノイズであるか否かを判断するノイズ判定部と、前記画素領域がノイズであると判断された場合に、前記ノイズを除去するノイズ除去部と、を備えることを特徴とする画像生成装置。
複数枚の２次元画像を使用して、２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成部と、前記視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理部と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素領域にあるノイズを除去する未設定画素領域ノイズ除去部と、ノイズを除去した中間画像の前記未設定画素を補間して前記仮想視点画像を生成する未設定画素補間部と、を備え、
前記未設定画素領域ノイズ除去部は、二つの未設定画素領域の長さと前記二つの未設定画素領域に挟まる画素領域の長さの比例値と予め定めたノイズ判定閾値とを比較することによって、前記画素領域がノイズであるか否かを判断するノイズ判定部と、前記画素領域がノイズであると判断された場合に、前記ノイズを除去するノイズ除去部と、を備えることを特徴とする画像生成装置。
【請求項7】
請求項１乃至６のいずれか一に記載の前記画像生成装置と３次元表示パネルとを備える３次元画像表示装置。
【請求項8】
２次元画像と、前記２次元画像の奥行き情報を表すデプス画像と、３次元空間に仮想的に配置した仮想カメラのパラメータと、を用いて、前記仮想カメラ位置から撮影して得られる仮想視点画像を生成する画像生成方法であって、
前記デプス画像と前記仮想カメラのパラメータとを用いて、前記２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成処理と、前記２次元画像及び前記視差画像から抽出した輪郭線に基づいて前記視差画像生成処理で生成した前記視差画像の視差値を補正、若しくは、前記２次元画像及び前記デプス画像から抽出した輪郭線に基づいて前記視差画像生成処理で前記視差画像を生成するための前記デプス画像の奥行き情報を補正する視差画像補正処理と、補正後の視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素を補間して前記仮想視点画像を生成する未設定画素補間処理と、を実行し、
前記視差画像補正処理では、前記視差画像の輪郭線の所定の行（又は列）の画素を基準画素とし、当該所定の行（又は列）の近傍の行（又は列）を含む範囲内で、行（又は列）のプラス方向及びマイナス方向に最も離れている２つの画素を特定し、前記２つの画素に挟まれる行（又は列）方向の領域をエラー領域として推測し、得られたエラー領域内の視差値を補正することを特徴とする画像生成方法。
前記デプス画像と前記仮想カメラのパラメータとを用いて、前記２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成処理と、前記２次元画像及び前記視差画像から抽出した輪郭線に基づいて前記視差画像生成処理で生成した前記視差画像の視差値を補正、若しくは、前記２次元画像及び前記デプス画像から抽出した輪郭線に基づいて前記視差画像生成処理で前記視差画像を生成するための前記デプス画像の奥行き情報を補正する視差画像補正処理と、補正後の視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素を補間して前記仮想視点画像を生成する未設定画素補間処理と、を実行し、
前記視差画像補正処理では、前記視差画像の輪郭線の所定の行（又は列）の画素を基準画素とし、当該所定の行（又は列）の近傍の行（又は列）を含む範囲内で、行（又は列）のプラス方向及びマイナス方向に最も離れている２つの画素を特定し、前記２つの画素に挟まれる行（又は列）方向の領域をエラー領域として推測し、得られたエラー領域内の視差値を補正することを特徴とする画像生成方法。
【請求項9】
複数枚の２次元画像を用いて、３次元空間に仮想的に配置した仮想カメラ位置から撮影して得られる仮想視点画像を生成する画像生成方法であって、
複数枚の２次元画像を使用して、２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成処理と、前記２次元画像及び前記視差画像の輪郭線を抽出し、抽出された輪郭線に基づいて前記視差画像からエラー領域を推測し、得られたエラー領域内の視差値を補正する視差画像補正処理と、補正後の視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素を補間して前記仮想視点画像を生成する未設定画素補間処理と、を実行し、
前記視差画像補正処理では、前記視差画像の輪郭線の所定の行（又は列）の画素を基準画素とし、当該所定の行（又は列）の近傍の行（又は列）を含む範囲内で、行（又は列）のプラス方向及びマイナス方向に最も離れている２つの画素を特定し、前記２つの画素に挟まれる行（又は列）方向の領域をエラー領域として推測し、得られたエラー領域内の視差値を補正することを特徴とする画像生成方法。
複数枚の２次元画像を使用して、２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成処理と、前記２次元画像及び前記視差画像の輪郭線を抽出し、抽出された輪郭線に基づいて前記視差画像からエラー領域を推測し、得られたエラー領域内の視差値を補正する視差画像補正処理と、補正後の視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素を補間して前記仮想視点画像を生成する未設定画素補間処理と、を実行し、
前記視差画像補正処理では、前記視差画像の輪郭線の所定の行（又は列）の画素を基準画素とし、当該所定の行（又は列）の近傍の行（又は列）を含む範囲内で、行（又は列）のプラス方向及びマイナス方向に最も離れている２つの画素を特定し、前記２つの画素に挟まれる行（又は列）方向の領域をエラー領域として推測し、得られたエラー領域内の視差値を補正することを特徴とする画像生成方法。
【請求項10】
２次元画像と、前記２次元画像の奥行き情報を表すデプス画像と、３次元空間に仮想的に配置した仮想カメラのパラメータと、を用いて、前記仮想カメラ位置から撮影して得られる仮想視点画像を生成する画像生成方法であって、
前記デプス画像と前記仮想カメラのパラメータとを用いて、前記２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成処理と、前記視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素領域にあるノイズを除去する未設定画素領域ノイズ除去処理と、ノイズを除去した中間画像の前記未設定画素を補間して前記仮想視点画像を生成する未設定画素補間処理と、を実行し、
前記未設定画素領域ノイズ除去処理では、二つの未設定画素領域に挟まる画素領域の長さと予め定めたノイズ判定閾値とを比較することによって、前記画素領域がノイズであるか否かを判断し、前記画素領域がノイズであると判断した場合に、前記ノイズを除去することを特徴とする画像生成方法。
前記デプス画像と前記仮想カメラのパラメータとを用いて、前記２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成処理と、前記視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素領域にあるノイズを除去する未設定画素領域ノイズ除去処理と、ノイズを除去した中間画像の前記未設定画素を補間して前記仮想視点画像を生成する未設定画素補間処理と、を実行し、
前記未設定画素領域ノイズ除去処理では、二つの未設定画素領域に挟まる画素領域の長さと予め定めたノイズ判定閾値とを比較することによって、前記画素領域がノイズであるか否かを判断し、前記画素領域がノイズであると判断した場合に、前記ノイズを除去することを特徴とする画像生成方法。
【請求項11】
２次元画像と、前記２次元画像の奥行き情報を表すデプス画像と、３次元空間に仮想的に配置した仮想カメラのパラメータと、を用いて、前記仮想カメラ位置から撮影して得られる仮想視点画像を生成する画像生成方法であって、
前記デプス画像と前記仮想カメラのパラメータとを用いて、前記２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成処理と、前記視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素領域にあるノイズを除去する未設定画素領域ノイズ除去処理と、ノイズを除去した中間画像の前記未設定画素を補間して前記仮想視点画像を生成する未設定画素補間処理と、を実行し、
前記未設定画素領域ノイズ除去処理では、二つの未設定画素領域の長さと前記二つの未設定画素領域に挟まる画素領域の長さの比例値と予め定めたノイズ判定閾値とを比較することによって、前記画素領域がノイズであるか否かを判断し、前記画素領域がノイズであると判断された場合に、前記ノイズを除去することを特徴とする画像生成方法。
前記デプス画像と前記仮想カメラのパラメータとを用いて、前記２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成処理と、前記視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素領域にあるノイズを除去する未設定画素領域ノイズ除去処理と、ノイズを除去した中間画像の前記未設定画素を補間して前記仮想視点画像を生成する未設定画素補間処理と、を実行し、
前記未設定画素領域ノイズ除去処理では、二つの未設定画素領域の長さと前記二つの未設定画素領域に挟まる画素領域の長さの比例値と予め定めたノイズ判定閾値とを比較することによって、前記画素領域がノイズであるか否かを判断し、前記画素領域がノイズであると判断された場合に、前記ノイズを除去することを特徴とする画像生成方法。
【請求項12】
複数枚の２次元画像を用いて、３次元空間に仮想的に配置した仮想カメラ位置から撮影して得られる仮想視点画像を生成する画像生成方法であって、
複数枚の２次元画像を使用して、２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成処理と、前記視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素領域にあるノイズを除去する未設定画素領域ノイズ除去処理と、ノイズを除去した中間画像の前記未設定画素を補間して前記仮想視点画像を生成する未設定画素補間処理と、を実行し、
前記未設定画素領域ノイズ除去処理では、二つの未設定画素領域に挟まる画素領域の長さと予め定めたノイズ判定閾値とを比較することによって、前記画素領域がノイズであるか否かを判断し、前記画素領域がノイズであると判断した場合に、前記ノイズを除去することを特徴とする画像生成方法。
複数枚の２次元画像を使用して、２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成処理と、前記視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素領域にあるノイズを除去する未設定画素領域ノイズ除去処理と、ノイズを除去した中間画像の前記未設定画素を補間して前記仮想視点画像を生成する未設定画素補間処理と、を実行し、
前記未設定画素領域ノイズ除去処理では、二つの未設定画素領域に挟まる画素領域の長さと予め定めたノイズ判定閾値とを比較することによって、前記画素領域がノイズであるか否かを判断し、前記画素領域がノイズであると判断した場合に、前記ノイズを除去することを特徴とする画像生成方法。
【請求項13】
複数枚の２次元画像を用いて、３次元空間に仮想的に配置した仮想カメラ位置から撮影して得られる仮想視点画像を生成する画像生成方法であって、
複数枚の２次元画像を使用して、２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成処理と、前記視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素領域にあるノイズを除去する未設定画素領域ノイズ除去処理と、ノイズを除去した中間画像の前記未設定画素を補間して前記仮想視点画像を生成する未設定画素補間処理と、を実行し、
前記未設定画素領域ノイズ除去処理では、二つの未設定画素領域の長さと前記二つの未設定画素領域に挟まる画素領域の長さの比例値と予め定めたノイズ判定閾値とを比較することによって、前記画素領域がノイズであるか否かを判断し、前記画素領域がノイズであると判断された場合に、前記ノイズを除去することを特徴とする画像生成方法。
複数枚の２次元画像を使用して、２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成処理と、前記視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素領域にあるノイズを除去する未設定画素領域ノイズ除去処理と、ノイズを除去した中間画像の前記未設定画素を補間して前記仮想視点画像を生成する未設定画素補間処理と、を実行し、
前記未設定画素領域ノイズ除去処理では、二つの未設定画素領域の長さと前記二つの未設定画素領域に挟まる画素領域の長さの比例値と予め定めたノイズ判定閾値とを比較することによって、前記画素領域がノイズであるか否かを判断し、前記画素領域がノイズであると判断された場合に、前記ノイズを除去することを特徴とする画像生成方法。
【請求項14】
２次元画像と、前記２次元画像の奥行き情報を表すデプス画像と、３次元空間に仮想的に配置した仮想カメラのパラメータと、を用いて、前記仮想カメラ位置から撮影して得られる仮想視点画像を生成する装置で動作する画像生成プログラムであって、
前記装置を、
前記デプス画像と前記仮想カメラのパラメータとを用いて、前記２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成部、前記２次元画像及び前記視差画像から抽出した輪郭線に基づいて前記視差画像生成部で生成した前記視差画像の視差値を補正、若しくは、前記２次元画像及び前記デプス画像から抽出した輪郭線に基づいて前記視差画像生成部で前記視差画像を生成するための前記デプス画像の奥行き情報を補正する視差画像補正部、補正後の視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理部、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素を補間して前記仮想視点画像を生成する未設定画素補間部、として機能させ、
前記視差画像補正部は、前記視差画像の輪郭線の所定の行（又は列）の画素を基準画素とし、当該所定の行（又は列）の近傍の行（又は列）を含む範囲内で、行（又は列）のプラス方向及びマイナス方向に最も離れている２つの画素を特定し、前記２つの画素に挟まれる行（又は列）方向の領域をエラー領域として推測し、得られたエラー領域内の視差値を補正することを特徴とする画像生成プログラム。
前記装置を、
前記デプス画像と前記仮想カメラのパラメータとを用いて、前記２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成部、前記２次元画像及び前記視差画像から抽出した輪郭線に基づいて前記視差画像生成部で生成した前記視差画像の視差値を補正、若しくは、前記２次元画像及び前記デプス画像から抽出した輪郭線に基づいて前記視差画像生成部で前記視差画像を生成するための前記デプス画像の奥行き情報を補正する視差画像補正部、補正後の視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理部、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素を補間して前記仮想視点画像を生成する未設定画素補間部、として機能させ、
前記視差画像補正部は、前記視差画像の輪郭線の所定の行（又は列）の画素を基準画素とし、当該所定の行（又は列）の近傍の行（又は列）を含む範囲内で、行（又は列）のプラス方向及びマイナス方向に最も離れている２つの画素を特定し、前記２つの画素に挟まれる行（又は列）方向の領域をエラー領域として推測し、得られたエラー領域内の視差値を補正することを特徴とする画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラムに関し、特に、２次元画像信号と視差画像信号とに基づいて立体画像を生成または表示する画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラムに関する。
【背景技術】
【0002】
最近、３Ｄ画像表示装置の進展とともに、３Ｄ表示コンテンツの作成技術に対する注目も高まっている。３Ｄ画像表示装置が伝送回路を介して画像信号を受信して３Ｄ表現を行う場合、それぞれの視点に相当する画像信号を伝送する必要がある。特に、多視点ディスプレイに対応する多視点立体画像の場合、画像表示端末に必要なデータ量は、通常の２次元画像信号の数倍にも及んでいる。そこで、３Ｄ表示コンテンツの作成分野においては、伝送する画像データ量の低減が一つの課題となっている。
【0003】
そうした背景にあたって、３Ｄ表示する一方の２次元画像信号と、この２次元画像信号の各画素に対応する３Ｄオブジェクトの奥行き情報を表すデプス画像信号から、３Ｄ表示するもう一方の画像を生成する技術が研究されている。ここで、３Ｄ表示するもう一方の画像は、仮想カメラのパラメータを用いた画像処理技術により生成されたものであることから、以下、仮想視点画像と呼ぶ。このように、画像表示端末に、一枚の２次元画像信号とそれに対応するデプス画像信号から画像変換処理を通して仮想視点画像を生成する方法を適用することによって、少ない画像データ伝送量で３Ｄ表示を行うことが可能となった。
【0004】
しかし、２次元画像信号の各画素の奥行き情報を正確に反映する高精度なデプス画像を入手するのは容易ではない。実際のステレオカメラを用いてデプス画像を撮影する場合は、デプス画像の解像度はステレオカメラの固有特性により制限され、２次元画像信号よりも小さい。例えば、mesa社が開発したＴＯＦ（Time of flight）カメラ（MESA Swiss Ranger SR3100）により撮られたデプス画像の解像度は、１７６×１４４ピクセルとなり、２次元画像信号に大きく及ばない。また、３ＤＣＧツールの場合は、レンダリングスピードを優先するためにデプス画像の解像度を犠牲することがよくある。また、複数枚の異なる視点に対応する２次元画像信号からデプス画像を推測する場合は、対応画素の誤検出などの影響によって、得られたデプス画像信号の精度はさらに低くなる。そして、デプス画像信号の精度低下によって、生成された仮想視点画像においてはノイズが目立ち、画質が劣化するという問題が生じる。
【0005】
このような画質劣化の問題に対して、例えば、下記特許文献１には、複数枚の画像情報から距離情報を検出する距離情報検出部と、検出した距離情報を、距離情報から得られる曲面に定義された重みづけ関数を最小化するような重みづけで平滑化を行う平滑化部と、検出した距離情報の値の確からしさを示す指標を用いて平滑化処理での重みづけを行うために必要な重みづけ情報を検出する重みづけ情報検出部、および平滑化処理された距離情報に基づいて、入力視点画像の各画素を移動し、任意視点での画像を内挿する画像再生・内挿部を備える装置が開示されている。
【0006】
また、下記特許文献２には、３次元画像データの平面画像情報と２次元画像データの平明画像情報から対応する特徴点をそれぞれ抽出し、抽出した特徴点の対応関係に基づいて、３次元画像データの被写体の位置ずれを、複数の特徴点で閉じられる閉図形を変形することで補正し、補正した３次元の画像データの奥行き情報（デプス情報）と、２次元画像データの平面情報から仮想視点画像データを生成する方法が開示されている。
【0007】
また、下記非特許文献３には、高精度の仮想視点画像を得るために、デプス画像信号の輪郭情報を用いて低解像度のデプス画像信号から高解像度画像信号に変換する方法が開示されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開２００１−１７５８６３号公報
【特許文献2】特開２００５−２２８１３４号公報
【非特許文献】
【0009】
【非特許文献3】lsoon Lim,Hocheon Wey,Dusik Park,"Depth Super−resolution for Enhanced Free−viewpoint TV,"SID Symposium Digest of Technical Papers May 2010 Volume 41,Issue 1,pp.1268−1271
【発明の概要】
【発明が解決しようとする課題】
【0010】
上述したように、３Ｄ表示する一方の２次元画像信号と、この２次元画像信号の各画素に対応するオブジェクトの奥行き情報を表すデプス画像信号とを用いて、仮想視点画像を生成する場合、デプス画像信号の精度が悪いと、生成された仮想視点画像はノイズが目立ち、画質が劣化する。
【0011】
この問題に対して、特許文献１では、複数枚の２次元画像信号から生成されたデプス画像信号に関して、重み付け処理や平滑化処理などを用いて、デプス画像信号内の誤差を緩和し、内挿視点画像の画質劣化を改善する方法を提案しているが、この方法では、デプス画像信号内の誤差を完全に直すことができない。特に、平滑化処理によって補正されたデプス画像信号において、各オブジェクト輪郭線の周辺領域は、ぼかし状態になっており、オブジェクト間の奥行き差分が明確に表示されていないため、これに基づいて生成された仮想視点画像信号では、オブジェクトの輪郭領域に対応する画素がばらばらに散らされ、オブジェクトの輪郭部分のノイズが目立つ。
【0012】
また、特許文献２では、３次元画像データの平面画像情報と２次元画像データの平明画像情報のそれぞれから特徴点を抽出する方法を提案しているが、この方法では、３次元画像データではなく奥行き情報（デプス画像信号）と２次元画像データが入力の場合は、デプス情報からの特徴点抽出は、色情報やテキスチャ情報がないために精度が悪く、特徴点の対応関係を精度よくとることができない。
【0013】
また、非特許文献３では、仮想視点画像を得るために、デプス画像信号の輪郭情報のみを用いる方法を提案しているが、この方法では、デプス画像の精度が悪い場合には、その輪郭情報にも元々誤差が入っているために、補正後のデプス画像の精度も更に悪くなる可能性がある。
【0014】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、２次元画像信号と、この２次元画像信号に対応するデプス画像信号とから仮想視点画像信号を生成する際に、ノイズの少ない、且つ高い画質を有する仮想視点画像を生成することが可能な画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラムを提供することにある。
【課題を解決するための手段】
【0015】
本発明の第１の態様に係る画像生成装置は、２次元画像と、前記２次元画像の奥行き情報を表すデプス画像と、３次元空間に仮想的に配置した仮想カメラのパラメータと、を用いて、前記仮想カメラ位置から撮影して得られる仮想視点画像を生成する画像生成装置であって、前記デプス画像と前記仮想カメラのパラメータとを用いて、前記２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成部と、前記２次元画像及び前記視差画像から抽出した輪郭線に基づいて前記視差画像生成部で生成した前記視差画像の視差値を補正、若しくは、前記２次元画像及び前記デプス画像から抽出した輪郭線に基づいて前記視差画像生成部で前記視差画像を生成するための前記デプス画像の奥行き情報を補正する視差画像補正部と、補正後の視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理部と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素を補間して前記仮想視点画像を生成する未設定画素領域補間部と、を備えるものである。
【0016】
本発明の第２の態様に係る画像生成装置は、２次元画像と、前記２次元画像の奥行き情報を表すデプス画像と、３次元空間に仮想的に配置した仮想カメラのパラメータと、を用いて、前記仮想カメラ位置から撮影して得られる仮想視点画像を生成する画像生成装置であって、前記デプス画像と前記仮想カメラのパラメータとを用いて、前記２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成部と、前記視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理部と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素領域にあるノイズを除去する未設定画素領域ノイズ除去部と、ノイズを除去した中間画像の前記未設定画素を補間して前記仮想視点画像を生成する未設定画素領域補間部と、を備えるものである。
【0017】
本発明の第３の態様に係る画像生成装置は、複数枚の２次元画像を用いて、３次元空間に仮想的に配置した仮想カメラ位置から撮影して得られる仮想視点画像を生成する画像生成装置であって、複数枚の２次元画像を使用して、前記２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成部と、前記２次元画像及び前記視差画像の輪郭線を抽出し、抽出された輪郭線に基づいて前記視差画像からエラー領域を推測し、得られたエラー領域内の視差値を補正する視差画像補正部と、補正後の視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理部と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素を補間して前記仮想視点画像を生成する未設定画素領域補間部と、を備えるものである。
【0018】
本発明の第３の態様に係るもう一つの画像生成装置は、複数枚の２次元画像を用いて、３次元空間に仮想的に配置した仮想カメラ位置から撮影して得られる仮想視点画像を生成する画像生成装置であって、複数枚の２次元画像を使用して、前記２次元画像の各画素のずらし量を表す視差値を表す視差画像を生成する視差画像生成部と、前記視差画像に従って前記２次元画像の各画素をシフトさせて中間画像を生成する画素移動処理部と、前記中間画像の内、シフトされた画素が割り当てられていない未設定画素領域にあるノイズを除去する未設定画素領域ノイズ除去部と、ノイズを除去した中間画像の前記未設定画素を補間して前記仮想視点画像を生成する未設定画素領域補間部と、を備えるものである。
【発明の効果】
【0019】
本発明の画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラムによれば、ノイズの少ない、且つ高画質を有する仮想視点画像を生成することができる。
【0020】
その理由は、デプス画像と仮想カメラのパラメータを用いて視差画像を生成若しくは複数枚の２次元画像を使用して視差画像を生成し、２次元画像と視差画像から抽出した輪郭線に基づいて生成した視差画像の視差値を補正、若しくは、２次元画像とデプス画像から抽出した輪郭線に基づいて視差画像を生成するためのデプス画像の奥行き情報を補正し、補正後の視差画像に従って２次元画像の各画素をシフトさせて中間画像を生成し、中間画像の未設定画素を補間して仮想視点画像を生成する処理を行うからである。
【0021】
また、デプス画像と仮想カメラのパラメータを用いて視差画像を生成若しくは複数枚の２次元画像を使用して視差画像を生成し、視差画像に従って２次元画像の各画素をシフトさせて中間画像を生成し、中間画像の未設定画素領域に生じるノイズを削除し、中間画像の未設定画素を補間して仮想視点画像を生成する処理を行うからである。
【図面の簡単な説明】
【0022】
【図1】本発明の実施の形態１に係る画像生成装置の構成を示すブロック図である。
【図2】本発明の実施の形態１に係る画像生成装置における視差画像補正部の構成の一例を示すブロック図である。
【図3】本発明の実施の形態１に係る画像生成装置における視差画像補正法の一例を示すシーケンス図である。
【図4(a)】視差画像補正処理における画像出力結果（２次元画像信号）の一例を示す図である。
【図4(b)】視差画像補正処理における画像出力結果（視差画像信号）の一例を示す図である。
【図4(c)】視差画像補正処理における画像出力結果（２次元画像の輪郭情報）の一例を示す図である。
【図4(d)】視差画像補正処理における画像出力結果（視差画像の輪郭情報）の一例を示す図である。
【図4(e)】視差画像補正処理における画像出力結果（（ｊ−α）行目から（ｊ＋α）行目までの範囲ω内の２次元画像及び視差画像の輪郭情報）の一例を示す図である。
【図4(h)】視差画像補正処理における画像出力結果（補正後の視差画像信号）の一例を示す図である。
【図5】本発明の実施の形態１に係る画像生成装置における未設定画像補間法の一例を示すシーケンス図である。
【図6】本発明の実施の形態２に係る画像生成装置の構成を示すブロック図である。
【図7】未設定画素領域の生成原因を説明する図である。
【図8】未設定画像領域内のノイズの生成原因を説明する図である。
【図9】本発明の実施の形態２に係る画像生成装置における未設定画素領域ノイズ除去部の構成の一例を示すブロック図である。
【図10】本発明の実施の形態２に係る画像生成装置における未設定画像領域ノイズ除去処理を説明する図である。
【図11】本発明の実施の形態３に係る画像生成装置の構成を示すブロック図である。
【図12】本発明の実施の形態３に係る画像生成装置の他の構成を示すブロック図である。
【図13(a)】本実施形態の効果を説明するための画像出力結果（２次元画像信号）の具体例を示す図である。
【図13(b)】本実施形態の効果を説明するための画像出力結果（デプス画像信号）の具体例を示す図である。
【図13(c)】本実施形態の効果を説明するための画像出力結果（従来の手法で生成された中間画像信号）の具体例を示す図である。
【図13(d)】本実施形態の効果を説明するための画像出力結果（実施の形態１の手法で生成された中間画像信号）の具体例を示す図である。
【図13(e)】本実施形態の効果を説明するための画像出力結果（実施の形態２の手法で生成された中間画像信号）の具体例を示す図である。
【図13(f)】本実施形態の効果を説明するための画像出力結果（従来の手法で生成された仮想視点画像信号）の具体例を示す図である。
【図13(g)】本実施形態の効果を説明するための画像出力結果（実施の形態１の手法で生成された仮想視点画像信号）の具体例を示す図である。
【図13(h)】本実施形態の効果を説明するための画像出力結果（実施の形態２の手法で生成された仮想視点画像信号）の具体例を示す図である。
【図14】本実施形態に係る画像生成装置を含む画像表示装置の構成を示すブロック図である。
【発明を実施するための形態】
【0023】
［実施の形態１］本発明の実施の形態１に係る仮想視点画像を生成する画像生成装置の構成について、図１を参照して説明する。図１は、本実施の形態に係る仮想視点画像生成装置１００の構成を示すブロック図である。
【0024】
図１（ａ）に示すように、画像生成装置１００は、視差画像生成部１０１と、視差画像補正部１０２と、画素移動処理部１０３と、未設定画素領域補間部１０４と、を備えており、仮想カメラのパラメータ７０００と、デプス画像信号２０００と、２次元画像信号１０００から、仮想視点画像信号４００２を生成して出力する。ここで、２次元画像信号１０００は、３Ｄ空間である視点位置から撮影された画像信号である。仮想カメラのパラメータ７０００は、前記２次元画像信号１０００に対応する視点位置と同じ３Ｄ空間で、実際に設置されていない仮想カメラを定義するパラメータであり、仮想カメラの焦点距離や視角、３Ｄ空間上の座標情報などを含む。デプス画像信号２０００は、前記３Ｄ空間で２次元画像信号１０００の各画素に対応するオブジェクトと前記視点位置の距離を表すものである。仮想視点画像信号４００２は、仮想のカメラ位置から撮影された画像信号である。
【0025】
以下に、画像生成装置１００に含まれる各処理部の機能を説明する。
【0026】
まず、仮想カメラのパラメータ７０００とデプス画像信号２０００が視差画像生成部１０１に入力される。入力されたデプス画像信号２０００は、２次元画像信号１０００と同じ解像度を持っているが、低解像度のオリジナルデータから補間処理などを通して生成された場合、２次元画像信号１０００内の各画素の奥行き情報を正確に反映していないところがある。例えば、実写により生成されたデプス画像の場合は、解像度がステレオカメラの固有特性に制限され、２次元画像信号に大きく及ばない。また、３ＤＣＧツール（Lightwaveや3DMaxなど）により生成されたデプス画像でも、レンダリングスピードを優先するために解像度を犠牲することがよくある。また、複数枚の異なる視点に対応する２次元画像信号からデプス画像を推測する場合、推測誤差などの影響で、得られたデプス画像信号の精度がさらに低くなる。そこで、視差画像生成部１０１は、上述のような低精度のデプス画像信号２０００と仮想カメラのパラメータ７０００を受け取った後、デプス画像信号２０００の各画素を、仮想視点画像信号４００２を生成するために、２次元画像信号の各画素のずらし量（視差値）を表す視差画像信号３０００に変換する。２次元画像信号１０００における画素（u,v）の視差量Δu（u,v）は、例えば、以下の式１で与えられる。
【0027】
［式１］【0028】
ここで、z（u,v）は、デプス画像信号２０００の画素（u,v）の値であり、２次元画像信号１０００内の画素（u,v）に対応する３Ｄ空間上でオブジェクトと視点の距離を表す。IODは、入力の２次元画像信号１０００に対応する視点位置と出力の仮想視点画像信号に対応する視点位置の間隔である。Fovは、カメラの視角である。生成された視差画像信号３０００は、視差画像生成部１０１から出力される。
【0029】
そして、視差画像信号３０００と２次元画像信号１０００は視差画像補正部１０２に入力され、視差画像補正部１０２は、入力された２次元画像信号１０００と視差画像信号３０００の輪郭線を抽出し、また、視差画像信号３０００における輪郭部分の視差値を修正し、補正後の視差画像信号３００１を出力する。視差画像補正部１０２の具体的な構成と処理法については、後に詳述する。
【0030】
次に、補正後の視差画像信号３００１と２次元画像信号１０００は画素移動処理部１０３に入力され、画素移動処理部１０３は、補正後の視差画像信号３００１に従って２次元画像信号１０００の各画素を適切な位置に移動させ、中間画像信号４０００を生成する。一般的には、２次元画素信号における画素（u,v）の色情報を中間画像信号４０００の座標（u＋Δu（u,v）,v）に移動させる。ここで、Δu（u,v）は、補正後の視差画像信号３００１の画素（u,v）の値である。３Ｄコンテンツの飛出し及び奥行き量を調整する場合は、２次元画素信号における画素（u,v）の色情報を中間画像信号４０００の座標（u＋ｋ・Δu（u,v）,v）に入れてもよい。ｋは、立体感調整係数である。ｋは、定数に設定してもいいし、または、座標（u,v）の関数ｋ＝f（u,v）に従って計算してもよい。ここで、中間画像信号４０００は、補正後の視差画像信号３００１に従って２次元画像信号を画素ごとに移動させた画像信号であるが、中間画像信号４０００には、座標計算の段階で２次元画像信号のどの画素の移動後の座標にもならず、色が一度も置かれない画素（すなわち、シフトされた画素が割り当てられていない画素）が出てくる。これらの画素を未設定画素と定義する。
【0031】
最後に、中間画像信号４０００は未設定画素領域補間部１０４に入力され、未設定画素領域補間部１０４は、線形補間や、平均値補間、また重み付け平滑化などの方法を用いて、中間画像信号４０００における未設定画素領域を補完する。補間後の画像は、仮想視点画像信号４００２として出力される。
【0032】
図５を用いて未設定画素領域を補間する一例を紹介する。図５（ａ）は、未設定画素を含む中間画像信号を示している。図５（ｂ）は、未設定画素の補間方法を示している。まず、未設定画素領域を二等分して、白い破線で示した中間線より左側の未設定画素領域は、左隣接の画素ａを用いて埋め、中間線により右側の未設定画素領域は、右隣接の画素ｂを用いて埋める。図５（ｃ）は、補正後の仮想視点画像信号を示している。
【0033】
次に、画像生成装置１００における視差画像補正部１０２の詳細な構成について説明する。図２は、視差画像補正部１０２の構成例を示すブロック図である。図２に示すように、視差画像補正部１０２は、輪郭線抽出部１０２ａと、エラー領域算出部１０２ｂと、エラー領域視差値修正部１０２ｃと、を備えている。
【0034】
輪郭線抽出部１０２ａに、低精度の視差画像信号３０００と２次元画像信号１０００が入力されている。輪郭線抽出部１０２ａは、二次微分や、ゾーベルフィルタ、プレヴィットフィルタなどの方法を用いて、２次元画像信号１０００と視差画像信号３０００に対して輪郭線抽出を行う。それぞれの画像から抽出された輪郭線の座標情報を２次元画像の輪郭情報５０００と視差画像の輪郭情報５００１と定義する。これらの輪郭情報５０００と５００１はエラー領域算出部１０２ｂに入力され、エラー領域算出部１０２ｂは、視差画像のエラー領域情報６０００を推測する。エラー領域情報６０００は、視差画像信号３０００において、視差値が間違っている可能性が高い領域の位置情報を表すものである。求められたエラー領域情報６０００と視差画像信号３０００は、エラー領域視差値修正部１０２ｃに入力され、エラー領域視差値修正部１０２ｃは、エラー領域情報６０００を参照し、エラー領域内の画素の視差値を補正する。
【0035】
図３は、視差画像補正部１０２で行われる処理を示すフローチャート図である。本実施の形態では、視差画像信号３０００におけるエラー領域内の視差量を補正するために、「輪郭線抽出処理」、「エラー領域算出処理」、「エラー領域視差量修正処理」という三つのステップを行う。以下、図４を参照して各ステップの具体的な処理を説明する。
【0036】
ステップＳ１：輪郭線抽出処理は、２次元画像信号１０００と低精度の視差画像信号３０００に対して、二次微分や、ゾーベルフィルタ、プレヴィットフィルタなどの方法を用いて、２次元画像信号１０００と視差画像信号３０００の輪郭線を抽出し、２次元画像の輪郭情報５０００と視差画像の輪郭情報５００１を出力する。図４に示す例では、（ａ）が入力の２次元画像信号１０００であり、（ｂ）が低精度の視差画像信号３０００である。（ａ）に対して輪郭抽出後の画像は（ｃ）となり、（ｂ）に対して輪郭抽出後の画像は（ｄ）となる。
【0037】
ステップＳ２：エラー領域算出処理は、２次元画像の輪郭情報５０００と視差画像の輪郭情報５００１を用いて、視差画像信号３０００におけるエラー領域情報６０００を算出する。エラー領域情報６０００は、視差画像信号３０００において、視差値が間違っている可能性が高い領域の位置情報を表すものである。
【0038】
具体的には、視差画像信号３０００内のｊ行目のエラー領域情報６０００を求める際に、まず、（ｊ−α）行目から（ｊ＋α）行目までの範囲ω内で２次元画像の輪郭情報５０００と視差画像の輪郭情報５００１を確保する（図４（ｅ））。
【0039】
図４（ｆ）は、図４（ｅ）における輪郭部分の拡大図である。２次元画像の輪郭情報５０００に示されるｊ行目の輪郭画素ｃを基準画素として、その近傍の範囲ω内で基準画素ｃより＋ｘ方向で最も離れている画素ｂと−ｘ方向で最も離れている画素ａに挟まっている領域をエラー領域と判断し、このエラー領域の位置を表すものは、エラー領域情報６０００として出力される。
【0040】
ここで、近傍の範囲として、同一行の最も離れている画素のみでなく、その行の前後の行である近傍範囲ωまでエラー領域の探索範囲を広げたのは、行毎に行うと、行毎に依存するノイズが発生するからである。このように探索範囲を広げることで、行毎に依存するノイズが発生を防ぐことができる。
【0042】
ｊ行目において、基準画素ｃから画素ｂと同じ横座標を持つ画素ｂ’までの視差値は、画素ｂ’の隣接画素ｆの値を用いて補正する。基準画素ｃから画素ａと同じ横座標を持つ画素ａ’までの視差値は、画像ａ’の隣接画素ｅの値を用いて補正する。このように、１行目から最後まで順次に視差補正を行い、補正後の視差画像信号３００１（図４（ｈ））を出力する。
【0043】
以上、一行目から最終行までエラー領域の抽出とエラー領域の視差量補正を行う場合について記述したが、本実施の形態は上記方法に限定されるものではなく、例えば、処理方向を変えて、一列目から最終列までの順で処理を行ってもよい。
【0044】
上記では、２次元画像信号１０００と視差画像信号３０００の輪郭情報を比較して、視差画像信号３０００の補正処理を実施する例を示したが、２次元画像信号１０００とデプス画像信号２０００の輪郭情報を比較して、視差画像信号３０００の補正処理を実施しても良い。この際、図１（ｂ）に示すように、視差画像補正部１０２はデプス画像補正部として機能し、視差画像生成部１０１及びデプス画像補正部の処理では、初めにデプス画像信号２０００の補正処理を実施する。補正処理は、２次元画像信号１０００と視差画像信号３０００の輪郭情報を比較する補正方法と同様に、２次元画像信号１０００とデプス画像信号２０００の輪郭情報を比較して、デプス画像信号２０００のエラー領域内のデプス値（奥行き情報）を補正し、補正後のデプス画像信号２００１を生成する。次に、補正後のデプス画像信号２００１と仮想カメラパラメータ７０００から補正後の視差画像信号３００１を出力することで視差画像信号３０００の補正処理を実施する。
【0045】
また、本実施の形態では、２次元画像信号１０００とデプス画像信号２０００が入力される場合について説明したが、本実施の形態はそれに限定されるものではなく、例えば、一枚の２次元画像信号のみが入力される場合にも適用可能である。この場合、入力される２次元画像信号の色情報、輝度情報を基づいて各画素に対応する視差画像信号やデプス画像信号を推測すればよい。または、複数枚の２次元画像信号が入力される場合には、ＳＡＤ（Sum of the Absolute Differences）やＳＳＤ（Sum of Squared Difference）などブロックマッチング方式、或は、ＳＩＦＴ（Scale−Invariant Feature Transform）特徴点の対応付け方法を用いて、複数枚の２次元画像信号の何れかに対応する視差画像信号やデプス画像信号を推測すればよい。
【0046】
このように、本実施の形態によれば、３Ｄ表示する一方の２次元画像から高画質の仮想視点画像を生成することが可能となる。そして、図１４のように、入力の２次元画像信号と、本画像生成装置から出力された仮想視点画像信号が３Ｄ表示パネル１００００に表示され、右目と左目に別々に入るように調整することで人工的に３Ｄ表現を実現することができる。
【0048】
図６に示すように、画像生成装置２００は、視差画像生成部１０１と、画素移動処理部１０３、未設定画素領域補間部１０４と、未設定画素領域ノイズ除去部１０５と、を備えている。
【0049】
画像生成装置２００は、実施の形態１と同様に、２次元画像信号１０００と低精度のデプス画像信号２０００から仮想視点画像信号４００２を生成するが、実施の形態１に記載の視差画像補正処理の代わりに、中間画像信号４００１内の未設定画素領域ノイズを除去することによって、仮想視点画像信号４００２の画質劣化を防止する。
【0051】
視差画像生成部１０１は、入力のデプス画像信号２０００と仮想カメラのパラメータ７０００から視差画像信号３０００を生成する。
【0052】
画素移動処理部１０３は、視差画像信号３０００に従って２次元画像信号の各画素を適切な位置に移動し、中間画像信号４００１を生成する。また、中間画像信号４００１における未設定画素の位置を記録するために、画像移動処理部１０３に初期値が０のフラッグバッファが設けられ、画素ごとの移動処理とともに、フラッグバッファにおいても移動先と同じ座標の値を０から１に変更させる。このようにして、フラッグバッファで画素値が０のままの画素は、中間画像信号４００１内の未設定画素に対応することになる。
【0053】
高精度の視差画像信号が入力される場合は、視差画像信号と２次元画像信号が完全に対応しており、また、オブジェクト領域の視差量と背景領域の視差量が明確に分かれている。オブジェクトに対応する画素と背景に対応する画素をそれぞれの視差量に従って移動させると、生成された中間画像においてオブジェクト領域と背景領域の間に未設定画素領域が存在する。図７は、その一例を示している。図７の（ａ）と（ｂ）は、それぞれ、入力された２次元画像信号と視差画像信号であり、（ｃ）は出力された中間画像信号４００１である。（ａ）において、画素Ａは、オブジェクト領域の輪郭画素を表しており、画素Ｂは、背景領域の輪郭画素を表している。オブジェクト領域の視差量をΔu1、背景領域の視差量をΔu2と仮定すると、生成された中間画像信号（ｃ）において、オブジェクト領域の輪郭画素Ａ’が、２次元画像信号内の画素Ａを横方向でΔu1ずらしたものとなり、背景領域の輪郭画素Ｂ’が、画素Ｂを横方向でΔu2ずらしたものである。（ｃ）に示すように、背景領域とオブジェクト領域の境に未設定画素領域がある。
【0054】
しかし、前述したように、入力された視差画像信号３０００の精度が低いため、視差画像信号３０００において、オブジェクト領域と背景領域の境界に一部エラー領域が実際に存在しており、視差画像信号３０００に従って得られた中間画像信号４００１において、エラー領域に対応する２次元画像の画素は、未設定画素領域にノイズとして散らされている。そのため、これらのノイズ画素の影響で生成された仮想視点画像信号では、オブジェクトが崩れているように見える。
【0055】
図８は、この一例を示している。図８の（ａ）は、２次元画像信号であり、（ｂ）は、低精度の視差画像信号であり、（ｃ）は、生成された中間画像信号である。（ａ）において、オブジェクト領域の輪郭画素をＡと表記し、背景領域の輪郭画素をＢと表記し、同じ背景領域である画素Ｂの隣接画素をＣと表記する。（ｂ）に示すように、画素Ａの視差量がΔu1である。画素Ｂは視差画像のエラー領域に含まれており、視差量がΔueとなっている。また、画素Ｃの視差量がΔu2である。
【0056】
図８の（ｂ）に従って、画素Ａ、Ｂ、Ｃを含む全ての画素を移動させ、（ｃ）に示すような中間画像信号４００１を生成する。この中間画像信号４００１において、オブジェクトの輪郭画素ＡがＡ’の位置に、背景領域の画素ＣがＣ’の位置にずらされたが、画素Ｂの視差量がオブジェクト領域と背景領域の視差量の中間値であるため、未設定画素領域にノイズ画素として散らされている。これらのノイズが仮想視点画像の画質劣化の原因と思われる。
【0057】
そこで、これらのノイズを除去する目的で、本実施の形態２では、未設定画素領域ノイズ除去部１０５を用いている。中間画像信号４００１が未設定画素領域ノイズ除去部１０５に入力されると、未設定画素領域ノイズ除去部１０５は、未設定画素領域内ノイズと看做される画素を除去し、ノイズ除去後の中間画像信号４０００を出力する。
【0058】
最後に、ノイズ除去後の中間画像信号４０００は、未設定画素領域補間部１０４に入力され、未設定画素領域補間部１０４は、実施の形態１と同様に、中間画像信号４０００内の未設定画素領域に対して、隣接の画素を用いて補間処理を行い、仮想視点画像信号４００２を出力する。
【0060】
図９に示すように、未設定画素領域ノイズ除去部１０５は、ノイズ判定部１０５ａと、ノイズ除去部１０５ｂによる構成される。ノイズ判定部１０５ａは、中間画像信号４００１と中間画像信号内の未設定画素領域の位置を記録するフラッグ画像信号４００３を入力し、未設定画素領域内のノイズ画素を判定し、ノイズ画素情報７００１を出力する。ここで、ノイズ画素情報７００１は、ノイズと判断された画素の位置を表すものである。ノイズ除去部１０５ｂは、ノイズ画素情報７００１と、中間画像信号４００１を入力し、ノイズ画素情報７００１に従って中間画像信号４００１内のノイズ画素を削除し、ノイズ抜きの中間画像信号４０００を出力する。
【0061】
図１０は、ノイズ判定アルゴリズムの一例を説明する図である。図１０の（ａ）は、フラッグ画像信号４００３である。黒い破線で囲まれた領域は、中間画像信号４００１で設定済みの画素領域を表している。黒い部分は、中間画像信号内の未設定画素領域となっている。図１０の（ｂ）は、（ａ）の破線で囲まれた部分の拡大図である。（ｂ）に示すように、長さがｚの未設定画素領域ｅと、長さがｙの未設定画素領域ｆの間に、長さがｘの画素領域ｃが存在している。画素領域ｃがノイズかどうかを判断するため、ノイズ判断閾値βを導入し、式２に従ってβと領域ｃの長さｘを比較する。
【0062】
［式２］【0063】
画素領域ｃの長さｘが閾値βより小さい場合は、画素領域ｃをノイズと判断する。それ以外の場合は、画素領域ｃを普通の画素領域と判断する。また、画素領域ｃの長さと、未設定画素領域ｅとｆの長さの総和の比率から、画素領域ｃがノイズ領域かどうか判断することもできる。判断式は、式３になる。
【0064】
［式３］【0065】
式３に示すように、もし、左右の未設定画素領域長さの総和と画素領域ｃの長さの比率が、閾値βより大きい場合は、画素領域ｃをノイズと判断し、それ以外の場合は、画素領域ｃを普通の画素領域と判断する。
【0066】
以上、図９と図１０を用いて未設定画素領域のノイズ除去アルゴリズムについて説明したが、ノイズ除去の方法はこれに限定されるものではなく、未設定画素領域に２次元平滑フィルタなどをかけることによって、ノイズを除去することも本発明の適用範囲に含まれる。
【0067】
このように、本実施の形態によれば、入力された低精度のデプス画像信号や視差画像信号に対して予め補正しなくても、ノイズの少ない、高画質を有する仮想視点画像信号を生成することが可能となる。そして、図１４のように、入力の２次元画像信号と、本画像生成装置から出力された仮想視点画像信号が３Ｄ表示パネル１００００に表示され、右目と左目に別々に入るように調整することで人工的に３Ｄ表現を実現することができる。
【0068】
［実施の形態３］次に、本発明の実施の形態３に係る画像生成装置３００の構成について、図１１を参照して説明する。図１１は、本実施の形態に係る画像生成装置３００の構成を示すブロック図である。図１１において、図１と同様の構成要素には同一の符号を付し、説明を適宜省略する。
【0069】
図１１に示すように、画像生成装置３００は、実施の形態１と同様に、視差画像生成部１０１’と、視差画像補正部１０２と、画素移動処理部１０３と、未設定画素領域補間部１０４と、を備えている。但し、実施の形態１の入力が２次元画像信号１０００と、それに対応するデプス画像信号２０００、仮想カメラのパラメータ７０００となっているが、本実施の形態では、入力が複数枚の２次元画像信号１０００となっている。
【0070】
図１１に示すように、複数枚の２次元画像信号（フレーム番号：１…ｍ…n）が視差画像生成部１０１’に入力される。視差画像生成部１０１’は、ＳＡＤ（Sum of the Absolute Differences）やＳＳＤ（Sum of Squared Difference）などのブロックマッチング方式、或は、ＳＩＦＴ（Scale−Invariant Feature Transform）特徴点の対応付け方法を用いて、複数枚の２次元画像信号の何れかに対応する視差画像信号３０００を推測する。そして、推測された視差画像信号３０００とそれに対応する２次元画像信号１０００を実施の形態１、２と同様な処理フローに通して仮想視点画像信号４００２を生成する。
【0071】
また、視差画像生成部１０１’を実施の形態２に係る画像生成装置２００と組み合わせ、画像生成装置３００’を構成することもできる。図１２は、この場合の画像生成装置３００’を示している。複数枚の２次元画像信号は視差画像生成部１０１’に入力され、視差画像生成部１０１’は、上述したような対応付け方式による複数枚の２次元画像信号の何れに対応する視差画像信号３０００を推測する。そして、推測された視差画像信号３０００とそれに対応する２次元画像信号１０００を実施の形態２と同様な処理フローに通して仮想視点画像信号４００２を生成する。
【0072】
本実施の形態によれば、奥行き情報を表すデスプ画像信号が入力されなくても、仮想視点画像信号４００２を生成することが可能となり、入力信号のバリエーションによる本発明の適用性を更に拡大することができる。そして、図１４のように、入力の２次元画像信号と、本画像生成装置から出力された仮想視点画像信号が３Ｄ表示パネル１００００に表示され、右目と左目に別々に入るように調整することで人工的に３Ｄ表現を実現することができる。
【0073】
上述の全ての実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットやその他の通信媒体を介して伝送することにより提供することも可能である。
【0074】
本発明の画像生成処理を、ＣＰＵなどにコンピュータプログラムを実行させることにより実現する場合、ハードウェア上での侵害確認は難しい。そこで、以下では、侵害確認の方法について説明する。
【0075】
本発明の画像生成処理と、視差画像の平滑化処理や、重み付け処理とを区別するために、例えば、図１３の（ａ）と（ｂ）のような輪郭線がジグザグのオブジェクトを含む特定の侵害確認画像を用いることができる。図１３（ａ）は、星形状のオブジェクトを含む侵害確認用の２次元画像信号である。図１３（ｂ）は、（ａ）に対応する視差画像信号であるが、低精度の影響でオブジェクトの輪郭部分に一部エラー領域が存在する。
【0076】
本発明の実施の形態１は、視差画像内のオブジェクトの輪郭線を２次元画像内のオブジェクトの輪郭線に強制的に一致させることで、生成された中間画像信号４０００では、オブジェクトと背景がはっきり分かれて、その境にある未設定画素領域にはノイズが存在しない。
【0077】
また、本発明の実施の形態２は、低精度の視差画像は、そのまま画素移動処理部１０３に入力し、未設定画素領域にノイズが入る中間画像信号４００１を生成する。そして、中間画像信号４００１を未設定画素領域ノイズ除去部１０５に入力し、未設定画素領域内のノイズを削除した後の中間画像信号４０００を生成する。この場合にも、生成された中間画像信号４０００は、ノイズが見られない。
【0078】
このように、未設定画素補間処理を行う前の中間画像信号４０００内の未設定画素領域にノイズがないことが本発明の特徴である。そして、このような中間画像信号４０００に基づいて生成された仮想視点画像信号４００２でも、線形ノイズが目立たない。また、輪郭線補正を行うため、輪郭線がはっきりとしている。
【0079】
一方、図１３のような輪郭がジグザグのオブジェクトを含む視差画像に対して、平滑化処理などの従来の処理を行っても、処理後の視差画像信号と２次元画像信号を完全に対応させるのは難しいため、生成された中間画像信号内で未設定画素領域のノイズを無くすことができず、最終的に出力された仮想視点画像にノイズが残っている。また、従来の方法では、奥行きデータの輪郭線補正を行っていないため、仮想視点画像の輪郭線がぼけているだけでなく、ずれていることが確認できる。
【0080】
図１３の（ｃ）は、汎用の平滑化処理を行った視差画像を用いて生成された中間画像信号を示している。（ｄ）は、本発明の実施の形態１により生成された中間画像信号である。また、（ｅ）は、本発明の実施の形態２により生成された中間画像信号である。この三者を比較すると、（ｅ）と（ｄ）に示す中間画像信号内の未設定画素領域にはノイズがほとんど見られないが、（ｃ）に示す中間画像信号内の未設定画素領域にはノイズが顕著に存在していることが確認できる。
【0081】
中間画像信号４０００が入手できない場合、最終的に出力された仮想視点画像から侵害の確認もできる。本発明の中間画像信号を基づいて生成された仮想視点画像信号４００２では、各オブジェクトの輪郭部分にノイズが殆どないことが本発明の特徴である。図１３の（ｆ）は、汎用の平滑化処理を行った視差画像から生成された仮想視点画像信号である。（ｇ）は、本発明の実施の形態１により生成された仮想視点画像信号である。（ｈ）は、本発明の実施の形態２により生成された仮想視点画像信号である。この三者を比較すると、（ｇ）と（ｈ）に示す仮想視点画像信号におけるオブジェクトの輪郭部分にはノイズが見られないが、（ｆ）に示す仮想視点画像信号におけるオブジェクトの輪郭部分にはノイズが顕著に存在していることが確認できる。
【0082】
上述のように、輪郭線がジグザグのオブジェクトを含む画像をシステムに入力した場合、中間画像信号のノイズの程度を比較することによって、本発明の手法を用いたかどうかを判断することができ、中間画像信号が入手できない場合でも、もし、出力された仮想視点画像に線形ノイズがない場合、本発明の手法を用いた可能性が高いと判断することができる。
【0083】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【産業上の利用可能性】
【0084】
本発明は、３Ｄ表示するためのコンテンツを生成する機能を有する画像生成システム並びに画像表示システムに適用可能である。
【符号の説明】
【0085】
１００ 画像生成装置１０１ 視差画像生成部
１０１’ 視差画像生成部
１０２ 視差画像補正部
１０２ａ 輪郭線抽出部
１０２ｂ エラー領域算出部
１０２ｃ エラー領域視差値修正部
１０３ 画素移動処理部
１０４ 未設定画素領域補間部
１０５ 未設定画素領域ノイズ除去部
１０５ａ ノイズ判定部
１０５ｂ ノイズ除去部
２００ 画像生成装置
３００ 画像生成装置
３００’ 画像生成装置
１０００ ２次元画像信号
２０００ デプス画像信号
２００１ 補正後のデプス画像信号
３０００ 視差画像信号
３００１ 補正後の視差画像信号
４０００ 未設定画素領域にノイズが入っていない中間画像信号
４００１ 未設定画素領域にノイズが入っている中間画像信号
４００２ 仮想視点画像信号
４００３ フラッグ画像信号
５０００ ２次元画像の輪郭情報
５００１ 視差画像の輪郭情報
６０００ エラー領域情報
７０００ 仮想カメラのパラメータ
７００１ ノイズ画素情報
１００００ ３Ｄ表示パネル