特許 6439214 画像処理装置、画像処理方法、画像処理用コンピュータプログラムおよび画像処理用コンピュータプログラムを格納した情報記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6439214

(24)【登録日】2018年11月30日

(45)【発行日】2018年12月19日

(54)【発明の名称】画像処理装置、画像処理方法、画像処理用コンピュータプログラムおよび画像処理用コンピュータプログラムを格納した情報記録媒体

(51)【国際特許分類】

   H04N 13/261 20180101AFI20181210BHJP

   H04N 13/271 20180101ALI20181210BHJP

【ＦＩ】

   H04N13/261

   H04N13/271

【請求項の数】20

【全頁数】39

(21)【出願番号】特願2015-500155(P2015-500155)

(86)(22)【出願日】2014年2月18日

(86)【国際出願番号】JP2014000827

(87)【国際公開番号】WO2014125842

(87)【国際公開日】20140821

【審査請求日】2017年2月16日

(31)【優先権主張番号】特願2013-28615(P2013-28615)

(32)【優先日】2013年2月18日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】315016893

【氏名又は名称】株式会社Ｐ２Ｐ ＢＡＮＫ

(74)【代理人】

【識別番号】100110973

【弁理士】

【氏名又は名称】長谷川 洋

(72)【発明者】

【氏名】朴 泰鴻

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２０１１−２２３５６６（ＪＰ，Ａ）

【文献】 特開２００８−２７７９３２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／０２

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

動画を構成する複数の画像フレームの内の１若しくは２以上の画像フレームを読み込む画像フレーム読み込み手段と、
読み込まれた上記画像フレーム内において、領域境界ラインの情報を受け付ける領域境界ライン情報受付手段と、
上記領域境界ライン上の所定の点を起点として分割領域を拡張し、明度の近似点をつなぐ分割ラインにより上記領域境界ラインの内外を分割する領域分割手段と、
上記分割ラインの内、２本の上記領域境界ラインの間に存在する第１分割ラインを残し、上記分割ラインの内の上記第１分割ライン以外の第２分割ラインを開口させる開口処理手段と、
上記第１分割ラインで囲まれた領域の単位に分離する分離手段と、
上記第１分割ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第１深さ値付与手段と、
を、少なくとも備える画像処理装置。

【請求項2】

前記起点を前記領域境界ライン上に複数生成する起点生成手段を、さらに備えることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記領域境界ライン情報受付手段は、背景以外のオブジェクトを対象として指示された領域境界ラインの情報を受け付ける手段であり、
上記画像フレーム内において、上記背景を対象として指示された背景境界ラインの情報を受け付ける背景境界ライン情報受付手段と、
上記背景境界ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第２深さ値付与手段と、
前記第１深さ値付与手段によって深さ値を付与した上記オブジェクトと、上記第２深さ値付与手段によって深さ値を付与した上記背景とを合成するオブジェクト・背景合成手段と、
を、少なくとも備えることを特徴とする請求項１または請求項２に記載の画像処理装置。

【請求項4】

前記画像フレーム内に複数のオブジェクトおよび／または背景を構成する背景内領域があり、かつ背景において上記オブジェクトの位置および／または上記背景内領域の位置を示すロケーション・ポイントが存在することを判別するロケーション・ポイント有無判別手段と、
上記ロケーション・ポイントが存在する場合に、上記複数のオブジェクトおよび／または上記背景を構成する背景内領域の所定部位の位置を特定するオブジェクト所定部位の位置特定手段と、
上記オブジェクト所定部位の位置特定手段によって特定された位置に基づき、上記オブジェクトおよび／または上記背景内領域の遠近度合いを表す深さ値を決定する深さ値決定手段と、
をさらに備え、
前記第１深さ値付与手段および／または前記第２深さ値付与手段は、上記オブジェクトおよび／または上記背景内領域に対して前記深さ値を付与することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

動画を構成する複数の画像フレームの内、前記領域境界ラインを生成済みの第１画像フレームが存在し、かつ前記第１画像フレームよりも時系列的に後に存在する第２画像フレーム内に自動的に前記領域境界ラインを生成することを可能とする画像処理装置であって、
前記第１画像フレームの前記領域境界ライン内に存在する第１特徴点の座標値を受け付ける第１特徴点受付手段と、
前記第２画像フレームにおいて、前記第１特徴点の座標値に対応する第２特徴点の座標値を特定する第２特徴点特定手段と、
前記第１特徴点から前記第２特徴点への移動情報に基づいて、前記第２画像フレーム内に、前記第１画像フレームの前記領域境界ラインに対応する新たな領域境界ラインを自動生成する領域境界ライン自動生成手段と、
を、さらに備えることを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。

【請求項6】

前記第２特徴点特定手段の処理に先立ち、ピクセルの色および明度の少なくともいずれか１つの近似度合いに基づき、前記第１特徴点の座標値に対応する前記第２特徴点を探索する第２特徴点探索手段を、さらに備えることを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記領域境界ライン自動生成手段による処理を実行する前記画像フレームの数の指定を受け付ける画像フレーム数指定受付手段と、
前記新たな領域境界ラインを自動生成する処理を実行した前記画像フレームの数が、指定された前記画像フレーム数に到達したか否かを判別するフレーム数判別手段と、
を、さらに備え、
前記フレーム数判別手段によって、指定された前記画像フレーム数に到達したと判別されるまで、前記第１特徴点受付手段、前記第２特徴点特定手段および前記領域境界ライン自動生成手段は各処理を実行することを特徴とする請求項５または請求項６に記載の画像処理装置。

【請求項8】

動画を構成する複数の画像フレームの内、前記第１分割ラインで囲まれた領域に前記深さ値を付与済みの第１画像フレームが存在し、かつ前記第１画像フレームよりも時系列的に後に存在する第２画像フレーム内の前記第１分割ラインで囲まれた領域に対応する領域に自動的に前記深さ値を生成することを可能とする画像処理装置であって、
前記第１画像フレーム内の前記第１分割ラインで囲まれた領域に存在する１以上の第１ピクセルに、前記第１分割ラインで囲まれた領域に付与された前記深さ値を割り当てるピクセル深さ値割り当て手段と、
前記第１ピクセルが前記第２画像フレーム内のどのピクセルに移動したかを追跡するピクセル移動位置追跡手段と、
前記第２画像フレーム内の領域であって、前記第１ピクセルの移動後の第２ピクセルで構成される領域に、前記ピクセル深さ値割り当て手段によって割り当てられた前記深さ値を自動生成する深さ値自動生成手段と、
を、さらに備えることを特徴とする請求項１から請求項７のいずれか１項に記載の画像処理装置。

【請求項9】

請求項１に記載の画像処理装置を用いて実行する画像処理方法であって、
動画を構成する複数の画像フレームの内の１若しくは２以上の画像フレームを読み込む画像フレーム読み込みステップと、
読み込まれた上記画像フレーム内において、領域境界ラインの情報を受け付ける領域境界ライン情報受付ステップと、
上記領域境界ライン上の所定の点を起点として分割領域を拡張し、明度の近似点をつなぐ分割ラインにより上記領域境界ラインの内外を分割する領域分割ステップと、
上記分割ラインの内、２本の上記領域境界ラインの間に存在する第１分割ラインを残し、上記分割ラインの内の上記第１分割ライン以外の第２分割ラインを開口させる開口処理ステップと、
上記第１分割ラインで囲まれた領域の単位に分離する分離ステップと、
上記第１分割ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第１深さ値付与ステップと、
を、少なくとも実行する画像処理方法。

【請求項10】

コンピュータに読み込まれて実行されるコンピュータプログラムであって、
コンピュータに、
動画を構成する複数の画像フレームの内の１若しくは２以上の画像フレームを読み込む画像フレーム読み込み手段、
読み込まれた上記画像フレーム内において、領域境界ラインの情報を受け付ける領域境界ライン情報受付手段、
上記領域境界ライン上の所定の点を起点として分割領域を拡張し、明度の近似点をつなぐ分割ラインにより上記領域境界ラインの内外を分割する領域分割手段、
上記分割ラインの内、２本の上記領域境界ラインの間に存在する第１分割ラインを残し、上記分割ラインの内の上記第１分割ライン以外の第２分割ラインを開口させる開口処理手段、
上記第１分割ラインで囲まれた領域の単位に分離する分離手段、
上記第１分割ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第１深さ値付与手段、
の各手段の機能を実行させる画像処理用コンピュータプログラム。

【請求項11】

前記コンピュータに、前記起点を前記領域境界ライン上に複数生成する起点生成手段の機能を、さらに実行させることを特徴とする請求項１０に記載の画像処理用コンピュータプログラム。

【請求項12】

前記領域境界ライン情報受付手段は、背景以外のオブジェクトを対象として指示された領域境界ラインの情報を受け付ける手段であり、
前記コンピュータに、
上記画像フレーム内において、上記背景を対象として指示された背景境界ラインの情報を受け付ける背景境界ライン情報受付手段、
上記背景境界ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第２深さ値付与手段、
前記第１深さ値付与手段によって深さ値を付与した上記オブジェクトと、上記第２深さ値付与手段によって深さ値を付与した上記背景とを合成するオブジェクト・背景合成手段、
の各機能を実行させることを特徴とする請求項１０または請求項１１に記載の画像処理用コンピュータプログラム。

【請求項13】

前記コンピュータに、
前記画像フレーム内に複数のオブジェクトおよび／または背景を構成する背景内領域があり、かつ背景において上記オブジェクトの位置および／または上記背景内領域の位置を示すロケーション・ポイントが存在することを判別するロケーション・ポイント有無判別手段、
上記ロケーション・ポイントが存在する場合に、上記複数のオブジェクトおよび／または上記背景を構成する背景内領域の所定部位の位置を特定するオブジェクト所定部位の位置特定手段、
上記オブジェクト所定部位の位置特定手段によって特定された位置に基づき、上記オブジェクトおよび／または上記背景内領域の遠近度合いを表す深さ値を決定する深さ値決定手段、
の各機能を実行させ、
前記第１深さ値付与手段および／または前記第２深さ値付与手段は、上記オブジェクトおよび／または上記背景内領域に対して前記深さ値を付与することを特徴とする請求項１２に記載の画像処理用コンピュータプログラム。

【請求項14】

動画を構成する複数の画像フレームの内、前記領域境界ラインを生成済みの第１画像フレームが存在し、かつ前記第１画像フレームよりも時系列的に後に存在する第２画像フレーム内に自動的に前記領域境界ラインを生成することを可能とする画像処理用コンピュータプログラムであって、
前記コンピュータに、
前記第１画像フレームの前記領域境界ライン内に存在する第１特徴点の座標値を受け付ける第１特徴点受付手段、
前記第２画像フレームにおいて、前記第１特徴点の座標値に対応する第２特徴点の座標値を特定する第２特徴点特定手段、
前記第１特徴点から前記第２特徴点への移動情報に基づいて、前記第２画像フレーム内に、前記第１画像フレームの前記領域境界ラインに対応する新たな領域境界ラインを自動生成する領域境界ライン自動生成手段、
の各機能を実行させることを特徴とする請求項１０から請求項１３のいずれか１項に記載の画像処理用コンピュータプログラム。

【請求項15】

前記コンピュータに、
前記第２特徴点特定手段の処理に先立ち、ピクセルの色および明度の少なくともいずれか１つの近似度合いに基づき、前記第１特徴点の座標値に対応する前記第２特徴点を探索する第２特徴点探索手段の機能を、さらに実行させることを特徴とする請求項１４に記載の画像処理用コンピュータプログラム。

【請求項16】

前記コンピュータに、
前記領域境界ライン自動生成手段による処理を実行する前記画像フレームの数の指定を受け付ける画像フレーム数指定受付手段、
前記新たな領域境界ラインを自動生成する処理を実行した前記画像フレームの数が、指定された前記画像フレーム数に到達したか否かを判別するフレーム数判別手段、
の各機能を、さらに実行させ、
前記フレーム数判別手段によって、指定された前記画像フレーム数に到達したと判別されるまで、前記第１特徴点受付手段、前記第２特徴点特定手段および前記領域境界ライン自動生成手段に各処理を実行させることを特徴とする請求項１４または請求項１５に記載の画像処理用コンピュータプログラム。

【請求項17】

動画を構成する複数の画像フレームの内、前記第１分割ラインで囲まれた領域に前記深さ値を付与済みの第１画像フレームが存在し、かつ前記第１画像フレームよりも時系列的に後に存在する第２画像フレーム内の前記第１分割ラインで囲まれた領域に対応する領域に自動的に前記深さ値を生成することを可能とする画像処理用コンピュータプログラムであって、
前記コンピュータに、
前記第１画像フレーム内の前記第１分割ラインで囲まれた領域に存在する１以上の第１ピクセルに、前記第１分割ラインで囲まれた領域に付与された前記深さ値を割り当てるピクセル深さ値割り当て手段、
前記第１ピクセルが前記第２画像フレーム内のどのピクセルに移動したかを追跡するピクセル移動位置追跡手段、
前記第２画像フレーム内の領域であって、前記第１ピクセルの移動後の第２ピクセルで構成される領域に、前記ピクセル深さ値割り当て手段によって割り当てられた前記深さ値を自動生成する深さ値自動生成手段、
の各機能を実行させることを特徴とする請求項１０から請求項１６のいずれか１項に記載の画像処理用コンピュータプログラム。

【請求項18】

コンピュータに読み込まれて実行されるコンピュータプログラムを格納した情報記録媒体であって、
コンピュータに、
動画を構成する複数の画像フレームの内の１若しくは２以上の画像フレームを読み込む画像フレーム読み込み手段、
読み込まれた上記画像フレーム内において、領域境界ラインの情報を受け付ける領域境界ライン情報受付手段、
上記領域境界ライン上の所定の点を起点として分割領域を拡張し、明度の近似点をつなぐ分割ラインにより上記領域境界ラインの内外を分割する領域分割手段、
上記分割ラインの内、２本の上記領域境界ラインの間に存在する第１分割ラインを残し、上記分割ラインの内の上記第１分割ライン以外の第２分割ラインを開口させる開口処理手段、
上記第１分割ラインで囲まれた領域の単位に分離する分離手段、
上記第１分割ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第１深さ値付与手段、
の各手段の機能を実行させる画像処理用コンピュータプログラムを格納した情報記録媒体。

【請求項19】

動画を構成する複数の画像フレームの内、前記領域境界ラインを生成済みの第１画像フレームが存在し、かつ前記第１画像フレームよりも時系列的に後に存在する第２画像フレーム内に自動的に前記領域境界ラインを生成することを可能とする画像処理用コンピュータプログラムを格納した情報記録媒体であって、
前記コンピュータに、
前記第１画像フレームの前記領域境界ライン内に存在する第１特徴点の座標値を受け付ける第１特徴点受付手段、
前記第２画像フレームにおいて、前記第１特徴点の座標値に対応する第２特徴点の座標値を特定する第２特徴点特定手段、
前記第１特徴点から前記第２特徴点への移動情報に基づいて、前記第２画像フレーム内に、前記第１画像フレームの前記領域境界ラインに対応する新たな領域境界ラインを自動生成する領域境界ライン自動生成手段、
の各機能を実行させることを特徴とする請求項１８に記載の画像処理用コンピュータプログラムを格納した情報記録媒体。

【請求項20】

動画を構成する複数の画像フレームの内、前記第１分割ラインで囲まれた領域に前記深さ値を付与済みの第１画像フレームが存在し、かつ前記第１画像フレームよりも時系列的に後に存在する第２画像フレーム内の前記第１分割ラインで囲まれた領域に対応する領域に自動的に前記深さ値を生成することを可能とする画像処理用コンピュータプログラムを格納した情報記録媒体であって、
前記コンピュータに、
前記第１画像フレーム内の前記第１分割ラインで囲まれた領域に存在する１以上の第１ピクセルに、前記第１分割ラインで囲まれた領域に付与された前記深さ値を割り当てるピクセル深さ値割り当て手段、
前記第１ピクセルが前記第２画像フレーム内のどのピクセルに移動したかを追跡するピクセル移動位置追跡手段、
前記第２画像フレーム内の領域であって、前記第１ピクセルの移動後の第２ピクセルで構成される領域に、前記ピクセル深さ値割り当て手段によって割り当てられた前記深さ値を自動生成する深さ値自動生成手段、
の各機能を実行させることを特徴とする請求項１８または請求項１９に記載の画像処理用コンピュータプログラムを格納した情報記録媒体。

【発明の詳細な説明】

【クロスレファレンス】

【0001】

本出願は、２０１３年２月１８日に日本国において出願された特願２０１３−２８６１５に基づき優先権を主張し、当該優先権の基礎となる出願に記載された内容は、本明細書に援用する。また、本出願において引用した特許、特許出願及び文献に記載された内容は、本明細書に援用する。

【技術分野】

【0002】

本発明は、画像処理装置、特に、２Ｄ映像を３Ｄ映像に変換する際に用いる画像処理を行うための装置、当該装置を用いた画像処理方法、当該装置に読み込んで実行可能な画像処理用コンピュータプログラムおよび同プログラムを格納した情報記録媒体に関する。

【背景技術】

【0003】

最近、３Ｄ映像を用いた映画が注目されている。３Ｄ映像は、人間の目が左右に約６５ｍｍ離れていて、左眼と右眼に感受される映像が異なるために発生する両眼視差を利用したものである。人間の左眼と右眼は、それぞれ異なる２Ｄ映像を見るため、これらの２Ｄ映像が網膜表面の神経節細胞から視神経を経て脳中枢に伝達されると、脳はこれら２Ｄ映像を融合処理し、立体映像として認識する。

【0004】

３Ｄ映像技術として知られるステレオスコピック立体映像技術は、２台のカメラレンズにて収録した２種類の２Ｄ映像を左眼用の映像と右眼用の映像に分け、人間の左眼と右眼とに各映像を提供することにより立体感を表現する技術である。しかし、２台のカメラレンズを搭載したステレオカメラは、非常に高価であり、かつステレオカメラを配列する方式、各カメラ間の距離、角度および焦点を合わせる方式、カメラ配列による幾何学的問題と色感や明るさなどを一致させる作業など、高品質の３Ｄ映像を具現化するために考慮すべき事項が非常に多く、複雑であるという問題がある。このため、一般的には、最初から３Ｄ映像を創るのではなく、２Ｄ映像を３Ｄ映像に変換する方法が使用されている。

【0005】

３Ｄ映像は、オリジナルの２Ｄ映像の各オブジェクトに対して、所定の深さ情報に相当する両眼視差だけを移動することで生成できる。すなわち、２Ｄ映像を３Ｄ映像に変換するには、２Ｄ映像内のデプス・マップを生成する過程が必要になる。デプス・マップは、２Ｄ映像内のオブジェクトに対する３次元的な距離を示す地図として、ピクセルごとに０〜２５５の間のグレースケール値として表現できる。深さの値は、大きい値（明るい色を意味する）を持つほど、映像を観る位置から、より近い距離であることを示す。このように、３Ｄ映像は、２Ｄ映像と上記深さ情報を利用して生成されるため、２Ｄ映像から高品質の３Ｄ映像を創るには、デプス・マップを正確に生成する必要がある。正確なデプス・マップの生成においては、２Ｄ映像を構成する各画像フレーム内のオブジェクトと背景の関係、オブジェクトの位置、オブジェクト間のオーバーラップ、オブジェクトのボリューム等が総合的に考慮されるべきである。このため、正確なデプス・マップの生成作業は、専門の技術者が一つ一つのオブジェクトの重なり、オブジェクトと背景との重なりを目視にて確認しながら、ほぼピクセル単位でオブジェクトの輪郭、オブジェクト内の所定領域の輪郭に沿って、立体化したい領域を分割する作業となる。

【0006】

ところで、上記のような人手による作業の他、画像内の対象領域を抽出するために利用される領域分割方法の一つに、分水嶺（ＷａｔｅｒＳｈｅｄ）アルゴリズムが知られている。このアルゴリズムは、画像内のグレースケール情報（明度など）を地形で言えば高度とみなし、その地形に水を満たしていく際に、異なるくぼみに溜まる水の間で境界ができるように画像を分割していく方法である。このようなアルゴリズムを利用して、２Ｄ映像を構成する各フレーム（画像）内のオブジェクトを多数の領域に分割することも可能である（例えば、特許文献１，２を参照）。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】国際公開ＷＯ２００６／０８０２３９

【特許文献2】特開２００８−２７７９３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、上述の従来技術には、次のような問題がある。まず、２Ｄ映像を構成する画像フレーム内のオブジェクト、さらには各オブジェクト内の領域を特殊技術者の手作業で分割していく方法は、非常に多くの時間を要し、２Ｄ映像を３Ｄ映像に変換する工程の中で最も時間と労力を要する。このため、デプス・マップの生成工程にかかるコストが大きいという問題がある。加えて、作業者の技術の高低によってデプス・マップの品質も変化するため、最終的な３Ｄ映像の品質が変動しやすいという問題がある。

【0009】

一方、分水嶺アルゴリズムを利用した領域分割方法は、ソフトウェアによって各領域を自動的に分割するため、特殊技術者による手作業に比べてコストの面で有利である。しかし、分水嶺アルゴリズムを用いると、３Ｄ映像の生成にとって過剰な分割（過分割）が実行されるという問題がある。この過分割を抑制する方法として、例えば、分水嶺アルゴリズムに領域統合の処理を加え、色差がある閾値内であれば同一領域とみなし、分水域に境界を形成しないようにする方法も知られている。また、特許文献２に開示されるように、非等方拡散フィルタを用いて、２Ｄ映像の各画像フレーム内のオブジェクト間、あるいはオブジェクトと背景画像間、同一オブジェクト内の領域間のエッジの接線方向とエッジの垂直方向で程度の異なる平滑化処理を行い、エッジの形状を崩さずにノイズを除去し、領域分割に不要な模様を消して過分割を抑制する方法も知られている。しかし、これらの過分割抑制方法を行っても、自然な立体感を感じさせる３Ｄ映像用のフレームを生成することは難しい。

【0010】

本発明は、上記のような課題を解決すること、すなわち、簡便に、かつ品質差を少なく、自然な立体感を感じさせる３Ｄ映像の生成を可能とする画像処理を実現することを目的とする。

【課題を解決するための手段】

【0011】

上記目的を達成するため、本発明者は、従来から公知の分水嶺アルゴリズムの一部を利用し、全く新規な過分割抑制方法を開発することに成功した。分水嶺アルゴリズムを用いた場合の領域の過分割は従来から問題視されており、それを抑制する方法も存在する。しかし、かかる従来の過分割抑制方法は、内視鏡などにより撮像された生体器官の静止画像の処理としては適しているが、２Ｄ動画を３Ｄ動画に変換する処理としては適していない。前者のような静止画像は、過分割を抑制しつつも、生体器官の細部の凹凸をある程度高精度に描画されなければならない。これに対して、後者のような３Ｄ画像を構成する各フレームの場合には、動画を見るユーザに画像フレーム中の主としてオブジェクトを立体的に視覚させれば足り、細部の凹凸表現まで描画させる必要は無い。すなわち、後者のような動画の場合、過分割の抑制度合いを高くする必要がある。このような観点から、本発明者は、作業者の手作業にて、画像フレーム内の各オブジェクトをいくつかのブロックに分けると、コンピュータによってそれらブロックの輪郭を正確に切り取ることができる方法を考えた。各ブロックに付与する深さ情報は、作業者の視覚による付与あるいはコンピュータによる自動付与のいずれかで行う。具体的な手段は、以下の通りである。

【0012】

本発明の実施の形態に係る画像処理装置は、動画を構成する複数の画像フレームの内の１若しくは２以上の画像フレームを読み込む画像フレーム読み込み手段と、読み込まれた画像フレーム内において、領域境界ラインの情報を受け付ける領域境界ライン情報受付手段と、領域境界ライン上の所定の点を起点として分割領域を拡張し、明度の近似点をつなぐ分割ラインにより領域境界ラインの内外を分割する領域分割手段と、分割ラインの内、２本の領域境界ラインの間に存在する第１分割ラインを残し、分割ラインの内の第１分割ライン以外の第２分割ラインを開口させる開口処理手段と、第１分割ラインで囲まれた領域の単位に分離する分離手段と、第１分割ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第１深さ値付与手段とを、少なくとも備える。

【0013】

本発明の別の実施の形態に係る画像処理装置は、起点を領域境界ライン上に複数生成する起点生成手段を、さらに備える。

【0014】

本発明の別の実施の形態に係る画像処理装置は、さらに、領域境界ライン情報受付手段を、背景以外のオブジェクトを対象として指示された領域境界ラインの情報を受け付ける手段とし、画像フレーム内において、背景を対象として指示された背景境界ラインの情報を受け付ける背景境界ライン情報受付手段と、背景境界ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第２深さ値付与手段と、第１深さ値付与手段によって深さ値を付与したオブジェクトと、第２深さ値付与手段によって深さ値を付与した背景とを合成するオブジェクト・背景合成手段とを、少なくとも備える。

【0015】

本発明の別の実施の形態に係る画像処理装置は、さらに、画像フレーム内に複数のオブジェクトおよび／または背景を構成する背景内領域があり、かつ背景においてオブジェクトの位置および／または背景内領域の位置を示すロケーション・ポイントが存在することを判別するロケーション・ポイント有無判別手段と、ロケーション・ポイントが存在する場合に、複数のオブジェクトおよび／または背景を構成する背景内領域の所定部位の位置を特定するオブジェクト所定部位の位置特定手段と、オブジェクト所定部位の位置特定手段によって特定された位置に基づき、オブジェクトおよび／または背景内領域の遠近度合いを表す深さ値を決定する深さ値決定手段とを備え、第１深さ値付与手段および／または第２深さ値付与手段によって、オブジェクトおよび／または背景内領域に対して深さ値を付与する。

【0016】

本発明の別の実施の形態に係る画像処理装置は、動画を構成する複数の画像フレームの内、領域境界ラインを生成済みの第１画像フレームが存在し、かつ第１画像フレームよりも時系列的に後に存在する第２画像フレーム内に自動的に領域境界ラインを生成することを可能とする画像処理装置であって、第１画像フレームの領域境界ライン内に存在する第１特徴点の座標値を受け付ける第１特徴点受付手段と、第２画像フレームにおいて、第１特徴点の座標値に対応する第２特徴点の座標値を特定する第２特徴点特定手段と、第１特徴点から第２特徴点への移動情報に基づいて、第２画像フレーム内に、第１画像フレームの領域境界ラインに対応する新たな領域境界ラインを自動生成する領域境界ライン自動生成手段と、をさらに備える。

【0017】

本発明の別の実施の形態に係る画像処理装置は、第２特徴点特定手段の処理に先立ち、ピクセルの色および明度の少なくともいずれか１つの近似度合いに基づき、第１特徴点の座標値に対応する第２特徴点を探索する第２特徴点探索手段を、さらに備える。

【0018】

本発明の別の実施の形態に係る画像処理装置は、領域境界ライン自動生成手段による処理を実行する画像フレームの数の指定を受け付ける画像フレーム数指定受付手段と、新たな領域境界ラインを自動生成する処理を実行した画像フレームの数が、指定された画像フレーム数に到達したか否かを判別するフレーム数判別手段と、をさらに備え、フレーム数判別手段によって、指定された画像フレーム数に到達したと判別されるまで、第１特徴点受付手段、第２特徴点特定手段および領域境界ライン自動生成手段に各処理を実行させる。

【0019】

本発明の別の実施の形態に係る画像処理装置は、動画を構成する複数の画像フレームの内、第１分割ラインで囲まれた領域に深さ値を付与済みの第１画像フレームが存在し、かつ第１画像フレームよりも時系列的に後に存在する第２画像フレーム内の第１分割ラインで囲まれた領域に対応する領域に自動的に深さ値を生成することを可能とする画像処理装置であって、第１画像フレーム内の第１分割ラインで囲まれた領域に存在する１以上の第１ピクセルに、第１分割ラインで囲まれた領域に付与された深さ値を割り当てるピクセル深さ値割り当て手段と、第１ピクセルが第２画像フレーム内のどのピクセルに移動したかを追跡するピクセル移動位置追跡手段と、第２画像フレーム内の領域であって、第１ピクセルの移動後の第２ピクセルで構成される領域に、ピクセル深さ値割り当て手段によって割り当てられた深さ値を自動生成する深さ値自動生成手段と、を、さらに備える。

【0020】

本発明の実施の形態に係る画像処理方法は、上述の最も上位概念にある画像処理装置を用いて実行する画像処理方法であって、動画を構成する複数の画像フレームの内の１若しくは２以上の画像フレームを読み込む画像フレーム読み込みステップと、読み込まれた画像フレーム内において、領域境界ラインの情報を受け付ける領域境界ライン情報受付ステップと、領域境界ライン上の所定の点を起点として分割領域を拡張し、明度の近似点をつなぐ分割ラインにより領域境界ラインの内外を分割する領域分割ステップと、分割ラインの内、２本の領域境界ラインの間に存在する第１分割ラインを残し、分割ラインの内の第１分割ライン以外の第２分割ラインを開口させる開口処理ステップと、第１分割ラインで囲まれた領域の単位に分離する分離ステップと、第１分割ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第１深さ値付与ステップと、を少なくとも含む。

【0021】

本発明の別の実施の形態に係る画像処理方法は、さらに、起点を領域境界ライン上に複数生成する起点生成ステップを含む。

【0022】

本発明の別の実施の形態に係る画像処理方法は、さらに、領域境界ライン情報受付ステップを、背景以外のオブジェクトを対象として指示された領域境界ラインの情報を受け付けるステップとし、画像フレーム内において、背景を対象として指示された背景境界ラインの情報を受け付ける背景境界ライン情報受付ステップと、背景境界ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第２深さ値付与ステップと、第１深さ値付与ステップによって深さ値を付与したオブジェクトと、第２深さ値付与ステップによって深さ値を付与した背景とを合成するオブジェクト・背景合成ステップとを、少なくとも含む。

【0023】

本発明の別の実施の形態に係る画像処理方法は、さらに、画像フレーム内に複数のオブジェクトおよび／または背景を構成する背景内領域があり、かつ背景においてオブジェクトの位置および／または背景内領域の位置を示すロケーション・ポイントが存在することを判別するロケーション・ポイント有無判別ステップと、ロケーション・ポイントが存在する場合に、複数のオブジェクトおよび／または背景を構成する背景内領域の所定部位の位置を特定するオブジェクト所定部位の位置特定ステップと、オブジェクト所定部位の位置特定ステップによって特定された位置に基づき、オブジェクトおよび／または背景内領域の遠近度合いを表す深さ値を決定する深さ値決定ステップと、を含み、第１深さ値付与ステップおよび／または第２深さ値付与ステップによって、オブジェクトおよび／または背景内領域に対して深さ値を付与する。

【0024】

本発明の別の実施の形態に係る画像処理方法は、動画を構成する複数の画像フレームの内、領域境界ラインを生成済みの第１画像フレームが存在し、かつ第１画像フレームよりも時系列的に後に存在する第２画像フレーム内に自動的に領域境界ラインを生成することを可能とする画像処理方法であって、第１画像フレームの領域境界ライン内に存在する第１特徴点の座標値を受け付ける第１特徴点受付ステップと、第２画像フレームにおいて、第１特徴点の座標値に対応する第２特徴点の座標値を特定する第２特徴点特定ステップと、第１特徴点から第２特徴点への移動情報に基づいて、第２画像フレーム内に、第１画像フレームの領域境界ラインに対応する新たな領域境界ラインを自動生成する領域境界ライン自動生成ステップと、をさらに含む。

【0025】

本発明の別の実施の形態に係る画像処理方法は、第２特徴点特定ステップの処理に先立ち、ピクセルの色および明度の少なくともいずれか１つの近似度合いに基づき、第１特徴点の座標値に対応する第２特徴点を探索する第２特徴点探索ステップを、さらに含む。

【0026】

本発明の別の実施の形態に係る画像処理方法は、領域境界ライン自動生成ステップによる処理を実行する画像フレームの数の指定を受け付ける画像フレーム数指定受付ステップと、新たな領域境界ラインを自動生成する処理を実行した画像フレームの数が、指定された画像フレーム数に到達したか否かを判別するフレーム数判別ステップと、をさらに含み、フレーム数判別ステップによって、指定された画像フレーム数に到達したと判別されるまで、第１特徴点受付ステップ、第２特徴点特定ステップおよび領域境界ライン自動生成ステップを実行する。

【0027】

本発明の別の実施の形態に係る画像処理方法は、動画を構成する複数の画像フレームの内、第１分割ラインで囲まれた領域に深さ値を付与済みの第１画像フレームが存在し、かつ第１画像フレームよりも時系列的に後に存在する第２画像フレーム内の第１分割ラインで囲まれた領域に対応する領域に自動的に深さ値を生成することを可能とする画像処理方法であって、第１画像フレーム内の第１分割ラインで囲まれた領域に存在する１以上の第１ピクセルに、第１分割ラインで囲まれた領域に付与された深さ値を割り当てるピクセル深さ値割り当てステップと、第１ピクセルが第２画像フレーム内のどのピクセルに移動したかを追跡するピクセル移動位置追跡ステップと、第２画像フレーム内の領域であって、第１ピクセルの移動後の第２ピクセルで構成される領域に、ピクセル深さ値割り当てステップによって割り当てられた深さ値を自動生成する深さ値自動生成ステップと、をさらに含む。

【0028】

本発明の実施の形態に係る画像処理用コンピュータプログラムは、コンピュータに読み込まれて実行されるコンピュータプログラムであって、コンピュータに、動画を構成する複数の画像フレームの内の１若しくは２以上の画像フレームを読み込む画像フレーム読み込み手段、読み込まれた画像フレーム内において、領域境界ラインの情報を受け付ける領域境界ライン情報受付手段、領域境界ライン上の所定の点を起点として分割領域を拡張し、明度の近似点をつなぐ分割ラインにより領域境界ラインの内外を分割する領域分割手段、分割ラインの内、２本の領域境界ラインの間に存在する第１分割ラインを残し、分割ラインの内の第１分割ライン以外の第２分割ラインを開口させる開口処理手段、第１分割ラインで囲まれた領域の単位に分離する分離手段、第１分割ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第１深さ値付与手段、の各手段の機能を、さらに実行させる。

【0029】

本発明の別の実施の形態に係る画像処理用コンピュータプログラムは、コンピュータに、起点を領域境界ライン上に複数生成する起点生成手段の機能を、さらに実行させる。

【0030】

本発明の別の実施の形態に係る画像処理用コンピュータプログラムは、領域境界ライン情報受付手段を、背景以外のオブジェクトを対象として指示された領域境界ラインの情報を受け付ける手段とし、コンピュータに、画像フレーム内において、背景を対象として指示された背景境界ラインの情報を受け付ける背景境界ライン情報受付手段、背景境界ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第２深さ値付与手段、第１深さ値付与手段によって深さ値を付与したオブジェクトと、第２深さ値付与手段によって深さ値を付与した背景とを合成するオブジェクト・背景合成手段、の各機能を、さらに実行させる。

【0031】

本発明の別の実施の形態に係る画像処理用コンピュータプログラムは、コンピュータに、画像フレーム内に複数のオブジェクトおよび／または背景を構成する背景内領域があり、かつ背景においてオブジェクトの位置および／または背景内領域の位置を示すロケーション・ポイントが存在することを判別するロケーション・ポイント有無判別手段、ロケーション・ポイントが存在する場合に、複数のオブジェクトおよび／または背景を構成する背景内領域の所定部位の位置を特定するオブジェクト所定部位の位置特定手段、オブジェクト所定部位の位置特定手段によって特定された位置に基づき、オブジェクトおよび／または背景内領域の遠近度合いを表す深さ値を決定する深さ値決定手段の各機能を、さらに実行させ、第１深さ値付与手段および／または第２深さ値付与手段の機能によって、オブジェクトおよび／または背景内領域に対して深さ値を付与させる。

【0032】

本発明の別の実施の形態に係る画像処理用コンピュータプログラムは、動画を構成する複数の画像フレームの内、領域境界ラインを生成済みの第１画像フレームが存在し、かつ第１画像フレームよりも時系列的に後に存在する第２画像フレーム内に自動的に領域境界ラインを生成することを可能とする画像処理用コンピュータプログラムであって、コンピュータに、第１画像フレームの領域境界ライン内に存在する第１特徴点の座標値を受け付ける第１特徴点受付手段、第２画像フレームにおいて、第１特徴点の座標値に対応する第２特徴点の座標値を特定する第２特徴点特定手段、第１特徴点から第２特徴点への移動情報に基づいて、第２画像フレーム内に、第１画像フレームの領域境界ラインに対応する新たな領域境界ラインを自動生成する領域境界ライン自動生成手段の各機能を、さらに実行させる。

【0033】

本発明の別の実施の形態に係る画像処理用コンピュータプログラムは、コンピュータに、第２特徴点特定手段の処理に先立ち、ピクセルの色および明度の少なくともいずれか１つの近似度合いに基づき、第１特徴点の座標値に対応する第２特徴点を探索する第２特徴点探索手段の機能を、さらに実行させる。

【0034】

本発明の別の実施の形態に係る画像処理用コンピュータプログラムは、コンピュータに、領域境界ライン自動生成手段による処理を実行する画像フレームの数の指定を受け付ける画像フレーム数指定受付手段、新たな領域境界ラインを自動生成する処理を実行した画像フレームの数が、指定された画像フレーム数に到達したか否かを判別するフレーム数判別手段の各機能を、さらに実行させ、フレーム数判別手段によって、指定された画像フレーム数に到達したと判別されるまで、第１特徴点受付手段、第２特徴点特定手段および領域境界ライン自動生成手段に各処理を実行させる。

【0035】

本発明の別の実施の形態に係る画像処理用コンピュータプログラムは、コンピュータに、動画を構成する複数の画像フレームの内、第１分割ラインで囲まれた領域に深さ値を付与済みの第１画像フレームが存在し、かつ第１画像フレームよりも時系列的に後に存在する第２画像フレーム内の第１分割ラインで囲まれた領域に対応する領域に自動的に深さ値を生成することを可能とする画像処理用コンピュータプログラムであって、第１画像フレーム内の第１分割ラインで囲まれた領域に存在する１以上の第１ピクセルに、第１分割ラインで囲まれた領域に付与された深さ値を割り当てるピクセル深さ値割り当て手段、第１ピクセルが第２画像フレーム内のどのピクセルに移動したかを追跡するピクセル移動位置追跡手段、第２画像フレーム内の領域であって、第１ピクセルの移動後の第２ピクセルで構成される領域に、ピクセル深さ値割り当て手段によって割り当てられた深さ値を自動生成する深さ値自動生成手段の各機能を、さらに実行させる。

【0036】

本発明の実施の形態に係る画像処理用コンピュータプログラムを格納した情報記録媒体は、コンピュータに読み込まれて実行されるコンピュータプログラムを格納した情報記録媒体であって、コンピュータに、動画を構成する複数の画像フレームの内の１若しくは２以上の画像フレームを読み込む画像フレーム読み込み手段、読み込まれた画像フレーム内において、領域境界ラインの情報を受け付ける領域境界ライン情報受付手段、領域境界ライン上の所定の点を起点として分割領域を拡張し、明度の近似点をつなぐ分割ラインにより領域境界ラインの内外を分割する領域分割手段、分割ラインの内、２本の領域境界ラインの間に存在する第１分割ラインを残し、分割ラインの内の第１分割ライン以外の第２分割ラインを開口させる開口処理手段、第１分割ラインで囲まれた領域の単位に分離する分離手段、第１分割ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第１深さ値付与手段、の各手段の機能を、さらに実行させる画像処理用コンピュータプログラムを格納した情報記録媒体である。

【0037】

本発明の別の実施の形態に係る画像処理用コンピュータプログラムを格納した情報記録媒体は、コンピュータに、起点を領域境界ライン上に複数生成する起点生成手段の機能を、さらに実行させる画像処理用コンピュータプログラムを格納した情報記録媒体である。

【0038】

本発明の別の実施の形態に係る画像処理用コンピュータプログラムを格納した情報記録媒体は、領域境界ライン情報受付手段を、背景以外のオブジェクトを対象として指示された領域境界ラインの情報を受け付ける手段とし、コンピュータに、画像フレーム内において、背景を対象として指示された背景境界ラインの情報を受け付ける背景境界ライン情報受付手段、背景境界ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第２深さ値付与手段、第１深さ値付与手段によって深さ値を付与したオブジェクトと、第２深さ値付与手段によって深さ値を付与した背景とを合成するオブジェクト・背景合成手段、の各機能を、さらに実行させる画像処理用コンピュータプログラムを格納した情報記録媒体である。

【0039】

本発明の別の実施の形態に係る画像処理用コンピュータプログラムを格納した情報記録媒体は、コンピュータに、画像フレーム内に複数のオブジェクトおよび／または背景を構成する背景内領域があり、かつ背景においてオブジェクトの位置および／または背景内領域の位置を示すロケーション・ポイントが存在することを判別するロケーション・ポイント有無判別手段、ロケーション・ポイントが存在する場合に、複数のオブジェクトおよび／または背景を構成する背景内領域の所定部位の位置を特定するオブジェクト所定部位の位置特定手段、オブジェクト所定部位の位置特定手段によって特定された位置に基づき、オブジェクトおよび／または背景内領域の遠近度合いを表す深さ値を決定する深さ値決定手段の各機能を、さらに実行させる画像処理用コンピュータプログラムを格納した情報記録媒体であり、第１深さ値付与手段および／または第２深さ値付与手段の機能によって、オブジェクトおよび／または背景内領域に対して深さ値を付与させる。

【0040】

本発明の別の実施の形態に係る画像処理用コンピュータプログラムを格納した情報記録媒体は、動画を構成する複数の画像フレームの内、領域境界ラインを生成済みの第１画像フレームが存在し、かつ第１画像フレームよりも時系列的に後に存在する第２画像フレーム内に自動的に領域境界ラインを生成することを可能とする画像処理用コンピュータプログラムを格納した情報記録媒体であって、コンピュータに、第１画像フレームの領域境界ライン内に存在する第１特徴点の座標値を受け付ける第１特徴点受付手段、第２画像フレームにおいて、第１特徴点の座標値に対応する第２特徴点の座標値を特定する第２特徴点特定手段、第１特徴点から第２特徴点への移動情報に基づいて、第２画像フレーム内に、第１画像フレームの領域境界ラインに対応する新たな領域境界ラインを自動生成する領域境界ライン自動生成手段の各機能を、さらに実行させる画像処理用コンピュータプログラムを格納した情報記録媒体である。

【0041】

本発明の別の実施の形態に係る画像処理用コンピュータプログラムを格納した情報記録媒体は、コンピュータに、第２特徴点特定手段の処理に先立ち、ピクセルの色および明度の少なくともいずれか１つの近似度合いに基づき、第１特徴点の座標値に対応する第２特徴点を探索する第２特徴点探索手段の機能を、さらに実行させる画像処理用コンピュータプログラムを格納した情報記録媒体である。

【0042】

本発明の別の実施の形態に係る画像処理用コンピュータプログラムを格納した情報記録媒体は、コンピュータに、領域境界ライン自動生成手段による処理を実行する画像フレームの数の指定を受け付ける画像フレーム数指定受付手段、新たな領域境界ラインを自動生成する処理を実行した画像フレームの数が、指定された画像フレーム数に到達したか否かを判別するフレーム数判別手段の各機能を、さらに実行させ、フレーム数判別手段によって、指定された画像フレーム数に到達したと判別されるまで、第１特徴点受付手段、第２特徴点特定手段および領域境界ライン自動生成手段に各処理を実行させる画像処理用コンピュータプログラムを格納した情報記録媒体である。

【0043】

本発明の別の実施の形態に係る画像処理用コンピュータプログラムを格納した情報記録媒体は、コンピュータに、動画を構成する複数の画像フレームの内、第１分割ラインで囲まれた領域に深さ値を付与済みの第１画像フレームが存在し、かつ第１画像フレームよりも時系列的に後に存在する第２画像フレーム内の第１分割ラインで囲まれた領域に対応する領域に自動的に深さ値を生成することを可能とする画像処理用コンピュータプログラムを格納した情報記録媒体であって、第１画像フレーム内の第１分割ラインで囲まれた領域に存在する１以上の第１ピクセルに、第１分割ラインで囲まれた領域に付与された深さ値を割り当てるピクセル深さ値割り当て手段、第１ピクセルが第２画像フレーム内のどのピクセルに移動したかを追跡するピクセル移動位置追跡手段、第２画像フレーム内の領域であって、第１ピクセルの移動後の第２ピクセルで構成される領域に、ピクセル深さ値割り当て手段によって割り当てられた深さ値を自動生成する深さ値自動生成手段の各機能を、さらに実行させる画像処理用コンピュータプログラムを格納した情報記録媒体である。

【発明の効果】

【0044】

本発明によれば、簡便に、かつ品質差を少なく、自然な立体感を感じさせる３Ｄ映像の生成を可能とする画像処理を実現することができる。

【図面の簡単な説明】

【0045】

【図1】図１は、本発明の実施の形態に係る画像処理装置の模式図を示す。

【図2】図２は、動画を構成する１つの画像フレームの例を示す。

【図3】図３は、図２の画像フレーム上に、図１の画像処理装置の操作者が領域境界ラインを描いた状態を示す。

【図4】図４は、図３の画像フレームにおいて、領域分割を行った状態を示す。

【図5】図５は、図４の画像フレームにおいて分離処理および第１深さ値付与処理を行った状態を示す。

【図6】図６は、図１の画像処理装置によって動画を構成する画像フレームに対して３Ｄ映像用の画像処理を行うフローチャートを示す。

【図7】図７は、図１の画像処理装置により実行される応用例のフローを示す。

【図8】図８は、図１の画像処理装置により実行される深さ値の自動付与を説明するための好適な画像例を示す。

【図9】図９は、図１の画像処理装置により深さ値を自動付与する好適な処理のフローチャートを示す。

【図10】図１０は、本発明の第２の実施の形態に係る画像処理装置の模式図を示す。

【図11】図１１は、図１０の画像処理装置を用いた処理の一例を説明する図を示す。

【図12】図１２は、図１１に続く図を示す。

【図13】図１３は、図１０の画像処理装置を用いた画像処理方法を詳細に説明する図を示す。

【図14】図１４は、図１０の画像処理装置を用いた画像処理方法の処理の流れを説明するためのフローチャートを示す。

【図15】図１５は、本発明の第３の実施の形態に係る画像処理装置の模式図を示す。

【図16】図１６は、図１５の画像処理装置を用いた処理の一例を説明する図を示す。

【図17】図１７は、図１５の画像処理装置を用いた画像処理方法の処理の流れを説明するためのフローチャートを示す。

【符号の説明】

【0046】

１ 画像処理装置（コンピュータ）
１５ 画像フレーム読み込み部（画像フレーム読み込み手段）
１６ 領域境界ライン情報受付部（領域境界ライン情報受付手段）
１７ 領域分割部（領域分割手段）
１８ 開口処理部（開口処理手段）
１９ 分離部（分離手段）
２０ 第１深さ値付与部（第１深さ値付与手段）
２１ 起点生成部（起点生成手段）
２２ 背景境界ライン情報受付部（背景境界ライン情報受付手段）
２３ 第２深さ値付与部（第２深さ値付与手段）
２５ オブジェクト・背景合成部（オブジェクト・背景合成手段）
２６ ロケーション・ポイント有無判別部（ロケーション・ポイント有無判別手段）
２７ オブジェクト所定部位の位置特定部（オブジェクト所定部位の位置特定手段）
２８ 深さ値決定部（深さ値決定手段）
４０ 画像（画像フレームまたはフレーム）
４１ 背景
４２ 歌手（オブジェクト）
４３〜４５ 人物（オブジェクト）
５１〜５９ 領域境界ライン
６０ 起点
７０ 第１分割ライン（分割ラインの１つ）
７５ 第２分割ライン（分割ラインの１つ）
８０ 画像（画像フレームまたはフレーム）
８１ 背景
８２〜８６ オブジェクト
８２ａ〜８６ａ 所定部位
８７ ロケーション・ポイント
Ａ 頭部（領域）
Ｂ 腕（領域）
Ｃ 胸部（領域）
Ｄ〜Ｆ 領域
１００，２００ 画像処理装置（コンピュータ）
１５０ 選択データ受付部（画像フレーム数指定受付手段を含む）
１５１ 第１特徴点受付部（第１特徴点受付手段）
１５２ 第２特徴点探索部（第２特徴点探索手段）
１５３ 第２特徴点特定部（第２特徴点特定手段）
１５６ 領域境界ライン自動生成部（領域境界ライン自動生成手段）
１５７ 第１フレーム数判別部（フレーム数判別手段）
１８２ 鼻（第１特徴点の一例）
１８２ａ 鼻（第２特徴点の一例）
１８３，１８４ 領域境界ライン
１８３，１８４ 領域境界ライン
１８３ａ，１８４ａ （新たな）領域境界ライン
１８３ｂ，１８４ｂ （新たな）領域境界ライン
１９２ ピクセル深さ値割り当て部（ピクセル深さ値割り当て手段）
１９３ ピクセル移動位置追跡部（ピクセル移動位置追跡手段）
１９４ 深さ値自動生成部（深さ値自動生成手段）

【発明を実施するための形態】

【0047】

次に、本発明の各実施の形態について、図面を参照しながら説明する。

【0048】

「Ａ 第１の実施の形態」
１．画像処理装置および画像処理方法

【0049】

図１は、本発明の実施の形態に係る画像処理装置の模式図を示す。

【0050】

この実施の形態に係る画像処理装置１は、入力部１０、記憶部１１、外部メモリ装填部１２、通信部１３、インターフェイス１４、画像フレーム読み込み部１５、領域境界ライン情報受付部１６、領域分割部１７、開口処理部１８、分離部１９、第１深さ値付与部２０、起点生成部２１、背景境界ライン情報受付部２２、第２深さ値付与部２３、オブジェクト・背景分離部２４、オブジェクト・背景合成部２５、ロケーション・ポイント有無判別部２６、オブジェクト所定部位の位置特定部２７および深さ値決定部２８を備える。これらの構成部は、各構成部の機能別に区分けして表示されており、必ずしも物理的に区分けされたハードウェアを意味するものではない。入力部１０は、画像処理装置１を操作する操作者が種々の入力を行う部分であり、キーボード、ポインティングデバイス、タッチセンサを用いたタッチ式操作板などで構成される。記憶部１１は、この実施の形態を含め全ての実施の形態に係る画像処理用コンピュータプログラム等の各種情報を記憶しておく領域であり、読み取り専用のＲＯＭ、読み書き可能なＲＡＭ、ＥＥＰＲＯＭあるいはハードディスクなどの各種の記憶手段で構成される。例えば、動画は、記憶部１１に記憶される。外部メモリ装填部１２は、ＣＤ−Ｒ、ＵＳＢメモリ（フラッシュメモリ）、ＭＤ、フレキシブルディスクなど、携帯可能な情報記録媒体３０を画像処理装置１に対して挿入あるいは接続して、当該情報記録媒体３０に格納されている情報の入口となる部位である。情報記録媒体３０は、本発明の実施の形態に係る画像処理用コンピュータプログラムを格納し得るものである。また、情報記録媒体３０は、動画を記憶していても良い。

【0051】

通信部１３は、画像処理装置１の外部と無線あるいは有線による通信を行い、外部から情報を受信しあるいは外部に情報を送信する部位である。通信部１３は、無線通信を行う部位である場合には、アンテナなども含まれる。インターフェイス１４は、画像処理装置１の外部との接続口となる部位であり、光ファイバに代表される通信線などとの物理的な接続口の他、赤外線の受信部などの受光部も含む。例えば、外部のサーバに動画が保存されている場合、通信部１３は、インターネットを経由してインターフェイス１４から動画のデータをインストールし、記憶部１１に格納しても良い。通信部１３、画像フレーム読み込み部１５、領域境界ライン情報受付部１６、領域分割部１７、開口処理部１８、分離部１９、第１深さ値付与部２０、起点生成部２１、背景境界ライン情報受付部２２、第２深さ値付与部２３、オブジェクト・背景分離部２４およびオブジェクト・背景合成部２５、ロケーション・ポイント有無判別部２６、オブジェクト所定部位の位置特定部２７および深さ値決定部２８の一部若しくは全部は、ＣＰＵあるいはＭＰＵなどの処理装置によって構成される。

【0052】

画像フレーム読み込み部１５は、動画を構成する複数の画像フレームの内の１若しくは２以上の画像フレームを読み込む画像フレーム読み込み手段として機能する部位である。画像フレームは、単に「画像」若しくは「フレーム」とも称し、動画を構成する各静止画像を意味する。動画は、この実施の形態では、その一例としての２Ｄ映像であるが、３Ｄ映像を含むように広義に解釈される。通常、動画は、３０ｍｓｅｃに１枚のスピードでフレームを連続表示させて構成される。画像フレーム読み込み部１５は、例えば、１０秒間に表示される分のフレームを一度に読み込むものでも良く、あるいは１枚のみのフレームを読み込むものでも良い。画像フレーム読み込み部１５によって読み込まれた１以上のフレームは、画像フレーム読み込み部１５に保存される。この意味で、画像フレーム読み込み部１５は、ＣＰＵ等の処理装置と、ＲＡＭ等の記憶装置とを兼ねる。ただし、画像フレーム読み込み部１５によって読み込まれたフレームは、記憶部１１内に記憶されても良い。そのような場合には、画像フレーム読み込み部１５は、ＣＰＵ等の処理装置の機能のみを有する。画像フレーム読み込み部１５が読み込み処理を実行する場合、記憶部１１あるいは情報記録媒体３０に格納されている画像処理用コンピュータプログラムを読み取りながら処理を実行するのが好ましい。

【0053】

領域境界ライン情報受付部１６は、画像フレーム読み込み部１５によって読み込まれた画像フレーム内において、領域境界ラインの情報を受け付ける領域境界ライン情報受付手段として機能する部位である。ここで、領域境界ラインとは、画像処理装置１を使用して３Ｄ映像に用いる画像を作製する操作者が、フレーム内のオブジェクト（例えば、人、物）若しくはオブジェクト内の所定領域および／または背景内に表される所定領域（例えば、背景が空であれば雲など、背景が水中であれば水中に差し込む光など）の輪郭の外側および内側に描くラインである。かかるラインは、ドット（点）の集合である。このため、領域境界ラインの情報は、好適には、領域境界ラインを構成するドットの座標である。操作者がフレーム内の１または複数のオブジェクト、各オブジェクト内の所定領域、背景内の所定領域の各輪郭の外側および内側に領域境界ラインを描くと、領域境界ライン情報受付部１６は、当該ラインを構成するドットの座標を受け付ける。領域境界ライン情報受付部１６の受け付けは、操作者による特別な操作によって実行され、あるいはライン作成中に一定時間ごとに自動的に実行されても良い。領域境界ライン情報受付部１６は、ＣＰＵ等の処理装置と、ＲＡＭ等の記憶装置とを兼ねる場合には、受け付けた情報を内部に記憶する。一方、領域境界ライン情報受付部１６がＣＰＵ等の処理装置の機能のみを有する場合には、受け付けられた情報は、記憶部１１内に記憶されるようにしても良い。領域境界ライン情報受付部１６が受付処理を実行する場合、記憶部１１あるいは情報記録媒体３０に格納されている画像処理用コンピュータプログラムを読み取りながら処理を実行するのが好ましい。

【0054】

領域分割部１７は、領域境界ライン上の所定の点を起点として分割領域を拡張し、明度の近似点をつなぐ分割ラインにより領域境界ラインの内外を分割する領域分割手段として機能する部位である。ここで、起点とは、領域境界ラインを構成する全ての点でも良く、あるいは領域境界ライン上の所定間隔おきに設定される点でも良い。領域分割部１７は、好適には、分水嶺（Ｗａｔｅｒｓｈｅｄ）アルゴリズムに基づいて、起点から領域を拡げながら分割ラインを作製する。領域分割部１７は、領域境界ラインで隔てられた両側の領域を分割対象とする。このため、例えば、オブジェクトの輪郭の内外に各領域境界ラインが存在する場合、２本の領域境界ラインで挟まれた領域、外側の領域境界ラインで分けられた２つの領域の内で内側の領域境界ラインと反対側の領域、内側の領域境界ラインで分けられた２つの領域の内で外側の領域境界ラインと反対側の領域において、分割ラインが作製される。領域分割部１７は、ＣＰＵ等の処理装置によって構成される。領域分割部１７が分水嶺アルゴリズムに基づいて領域分割を実行する場合、記憶部１１あるいは情報記録媒体３０に格納されている分水嶺アルゴリズムを持つ画像処理用コンピュータプログラムを読み取りながら処理を実行するのが好ましい。

【0055】

開口処理部１８は、分割ラインの内、２本の領域境界ラインの間に存在する第１分割ラインを残し、分割ラインの内の第１分割ライン以外の第２分割ラインを開口させる開口処理手段として機能する部位である。開口処理前の分割ラインは、閉鎖状のラインである。開口処理部１８は、２本の領域境界ラインの間にある第１分割ラインを残し、それ以外の分割ライン（第２分割ライン）を開口する。この結果、操作者が描いた２本の領域境界ラインの間に存在するオブジェクトのほぼ輪郭上を通る第１分割ラインだけが閉鎖状のまま維持され、残りの分割ラインは開口状態になる。開口処理部１８は、ＣＰＵ等の処理装置によって構成される。開口処理部１８が開口処理を実行する場合、記憶部１１あるいは情報記録媒体３０に格納されている画像処理用コンピュータプログラムを読み取りながら処理を実行するのが好ましい。

【0056】

分離部１９は、第１分割ラインで囲まれた領域の単位に分離する分離手段として機能する部位である。すなわち、分離部１９は、３Ｄ映像を作製するために、各フレーム内のオブジェクトをいくつかの領域に分ける処理を実行する。これによって、１つのオブジェクトは、深さ情報の異なる複数の領域を持つことになる。分離部１９は、ＣＰＵ等の処理装置によって構成される。分離部１９が分離処理を実行する場合、記憶部１１あるいは情報記録媒体３０に格納されている画像処理用コンピュータプログラムを読み取りながら処理を実行するのが好ましい。また、分離部１９は、好ましくは、背景を対象としてその境界に沿ってなぞられた背景境界ライン（詳細は後述する）により分けられた領域を分離する機能を持つ。分離部１９が分離処理を実行する場合、記憶部１１あるいは情報記録媒体３０に格納されている画像処理用コンピュータプログラムを読み取りながら処理を実行するのが好ましい。

【0057】

第１深さ値付与部２０は、第１分割ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第１深さ値付与手段として機能する部位である。深さ値は、明度を基準に付与する場合においては、数値が大きいほど、看者から近くにあることを意味する。深さ値の付与は、操作者がオブジェクトの特性から判断してマニュアルで付与されても良く、あるいは後述するように、背景側に遠近の基準がある場合には自動的に付与されても良い。すなわち、第１深さ値付与部２０は、オブジェクトの所定部位の位置に基づき、そのオブジェクトの遠近度合いを表す深さ値が決定されると、そのオブジェクトに対して当該深さ値を付与する機能を有する。第１深さ値付与部２０は、ＣＰＵ等の処理装置によって構成される。第１深さ値付与部２０が付与処理を実行する場合、記憶部１１あるいは情報記録媒体３０に格納されている画像処理用コンピュータプログラムを読み取りながら処理を実行するのが好ましい。

【0058】

起点生成部２１は、領域境界ライン上に起点を複数生成する起点生成手段として機能する部位である。起点は、上述のように、領域分割を開始する出発点である。その起点は、領域境界ライン上の任意の点、当該任意の点から所定距離だけはなれた点であっても良い。当該任意の点は、好ましくは、起点生成部２１によって任意に選出される。ただし、起点の生成方法は、上記の方法に限られず、別の方法でも良い。例えば、領域境界ライン上の曲がり角の点を起点としても良い。起点生成部２１が起点生成処理を実行する場合、記憶部１１あるいは情報記録媒体３０に格納されている画像処理用コンピュータプログラムを読み取りながら処理を実行するのが好ましい。また、起点生成部２１は、必須の部位ではなく、無くても良い。その場合には、例えば、領域境界ラインを構成する全ての点を起点に領域分割の処理が行われる。

【0059】

背景境界ライン情報受付部２２は、画像フレーム内において、背景を対象として操作者から指示された背景境界ラインの情報を受け付ける背景境界ライン情報受付手段として機能する部位である。背景境界ラインは、背景内をいくつかの領域に分けるために、操作者が背景を構成するいくつかの領域の輪郭上をなぞって描くラインである。かかるラインは、ドット（点）の集合である。このため、背景境界ラインの情報は、例えば、背景境界ラインを構成するドットの座標である。操作者がフレーム中にある背景内の所定領域の各輪郭に沿って背景境界ラインを描くと、背景境界ライン情報受付部２２は、当該ラインを構成するドットの座標を受け付ける。背景境界ライン情報受付部２２の受け付けは、操作者による特別な操作によって実行され、あるいはライン作成中に一定時間ごとに自動的に実行されても良い。背景境界ライン情報受付部２２は、ＣＰＵ等の処理装置と、ＲＡＭ等の記憶装置とを兼ねる場合には、受け付けた情報を内部に記憶する。一方、背景境界ライン情報受付部２２がＣＰＵ等の処理装置の機能のみを有する場合には、受け付けられた情報は、記憶部１１内に記憶されるようにしても良い。背景境界ライン情報受付部２２が受付処理を実行する場合、記憶部１１あるいは情報記録媒体３０に格納されている画像処理用コンピュータプログラムを読み取りながら処理を実行するのが好ましい。また、背景境界ライン情報受付部２２は、必須の部位ではなく、無くても良い。例えば、背景を複数の領域に分割する必要の無い場合には、必ずしも背景境界ライン情報受付部２２を要しない。

【0060】

第２深さ値付与部２３は、背景境界ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第２深さ値付与手段として機能する部位である。深さ値は、明度を基準に付与する場合においては、数値が大きいほど、看者から近くにあることを意味する。深さ値の付与は、操作者が背景内の所定領域の特性から判断してマニュアルで付与されても良く、あるいは後述するように、背景側に遠近の基準がある場合には自動的に付与されても良い。すなわち、第２深さ値付与部２３は、背景を構成する背景内領域の所定部位の位置に基づき、その背景内領域の遠近度合いを表す深さ値が決定されると、その背景内領域に対して当該深さ値を付与する機能を有する。第２深さ値付与部２３は、ＣＰＵ等の処理装置によって構成される。第２深さ値付与部２３が付与処理を実行する場合、記憶部１１あるいは情報記録媒体３０に格納されている画像処理用コンピュータプログラムを読み取りながら処理を実行するのが好ましい。また、第２深さ値付与部２３は、必須の部位ではなく、無くても良い。例えば、背景を複数の領域に分割する必要の無い場合には、必ずしも第２深さ値付与部２３を要しない。

【0061】

オブジェクト・背景分離部２４は、画像フレーム中の背景以外のオブジェクトと、背景とを分離するオブジェクト・背景分離手段として機能する部位である。オブジェクト・背景分離部２４は、各オブジェクトおよび各オブジェクト内の複数の領域を分離する手法（手法Ａとする）と、背景およびその背景内の複数の領域をオブジェクトとは別の手法（手法Ｂとする）によって分離する場合に有効である。オブジェクト・背景分離部２４は、好適には、手法Ａを用いてオブジェクトおよびその内部の領域を分離する処理を行った後に、処理後の画像と背景とを分離する。しかし、オブジェクト・背景分離部２４は、手法Ａの処理に先立ち、操作者がオブジェクトと背景の境界を指示し、その後、その指示に基づき画像フレームから背景を分離しても良い。オブジェクト・背景分離部２４が分離処理を実行する場合、記憶部１１あるいは情報記録媒体３０に格納されている画像処理用コンピュータプログラムを読み取りながら処理を実行するのが好ましい。

【0062】

オブジェクト・背景合成部２５は、第１深さ値付与部２０によって深さ値を付与したオブジェクトと、第２深さ値付与部２３によって深さ値を付与した背景（背景内の領域を含む）とを合成するオブジェクト・背景合成手段として機能する部位である。オブジェクト・背景合成部２５は、各オブジェクトおよび各オブジェクト内の複数の領域を分離する手法（手法Ａとする）と、背景およびその背景内の複数の領域をオブジェクトとは別の手法（手法Ｂとする）によって分離する場合に有効である。オブジェクト・背景合成部２５は、例えば、手法Ａを用いてオブジェクトおよびその内部の領域を分離する処理を行い、それと併行して、手法Ｂを用いて背景およびその内部の領域を分離する処理を行い、その後、分離処理後のオブジェクトと、分離処理後の背景とを合成する。オブジェクト・背景合成部２５が合成処理を実行する場合、記憶部１１あるいは情報記録媒体３０に格納されている画像処理用コンピュータプログラムを読み取りながら処理を実行するのが好ましい。

【0063】

なお、オブジェクト・背景合成部２５は、背景に対して何らの３Ｄ用の画像処理を必要とせず、背景以外のオブジェクトに対してのみ３Ｄ用の画像処理を必要とする場合には、必ずしも要しない。また、オブジェクト・背景分離部２４は、その機能をオブジェクト・背景合成部２５に統合しても良い。さらには、オブジェクト・背景分離部２４を設けず、同一の画像フレームをコピー等により２つ用意し、１つの画像フレーム内のオブジェクトおよびその内部の領域に対して分離処理（手法Ａによる分離処理）を行い、もう１つの画像フレーム内の背景およびその内部の領域に対して別の分離処理（手法Ｂによる分離処理）を行い、オブジェクト・背景合成部２５により、それぞれの分離処理したオブジェクトと背景とを合成するようにしても良い。その意味で、オブジェクト・背景分離部２４は、オプションとして好適に備える構成部である。

【0064】

ロケーション・ポイント有無判別部２６は、画像フレーム内に複数のオブジェクトおよび／または背景を構成する背景内領域があり、かつ背景においてオブジェクトの位置および／または背景内領域の位置を示すロケーション・ポイントが存在することを判別するロケーション・ポイント有無判別手段として機能する部位である。背景内領域とは、背景を構成する領域であって、オブジェクトと異なる領域である。ロケーション・ポイントとは、２以上のオブジェクトや背景内領域の遠近度合いの基準となる点、線あるいは面をいう。ロケーション・ポイントは、種々あり得るが、例えば、背景における壁と床の境界線などを好適に例示できる。ロケーション・ポイントの有無については、画像内の明暗から自動的に判別しても良いが、操作者がロケーション・ポイントを指定することにより、ロケーション・ポイント有無判別部２６は、ロケーション・ポイントが存在すると決定しても良い。ロケーション・ポイント有無判別部２６が判別処理を実行する場合、記憶部１１あるいは情報記録媒体３０に格納されている画像処理用コンピュータプログラムを読み取りながら処理を実行するのが好ましい。

【0065】

オブジェクト所定部位の位置特定部２７は、ロケーション・ポイントが存在する場合に、複数のオブジェクトおよび／または背景内領域の所定部位の位置を特定するオブジェクト所定部位の位置特定手段として機能する部位である。ここで、所定部位とは、特に限定されないが、例えば、オブジェクトあるいは背景内領域の上部、下部あるいは側部といった最外部をいう。所定部位は、画像の種類、画像内のオブジェクトや背景内領域の種類などによって変わり得る。このため、好ましくは、画像処理装置１の操作者が、所定部位をマニュアルにて決定する。例えば、ロケーション・ポイントの存在する画像に、複数のオブジェクト（例えば、人間）が存在する場合、操作者は、そのオブジェクトの足先を所定部位として指定する。オブジェクト所定部位の位置特定部２７は、ロケーション・ポイントから各オブジェクトの足先までの距離を算出し、足先の位置を特定する。オブジェクト所定部位の位置特定部２７が位置特定処理を実行する場合、記憶部１１あるいは情報記録媒体３０に格納されている画像処理用コンピュータプログラムを読み取りながら処理を実行するのが好ましい。

【0066】

深さ値決定部２８は、オブジェクト所定部位の位置特定部２７によって特定された位置に基づき、オブジェクトおよび／または背景内領域の遠近度合いを表す深さ値を決定する深さ値決定手段として機能する部位である。上述の例では、各人間の足先の位置が決定されると、ロケーション・ポイントからの遠近度合いを算出できる。深さ値を０〜２５５の範囲と設定すると、深さ値決定部２８は、各人間の前後関係、ロケーション・ポイントからの位置に基づき、０〜２５５の範囲内の数値を深さ値として付与する。予め、所定部位の位置と深さ値との関係を、計算式あるいはテーブルを利用した割り振りなどにより設定しておくのが好ましい。深さ値決定部２８が深さ値の決定処理を実行する場合、記憶部１１あるいは情報記録媒体３０に格納されている画像処理用コンピュータプログラムを読み取りながら処理を実行するのが好ましい。

【0067】

図２は、動画を構成する１つの画像フレームの例を示す。図３は、図２の画像フレーム上に、図１の画像処理装置の操作者が領域境界ラインを描いた状態を示す。図４は、図３の画像フレームにおいて、領域分割を行った状態を示す。図５は、図４の画像フレームにおいて分離処理および第１深さ値付与処理を行った状態を示す。図６は、図１の画像処理装置によって動画を構成する画像フレームに対して３Ｄ映像用の画像処理を行うフローチャートを示す。

【0068】

以下、図６のフローチャートに基づき、図２〜図５の画像フレームを例に、図１の画像処理装置による処理を説明する。

【0069】

（ステップ１０１： 画像フレーム読み込みステップ）
画像処理装置１は、画像フレーム読み込み部１５の機能により、動画を構成する１または２以上の画像フレームを記憶部１１から読み込む。画像フレームは、例えば、図２に示すような画像４０である。画像４０には、主に、背景４１、歌手４２、その他の人物４３，４４，４５が存在する。背景４１には、画像４０の看者側に最も近い位置から順に、歌手４２、人物４３，４４，４５（人物４３，４４，４５間の遠近関係は不明であっても良い）が存在する。

【0070】

（ステップ１０２： 領域境界ライン情報受付ステップ）
この例では、画像処理装置１の操作者は、歌手４２、人物４３，４４，４５を背景４１に対して遠近感を持たせ、かつ歌手４２というオブジェクト内においてさらに複数の部位に対して遠近感を持たせる処理を行うものとする。この趣旨から、操作者は、歌手４２を頭部Ａ、腕Ｂ、胸部Ｃの３つの領域に分け、人物４３，４４，４５に対しては、それぞれ１つの領域Ｄ，Ｅ，Ｆとするべく、領域境界ライン５１，５２，５３，５４，５５，５６，５７，５８，５９を描く（図３を参照）。操作者が画像４０上にこれら領域境界ライン５１〜５９を描くと、画像処理装置１の領域境界ライン情報受付部１６は、これら領域境界ライン５１〜５９を構成するドットの座標データを受け付ける。領域境界ライン５１は、歌手４２および人物４４の輪郭５０の外側をなぞったラインである。領域境界ライン５１は、同時に、胸部Ｃの輪郭の外側の一部もなぞったラインとなっている。領域境界ライン５２は、歌手４２の頭部から肩にいたる頭部Ａの輪郭の内側をなぞったラインである。領域境界ライン５２は、同時に、腕Ｂの輪郭の外側の一部および人物４４の輪郭の外側の一部もなぞったラインとなっている。領域境界ライン５３は、腕Ｂの輪郭の内側をなぞったラインである。領域境界ライン５４は、胸部Ｃの輪郭の内側をなぞったラインである。領域境界ライン５５は、人物４４の輪郭の内側をなぞったラインである。領域境界ライン５６は、人物４３の輪郭５０の外側をなぞったラインである。領域境界ライン５７は、人物４３の輪郭５０の内側をなぞったラインである。領域境界ライン５８は、人物４５の輪郭５０の外側をなぞったラインである。領域境界ライン５９は、人物４５の輪郭５０の内側をなぞったラインである。

【0071】

（ステップ１０３： 起点生成ステップ）
画像処理装置１の起点生成部２１は、領域境界ライン５１〜５９上に、所定間隔で、領域分割の処理を開始する起点６０を生成する。ここで、所定間隔とは、一定の距離を隔てる意味のみならず、異なる距離を隔てる意味も含むように広義に解釈される。図３では、理解しやすいように、起点６０を領域境界ライン５１，５２の各一部分のみに表示しているが、起点６０は、全ての領域境界ライン５１〜５９の全長に亘って生成される。起点６０の生成は、起点生成部２１により各領域境界ライン５１等上の任意の点を選出し、当該任意の点を基準に、他の起点６０を次々と生成していくようにしても良い。また、操作者が各領域境界ライン５１等の上の任意の点を選び、起点生成部２１が、当該任意の点を基準に、他の起点６０を次々と生成していくようにしても良い。このように、起点６０の生成方法は、１種類に限られず、種々の方法を採用できる。

【0072】

（ステップ１０４： 領域分割ステップ）
画像処理装置１の領域分割部１７は、起点６０から各領域境界ライン５１等の内側および外側に向かって分割領域を拡張していくように、明度の近似点をつなぐ分割ラインにより領域境界ラインの内外を分割する。図４は、画像４０に、多くの閉鎖状の分割ライン（白色の細線）７０，７５が形成された状態を示している。領域境界ライン５１等は、分割ライン７０，７５と混同しないように、図４では、背景色と略同一の黒色で示されている。分割ライン７０，７５は、分水嶺アルゴリズムによって好適に形成できる。分割ライン７０，７５は、地形で例えると、等高線に相当し、明度の同一なピクセルを繋いだラインである。図４から明らかなように、分割ライン７０，７５は、非常に高精度に形成されているため、画面の凹凸を細かく表現している。しかし、このような分割は、３Ｄ映像を作製するという観点では、過分割である。このため、次の処理以降、操作者の描いた領域境界ライン５１〜５９に基づく処理を行い、過分割を補正する。

【0073】

（ステップ１０５： 開口処理ステップ）
画像処理装置１の開口処理部１８は、２本の領域境界ライン５１，５２等に挟まれた領域を除くその他の領域にある閉鎖状の分割ライン７５（第２分割ライン７５ともいう）を開口する処理を行う。この結果、２本の領域境界ライン５１，５２等に挟まれた領域、すなわち、歌手４２の頭部Ａ、腕Ｂおよび胸部Ｃの各輪郭５０、さらには人物４３，４４，４５の輪郭５０の存在する領域にある分割ライン７０（第１分割ラインともいう）のみが閉鎖状態で残る。この開口処理は、閉鎖状の分割ライン７０によって囲まれた領域のみを３Ｄ映像用に用い、その他の領域（分割ライン７５で囲まれた領域）については３Ｄ映像用の処理対象から除外するための処理である。

【0074】

（ステップ１０６： 閉鎖ラインによる分離ステップ）
画像処理装置１の分離部１９は、第１分割ライン７０で囲まれた領域ごとにオブジェクトを分離する。この結果、歌手４２は、頭部Ａ（領域Ａともいう）、腕Ｂ（領域Ｂともいう）および胸部Ｃ（領域Ｃともいう）の３つの領域に分離される。人物４３，４４，４５は、それぞれ、領域Ｄ、領域Ｅおよび領域Ｆとなり、背景４１から分離される。図５は、分離された領域Ａ〜Ｆの内、領域Ａ，Ｂのみを白塗りで示す。

【0075】

（ステップ１０７： 第１深さ値付与ステップ）
画像処理装置１の第１深さ値付与部２０は、第１分割ライン７０で囲まれた領域Ａ〜Ｆに、各領域の遠近度合いを表す深さ値を付与する。深さ値は、画像４０の画面の奥行き方向に対する遠近度合いを定量化する数値であれば、特に制限されない。例えば、深さ値（デプス・バリュー）は、グレースケール情報（好適には、明度）を基準として、０〜２５５の数値で表すことができる。領域Ａ〜Ｆのそれぞれに対して、画像４０の奥から手前に向かって深さ値が大きくなるように深さ値を付与するのが好ましい。図５は、領域Ａ〜Ｆに深さ値を付与した状態を示す。領域Ｂの深さ値が最も大きいことから、画像４０では、腕Ｂが最も手前にある。一方、領域Ｅ，Ｆの深さ値が最も小さいことから、人物４４，４５が最も奥にある。この実施の形態では、これら深さ値は、操作者が画像４０を見て、マニュアルにて入力し、その入力を受けた画像処理装置１の第１深さ値付与部２０が付与する。ただし、深さ値は、操作者によるマニュアル入力によらず、後述するように自動付与するようにしても良い。その詳細は、後述する。

【0076】

図７は、図１の画像処理装置により実行される応用例のフローを示す。

【0077】

図７に示すフローは、画像フレーム中の背景と、背景以外のオブジェクトとを分けて画像処理を行う例を示す。図７中のステップ１０１（Ｓ１０１）から１０７（Ｓ１０７）までの処理は、前述と同様である。ただし、図７中のステップ１０２Ａ（Ｓ１０２Ａ）は、背景以外のオブジェクト（人物など）を対象とした領域境界ラインのデータを受け付ける処理である点で、前述のステップ１０２（Ｓ１０２）よりも限定された処理となっている。ステップ１０７の処理が完了すると、画像処理装置１中のオブジェクト・背景分離部２４は、ステップ１０７までの処理を行ったオブジェクトと、その周囲の背景とを分離し、背景を除去する（ステップ１０８）。

【0078】

（ステップ２０１： 画像フレーム読み込みステップ）
画像処理装置１は、上記ステップ１０１〜１０８と併行して、画像フレーム読み込み部１５の機能により、ステップ１０１にて読み込んだ画像フレームと同じ画像フレームを記憶部１１から読み込む。

【0079】

（ステップ２０２： 背景境界ライン情報受付ステップ）
次に、画像処理装置１中の背景境界ライン情報受付部２２は、読み込まれた画像フレーム内において、操作者から背景を対象として指示された背景境界ラインの情報を受け付ける。背景境界ラインは、操作者が背景およびその背景と同一視できる領域（背景内領域）の周囲をなぞったラインである。例えば、背景中に、雲が存在し、その背景に飛行機が存在する例で説明すると、飛行機をオブジェクトとすると、雲は、背景と同一視することができる背景内領域に相当する。操作者は、雲の周囲に、背景境界ラインを描くと、背景境界ライン情報受付部２２は、その背景境界ラインの情報を受け付ける。

【0080】

（ステップ２０３： 閉鎖状の背景境界ラインによる分離ステップ）
分離部１９は、閉鎖状の背景境界ラインによって分けられた複数の領域を認識し、分離する。背景は、この後の処理によって複数の深度の異なる領域になる。

【0081】

（ステップ２０４： 第２深さ値付与ステップ）
第２深さ値付与部２３は、背景境界ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する。深さ値は、画面の奥行き方向に対する遠近度合いを定量化する数値であれば、特に制限されない。例えば、深さ値（デプス・バリュー）は、グレースケール情報（好適には、明度）を基準として、０〜２５５の数値で表すことができる。例えば、画面の奥から手前に向かって深さ値が大きくなるように深さ値を付与するのが好ましい。この実施の形態では、深さ値は、操作者が背景の状況を見て、マニュアルにて入力し、その入力を受けた画像処理装置１の第２深さ値付与部２３が付与する。ただし、深さ値は、操作者によるマニュアル入力によらず、自動付与するようにしても良い。

【0082】

（ステップ２０５： オブジェクトの分離除去ステップ）
ステップ２０４の処理が完了すると、画像処理装置１中のオブジェクト・背景分離部２４は、ステップ２０４までの処理を行った背景と、その背景以外のオブジェクトとを分離し、オブジェクトを除去する。

【0083】

（ステップ２０６： オブジェクト・背景合成ステップ）
最後に、オブジェクト・背景合成部２５は、ステップ１０８後のオブジェクトと、ステップ２０５後の背景とを合成して、１つの画像フレームを再形成する。

【0084】

図８は、図１の画像処理装置により実行される深さ値の自動付与を説明するための好適な画像フレームの例を示す。図９は、図１の画像処理装置により深さ値を自動付与する好適な処理のフローチャートを示す。

【0085】

以下、図９のフローチャートに基づき、図８の画像フレームを例に、図１の画像処理装置による処理を説明する。

【0086】

（ステップ３０１： ロケーション・ポイント有無判別ステップ）
ロケーション・ポイント有無判別部２６は、例えば、背景内に明度が急激に変化している部分があるか否かという基準から、ロケーション・ポイントの有無を判別する。また、変形例として、操作者がロケーション・ポイントを指定後、ロケーション・ポイント有無判別部２６が指定されたロケーション・ポイントの有無を判別することもできる。図８に示す画像８０において、背景８１とオブジェクト（この例では、人間）８２〜８６とが存在する例で説明する。背景８１は、床と壁から構成されている。この例では、床と壁との境界に明度の段差が存在する。ロケーション・ポイント有無判別部２６は、この段差をロケーション・ポイント８７として認定し、ロケーション・ポイント８７が存在すると判別する。この変形例として、操作者が画像８０を見て、床と壁との境界をロケーション・ポイント８７として指定し、この指定に基づき、ロケーション・ポイント有無判別部２６は、ロケーション・ポイント８７が存在すると判別することもできる。

【0087】

（ステップ３０２： オブジェクト所定部位の位置特定ステップ）
ステップ３０１において、ロケーション・ポイント８７が存在する場合、続いて、オブジェクト所定部位の位置特定部２７は、オブジェクト８２〜８６の足先（＝所定部位）８２ａ〜８６ａとロケーション・ポイント８７との間の距離Ｌ１〜Ｌ５を算出し、所定部位の位置を特定する。

【0088】

（ステップ３０３： 深さ値決定ステップ）
続いて、深さ値決定部２８は、ステップ３０２によって特定された位置に基づいて深さ値を決定する。図８に示す例では、ロケーション・ポイント８７から各オブジェクト８２〜８６の足先８２ａ〜８６ａまでの距離が短いほど、画面から奥方向に位置するものとして、深さ値を決定する。

【0089】

（ステップ３０４： 深さ値付与ステップ）
続いて、第１深さ値付与部２０は、ステップ３０３によって決定された各深さ値を各オブジェクト８２〜８６に付与する。オブジェクト８２〜８６に代えて、複数の背景内領域に対して深さ値を付与する必要のある場合には、第２深さ値付与部２３が各背景内領域に対して深さ値を付与する。

【0090】

（ステップ３０５： マニュアルによる深さ値の受付判別ステップ）
ステップ３０１の判別の結果、ロケーション・ポイントが存在しない場合には、第１深さ値付与部２０および／または第２深さ値付与部２３は、操作者のマニュアルにより深さ値を受け付けたか否かを判別する。その結果、受け付けた場合には、引き続き、第１深さ値付与部２０および／または第２深さ値付与部２３は、ステップ３０４に進み、深さ値を各オブジェクトおよび／または各背景内領域に対して付与する。一方、受け付けていない場合には、ステップ３０１に戻る。

【0091】

２．画像処理用コンピュータプログラムおよびそれを格納した情報記録媒体

【0092】

本発明に係る画像処理用コンピュータプログラムの実施の形態は、画像処理装置１（コンピュータと称する）に読み込まれて実行されるプログラムであって、コンピュータに、動画を構成する複数の画像フレームの内の１若しくは２以上の画像フレームを読み込む画像フレーム読み込み部１５、読み込まれた画像フレーム内において、領域境界ラインの情報を受け付ける領域境界ライン情報受付部１６、領域境界ライン上の所定の点を起点として分割領域を拡張し、明度の近似点をつなぐ分割ラインにより領域境界ラインの内外を分割する領域分割部１７、分割ラインの内、２本の領域境界ラインの間に存在する第１分割ラインを残し、分割ラインの内の第１分割ライン以外の第２分割ラインを開口させる開口処理部１８、第１分割ラインで囲まれた領域の単位に分離する分離部１９、第１分割ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第１深さ値付与部２０の各機能を実行させるプログラムである。当該コンピュータプログラムは、情報記録媒体３０に格納され、コンピュータとは独立して流通可能である。また、サーバ内に当該コンピュータプログラムを格納しておき、コンピュータからインターネット等の回線を経由してサーバにアクセスし、サーバから当該コンピュータプログラムをダウンロードして、コンピュータにより当該コンピュータプログラムを実行して、コンピュータを画像処理装置１として機能させてもよい。以後のコンピュータプログラムについても同様である。

【0093】

また、本発明に係る画像処理用コンピュータプログラムの実施の形態は、コンピュータに、起点を領域境界ライン上に複数生成する起点生成部２１の機能をさらに実行させるプログラムであってもよい。

【0094】

また、本発明に係る画像処理用コンピュータプログラムの実施の形態は、領域境界ライン情報受付部１６を、背景以外のオブジェクトを対象として指示された領域境界ラインの情報を受け付ける構成とし、コンピュータに、画像フレーム内において、背景を対象として指示された背景境界ラインの情報を受け付ける背景境界ライン情報受付部１６、背景境界ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第２深さ値付与部２３、第１深さ値付与部２０によって深さ値を付与したオブジェクトと、第２深さ値付与部２３によって深さ値を付与した背景とを合成するオブジェクト・背景合成部２５の各機能を実行させるプログラムであってもよい。

【0095】

また、本発明に係る画像処理用コンピュータプログラムの実施の形態は、さらに、コンピュータに、画像フレーム内に複数のオブジェクトおよび／または背景を構成する背景内領域があり、かつ背景においてオブジェクトの位置および／または背景内領域の位置を示すロケーション・ポイントが存在することを判別するロケーション・ポイント有無判別部２６、ロケーション・ポイントが存在する場合に、複数のオブジェクトおよび／または背景を構成する背景内領域の所定部位の位置を特定するオブジェクト所定部位の位置特定部２７、そのオブジェクト所定部位の位置特定部２７によって特定された位置に基づき、オブジェクトおよび／または背景内領域の遠近度合いを表す深さ値を決定する深さ値決定部２８の各機能を実行させ、第１深さ値付与部２０および／または第２深さ値付与部２３により、オブジェクトおよび／または背景内領域に対して深さ値を付与させるプログラムであってもよい。

【0096】

３．その他の実施の形態
本発明は、上述の実施の形態に係る画像処理装置、画像処理方法、画像処理用コンピュータプログラムおよびそのコンピュータプログラムを格納した情報記録媒体に限定されず、種々変更して実施可能である。

【0097】

例えば、背景境界ライン情報受付部２２、第２深さ値付与部２３、オブジェクト・背景分離部２４およびオブジェクト・背景合成部２５は、画像処理装置１にとって必須の構成ではなく、画像処理装置１に備えられていなくても良い。その場合、背景および背景内領域についても３Ｄ処理を必要とするときには、オブジェクトと同様の画像処理を行うことができる。また、ロケーション・ポイント有無判別部２６、オブジェクト所定部位の位置特定部２７および深さ値決定部２８も、画像処理装置１にとって必須の構成ではなく、画像処理装置１に備えられていなくても良い。その場合、オブジェクトや背景内領域に付与される深さ値は、操作者のマニュアルにて行うことができる。また、各構成部１６〜２８およびそれら構成部１６〜２８によって実行される各ステップは、動画を構成する一部の静止画（キーフレームともいう）に対してのみ、操作者のマニュアルによる入力に基づいて機能を実行し、全ての静止画に対する機能を持つ必要はない。

【0098】

「Ｂ 第２の実施の形態」
次に、本発明に係る第２の実施の形態について、図面を参照しながら説明する。

【0099】

１．画像処理装置および画像処理方法

【0100】

図１０は、本発明の第２の実施の形態に係る画像処理装置の模式図を示す。

【0101】

この実施の形態に係る画像処理装置１００は、第１の実施の形態に備えられる入力部１０、記憶部１１、外部メモリ装填部１２、通信部１３、インターフェイス１４、画像フレーム読み込み部１５、領域境界ライン情報受付部１６、領域分割部１７、開口処理部１８、分離部１９、第１深さ値付与部２０、起点生成部２１、背景境界ライン情報受付部２２、第２深さ値付与部２３、オブジェクト・背景分離部２４、オブジェクト・背景合成部２５、ロケーション・ポイント有無判別部２６、オブジェクト所定部位の位置特定部２７および深さ値決定部２８を備える。また、画像処理装置１００は、上記各構成部に加え、さらに、選択データ受付部１５０、第１特徴点受付部１５１、第２特徴点探索部１５２、第２特徴点特定部１５３、移動位置抽出部１５４、領域境界ライン座標値算出部１５５、領域境界ライン自動生成部１５６および第１フレーム数判別部１５７を備える。ただし、第２特徴点探索部１５２は必須の構成ではなく、備えられなくとも良い。さらに、第１フレーム数判別部１５７も必須の構成ではなく、備えられなくとも良い。上記の各構成部は、第１の実施の形態にて説明したように、それを機能別に区分けして表示されており、必ずしも物理的に区分けされたハードウェアを意味するものではない。

【0102】

画像処理装置１００は、動画を構成する複数の画像フレームの内、領域境界ラインを生成済みの第１画像フレームが存在し、かつ第１画像フレームよりも時系列的に後に存在する第２画像フレーム内に自動的に領域境界ラインを生成することを可能とする装置である。

【0103】

選択データ受付部１５０は、第１画像フレーム内のオブジェクト（例えば、人、腕などの人の一部）に領海境界ライン（「ロトブラシ」ともいう）を生成後、ユーザによりその領域境界ラインで囲まれた部分を特定した信号を受け付ける部分である。選択データ受付部１５０は、オプションとして、領域境界ラインの自動生成機能を実行するフレーム数の指定を受け付ける部分を兼ねる。

【0104】

第１特徴点受付部１５１は、第１画像フレームの領域境界ライン内に存在する第１特徴点の座標値を受け付ける第１特徴点受付手段として機能する部分である。

【0105】

第２特徴点探索部１５２は、後述の第２特徴点特定部１５３の処理に先立ち、ピクセルの色および明度の少なくともいずれか１つの近似度合いに基づき、第１特徴点の座標値に対応する第２特徴点を探索する第２特徴点探索手段として機能する部分である。第２特徴点の探索は、第１特徴点の範囲内にある１若しくは２以上のピクセルの色および明度の少なくともいずれか１つが最も近いピクセルを探す観点で行われる。色と明度の両方の観点で最も近いピクセルを探す方が正確であるが、状況によっては、探索の迅速化のため、色のみ、あるいは明度のみの観点で第２特徴点を探索することもできる。第１特徴点が複数のピクセルから成る場合には、それら複数のピクセルの情報を総合して、最も近似する第２特徴点を探す。

【0106】

第２特徴点特定部１５３は、第２画像フレームにおいて、第１特徴点の座標値に対応する第２特徴点の座標値を特定する第２特徴点特定手段として機能する部分である。第２特徴点特定部１５３は、上記第２特徴点探索部１５２の探索に基づいて、第２特徴点を決定する。

【0107】

移動位置抽出部１５４は、第２特徴点を構成する１または２以上のピクセルの位置情報（好適には座標であるが、座標以外に距離と方向を採用しても良い）を抽出する構成部である。なお、移動位置抽出部１５４の機能を第２特徴点特定部１５３に持たせて、移動位置抽出部１５４を別途備えないようにしても良い。

【0108】

領域境界ライン座標値算出部１５５は、第１画像フレーム内の領域境界ラインを構成する複数のピクセルの座標に、上記移動位置抽出部１５４によって抽出された位置情報を加算して、第２画像フレーム内の新たな領域境界ライン（すなわち、第１画像フレーム内の領域境界ラインからわずかに変化した領域境界ライン）を構成する複数のピクセルの座標を算出する部分である。なお、領域境界ライン座標値算出部１５５の機能を、領域境界ライン自動生成部１５６に持たせて、領域境界ライン座標値算出部１５５を別途備えないようにしても良い。

【0109】

領域境界ライン自動生成部１５６は、上記の第１特徴点から第２特徴点への移動情報に基づいて、第２画像フレーム内に、第１画像フレームの領域境界ラインに対応する新たな領域境界ラインを自動生成する領域境界ライン自動生成手段として機能する部分である。

【0110】

第１フレーム数判別部１５７は、選択データ受付部１５０に、領域境界ラインの自動生成機能を実行するフレーム数の指定が受け付けられた場合に、新たな領域境界ラインを自動生成する処理を実行した画像フレームの数が、指定された画像フレーム数に到達したか否かを判別するフレーム数判別手段として機能する部分である。第１フレーム数判別部１５７によって、指定された画像フレーム数に到達したと判別されるまで、少なくとも第１特徴点受付部１５１、第２特徴点特定部１５３および領域境界ライン自動生成部１５６は、各処理を実行する。

【0111】

図１１は、図１０の画像処理装置を用いた処理の一例を説明する図を示す。図１２は、図１１に続く図を示す。

【0112】

図１１の１１Ａは、１つの画面例１６０において、化学の教師（オブジェクトの１つ）１６１に領海境界ライン（ロトブラシ）を生成する前の状態を示す。同図の１１Ｂは、ロトブラシを実行した後の状態を示す。ロトブラシを行う場合、ユーザは、画面例１６０内のチェックボックス１６２にチェックする操作を行う。次に、ユーザは、化学の教師１６１の外周囲に、マニュアルにて、ロトブラシ１６３を描く。

【0113】

次に、画面例１６０において、ユーザがトラッキングウィンドウ１６５のキーを指示すると、図１２に示す別の画面１７０が表示される。画面１７０には、ロトブラシを自動生成する画像フレームの数を指定する領域１７１が存在する。領域１７１に、例えば、「３」を入力すると、現在操作している画面例１６０を含めて３枚目の画像フレームまで、ロトブラシの自動生成を実行できる。次に、画面１７０において、ユーザが第１特徴点（「関心領域」ともいう）１７１を指定する。この結果、画像処理装置１００は、第１特徴点１７１と近似する第２特徴点を探索する。この機能につき、次に、詳細に説明する。

【0114】

図１３は、図１０の画像処理装置を用いた画像処理方法を詳細に説明する図を示す。図１４は、図１０の画像処理装置を用いた画像処理方法の処理の流れを説明するためのフローチャートを示す。

【0115】

この実施の形態の画像処理方法は、動画を構成する複数の画像フレームの内、領域境界ラインを生成済みの第１画像フレームが存在し、かつ第１画像フレームよりも時系列的に後に存在する第２画像フレーム内に自動的に領域境界ラインを生成することを可能とする方法であり、図１４では、図６のステップ１０２（Ｓ１０２）とステップ１０３（Ｓ１０３）の間に行う複数のステップとして示されている。

【0116】

（ステップ１０２０： 画像フレーム数指定受付ステップ）
このステップは、この実施の形態では、ターゲット・トラッキング・フレームの選択データを受け付けるステップである。より具体的には、このステップは、これ以降に詳述する領域境界ライン自動生成ステップによる処理を実行する画像フレームの数の指定を受け付ける画像フレーム数指定受付ステップを含み、図１２中の領域１７１に入力した数値を受け付けるステップに相当する。

【0117】

（ステップ１０２１： 第１特徴点受付ステップ）
第１特徴点受付ステップは、第１画像フレームの領域境界ライン内に存在する第１特徴点（「関心領域」とも称する）の座標値を受け付けるステップである。図１３中の１３Ａでは、キーフレームとなるフレーム１に、オブジェクト（人）１８１が存在する。ここで、第１特徴点として鼻１８２を例示する。フレーム１は、ユーザがロトブラシをマニュアルで行ったフレームであり、すでに、オブジェクト１８１の輪郭の外側および内側に、ロトブラシ１８３，１８４（すなわち、領域境界ライン１８３および領域境界ライン１８４）が描かれている。図１３中の１３Ｂでは、フレーム１の時系列的に直後に表示されるフレーム２が表示されている。フレーム２では、フレーム１内のオブジェクト１８１（１３Ｂ中のフレーム２において点線で示す）が右にわずかに動いたオブジェクト１８１ａ（１３Ｂ中のフレーム２において細い実線で示す）が存在する。

【0118】

（ステップ１０２２： 第２特徴点探索ステップ）
第２特徴点探索ステップは、後述の第２特徴点特定ステップの処理に先立ち、ピクセルの色および明度の少なくともいずれか１つの近似度合いに基づき、第１特徴点（図１３では、鼻１８２）の座標値に対応する第２特徴点を探索するステップである。

【0119】

（ステップ１０２３： 第２特徴点特定ステップ）
第２特徴点探索ステップは、第２画像フレーム（図１３の１３Ｂでは、フレーム２に相当）において、第１特徴点の座標値に対応する第２特徴点の座標値を特定するステップである。第１特徴点としての鼻１８２は、フレーム２では、矢印Ａの方向に移動している。このため、第２特徴点特定部１５３は、フレーム２中の鼻１８２ａを第２特徴点として特定することになる。

【0120】

（ステップ１０２４： 移動位置抽出ステップ）
移動位置抽出ステップは、移動位置抽出部１５４によって、第２特徴点（鼻１８２ａ）を構成する１または２以上のピクセルの座標を抽出するステップである。

【0121】

（ステップ１０２５： 新たな領域境界ライン座標値算出ステップ）
新たな領域境界ライン座標値算出ステップは、第１画像フレーム（キーフレームとしてのフレーム１）内の領域境界ライン１８３，１８４を構成する複数のピクセルの座標に、上記移動位置抽出ステップによって抽出された位置情報を加算して、第２画像フレーム（次のフレームとなるフレーム２）内の新たな領域境界ライン１８３ａ，１８４ａを構成する複数のピクセルの座標値を算出するステップである。このステップでは、領域境界ライン１８３，１８４を構成する各ピクセルの座標に対して、鼻１８２が鼻１８２ａに移動する方向と距離を加算し、新たな領域境界ライン１８３ａ，１８４ａを構成する各ピクセルの座標値を算出する。

【0122】

（ステップ１０２６： 領域境界ライン自動生成ステップ）
領域境界ライン自動生成ステップは、第１特徴点（鼻１８２）から第２特徴点（鼻１８２ａ）への移動情報に基づいて、第２画像フレーム（フレーム２）内に、第１画像フレーム（フレーム１）の領域境界ライン１８３，１８４に対応する新たな領域境界ライン１８３ａ，１８４ａを自動生成するステップであり、新たな領域境界ライン座標値算出ステップによって算出して求めた新しい座標を持つ各ピクセルを結ぶ処理を行うステップである。

【0123】

（ステップ１０２７： フレーム数判別ステップ）
フレーム数判別ステップは、新たな領域境界ライン１８３，１８４を自動生成する処理を実行した画像フレームの数が、指定された画像フレーム数に到達したか否かを判別するステップである。指定したフレーム数に達していなければ、ステップ１０２１（Ｓ１０２１）に移行し、キーフレームをフレーム２に切り替え、ステップ１０２１（Ｓ１０２１）以降の同様の処理を行う。この場合、ステップ１０２１（Ｓ１０２１）における第１特徴点の指定は、すでに第２特徴点としての鼻１８２ａの座標が特定されているため、第１特徴点受付部１５１は、ユーザからの新たな指定を待つことなく、鼻１８２ａを第１特徴点として受け付ける。ステップ１０２２（Ｓ１０２２）〜ステップ１０２７（Ｓ１０２７）の処理は、次のフレーム（図１３の１３Ｃにおいて、フレーム３）に対して実行される。

【0124】

その結果、オブジェクト（人）１８１ｂの外側および内側に、新たな領域境界ライン１８３ｂ，１８４ｂが自動生成される。このような一連の処理は、指定のフレーム数の処理が完了するまで、自動で行われる。ここで、第２特徴点が探索するまでもなく明確であれば、ユーザが第２特徴点を指定することによって、第２特徴点探索ステップ（Ｓ１０２２）を行わなくても良い。また、ステップＳ１０２４をステップＳ１０２３に含め、かつステップＳ１０２５をステップ１０２６に含める場合には、ステップ１０２３（Ｓ１０２３）の次にステップ１０２６（Ｓ１０２６）に移行することもできる。したがって、フレーム数判別ステップによって、指定された画像フレーム数に到達したと判別されるまで、少なくとも第１特徴点受付ステップ、第２特徴点特定ステップおよび領域境界ライン自動生成ステップを実行することができる。ステップ１０２７（Ｓ１０２７）において、指定のフレーム数の処理が完了すると、ステップ１０３（Ｓ１０３）に移行する。

【0125】

２．画像処理用コンピュータプログラムおよびそれを格納した情報記録媒体

【0126】

本発明に係る画像処理用コンピュータプログラムの実施の形態は、画像処理装置１００（コンピュータと称する）に読み込まれて実行されるプログラムであって、コンピュータに、動画を構成する複数の画像フレームの内の１若しくは２以上の画像フレームを読み込む画像フレーム読み込み部１５、読み込まれた画像フレーム内において、領域境界ラインの情報を受け付ける領域境界ライン情報受付部１６、領域境界ライン上の所定の点を起点として分割領域を拡張し、明度の近似点をつなぐ分割ラインにより領域境界ラインの内外を分割する領域分割部１７、分割ラインの内、２本の領域境界ラインの間に存在する第１分割ラインを残し、分割ラインの内の第１分割ライン以外の第２分割ラインを開口させる開口処理部１８、第１分割ラインで囲まれた領域の単位に分離する分離部１９、第１分割ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第１深さ値付与部２０、さらに加えて、第１画像フレームの領域境界ライン内に存在する第１特徴点の座標値を受け付ける第１特徴点受付部１５１、第２画像フレームにおいて、第１特徴点の座標値に対応する第２特徴点の座標値を特定する第２特徴点特定部１５３、第１特徴点から第２特徴点への移動情報に基づいて、第２画像フレーム内に、第１画像フレームの領域境界ラインに対応する新たな領域境界ラインを自動生成する領域境界ライン自動生成部１５６、の各機能を実行させるプログラムである。当該コンピュータプログラムは、情報記録媒体３０に格納され、コンピュータとは独立して流通可能である。また、サーバ内に当該コンピュータプログラムを格納しておき、コンピュータからインターネット等の回線を経由してサーバにアクセスし、サーバから当該コンピュータプログラムをダウンロードして、コンピュータにより当該コンピュータプログラムを実行して、コンピュータを画像処理装置１００として機能させてもよい。以後のコンピュータプログラムについても同様である。

【0127】

また、本発明に係る画像処理用コンピュータプログラムの実施の形態は、コンピュータ（画像処理装置１００）に、第２特徴点特定部１５３の処理に先立ち、ピクセルの色および明度の少なくともいずれか１つの近似度合いに基づき、第１特徴点の座標値に対応する第２特徴点を探索する第２特徴点探索部１５２の機能を、さらに実行させるプログラムである。

【0128】

また、本発明に係る画像処理用コンピュータプログラムの実施の形態は、コンピュータ（画像処理装置１００）に、領域境界ライン自動生成部１５６による処理を実行する画像フレームの数の指定を受け付ける画像フレーム数指定受付手段としての選択データ受付部１５０、新たな領域境界ラインを自動生成する処理を実行した画像フレームの数が、指定された画像フレーム数に到達したか否かを判別する第１フレーム数判別部１５７、の各機能をさらに実行させるプログラムであり、第１フレーム数判別部１５７によって、指定された画像フレーム数に到達したと判別されるまで、少なくとも第１特徴点受付部１５１、第２特徴点特定部１５３および領域境界ライン自動生成部１５６に各処理を実行させる。

【0129】

３．その他の実施の形態
本発明は、上述の実施の形態に係る画像処理装置、画像処理方法、画像処理用コンピュータプログラムおよびそのコンピュータプログラムを格納した情報記録媒体に限定されず、種々変更して実施可能である。

【0130】

例えば、第２特徴点探索手段としての第２特徴点探索部１５２は、ピクセルの色および明度の少なくともいずれか１つの近似度合いに基づかずに、色の濃淡などの他のピクセルの情報に基づき、第１特徴点の座標値に対応する第２特徴点を探索しても良い。また、選択データ受付部１５０は、画像フレーム数指定受付手段として機能していなくても良い。その場合、フレーム数判別手段として機能する第１フレーム数判別部１５７を設けなくても良い。ただし、選択データ受付部１５０が画像フレーム数指定受付手段として機能していない場合であっても、第１フレーム数判別部１５７を備え、予め決められた数の画像フレームで処理を終了するようにしても良い。

【0131】

「Ｃ 第３の実施の形態」
次に、本発明に係る第３の実施の形態について、図面を参照しながら説明する。

【0132】

１．画像処理装置および画像処理方法

【0133】

図１５は、本発明の第３の実施の形態に係る画像処理装置の模式図を示す。

【0134】

この実施の形態に係る画像処理装置２００は、第１の実施の形態に備えられる入力部１０、記憶部１１、外部メモリ装填部１２、通信部１３、インターフェイス１４、画像フレーム読み込み部１５、領域境界ライン情報受付部１６、領域分割部１７、開口処理部１８、分離部１９、第１深さ値付与部２０、起点生成部２１、背景境界ライン情報受付部２２、第２深さ値付与部２３、オブジェクト・背景分離部２４、オブジェクト・背景合成部２５、ロケーション・ポイント有無判別部２６、オブジェクト所定部位の位置特定部２７および深さ値決定部２８を備える。また、画像処理装置２００は、上記各構成部に加え、さらに、条件受付部１９１、ピクセル深さ値割り当て部１９２、ピクセル移動位置追跡部１９３、深さ値自動生成部１９４、第２フレーム数判別部１９５を備える。なお、オプションとして、ロトブラシの自動生成をも行う場合には、第２の実施の形態に係る画像処理装置１００に備える選択データ受付部１５０、第１特徴点受付部１５１、第２特徴点探索部１５２、第２特徴点特定部１５３、移動位置抽出部１５４、領域境界ライン座標値算出部１５５、領域境界ライン自動生成部１５６および第１フレーム数判別部１５７を備えるようにしても良い。このため、図１５では、第２の実施の形態特有の構成部１５０〜１５７を点線で囲う領域で示している。また、上記の各構成部は、第１の実施の形態および第２の実施の形態にて説明したように、それを機能別に区分けして表示されており、必ずしも物理的に区分けされたハードウェアを意味するものではない。

【0135】

画像処理装置２００は、動画を構成する複数の画像フレームの内、第１分割ラインで囲まれた領域に深さ値を付与済みの第１画像フレームが存在し、かつ第１画像フレームよりも時系列的に後に存在する第２画像フレーム内の第１分割ラインで囲まれた領域に対応する領域に自動的に深さ値を生成することを可能とする装置である。

【0136】

条件受付部１９１は、深さ値を自動生成するための条件を受け付ける部分であり、深さ値の自動生成機能を実行するフレーム数の指定を受け付ける部分をも兼ねる。

【0137】

ピクセル深さ値割り当て部１９２は、第１画像フレーム内の第１分割ラインで囲まれた領域に存在する１以上の第１ピクセルに、第１分割ラインで囲まれた領域に付与された深さ値を割り当てるピクセル深さ値割り当て手段として機能する部分である。例えば、第１分割ラインで囲まれた領域に１００個のピクセルが存在する場合、ピクセル深さ値割り当て部１９２は、当該１００個のピクセルに、第１分割ラインで囲まれた領域に付与された深さ値を割り当てる。

【0138】

ピクセル移動位置追跡部１９３は、第１ピクセルが第２画像フレーム内のどのピクセルに移動したかを追跡（トラッキング）するピクセル移動位置追跡手段として機能する部分である。第１分割ラインで囲まれた領域に１００個のピクセル（第１ピクセル）が存在する場合、ピクセル移動位置追跡部１９３は、当該１００個の第１ピクセルが第２画像フレーム内のどのピクセル（第２ピクセル）に対応するかを個々に探索する。探索は、第１ピクセルそれぞれに対して、色および明度の少なくともいずれか１つが最も近い第２ピクセルを探す観点で行われる。第１ピクセルと色および明度の両方の観点で最も近い第２ピクセルを探す方が正確であるが、状況によっては、探索の迅速化のため、色のみ、あるいは明度のみの観点で第２ピクセルを探索することもできる。この探索によって、第１ピクセルに対応する第２ピクセルが存在せず、１００個の第１ピクセルに対応する第２ピクセルの数が９９個になっている場合もある。しかし、時系列的に直近のフレーム間でのピクセルの移動を調べることから、フレーム間のピクセル数の変化は極めて小さいので、支障はない。

【0139】

深さ値自動生成部１９４は、第２画像フレーム内の領域であって、第１ピクセルの移動後の第２ピクセルで構成される領域に、ピクセル深さ値割り当て手段によって割り当てられた深さ値を自動生成する深さ値自動生成手段として機能する部分である。これによって、例えば、第１画像フレーム中の１００個のピクセルに対応する第２ピクセルが９９個である場合、その９９個の第２ピクセルに、第１ピクセルと同じ深さ値が生成される。これは、９９個の第２ピクセルによって構成される領域に当該同じ深さ値が付与されたことになる。このため、キーフレーム（例えば、一番最初の画像フレーム）において、オブジェクト内あるいはオブジェクト間を分割ラインで分けた領域を作成し、各領域に深さ値を付与すれば、キーフレームの時系列的に次にくるフレームについては、領域境界ラインおよび深さ値の内の少なくとも深さ値を付与する作業をマニュアルにて行わなくとも、自動的に深さ値を付与できる。

【0140】

第２フレーム数判別部１９５は、条件受付部１９１に、深さ値の自動生成機能を実行するフレーム数の指定が受け付けられた場合に、深さ値を自動生成する処理を実行した画像フレームの数が、指定された画像フレーム数に到達したか否かを判別する部分である。第２フレーム数判別部１９５によって、指定された画像フレーム数に到達したと判別されるまで、少なくともピクセル深さ値割り当て部１９２、ピクセル移動位置追跡部１９３および深さ値自動生成部１９４は、各処理を実行する。

【0141】

図１６は、図１５の画像処理装置を用いた処理の一例を説明する図を示す。図１７は、図１５の画像処理装置を用いた画像処理方法の処理の流れを説明するためのフローチャートを示す。

【0142】

この実施の形態の画像処理方法は、動画を構成する複数の画像フレームの内、第１分割ラインで囲まれた領域に深さ値を付与済みの第１画像フレームが存在し、かつ第１画像フレームよりも時系列的に後に存在する第２画像フレーム内の第１分割ラインで囲まれた領域に対応する領域に自動的に深さ値を生成することを可能とする画像処理方法であって、図１７では、図６のステップ１０６（Ｓ１０６）の次に行う複数のステップとして示されている。なお、図６のステップ１０６（Ｓ１０６）までの処理および図１７のステップ１０７（Ｓ１０７）の処理は、動画を構成する全画像フレームではなく、１または２以上の画像フレーム（「キーフレーム」という）についてのみ行い、キーフレーム以後、あるいはキーフレーム間の画像フレームについて、図１７のステップ１０７０以後の処理を行うことができる。

【0143】

図１６の１６Ａは、握った手２０１を示す画像フレーム２０２であって、時系列的に次の画像フレームでは、握った手２０１がドットで示す領域２０３に移動している様子を示す（枠２０４内の動きを参照）。握った手２０１の画像を構成するピクセルのそれぞれが、次の画像フレームにおいてどのピクセルに移動したかを追跡し、領域２０３に移動したことを特定できる。

【0144】

１６Ｂは、フレーム１に描かれた円柱２０５が次のフレーム（フレーム２）において、円柱２０６の位置（右斜め下）に移動している状況を示す。人は、目で判断すれば、円柱２０５が円柱２０６に移動したことを容易に推測できる。しかし、コンピュータは、何の手がかりもなければ、その推測をすることはできない。そこで、オプチカル・フロー・アルゴリズムを用いて、フレーム１内の円柱２０５を構成する各ピクセルがフレーム２において、どのピクセルに移動しているかを判断するようにしている。このアルゴリズムは、円柱２０５を構成する個々のピクセルの色あるいは明度というピクセル情報を基に、フレーム２内の全ピクセルと照合して、そのピクセル情報に最も近似するピクセルを選択するプログラムである。このプログラムにより、円柱２０５がフレーム２においてどこに移動したかを把握することができる。１６Ｂの例では、円柱２０５の移動後の領域が円柱２０６であることが把握できる。円柱２０５を構成する各ピクセルには深さ値が付与されているので、円柱２０６を構成する各ピクセルにも同じ深さ値を付与することができる。この結果、円柱２０６に自動的に深さ値を付与することができる。例えば、円柱２０５が１０個の分割領域で構成されているなら、円柱２０６にも１０個の分割領域があり、円柱２０６の各分割領域に、円柱２０６の各分割領域と同じ深さ値を付与することができる。

【0145】

また、第３の実施の形態に係る画像処理装置２００を用いた画像処理方法の利点は、キーフレーム以後の画像フレームに対して、オブジェクト内あるいはオブジェクト間の領域分割の処理を行わなくとも良い点にある、キーフレームさえ領域分割および深さ値の付与を行っておけば、キーフレーム以後の画像フレームでは、ピクセル単位で移動後の位置を探索できる。このため、１６Ｂの例では、円柱２０６内の領域を必ずしも縁取りしておく必要はない。ただし、動画を構成する静止画の場合、画像フレーム間で大きく画像が切り替わることがあるので、時系列的に所々の画像フレームについては、キーフレームと位置付け、領域分割と深さ値の付与を行うことが望ましい。

【0146】

ここで、図１７に基づいて、好適な画像処理方法のフローを説明する。

【0147】

（ステップ１０７： 第１深さ値付与ステップ）
このステップは、この実施の形態では、キーフレームとなるフレーム１中の各領域（オブジェクトの分割領域）に深さ値を付与するステップである。このステップでは、第１の実施の形態で説明した要領で、人の目で判断して深さ値が付与される。

【0148】

（ステップ１０７０： 条件受付ステップ）
このステップは、条件受付部１９１によって実行される前述の処理である。

【0149】

（ステップ１０７１： ピクセル深さ値割り当てステップ）
このステップは、ピクセル深さ値割り当て部１９２によって実行され、第１画像フレーム内の第１分割ラインで囲まれた領域に存在する１以上の第１ピクセルに、第１分割ラインで囲まれた領域に付与された深さ値を割り当てるステップである。

【0150】

（ステップ１０７２： ピクセル移動位置追跡ステップ）
このステップは、ピクセル移動位置追跡部１９３によって実行され、第１ピクセルが第２画像フレーム内のどのピクセルに移動したかを追跡するステップである。

【0151】

（ステップ１０７３： 移動後ピクセル深さ値付与ステップ）
このステップは、第２画像フレーム内において探索できた新たなピクセルに、これに対応する第１画像フレーム内のピクセルの深さ値を付与するステップである。このステップは、深さ値自動生成部１９４によって実行可能であるが、深さ値自動生成部１９４とは別の構成部（移動後ピクセル深さ値付与部）を設け、移動後ピクセル深さ値付与部によって実行されても良い。

【0152】

（ステップ１０７４： 深さ値自動生成ステップ）
このステップは、深さ値自動生成部１９４によって実行され、第２画像フレーム内の領域であって、第１ピクセルの移動後の第２ピクセルで構成される領域に、前述のピクセル深さ値割り当てステップによって割り当てられた深さ値を自動生成するステップである。また、このステップにおいて、前述の移動後ピクセル深さ値付与ステップを経て付与された第２ピクセルの深さ値に基づき、第２ピクセルで構成される領域に同じ深さ値を付与することもできる。すなわち、深さ値自動生成部１９４およびそれによって実行される深さ値自動生成ステップは、第１ピクセルに割り当てられた深さ値に基づいて行われるか、それとも第２ピクセルに付与された深さ値に基づいて行われるかは、問わない。

【0153】

（ステップ１０７５： 第２フレーム数判別ステップ）
第２フレーム数判別ステップは、深さ値を自動生成する処理を実行した画像フレームの数が、指定された画像フレーム数に到達したか否かを判別するステップである。指定したフレーム数に達していなければ、ステップ１０７１（Ｓ１０７１）に移行し、キーフレームを先の画像フレームから時系列的に次の画像フレームに切り替え、ステップ１０７１（Ｓ１０７１）以降の同様の処理を行う。この場合、ステップ１０７１（Ｓ１０７１）におけるピクセル深さ値の割り当ては、すでに前の処理で行われているため、ピクセル深さ値割り当て部１９２は、前の処理で特定された深さ値をそのまま受け付ける。その後、ステップ１０７２（Ｓ１０７２）〜ステップ１０７５（Ｓ１０７５）の処理は、当該次の画像フレームに対して実行される。

【0154】

このような一連の処理は、指定のフレーム数の処理が完了するまで、自動で行われる。したがって、第２フレーム数判別ステップによって、指定された画像フレーム数に到達したと判別されるまで、少なくともピクセル深さ値割り当てステップ、ピクセル移動位置追跡ステップ、移動後ピクセル深さ値付与ステップ（次の深さ値自動生成ステップに含まれる場合もある）、深さ値自動生成ステップを実行することができる。ステップ１０７５（Ｓ１０７５）において、指定のフレーム数の処理が完了すると、終了となる。

【0155】

２．画像処理用コンピュータプログラムおよびそれを格納した情報記録媒体

【0156】

本発明に係る画像処理用コンピュータプログラムの実施の形態は、画像処理装置２００（コンピュータと称する）に読み込まれて実行されるプログラムであって、コンピュータに、動画を構成する複数の画像フレームの内の１若しくは２以上の画像フレームを読み込む画像フレーム読み込み部１５、読み込まれた画像フレーム内において、領域境界ラインの情報を受け付ける領域境界ライン情報受付部１６、領域境界ライン上の所定の点を起点として分割領域を拡張し、明度の近似点をつなぐ分割ラインにより領域境界ラインの内外を分割する領域分割部１７、分割ラインの内、２本の領域境界ラインの間に存在する第１分割ラインを残し、分割ラインの内の第１分割ライン以外の第２分割ラインを開口させる開口処理部１８、第１分割ラインで囲まれた領域の単位に分離する分離部１９、第１分割ラインで囲まれた領域に、その領域の遠近度合いを表す深さ値を付与する第１深さ値付与部２０、さらに加えて、第１画像フレーム内の第１分割ラインで囲まれた領域に存在する１以上の第１ピクセルに、第１分割ラインで囲まれた領域に付与された深さ値を割り当てるピクセル深さ値割り当て部１９２、第１ピクセルが第２画像フレーム内のどのピクセルに移動したかを追跡するピクセル移動位置追跡部１９３、第２画像フレーム内の領域であって、第１ピクセルの移動後の第２ピクセルで構成される領域に、ピクセル深さ値割り当て部１９２によって割り当てられた深さ値を自動生成する深さ値自動生成部１９４、の各機能を実行させるプログラムである。

【0157】

この画像処理用コンピュータプログラムは、さらに、コンピュータに、条件受付部１９１、第２フレーム数判別部１９５、移動後ピクセル深さ値付与ステップを実行するための移動後ピクセル深さ値付与部の各機能を実行させることもできる。当該コンピュータプログラムは、情報記録媒体３０に格納され、コンピュータとは独立して流通可能である。また、サーバ内に当該コンピュータプログラムを格納しておき、コンピュータからインターネット等の回線を経由してサーバにアクセスし、サーバから当該コンピュータプログラムをダウンロードして、コンピュータにより当該コンピュータプログラムを実行して、コンピュータを画像処理装置２００として機能させてもよい。

【0158】

３．その他の実施の形態
本発明は、上述の実施の形態に係る画像処理装置、画像処理方法、画像処理用コンピュータプログラムおよびそのコンピュータプログラムを格納した情報記録媒体に限定されず、種々変更して実施可能である。

【0159】

例えば、ピクセル移動位置追跡手段としてのピクセル移動位置追跡部１９３およびそれによって実行されるピクセル移動位置追跡ステップは、ピクセルの色、明度ではなく、ピクセルの色の濃淡等の他のピクセル情報に基づいて追跡しても良い。また、この実施の形態を含めた全ての実施の形態における画像処理装置１，１００，２００内の各構成部は、不可能な場合を除き、どのように組み合わせても良い。さらに各構成部により実行される各ステップについても、不可能である場合を除き、どのように順番を入れ替えても良い。例えば、第２の実施の形態において、ステップＳ１０２７（図１４を参照）をステップＳ１０７の後に移動して、フレーム単位に深さ値の付与まで完了してから、次のステップＳ１０２１に戻ってもよい。

【産業上の利用可能性】

【0160】

本発明は、３Ｄ映像の制作に利用することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】