特許 5997966 画像処理装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5997966

(24)【登録日】2016年9月2日

(45)【発行日】2016年9月28日

(54)【発明の名称】画像処理装置、及びプログラム

(51)【国際特許分類】

   H04N 5/91 20060101AFI20160915BHJP

   G11B 27/034 20060101ALI20160915BHJP

   H04N 5/76 20060101ALI20160915BHJP

   G06T 7/00 20060101ALI20160915BHJP

【ＦＩ】

   H04N5/91 N

   G11B27/034

   H04N5/76 B

   G06T7/00 100Z

【請求項の数】4

【全頁数】18

(21)【出願番号】特願2012-173046(P2012-173046)

(22)【出願日】2012年8月3日

(65)【公開番号】特開2014-33355(P2014-33355A)

(43)【公開日】2014年2月20日

【審査請求日】2015年7月1日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(73)【特許権者】

【識別番号】508330685

【氏名又は名称】株式会社フジテレビジョン

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】望月 貴裕

(72)【発明者】

【氏名】藤井 真人

(72)【発明者】

【氏名】福田 直記

【審査官】 堀 洋介

(56)【参考文献】

【文献】 特開２００４−０４８７６１（ＪＰ，Ａ）

【文献】 特開平０９−０４４６３９（ＪＰ，Ａ）

【文献】 特開平０６−２２３１７９（ＪＰ，Ａ）

【文献】 特開平０８−２５１５４０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／９１

Ｇ０６Ｔ ７／００

Ｇ１１Ｂ ２７／０３４

Ｈ０４Ｎ ５／７６

(57)【特許請求の範囲】

【請求項1】

映像が分割された各ショットに含まれる各画像に対し、該各画像の色分布に基づいて該各画像の１又は複数の代表色を示す色リストを生成する色リスト生成部と、
対象画像の色リストと、該対象画像より前の１又は複数の画像の色リストを含む統合色リストとの比較結果に基づいて、前記対象画像を含むショットと、前記１又は複数の画像を含むショットとを統合するか否かを判定する判定部と、
前記判定部による判定結果に基づいて統合されたショット及び統合されていないショットを記憶し、前記統合されたショット及び前記統合されていないショットに対し、前記判定部で用いた前記統合色リストを関連付けて記憶する記憶部と、
を備え、
前記色リスト生成部は、前記色分布としてＲＧＢ色空間を所定個の色に分割し、該所定個の色のヒストグラムを求め、該ヒストグラムの各度数の最大値である最大度数の所定の割合以上の度数を有する色を前記色リストに含め、
前記判定部は、前記対象画像の色リストの色が、前記統合色リストの色に含まれる割合を閾値と比較し、該割合が該閾値以上であれば、前記対象画像を含むショットと、前記１又は複数の画像を含むショットとを統合し、前記割合が前記閾値以上であれば、前記対象画像の色リストと、前記統合色リストとを統合し、前記割合が前記閾値未満であれば、前記統合色リストに前記対象画像の色リストを設定する画像処理装置。

【請求項2】

前記判定部は、
前記閾値を、前記映像のジャンルに応じて変更する請求項１記載の画像処理装置。

【請求項3】

前記色リスト生成部は、
前記画像の背景領域の色分布に基づいて、前記色リストを生成する請求項１又は２記載の画像処理装置。

【請求項4】

コンピュータを、
請求項１乃至３のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像を処理する画像処理装置、及びプログラムに関する。

【背景技術】

【0002】

従来、映像の分割単位として、カメラのスイッチングにより生じる映像の変化点により分割した「ショット（カットともいう）」が一般的に用いられている。ショットは、例えば、切れ目なしに連続して撮影された映像の単一断片を指すとして定義される。

【0003】

しかし、検索処理などの映像ハンドリングを行う場合には、ショットでは映像の長さが短すぎる場合がある。そこで、連続するいくつかのショットを、音響信号を利用して統合し、場面（シーン）として扱うための技術がある（例えば特許文献１、２参照）。

【0004】

また、場面転換点、つまりシーンの転換点を検出する技術としては、連続するショットの代表画像の色ヒストグラムの変化量に基づいて検出を行う技術（例えば特許文献３参照）がある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００８−５１６７号公報

【特許文献2】特開２０１２−７０２８３号公報

【特許文献3】特開２００６−２５４４８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、従来技術では、音響信号を用いてショットを統合する場合、音響信号が付与されていない、又は音響信号の品質が悪い映像は、統合処理を行うことが不可能又は困難である。

【0007】

また、色ヒストグラムの変化量に基づき、ショット統合の基準となる「場面転換」を検出する場合、次の問題点がある。例えば、図１に示したように、同じ場面（シーン）のショットの代表画像にもかかわらず、背景の色特徴が大きく変化した場合に、誤って場面転換（シーンチェンジ）点と判断してしまうケースが生じる。

【0008】

図１は、従来技術による場面転換の検出を説明する図である。図１に示す画像Ｐ_１〜Ｐ_３は、各ショットの代表画像を表す。図１に示す例では、各代表画像Ｐ_１〜Ｐ_３は同じ場面の画像であるが、背景の色や画像中央の人物が異なっているため、色ヒストグラムが大きく変化する。よって、従来技術を用いると、画像Ｐ_１と画像Ｐ_２の間、画像Ｐ_２と画像Ｐ_３の間で、場面転換点と誤って検出されてしまう。

【0009】

そこで、本発明は、上記問題を鑑みてなされたものであり、音声信号を用いずに、場面転換を適切に検出してショットを統合することができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の一態様における画像処理装置は、映像が分割された各ショットに含まれる各画像に対し、該各画像の色分布に基づいて該各画像の１又は複数の代表色を示す色リストを生成する色リスト生成部と、対象画像の色リストと、該対象画像より前の１又は複数の画像の色リストを含む統合色リストとの比較結果に基づいて、前記対象画像を含むショットと、前記１又は複数の画像を含むショットとを統合するか否かを判定する判定部と、前記判定部による判定結果に基づいて統合されたショット及び統合されていないショットを記憶し、前記統合されたショット及び前記統合されていないショットに対し、前記判定部で用いた前記統合色リストを関連付けて記憶する記憶部と、を備え、前記色リスト生成部は、前記色分布としてＲＧＢ色空間を所定個の色に分割し、該所定個の色のヒストグラムを求め、該ヒストグラムの各度数の最大値である最大度数の所定の割合以上の度数を有する色を前記色リストに含め、前記判定部は、前記対象画像の色リストの色が、前記統合色リストの色に含まれる割合を閾値と比較し、該割合が該閾値以上であれば、前記対象画像を含むショットと、前記１又は複数の画像を含むショットとを統合し、前記割合が前記閾値以上であれば、前記対象画像の色リストと、前記統合色リストとを統合し、前記割合が前記閾値未満であれば、前記統合色リストに前記対象画像の色リストを設定する。

【0014】

また、前記判定部は、前記閾値を、前記映像のジャンルに応じて変更してもよい。

【0015】

また、前記色リスト生成部は、前記画像の背景領域の色分布に基づいて、前記色リストを生成してもよい。

【0018】

また、本発明の他の態様におけるプログラムは、コンピュータを、上記の画像処理装置として機能させる。

【発明の効果】

【0019】

本発明によれば、音声信号を用いずに、適切に場面転換を検出してショットを統合することができる。

【図面の簡単な説明】

【0020】

【図1】従来技術による場面転換の検出を説明する図。

【図2】実施例１における画像処理装置の概略構成の一例を示すブロック図。

【図3】実施例１における画像処理装置の機能の一例を示すブロック図。

【図4】色のヒストグラムの一例を示す図。

【図5】処理手順（その１）の一例を示す図。

【図6】処理手順（その２）の一例を示す図。

【図7】処理手順（その３）の一例を示す図。

【図8】処理手順（その４）の一例を示す図。

【図9】処理手順（その５）の一例を示す図。

【図10】処理手順（その６）の一例を示す図。

【図11】処理手順（その７）の一例を示す図。

【図12】処理手順（その８）の一例を示す図。

【図13】処理手順（その９）の一例を示す図。

【図14】処理手順（その１０）の一例を示す図。

【図15】処理手順（その１１）の一例を示す図。

【図16】実施例１における画像処理の一例を示すフローチャート。

【図17】色リスト生成処理の一例を示すフローチャート。

【図18】実施例２における画像処理装置の機能の一例を示すブロック図。

【図19】予め設定された背景領域の一例を示す図。

【図20】変形例１の閾値テーブルの一例を示す図。

【図21】変形例２における統合色リストを対応付けたシーンテーブルの一例を示す図。

【発明を実施するための形態】

【0021】

以下、添付図面を参照しながら各実施例について詳細に説明する。

【0022】

［実施例１］
実施例１では、ショットに含まれる画像の１又は複数の代表色を用いて、ショットの統合を判定する。

【0023】

＜構成＞
図２は、実施例１における画像処理装置１０の概略構成の一例を示すブロック図である。図２に示すように、画像処理装置１０は、制御部１０２、主記憶部１０４、補助記憶部１０６、ドライブ装置１０８、ネットワークＩ／Ｆ部１１０、入力部１１２、及び表示部１１４を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

【0024】

制御部１０２は、コンピュータの中で、各装置の制御やデータの演算、加工を行うプロセッサである。制御部１０２は、例えばＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）である。

【0025】

また、制御部１０２は、主記憶部１０４又は補助記憶部１０６に記憶されたシーン生成処理のプログラムを実行する演算装置である。制御部１０２は、入力部１１２や記憶装置からデータを受け取り、演算、加工した上で、表示部１１４や記憶装置などに出力する。

【0026】

主記憶部１０４は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部１０４は、制御部１０２が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

【0027】

補助記憶部１０６は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

【0028】

ドライブ装置１０８は、記録媒体１１６、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。

【0029】

また、この記録媒体１１６に格納された所定のプログラムは、ドライブ装置１０８を介して画像処理装置１０にインストールされる。インストールされた所定のプログラムは、画像処理装置１０により実行可能となる。

【0030】

ネットワークＩ／Ｆ部１１０は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された周辺機器と画像処理装置１０とのインターフェースである。

【0031】

入力部１１２は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部１１４の表示画面上でキーの選択等を行うためのマウスやスライドパッド等を有する。また、入力部１１２は、ユーザが制御部１０２に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。

【0032】

表示部１１４は、ＬＣＤ（Liquid Crystal Display）等により構成され、制御部１０２から入力される表示データに応じた表示が行われる。

【0033】

画像処理装置１０は、例えばＰＣ（Personal Computer）であり、少なくとも制御部１０２や主記憶部１０４や補助記憶部１０６を有するコンピュータであればよい。

【0034】

＜機能＞
次に、実施例１における画像処理装置１０の機能について説明する。図３は、実施例１における画像処理装置１０の機能の一例を示すブロック図である。図３に示す画像処理装置１０は、第１記憶部２０２、シーン生成部２０４、第２記憶部２０６を有する。

【0035】

なお、シーン生成部２０４は、例えば制御部１０２によりシーン生成プログラムを実行されることで実現でき、第１記憶部２０２及び第２記憶部２０６は、例えば補助記憶部１０６又は主記憶部１０４により実現できる。また、第１記憶部２０２及び第２記憶部２０６は、同じ記憶部にあり、それぞれの記憶領域が設けられる構成でもよい。

【0036】

また、他の画像処理装置１５は、映像取得部１５２、ショット分割部１５４を少なくとも有する。なお、映像取得部１５２とショット分割部１５４とは、画像処理装置１０に含まれるように実装されてもよい。

【0037】

映像取得部１５２は、地上デジタル放送の映像、ネットワークから配信された映像、又は記録媒体に記録された映像を取得する。映像取得部１５２は、取得した映像をショット分割部１５４に出力する。

【0038】

ショット分割部１５４は、公知の技術を用いて映像を分割したショットを抽出する。ショットの転換点を検出する技術として、例えば、前後のフレームの輝度又は色のヒストグラムの類似度を用いる方法がある（例えば、特開２００８−８３８９４号公報参照）。

【0039】

ショット分割部１５４は、ショットに分割した後、各ショットに含まれる各画像を代表画像として、第１記憶部２０２に記録する。代表画像は、例えばショットの最初の画像であるが、これに限られない。代表画像は、Ｐ_１〜Ｐ_Ｎの符号で表し、画像Ｐ_１などとも表記する。

【0040】

画像処理装置１０の第１記憶部２０２は、ショットの代表画像系列Ｐ_１〜Ｐ_Ｎを記憶する。なお、第１記憶部２０２は、各代表画像に対応するショットも記憶しておく。第１記憶部２０２に記憶された各代表画像は、シーン生成部２０４に出力される。

【0041】

シーン生成部２０４は、色リスト生成部２１０、判定部２２０を有する。シーン生成部２０４は、各ショットの代表画像の代表色を用いて、ショットの統合の判定結果に基づいてシーンを生成する。シーンは、例えば、同じ場面の画像系列とする。

【0042】

色リスト生成部２１０は、例えば、映像が分割された各ショットに含まれる各画像（各代表画像）に対し、この各画像の色分布に基づいて各画像の１又は複数の代表色を示す色リストを生成する。色分布は、ＲＧＢ色空間を所定個の色に分割し、分割された所定個の色のヒストグラムを表す。この所定個の色を代表色とも称す。

【0043】

色リスト生成部２１０は、初期化部２１２、リスト生成部２１４を有する。初期化部２１２は、色リスト生成に必要なパラメータを初期化する。初期化部２１２は、例えば、代表画像の処理した数を表すパラメータｉを１に設定し、シーンの個数を表すパラメータＭを１に設定し、現在の統合色リストを表すＩＬを空集合に設定する。統合色リストは、ショット統合判定の対象画像より前の１又は複数の画像の色リストを含む色リストである。

【0044】

リスト生成部２１４は、画像Ｐ_ｉに対して、ＲＧＢ色空間を所定個（Ｋ個）に分割したヒストグラム計算を行う。Ｋは、例えば色成分毎に８個に分割して、８×８×８＝５１２（＝Ｋ）とする。つまり、リスト生成部２１４は、一例として、ＲＧＢ色空間を約５００個の色に分割する。

【0045】

リスト生成部２１４は、分割したＫ個の「ヒストグラム領域」（Ｈ_１〜Ｈ_Ｋ）の中心のＲＧＢ値を求める。このＲＧＢ値を中心ＲＧＢ値とも称す。例えば、ヒストグラム領域Ｈ_１の中心ＲＧＢ値を（Ｒ_１，Ｇ_１，Ｂ_１）とする。リスト生成部２１４は、ヒストグラム領域の度数を０に初期化する。

【0046】

リスト生成部２１４は、画像Ｐ_ｉの各画素に対して、各画素のＲＧＢ値に最も近い中心ＲＧＢ値を有するＨ_ｊの度数をインクリメントする。これにより、画像Ｐ_ｉに対する色のヒストグラムが生成される。

【0047】

図４は、色のヒストグラムの一例を示す図である。図４に示すように、ヒストグラム領域Ｈ_１〜Ｈ_Ｋそれぞれに、度数がカウントされる。ヒストグラム領域の各Ｈには、中心ＲＧＢ値が対応付けられる。

【0048】

図３に戻り、リスト生成部２１４は、色のヒストグラムの各度数の最大値を最大度数とする。リスト生成部２１４は、最大度数の所定の割合以上の度数を有する色を色リストに含める。所定の割合をＲ_１と称する。Ｒ_１は、例えば３０％（０．３）とし、予め適切な値が設定される。例えば、リスト生成部２１４は、最大度数のＲ_１以上の度数を持つＨ_ｊの中心ＲＧＢ値の集合｛（Ｒ_１，Ｇ_１，Ｂ_１），（Ｒ_２，Ｇ_２，Ｂ_２），…，（Ｒ_ｋ，Ｇ_ｋ，Ｂ_ｋ）｝を、画像Ｐ_ｉの「色リスト」Ｌ_ｉとする。この例では、ｊは少なくとも１，２，Ｋを含む。

【0049】

なお、実施例では、画像内に含まれる代表的な色を抽出したいので、最大度数のＲ_１以上の度数を用いる。これにより、同じような比率で多くの色が存在する画像の場合、同じような比率の多くの色全てを代表色として抽出できる。リスト生成部２１４は、生成した色リストＬ_ｉを判定部２２０に出力する。

【0050】

判定部２２０は、判定の対象画像の色リストと、対象画像より前の１又は複数の画像の色リストが統合された色リストとを比較し、比較結果に基づいて対象画像を含むショットと、１又は複数の画像を含むショットとを統合するか否かを判定する。統合された色リストは、統合リストとも称す。判定部２２０は、リスト統合部２２２、ショット統合部２２４を有する。

【0051】

まず、判定部２２０は、ｉが１であるかを判定し、ｉ＝１であれば、ショット統合部２２４によりシーンＳ_Ｍに画像Ｐ_ｉを含むショットを加え、リスト統合部２２２により統合色リストＩＬにＬ_ｉを加える。

【0052】

判定部２２０は、次の式により、判定指標Ｄを計算する。
Ｄ＝（Ｌ_ｉにもＩＬにも含まれる色の数）／（Ｌ_ｉに含まれる色の数）
判定指標Ｄは、「画像Ｐ_ｉが現在のシーンと同じシーンのショット代表画像かどうか」の目安となる値である。判定部２２０は、Ｄが高い値ならば現在のシーンの場面が継続、Ｄが低い値ならば場面切り換わりと判定する。

【0053】

例えば、Ｄが閾値Ｒ_２以上（Ｄ≧Ｒ_２）であれば、判定部２２０は、画像Ｐ_ｉは現在のシーンと同じ場面の画像」と判定し、ショット統合部２２４は、シーンＳ_Ｍに画像Ｐ_ｉを含むショットを加え、リスト統合部２２２は、統合色リストＩＬにＬ_ｉを加える。閾値Ｒ_２は、例えば０．７などであり、予め適切な値が設定される。

【0054】

例えば、Ｄが閾値Ｒ_２未満（Ｄ＜Ｒ_２）であれば、判定部２２０は、画像Ｐ_ｉは現在のシーンと違う場面の画像（場面転換点）」と判定し、Ｍ＝Ｍ＋１に設定する。このとき、ショット統合部２２４は、シーンＳ_Ｍに画像Ｐ_ｉを含むショットを加え、リスト統合部２２２は、統合色リストＩＬを一度空集合とし、新たにＬ_ｉを加える。

【0055】

ショット統合部２２４は、Ｍが変更された時点で、変更前ＭのシーンＳ_Ｍを第２記憶部２０６に記録する。シーンＳ_Ｍは、統合されたショットもあれば、１つのショットもありうる。

【0056】

次に、シーン生成部２０４は、変数ｉに１を加算し、次の画像に対して、色リスト生成、統合判定処理を行う。

【0057】

第２記憶部２０６は、シーン生成部２０４により生成されたシーンＳ_Ｍを記憶する。つまり、第２記憶部２０６は、判定部２２０による判定結果により統合されたショット及び統合されていないショットをシーンＳ_Ｍとして記憶する。これにより、適切にシーン転換を判定し、同じシーンのショットを統合することができる。

【0058】

＜処理例＞
次に、実施例１による画像処理装置１０の処理例について、各ショットの代表画像の例を用いて説明する。

【0059】

図５は、処理手順（その１）の一例を示す図である。図５に示す例では、色リスト生成部２１０は、最初のショットに含まれる画像Ｐ_１の色リストＬ_１を生成する。画像Ｐ_１に現れる色の中で、最大度数のＲ_１未満の色は色リストＬ_１には含まれずに切り捨てられる。

【0060】

図６は、処理手順（その２）の一例を示す図である。図６に示す例では、ショット統合部２２４は、シーンＳ_１に画像Ｐ_１を含むショットを追加する。また、リスト統合部２２２は、統合色リストＩＬにＬ_１を追加する。

【0061】

図７は、処理手順（その３）の一例を示す図である。図７に示す例では、色リスト生成部２１０は、次のショットに含まれる画像Ｐ_２の色リストＬ_２を生成する。図７に示す例では、目の部分の色が色リストＬ_２に含まれずに切り捨てられる。

【0062】

図８は、処理手順（その４）の一例を示す図である。図８に示す例では、判定部２２０は、判定指標Ｄを次のように算出する。
Ｄ＝（ＩＬに含まれるＬ_２の色の数＝４）／（Ｌ_２の色の数＝５）＝０．８
図８に示すように、色リストＬ_２の色のうち、Ｃ_５の色だけが、統合色リストＩＬに含まれていない。よって、Ｄは、４／５＝０．８となる。

【0063】

図９は、処理手順（その５）の一例を示す図である。図９に示す例では、Ｄ＝０．８＞Ｒ_２（例えば０．７）なので、ショット統合部２２４は、シーンＳ_１に画像Ｐ_２を含むショットを追加する。また、リスト統合部２２２は、統合色リストＩＬにＬ_２を追加する。統合色リストにおいて、重複した色は１つの色として扱われる。図９に示す統合色リストＩＬには、図８に示す色リストＬ_２のＣ_５の色が新たに追加される。

【0064】

図１０は、処理手順（その６）の一例を示す図である。図１０に示す例では、色リスト生成部２１０は、次のショットに含まれる画像Ｐ_３の色リストＬ_３を生成する。図１０に示す例では、抽出された全ての色が、最大度数のＲ_１以上の度数を有する。

【0065】

図１１は、処理手順（その７）の一例を示す図である。図１１に示す例では、判定部２２０は、判定指標Ｄを次のように算出する。
Ｄ＝（ＩＬに含まれるＬ_３の色の数＝４）／（Ｌ_３の色の数＝５）＝０．８
図１１に示すように、色リストＬ_３の色のうち、Ｃ_８の色だけが、統合色リストＩＬに含まれていない。よって、Ｄは、４／５＝０．８となる。

【0066】

図１２は、処理手順（その８）の一例を示す図である。図１２に示す例では、Ｄ＝０．８＞Ｒ_２（例えば０．７）なので、ショット統合部２２４は、シーンＳ_１に画像Ｐ_３を含むショットを追加する。また、リスト統合部２２２は、統合色リストＩＬにＬ_３を追加する。統合色リストにおいて、重複した色は１つの色として扱われる。図１２に示す統合色リストＩＬには、図１１に示す色リストＬ_３のＣ_８の色が新たに追加される。

【0067】

図１３は、処理手順（その９）の一例を示す図である。図１３に示す例では、色リスト生成部２１０は、次のショットに含まれる画像Ｐ_４の色リストＬ_４を生成する。図１３に示す例では、太陽の周縁部の色が色リストＬ_４に含まれずに切り捨てられる。

【0068】

図１４は、処理手順（その１０）の一例を示す図である。図１４に示す例では、判定部２２０は、判定指標Ｄを次のように算出する。
Ｄ＝（ＩＬに含まれるＬ_４の色の数＝１）／（Ｌ_４の色の数＝３）＝０．３３３
図１４に示すように、色リストＬ_４の色のうち、Ｃ_１の色だけが、統合色リストＩＬに含まれている。よって、Ｄは、１／３＝０．３３３となる。

【0069】

図１５は、処理手順（その１１）の一例を示す図である。図１５に示す例では、Ｄ＝０．３３３＜Ｒ_２（例えば０．７）なので、ショット統合部２２４は、Ｍを更新し、シーンＳ_２に画像Ｐ_４を含むショットを追加する。また、リスト統合部２２２は、今までの統合色リストを初期化し、新たな統合色リストＩＬにＬ_３を追加する。よって、図１５に示す統合色リストＩＬは、図１４に示す色リストＬ_４と同じである。

【0070】

上記のような手順で、画像Ｐ_ｉから色リストを生成し、対象画像の色リストと統合色リストとを用いて、ショットの統合を判定していく。よって、図１５に示すように、画像Ｐ_１〜Ｐ_３を含むそれぞれのショットを同じシーンとして統合することができる。

【0071】

＜動作＞
次に、実施例１における画像処理装置１０の動作について説明する。図１６は、実施例１における画像処理の一例を示すフローチャートである。図１６に示すステップＳ１０１で、初期化部２１２は、処理に必要なパラメータｉとＭを初期化する。初期化部２１２は、例えば、ｉとＭとに１を設定する。

【0072】

ステップＳ１０２で、リスト生成部２１４は、ショット統合判定の対象画像Ｐ_ｉから色のヒストグラムを計算する。色のヒストグラムでは、上記した通り、ＲＧＢ色空間でＫ個に分割した色の度数が計算される。

【0073】

ステップＳ１０３で、リスト生成部２１４は、ヒストグラムの各色の度数を用いて色リストＬ_ｉを生成する。色リストの生成処理は、図１７により後述する。

【0074】

ステップＳ１０４で、判定部２２０は、変数ｉが１であるか否かを判定する。ｉ＝１であれば（ステップＳ１０４−ＹＥＳ）ステップＳ１０５に進み、ｉ＝１でなければ（ステップＳ１０４−ＮＯ）ステップＳ１０６に進む。

【0075】

ステップＳ１０５で、ショット統合部２２４は、シーンＳ_Ｍに画像Ｐ_ｉを含むショットを追加し、リスト統合部２２２は、統合色リストＩＬに色リストＬ_ｉを追加する。また、判定部２２０は、ｉをインクリメントし、色リスト生成部２１０に対し、画像Ｐ_ｉでの処理を指示する。

【0076】

ステップＳ１０６で、判定部２２０は、判定指標Ｄを計算する。判定指標Ｄは、画像Ｐ_ｉが現在のシーンと同様のシーンのショットの代表画像かどうかを示す値である。

【0077】

ステップＳ１０７で、判定部２２０は、Ｄ≧Ｒ_２であるか否かを判定する。Ｄ≧Ｒ_２であれば（ステップＳ１０７−ＹＥＳ）ステップＳ１０８に進み、Ｄ＜Ｒ_２であれば（ステップＳ１０７−ＮＯ）ステップＳ１０９に進む。

【0078】

ステップＳ１０８で、ショット統合部２２４は、シーンＳ_Ｍに画像Ｐ_ｉを含むショットを追加し、リスト統合部２２２は、統合色リストＩＬに色リストＬ_ｉを追加する。

【0079】

ステップＳ１０９で、判定部２２０は、Ｍをインクリメントする。ステップＳ１１０で、ショット統合部２２４は、シーンＳ_Ｍに画像Ｐ_ｉを含むショットを追加し、リスト統合部２２２は、統合色リストＩＬを初期化した後に色リストＬ_ｉを追加する。

【0080】

ステップＳ１１１で、判定部２２０は、ｉをインクリメントし、色リスト生成部２１０に対し、画像Ｐ_ｉでの処理を指示する。

【0081】

ステップＳ１１２で、判定部２２０は、ｉ＞Ｎであるか否かを判定する。Ｎは、ショットの代表画像の総数である。ｉ＞Ｎであれば（ステップＳ１１２−ＹＥＳ）処理を終了し、ｉ≦Ｎであれば（ステップＳ１１２−ＮＯ）ステップＳ１０２に戻る。

【0082】

これにより、統合色リストを用いてショットの統合を判定することができるので、背景の色特徴が大きく変化しても、適切に同じ場面（シーン）と判断し、適切にショットを統合することができる。

【0083】

図１７は、色リスト生成処理の一例を示すフローチャートである。図１７に示すステップＳ２０１で、リスト生成部２１４は、生成したヒストグラムの最大度数ｈ_ｍａｘを特定する。以下では、ヒストグラムの領域Ｈの度数をｈで表す。

【0084】

ステップＳ２０２で、リスト生成部２１４は、ヒストグラムの領域の変数ｔ（１≦ｔ≦Ｋ）を１に設定する。

【0085】

ステップＳ２０３で、リスト生成部２１４は、ｈ_ｔ≧ｈ_ｍａｘ×Ｒ_１であるか否かを判定する。ｈ_ｔ≧ｈ_ｍａｘ×Ｒ_１であれば（ステップＳ２０３−ＹＥＳ）ステップＳ２０４に進み、ｈ_ｔ≧ｈ_ｍａｘ×Ｒ_１でなければ（ステップＳ２０３−ＮＯ）ステップＳ２０５に進む。

【0086】

ステップＳ２０４で、リスト生成部２１４は、色リストＬ_ｉにＨ_ｔを含める。ステップＳ２０５で、リスト生成部２１４は、変数ｔをインクリメントする。

【0087】

ステップＳ２０６で、リスト生成部２１４は、ｔ＞Ｋであるか否かを判定する。ｔ＞Ｋであれば（ステップＳ２０６−ＹＥＳ）処理を終了し、ｔ＞Ｋでなければ（ステップＳ２０６−ＮＯ）ステップＳ２０３に戻る。

【0088】

これにより、リスト生成部２１４は、各画像Ｐ_ｉに対し、１又は複数の代表色を示す色リストを生成することができる。

【0089】

以上、実施例１によれば、音声信号を用いずに、場面転換を適切に検出してショットを統合することができる。

【0090】

［実施例２］
次に、実施例２における画像処理装置について説明する。実施例２では、色リストを生成する際、背景領域のみから色リストを生成する。これにより、より適切にショットの統合の判定を行うことができる。

【0091】

＜構成＞
実施例２における画像処理装置の構成は、図２に示す構成と同様であるため、同じ符号を用いて説明する。

【0092】

＜機能＞
図１８は、実施例２における画像処理装置２０の機能の一例を示すブロック図である。図１８に示す画像処理装置２０の機能のうち、図３に示す機能と同様のものは同じ符号を付す。以降では、実施例１の機能と異なる機能について主に説明する。

【0093】

色リスト生成部３１０は、初期化部２１２、背景領域抽出部３１２、リスト生成部３１４を有する。

【0094】

背景領域抽出部３１２は、各画像Ｐ_ｉから背景領域を抽出する。抽出方法としては、予め設定された背景領域を抽出してもよいし、公知の背景領域抽出処理を行ってもよい。例えば、背景領域抽出部３１２は、オブジェクト抽出処理を行って、抽出したオブジェクト以外を背景領域として設定してもよい。

【0095】

図１９は、予め設定された背景領域の一例を示す図である。図１９に示す例では、画像Ｐ_ｉの高さをＨＥ、幅をＷＩとする。図１９に示す背景領域は、両サイドの幅ＷＩ／４、画像Ｐ_ｉの上からＨＥ／４の領域である。図１９に示す背景領域の例は、あくまでも一例に過ぎない。

【0096】

リスト生成部３１４は、背景領域抽出部３１２により抽出された領域に対し、色リストＬ_ｉを生成する。色リストの生成処理は、実施例１と同様である。

【0097】

なお、映像のジャンルについて、ドラマやクイズ番組などのジャンルの場合には、中央に人物が映る場合が多く、さらに人物は変わる場合が多いので、背景領域を用いて色リストを生成すると、より適切にショットを統合することができるようになる。

【0098】

よって、色リスト生成部３１０は、映像のジャンルコードを抽出し、抽出したジャンルコードが予め設定された所定のジャンルコードであれば、背景領域から色リストを生成する。また、色リスト生成部３１０は、抽出したジャンルコードが予め設定された所定のジャンルコード以外であれば、実施例１と同様に画像全体から色リストを生成してもよい。

【0099】

＜動作＞
次に、実施例２における画像処理装置２０の動作について説明する。実施例２における画像処理は、基本的な処理は実施例１と同様であり、異なる処理は、図１６のステップＳ１０２である。

【0100】

実施例２では、ステップＳ１０２の処理で、リスト生成部３１４が、背景画像に対して、色のヒストグラムを計算する。その他の処理は、実施例１と同様である。

【0101】

以上、実施例２によれば、背景領域から色リストを生成するので、より適切にショットの統合判定を行うことができる。また、背景領域を用いる場合に特に効果を発揮するジャンルを調査し、調べたジャンルを予め色リスト生成部３１０に登録しておくことで、所定のジャンルの映像のみに対して、背景領域を用いて色リストを生成することができる。

【0102】

［変形例１］
次に、上記各実施例の変形例１について説明する。変形例１では、判定部２２０は、映像のジャンルに応じて閾値Ｒ_２を変更する。例えば、スポーツ映像（サッカーなど）は、シーンが変わっても背景が同様であることが多いので、多くのショットが一つのシーンとして統合されてしまう。

【0103】

そこで、閾値Ｒ_２を適応的に変更することで、シーンチェンジをジャンルに応じて変更するようにする。例えば、スポーツ番組などでは、Ｒ_２の値を大きくすることで、同様のシーンでも、シーンチェンジを発生しやすくする。また、判定部２２０は、ジャンル毎に、閾値Ｒ_２を準備してもよい。

【0104】

図２０は、変形例１の閾値テーブルの一例を示す図である。図２０に示すように、閾値テーブルは、ジャンル毎に、閾値Ｒ_２が対応付けられている。例えば、ジャンル「スポーツ」には、閾値「Ｒ_２１」が対応付けられ、ジャンル「クイズ番組」には、閾値「Ｒ_２２」が対応付けられる。例えば、Ｒ_２１はＲ_２２よりも大きい値が設定される。

【0105】

これにより、判定部２２０は、映像のジャンルに応じて、シーンチェンジの判定閾値を変更することで、より適切なショットの統合判定を行うことができる。

【0106】

［変形例２］
次に、上記各実施例の変形例２について説明する。変形例２では、第２記憶部２０６に記憶されたシーンに対し、それぞれの統合色リストを対応付ける。

【0107】

図２１は、変形例２における統合色リストを対応付けたシーンテーブルの一例を示す図である。図２１に示すように、生成されたシーンに対し、統合色リストが対応付けられている。例えば、シーンＳ_１には、統合色リストＩＬ１が対応付けられる。

【0108】

これにより、変形例２における画像処理装置は、統合色リストを用いて映像検索を行ったり、類似する統合色リストを有するシーンをさらに統合したりすることができるようになる。

【0109】

なお、上記の画像処理装置で実行されるプログラムは、実施例で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部１０２が補助記憶部１０６からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部１０４上にロードされ、１又は複数の各部が主記憶部１０４上に生成されるようになっている。

【0110】

また、上述した実施例で説明したシーン生成処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、前述したシーン生成処理を実現することができる。

【0111】

また、このプログラムを記録媒体１１６に記録し、このプログラムが記録された記録媒体１１６をコンピュータなどに読み取らせて、前述したシーン生成処理を実現させることも可能である。

【0112】

なお、記録媒体１１６は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

【0113】

以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記実施例以外にも種々の変形及び変更が可能である。

【符号の説明】

【0114】

１０、２０ 画像処理装置
２０２ 第１記憶部
２０４ シーン生成部
２０６ 第２記憶部
２１０、３１０ 色リスト生成部
２１２ 初期化部
２１４、３１４ リスト生成部
２２０ 判定部
２２２ リスト統合部
２２４ ショット統合部
３１２ 背景領域抽出部

【図2】

【図3】

【図4】

【図16】

【図17】

【図18】

【図20】

【図21】

【図1】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図19】