(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-25
(45)【発行日】2024-10-03
(54)【発明の名称】映像処理装置、プログラム及び映像処理方法
(51)【国際特許分類】
H04N 5/93 20060101AFI20240926BHJP
H04N 5/91 20060101ALI20240926BHJP
H04N 5/92 20060101ALI20240926BHJP
【FI】
H04N5/93
H04N5/91
H04N5/92 010
(21)【出願番号】P 2021001366
(22)【出願日】2021-01-07
【審査請求日】2023-09-20
(73)【特許権者】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100147304
【氏名又は名称】井上 知哉
(74)【代理人】
【識別番号】100148493
【氏名又は名称】加藤 浩二
(72)【発明者】
【氏名】岩崎 宏之
(72)【発明者】
【氏名】宮田 隆
(72)【発明者】
【氏名】飯野 翼
(72)【発明者】
【氏名】伊藤 公宜
(72)【発明者】
【氏名】森 玲人
【審査官】大西 宏
(56)【参考文献】
【文献】特開2002-330390(JP,A)
【文献】特開2013-207530(JP,A)
【文献】特開2013-219761(JP,A)
【文献】特開2015-035733(JP,A)
【文献】特開2018-067898(JP,A)
【文献】国際公開第2015/125815(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/91 - 5/956
(57)【特許請求の範囲】
【請求項1】
記憶部に記憶された映像情報に関する付加情報を取得し、前記付加情報に基づいて、前記映像情報のうちの所与の割合x(xは0<x<1を満たす数)の区間である判定区間を設定し、前記判定区間を所与の分割数y(yは2以上の整数)に従って分割することによって、第0区間~第y-1区間を設定し、前記第0区間~第y-1区間のそれぞれについて、ダイジェスト再生の対象となる再生区間を設定することによって、第0再生区間~第y-1再生区間を特定する再生区間リストを生成する再生区間生成部と、
前記再生区間リストに基づいて、前記映像情報のうちの、前記第0再生区間~第y-1再生区間を再生するための再生処理を行う再生処理部と、
を含む映像処理装置。
【請求項2】
請求項1において、
前記再生区間生成部は、
前記付加情報に基づいて、前記映像情報の長さを表す情報である映像長Zを取得し、前記映像長Z及び前記割合xに基づいて、前記判定区間を設定する映像処理装置。
【請求項3】
請求項2において、
前記判定区間の始点は、前記映像情報の先頭であり、
前記判定区間の終点は、前記映像長Zと、前記判定区間に対応する前記割合xとから設定される映像処理装置。
【請求項4】
請求項2において、
前記判定区間の始点は、前記映像情報の先頭から所与のオフセット時間が経過した点であり、
前記判定区間の終点は、前記映像長Zと、前記判定区間に対応する前記割合xとから設定される映像処理装置。
【請求項5】
請求項1乃至4のいずれか一項において、
前記記憶部をさらに含み、
前記記憶部は、
前記映像情報と、前記映像情報に対応づけられた前記付加情報を記憶する映像処理装置。
【請求項6】
請求項1乃至5のいずれか一項において、
第n(nは0≦n≦y-1を満たす整数)再生区間は、第n区間の始点から所定秒数の区間である映像処理装置。
【請求項7】
請求項1乃至6のいずれか一項において、
ユーザ入力に基づいて、前記映像情報に対する前記判定区間の前記割合x、前記分割数y、及び前記第0再生区間~第y-1再生区間の長さを調整可能である映像処理装置。
【請求項8】
請求項1乃至7のいずれか一項において、
前記再生区間生成部は、
第n(nは0≦n≦y-1を満たす整数)再生区間に対応する前記付加情報に基づいて、前記第n再生区間の位置を補正可能である映像処理装置。
【請求項9】
請求項8において、
前記付加情報は、前記映像情報の録画時に取得される録画チャプターを表す録画チャプター情報であり、
前記再生区間生成部は、
所与の前記録画チャプターから隣り合う前記録画チャプターまでの区間をチャプター区間としたとき、前記録画チャプター情報に基づいて、所定長以下の前記チャプター区間を含まない位置に前記第n再生区間を設定する映像処理装置。
【請求項10】
請求項8または9において、
前記付加情報は、前記映像情報の編集時に取得される編集チャプターを表す編集チャプター情報であり、
前記再生区間生成部は、
前記編集チャプター情報に基づいて、編集処理によって生じた不連続点に対応する前記編集チャプターを含まない位置に前記第n再生区間を設定する映像処理装置。
【請求項11】
記憶部に記憶された映像情報に関する付加情報を取得し、前記付加情報に基づいて、前記映像情報のうちの所与の割合x(xは0<x<1を満たす数)の区間である判定区間を設定し、前記判定区間を所与の分割数y(yは2以上の整数)に従って分割することによって、第0区間~第y-1区間を設定し、前記第0区間~第y-1区間のそれぞれについて、ダイジェスト再生の対象となる再生区間を設定することによって、第0再生区間~第y-1再生区間を特定する再生区間リストを生成する再生区間生成部と、
前記再生区間リストに基づいて、前記映像情報のうちの、前記第0再生区間~第y-1再生区間を再生するための再生処理を行う再生処理部として、
コンピュータを機能させるプログラム。
【請求項12】
記憶部に記憶された映像情報に関する付加情報を取得し、
前記付加情報に基づいて、前記映像情報のうちの所与の割合x(xは0<x<1を満たす数)の区間である判定区間を設定し、
前記判定区間を所与の分割数y(yは2以上の整数)に従って分割することによって、第0区間~第y-1区間を設定し、
前記第0区間~第y-1区間のそれぞれについて、ダイジェスト再生の対象となる再生区間を設定することによって、第0再生区間~第y-1再生区間を特定する再生区間リストを生成し、
前記再生区間リストに基づいて、前記第0再生区間~第y-1再生区間を再生するための再生処理を行う映像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像処理装置、プログラム及び映像処理方法等に関する。
【背景技術】
【0002】
従来、所与の映像情報のうちの一部を抽出することによって、ダイジェスト映像を生成する手法が知られている。例えば元の映像情報の全体を視聴する時間がないユーザであっても、ダイジェスト映像を視聴することによって、映像の内容を把握することが可能である。
【0003】
特許文献1には、所定の条件に基づいて、1又は複数の対象番組からダイジェスト映像を生成する手法が開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1の手法では、ダイジェスト映像を生成する際に、放送が新しいか、放送時間が長いか、コマーシャル前後であるか、番組の先頭や末尾であるか、等の基準が用いられる。このような基準は、ユーザが視聴を望むと推定されるシーン(例えば、ドラマの核心に迫るシーンや、スポーツの勝敗等が分かるシーンなど)をダイジェスト映像に含める意図で用いられる。
【0006】
ユーザはダイジェスト映像を視聴して興味がある映像であると判断した場合、映像の全体を改めて視聴することが想定される。しかしながら、ユーザが視聴を望むシーンが過剰にダイジェスト映像に含まれると、ユーザはダイジェスト映像を見ただけで映像全体の要点を把握できてしまい、映像全体を改めて視聴する意欲を損なう可能性があった。
【0007】
本開示のいくつかの態様によれば、ユーザが映像全体を視聴する意欲を損なうことを抑制しつつ、興味がある映像かどうかを判断できるダイジェスト映像を提示可能な映像処理装置、プログラム及び映像処理方法等を提供できる。
【課題を解決するための手段】
【0008】
本開示の一態様は、記憶部に記憶された映像情報に関する付加情報を取得し、前記付加情報に基づいて、前記映像情報のうちの所与の割合x(xは0<x<1を満たす数)の区間である判定区間を設定し、前記判定区間を所与の分割数y(yは2以上の整数)に従って分割することによって、第0区間~第y-1区間を設定し、前記第0区間~第y-1区間のそれぞれについて、ダイジェスト再生の対象となる再生区間を設定することによって第0再生区間~第y-1再生区間を特定する再生区間リストを生成する再生区間生成部と、前記再生区間リストに基づいて、前記映像情報のうちの、前記第0再生区間~第y-1再生区間を再生するための再生処理を行う再生処理部と、を含む映像処理装置に関係する。
【0009】
本開示の他の態様は、記憶部に記憶された映像情報に関する付加情報を取得し、前記付加情報に基づいて、前記映像情報のうちの所与の割合x(xは0<x<1を満たす数)の区間である判定区間を設定し、前記判定区間を所与の分割数y(yは2以上の整数)に従って分割することによって、第0区間~第y-1区間を設定し、前記第0区間~第y-1区間のそれぞれについて、ダイジェスト再生の対象となる再生区間を設定することによって、第0再生区間~第y-1再生区間を特定する再生区間リストを生成する再生区間生成部と、前記再生区間リストに基づいて、前記映像情報のうちの、前記第0再生区間~第y-1再生区間を再生するための再生処理を行う再生処理部として、コンピュータを機能させるプログラムに関係する。
【0010】
本開示の更に他の態様は、記憶部に記憶された映像情報に関する付加情報を取得し、前記付加情報に基づいて、前記映像情報のうちの所与の割合x(xは0<x<1を満たす数)の区間である判定区間を設定し、前記判定区間を所与の分割数y(yは2以上の整数)に従って分割することによって、第0区間~第y-1区間を設定し、前記第0区間~第y-1区間のそれぞれについて、ダイジェスト再生の対象となる再生区間を設定することによって、第0再生区間~第y-1再生区間を特定する再生区間リストを生成し、前記再生区間リストに基づいて、前記第0再生区間~第y-1再生区間を再生するための再生処理を行う映像処理方法に関係する。
【図面の簡単な説明】
【0011】
【
図4】本実施形態の処理を説明するフローチャート。
【
図5】判定区間の設定、分割処理、及び再生区間の設定処理の説明図。
【
図7】判定区間の設定、分割処理、及び再生区間の設定処理の説明図。
【
図9】判定区間の設定、分割処理、及び再生区間の設定処理の説明図。
【
図12】本実施形態の処理を説明する他のフローチャート。
【
図13】録画チャプターに基づく補正処理の説明図。
【
図14】編集チャプターに基づく補正処理の説明図。
【発明を実施するための形態】
【0012】
以下、本実施形態について図面を参照しつつ説明する。図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。
【0013】
1.本実施形態の手法
図1A、
図1Bは、本実施形態の手法の概要を説明する図である。
図1Aの矩形が処理対象となる映像情報を表し、横方向が時間を表す。
図1Aに示すように、本実施形態では、映像情報全体のうちの所与の割合の区間を判定区間とする。
図1Aの例では、判定区間は映像の先頭を始点とし、映像全体の3/4の長さを有する区間である。そして判定区間が所与の分割数yを用いて第0区間~第y-1区間に分割される。yの値は種々の変形実施が可能であるが、
図1Aの例ではy=10である。
図1AにおけるPt1は、第0区間と第1区間の境界を表す。Pt2~Pt10についても同様であり、それぞれが隣接する2つの区間の境界である。
【0014】
図1Bは、再生対象となる具体的な区間を説明する図であって、第1区間を含む映像情報の一部を拡大した図である。
図1Bに示すように、Pt1~Pt2の区間である第1区間のうちの一部が再生対象となる。以下、本実施形態では再生対象となる区間を再生区間と表記する。
図1Bの例では、第1区間に対応する再生区間は、第1区間の先頭であるPt1から5秒間の区間である。そして、第1区間のうち、再生区間である先頭5秒を除いた区間は再生対象から除外される。
【0015】
他の区間についても同様に再生区間が設定される。
図1Bに示す例では、Pt2~Pt3の区間である第2区間に対応する再生区間は、Pt2から5秒間の区間である。第0区間、第3区間~第9区間についても同様である。
【0016】
本実施形態の手法では、従来手法のようにユーザが視聴を望むと推定されるシーンを積極的にダイジェスト映像に含める必要がない。そのため、
図1A、
図1Bに示す容易な処理によって、偏りの少ないダイジェスト映像を生成することが可能である。以下、本実施形態に係る映像処理装置100等の構成例、及び処理の流れについて詳細に説明する。
【0017】
2.システム構成例
図2は、本実施形態に係る映像処理装置100の構成を示す図である。
図2に示すように、映像処理装置100は、再生区間生成部110と、再生処理部120と、記憶部130と、デコード部140を含む。ただし、映像処理装置100の構成は
図2に限定されず、一部の構成を削除する、他の構成を追加する等の種々の変形実施が可能である。例えば
図3Bを用いて後述する例のように、記憶部130が映像処理装置100の外部に設けられてもよい。
【0018】
記憶部130は、ダイジェスト映像の生成対象となる映像情報を記憶する。記憶部130は、ハードディスク装置(HDD:Hard Disk Drive)等の磁気記憶装置である。ただし、記憶部130は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、またはフラッシュメモリなどの半導体メモリであってもよいし、レジスタであってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。
【0019】
本実施形態における映像情報は、少なくとも時系列に並べられた複数の静止画像を含む動画像データである。例えば映像情報は、映像データと音声データが多重化されたストリームデータである。ここでの映像データは、MPEG-2(Moving Picture Experts Group)、H.264/MPEG-4 AVC等の圧縮方式を用いて圧縮されたデータであってもよい。音声データは、AAC(Advanced Audio Coding)等の圧縮方式を用いて圧縮されたデータであってもよい。その他、本実施形態に係る映像情報の具体的なデータ形式や、符号化/複合化の方式等については種々の変形実施が可能である。
【0020】
また記憶部130は、映像情報に対応づけられた付加情報を記憶する。ここでの付加情報は、映像情報に関するメタデータであって、映像情報が記憶される際に取得される情報や、映像情報に対する編集処理が行われる際に取得される情報等が含まれる。例えば、付加情報は、映像情報が録画された際の録画開始タイミング、録画終了タイミング、映像情報の長さを示す映像長等の情報を含む。また付加情報は、チャプター情報を含んでもよい。チャプター情報については、
図11~
図14を用いて後述する。
【0021】
再生区間生成部110は、処理対象である映像情報に対応づけられた付加情報を記憶部130から読み出し、読み出した付加情報に基づいて、再生区間リストを生成する。再生区間リストとは、映像情報に設定される複数の再生区間を特定する情報である。再生区間生成部110における処理については後述する。
【0022】
本実施形態の再生区間生成部110は、下記のハードウェアによって構成される。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された1又は複数の回路装置や、1又は複数の回路素子によって構成できる。1又は複数の回路装置は例えばIC(Integrated Circuit)、FPGA(field-programmable gate array)等である。1又は複数の回路素子は例えば抵抗、キャパシター等である。
【0023】
また再生区間生成部110は、下記のプロセッサによって実現されてもよい。本実施形態の映像処理装置100は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。メモリは例えば記憶部130であってもよいし、
図2には不図示の他のメモリであってもよい。情報は、例えばプログラムと各種のデータ等である。プロセッサは、ハードウェアを含む。プロセッサは、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)等、各種のプロセッサを用いることが可能である。メモリは、半導体メモリであってもよいし、レジスタであってもよいし、磁気記憶装置であってもよいし、光学式記憶装置であってもよい。例えば、メモリはコンピュータによって読み取り可能な命令を格納しており、当該命令をプロセッサが実行することによって、再生区間生成部110の機能が処理として実現される。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
【0024】
再生処理部120は、映像情報のうち、再生区間生成部110によって設定された複数の再生区間を再生するための再生処理を行う。ここでの再生処理とは、例えば、記憶部130に記憶された映像情報のうち、再生区間リストに対応する第0再生区間~第y-1再生区間を連続して読み出し、デコード部140に送信する処理である。
【0025】
再生処理部120は、例えば
図3Aを用いて後述するレコーダ200等における映像エンジンに対応する。映像エンジンとは、映像信号を処理するための半導体であって、プロセッサにより実現できる。ここでのプロセッサは、上述したようにCPUやGPU等の種々の構成を利用可能である。またプロセッサは、CPU等に加えて周辺回路を含んでもよい。再生処理部120は、再生区間生成部110と同じプロセッサであってもよいし、異なるプロセッサであってもよい。
【0026】
デコード部140は、再生処理部120から取得した再生区間リストに対応する映像情報のデコード処理を行う。例えば映像情報は、上述したように映像データと音声データが多重化されたストリームデータであって、映像データと音声データはそれぞれ符号化されている。デコード部140は、ストリームデータを映像データと音声データに分割し、分割後の映像データと音声データのそれぞれに対して、対応した方式の復号化処理を行う。デコード部140は、復号化後の映像及び音声を出力する。
【0027】
図3A~
図3Cは、本実施形態における映像処理装置100の具体的な構成例を示す図である。
図3Aに示すように、本実施形態の映像処理装置100は、レコーダ200であってもよい。ここでのレコーダ200は、例えばテレビジョン放送の放送波に基づいて、映像信号を映像情報として記憶可能な装置である。レコーダ200は、HDDに映像情報を記憶可能なHDDレコーダであってもよいし、BD(Blu-ray Disc)の読み出し/書き込みが可能なBDレコーダであってもよいし、他のレコーダであってもよい。
【0028】
図3Aに示すレコーダ200は、例えば
図2に示す再生区間生成部110、再生処理部120、記憶部130、デコード部140を含み、デコード部140が外部の表示装置と接続される。ここでの表示装置は例えばテレビジョン受像機である。デコード部140と表示装置は、例えばHDMI(High-Definition Multimedia Interface)ケーブルを用いて接続される。ただし、レコーダ200と表示装置は、D端子ケーブルやコンポーネントケーブル等を用いて接続されてもよく、接続方式は種々の変形実施が可能である。デコード部140は、再生区間リストに対応する復号化後の映像データ及び音声データを表示装置に送信し、表示装置は当該映像データ及び音声データを出力する。
【0029】
また
図3Bに示すように、本実施形態の映像処理装置100は、録画、再生機能付きの表示装置300であってもよい。表示装置300は、表示部及び音出力部を有する、例えば4K/8K放送に対応したテレビジョン受像機である。表示部は、例えば液晶ディスプレイや有機ELディスプレイなどにより実現できる。音出力部は、例えばスピーカーである。
【0030】
表示装置300は、外部記憶装置400と接続される。外部記憶装置400は、例えばHDDであるが、SSD(Solid State Drive)やフラッシュメモリ等の他の記憶装置が用いられてもよい。例えば、
図3Bに示す表示装置300は、
図2の再生区間生成部110、再生処理部120及びデコード部140に加えて、上記表示部や音出力部を含む。また外部記憶装置400が、
図2の記憶部130に対応する。この場合、デコード部140は表示装置300の表示部に復号化後の映像データを出力し、音出力部に復号化後の音声データを出力する。ただし、表示装置300が記憶部130を含む等の変形実施は妨げられない。
【0031】
また
図3Cに示すように、本実施形態の映像処理装置100は、レコーダ210とネットワークNWを介して接続されるサーバシステム500によって実現されてもよい。ここでのサーバシステム500は、1つのサーバであってもよいし、複数のサーバを含んでもよい。またここでのサーバは、物理サーバであってもよいし仮想サーバであってもよい。また仮想サーバが用いられる場合、当該仮想サーバは1つの物理サーバに設けられてもよいし、複数の物理サーバに分散して配置されてもよい。
【0032】
サーバシステム500は、
図2の再生区間生成部110と再生処理部120を含む。再生区間生成部110は、レコーダ210から処理対象の映像情報に対応づけられた付加情報を取得し、当該付加情報に基づいて再生区間リストを生成する。サーバシステム500は、処理対象の映像情報自体をレコーダ210から取得してもよいが、映像情報は必須ではない。再生処理部120は、再生区間リストをレコーダ210に送信する処理を行う。即ち、
図3Cの例における再生処理部120が実行する再生処理とは、レコーダ210にダイジェスト映像の再生を指示する処理であって、記憶部130からの映像情報の読み出し等を伴わない処理であってもよい。この場合、レコーダ210は、サーバシステム500から取得した再生区間リストに基づいて記憶部130から映像情報の一部を読み出し、読み出した映像情報を復号化した上で外部の表示装置に出力する処理を行う。なお、
図3Cではサーバシステム500とレコーダ210が接続される例を示したが、サーバシステム500と接続される装置は、録画再生機能を有する表示装置であってもよい。
【0033】
あるいは、サーバシステム500は映像情報を保持してもよい。この場合、サーバシステム500に含まれる再生処理部120は、当該映像情報のうち、再生区間リストによって表される再生区間を抽出し、抽出した情報をレコーダ210に送信する処理を、再生処理として実行してもよい。レコーダ210は、サーバシステム500から取得した情報を復号化した上で外部の表示装置に出力する処理を行う。
【0034】
また、本実施形態における映像処理装置100は1つの装置によって実現される例に限定されず、複数の装置の分散処理によって実現されてもよい。例えば本実施形態の映像処理装置100は、レコーダ200、表示装置300、サーバシステム500のうちの2以上の装置の組み合わせであってもよい。
【0035】
3.処理の流れ
次に本実施形態における処理について詳細に説明する。
図4は、再生区間生成部110が実行する処理を説明するフローチャートである。
図4の処理は、例えばユーザが特定の映像情報を選択し、当該映像情報のダイジェスト再生を指示する入力を行った場合に実行される。ただし、映像情報が新たに録画された場合、録画完了時に当該映像情報に対して
図4の処理が実行されてもよく、具体的な実行タイミングは種々の変形実施が可能である。
【0036】
図4の処理が開始されると、まず再生区間生成部110は、処理対象の映像情報の長さを表す情報である映像長Zを取得する(ステップS101)。具体的には映像情報に付加された付加情報は映像長Zを含み、再生区間生成部110は、記憶部130から映像長Zを含む付加情報を読み出す処理を行う。あるいは、付加情報は映像の録画開始タイミング及び録画終了タイミングを含み、再生区間生成部110は、それらに基づいて映像長Zを演算してもよい。Zは、例えば秒を単位とする数値データである。
【0037】
次に再生区間生成部110は、映像情報に対する判定区間の割合を表す判定区間割合xを取得する(ステップS102)。xは、例えば0<x<1を満たす数である。また再生区間生成部110は、分割数yを取得する(ステップS103)。yは、例えば2以上の整数である。さらに再生区間生成部110は、再生区間長tを取得する(ステップS104)。再生区間長tは、分割後のy個の区間の各区間に1つずつ設定される再生区間の長さを表す。tは、例えば秒数を表す数値データである。ただし、x、y及びtは、それぞれ判定区間割合、分割数、再生区間長を特定可能な情報であればよく、具体的なデータ形式はこれに限定されない。
【0038】
x、y及びt等のパラメータは、固定値であってもよい。この場合、当該パラメータは、例えば記憶部130に記憶される。そして、再生区間生成部110がこれらの情報を記憶部130から読み出す。あるいは、x、y及びt等のパラメータは、映像処理装置100にあらかじめ設定された設定値であって、当該設定値はユーザによる変更が可能であってもよい。例えば映像処理装置100は、映像処理装置100に関する種々の設定を行うためのメニュー画面を出力可能であり、ユーザは当該メニュー画面を用いて設定値を変更可能である。この際の設定値は、判定区間割合x、分割数y、再生区間長tの3つであってもよいし、これらを特定可能な他の情報であってもよい。例えばユーザは、判定区間割合xと、ダイジェスト映像の長さと、再生区間長tを設定値として入力してもよい。ダイジェスト映像の長さはy*tに対応するため、再生区間生成部110は設定値に基づいてx、y及びtを特定可能である。そして、これらの情報x、y、及びtは、記憶部130の所定の領域に保持されており、例えば、ステップS102~S104に示した処理は、再生区間生成部110が記憶部130の上記所定の領域にアクセスすることによって実行される。
【0039】
またx、y及びt等のパラメータは、ダイジェスト映像の生成処理を行う際に設定される情報であってもよい。ダイジェスト映像の生成処理を行うタイミングとは、具体的にはダイジェスト再生を行うタイミングである。例えば映像処理装置100は、
図4の処理が行われるごとに、ユーザ入力用のダイアログ表示を行い、ユーザにパラメータの入力を促してもよい。ダイアログ表示は、x、y及びtそのもの、あるいはこれらを特定可能な情報の入力が可能な画面表示である。あるいは映像処理装置100は、
図4の処理が行われるごとに、ダイアログ表示等を行ってパラメータのユーザ入力を受け付けるか、記憶部130に記憶されたパラメータを利用するかを選択可能であってもよい。例えば再生区間生成部110は、まずユーザ入力を行うか否かの第1画面を表示する処理を行い、ユーザ入力が選択された場合に、パラメータ入力用の第2画面を表示する処理を行う。例えば、ステップS102~S104に示した処理は、再生区間生成部110が、ダイアログ表示等の表示処理を行い、当該表示に対するユーザ入力を受け付ける処理である。
【0040】
ステップS104に示す処理後、再生区間生成部110は、再生区間リストを生成する(ステップS105)。
図5は、ステップS105における再生区間リスト生成処理を説明する図である。
図5の矩形が映像情報STRaを表す。映像情報STRaは対応する映像情報全体を表し、横方向が時間を表す。
図5に示すように、映像情報STRaの長さである映像長は、ステップS101で取得したZ(秒)である。
【0041】
再生区間生成部110は、映像情報STRaを、x:1-xの割合に分割し、x側を判定区間とする。
図5に示す例では、判定区間は、映像情報STRaの前半のxに対応する。換言すれば、判定区間は映像情報STRaの先頭から、x*Z秒までの区間である。
【0042】
再生区間生成部110は、判定区間を分割することによってy個の区間SEa(0)~SEa(y-1)を設定する。なお区間SEa(0)~SEa(y-1)は具体的には、それぞれが第0区間~第y-1区間に対応する。1つの区間の長さは、(x*Z)/y秒である。
【0043】
また再生区間生成部110は、第n区間SEa(n)に対応する再生区間である第n再生区間PSa(n)を設定する。ここで、nは0≦n≦y-1を満たす整数である。1つの再生区間の長さは、ステップS104で取得した再生区間長tである。例えば第n再生区間PSa(n)は、第n区間SEa(n)の先頭からt秒の区間である。
【0044】
図6は、以上の処理によって設定されたy個の再生区間PSa(0)~PSa(y-1)を特定する情報の例であって、再生区間リストの具体例である。再生区間リストは、例えば再生区間PSa(0)~PSa(y-1)のそれぞれについて、再生開始時間と再生終了時間を対応づけた情報である。上述したように、第0再生区間PSa(0)は、第0区間SEa(0)の先頭からt秒の区間であり、第0区間SEa(0)の先頭は映像情報STRaの先頭、即ち映像情報STRaの開始から0秒の点に対応する。よって第0再生区間PSa(0)は、再生開始時間が0秒であり、再生終了時間がt秒となる区間である。
【0045】
また第1再生区間PSa(1)は、第1区間SEa(1)の先頭からt秒の区間であり、第1区間SEa(1)の先頭は映像情報の先頭から第0区間SEa(0)の長さに相当する(x*Z*1)/y秒だけ経過した点である。よって第1再生区間PSa(1)は、再生開始時間が(x*Z*1)/y秒であり、再生終了時間が(x*Z*1)/y+t秒の区間である。
【0046】
第2再生区間PSa(2)以降も同様である。第n再生区間PSa(n)は、第n区間SEa(n)の先頭からt秒の区間であり、第n区間SEa(n)の先頭は映像情報STRaの先頭から第0区間SEa(0)~第n-1区間SEa(n-1)の長さに相当する(x*Z*n)/y秒だけ経過した点である。よって第n再生区間PSa(n)は、再生開始時間が(x*Z*n)/y秒であり、再生終了時間が(x*Z*n)/y+t秒の区間である。なお、
図6は再生区間リストの一例であり、本実施形態における再生区間リストは、再生区間を特定可能な他の情報であってもよい。
【0047】
以上のように、本実施形態の手法によれば、偏りの少ないダイジェスト映像を生成可能であるため、視聴を望むシーンが過剰にダイジェスト映像に含まれることを抑制できる。そのため、ユーザはダイジェスト映像を視聴しても、映像全体のポイントを把握しにくい。ダイジェスト映像を視聴するユーザは、映像全体を視聴する意欲を損なうことを抑制しつつ、興味がある映像かどうかを判断することができる。
【0048】
本実施形態の手法は、上述したように、映像情報全体(例えば
図5の映像情報STRa)のうちの割合xを判定区間とし、当該判定区間を対象として再生区間が設定される。例えば後半の1-xに対応する部分を除外することで、映像情報の全体を大まかに把握させる際に好適なダイジェスト映像を生成できる。映像情報のジャンルにもよるが、ミステリードラマの犯人の情報等、ユーザの興味を損なわせる可能性のある情報は映像情報の後半に含まれるケースが多い。
図5に示すように、先頭から割合xの部分を判定区間とすることによって、後半の1-xに対応する映像情報が判定区間から除外される。このようにすれば、ダイジェスト映像を見ることによって、ユーザの映像情報への興味が損なわれることを抑制できる。
【0049】
また本実施形態では具体的な映像の内容を考慮する必要性が低いため、処理負荷の軽減が可能である。例えば、
図3Aに示したレコーダ200等では、区間リピートのように、映像情報のうちの特定の区間を再生する機能を有する機器が多い。本実施形態の手法は、そのような特定の区間を再生する機能をわずかに拡張することによって実現可能である。即ち、既存のプログラム資源を有効に活用できるという利点がある。
【0050】
また本実施形態の手法は、ユーザの興味等を推定しないため、再生区間が映像情報の中で大きく偏ることが抑制される。そのため、従来手法では除外されるようなシーンがダイジェスト映像に含まれる蓋然性が高くなる。結果として、ユーザ自身も興味があると意識していなかったシーンを提示すること、換言すればユーザに新たな興味を抱かせることが可能になるという効果も期待できる。
【0051】
なお、本実施形態の映像処理装置100等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、CPU等のプロセッサがプログラムを実行することで、本実施形態の映像処理装置100等が実現される。具体的には、非一時的な情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをCPU等のプロセッサが実行する。ここで、情報記憶媒体は、プログラムやデータなどを格納するものであり、その機能は、光ディスク、HDD、或いはメモリなどにより実現できる。そして、CPU等のプロセッサは、情報記憶媒体に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラムが記憶される。本実施形態の各部とは、具体的には再生区間生成部110及び再生処理部120である。また本実施形態の各部にはデコード部140が含まれてもよい。
【0052】
また本実施形態の手法は、
図4を用いて上述したステップ等を含む映像処理方法に適用できる。
【0053】
4.変形例
4.1 判定区間設定の他の例
以上では、判定区間が映像情報の先頭から割合xによって決定される区間である例について説明した。ただし判定区間の設定手法はこれに限定されない。
【0054】
図7は、判定区間、第0~第y-1区間、第0~第y-1再生区間の他の例を説明する図である。
図7における映像情報STRbは、対応する映像情報全体を表し、横方向が時間を表す。
図7の例では、判定区間の始点は、映像情報STRbの先頭から所与のオフセット割合wに相当する時間が経過したタイミングである。判定区間の長さがx*Z秒である点は、
図5と同様である。ここでwは0<w<1を満たす数であり、(x+w)<1である。
【0055】
図7の例においても、再生区間生成部110は、判定区間をy分割することによってy個の区間SEb(0)~SEb(y-1)を設定する。区間SEb(0)~SEb(y-1)は、それぞれが第0区間~第y-1区間に対応する。1つの区間の長さは、(x*Z)/y秒である。また再生区間生成部110は、第n区間SEb(n)に対応する再生区間である第n再生区間PSb(n)を設定する。例えば第n再生区間PSb(n)は、第n区間SEb(n)の先頭からt秒の区間である。再生区間PSb(0)~PSb(y-1)は、それぞれ第0再生区間~第y-1再生区間を表す。
【0056】
図8は、
図7の例におけるy個の再生区間PSb(0)~PSb(y-1)を特定する情報の例であって、再生区間リストの具体例である。上述したように、第0再生区間PSb(0)は、第0区間SEb(0)の先頭からt秒の区間であり、第0区間SEb(0)の先頭は映像情報STRbの開始から、オフセット割合wに対応する時間が経過したw*Z秒の点に対応する。よって第0再生区間PSb(0)は、再生開始時間がw*Z秒であり、再生終了時間がw*Z+t秒の区間である。
【0057】
また第1再生区間PSb(1)は、第1区間SEb(1)の先頭からt秒の区間である。第1区間SEb(1)の先頭は映像情報STRbの先頭から、オフセット割合wに相当する時間w*Z秒が経過し、さらに第0区間SEb(0)の長さに相当する(x*Z*1)/y秒が経過した点である。よって第1再生区間PSb(1)は、再生開始時間がw*Z+(x*Z*1)/y秒であり、再生終了時間がw*Z+(x*Z*1)/y+t秒の区間である。
【0058】
第2再生区間PSb(2)以降も同様である。第n再生区間PSb(n)は、第n区間SEb(n)の先頭からt秒の区間であり、第n区間SEb(n)の先頭は映像情報STRbの先頭からw*Z+(x*Z*n)/y秒だけ経過した点である。よって第n再生区間PSb(n)は、再生開始時間がw*Z+(x*Z*n)/y秒であり、再生終了時間がw*Z+(x*Z*n)/y+t秒である。
【0059】
図9は、判定区間、第0~第y-1区間、第0~第y-1再生区間の他の例を説明する図である。
図9における映像情報STRcは、対応する映像情報全体を表し、横方向が時間を表す。
図9の例では、判定区間の始点は、映像情報の先頭から所与のオフセット時間T(秒)に相当する時間が経過したタイミングである。判定区間は、オフセット時間を除いた映像の長さである(Z-T)秒を1としたときに、割合xによって決定される。例えば判定期間は、映像の先頭からT秒の点を始点とし、長さがx*(Z-T)秒の区間である。
【0060】
図9の例においても、再生区間生成部110は、判定区間をy分割することによってy個の区間SEc(0)~SEc(y-1)を設定する。区間SEc(0)~SEc(y-1)は、それぞれが第0区間~第y-1区間に対応する。
図9の例では、区間SEc(0)~SEc(y-1)の各区間の長さが{x*(Z-T)}/yとなる。また再生区間生成部110は、第n区間SEc(n)に対応する再生区間である第n再生区間PSc(n)を設定する。例えば第n再生区間PSc(n)は、第n区間SEc(n)の先頭からt秒の区間である。再生区間PSc(0)~PSc(y-1)は、それぞれ第0再生区間~第y-1再生区間を表す。
【0061】
図10は、
図9の例におけるy個の再生区間PSc(0)~PSc(y-1)を特定する情報の例であって、再生区間リストの具体例である。上述したように、第0再生区間PSc(0)は、第0区間SEc(0)の先頭からt秒の区間であり、第0区間SEc(0)の先頭は映像情報STRcの開始から、オフセット時間であるT秒が経過した点に対応する。よって第0再生区間PSc(0)は、再生開始時間がT秒であり、再生終了時間がT+t秒である。
【0062】
第n再生区間PSc(n)は、第n区間SEc(n)の先頭からt秒の区間であり、第n区間SEc(n)の先頭は映像情報STRcの先頭からT+{x*(Z-T)*n}/y秒だけ経過した点である。よって第n再生区間PSc(n)は、再生開始時間がT+{x*(Z-T)*n}/y秒であり、再生終了時間がT+{x*(Z-T)*n}/y+t秒の区間である。
【0063】
レコーダ200等の録画装置においては、所与の番組を録画する際に、先頭部分の録画漏れを抑制するために、当該番組の開始タイミングよりも所定時間だけ前のタイミングにおいて録画を開始する場合がある。そのため、録画によって取得された映像情報のうち、先頭から所定時間は、本来の番組とは関係のない情報である可能性がある。ここでの所定時間は例えば数秒~十数秒程度であるが、具体的な数値は種々の変形実施が可能である。
【0064】
また番組の編成によっては、冒頭部分にコマーシャルが入り、番組本編が当該コマーシャルの終了後に開始されるケースも考えられる。この場合も、当該コマーシャルは番組内容とは関連性が低い。
【0065】
本実施形態では、特徴量等を用いて番組内容を積極的に判定する必要性は低いものの、番組と関係ない内容を提示することの意義は小さい。その点、映像情報の先頭から所与のオフセット時間が経過するまでの部分を判定区間から除外することによって、ユーザが映像に興味があるか否かを判定する際に有用でない可能性のある情報を、ダイジェスト映像から除外できる。結果として、ユーザにとって有用なダイジェスト映像を生成できる。
【0066】
ここでのオフセット時間は、
図7及び
図8を用いて上述したように、番組長Zに依存する値であってもよいし、
図9及び
図10を用いて上述したように、所与の絶対値であってもよい。wを用いる場合、具体的なオフセット時間がZに応じて変化するため、映像情報ごとに柔軟にオフセット時間を調整できるという利点がある。また、Tを用いる場合、番組長Zによらないオフセット設定が可能になる。例えばオフセット時間Tを、先頭部分の録画漏れを抑制するための時間に対応する長さとすることで、本来の番組開始時刻に相当するタイミングを判定区間の始点とする等の設定が可能である。
【0067】
4.2 再生区間の補正
また再生区間生成部110は、第n再生区間に対応する付加情報に基づいて、当該第n再生区間の位置を補正可能であってもよい。例えばここでの付加情報は、映像情報に付加されたチャプター情報を含む。チャプター情報とは、映像情報におけるチャプターの位置を特定する情報である。チャプターとは、映像の区切りを表す情報であり、チャプター情報とは、当該区切りのタイミングを特定する情報である。ここでのタイミングとは録画時の時刻であってもよいし、映像開始からの経過時間であってもよいし、他の情報であってもよい。
【0068】
例えば、従来のレコーダにおいても、録画処理を行う際に、映像情報からコマーシャルを検出し、当該コマーシャルの開始、及び終了タイミングにチャプターを付与する処理が広く行われている。この録画時に付与されるチャプターを録画チャプターと表記する。例えば番組本編とコマーシャルとで音の特徴が異なるため、音の特徴量を用いてコマーシャルを検出する手法等が知られている。本実施形態における録画チャプターの取得処理は、公知の手法を広く適用可能であるため、詳細な説明を省略する。
【0069】
また録画された映像情報を編集する手法も広く知られている。
図11は、編集処理、及び当該編集処理によって付与されるチャプター情報である編集チャプターを説明する図である。
図11の映像情報STRd1が編集前に対応し、映像情報STRd2が編集後に対応する。
図11の例では、映像情報STRd1の一部である消去区間Sub2を消去する編集が行われた。この場合、編集後の映像情報STRd2は、消去区間Sub2よりも前の区間である残存区間Sub1と、消去区間Sub2よりも後の区間である残存区間Sub3をつなげた情報となる。この際、残存区間Sub1と残存区間Sub3のつなぎ目に相当するタイミングに、編集点であることを表す編集チャプターCP0が付与される。
【0070】
図12は、再生区間を補正する場合の、再生区間生成部110における処理を説明するフローチャートである。
図12のステップS201~S205は、
図4のステップS101~S105と同様であるため、詳細な説明は省略する。ステップS205が終了した時点で、再生区間生成部110は
図6、
図8又は
図10等の再生区間リストを生成している。
【0071】
次に再生区間生成部110は、再生区間リストに含まれる第0再生区間~第y-1再生区間のそれぞれについて、補正処理を行う。まず再生区間生成部110は、補正処理が試行されていない再生区間が残っているかを判定する(ステップS206)。
【0072】
未補正の再生区間が残っている場合(ステップS206でYes)、再生区間生成部110は、録画チャプターの補正処理を行う(ステップS207)。
図13は、録画チャプターに基づく再生区間の補正処理を説明する図である。
図13の映像情報STRe1は、対応する映像情報の一部を表す。再生区間PSe1は、y個の再生区間のうちの1つであって、補正処理前の再生区間を表す。また
図13に示す映像情報STRe1には、付加情報として、録画チャプターCP1~CP3が付与されている。以下、所与の録画チャプターと、隣り合う録画チャプターとの間の区間を、チャプター区間と表記する。
図13におけるチャプター区間は、例えば録画チャプターCP1と録画チャプターCP2の間の区間、録画チャプターCP2と録画チャプターCP3の間の区間である。
【0073】
再生区間生成部110は、補正対象の再生区間PSe1が所定長以下のチャプター区間を含むかを判定する。より具体的には、再生区間生成部110は、補正対象の再生区間PSe1が所定長以下のチャプター区間の少なくとも一部を含むかを判定する。
【0074】
上述したように録画チャプターとは番組とコマーシャルとの境界等、映像に何らかの切り替わりがあったタイミングであることが想定される。換言すれば、1つのチャプター区間に対応する映像情報は、映像内容が大きく変化しない一連の映像であると考えられる。例えば、1つのチャプター区間はそのすべてが番組本編である、あるいは、そのすべてがコマーシャルである。そして、番組本編が連続して放映される時間は、コマーシャル等の番組以外の映像が連続して放映される時間に比べて長い。即ち、チャプター区間の長さが所与の閾値未満である場合、当該チャプター区間はコマーシャル等、番組との関連性が低い蓋然性が高い。
【0075】
図13の例であれば、録画チャプターCP1より前、及び録画チャプターCP3よりも後が番組本編に対応するチャプター区間であり、録画チャプターCP1と録画チャプターCP2の間、及び録画チャプターCP2と録画チャプターCP3の間はコマーシャル等に対応するチャプター区間であると推定される。上述したように、本実施形態の手法では番組のクライマックス等を積極的に再生区間に含める必要性はないが、番組と関係ない映像を再生区間に含める必要性も低い。よって再生区間生成部110は、録画チャプターCP1から録画チャプターCP2までの区間、及び録画チャプターCP2から録画チャプターCP3までの区間を含まない位置に、再生区間PSe1の位置を補正する。
【0076】
図13の映像情報STRe2及び映像情報STRe3は、映像情報STRe1と同様に対応する映像情報の一部を表す。例えば再生区間生成部110は、再生区間PSe1を、終点が録画チャプターCP1となる位置に移動することによって、補正後の再生区間PSe2を設定してもよい。また再生区間生成部110は、再生区間PSe1を、始点が録画チャプターCP3となる位置に移動することによって、補正後の再生区間PSe3を設定してもよい。なお、以上の説明からわかるように、所与のチャプター区間を含まない再生区間の位置とは、当該再生区間の端点が、当該チャプター区間の端点と一致する位置を含んでもよい。
【0077】
図12に戻って説明を続ける。録画チャプターの補正処理後、再生区間生成部110は、編集チャプターの補正処理を行う(ステップS208)。
図14は、編集チャプターに基づく再生区間の補正処理を説明する図である。
図14の映像情報STRf1は、対応する映像情報の一部を表す。再生区間PSf1は、y個の再生区間のうちの1つであって、補正処理前の再生区間を表す。また
図14に示す映像情報STRe1には、付加情報として、編集チャプターCP4が付与されている。
図11を用いて上述したように、例えば編集チャプターCP4より前のシーンと編集チャプターCP4より後のシーンとの間に存在した消去区間が、編集により消去されたことで、編集チャプターCP4が付加される。
【0078】
再生区間生成部110は、編集チャプターCP4を含まない位置に再生区間PSf1を移動させる。
図14の映像情報STRf2及び映像情報STRf3は、映像情報STRf1と同様に対応する映像情報の一部を表す。例えば再生区間生成部110は、再生区間PSf1を、終点が編集チャプターCP4となる位置に移動することによって、補正後の再生区間PSf2を設定してもよい。また再生区間生成部110は、再生区間PSf1を、始点が編集チャプターCP4となる位置に移動することによって、補正後の再生区間PSf3を設定してもよい。なお、以上の説明からわかるように、所与の編集チャプターを含まない再生区間の位置とは、当該再生区間の端点が、当該編集チャプターと一致する位置を含んでもよい。
【0079】
図11を用いて上述したように、編集チャプターは不連続点を表すため、編集チャプターの前後ではシーンが変化する。本実施形態における再生区間は、もともと5秒等の短い区間であるため、再生区間がy個連続で再生されることによって、少なくとも5秒ごとにシーンが切り替わる。そのため、1つの再生区間内に不連続点があった場合、当該不連続点の前後のシーンは、5秒よりも短いシーンしか連続しない。換言すれば、ダイジェスト映像においてシーンがめまぐるしく変化してしまい、ユーザによる判断を妨げるおそれがある。本実施形態の手法によれば、不連続点に対応する編集チャプターが再生区間から除外されることで、視聴しやすいダイジェスト映像をユーザに提供できる。
【0080】
なお、
図11に示す編集作業を行った場合、ユーザは対象となる映像情報を視聴していることになるため、興味を持つか否かを判断する材料としてダイジェスト映像を提供する意義が小さいのではないかとも考えられる。しかし、編集作業は、例えば録画チャプターを用いて所与のチャプター区間を削除する等の単純な作業でもよいため、内容を十分に吟味することなく編集作業が行われる可能性がある。また、家族等でレコーダ200を共有する場合、編集するユーザとダイジェスト映像を要求するユーザが異なる可能性もある。いずれの場合も、所与の映像情報に対する編集作業が行われていたからといって、当該映像情報に基づくダイジェスト映像の必要性が低下するわけではない。即ち、編集済みの映像情報を対象として本実施形態の処理を行うこと、及び、その際に編集チャプターに基づいて再生区間を補正することは有用といえる。
【0081】
録画チャプターの補正処理後、再生区間生成部110はステップS206に戻って処理を継続する。即ち、ステップS207及びS208の処理対象となっていない再生区間が存在する場合、当該再生区間を対象としてステップS207及びS208の処理を実行する。すべての再生区間についてステップS207及びS208の処理が行われた場合、再生区間生成部110は
図12に示す処理を終了する。即ち、チャプター情報に基づく補正処理後の第0再生区間~第y-1再生区間を特定する再生区間リストを、再生処理部120に出力する。再生処理部120は、受信した再生区間リストに基づく再生処理を実行する。
【0082】
なお、
図13及び
図14では再生区間が移動される例を示したが、再生区間が所定長以下のチャプター区間を含まない場合や編集チャプターを含まない場合、当該再生区間の移動が不要であることは言うまでもない。また以上では録画チャプターに基づく補正と、編集チャプターに基づく補正の両方を行う例について説明したが、いずれか一方が省略されてもよい。
【0083】
なお、上記のように本実施形態について詳細に説明したが、本実施形態の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。また映像処理装置等の構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【0084】
100…映像処理装置、110…再生区間生成部、120…再生処理部、130…記憶部、140…デコード部、200…レコーダ、210…レコーダ、300…表示装置、400…外部記憶装置、500…サーバシステム、CP0,CP4…編集チャプター、CP1-CP3…録画チャプター、NW…ネットワーク、STRa,STRb,STRc,STRd1-STRd2,STRe1-STRe3,STRf1-STRf3…映像情報、SEa(0)-SEa(y-1),SEb(0)-SEb(y-1),SEc(0)-SEc(y-1)…区間、PSa(0)-PSa(y-1),PSb(0)-PSb(y-1),PSc(0)-PSc(y-1),PSe1-PSe3,PSf1-PSf3…再生区間、Sub1,Sub3…残存区間、Sub2…消去区間、t…再生区間長、T…オフセット時間、w…オフセット割合、x…判定区間割合、y…分割数、Z…映像長