特許 6943949 コンピュータプログラム、動画処理方法及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6943949

(24)【登録日】2021年9月13日

(45)【発行日】2021年10月6日

(54)【発明の名称】コンピュータプログラム、動画処理方法及び記録媒体

(51)【国際特許分類】

   H04N 5/783 20060101AFI20210927BHJP

   H04N 21/44 20110101ALI20210927BHJP

【ＦＩ】

   H04N5/783

   H04N21/44

【請求項の数】13

【全頁数】16

(21)【出願番号】特願2019-508903(P2019-508903)

(86)(22)【出願日】2016年8月19日

(65)【公表番号】特表2019-528622(P2019-528622A)

(43)【公表日】2019年10月10日

(86)【国際出願番号】KR2016009190

(87)【国際公開番号】WO2018034371

(87)【国際公開日】20180222

【審査請求日】2019年2月15日

(73)【特許権者】

【識別番号】518447647

【氏名又は名称】スノー コーポレーション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ジョン，サンチョル

(72)【発明者】

【氏名】キム，ヨンフン

【審査官】 松元 伸次

(56)【参考文献】

【文献】 国際公開第９８／０２４０９１（ＷＯ，Ａ１）

【文献】 国際公開第２０１６／０９８９３９（ＷＯ，Ａ１）

【文献】 韓国登録特許第１０−１３６６１５０（ＫＲ，Ｂ１）

【文献】 特開２０１０−２２６２５１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ５／７６−５／７７５

５／７８２−５／９５６

７／１０

７／１４−７／１７３

７／２０−７／５６

２１／００−２１／８５８

(57)【特許請求の範囲】

【請求項1】

記録媒体、出力部及びプロセッサを含むコンピュータに動画処理方法を実行させるコンピュータプログラムであって、前記動画処理方法は、
前記記録媒体に保存された動画ファイルから抽出された画像データ、前記画像データのフレームレート、前記画像データの生成時に設定された速度調節データを読み取る段階と、
前記プロセッサが、前記速度調節データを分析し、前記動画ファイルの第１区間に係わる再生速度を決定する段階と、
前記プロセッサが、前記第１区間に係わる再生速度を考慮し、前記再生速度と対応する変更率を算出する段階と、
前記プロセッサが、前記算出された変更率により、前記第１区間に含まれる複数のフレームのうち一部を除去し、あるいは再生時間を拡大させることにより、前記動画ファイルを再生する段階とを含み、前記動画処理方法は、
前記変更率を算出する段階の後に、前記動画ファイルから抽出されたオーディオデータが前記画像データと同期していない場合には、前記変更率と係わりなく、基準速度で前記オーディオデータを出力する段階をさらに含む、コンピュータプログラム。

【請求項2】

前記第１区間に係わる再生速度と対応する変更率が基準速度未満である場合、
前記動画ファイルを再生する段階は、
前記第１区間に含まれる複数のフレームのうち一部を抜き取りながら、前記動画ファイルを再生することを特徴とする請求項１に記載のコンピュータプログラム。

【請求項3】

前記第１区間に係わる再生速度と対応する変更率が基準速度を超える場合、
前記動画ファイルを再生する段階は、
前記第１区間に含まれる複数のフレームの各再生時間を拡大させながら、前記動画ファイルを再生することを特徴とする請求項１に記載のコンピュータプログラム。

【請求項4】

前記変更率を算出する段階後、前記プロセッサが、前記動画ファイルからオーディオデータを抽出する段階と、
前記抽出したオーディオデータと前記画像データとが同期しているか否かを判断する段階と、
をさらに含むことを特徴とする請求項１に記載のコンピュータプログラム。

【請求項5】

前記判断の結果、前記オーディオデータが前記画像データと同期していた場合、前記変更率により、前記オーディオデータの出力速度を調節して出力する段階をさらに含むことを特徴とする請求項４に記載のコンピュータプログラム。

【請求項6】

前記コンピュータは、カメラ、及びユーザ入力部を更に含み、前記動画処理方法は、
前記カメラにより、画像フレームを撮影する段階と、
前記プロセッサが、前記ユーザ入力部によって入力されたユーザ入力を受信する段階と、
前記プロセッサが、前記ユーザ入力と対応する区間別に、速度設定により、前記画像フレームの再生速度を調節するように設定された速度調節データを生成する段階と、
前記プロセッサが、前記画像フレーム及び前記速度調節データを変換して動画ファイルを生成し、前記動画ファイルを保存する段階とを含む、請求項１に記載のコンピュータプログラム。

【請求項7】

第１速度で再生されるように設定する、第１方向に移動する第１ユーザ入力を受信した場合、前記速度調節データを生成する段階は、
前記第１ユーザ入力が入力された第１時間の間、前記動画ファイルの再生速度を第１速度で再生させる速度調節データを生成する段階を含むことを特徴とする請求項６に記載のコンピュータプログラム。

【請求項8】

ユーザにより、第２速度で再生されるように設定する、第２方向に移動する第２ユーザ入力を受信した場合、前記速度調節データを生成する段階は、
前記第２ユーザ入力が入力された第２時間の間、前記動画ファイルの再生速度を第２速度で再生させる速度調節データを生成する段階を含むことを特徴とする請求項７に記載のコンピュータプログラム。

【請求項9】

前記速度調節データを保存する段階は、
前記第１ユーザ入力及び前記第２ユーザ入力により、画像データと対応し且つ第１時間の間は第１速度で再生されるようにする第１速度調節データ、及び前記第２時間の間は第２速度で再生されるようにする第２速度調節データを保存することを特徴とする請求項８に記載のコンピュータプログラム。

【請求項10】

前記第１速度または第２速度は、
前記第１ユーザ入力または第２ユーザ入力の入力長と比例する大きさを有し、前記第１方向または第２方向と対応する速く再生、遅く再生または基準速度再生のうち１つの方向性を有するように設定されることを特徴とする請求項７に記載のコンピュータプログラム。

【請求項11】

記録媒体、ディスプレイ部及びプロセッサを含むコンピュータにより実行される動画処理方法であって、
前記記録媒体に保存された動画ファイルから抽出された画像データ、前記画像データの生成時に設定された速度調節データを読み取る段階と、
前記プロセッサが、前記速度調節データを分析し、前記画像データの第１区間に係わる再生速度を決定する段階と、
前記プロセッサが、前記第１区間に係わる再生速度を考慮し、前記再生速度と対応する変更率を算出する段階と、
前記プロセッサが、前記算出された変更率により、前記第１区間に含まれる複数のフレームのうち一部を抜き出す又はコピーする方式で、出力画像データを生成する段階と、
前記ディスプレイ部が、前記出力画像データを、前記画像データのフレームレートで再生する段階とを含み、前記動画処理方法は、
前記変更率を算出する段階の後に、前記動画ファイルから抽出されたオーディオデータが前記画像データと同期していない場合には、前記変更率と係わりなく、基準速度で前記オーディオデータを出力する段階をさらに含む、動画処理方法。

【請求項12】

前記コンピュータは、カメラ、及びユーザ入力部を更に含み、前記動画処理方法は、
前記カメラにより、画像データを撮影する段階と、
前記プロセッサが、前記ユーザ入力部によって入力されたユーザ入力を受信する段階と、
前記プロセッサが、前記ユーザ入力と対応する区間別に、速度設定により、前記画像データの再生速度を調節するように設定された速度調節データを生成する段階と、
前記プロセッサが、前記画像データ及び前記速度調節データを変換して動画ファイルを生成し、前記動画ファイルを保存する段階と、を含む請求項１１に記載の動画処理方法。

【請求項13】

請求項１−１０のうち何れか一項に記載のコンピュータプログラムを保存する記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画撮影時、入力されたユーザ入力により、再生速度が調節される動画を生成する動画処理の装置、該方法及び該コンピュータプログラム等に関する。

【背景技術】

【0002】

従来の映像撮影は、動画撮影時、毎秒２４フレームより多いフレーム数または少ないフレーム数で撮影を行い、それを再生することにより、スローモーション、クイックモーションを行っている。しかし、従来の映像撮影装置によれば、撮影時に設定されたフレームレートを撮影後に変更することができなかった。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明は、撮影時に入力されたユーザ入力によって生成された速度調節データを介して、動画の再生速度を調節する動画処理の装置、該方法及び該コンピュータプログラムを提供することができる。

【0004】

また、本発明は、再生速度を加減するために、フレームレートを調節する以外に、ユーザから入力された入力による速度調節データにより、フレームの一部を除去し、あるいはフレームの再生回数、再生時間を増大させることにより、再生時間を増減させることができる動画処理の装置、該方法及び該コンピュータプログラムを提供することができる。

【課題を解決するための手段】

【0005】

本発明の実施形態によるコンピュータで読み取り可能な記録媒体に保存されたコンピュータプログラムは、前記記録媒体に保存された動画ファイルから抽出された画像データ、前記画像データのフレームレート、前記画像データの速度調節データを読み取る段階と、前記プロセッサが前記速度調節データを分析し、前記動画ファイルの第１区間に係わる再生速度を決定する段階と、前記プロセッサが前記第１区間に係わる再生速度を考慮し、前記再生速度と対応する変更率を算出する段階と、前記プロセッサが前記算出された変更率により、前記第１区間に含まれる複数のフレームのうち一部を除去し、あるいは再生時間を拡大させることにより、前記動画ファイルを再生する段階と、を含む動画処理方法を実行させるためのものである。

【0006】

前記第１区間に係わる再生速度と対応する変更率が基準速度未満である場合、前記動画ファイルを再生する段階は、前記第１区間に含まれる複数のフレームのうち一部を抜き取りながら、前記動画ファイルを再生することができる。

【0007】

前記第１区間に係わる再生速度と対応する変更率が基準速度を超える場合、前記動画ファイルを再生する段階は、前記第１区間に含まれる複数のフレームの各再生時間を拡大させながら、前記動画ファイルを再生することができる。

【0008】

前記動画処理方法は、前記変更率を算出する段階後、前記プロセッサが、前記動画ファイルからオーディオデータを抽出する段階と、前記抽出したオーディオデータと前記画像データとが同期するか否かを判断する段階と、前記判断の結果、前記オーディオデータが前記画像データと同期していない場合、前記変更率と係わりなく、基準速度で前記オーディオデータを出力する段階と、をさらに含んでもよい。

【0009】

前記動画処理方法は、前記判断の結果、前記オーディオデータが前記画像データと同期している場合、前記変更率により、前記オーディオデータの出力速度を調節して出力する段階をさらに含んでもよい。

【0010】

本発明の実施形態による動画処理方法は、カメラにより、画像フレームを撮影する段階と、プロセッサが、前記ユーザによって入力されたユーザ入力を受信する段階と、前記プロセッサが、前記ユーザ入力と対応する区間別に、速度設定により、前記画像フレームの再生速度を調節するように設定された速度調節データを生成する段階と、前記プロセッサが、前記画像フレーム及び前記速度調節データを変換して動画ファイルを生成し、前記動画ファイルを保存する段階と、を含んでもよい。

【0011】

本発明の実施形態による動画処理方法は、記録媒体、ディスプレイ部及びプロセッサを含む、コンピュータを利用して、前記記録媒体に保存された動画ファイルから抽出された画像データ、前記画像データの速度調節データを読み取る段階と、前記プロセッサが、前記速度調節データを分析し、前記画像データの第１区間に係わる再生速度を決定する段階と、前記プロセッサが、前記第１区間に係わる再生速度を考慮し、前記再生速度と対応する変更率を算出する段階と、前記プロセッサが、前記算出された変更率により、前記第１区間に含まれる複数のフレームのうち一部を抜き出す又はコピーする方式で、出力画像データを生成する段階と、前記出力部が、前記出力画像データを、前記画像データのフレームレートで再生する段階と、を含んでもよい。

【0012】

本発明の実施形態による動画処理方法は、カメラにより、画像データを撮影する段階と、プロセッサが、前記ユーザによって入力されたユーザ入力を受信する段階と、前記プロセッサが、前記ユーザ入力と対応する区間別に、速度設定により、前記画像データの再生速度を調節するように設定された速度調節データを生成する段階と、前記プロセッサが、前記画像データと共に、前記速度調節データを保存する段階と、を含んでもよい。

【0013】

それら以外にも、本発明を具現するための他の方法、他のシステム、及び前記方法を実行するためのコンピュータプログラムを記録するコンピュータで読み取り可能な記録媒体がさらに提供される。

【0014】

前述のところ以外の他の側面、特徴、利点が、以下の図面、特許請求の範囲、及び発明の詳細な説明から明確になるであろう。

【発明の効果】

【0015】

本発明の実施形態による動画処理の装置、該方法及び該コンピュータプログラムは、撮影当時に入力されたユーザ入力によって生成された速度調節データを介して、動画の再生速度を調節することができる。

【0016】

また、本発明の実施形態による動画処理の装置、該方法及び該コンピュータプログラムは、再生速度を加減するために、フレームレートを調節する以外に、ユーザから入力された入力による速度調節データにより、フレームの一部を除去し、あるいはフレームの再生回数、再生時間を増大させることにより、再生時間を増減させることができる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態によるユーザ端末を示す図面である。

【図2】本発明の実施形態による動画処理方法のフローチャートである。

【図3】本発明の実施形態による動画処理方法のフローチャートである。

【図4】本発明の実施形態による動画処理方法のフローチャートである。

【図5】本発明の実施形態による動画処理方法のフローチャートである。

【図6】動画処理装置によって提供されるユーザインターフェースの一例について説明するための図面である。

【図7】動画処理装置によって画像フレームが処理される過程について説明するための図面である。

【図8】オーディオデータが処理される過程について説明するための図面である。

【発明を実施するための形態】

【0018】

本発明は、多様な変換を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、詳細な説明によって詳細に説明する。本発明の効果、特徴、及びそれらを達成する方法は、図面と共に詳細に説明する実施形態を参照すれば、明確になるであろう。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、多様な形態にも具現されるのである。

【0019】

以下、添付された図面を参照し、本発明の実施形態について詳細に説明するが、図面を参照して説明するとき、同一であるか、あるいは対応する構成要素は、同一図面符号を付し、それに係わる重複説明は、省略する。

【0020】

以下の実施形態において、第１、第２のような用語は、限定的な意味ではなく、１つの構成要素を他の構成要素と区別する目的に使用された。

【0021】

以下の実施形態において、単数の表現は、文脈上明白に異なって意味しない限り、複数の表現を含む。

【0022】

以下の実施形態において、「含む」または「有する」というような用語は、明細書上に記載された特徴または構成要素が存在するということを意味するものであり、１以上の他の特徴または構成要素が付加される可能性をあらかじめ排除するものではない。

【0023】

ある実施形態が異なって具現可能である場合、特定の工程順序は、説明される順序と異なっても遂行される。例えば、連続して説明される２つの工程が実質的に同時に遂行されもし、説明される順序と反対の順序にも進められる。

【0024】

以下の実施形態において、「回路」は、例えば、プログラム可能な回路によって実行されるインストラクションを保存するハードワイヤード回路、プログラム可能な回路、状態マシン回路、及び／またはファームウェアを単独または任意の組み合わせで含んでもよい。アプリケーションは、ホストプロセッサ、または他のプログラム可能な回路のようなプログラム可能な回路上でも実行されるコードまたはインストラクションとしても具現される。本願の任意の実施形態で使用されるようなモジュールは、回路としても具現される。該回路は、集積回路チップのような集積回路としても具現される。

【0025】

以下の実施形態において、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。また、明細書に記載された「…部」、「…器」、「モジュール」というような用語は、少なくとも１つの機能や動作を処理する単位を意味し、それは、ハードウェアであるかソフトウェア、あるいはハードウェア及びソフトウェアの結合によっても具現されるのである。

【0026】

図１は、本発明の実施形態によるユーザ端末１００を示す図面である。図１を参照すれば、本発明の実施形態によるユーザ端末１００は、プロセッサ１１０、ユーザ入力部１２０、出力部１４０、カメラ１３０、記録媒体１５０を含んでもよい。

【0027】

プロセッサ１１０は、一般的に、ユーザ端末１００の全般的な動作を制御する。例えば、プロセッサ１１０は、記録媒体１５０に保存された命令語を介して、ユーザ入力部１２０、出力部１４０、カメラ１３０などを全般的に制御することができる。プロセッサ１１０は、プロセッサのように、データを処理することができる全ての種類の装置を含んでもよい。ここで、「プロセッサ」は、例えば、プログラム内に含まれたコードまたは命令によって表現された機能を遂行するために、物理的に構造化された回路を有する、ハードウェアに内蔵されたデータ処理装置を意味する。このように、ハードウェアに内蔵されたデータ処理装置の一例として、マイクロプロセッサ（microprocessor）、中央処理装置（ＣＰＵ：central processing unit）、プロセッサコア（processor core）、マルチプロセッサ（multiprocessor）、ＡＳＩＣ（application-specific integrated circuit）、ＦＰＧＡ（field programmable gate array）のような処理装置を網羅することができるが、本発明の範囲は、それらに限定されるものではない。

【0028】

ユーザ入力部１２０は、ユーザからの要請を入力される手段であり、キーパッド（key pad）、ドームスイッチ（dome switch）、タッチパッド（接触式静電容量方式、圧力式抵抗膜方式、赤外線感知方式、表面超音波伝導方式、積分式張力測定方式、ピエゾ効果方式など）、ジョグホイール、ジョグスイッチなどがありうるが、それらに限定されるものではない。

【0029】

出力部１４０は、ユーザ端末１００で処理される情報を出力する。例えば、出力部１４０は、カメラ１３０によって獲得された動画ファイルを出力することができる。一方、出力部１４０は、ディスプレイ部とタッチパッドとがレイヤ構造をなし、タッチスクリーンとしても構成される。そのような場合、出力部１４０は、出力する装置以外に、入力装置としても使用される。出力部１４０は、液晶ディスプレイ（liquid crystal display）、薄膜トランジスタ液晶ディスプレイ（thin film transistor-liquid crystal display）、有機発光ダイオード（organic light-emitting diode）、フレキシブルディスプレイ（flexible display）、三次元ディスプレイ（３Ｄ display）、電気泳動ディスプレイ（electrophoretic display）のうち少なくとも一つを含んでもよい。そして、ユーザ端末１００の具現形態により、ユーザ端末１００は、ディスプレイ部を２個以上含んでもよい。このとき、２個以上のディスプレイ部は、ヒンジ（hinge）を利用し、対向するようにも配置される。

【0030】

カメラ１３０は、画像通話モードまたは撮影モードで、イメージセンサを介して、静止映像または動画などの画像フレームを得ることができる。該イメージセンサを介してキャプチャされたイメージは、カメラ１３０、プロセッサ１１０、または別途のイメージ処理部（図示せず）を介しても処理される。カメラ１３０で処理された画像フレームは、記録媒体１５０に保存されるか、あるいは外部に伝送されてもよい。カメラ１３０は、端末機の構成様態により、２個以上が具備されてもよい。

【0031】

カメラ１３０は、外部の音響信号も入力され、電気的な音声データに処理するマイクロフォンをさらに含んでもよい。該マイクロフォンは、外部の音響信号を入力される過程において生じるノイズ（noise）を除去するための多様なノイズ除去アルゴリズムを利用することができる。

【0032】

記録媒体１５０は、運用体制、アプリケーション、プログラム、ライブラリ及びドライバのような、ユーザ端末１００の動作中に使用される多様なデータ及びソフトウェアを保存することができる。記録媒体１５０は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＳＤメモリまたはＸＤメモリなど）、ＲＡＭ（random access memory）、ＳＲＡＭ（static random access memory）、ＲＯＭ（read-only memory）、ＥＥＰＲＯＭ（electrically erasable programmable read-only memory）、ＰＲＯＭ（programmable read-only memory）、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも１つのタイプの記録媒体を含んでもよい。

【0033】

記録媒体１５０に保存されたプログラムは、その機能により、複数個のモジュールに分類することができるが、例えば、ＵＩ（user interface）モジュール、タッチスクリーンモジュール、お知らせモジュールなどにも分類される。ユーザ端末１００は、動画撮影を制御し、動画再生を制御する動画処理装置１６０をさらに含んでもよい。

【0034】

図１を参照すれば、動画処理装置１６０は、速度調節データ生成部１６１、データ処理部１６２、再生速度決定部１６３、ビデオデータ処理部１６４、オーディオデータ処理部１６５を含んでもよい。

【0035】

記録媒体１６０は、カメラ１３０から獲得された画像フレームを動画ファイルに変換して保存する機能を遂行するモジュールを含んでもよい。ここで、速度調節データ生成部１６１及びデータ生成部１６２は、動画撮影と係わる機能を遂行する構成要素である。

【0036】

速度調節データ生成部１６１は、カメラ１３０から獲得された画像フレームと係わり、ユーザ入力部１２０を介して入力された再生速度を調節するユーザ入力と対応した速度調節データを生成することができる。速度調節データ生成部１６１は、ユーザ入力部１２０を介して入力されたユーザ入力の方向及び長さ（大きさ）を考慮し、再生速度を算出し、算出した再生速度をフレームと対応させて保存することができる。

【0037】

速度調節データは、変換された速度の方向性及び変更サイズを含んでもよい。例えば、該速度調節データは、速く再生、遅く再生、基準速度再生のうち１つの方向性を有し、０．７倍速、０．８倍速、０．９倍速、１倍速、１．１倍速、１．２倍速、１．３倍速のうち一つに変更サイズを有することができる。

【0038】

このとき、ユーザからドラッグ入力が受信された場合、速度調節データの方向性は、入力されたユーザ入力の方向によって決定され、速度調節データの変更サイズは、入力されたユーザ入力の入力長と比例しても決定される。該速度調節データの変更と係わり、速度の方向性及び変更サイズを決定することができるアイコンが、出力部１４０を介して提供される。出力されたアイコンに対する選択入力を介して、再生速度の方向性及び変更サイズが決定される。

【0039】

ユーザにより、第１速度で再生されるように設定する第１方向に移動する第１ユーザ入力が受信されれば、速度調節データ生成部１６１は、第１ユーザ入力が入力された第１時間に該当する複数の画像フレームについて、第１速度で再生させる速度調節データを生成することができる。ユーザにより、第２速度で再生されるように設定する第２方向に移動する第２ユーザ入力が受信されれば、速度調節データ生成部１６１は、第２ユーザ入力が入力された第２時間に該当する複数の画像フレームについて、第２速度で再生させる速度調節データを生成することができる。

【0040】

速度調節データは、各フレーム単位、または所定の時間単位でも生成される。再生速度が同一である区間の画像フレームと対応し、１つの速度調節データが生成されたり、各画像フレームについて、速度調節データが生成されたりする。

【0041】

データ生成部１６２は、速度調節データを含む画像フレームを動画ファイルに変換する。このとき、データ生成部１６２は、画像フレーム及び速度調節データを圧縮処理し、動画ファイルを生成することができる。

【0042】

次に、動画再生と係わる機能を遂行する構成要素について説明する。

【0043】

再生速度決定部１６３は、記録媒体１５０に保存された動画ファイルを読み取り、動画ファイルに含まれた速度調節データを抽出して分析し、各時間区間に係わる再生速度を決定する。再生速度決定部１６３は、速度調節データから、速度の方向性及び大きさを抽出し、速度の方向性及び大きさと対応する再生速度を決定する。

【0044】

ビデオデータ処理部１６４は、決定された再生速度と対応する変更率を算出し、算出された変更率により、第１区間に含まれる画像フレームを処理して出力することができる。このとき、ビデオデータ処理部１６４は、フレームレートの変更なしに、速度調節データにより、画像データの再生速度を調節して出力するように制御する。

【0045】

さらに具体的には、「速く再生」の方向性を有する速度調節データを含む複数のフレームと係わり、再生時間を短縮させるために、ビデオデータ処理部１６４は、複数のフレーム一部を抜き取りながら出力することができる。例えば、（速く再生、１．１倍速）の速度調節データと対応し、ビデオデータ処理部１６４は、１／１０の比率を変更率として算出し、変更率により、複数のフレーム一部を抜き取りながら出力するように制御することができる。（遅く再生、０．５倍速）の速度調節データと対応し、ビデオデータ処理部１６４は、２倍の時間に拡大させるために、複数のフレームそれぞれを２回ずつ出力するように制御することができる。

【0046】

また、ビデオデータ処理部１６４は、算出された変更率により、画像フレームの再生時間を調節することもできる。各フレームの再生時間は、一般的に、フレームレートによっても決定される。例えば、６０フレームレートで撮影された動画の各フレームは、１／６０秒間再生されることになる。しかし、本発明の実施形態によれば、６０フレームレートで撮影された動画であるとしても、変更率が１．１倍である区間においては、各フレームは、１／６０Ｘ１．１の時間の間再生されることになる。それを介して、本発明の実施形態によるユーザ端末１００は、速度調節データにより、再生時間を調節するだけではなく、各フレームの再生時間を一定にさせることにより、速度調節による歪曲なしに、原動画と同一映像を表現することができる。

【0047】

また、ビデオデータ処理部１６４は、各フレームの再生回数を含む配列（array）を利用し、画像データを出力させることができる。配列の各値は、フレームの再生回数と対応する。例えば、（速く再生、１．１倍速）と対応し、ビデオデータ処理部１６４は、１／１０の比率で複数のフレームを抜き取るためには、｛１，１，１，１，１，１，１，１，１，０｝または｛０，１，１，１，１，１，１，１，１，１｝の配列を生成し、配列を利用し、０に該当するフレームを抜き取り、除去することができる。（遅く再生、０．５倍速）の速度調節データと対応し、ビデオデータ処理部１６４は、各フレームの再生時間を２倍に拡大させるために、｛２，２，２，２，２，２，２，２，２，２｝の配列を生成し、配列を利用し、各フレームを２回ずつ出力することができる。このとき、配列の配列数は、あらかじめ設定された大きさであり、１０、５のように多様にも設定される。

【0048】

一般的には、動画ファイルは、生成当時のフレームレートによって出力されることになるが、例えば、１秒当たり６０回の静止映像を撮影し、撮影された静止映像を一定時間間隔で出力することにより、動く動画を再生することになる。例えば、該６０フレームレートで撮影された動画は、秒当たり６０個のフレームを一定時間周期で出力することが一般的であり、動画の再生速度を速くするためには、動画再生時、速度調節機能を介して再生速度を加減することができる。また、撮影された動画のフレームレートを高めるか、あるいは低くしながら、動画の再生速度を加減することができる。それと異なり、本発明の実施形態による動画処理装置１６０は、撮影当時に入力されたユーザ入力によって生成された速度調節データを介して、動画の再生速度を調節することができる。特に、本発明の実施形態による動画処理装置１６０は、再生速度を加減するために、フレームレートを調節する以外に、ユーザから入力された入力による速度調節データにより、フレームの一部を除去し、あるいはフレームの再生回数、再生時間を増大させることにより、再生時間を増減させることができる。すなわち、本発明の実施形態による動画処理装置１６０は、各フレームの再生時間、各フレームの再生回数を調節する方式で動画の再生時間、速度を調節することができる。

【0049】

オーディオデータ処理部１６５は、決定された再生速度と対応する変更率を算出し、算出された変更率により、第１区間に含まれるオーディオデータを処理して出力することができる。このとき、オーディオデータ処理部１６５は、オーディオデータと画像データとが同期するか否かを考慮し、変更率により、オーディオデータの出力速度を調節してもよいし或いは調節しなくてもよい。もしオーディオデータが、ＢＧＭ、ナレーションのうち一つである場合、オーディオデータ処理部１６５は、撮影当時に入力されたユーザ入力により、オーディオデータの出力速度を調節しない。画像データに含まれたＢＧＭまたはナレーションの場合には、敢えて映像と同期を合わせる必要がないために、オーディオデータ処理部１６５は、画像データに含まれた速度調節データと係わりなく、本来の再生速度に合わせ、ＢＧＭまたはナレーションを出力することになる。それと反対に、画像データと同期したオーディオデータの処理にあたり、オーディオデータ処理部１６５は、速度調節データにより、オーディオデータの出力速度を調節することになる。オーディオデータ処理部１６５は、このときにも、画像データの再生速度と同一に、区間別速度設定により、オーディオデータの出力速度を調節することになる。

【0050】

本発明の実施形態による動画処理装置１６０は、撮影当時に入力されたユーザ入力により、動画の再生速度を調節するとき、ＢＧＭのように、画像データと同期されないオーディオデータについては、再生速度を変更せず、原再生速度で再生するように制御することができる。

【0051】

図２及び図３は、本発明の実施形態による動画処理方法のフローチャートである。

【0052】

図２を参照すれば、本発明の実施形態による動画処理方法は、データを読み取る段階（Ｓ１１０）、速度調節データを分析し、第１区間に係わる再生速度を決定する段階（Ｓ１２０）、第１区間に係わる再生速度を考慮し、再生速度と対応する変更率を算出する段階（Ｓ１３０）、変更率が基準速度を超えるか否かということを判断する段階（Ｓ１４０）、判断の結果、変更率が基準値である「１」を超える場合、第１区間に含まれた複数のフレームのうち一部をスキップ（skip）しながら、画像データを出力する段階（Ｓ１５０）、変更率により、第１区間に含まれた複数のフレームの再生時間を拡大させて出力する段階（Ｓ１６０）を含んでもよい。

【0053】

Ｓ１１０においては、動画処理装置１６０は、記録媒体に保存された動画ファイルから、画像データ、画像データの速度調節データを抽出して読み取る。ユーザ端末１００は、保存された動画ファイルから画像データを抽出し、画像データの圧縮いかんを判断し、圧縮された画像データをデコーディングする。

【0054】

Ｓ１２０においては、動画処理装置１６０は、速度調節データを分析し、第１区間に係わる再生速度を決定する。ユーザ端末１００は、速度調節データから抽出された速度の方向性及び大きさと対応するように、当該区間の再生速度を決定する。

【0055】

Ｓ１３０においては、動画処理装置１６０は、第１区間に係わる再生速度を考慮し、再生速度と対応する変更率を算出する。該変更率は、基準値１を基準として、速く再生される場合には、１を超える実数、遅く再生される場合には、１未満の実数に設定されてもよい。

【0056】

動画処理装置１６０は、変更率が基準値である「１」を超えるか否かということを判断し（Ｓ１４０）、動画処理装置１６０は、変更率により、複数のフレーム一部を除去し、あるいは複数のフレームそれぞれの再生時間を短縮させることにより、画像データを出力して再生して提供して表示する（Ｓ１５０）。結果として、当該区間の画像データの再生時間は、短縮され、当該区間の画像データの再生速度は、速くなる。画像データの出力は、一般的な方法によってなされるので、詳細な説明を省略する。

【0057】

Ｓ１５１においては、動画処理装置１６０は、変更率により、第１区間に含まれた複数のフレームの再生時間または再生回数を増大させて出力する。動画処理装置１６０は、当該区間の変更率位各フレームの再生時間を拡大させることができる。また、動画処理装置１６０は、当該区間の変更率ほど各フレームの再生回数を増加させることができる。Ｓ１５０及びＳ１５１の動作は、ビデオデータ処理部１６４の動作と同一部分については、重複して説明しない。

【0058】

それと異なり、本発明の実施形態による動画処理方法は、撮影当時に入力されたユーザ入力によって生成された速度調節データを介して、動画の再生速度を調節することができる。特に、本発明の実施形態による動画処理装置１６０は、再生速度を加減するために、フレームレートを調節する以外に、ユーザから入力された入力による速度調節データにより、フレームの一部を除去し、あるいはフレームの再生回数、再生時間を増大させることにより、再生時間を増減させることができる。

【0059】

図３を参照すれば、本発明の実施形態による動画処理方法は、オーディオデータを別途の方式で処理することができ、具体的には、Ｓ１１０、Ｓ１２０、Ｓ１３０の後、動画ファイルからオーディオデータを抽出する段階（Ｓ２１０）、オーディオデータがＢＧＭを含むか否かということを判断する段階（Ｓ２２０）、ＢＧＭを基準速度で出力する段階（Ｓ２３０）、変更率により、オーディオデータの出力速度を調節し、オーディオデータを出力する段階（Ｓ２３１）を含んでもよい。

【0060】

Ｓ２１０においては、動画処理装置１６０は、記録媒体に保存された動画ファイルから、オーディオデータを抽出する。Ｓ２２０においては、動画処理装置１６０は、オーディオデータが画像データと同期をなすか否かということを判断する。

【0061】

Ｓ２３０においては、動画処理装置１６０は、同期していない場合、速度調節データとは無関係に、本来の再生速度により、オーディオデータを出力することができる。例えば、オーディオデータが画像データと無関係な背景音楽、ナレーションなどの場合、当該オーディオデータの出力は、画像データと同期する必要がないので、動画処理装置１６０は、オーディオデータを、本来の再生速度によって出力することができる。

【0062】

Ｓ２３１においては、動画処理装置１６０は、オーディオデータ及び画像データが同期をなす場合、変更率により、オーディオデータの出力速度を調節することになる。例えば、画像データに含まれた客体によって生成されたオーディオデータ（話声、歌声、泣き声など）である場合、動画処理装置１６０は、変更率により、オーディオデータの出力速度を調節することになる。

【0063】

図４を参照し、Ｓ２３１の動作をさらに詳しく説明すれば、Ｓ２３１は、オーディオデータを分節化する段階（Ｓ２３１１）、分節化されたオーディオデータの再生時間を、変更率によって調節する段階（Ｓ２３１２）、また１つのオーディオデータに生成する段階（Ｓ２３１３）をさらに含んでもよい。

【0064】

Ｓ２３１１においては、動画処理装置１６０は、オーディオデータの出力速度を調節するために、オーディオデータを、日程時間または一定長の単位に分節化することができる。このとき、オーディオデータの分節単位は、画像データの各フレームレートによっても異なる。例えば、６０フレームレートで生成された画像データに含まれたオーディオデータは、１／６０秒の単位で分節化されることになる。そのように、フレームレートに合わせ、オーディオデータを分節化することは、画像データとの同期のためのものである。

【0065】

Ｓ２３１２においては、動画処理装置１６０は、分節化されたオーディオデータの再生時間を、変更率によって調節することができる。すなわち、変更率が１．１である場合、分節化されたオーディオデータの再生時間は、原再生時間の１．１倍になるであろう。

【0066】

Ｓ２３１３においては、動画処理装置１６０は、再生時間が調節されれば、分節化されたオーディオデータを１つのオーディオデータに生成することになる。動画処理装置１６０は、新たに生成されたオーディオデータを再生することになる。それを介して、速度調節データにより、オーディオデータの出力速度が調節されることになる。

【0067】

図５は、本発明の実施形態による動画処理方法のフローチャートである。図５を参照すれば、本発明の実施形態による動画処理方法は、画像データ受信段階（Ｓ３１０）、ユーザ入力受信段階（Ｓ３２０）、速度調節データ生成段階（Ｓ３３０）、動画ファイル生成段階（Ｓ３４０）を含んでもよい。

【0068】

Ｓ３１０においては、動画処理装置１６０は、カメラ１３０によって撮影された画像データを受信する。Ｓ３２０においては、動画処理装置１６０は、ユーザ入力部１２０から、ユーザによって入力されたユーザ入力を受信する。

【0069】

Ｓ３３０においては、動画処理装置１６０は、ユーザ入力と対応する区間別に、速度設定により、画像データの再生速度を調節するように設定された速度調節データを生成する。Ｓ３３０の動作は、速度調節データ生成部１６１の動作と同一であるので、詳細な説明を省略する。Ｓ３４０においては、動画処理装置１６０は、画像データ及び速度調節データを含む動画ファイルを生成する。

【0070】

図６は、動画処理装置１６０によって提供されるユーザインターフェースの一例について説明するための図面である。

【0071】

動画処理装置１６０は、動画撮影インターフェースＡ１を、図６（ａ）のように提供することになる。カメラを介して獲得された画像データを含むユーザインターフェースＡ１を、動画処理装置１６０の出力部を介して表示することになる。画像データを提供する出力部１４０の一領域を、あらかじめ設定された所定時間、例えば、５秒以上タッチするユーザ入力ｉ１が受信されれば、動画処理装置１６０は、速度調節データ生成と係わる、図６（ｂ）のようなユーザインターフェースを、追加して提供することになる。動画処理装置１６０は、再生速度を、速くまたは遅く調節することができる速度調節バーｉ５によって入力された時点に合わせ、速度調節データを生成し、各画像データと対応させ、動画ファイルを生成することになる。生成された速度調節バーｉ５によれば、画面の上端に向かうユーザ入力については、再生速度を速くする速度調節データを生成し、画面の下端に向かうユーザ入力ｉ１については、再生速度を遅くする速度調節データを生成することになる。また、ユーザ入力ｉ１が移動する長さに比例するほど変更させることになる。速度調節バーｉ５は、図６のように、上下方向に生成されたりするが、録画中であることを知らせる状態アイコンｉ２，ｉ３、及び録画中止と対応するアイコンｉ４の位置を考慮し、下端または上端の領域に左右方向に生成されたりもする。

【0072】

図７は、動画処理装置１６０により、画像フレームが処理される過程について説明するための図面である。

【0073】

動画処理装置１６０により、図７のように１２個のフレームｆ１ないしｆ１２を含む画像データが生成されてもよい。画像データは、撮影当時ｔ１からｔ２時間までは、１．１倍速く再生する速度調節入力を受信し、ｔ２時間からｔ３時間までは、０．７倍遅く再生する速度調節入力を受信した。それにより、ｔ１からｔ２までの第１時間区間ＴＤ１の画像データについては、第１速度調節データＶＴ１が生成され、ｔ２からｔ３までの第２時間区間ＴＤ２の画像データについては、第２速度調節データＶＴ２が生成される。

【0074】

動画処理装置１６０は、画像データを再生するとき、第１時間区間ＴＤ１に係わる速度調節データＶＴ１を考慮し、第１フレームないし第６フレームの再生時間を１．１倍に拡大させることができ、第２時間区間ＴＤ２に対する速度調節データＶＴ２を考慮し、第７フレームないし第１２フレームの再生時間を０．７倍に縮小させることができる。

【0075】

このように、動画処理装置１６０は、動画撮影当時に入力された速度調節情報により、フレームレートを調節せず、時々刻々それぞれ再生速度が調節される動画ファイルを生成することができる。

【0076】

図８は、オーディオデータが処理される過程について説明するための図面である。動画処理装置１６０は、ユーザによって入力された速度調節データにより、画像データの再生速度を調節するだけではなく、オーディオデータの再生速度も、調節することができる。ここで、オーディオデータの再生速度は、一律的に調節されるものではなく、画像データとの同期いかんにより、調節されたり調節されなかったりするということは言うまでもない。

【0077】

もしオーディオデータが、画像データと同期している場合には、図８に図示されているように、オーディオデータの再生速度を調節することになる。図８（ｂ）に図示されているように、動画処理装置１６０は、オリジナルのオーディオデータ（図８（ａ））を、日程時間間隔または長さ間隔でオーディオデータを分節化する。図８（ｃ）に図示されているように、動画処理装置１６０は、動画ファイルの生成時に入力されたユーザ入力によって保存された速度調節データにより、分節化されたオーディオデータを再生産することになる。さらに具体的には、動画処理装置１６０は、動画ファイルの生成時に入力されたユーザ入力によって保存された速度調節データにより、分節化されたオーディオデータの再生時間を調節することになる。すなわち、動画処理装置１６０は、変更率により、分節化されたオーディオデータの再生時間を加減する。図８（ｄ）に図示されているように、動画処理装置１６０は、再生時間が調節された各分節化されたオーディオデータを合わせ、新たなオーディオデータを生成することができる。

【0078】

以上で説明した本発明による実施形態は、コンピュータ上で多様な構成要素を介して実行されるコンピュータプログラムの形態にも具現され、そのようなコンピュータプログラムは、コンピュータで読み取り可能な媒体にも記録される。そのとき、該媒体は、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体；ＣＤ−ＲＯＭ（compact disc read only memory）及びＤＶＤ（digital versatile disc）のような光記録媒体；フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical medium）；及びＲＯＭ、ＲＡＭ、フラッシュメモリのような、プログラム命令語を保存して実行するように特別に構成されたハードウェア装置を含んでもよい。

【0079】

なお、コンピュータプログラムは、本発明のために特別に設計されて構成されたものであってもよく、コンピュータソフトウェア分野の当業者に公知されて使用可能なものであってもよい。該コンピュータプログラムの例には、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用し、コンピュータによって実行されるような高級言語コードも含まれる。

【0080】

本発明で説明する特定実行は、一実施形態であり、いかなる方法によっても、本発明の範囲を限定するものではない。明細書の簡潔さのために、従来の電子的な構成、制御システム、ソフトウェア、システムの他の機能的な側面の記載は、省略されている。また、図面に図示された構成要素間の線の連結、または連結部材は、機能的な連結、及び／または物理的または回路的な連結を例示的に示したものであり、実際の装置においては、代替可能であったり追加されたりする多様な機能的な連結、物理的な連結または回路の連結として示される。また、「必須な」、「重要に」というように、具体的な言及がなければ、本発明適用のために、必ずしも必要な構成要素ではないものである。

【0081】

本発明の明細書（特に、特許請求の範囲）において、「前記」の用語、及びそれと類似した指示用語の使用は、単数及び複数のいずれにも該当するものである。また、本発明において、範囲（range）を記載した場合、範囲に属する個別的な値を適用した発明を含むものであり（それに反する記載がなければ）、発明の詳細な説明に、範囲を構成する各個別的な値を記載した通りである。最後に、本発明による方法を構成する段階について、明白に順序を記載するか、あるいはそれに反する記載がなければ、段階は、適する順序で遂行されるのである。必ずしも段階の記載順序により、本発明が限定されるものではない。本発明において、全ての例または例示的な用語（例えば、など）の使用は、単に本発明について詳細に説明するためのものであり、特許請求の範囲によって限定されない以上、前述の例、または例示的な用語により、本発明の範囲が限定されるものではない。また、当業者であるならば、多様な修正、組み合わせ、及び変更が付加された特許請求の範囲、またはその均等物の範疇内において、設計条件及びファクタにより、構成されるということを知ることができるであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】