特許 7252362 動画を自動編集する方法及びポータブル型端末

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-27

(45)【発行日】2023-04-04

(54)【発明の名称】動画を自動編集する方法及びポータブル型端末

(51)【国際特許分類】

   H04N 5/91 20060101AFI20230328BHJP

   H04N 5/765 20060101ALI20230328BHJP

   H04N 5/92 20060101ALI20230328BHJP

【ＦＩ】

H04N5/91

H04N5/765

H04N5/92 010

【請求項の数】 9

(21)【出願番号】P 2021549369

(86)(22)【出願日】2020-04-22

(65)【公表番号】

(43)【公表日】2022-04-13

(86)【国際出願番号】 CN2020086188

(87)【国際公開番号】W WO2020169121

(87)【国際公開日】2020-08-27

【審査請求日】2021-08-20

(31)【優先権主張番号】201910132043.8

(32)【優先日】2019-02-22

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520159673

【氏名又は名称】影石創新科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＡＲＡＳＨＩ ＶＩＳＩＯＮ ＩＮＣ．

【住所又は居所原語表記】Ｒｏｏｍ １１０１， １１０２， １１０３， １１ｔｈ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ ２， Ｊｉｎｌｉｔｏｎｇ Ｆｉｎａｎｃｉａｌ Ｃｅｎｔｅｒ， １１００ Ｘｉｎｇｙｅ Ｒｏａｄ， Ｈａｉｗａｎｇ Ｃｏｍｍｕｎｉｔｙ， Ｘｉｎ’ａｎ Ｓｔｒｅｅｔ， Ｂａｏ’ａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100079577

【弁理士】

【氏名又は名称】岡田 全啓

(74)【代理人】

【識別番号】100167966

【弁理士】

【氏名又は名称】扇谷 一

(72)【発明者】

【氏名】姜 文▲傑▼

(72)【発明者】

【氏名】蔡 ▲錦▼霖

(72)【発明者】

【氏名】▲劉▼ 靖康

【審査官】富樫 明

(56)【参考文献】

【文献】国際公開第００／０４００１１（ＷＯ，Ａ１）

【文献】特開２０１２－０１０２６５（ＪＰ，Ａ）

【文献】特開２００５－３２３２７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／９１

Ｈ０４Ｎ ５／７６５

Ｈ０４Ｎ ５／９２

Ｈ０４Ｎ ２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

動画を自動編集する方法であって、
編集する動画を取得するステップと、
編集する動画のキーフレームを抽出するステップと、
前記キーフレームを事前トレーニングシーン分類法及び事前トレーニングターゲット検出方法に入力して、前記キーフレームのシーンタイプラベル及びターゲットオブジェクトラベルをそれぞれ得るステップと、
前記編集する動画から、事前設定された編集ルールを満たす複数の動画セグメントをスクリーニングするステップであって、前記事前設定された編集ルールは、事前設定されたショットのタイプと、事前設定されたショットのタイプが対応する編集する動画セグメントのキーフレーム数を含み、前記ショットのタイプは、シーンタイプとターゲットオブジェクトによって決定され、前記事前設定された編集ルールでは、各ショットのタイプが対応する編集する動画セグメントの連続するキーフレームの数が所定値以上であると事前設定される、スクリーニングするステップと、
事前トレーニング画質スコアリング法により前記複数の動画セグメントの平均スコアをそれぞれ算出するステップと、
各ショットのタイプにおいて平均スコアが最も高い動画セグメントを取得してスティッチングするステップと、を含む、
ことを特徴とする動画を自動編集する方法。

【請求項2】

【請求項3】

【請求項4】

【請求項5】

【請求項6】

各ショットのタイプにおいて平均スコアが最も高い動画セグメントをそれぞれ取得してスティッチングする、
ことを特徴とする請求項１に記載の動画を自動編集する方法。

【請求項7】

スティッチングが完了した後、事前設定されたバックグラウンドミュージックを追加する、
ことを特徴とする請求項１に記載の動画を自動編集する方法。

【請求項8】

コンピュータ読み取り可能な記憶媒体であって、プロセッサによって実行されると、請求項１～７のいずれか１項に記載の動画を自動編集する方法のステップを実現するコンピュータプログラムを記憶し、非一時的なコンピュータ読み取り可能な記憶媒体である、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。

【請求項9】

ポータブル型端末であって、
１つ又は複数のプロセッサと、
メモリと、
メモリに格納され、前記１つ又は複数のプロセッサによって実行されると、請求項１～７のいずれか１項に記載の動画を自動編集する方法のステップを実現するように構成される１つ又は複数のコンピュータプログラムと、を含む、
ことを特徴とするポータブル型端末。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画分野に属し、特に、動画を自動編集する方法及びポータブル型端末に関する。

【背景技術】

【0002】

マルチメディア技術の発展に伴い、さまざまな画像・音声・動画が人々の生活に多くの楽しみを加えている。映画、ドラマ又は撮影した短編映画などの動画ファイルを見る際には、通常、興味があるクリップを選択するが、これらのクリップを精確に見つけることは困難となる。特に、携帯端末を使って動画を見るのに慣れているユーザーは、基本的には、指を使ってタッチスクリーンのプログレスバーで関連操作を行うので、見るのがとても不便となる。

【0003】

従来の動画編集では、主に、編集する各動画を人工でプレビューし、ゲームのハイライトを自分で判断して編集する人工による方法が採用されている。この方法は、動画の編集効率が低くなるとともに、人間の操作エラーのために動画編集の精度も低くなる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、動画を自動編集する方法、コンピュータ読み取り可能な記憶媒体及びポータブル型端末を提供し、人的要因によって引き起こされる低い編集効率および低い精度の問題を回避し、動画を自動編集する効果を実現することを目的としている。

【課題を解決するための手段】

【0005】

本発明の第１の態様は、
編集する動画を取得するステップと、
編集する動画のキーフレームを抽出するステップと、
キーフレームを事前トレーニングシーン分類法及び事前トレーニングターゲット検出方法に入力して、キーフレームのシーンタイプラベル及びターゲットオブジェクトラベルをそれぞれ得るステップと、
編集する動画から、事前設定された編集ルールを満たす複数の動画セグメントをスクリーニングするステップと、
事前トレーニング画質スコアリング法により複数の動画セグメントの平均スコアをそれぞれ算出するステップと、
各ショットのタイプにおいて平均スコアが最も高い動画セグメントをそれぞれ取得してスティッチングするステップと、を含む動画を自動編集する方法を提供する。

【0006】

本発明の第２の態様は、プロセッサによって実行されると、第１の態様に記載の動画を自動編集する方法のステップを実現するコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体を提供する。

【0007】

本発明第３の態様は、
１つ又は複数のプロセッサと、
メモリと、
メモリに格納され、前記１つ又は複数のプロセッサによって実行されると、第１の態様に記載の３Ｄ小惑星ダイナミックマップの生成方法のステップを実現するように構成される１つ又は複数のコンピュータプログラムと、を含むポータブル型端末を提供する。

【発明の効果】

【0008】

本発明では、事前トレーニングシーン分類法と画質スコアリング法により、編集ルールとフローを生成することにより、動画を自動編集する効果が実現される。本発明の技術案は、人的要因によって引き起こされる低い編集効率および低い精度の問題を回避し、動画編集の効率を改善することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、本発明の実施例１によって提供される動画を自動編集する方法のフローチャートである。

【図2】図２は、本発明の実施例１によって提供される事前設定された編集ルールを満たす動画セグメントをスクリーニングするフローチャートである。

【図3】図３は、本発明の実施例３によって提供されるポータブル型端末の概略的な構造図である。

【発明を実施するための形態】

【0010】

本発明の目的、技術案および有益な効果をより明確にするために、以下、添付した図面および実施例を参照して本発明を詳細に説明する。本明細書に記載の特定の実施形態は、本発明を説明するためのものであり、本発明を限定するものではないことを理解されたい。
本発明の技術案を説明するために、以下、特定の実施例により説明する。

【実施例1】

【0011】

図１を参照して、本発明の実施例１によって提供される動画を自動編集する方法は以下のステップを含む。

【0012】

Ｓ１０１では、編集する動画を取得する。

【0013】

【0014】

なお、本発明の実施例では、前記編集する動画は、映画、ドラマ又はユーザ自身が撮影した短編映画などの動画であってもよいし、他のタイプ又は由来の動画、若しくはｍｐ４、Ｉｎｓｖなどの一般的な形式の動画であってもよいが、これらに限定されない。

【0015】

Ｓ１０２では、編集する動画のキーフレームを抽出する。

【0016】

前記編集する動画のキーフレームを抽出するには、サードパーティライブラリであるｆｆｍｐｅｇを使用してキーフレームを抽出してもよいが、これらに限定されない。

【0017】

なお、キーフレームには画像の背景や動く被写体の情報が記述されているため、キーフレームの画像データを読み取ることで動画の画像内容を取得できる。動画ファイルのパッケージ形式には、キーフレームリストが示されている。例えば、ｍｐ４形式の動画では、ｓｔｓｓ ｂｏｘはキーフレームリストを示す情報であり、各キーフレームの動画時刻と動画ファイルのアドレス偏差を含み、ｓｔｓｓ ｂｏｘの情報を読み取ることにより、編集する動画の各キーフレームの画像を取得できる。

【0018】

Ｓ１０３では、事前トレーニングシーン分類法及び事前トレーニングターゲット検出方法により、キーフレームに対してシーンタイプのラベル及びターゲットオブジェクトのラベルをそれぞれ抽出する。

【0019】

【0020】

【0021】

なお、事前トレーニングシーン分類法は、深い畳み込みネットワークに基づく事前トレーニングされたシーン分類アルゴリズムであり、画像のシーンタイプを判断でき、事前トレーニングターゲット検出方法は、深い畳み込みネットワークに基づく事前トレーニングされたターゲット検出アルゴリズムであり、画像に事前設定されたターゲットオブジェクトがあるかどうかを検出できる。

【0022】

Ｓ１０４では、編集する動画から、事前設定された編集ルールを満たす複数の動画セグメントをスクリーニングする。

【0023】

事前設定された編集ルールは、事前設定されたショットのタイプと、事前設定された各ショットのタイプが対応する編集する動画セグメントのキーフレーム数を含む。

【0024】

事前設定された編集ルールの事前設定されたショットのタイプは、シーンタイプとターゲットオブジェクトによって決まり、即ち、１つの事前設定されたショットのタイプは、１つの事前設定されたシーンタイプと１つ又は複数のターゲットオブジェクトによって決定される。事前設定されたショットのタイプは、仕事、旅行、ショッピング、風景、スポーツなどの日常シーンを含むが、これらに限定されない。例えば、事前設定されたショットのタイプが仕事であるシーンタイプは、オフィス又は会議室であってもよく、および／又はターゲットオブジェクトは、コンピュータ、机、キーボードおよび／又はマウスなどであってもよい。

【0025】

図２を参照して、事前設定された編集ルールを満たす動画セグメントをスクリーニングすることは、具体的には、以下のステップを含む。

【0026】

【0027】

Ｓ１０４２では、各キーフレームのショットのタイプが現在検出されているショットのタイプであるかどうかを順番に判断する。

【0028】

【0029】

Ｓ１０４３では、動画セグメントを編集し、前記編集された動画セグメントのショットのタイプが現在検出されているショットのタイプを満たすかどうかを順番に判断する。

【0030】

【0031】

Ｓ１０４４では、各ショットのタイプを満たす動画セグメントをそれぞれ取得する。

【0032】

【0033】

Ｓ１０５では、事前トレーニング画質スコアリング法により複数の動画セグメントの平均スコアをそれぞれ算出する。

【0034】

事前設定された編集ルールを満たす複数の動画セグメントの平均スコアをそれぞれ算出することは、具体的には、以下のとおりである。

【0035】

【0036】

【0037】

Ｓ１０６では、各ショットのタイプにおいて平均スコアが最も高い動画セグメントをそれぞれ取得してスティッチングする。

【0038】

各ショットのタイプにおいて平均スコアが最も高い動画セグメントをそれぞれ取得してスティッチングして、新しい動画ファイルを生成することは、具体的には次のとおりである。

【0039】

【0040】

スティッチングが完了した後、事前設定されたバックグラウンドミュージックを追加してもよい。事前設定されたバックグラウンドミュージックは、複数あってもよく、通常の音楽および音声ファイルを含むが、これらに限定されない。

【0041】

本発明では、事前トレーニングシーン分類法と画質スコアリング法により、編集ルールとフローを生成することにより、動画を自動編集する効果が実現される。本発明の技術案は、人的要因によって引き起こされる低い編集効率および低い精度の問題を回避し、動画編集の効率を改善することができる。

【実施例2】

【0042】

本発明の実施例２は、プロセッサによって実行されると、本発明の実施例１に提供される動画を自動編集する方法のステップを実現するコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ読み取り可能な記憶媒体は、非一時的なコンピュータ読み取り可能な記憶媒体であってもよい。

【実施例3】

【0043】

図３は、本発明の実施例３に提供されるポータブル型端末の特定の構造ブロック図を示している。ポータブル型端末１００は、１つ又は複数のプロセッサ１０１と、メモリ１０２と、１つ又は複数のコンピュータプログラムと、を含み、前記プロセッサ１０１と前記メモリ１０２とは、バスによって接続され、前記１つ又は複数のコンピュータプログラムは、前記メモリ１０２に格納され、前記１つ又は複数のプロセッサ１０１によって実行されると、本発明の実施例１に提供される動画を自動編集する方法のステップを実現するように構成される。

【0044】

当業者であれば分かるように、本発明の実施例において、上記の実施例に係る方法のステップの全部又は一部は、プログラムにより関連するハードウェアを指示することで実現されてもよい。前記プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。前記記憶媒体は、例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスクなどである。

【0045】

上記は、本発明の好ましい実施例にすぎず、本発明を限定するものではない。本発明の精神および原理の範囲内で行われる変更、同等の置換および改善は、すべて本発明の保護範囲に含まれるべきである。

【図1】

【図2】

【図3】