(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023073184
(43)【公開日】2023-05-25
(54)【発明の名称】動画編集システム
(51)【国際特許分類】
H04N 21/854 20110101AFI20230518BHJP
H04N 21/235 20110101ALI20230518BHJP
H04N 5/91 20060101ALI20230518BHJP
H04N 5/92 20060101ALI20230518BHJP
H04N 5/765 20060101ALI20230518BHJP
G11B 27/02 20060101ALI20230518BHJP
【FI】
H04N21/854
H04N21/235
H04N5/91
H04N5/92 010
H04N5/765
G11B27/02 Z
【審査請求】有
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022049158
(22)【出願日】2022-03-24
(31)【優先権主張番号】P 2021185842
(32)【優先日】2021-11-15
(33)【優先権主張国・地域又は機関】JP
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.FLASH
(71)【出願人】
【識別番号】391021363
【氏名又は名称】株式会社高山化成
(74)【代理人】
【識別番号】110003764
【氏名又は名称】弁理士法人OMNI国際特許事務所
(74)【代理人】
【識別番号】100130580
【弁理士】
【氏名又は名称】小山 靖
(72)【発明者】
【氏名】藤原 真司
【テーマコード(参考)】
5C053
5C164
5D110
【Fターム(参考)】
5C053FA14
5C053GB06
5C053JA21
5C053LA06
5C053LA14
5C164FA29
5C164GA05
5C164MA06S
5C164MC04P
5C164SB08P
5C164SB41S
5C164SC01S
5C164YA11
5D110CA05
5D110CA06
5D110CA07
5D110CA47
(57)【要約】
【課題】動画編集の作業性及び利便性を大幅に向上させ、自由度の高い動画編集が可能な動画編集システムを提供する。
【解決手段】本発明は、管理者端末30と動画編集サーバ10とを備え、動画編集サーバ10は、動画を再生する動画再生領域131とタイムライン表示領域132とを少なくとも含む第1動画編集画面を、管理者端末30に表示させる第1編集画面表示部111と、タイムライン表示領域132内の第1テキストオブジェクト135を配置し、第1テキストオブジェクト135に入力された文字列を表すテキストデータを受け付けるテキストオブジェクト配置部112と、第1テキストオブジェクト135に入力されたテキストデータに基づき、タイムライン表示領域132内に配置された第1テキストオブジェクト135の位置に対応する動画の再生時刻に、文字列を第1テロップとして動画に重畳表示させる第1テロップ表示部113とを備える。
【選択図】
図4
【特許請求の範囲】
【請求項1】
管理者端末と、前記管理者端末にネットワークを介して接続された動画編集サーバと、を少なくとも備える動画編集システムに於いて、
前記動画編集サーバは、
動画を再生する動画再生領域と、前記動画の再生時間のタイムラインを表示するタイムライン表示領域とを少なくとも含む第1動画編集画面を、前記管理者端末に表示させる第1編集画面表示部と、
前記管理者端末からの要求により、前記タイムライン表示領域内の任意の位置に少なくとも1つの第1テキストオブジェクトを配置し、前記第1テキストオブジェクトに入力された文字列を表すテキストデータを受け付けるテキストオブジェクト配置部と、
前記第1テキストオブジェクトに入力された前記テキストデータに基づき、前記タイムライン表示領域内に配置された前記第1テキストオブジェクトの位置に対応する前記動画の再生時刻に、前記文字列を第1テロップとして再生中の前記動画に重畳表示させる第1テロップ表示部と、
を備える動画編集システム。
【請求項2】
前記第1編集画面表示部は、前記タイムライン表示領域内に於いて、任意の位置にオブジェクトの配置を可能にするオブジェクト配置領域をさらに前記管理者端末に表示させるものであり、
前記動画編集サーバは、
前記管理者端末からの要求により、前記オブジェクト配置領域の任意の位置に少なくとも1つのオブジェクトを配置するオブジェクト配置部と、
前記オブジェクト配置領域内に配置された前記オブジェクトの位置に対応する前記動画の再生時刻に、第2テキストオブジェクトを前記動画に重畳表示させるテキストオブジェクト表示部と、
前記管理者端末からの要求により、前記テキストオブジェクト表示部により前記動画に重畳表示された前記第2テキストオブジェクトに、文字列を表すテキストデータの入力を受け付けるテキストオブジェクト編集部と、
前記テキストオブジェクト編集部により受け付けられた前記文字列を、前記オブジェクト配置領域内に配置された前記第2テキストオブジェクトの位置に対応する前記動画の再生時刻に、第2テロップとして再生中の前記動画に重畳表示させる第2テロップ表示部と、
をさらに備える請求項1に記載の動画編集システム。
【請求項3】
前記動画編集サーバに前記ネットワークを介して接続された多言語翻訳サーバをさらに備え、
前記テキストオブジェクト配置部及び前記テキストオブジェクト編集部は、前記第1テキストオブジェクト又は前記第2テキストオブジェクトに入力された文字列を表すテキストデータを前記多言語翻訳サーバに送信し、
前記多言語翻訳サーバは、前記テキストオブジェクト配置部又は前記テキストオブジェクト編集部から受信した前記テキストデータに基づき、前記文字列とは異なる少なくとも1つ以上の言語に翻訳し、翻訳後の文字列を表すテキストデータを前記動画編集サーバに送信し、
前記第1テロップ表示部及び前記第2テロップ表示部は、前記多言語翻訳サーバから受信した前記翻訳後の文字列を表すテキストデータに基づき、前記翻訳後の文字列を第1テロップ又は第2テロップとして、再生中の前記動画にそれぞれ重畳表示させる請求項2に記載の動画編集システム。
【請求項4】
前記動画編集サーバは、
音声合成用の音情報が格納された記憶部と、
前記記憶部に格納されている前記音情報を読み出して、前記第1テキストオブジェクトに入力された前記文字列を表すテキストデータ、又は前記翻訳後の文字列を表すテキストデータに対応した合成音声を生成する音声合成部と、
前記音声合成部で合成された音声を、前記第1テロップ表示部による前記第1テロップの重畳表示に同期させて出力する音声出力部と、
をさらに備える請求項3に記載の動画編集システム。
【請求項5】
前記テキストオブジェクト配置部は、前記タイムライン表示領域内の任意の位置に配置された前記第1テキストオブジェクトの領域を拡張又は縮小することにより、前記動画に重畳表示させる前記第1テロップの重畳表示時間を調整する請求項1~4の何れか1項に記載の動画編集システム。
【請求項6】
前記オブジェクト配置部は、前記オブジェクト配置領域内の任意の位置に配置された前記オブジェクトの領域を拡張又は縮小することにより、前記動画に重畳表示させる前記第2テロップの重畳表示時間を調整する請求項2~4の何れか1項に記載の動画編集システム。
【請求項7】
前記動画編集サーバは、
前記記憶部に格納されている素材動画データを呼び出し、前記素材動画データを構成する複数のフレーム画像を時系列に配置して表示する第2動画編集画面を、前記管理者端末に表示させる第2編集画面表示部と、
前記第2動画編集画面に於いて、時系列に配置して表示されている前記複数のフレーム画像に対して、1以上のフレーム画像を含む一部区間を範囲指定することにより、範囲指定されなかった区間を削除するカット編集部と、
をさらに備える請求項1~6の何れか1項に記載の動画編集システム。
【請求項8】
前記第2編集画面表示部は、複数の前記素材動画データを前記記憶部から呼び出し、前記素材動画データを構成する複数のフレーム画像を時系列にそれぞれ配置して表示するものであり、
前記動画編集サーバは、
前記第2編集画面表示部が呼び出した複数の前記素材動画データに基づき、1つの画面内で同期させて各々再生させる合成動画を生成する合成動画生成部をさらに備える請求項7に記載の動画編集システム。
【請求項9】
前記カット編集部は、
前記合成動画に於ける任意の1つの素材動画を構成する複数のフレーム画像に対し、前記範囲指定した区間の長さを変更した場合、
他の素材動画を構成する複数のフレーム画像に対しても、前記範囲指定した区間に対応する区間の長さを同期して変更する請求項8に記載の動画編集システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザー端末上の簡単な編集操作により、任意の動画(映像)にテキスト及び音声を重畳表示させることを可能にする動画編集システムに関する。
【背景技術】
【0002】
近年、日本国内に於ける外国人労働者の増加に伴い、外国人労働者とのコミュニケーションや、育成及び技術指導に関する課題を抱える企業が増加している。特に、製造現場で使用される特有の専門用語等を日本語で技術指導等を行うのは、外国人労働者にとって難解であり、技術指導を行う方にも過度な負担を強いる。他方、外国人労働者の技術指導等に於いては動画や画像を用いた業務マニュアルを活用することが有用であるとの調査結果もある。
【0003】
動画等を用いた業務マニュアルの作製に於いては、撮影された動画を、コンピュータ上で動作する動画編集ソフトウェアを用いて編集処理を行う場合がある。編集処理としては、例えば、撮影や記録によって得られた各種の情報及び目次、タイトル等の付帯情報、並びに音声出力を動画に追加すること等が行われる。
【0004】
しかし、動画の編集処理には、ビデオ編集の技術や、HTML(Hypertext Markup Language)及びFlashの知識等が必要となる。これらの技術及び知識等を備えない場合、従来の動画編集システムでは動画コンテンツの製作及び編集が困難であり、また、たとえこれらの技術等を備えていたとしても、動画の編集処理には多大な時間と手間を要し、簡単に動画編集を行うことは困難である。
【0005】
この点に関し、例えば、特許文献1には、コンテンツ素材情報をレイアウト上に配置していくルールを予め定め、保持させておき、このルールに従って、コンテンツ素材情報を自動的に配置してコンテンツを生成する、コンテンツ生成システムが開示されている。これにより、ユーザーは、用意したコンテンツ素材にルールを適用するだけで、自動的にコンテンツを生成することが可能とされている。また、コンテンツ生成のための特別の知識や技術がなくても簡単にコンテンツを作成することができ、時間条件に制限されることなく自由に再生できるとされている。
【0006】
しかし、特許文献1に記載のコンテンツ生成システムでは、コンテンツ素材情報をレイアウト上に配置する際、予め定められたルールに従って編集処理を行う必要があるため、ユーザーには動画編集の自由度が低いという問題がある。
【先行技術文献】
【特許文献】
【0007】
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は前記問題点に鑑みなされたものであり、その目的は、動画編集の作業性及び利便性を大幅に向上させ、自由度の高い動画編集が可能な動画編集システムを提供することにある。
【課題を解決するための手段】
【0009】
本発明の動画編集システムは、前記の課題を解決するために、管理者端末と、前記管理者端末にネットワークを介して接続された動画編集サーバと、を少なくとも備える動画編集システムに於いて、前記動画編集サーバは、動画を再生する動画再生領域と、前記動画の再生時間のタイムラインを表示するタイムライン表示領域とを少なくとも含む第1動画編集画面を、前記管理者端末に表示させる第1編集画面表示部と、前記管理者端末からの要求により、前記タイムライン表示領域内の任意の位置に少なくとも1つの第1テキストオブジェクトを配置し、前記第1テキストオブジェクトに入力された文字列を表すテキストデータを受け付けるテキストオブジェクト配置部と、前記第1テキストオブジェクトに入力された前記テキストデータに基づき、前記タイムライン表示領域内に配置された前記第1テキストオブジェクトの位置に対応する前記動画の再生時刻に、前記文字列を第1テロップとして再生中の前記動画に重畳表示させる第1テロップ表示部と、を備えることを特徴とする。
【0010】
前記の構成に於いて、前記第1編集画面表示部は、前記タイムライン表示領域内に於いて、任意の位置にオブジェクトの配置を可能にするオブジェクト配置領域をさらに前記管理者端末に表示させるものであり、前記動画編集サーバは、前記管理者端末からの要求により、前記オブジェクト配置領域の任意の位置に少なくとも1つのオブジェクトを配置するオブジェクト配置部と、前記オブジェクト配置領域内に配置された前記オブジェクトの位置に対応する前記動画の再生時刻に、第2テキストオブジェクトを前記動画に重畳表示させるテキストオブジェクト表示部と、前記管理者端末からの要求により、前記テキストオブジェクト表示部により前記動画に重畳表示された前記第2テキストオブジェクトに、文字列を表すテキストデータの入力を受け付けるテキストオブジェクト編集部と、前記テキストオブジェクト編集部により受け付けられた前記文字列を、前記オブジェクト配置領域内に配置された前記第2テキストオブジェクトの位置に対応する前記動画の再生時刻に、第2テロップとして再生中の前記動画に重畳表示させる第2テロップ表示部と、をさらに備えることが好ましい。
【0011】
さらに前記の構成に於いては、前記動画編集サーバに前記ネットワークを介して接続された多言語翻訳サーバをさらに備え、前記テキストオブジェクト配置部及び前記テキストオブジェクト編集部は、前記第1テキストオブジェクト又は前記第2テキストオブジェクトに入力された文字列を表すテキストデータを前記多言語翻訳サーバに送信し、前記多言語翻訳サーバは、前記テキストオブジェクト配置部又は前記テキストオブジェクト編集部から受信した前記テキストデータに基づき、前記文字列とは異なる少なくとも1つ以上の言語に翻訳し、翻訳後の文字列を表すテキストデータを前記動画編集サーバに送信し、前記第1テロップ表示部及び前記第2テロップ表示部は、前記多言語翻訳サーバから受信した前記翻訳後の文字列を表すテキストデータに基づき、前記翻訳後の文字列を第1テロップ又は第2テロップとして、再生中の前記動画にそれぞれ重畳表示させることが好ましい。
【0012】
また前記の構成に於いて、前記動画編集サーバは、音声合成用の音情報が格納された記憶部と、前記記憶部に格納されている前記音情報を読み出して、前記第1テキストオブジェクトに入力された前記文字列を表すテキストデータ、又は前記翻訳後の文字列を表すテキストデータに対応した合成音声を生成する音声合成部と、前記音声合成部で合成された音声を、前記第1テロップ表示部による前記第1テロップの重畳表示に同期させて出力する音声出力部と、をさらに備えるようにしてもよい。
【0013】
前記の構成に於いて、前記テキストオブジェクト配置部は、前記タイムライン表示領域内の任意の位置に配置された前記第1テキストオブジェクトの領域を拡張又は縮小することにより、前記動画に重畳表示させる前記第1テロップの重畳表示時間を調整することが好ましい。
【0014】
前記の構成に於いて、前記オブジェクト配置部は、前記オブジェクト配置領域内の任意の位置に配置された前記オブジェクトの領域を拡張又は縮小することにより、前記動画に重畳表示させる前記第2テロップの重畳表示時間を調整することが好ましい。
【0015】
前記の構成に於いて、前記動画編集サーバは、前記記憶部に格納されている素材動画データを呼び出し、前記素材動画データを構成する複数のフレーム画像を時系列に配置して表示する第2動画編集画面を、前記管理者端末に表示させる第2編集画面表示部と、前記第2動画編集画面に於いて、時系列に配置して表示されている前記複数のフレーム画像に対して、1以上のフレーム画像を含む一部区間を範囲指定することにより、範囲指定されなかった区間を削除するカット編集部と、をさらに備えるようにしてもよい。
【0016】
また前記の構成に於いて、前記第2編集画面表示部は、複数の前記素材動画データを前記記憶部から呼び出し、前記素材動画データを構成する複数のフレーム画像を時系列にそれぞれ配置して表示するものであり、前記動画編集サーバは、前記第2編集画面表示部が呼び出した複数の前記素材動画データに基づき、1つの画面内で同期させて各々再生させる合成動画を生成する合成動画生成部をさらに備えることが好ましい。
【0017】
さらに前記の構成に於いて、前記カット編集部は、前記合成動画に於ける任意の1つの素材動画を構成する複数のフレーム画像に対し、前記範囲指定した区間の長さを変更した場合、他の素材動画を構成する複数のフレーム画像に対しても、前記範囲指定した区間に対応する区間の長さを同期して変更することが好ましい。
【発明の効果】
【0018】
本発明によれば、動画の再生時間のタイムラインを表示するタイムライン表示領域の任意の位置にテキストオブジェクトを配置することで、テキストオブジェクトに入力された文字列を第1テロップとして、再生する動画中に重畳表示させることができる。また、第1テロップを重畳表示させる時刻を、タイムライン表示領域に於いてオブジェクトの配置位置を調整することにより容易に設定することができる。すなわち、本発明によれば、動画編集の作業性及び利便性を大幅に向上させ、自由度の高い動画編集が可能な動画編集システムを提供することができる。
【図面の簡単な説明】
【0019】
【
図1】本発明の実施の形態1に係る動画編集システムの構成の一例を示す概念図である。
【
図2】本発明の実施の形態1に係る動画編集サーバのハードウェア構成を表すブロック図である。
【
図3】本発明の実施の形態1に係る管理者端末のハードウェア構成を表すブロック図である。
【
図4】本発明の実施の形態1に係る動画編集サーバの機能構成の一例を示すブロック図である。
【
図5】管理者端末に表示させる第1動画編集画面を表す説明図である。
【
図6】管理者による動画編集処理の流れを示すフローチャートである。
【
図7】動画編集処理に於ける第1テロップ編集処理の流れを示すフローチャートである。
【
図8】動画編集処理に於ける第2テロップ編集処理の流れを示すフローチャートである。
【
図9】第1動画編集画面に於いて、第2テキストオブジェクトの編集の様子を表す説明図である。
【
図10】編集済み動画再生時の第1テロップ表示処理の流れを示すフローチャートである。
【
図11】編集済み動画再生時の第2テロップ表示処理の流れを示すフローチャートである。
【
図12】本発明の実施の形態2に係る動画編集サーバの機能構成の一例を示すブロック図である。
【
図13】管理者端末に表示させる第2動画編集画面を表す説明図である。
【
図14】管理者による合成動画編集処理の流れを示すフローチャートである。
【
図15】カット編集処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0020】
(実施の形態1)
[動画編集システム]
先ず、本発明の実施の形態1に係る動画編集システムについて、以下に説明する。
【0021】
<動画編集システムの全体構成>
本実施の形態1の動画編集システムは、
図1に示すように、ネットワーク20を介して、動画編集サーバ10、管理者が使用する管理者端末30、ユーザーが使用するユーザー端末40及び多言語翻訳サーバ50が相互に通信可能に接続されて構成されている。
図1は、本実施の形態1に係る動画編集システムの構成の一例を示す概念図である。
【0022】
動画編集サーバ10は、例えば、ワークステーションやパーソナルコンピュータ、その他のコンピュータ装置に於いて、動画編集プログラムが実行されることで実現される。動画編集サーバ10は、動画データ及び音声データ等を格納し、管理者端末30からの要求により、素材となる動画コンテンツにテロップを重畳表示させるなどの動画編集を可能にする。また、動画編集サーバ10は、ユーザー端末40からの要求により、編集済み動画コンテンツの再生を可能にする。
【0023】
尚、本明細書に於いて、「動画」とは複数の静止画(フレーム画像)の列から構成されるものを意味する。「動画」には、例えば、コンピュータ・システム、ハンドヘルドコンピュータ、携帯電話、テレビ等の表示装置上に表示される動画が含まれる。コンピュータ等の表示装置上に表示される動画は例えば、仮想3次元空間の動画やネットワークを介して配信される動画を含む。動画の例としては、例えば、企業や家庭等で撮影された映像の他、テレビの映像等を含み得る。「動画データ」とは、前記動画のデータを意味する。動画データは、例えば、デジタル・データの形態で動画編集サーバ10に記録され得る。また、「テロップ」とは、動画(映像)コンテンツに重畳して表示される文字列(数字、記号及び符号等を含む。)を意味する。また本発明に於ける「テロップ」は、キャプション、サブタイトル、ティッカー、アラート又はスーパーインポーズ等と換言することもできる。
【0024】
動画編集サーバ10のハードウェア構成は、具体的には例えば、次の通りである。すなわち、動画編集サーバ10は、
図2に示すように、CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、通信制御インターフェース14、記憶装置15及び入力操作部16を少なくとも備える。また、これらの各構成要素は、
図2に示す通り、パス17を介して相互に通信可能に接続される。尚、
図2は、動画編集サーバのハードウェア構成を表すブロック図である。
【0025】
CPU11は、動画編集サーバ10の全体を制御するために各種演算処理等を行う。より具体的には、CPU11は、ROM12から動画編集プログラムを読み出し、RAM13を作業領域に用いて実行することで、動画編集サーバ10の各構成要素の動作を制御する。ROM12は、読み出し専用のメモリであって、例えば動画編集サーバ10の起動時にCPU11に実行させる初期プログラムなどを格納する。RAM13は、書き込み可能な揮発性のメモリであって、実行中のプログラムやデータ等を一時的に格納する。通信制御インターフェース14は、外部へのデータ送信の制御や外部からのデータ受信の制御を行う。動画編集サーバ10は、通信制御インターフェース14を介してネットワーク20と通信可能に接続される。記憶装置15は、例えば、磁気ディスク装置等からなり、動画編集サーバ10の電源がオフにされても保持されるべき各種プログラム・各種データを格納する。入力操作部16は、具体的には、キーボードやマウス等であって、管理者等による入力操作を受け付ける。
【0026】
ネットワーク20は、インターネットや専用回線、WAN(Wide Area Network)、電灯線ネットワーク、無線ネットワーク、公衆回線網、携帯電話網等の種々のものを用いることにより実現される。さらに、ネットワーク20はVPN(Virtual Private Network)等の仮想専用ネットワーク技術を用いることで、セキュリティ性を向上させたインターネット通信を確立するようにしてもよい。
【0027】
管理者端末30は、携帯電話、スマートフォン、PHS(Personal Handy-phone System)及びPDA(Personal Digital Assistant)等の携帯端末装置、並びにデスクトップ型又はノート型のパーソナルコンピュータ等の情報処理装置等により実現される。管理者端末30には、本実施の形態1の動画編集システムを実現するために、インターネットブラウザ等が搭載されていることが好ましい。また管理者端末30のハードウェア構成は、例えば、
図3に示すように、CPU31、ROM32、RAM33、表示部34、入力部35及び通信制御インターフェース36を少なくとも備える。
図3は、管理者端末30のハードウェア構成を表すブロック図である。
【0028】
CPU31は、管理者端末30の全体を制御するために各種演算処理等を行う。より具体的には、CPU31は、ROM32からコンピュータプログラムを読み出し、RAM33を作業領域に用いて実行することで、管理者端末30の各構成要素の動作を制御する。ROM32は、書き込み可能な不揮発性のメモリであって、管理者端末30の電源がオフにされても保持されるべき各種プログラム・各種データを格納することができる。RAM33は、書き込み可能な揮発性のメモリであって、実行中のプログラムやデータ等を一時的に格納することができる。表示部34は、例えば、液晶又は有機EL(Electro Luminescence)等から構成されるディスプレイ、モニタ、又はタッチパネル等により実現される。通信制御インターフェース36は、管理者端末30から外部へのデータ送信の制御や、外部から管理者端末30へのデータ受信の制御を行う。管理者端末30は、通信制御インターフェース36を介してネットワーク20と通信可能に接続される。
【0029】
ユーザー端末40は、携帯電話、スマートフォン、PHS及びPDA等の携帯端末装置、並びにデスクトップ型又はノート型のパーソナルコンピュータ等の情報処理装置等により実現される。本実施の形態1の動画編集システムに於いて、ユーザー端末40は少なくとも1台あればよく、複数台でもよい。ユーザー端末40には、本実施の形態1の動画編集システムを実現するために、インターネットブラウザ等が搭載されていることが好ましい。ユーザー端末40のハードウェア構成は管理者端末30と同様、CPU、ROM、RAM、表示部、入力部及び通信制御インターフェースを少なくとも備えたハードウェア構成を採用することができる。従って、ユーザー端末40のハードウェア構成の詳細については、その説明を省略する。
【0030】
多言語翻訳サーバ50は、動画編集サーバ10から取得したテロップ用の文字列をテキストデータに対し1以上の他の言語に翻訳する機能を有する。多言語翻訳サーバ50は、例えば、辞書データベース(図示しない)に翻訳用の辞書情報を予め格納しておいてもよい。多言語翻訳サーバ50は、動画編集サーバ10からテロップ用の文字列の翻訳要求を受け付けると共に、当該文字列のテキストデータを取得する。また多言語翻訳サーバ50は、必要に応じて翻訳用の辞書情報を参照しながら、文字列を他の言語に翻訳した後、翻訳後の文字列を表すテキストデータを動画編集サーバ10に送信する。
【0031】
尚、多言語翻訳サーバ50としては、既存の多言語翻訳サービスで提供されるものを利用することもできる。既存の多言語翻訳サービスとしては特に限定されず、例えば、Google(登録商標)翻訳等が挙げられる。
【0032】
<動画編集サーバ>
次に、動画編集サーバ10の機能構成について、以下に説明する。
動画編集サーバ10は、
図4に示すように、機能概念的には制御部101、記憶部102及びインターフェース部103を少なくとも備える。
図4は、動画編集サーバ10の機能構成の一例を示すブロック図である。
【0033】
制御部101は、OS(Operating System)等の制御プログラムや、各種の処理手順等を規定したプログラム、及び所要データを格納するための内部メモリを有する。制御部101は、これらのプログラム等により、種々の処理を実行するための情報処理を行う。制御部101は、
図4に示すように、機能概念的には第1編集画面表示部111、テキストオブジェクト配置部112、第1テロップ表示部113、オブジェクト配置部114、テキストオブジェクト表示部115、テキストオブジェクト編集部116、第2テロップ表示部117、音声合成部118及び音声出力部119を少なくとも備える。
【0034】
第1編集画面表示部111は、管理者端末30に第1動画編集画面130を表示させる。第1動画編集画面130には、
図5に示すように、動画を再生する動画再生領域131と、前記動画の再生時間のタイムラインを表示するタイムライン表示領域132とを少なくとも含む。
図5は、第1動画編集画面130を表す説明図である。
【0035】
動画再生領域131は、動画編集サーバ10の記憶部102に格納されている動画データに基づき動画を再生表示する。タイムライン表示領域132は、動画の再生時間のタイムラインを表示する。またタイムライン表示領域132は、第1テキストオブジェクト135の配置を可能にするテキストオブジェクト配置領域133と、オブジェクト136の配置を可能にするオブジェクト配置領域134とを有する(これらの詳細については後述する。)。
【0036】
タイムライン表示領域132は、
図5の矢印Xで示す方向に向かって再生時間の時間経過を表す。また、タイムライン表示領域132には、現在の再生時間位置を示す再生時刻表示線137も表示される。再生時刻表示線137は、動画が再生されると、再生時間の経過と共に矢印Xで示す方向に水平移動する。また、動画の再生が一時停止される場合、再生時刻表示線137は一時停止となった時刻で水平移動を停止する。そして再生時刻表示線137と、後述の第1テキストオブジェクト及びオブジェクトとの位置関係から、現在どの第1テキストオブジェクトに基づく第1テロップ138、又はどのオブジェクトに基づく第2テロップが動画中に重畳表示されているかを容易に確認することができる。例えば、水平移動する再生時刻表示線137が第1テキストオブジェクトと重なって表示されている場合には、第1テキストオブジェクト内に入力された文字列が第1テロップ138として動画に重畳表示される。
【0037】
テキストオブジェクト配置部112は、管理者端末30の要求に応じて、動画の再生中に重畳表示させる第1テロップの再生時刻や終了時刻、及び第1テロップとして表示させる内容を簡便に編集可能にする。
【0038】
すなわち、テキストオブジェクト配置部112は、管理者端末30からの要求に応じて、テキストオブジェクト配置領域133内の任意の位置に少なくとも1つの第1テキストオブジェクト135を配置することを受け付ける。また、テキストオブジェクト配置部112は、配置された第1テキストオブジェクト135のテキストオブジェクト配置領域133内での移動や、第1テキストオブジェクト135の領域の拡張及び縮小を、管理者端末30からの要求に応じて受け付ける。ここで、テキストオブジェクト配置領域133内に配置された第1テキストオブジェクト135の左端の位置は、当該第1テキストオブジェクト135内にテキスト入力された文字列が第1テロップ138として再生中の動画内に重畳表示される開始時刻に対応する。また、第1テキストオブジェクト135の右端の位置は、動画内での第1テロップ138の重畳表示が終了する時刻に対応する。従って、管理者は、第1テキストオブジェクト135をテキストオブジェクト配置領域133内で移動させ、又は第1テキストオブジェクト135の領域を拡張又は縮小させるだけで、再生中の動画に重畳表示させる第1テロップの開始時刻や終了時刻(重畳表示時間)を簡便に調節することができる。尚、第1テキストオブジェクト135の移動、拡張及び縮小は、管理者端末30の入力手段、具体的には、例えば、マウス等により可能である。第1テキストオブジェクト135の領域の拡張及び縮小は、例えば、テキストオブジェクト配置領域133内に於いて、動画の再生時間のタイムラインを示す矢印Xで示す方向、又はその反対方向に行う。
【0039】
また、テキストオブジェクト配置部112は、管理者端末30の入力手段により第1テキストオブジェクト135内への文字列を表すテキストデータの入力を受け付ける。さらに、テキストオブジェクト配置部112は、管理者端末30の要求に応じて、第1テキストオブジェクト135内に入力された文字列の多言語翻訳を受け付けることもできる。この場合、テキストオブジェクト配置部112は第1テキストオブジェクト135内に入力された文字列を表すテキストデータを多言語翻訳サーバ50に送信し、多言語翻訳サーバ50で翻訳された翻訳後の文字列を表すテキストデータを受け付ける。尚、文字列を表すテキストデータとは、文字情報、数字情報、記号情報及びこれらが結合した情報を含む。
【0040】
テキストオブジェクト配置部112は、テキストオブジェクト配置領域133内に第1テキストオブジェクト135が配置されると、第1テロップ情報を動画データに対応付けてテロップ情報データベース(詳細については後述する。)に格納させる。第1テロップ情報には、第1テロップ138の重畳表示の開始時刻情報及び終了時刻情報の他、第1テキストオブジェクト135に入力された文字列を表すテキストデータや翻訳後の文字列を表すテキストデータ、図形情報及び音声情報が含まれる。また第1テロップ情報には、第1テロップ138の動画内に於ける表示位置に関する情報を含ませてもよい。
【0041】
第1テロップ表示部113は、テロップ情報データベースに格納されている第1テロップ情報を読み出し、当該第1テロップ情報に基づき、第1テロップ138を再生中の動画の任意の位置に重畳表示させる。第1テロップ138として表示される文字列は、第1テロップ情報に含まれる第1テキストオブジェクト135に入力された文字列を表すテキストデータ、又は翻訳後の文字列を表すテキストデータに基づき生成される。また、第1テロップ138の重畳表示は、第1テロップ情報に含まれる第1テロップ138の重畳表示の開始時刻情報及び終了時刻情報に基づき、所定の再生時刻に重畳表示が開始され、かつ終了する。第1テキストオブジェクト135が、テキストオブジェクト配置部112により、テキストオブジェクト配置領域133内に複数配置されている場合は、第1テロップ表示部113は、順次、テロップ情報データベースに格納されている第1テロップ情報を読み出し、それぞれの第1テキストオブジェクト135に入力されたテキストデータの文字列を第1テロップ138として、所定の再生時刻に重畳表示させる。
【0042】
オブジェクト配置部114は、管理者端末30からの要求に応じて、オブジェクト配置領域134内の任意の位置に少なくとも1つのオブジェクト136を配置することを受け付ける。オブジェクト136をオブジェクト配置領域134内で自由に配置可能にすることで、管理者はオブジェクト136の管理を視覚的に行うことができる。その結果、多数のオブジェクト136を配置する場合にも管理が煩雑になるのを回避できる上、管理者がオブジェクト136の編集を行う場合にも、編集対象となるオブジェクト136を容易に見つけ出すことができるなど、操作性及び作業効率の向上が図れる。また、オブジェクト配置部114は、配置されたオブジェクト136のオブジェクト配置領域134内での移動や、オブジェクト136の領域の拡張及び縮小を、管理者端末30からの要求に応じて受け付ける。ここで、オブジェクト配置領域134内に配置されたオブジェクト136の左端の位置は、第2テロップ(又は、第2テキストオブジェクト139)を再生中の動画内に重畳表示させる開始時刻に対応する。また、オブジェクト136の右端の位置は、第2テロップ(又は、第2テキストオブジェクト139)を再生中の動画内に重畳表示させるのを終了する時刻に対応する。従って、管理者は、オブジェクト136をオブジェクト配置領域134内で移動させ、又はオブジェクト136の領域を拡張又は縮小させるだけで、再生中の動画に重畳表示させる第2テロップの開始時刻や終了時刻(重畳表示時間)を簡便に調節することができる。尚、オブジェクト136の移動、並びにオブジェクト136の領域の拡張及び縮小は、管理者端末30の入力手段、具体的には、例えば、マウス等により可能である。オブジェクト136の領域の拡張及び縮小は、例えば、オブジェクト配置領域134内に於いて、動画の再生時間のタイムラインを示す矢印Xで示す方向、又はその反対方向に行うことができる。またオブジェクト配置部114は、複数のオブジェクト136を動画の再生時間のタイムラインに対し垂直となる方向に於いて並列配置させることができる。これにより、動画の再生中、同じ再生時刻に同時に2つ以上のテキストオブジェクト139を重畳表示させることができる。尚、オブジェクト配置部114は、テキストオブジェクト配置部112と異なり、管理者端末30の要求により、文字列を表すテキストデータの入力を受け付けない。
【0043】
オブジェクト配置部114は、オブジェクト配置領域134内に少なくとも1つのオブジェクト136が配置されると、第2テキストオブジェクト139の重畳表示の開始時刻情報及び終了時刻情報を第2テロップ情報として動画データに対応付けて、テロップ情報データベースに格納させる。第2テキストオブジェクト139の重畳表示の開始時刻情報及び終了時刻情報は、第2テロップの重畳表示の開始時刻情報及び終了時刻情報になるものである。
【0044】
テキストオブジェクト表示部115は、オブジェクト配置部114により少なくとも1つのオブジェクト136がオブジェクト配置領域134内に配置されると、編集中の動画に対し、オブジェクト136が配置された位置に対応する再生時刻に第2テキストオブジェクト139を重畳表示させる。この第2テキストオブジェクト139は、管理者端末30の入力手段により、文字列を表すテキストデータの入力が可能なオブジェクトである。テキストオブジェクト表示部115は、動画編集を伴わない動画再生に於いては、第2テキストオブジェクト139を重畳表示しない。尚、第2テキストオブジェクト139の重畳表示は、テロップ情報データベースに格納されている第2テロップ情報をテキストオブジェクト表示部115が呼び出し、当該第2テロップ情報に含まれる第2テキストオブジェクト139の重畳表示の開始時刻情報及び終了時刻情報に基づき実行される。
【0045】
テキストオブジェクト編集部116は、第2テキストオブジェクト139内への文字列を表すテキストデータ(文字情報、数字情報、記号情報及びこれらが結合した情報)の、管理者端末30の入力手段による入力を受け付ける。さらに、テキストオブジェクト編集部116は、管理者端末30の要求に応じて、第2テキストオブジェクト139内に入力された文字列の多言語翻訳を受け付ける。この場合、テキストオブジェクト編集部116は第2テキストオブジェクト139内に入力された文字列を表すテキストデータを多言語翻訳サーバ50に送信し、多言語翻訳サーバ50で翻訳された翻訳後の文字列を表すテキストデータを受け付ける(受信する。)。
【0046】
また、テキストオブジェクト編集部116は、動画内での第2テキストオブジェクト139の表示位置の移動や、第2テキストオブジェクト139の領域の拡張及び縮小を、管理者端末30からの要求に応じて受け付ける。第2テキストオブジェクト139を移動させることで、第2テロップを動画内の任意の位置に移動させ、重畳表示させることができる。さらにテキストオブジェクト編集部116は、第2テキストオブジェクト139の形状や表示させる色、テキスト入力された文字列のフォントや文字サイズ等の変更を、管理者端末30からの要求に応じて受け付ける。
【0047】
テキストオブジェクト編集部116は、第2テロップ(第2テキストオブジェクト139)の動画内に於ける表示位置に関する情報、第2テキストオブジェクト139の形状や表示させる色等に関する情報、第2テキストオブジェクト139に入力された文字列を表すテキストデータ、翻訳後の文字列を表すテキストデータ、及び第2テキストオブジェクト139に入力された文字列のフォントや文字サイズ等に関する情報等を第2テロップ情報に含めて、テロップ情報データベースに格納させる。
【0048】
第2テロップ表示部117は、テロップ情報データベースに格納されている第2テロップ情報を読み出し、当該第2テロップ情報に基づき、再生中の動画に第2テロップを重畳表示させる。第2テロップは、第2テロップ情報に含まれる第2テキストオブジェクト139の配置位置や領域、形状及び色等に関する情報と、第2テロップ情報に含まれる第2テキストオブジェクト139に入力された文字列を表すテキストデータ又は翻訳後の文字列を表すテキストデータ等とに基づき生成される。また、第2テロップの重畳表示は、第2テロップ情報に含まれる第2テキストオブジェクト139の重畳表示の開始時刻情報及び終了時刻情報に基づき、所定の再生時刻に重畳表示が開始され、かつ終了する。オブジェクト136が、オブジェクト配置部114により、オブジェクト配置領域134内に複数配置されている場合、第2テロップ表示部117は、テロップ情報データベースに格納されている第2テロップ情報を読み出して、順次又は同時刻に複数の第2テロップを重畳表示させる。
【0049】
音声合成部118は、音声データベース(詳細については後述する。)に格納されている音声合成用の音情報を読み出して、第1テキストオブジェクト135に入力された文字列を表すテキストデータ、又は翻訳後の文字列を表すテキストデータに対応した合成音声を生成する。尚、音声合成部118には、生成した合成音声のデータを第1テロップ情報に対応付けてテロップ情報データベースに格納させるようにしてもよい。
【0050】
音声出力部119は、音声合成部118で合成された音声を、第1テロップ表示部113による第1テロップ138の重畳表示に同期させて出力する。音声出力部119は、合成音声のデータが第1テロップ情報に対応付けてテロップ情報データベースに格納されている場合には、当該テロップ情報データベースから合成音声のデータを読み出して、第1テロップ138の重畳表示の際に出力するようにしてもよい。
【0051】
記憶部102は、例えば、その内部に複数の記憶領域が定義されており、動画データベース121、テロップ情報データベース122及び音声データベース123を少なくとも備える。この記憶部102としては、保存用のデータやプログラムを記憶するためのハードディスク等の記憶媒体を使用することができる。
【0052】
動画データベース121は、素材動画データを格納する。素材動画データは、動画編集前の素材となる動画データを含む。
【0053】
テロップ情報データベース122は、動画データベース121に格納されている素材動画データに対応付けられた第1テロップ情報及び/又は第2テロップ情報を格納する。
【0054】
音声データベース123は、音声合成用の音情報を格納する。ここで、「音情報」とは音声を合成するために必要な情報であり、短音、単語、文節単位等に対する合成音を出力するための音素データを含み得る。
【0055】
インターフェース部103は、ウェブページの生成による入出力を可能にするものであり、当該ウェブページをネットワーク20上で転送し、ウェブブラウザで管理者端末30及びユーザー端末40に表示させる。より詳細には、CGI(Common Gateway Interface)スクリプトによって実現される。CGIとは、クライアントのブラウザから送信される要求に対してWWWサーバ側で対応するプログラム、すなわちCGIスクリプトを起動し、このプログラムで得た結果をクライアント側に返送するインターフェースである。CGIスクリプトはメモリに格納されている。インターネットに接続された動画編集サーバ10から管理者端末30及びユーザー端末40へのHTML文書の伝送に際しては、プロトコルとしてHTTP(Hypertext Transport Protocol)が採用される。これにより、パーソナルコンピュータやスマートフォン等の管理者端末30に於いて汎用ウェブブラウザ等を用いた動画編集が可能となり、またユーザー端末40に於いても編集済み動画の再生等が可能となる。
【0056】
[動画編集システムの動作]
次に、本実施の形態1に係る動画編集システムの動作について説明する。
動画編集システムに於ける動画編集処理等の各種の動作は、動画編集サーバ10の記憶部102が、制御部101に於ける第1編集画面表示部111等の各構成部の機能を実現すべく備える動画編集プログラムによって実現される。ここで、動画編集プログラムは、以下に説明される各種の動作を行うためのコードから構成されており、各構成部の機能を実装したものとなる。
【0057】
<動画編集処理>
先ず、本実施の形態1の動画編集システムを用いた動画編集処理について、
図6~
図9に基づき説明する。
図6は、管理者による動画編集処理の流れを示すフローチャートである。
図7は、動画編集処理に於ける第1テロップ編集処理の流れを示すフローチャートである。
図8は、動画編集処理に於ける第2テロップ編集処理の流れを示すフローチャートである。
図9は、第1動画編集画面に於いて、第2テキストオブジェクトの編集の様子を表す説明図である。
【0058】
管理者は、
図6に示すように、本実施の形態1の動画編集システムを利用するため、先ず管理者端末30からネットワーク20を介して動画編集サーバ10にアクセスする。動画編集サーバ10へアクセスすると、動画編集サーバ10の第1編集画面表示部111は、第1動画編集画面130を表示するためのHTML文書のデータを、管理者端末30に送信する。これにより、管理者端末30のディスプレイ等には、第1動画編集画面130が表示される(S101)。
【0059】
管理者は、第1動画編集画面130に於いて、管理者端末30に備えられているキーボードやマウス等の入力手段を用いて、動画データベース121に格納されている素材動画データの中から、動画編集を行う素材動画を選択し呼び出す。第1編集画面表示部111は管理者端末30からの要求に応じて、動画再生領域131に素材動画を表示させる(S102)。
【0060】
次に、管理者が第1テロップ編集処理(S103、S104)を行う場合、
図7に示すように、テキストオブジェクト配置部112は、管理者端末30からの要求に応じて、テキストオブジェクト配置領域133内の任意の位置に少なくとも1つの第1テキストオブジェクト135の配置を受け付ける(S103、S104)。具体的には、管理者端末30に備えられているキーボードやマウス等の入力手段を用いて、テキストオブジェクト配置領域133内の任意の位置に少なくとも1つの第1テキストオブジェクト135が追加される(S201)。続いて、第1テロップ138が再生中の動画に重畳表示させる時刻を調整したい場合には、管理者端末30の入力手段を用いて第1テキストオブジェクト135の配置位置を移動させる。さらに、第1テロップの重畳表示の時間を調整した場合には、管理者端末30の入力手段を用いて第1テキストオブジェクト135の領域を拡張又は縮小させる(S202)。
【0061】
続いて、テキストオブジェクト配置部112は、管理者端末30の入力手段により第1テキストオブジェクト135内への文字列を表すテキストデータの入力を受け付ける(S203)。入力された文字列の少なくとも一部は第1テキストオブジェクト135内に表示され、これにより管理者は配置した第1テキストオブジェクト135と第1テロップとの対応付けを容易に判別することができる。また、第1テキストオブジェクト135内に入力された文字列は、他の言語に翻訳させることもできる(S204)。この場合、テキストオブジェクト配置部112は第1テキストオブジェクト135内に入力された文字列を表すテキストデータを多言語翻訳サーバ50に送信する(S205)。多言語翻訳サーバ50に於いて他の言語に翻訳され、当該多言語翻訳サーバ50から翻訳後の文字列を表すテキストデータが送信されると、テキストオブジェクト配置部112は第1テキストオブジェクト135内に他の言語への翻訳後の文字列を表示する(S206)。尚、第1テキストオブジェクト135内への文字列の他の言語への翻訳は動画の再生中でも可能であり、必ずしも再生の停止を要しない。
【0062】
さらに管理者端末30により編集済み動画データの格納が要求されると、テキストオブジェクト配置部112は、第1テロップ138の重畳表示の開始時刻情報及び終了時刻情報、第1テキストオブジェクト135に入力された文字列を表すテキストデータ並びに翻訳後の文字列を表すテキストデータを第1テロップ情報として素材動画データに対応付け、テロップ情報データベース122に格納させる(S207)。これにより、第1テロップ編集処理が終了する。
【0063】
続いて、第2テロップ編集処理(S105、S106)を行う場合、
図8に示すように、オブジェクト配置部114は、管理者端末30からの要求に応じて、オブジェクト配置領域134内の任意の位置に少なくとも1つのオブジェクト136の配置を受け付ける(S301)。具体的には、管理者端末30に備えられているキーボードやマウス等の入力手段を用いて、オブジェクト配置領域134内の任意の位置に少なくとも1つのオブジェクト136が追加される。続いて、第2テロップが再生中の動画に重畳表示させる時刻を調整したい場合には、管理者端末30の入力手段を用いてオブジェクト136の配置位置を移動させる。さらに、第2テロップの重畳表示の時間を調整した場合には、管理者端末30の入力手段を用いてオブジェクト136の領域を拡張又は縮小させる(S302)。
【0064】
オブジェクト配置部114によりオブジェクト136が配置されると、テキストオブジェクト表示部115は、編集中の動画に対し、オブジェクト136が配置された位置に対応する再生時刻に第2テキストオブジェクト139を重畳表示させる(S304)。
【0065】
続いて、テキストオブジェクト編集部116は、管理者端末30からの要求に応じて、第2テキストオブジェクト139内への文字列を表すテキストデータの入力を受け付ける(S305)。入力された文字列の少なくとも一部は、オブジェクト136内にも表示される。そのため、管理者は、配置したオブジェクト136と、第2テキストオブジェクト139及び第2テロップとの対応付けを容易に判別することができる。また、テキストオブジェクト編集部116は、管理者端末30からの要求に応じて、第2テキストオブジェクト139の動画内での表示位置を移動させ、あるいは第2テキストオブジェクト139の領域を拡張又は縮小させる。第2テキストオブジェクト139を移動させることで、第2テロップを、再生される動画内の任意の位置に重畳表示させることができる。また、第2テキストオブジェクト139の領域を拡張又は縮小させることで、第2テロップの表示領域を拡張又は縮小させることができる。
【0066】
さらに、テキストオブジェクト編集部116は、
図9に示すように、管理者端末30からの要求に応じて、第2テキストオブジェクト139の形状や表示させる色、テキスト入力された文字列のフォントや文字サイズ等を変更させることができる。第2テキストオブジェクト139の編集は、例えば、テキストオブジェクト編集部116がGUI(Graphical User Interface)機能を備えた編集パレット140を第1動画編集画面130に表示させることにより行うことができる。編集パレット140は、第2テキストオブジェクト139の形状や色を変更するためのアイコン(ボタン)、第2テキストオブジェクト139内に入力された文字列の書体、色及びサイズを変更するためのアイコン(ボタン)等を備える。
【0067】
また、テキストオブジェクト編集部116は、管理者端末30からの要求に応じて、第2テキストオブジェクト139内に入力された文字列の他の言語への翻訳も受け付ける(S306)。この場合、テキストオブジェクト編集部116は、第2テキストオブジェクト139内に入力された文字列を表すテキストデータを多言語翻訳サーバ50に送信する(S307)。多言語翻訳サーバ50に於いて他の言語に翻訳され、当該多言語翻訳サーバ50から翻訳後の文字列を表すテキストデータが送信されると、テキストオブジェクト編集部116は、第2テキストオブジェクト139内に、他の言語への翻訳後の文字列を表示する(S308)。尚、第2テキストオブジェクト139内に入力された文字列の他言語への翻訳は動画の再生中でも可能であり、必ずしも再生の停止を要しない。
【0068】
さらに管理者端末30により編集済み動画データの格納が要求されると、テキストオブジェクト編集部116は、第2テロップ情報をテロップ情報データベース122に格納させ(S309)、これにより第2テロップ編集処理が終了する。この第2テロップ情報には、第2テロップ(第2テキストオブジェクト139)の動画内に於ける表示位置に関する情報、第2テキストオブジェクト139の形状や表示させる色等に関する情報、第2テキストオブジェクト139に入力された文字列を表すテキストデータ、翻訳後の文字列を表すテキストデータ、及び第2テキストオブジェクト139に入力された文字列のフォントや文字サイズ等に関する情報等が含まれる。
【0069】
<テロップ表示処理>
次に、編集済み動画を再生する際のテロップ表示処理について説明する。
図10は、編集済み動画再生時の第1テロップ表示処理の流れを示すフローチャートである。
図11は、編集済み動画再生時の第2テロップ表示処理の流れを示すフローチャートである。
【0070】
先ず、第1テロップ表示処理について説明する。
図10に示すように、動画データベース121に格納されている素材動画データの中から、動画再生を行う動画データを選択して呼び出し、動画再生を行う(S401)。選択された動画データには第1テロップ情報が対応付けられているため、第1テロップ表示部113は、テロップ情報データベース122に格納されている第1テロップ情報を読み出す(S402)。そして第1テロップ表示部113は、第1テロップ情報に含まれる第1テロップの重畳表示の開始時刻情報に基づき、第1テロップ138を再生中の動画に重畳表示させる(S403)。また、音声合成部118は、音声データベース123に格納されている音声合成用の音情報を読み出して、第1テキストオブジェクト135に入力された文字列を表すテキストデータ、又は翻訳後の文字列を表すテキストデータに対応した合成音声を生成する。さらに音声出力部119が、音声合成部118で合成された音声を、第1テロップ138の重畳表示に同期させて出力する(S404)。その後、第1テロップ情報に含まれる第1テロップの重畳表示の終了時刻情報に基づき、第1テロップ138の重畳表示を終了させる(S405)。これにより、第1テロップの表示処理が終了する。
【0071】
次に、第2テロップ表示処理について説明する。先ず、
図11に示すように、第1テロップ表示処理の場合と同様、動画データベース121に格納されている素材動画データの中から動画データを選択し動画再生を行う(S501)。選択された動画データには第2テロップ情報が対応付けられているため、第2テロップ表示部117は、テロップ情報データベース122に格納されている第2テロップ情報を読み出す(S502)。そして第2テロップ表示部117は、第2テロップ情報に含まれる第2テロップの重畳表示の開始時刻情報に基づき、第2テロップを再生中の動画に重畳表示させる(S503)。その後、第2テロップ情報に含まれる第2テロップの重畳表示の終了時刻情報に基づき、第2テロップの重畳表示を終了させる(S504)。これにより、第2テロップの表示処理が終了する。
【0072】
以上の通り、本発明の動画編集システムによれば、極めて簡便な方法により自由度の高い動画編集が可能であり、特定の専門的知識や技術等を有しなくても、再生中の動画に容易にテロップを重畳表示させることができる。また、テロップの重畳表示の際に合成音声を出力したり、他の言語に翻訳して表示させたりすることも可能である。その結果、本発明の動画編集システムは、例えば、外国人労働者に対する技術指導等のための動画を用いた業務マニュアル等に極めて有用である。
【0073】
(実施の形態2)
[動画編集システム]
次に、本発明の実施の形態2に係る動画編集システムについて、以下に説明する。
本実施の形態2に係る動画編集システムは、実施の形態1と比較して、テロップ編集前の素材動画に対し、簡便かつ作業性を大幅に向上させたカット編集や合成動画の生成を可能にしている点で異なる。より詳細には以下の通りである。尚、以下の説明においては、実施の形態1に係る動画編集システムと同様の機能を有する構成要素や、当該実施の形態1に係る動画編集方法と同一の処理を行うステップについては、同一の符号を付して詳細な説明を省略する場合がある。
【0074】
<動画編集システムの全体構成>
本実施の形態2に係る動画編集システムの全体構成は、実施の形態1の場合と同様、ネットワークを介して、動画編集サーバ、管理者端末、ユーザー端末及び多言語サーバが相互に通信可能に接続されたものである(
図1参照)。また、動画編集サーバ、管理者端末、ユーザー端末及び多言語サーバのハードウェア構成も実施の形態1の場合と同様の構成を採用することができる(
図2及び
図3参照)。従って、これらのハードウェア構成の詳細な説明については省略する。
【0075】
<動画編集サーバ>
本実施の形態2に係る動画編集サーバの詳細な構成について、
図12に基づき説明する。
図12は、動画編集サーバ10’の構成を示すブロック図である。同図に示すように、動画編集サーバ10’は、機能概念的には制御部101’、記憶部102及びインターフェース部103を少なくとも備える。
【0076】
制御部101’は、
図12に示すように、第2編集画面表示部124、カット編集部125及び合成動画生成部126を備える点で、実施の形態1に係る制御部101と異なる。
【0077】
第2編集画面表示部124は、管理者端末30からの要求に応じて、管理者端末30に第2動画編集画面150を表示させる。第2動画編集画面150は、
図13に示すように、素材動画表示領域151と、フレーム画像表示領域152と、合成動画を再生する合成動画再生領域153とを少なくとも有する。尚、
図13は、第2動画編集画面150を表す説明図である。
【0078】
素材動画表示領域151は、少なくとも1つの素材動画154を表示することができる。素材動画154は、記憶部102の動画データベース121に格納されている素材動画データに基づくものであり、管理者端末30からの要求に応じて、第2編集画面表示部124が呼び出したものである。また素材動画表示領域151は、素材動画154だけでなく、(静止)画像や編集中の合成動画(詳細については、後述する。)も表示することができる。
【0079】
フレーム画像表示領域152は、複数のフレーム画像155を時系列に配置して表示する。フレーム画像155は、素材動画表示領域151に表示されている素材動画154を構成するものである。素材動画が複数選択され、素材動画表示領域151にそれぞれ表示されている場合には、例えば
図13に示すように、第1フレーム画像表示領域152aと第2フレーム画像表示領域152bのそれぞれに、対応する素材動画を構成する複数のフレーム画像155が時系列で表示される。さらに、フレーム画像表示領域152は、時系列に配置して表示された複数のフレーム画像155上に重畳するようにして、再生位置表示線156を表示する。再生位置表示線156は、再生中の素材動画に於いて、どの再生時刻にどのフレーム画像155が再生表示されるのかを示す。再生位置表示線156は、素材動画が再生されると、再生時間の経過と共に矢印Yで示す方向に水平移動する。また、素材動画の再生が一時停止される場合、再生位置表示線156は一時停止となった時刻で水平移動を停止する。そして、フレーム画像表示領域152に於ける再生位置表示線156の位置関係から、どのフレーム画像が動画再生されているのかを容易に確認することができる。尚、
図13中に示す矢印Yで示す方向は、素材動画の再生時間の時間経過を表す。
【0080】
合成動画再生領域153は合成動画を表示する領域であり、第1動画再生領域153aと第2動画再生領域153bとを少なくとも有する。第1動画再生領域153aでは、第1フレーム画像表示領域152aでカット編集された第1素材動画を再生することができる。また、第2動画再生領域153bでは、第2フレーム画像表示領域152bでカット編集された第2素材動画を再生することができる。尚、本明細書に於いて「合成動画」とは、1つの画面内で複数の素材動画を同期して再生させる動画を意味する。本実施の形態の合成動画では、第1素材動画と第2素材動画とが同期して再生される場合を例にしている。
【0081】
カット編集部125は、素材動画データを構成する複数のフレーム画像のうち、動画再生させるフレーム画像を区間(範囲)指定して、カット編集する。具体的には、カット編集部125は、管理者端末30からの要求に応じて、フレーム画像表示領域152内の任意の位置に少なくとも1つのオブジェクト157を配置させる。これにより、フレーム画像表示領域152内に時系列で配置して表示されているフレーム画像155上に、オブジェクト157を重畳表示させることができる。ここで、オブジェクト157は、フレーム画像表示領域152に時系列で表示されている複数のフレーム画像のうち、動画再生に必要なフレーム画像だけを区間(範囲)指定するものである。そして、オブジェクト157により指定されていない区間については、動画再生されないように除外される。そのため、管理者は、オブジェクト157を、時系列で複数配置されているフレーム画像155上に重畳表示させるだけで、容易にカット編集を行うことができる。
【0082】
またカット編集部125は、配置されたオブジェクト157のフレーム画像表示領域152内での移動や、オブジェクト157の領域の拡張及び縮小を、管理者端末30からの要求に応じて受け付ける。これにより、管理者は、オブジェクト157をフレーム画像表示領域152内で移動させるだけで、素材動画の再生部分を変更することができる。また、オブジェクト157の領域を拡張又は縮小させるだけで、再生時間を適宜調整することができる。尚、オブジェクト157の領域の拡張及び縮小は、例えば、フレーム画像表示領域152内の水平となる方向(
図13の矢印Yで示す方向に平行な方向)に於いて行うことができる。
【0083】
さらに、カット編集部125は、オブジェクト157の領域の拡張及び縮小が、合成動画を構成する任意の1つの素材動画に対して行われるものである場合、同期して再生される他の素材動画に対しても同様に反映させることができる。例えば、第1素材動画を構成するフレーム画像の指定区間を拡張させた場合、第2素材動画に於いても当該指定区間に同期して再生されるフレーム画像の指定区間を、第1素材動画と同様に拡張させることができる。
【0084】
またカット編集部125は、複数のオブジェクトにより、フレーム画像表示領域152に複数の異なる区間を指定することもできる。
図13では、第2フレーム画像表示領域152bに於いて、オブジェクト157a~157cにより、それぞれ3つの異なる区間が指定されている。このような場合、カット編集部125は、各指定区間の再生順序を任意に変更して設定することもできる。例えば、オブジェクト157aで指定される区間が再生された後に、オブジェクト157cで指定される区間が再生され、その後にオブジェクト157bで指定される区間が再生されるように設定することができる。
【0085】
さらにカット編集部125は、管理者端末30からの要求に応じて、カット編集後の素材動画データを動画データベース121に格納させることができる。
【0086】
合成動画生成部126は、管理者端末30からの要求に応じて、1つの画面内で各々の素材動画が同期して再生可能な合成動画を生成する。素材動画は、動画データベース121に格納されていたものを、管理者端末30からの要求に応じて第2編集画面表示部124が呼び出し、素材動画表示領域151に表示されていたものである。また、素材動画は、カット編集部125によりカット編集されている場合、カット編集後の素材動画である。
図13では、第1フレーム画像表示領域152aでカット編集された第1素材動画と、第2フレーム画像表示領域152bでカット編集された第2素材動画とが組み合わされ、合成された合成動画が示されている。また合成動画生成部126は、管理者端末30からの要求に応じて、合成動画に関する動画データを動画データベース121に格納させることができる。
【0087】
[動画編集システムの動作]
次に、本実施の形態2に係る動画編集システムの動作について説明する。
動画編集システムに於ける動画編集処理等の各種の動作は、動画編集サーバ10’の記憶部102が、制御部101’の第2編集画面表示部124等の各構成部の機能を実現すべく備える動画編集プログラムによって実現される。ここで、動画編集プログラムは、以下に説明される各種の動作を行うためのコードから構成されており、各構成部の機能を実装したものとなる。
【0088】
<合成動画生成処理>
先ず、本実施の形態2に係る動画編集システムを用いた合成動画編集処理について
図14及び
図15に基づき説明する。尚、以下の説明では、2つの素材動画からなる合成動画を生成する場合を例にして説明する。
図14は、管理者による合成動画編集処理の流れを示すフローチャートである。
図15は、管理者によるカット編集処理の流れを示すフローチャートである。
【0089】
管理者は、
図14に示すように、本実施の形態2の動画編集システムを利用するため、先ず管理者端末30からネットワーク20を介して動画編集サーバ10’にアクセスする。動画編集サーバ10’へアクセスすると、動画編集サーバ10’の第2編集画面表示部124は、第2動画編集画面150を表示するためのHTML文書のデータを、管理者端末30に送信する。これにより、管理者端末30のディスプレイ等には、第2動画編集画面150が表示される(S601)。
【0090】
次に、管理者は、第2動画編集画面150に於いて、管理者端末30に備えられているキーボードやマウス等の入力手段を用いて、動画データベース121に格納されている素材動画データの中から、合成動画の生成に用いる複数の素材動画データを選択し呼び出す。これにより、第2編集画面表示部124は、管理者端末30からの要求に応じて、素材動画表示領域151に、選択された複数の素材動画データに基づく素材動画をそれぞれ表示させる(S602)。
【0091】
続いて、管理者がカット編集処理(S603、S604)を行う場合、
図15に示すように、カット編集部125は、管理者端末30からの要求に応じて、カット編集処理の対象となる素材動画の選択を受け付ける(S701)。例えば、合成動画を構成する素材動画として第1素材動画と第2素材動画の2つが選択された場合には、
図13に示すように、第1素材動画を構成するフレーム画像を、第1フレーム画像表示領域152aに時系列で配置して表示させると共に、第2素材動画を構成するフレーム画像を、第2フレーム画像表示領域152bに時系列で配置して表示させる。
【0092】
次に、動画再生させたい区間の指定は、オブジェクト157を第1フレーム画像表示領域152aや第2フレーム画像表示領域152bに重畳表示させることにより行う。すなわち、
図13中に示す「カット追加」のアイコン158が選択されると、カット編集部125は管理者端末30からのオブジェクト157の重畳表示の要求を受け付ける。さらにカット編集部125は、オブジェクト157を、第1フレーム画像表示領域152a及び第2フレーム画像表示領域152bに表示されている複数のフレーム画像155上に重畳表示させる(S702)。
【0093】
動画再生させたい区間(指定された区間)の移動は、管理者端末30からの要求に応じて、重畳表示させたオブジェクト157を、第1フレーム画像表示領域152aや第2フレーム画像表示領域152b内で、水平となる方向に適宜移動させることにより可能である。また、動画再生させたい区間の拡張や縮小は、管理者端末30からの要求に応じて、オブジェクト157の領域を拡張又は縮小させることにより可能である(S703)。これにより、素材動画で再生させたい区間だけを抽出するカット編集が行われる。
【0094】
また、同じ再生時刻に同期して再生させたい場合には、第1フレーム画像表示領域152aでオブジェクトにより指定された区間と、第2フレーム画像表示領域152bでオブジェクトにより指定された区間とを対応付けることにより可能である。これにより、第1フレーム画像表示領域152aで指定された区間を拡張又は縮小させた場合には、第2フレーム画像表示領域152bで指定されている区間も同期して拡張又は縮小させることができる。
【0095】
カット編集の終了後、合成動画を生成する場合には、
図13中に示す「動画生成」のアイコン160を選択する。これにより、合成動画生成部126は、管理者端末30からの要求を受け付け、カット編集後の第1素材動画及び第2素材動画が、1つの画面内で、同じ再生時刻に同期して各々再生される合成動画データを生成する(S607)。尚、格納される合成動画データに於いては、第1素材動画と第2素材動画とに於いて、同じ再生時刻に同期して再生されるフレーム画像が対応付けられている。さらに、
図13に示す「保存」のアイコン159が選択されると、合成動画生成部126は合成動画データの保存を受け付け、動画データベース121に当該合成動画データを格納させる。これにより、合成動画編集処理が終了する。
【0096】
尚、合成動画編集処理により生成された合成動画に対しては、さらに実施の形態1で説明した動画編集処理やテロップ表示処理を実行させることができる。
【符号の説明】
【0097】
10、10’…動画編集サーバ、11…CPU、12…ROM、13…RAM、14…通信制御インターフェース、15…記憶装置、16…入力操作部、20…ネットワーク、30…管理者端末、31…CPU、32…ROM、33…RAM、34…表示部、35…入力部、36…通信制御インターフェース、40…ユーザー端末、50…多言語翻訳サーバ、101、101’…制御部、102…記憶部、103…インターフェース部、111…第1編集画面表示部、112…テキストオブジェクト配置部、113…第1テロップ表示部、114…オブジェクト配置部、115…テキストオブジェクト表示部、116…テキストオブジェクト編集部、117…第2テロップ表示部、118…音声合成部、119…音声出力部、121…動画データベース、122…動画データベース、123…音声データベース、124…第2編集画面表示部、125…カット編集部、126…合成動画生成部、130…第1動画編集画面、131…動画再生領域、132…タイムライン表示領域、133…テキストオブジェクト配置領域、134…オブジェクト配置領域、135…第1テキストオブジェクト、136…オブジェクト、137…再生時刻表示線、138…第1テロップ、139…第2テキストオブジェクト、150…第2動画編集画面、151…素材動画表示領域、152…フレーム画像表示領域、153…合成動画再生領域、154…素材動画、155…フレーム画像、157…オブジェクト
【手続補正書】
【提出日】2023-02-07
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
管理者端末と、前記管理者端末にネットワークを介して接続された動画編集サーバと、を少なくとも備える動画編集システムに於いて、
前記動画編集サーバは、
動画を再生する動画再生領域と、前記動画の再生時間のタイムラインを表示するタイムライン表示領域とを少なくとも含む第1動画編集画面を、前記管理者端末に表示させる第1編集画面表示部と、
前記管理者端末からの要求により、前記タイムライン表示領域内の任意の位置に少なくとも1つの第1テキストオブジェクトを配置し、前記第1テキストオブジェクトに入力された文字列を表すテキストデータを受け付けるテキストオブジェクト配置部と、
前記第1テキストオブジェクトに入力された前記テキストデータに基づき、前記タイムライン表示領域内に配置された前記第1テキストオブジェクトの位置に対応する前記動画の再生時刻に、前記文字列を第1テロップとして再生中の前記動画に重畳表示させる第1テロップ表示部と、
を備え、
前記テキストオブジェクト配置部は、前記タイムライン表示領域内の任意の位置に配置された前記第1テキストオブジェクトの領域を拡張又は縮小することにより、前記動画に重畳表示させる前記第1テロップの重畳表示時間を調整する動画編集システム。
【請求項2】
前記第1編集画面表示部は、前記タイムライン表示領域内に於いて、任意の位置にオブジェクトの配置を可能にするオブジェクト配置領域をさらに前記管理者端末に表示させるものであり、
前記動画編集サーバは、
前記管理者端末からの要求により、前記オブジェクト配置領域の任意の位置に少なくとも1つのオブジェクトを配置するオブジェクト配置部と、
前記オブジェクト配置領域内に配置された前記オブジェクトの位置に対応する前記動画の再生時刻に、第2テキストオブジェクトを前記動画に重畳表示させるテキストオブジェクト表示部と、
前記管理者端末からの要求により、前記テキストオブジェクト表示部により前記動画に重畳表示された前記第2テキストオブジェクトに、文字列を表すテキストデータの入力を受け付けるテキストオブジェクト編集部と、
前記テキストオブジェクト編集部により受け付けられた前記文字列を、前記オブジェクト配置領域内に配置された前記第2テキストオブジェクトの位置に対応する前記動画の再生時刻に、第2テロップとして再生中の前記動画に重畳表示させる第2テロップ表示部と、
をさらに備える請求項1に記載の動画編集システム。
【請求項3】
前記動画編集サーバに前記ネットワークを介して接続された多言語翻訳サーバをさらに備え、
前記テキストオブジェクト配置部及び前記テキストオブジェクト編集部は、前記第1テキストオブジェクト又は前記第2テキストオブジェクトに入力された文字列を表すテキストデータを前記多言語翻訳サーバに送信し、
前記多言語翻訳サーバは、前記テキストオブジェクト配置部又は前記テキストオブジェクト編集部から受信した前記テキストデータに基づき、前記文字列とは異なる少なくとも1つ以上の言語に翻訳し、翻訳後の文字列を表すテキストデータを前記動画編集サーバに送信し、
前記第1テロップ表示部及び前記第2テロップ表示部は、前記多言語翻訳サーバから受信した前記翻訳後の文字列を表すテキストデータに基づき、前記翻訳後の文字列を第1テロップ又は第2テロップとして、再生中の前記動画にそれぞれ重畳表示させる請求項2に記載の動画編集システム。
【請求項4】
前記動画編集サーバは、
音声合成用の音情報が格納された記憶部と、
前記記憶部に格納されている前記音情報を読み出して、前記第1テキストオブジェクトに入力された前記文字列を表すテキストデータ、又は前記翻訳後の文字列を表すテキストデータに対応した合成音声を生成する音声合成部と、
前記音声合成部で合成された音声を、前記第1テロップ表示部による前記第1テロップの重畳表示に同期させて出力する音声出力部と、
をさらに備える請求項3に記載の動画編集システム。
【請求項5】
前記オブジェクト配置部は、前記オブジェクト配置領域内の任意の位置に配置された前記オブジェクトの領域を拡張又は縮小することにより、前記動画に重畳表示させる前記第2テロップの重畳表示時間を調整する請求項2~4の何れか1項に記載の動画編集システム。
【請求項6】
前記動画編集サーバは、
前記記憶部に格納されている素材動画データを呼び出し、前記素材動画データを構成する複数のフレーム画像を時系列に配置して表示する第2動画編集画面を、前記管理者端末に表示させる第2編集画面表示部と、
前記第2動画編集画面に於いて、時系列に配置して表示されている前記複数のフレーム画像に対して、1以上のフレーム画像を含む一部区間を範囲指定することにより、範囲指定されなかった区間を削除するカット編集部と、
をさらに備える請求項1~5の何れか1項に記載の動画編集システム。
【請求項7】
前記第2編集画面表示部は、複数の前記素材動画データを前記記憶部から呼び出し、前記素材動画データを構成する複数のフレーム画像を時系列にそれぞれ配置して表示するものであり、
前記動画編集サーバは、
前記第2編集画面表示部が呼び出した複数の前記素材動画データに基づき、1つの画面内で同期させて各々再生させる合成動画を生成する合成動画生成部をさらに備える請求項6に記載の動画編集システム。
【請求項8】
前記カット編集部は、
前記合成動画に於ける任意の1つの素材動画を構成する複数のフレーム画像に対し、前記範囲指定した区間の長さを変更した場合、
他の素材動画を構成する複数のフレーム画像に対しても、前記範囲指定した区間に対応する区間の長さを同期して変更する請求項7に記載の動画編集システム。