特許 6647512 番組制作装置、番組制作方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6647512

(24)【登録日】2020年1月17日

(45)【発行日】2020年2月14日

(54)【発明の名称】番組制作装置、番組制作方法及びプログラム

(51)【国際特許分類】

   H04N 5/262 20060101AFI20200203BHJP

【ＦＩ】

   H04N5/262

【請求項の数】6

【全頁数】9

(21)【出願番号】特願2019-157209(P2019-157209)

(22)【出願日】2019年8月29日

【審査請求日】2019年9月26日

【早期審査対象出願】

(73)【特許権者】

【識別番号】509117469

【氏名又は名称】有限会社ＢＯＮＤ

(74)【代理人】

【識別番号】100136180

【弁理士】

【氏名又は名称】羽立 章二

(72)【発明者】

【氏名】古川 ひろ美

(72)【発明者】

【氏名】高瀬 竜二

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２００５−００６２２９（ＪＰ，Ａ）

【文献】 特開平１１−２５２４５７（ＪＰ，Ａ）

【文献】 特開２００８−１１８４６８（ＪＰ，Ａ）

【文献】 特開２００５−０３９７９４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２６２

Ｇ０６Ｔ １３／００

Ｇ０６Ｔ １９／００

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

キャラクタを用いた動画データを生成する番組制作装置であって、
前記キャラクタを用いた演出を決定する演出決定部と、
前記演出を用いて前記動画データを生成する動画作成部を備え、
前記演出決定部は、前記動画データのファイル形式に応じて、前記キャラクタの動きを調整し、並びに／又は、前記キャラクタのセリフ、ＢＧＭ及び効果音の少なくとも一つを調整して前記演出を決定する、番組制作装置。

【請求項2】

作成者がファイル形式に応じた調整をしない指示をしたならば、前記演出決定部は、複数のファイル形式に共通する前記演出を決定し、
作成者がファイル形式に応じた調整をする指示をしたならば、前記演出決定部は、それぞれのファイル形式に応じて、前記キャラクタの動きを調整し、及び／又は、前記キャラクタのセリフ、ＢＧＭ及び効果音の少なくとも一つを調整して前記演出を決定する、請求項１記載の番組制作装置。

【請求項3】

作成者がファイル形式に応じた調整をしない指示をしたならば、前記動画作成部は、
前記演出を用いて、当該番組制作装置を実現するためのコンピュータのオペレーティングシステムと関連するファイル形式の第１動画データを生成し、
前記第１動画データを変換して他のファイル形式の動画データを生成する、請求項２記載の番組制作装置。

【請求項4】

前記動画作成部は、前記第１動画データを変換して他のファイル形式の動画データを生成するときに、前記第１動画データにおける字幕の表示を、変換後のファイル形式に応じて調整する、請求項３記載の番組制作装置。

【請求項5】

キャラクタを用いた動画データを生成する番組制作方法であって、
情報処理装置が備える演出決定部が、前記キャラクタを用いた演出を決定する演出決定ステップと、
情報処理装置が備える動画作成部が、前記演出を用いて前記動画データを生成する動画作成ステップを含み、
前記演出決定ステップにおいて、前記演出決定部は、前記動画データのファイル形式に応じて、前記キャラクタの動きを調整し、並びに／又は、前記キャラクタのセリフ、ＢＧＭ及び効果音の少なくとも一つを調整して前記演出を決定する、番組制作方法。

【請求項6】

コンピュータを、キャラクタを用いた動画データを生成する番組制作装置として機能させるためのプログラムであって、
前記番組制作装置は、
前記キャラクタを用いた演出を決定する演出決定部と、
前記演出を用いて前記動画データを生成する動画作成部を備え、
前記演出決定部は、前記動画データのファイル形式に応じて、前記キャラクタの動きを調整し、並びに／又は、前記キャラクタのセリフ、ＢＧＭ及び効果音の少なくとも一つを調整して前記演出を決定する、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、番組制作装置、番組制作方法及びプログラムに関し、特に、キャラクタを用いた動画データを生成する番組制作装置等に関する。

【背景技術】

【0002】

出願人は、例えば特許文献１及び２などにあるように、作成者が入力した情報を利用してキャラクタを用いた番組を制作するシステムを研究・開発している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４７２５９３６号公報

【特許文献2】特許第４７２５９１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１及び２などに記載された技術は、番組を配信したり放送したりする方々（放送事業者など）や視聴者の情報を、番組に反映させることについて、十分に検討されていなかった。

【0005】

そこで、本願発明は、番組を配信・放送したり視聴したりする方々の情報を、番組に反映させることに適した番組制作装置等を提案することを目的とする。

【課題を解決するための手段】

【0006】

本願発明の第１の観点は、キャラクタを用いた動画データを生成する番組制作装置であって、前記キャラクタを用いた演出を決定する演出決定部と、前記演出を用いて前記動画データを生成する動画作成部を備え、前記演出決定部は、前記動画データのファイル形式に応じて、前記キャラクタの動きを調整し、並びに／又は、前記キャラクタのセリフ、ＢＧＭ及び効果音の少なくとも一つを調整して前記演出を決定する。

【0007】

本願発明の第２の観点は、第１の観点の番組制作装置であって、作成者がファイル形式に応じた調整をしない指示をしたならば、前記演出決定部は、複数のファイル形式に共通する前記演出を決定し、作成者がファイル形式に応じた調整をする指示をしたならば、前記演出決定部は、それぞれのファイル形式に応じて、前記キャラクタの動きを調整し、及び／又は、前記キャラクタのセリフ、ＢＧＭ及び効果音の少なくとも一つを調整して前記演出を決定する。

【0008】

本願発明の第３の観点は、第２の観点の番組制作装置であって、作成者がファイル形式に応じた調整をしない指示をしたならば、前記動画作成部は、前記演出を用いて、当該番組制作装置を実現するためのコンピュータのオペレーティングシステムと関連するファイル形式の第１動画データを生成し、前記第１動画データを変換して他のファイル形式の動画データを生成する。

【0009】

本願発明の第４の観点は、第３の観点の番組制作装置であって、前記動画作成部は、前記第１動画データを変換して他のファイル形式の動画データを生成するときに、前記第１動画データにおける字幕の表示を、変換後のファイル形式に応じて調整する。

【0010】

本願発明の第５の観点は、キャラクタを用いた動画データを生成する番組制作方法であって、情報処理装置が備える演出決定部が、前記キャラクタを用いた演出を決定する演出決定ステップと、情報処理装置が備える動画作成部が、前記演出を用いて前記動画データを生成する動画作成ステップを含み、前記演出決定ステップにおいて、前記演出決定部は、前記動画データのファイル形式に応じて、前記キャラクタの動きを調整し、並びに／又は、前記キャラクタのセリフ、ＢＧＭ及び効果音の少なくとも一つを調整して前記演出を決定する。

【0011】

本願発明の第６の観点は、コンピュータを、キャラクタを用いた動画データを生成する番組制作装置として機能させるためのプログラムであって、前記番組制作装置は、前記キャラクタを用いた演出を決定する演出決定部と、前記演出を用いて前記動画データを生成する動画作成部を備え、前記演出決定部は、前記動画データのファイル形式に応じて、前記キャラクタの動きを調整し、並びに／又は、前記キャラクタのセリフ、ＢＧＭ及び効果音の少なくとも一つを調整して前記演出を決定する。

【0012】

なお、本願発明を、本願発明の第６の観点のプログラムを記録するコンピュータ読み取り可能な記録媒体として捉えてもよい。

【発明の効果】

【0013】

出願人は、動画を配信・放送したり、視聴者が視聴したりする環境は、動画データのファイル形式に表れる点に着目した。本願発明の各観点によれば、動画データのファイル形式に応じて、キャラクタを用いた演出を適切に決定することができる。

【0014】

さらに、例えばテレビで放送する場合には、あらかじめ定められた規格に従ったものである必要がある。本願発明によれば、動画データのファイル形式に応じて動画データを生成することができ、例えば、動画を生成して、インターネット上に配信すると同時に、テレビで生放送をすることなどが実現できる。

【図面の簡単な説明】

【0015】

【図1】本願発明の実施の形態に係る番組制作装置１の（ａ）構成の一例を示すブロック図と、（ｂ）動作の一例を示すフロー図である。

【発明を実施するための形態】

【0016】

以下では、図面を参照して、本願発明の実施例について説明する。なお、本願発明は、この実施例に限定されるものではない。

【実施例】

【0017】

図１は、本願発明の実施の形態に係る番組制作装置１の（ａ）構成の一例を示すブロック図と、（ｂ）動作の一例を示すフロー図である。

【0018】

番組制作装置１は、入力部３と、演出決定部５（本願請求項の「演出決定部」の一例）と、動画作成部７（本願請求項の「動画作成部」の一例）と、出力部９と、入力データ記憶部１１と、演出データ記憶部１３と、素材データ記憶部１５と、動画データ記憶部１７を備える。

【0019】

入力部３は、作成者が入力データを入力する。入力データ記憶部１１は、入力データを記憶する。入力データは、番組を制作するための番組作成データと、出力する動画データのファイル形式に関する出力指定データを含む。

【0020】

演出データ記憶部１３は、演出決定部５が演出を決定するために使用する演出データを記憶する。演出データは、例えば、番組作成データにおけるキャラクタなどに関する情報（キャラクタのセリフや動きの指定、キャラクタと同時に提示する資料に関する情報など）を感情分析するための情報、特定の感情を表現するためのキャラクタの動き（表情やゼスチャーなど）を特定する情報、特定の感情を表現してセリフを述べるときの口の形状を特定する情報、特定の感情を表現するためのセリフを発声するときの抑揚などの情報、特定の感情を表現するためのＢＧＭや効果音の効果などの情報などを含む。

【0021】

演出決定部５は、作成者が入力した情報を利用して、演出データを参照して、表現すべき感情情報などを分析して、キャラクタの動作及びセリフ、ＢＧＭ、効果音などの演出を決定する（特許文献１など参照）。なお、演出には、例えば、ライティング、カメラ位置などを含めてもよい。

【0022】

素材データ記憶部１５は、動画作成部７が動画データを作成するために使用する素材データを記憶する。素材データは、例えば、キャラクタの形状を特定する情報、セリフを発声するための声情報、ＢＧＭや効果音などの音情報などを含む。

【0023】

動画作成部７は、素材データ記憶部１５が記憶する素材データを利用して、演出決定部５が決定した演出に従って動画データを生成する。動画データ記憶部１７は、動画作成部７が作成した動画データを記憶する（特許文献１など参照）。

【0024】

出力部９は、動画データ記憶部１７が記憶する動画データを、インターネットを利用して視聴者が利用する情報処理端末（スマートフォンなど）に配信したり、放送事業者を通じてテレビに放送したりして、視聴者に表示する。

【0025】

動画データは、少なくとも、映像データと音データと字幕データを含む。映像データは、時間経過に従って表示する表示画像を特定するデータである。音データは、時間経過に従って再生する音を特定するデータである。字幕データは、映像データとともに表示する字幕を特定するデータである。

【0026】

本実施例では、動画データ記憶部１７は、ファイル形式を異にして、Ｎ個の動画データを記憶する（Ｎは、２以上の自然数）。第ｎファイル形式の動画データ（ｎは、１からＮまでの自然数）を、「第ｎ動画データ」という。第ｎ動画データ２１_ｎは、第ｎ映像データ２３_ｎと、第ｎ音データ２５_ｎと、第ｎ字幕データ２７_ｎを含む。以下では、Ｎが３とする。

【0027】

第１動画データ２１₁は、番組制作装置１を実現するコンピュータのオペレーティングシステム（ＯＳ）に関連するものである。例えば、オペレーティングシステム（ＯＳ）がウィンドウズ（登録商標）である場合に、ウィンドウズ・メディア形式などである。ウィンドウズをＯＳとするＰＣ上では、このようなファイル形式の動画データを生成する処理が実現しやすいことが期待される。

【0028】

第２動画データは、例えばＭＰ４ビデオファイル形式などのように、インターネット上で流通する際に一般に使用されるものである。通常は、ファイル容量を小さくするために、第１動画データと比較して情報量が少なくなっている。

【0029】

第３動画データは、各業界において定められた規格に従ったものである。例えば放送業界におけるＭＸＦファイル形式の動画データなどである。ＭＸＦファイル形式では、様々な規格が定められている。例えば、番組によって音の大きさが極端に異ならないように、音の大きさの範囲が定められている。また、テレビなどで適切に字幕が表示されるように、字幕の表示範囲が定められている。このような規格は、第１動画データや第２動画データなどでは定められていない。

【0030】

通常、第１動画データや第２動画データには、規格による制約がない。そのため、ＯＳに適した第１動画データを生成し、それを第２動画データに変換すれば、第１動画データ及び第２動画データを得ることができる。

【0031】

他方、第３動画データは、例えばテレビ放送するならばＭＸＦファイル形式の規格に合うように、音の大きさを変更したり字幕の表示方法を変更したりすることが必要になる。通常、単純に変換することでは足りず、人手によって規格に合うように変更していた。結果として、第１動画データを作成しても、これを第３動画データに変換してテレビ上で生放送するようなことは事実上困難であった。

【0032】

なお、第３動画データを作成して、これを第１動画データ及び第２動画データに変換することも考えられる。しかしながら、ＭＸＦファイル形式では、音や字幕などに独自の制約があり、第１動画データ及び第２動画データは、不必要に制約された状態となってしまう。

【0033】

発明者は、動画データのファイル形式が、配信・放送する環境や、視聴者が視聴する環境と関連することに着目した。例えば、司会者が話すテンポは、テレビ番組におけるものと、ステージなどで観客が目の前にいる環境でのものとは、大きく異なるであろう。同様に、現在の視聴者は、インターネット上で視聴することに適した動画データを、そのままテレビ上で再生しても違和感がある可能性が高い。本実施例において、動画作成部７は、生成する動画データのファイル形式を考慮して、演出決定部５が決定した演出を用いて動画データを作成することにより、放送事業者などの作業を軽減するとともに、視聴者の視聴環境を反映させた動画データを作成することができる。

【0034】

ただし、例えば同時に配信及び放送する場合のように、番組によっては、インターネット上の動画データと同じ内容のものを、テレビなどで視聴できるようにすることが望ましい場合もあり得る。そのため、本実施例では、番組制作装置１の作成者は、複数のファイル形式に共通の内容の動画データを作成することを指示することもできる。この場合、動画作成部７は、それぞれのファイル形式によって要求される制約を満たした上で、共通の内容の動画データを作成する。

【0035】

図１（ｂ）を参照して、図１（ａ）の番組制作装置１の動作の一例について説明する。

【0036】

まず、作成者は、入力部３を用いて、少なくとも、番組作成データと出力指定データを入力する（ステップＳＴ１）。以下では、具体的に説明するために、番組作成データは、キャラクタが「いつもありがとう。」というセリフを話すことと、その字幕を表示することとする。出力指定データは、ＭＰ４ビデオファイル形式及びＭＸＦファイル形式を出力することとする。作成者が、共通の内容の動画データを作成することを指定する場合と、指定しない場合とを説明する。

【0037】

動画作成部７は、出力指定データにおいて共通の内容の動画データを作成することが指定されているか否かを判定する（ステップＳＴ２）。

【0038】

出力指定データにおいて共通の内容の動画データを作成することが指定されている場合について説明する。この場合、ステップＳＴ２の判定は、「ＹＥＳ」である。

【0039】

演出決定部５は、複数のファイル形式に共通する演出を決定する（ステップＳＴ３）。例えば、まず、「いつもありがとう。」（英語ではThank you for always being nice to me.）というセリフを分析する。「いつも」（英語ではalways）の部分からは、繰り返しや、継続した人間関係が形成されていることを抽出する。「ありがとう」（英語ではthank you）の部分からは「感謝」などのプラスの感情を抽出する。演出決定部５は、キャラクタを利用した演出として、「継続した信頼関係をベースにして感謝を伝える」動作をさせつつ、「いつもありがとう。」というセリフを言うことと決定する。そして、これに合ったＢＧＭ及び効果音を決定する。

【0040】

動画作成部７は、演出決定部５が決定した演出に従い、第１動画データ２１₁を生成する（ステップＳＴ４）。具体的には、第１映像データ２３₁として、「継続した信頼関係をベースにして感謝を伝える」動作に対応させてキャラクタを動かす。第１音データ２５₁として、「継続した信頼関係をベースにして感謝を伝える」ように「いつもありがとう。」というセリフの音声を再生し、ＢＧＭや効果音を再生する。第１字幕データ２７₁として、「いつもありがとう。」という字幕を表示する。

【0041】

動画作成部７は、第１動画データ２１₁を、第２動画データ２１₂及び第３動画データ２１₃に変換する（ステップＳＴ５）。第１動画データ２１₁を第２動画データ２１₂に変換する処理は、一般的なファイル形式の変換を行う処理により実現することができる。第３動画データ２１₃に変換する処理では、規格に合うように、例えば第１音データ２５₁の大きさを調整して第３音データ２５₃とするとともに、第１字幕データ２７₁の表示の表示位置などを調整して第３字幕データ２７₃とする。これにより、第１動画データ２１₁、第２動画データ２１₂及び第３動画データ２１₃は、共通の演出を用いた内容の動画データである。

【0042】

なお、同じ演出に基づき、複数のファイル形式の動画データをそれぞれ作成してもよい。この場合、複数の動画データを並列して作成してもよい。

【0043】

出力指定データにおいて共通の内容の動画データを作成することが指定されていない場合について説明する。この場合、ステップＳＴ２の判定は、「ＮＯ」である。

【0044】

演出決定部５は、第２動画ファイルに対して演出を決定する（ステップＳＴ６）。「いつもありがとう。」というセリフからは、「継続した信頼関係」及び「感謝という感情」が抽出される。第２動画ファイルは、インターネット上での配信などに利用される。この場合、例えばスマートフォンで視聴するならば、視聴者が移動している環境などで視聴するために、画面を継続して見ていない可能性がある。そうすると、聴覚情報が重要になり、また、視覚情報は、一部を見れば最も伝えたい感情が伝わる態様が望ましい。そのため、キャラクタは、動作及びセリフによって、伝えるべき「感謝」などのプラスの感情を、強く、継続して表現するようにすることが有効であると考えられる。そのため、演出決定部５は、「いつも」の段階を含めて、キャラクタの動作及びセリフ、ＢＧＭ、効果音などによって「感謝」の感情を表現して、補助的に「信頼関係」を表現するように演出を決定する。

【0045】

動画作成部７は、演出決定部５が決定した演出に従い、第１映像データ２３₁、第１音データ２５₁及び第１字幕データ２７₁を生成して第１動画データ２１₁を生成する。動画作成部７は、第１動画データ２１₁の第１映像データ２３₁、第１音データ２５₁及び第１字幕データ２７₁を変換して、それぞれ、第２動画データ２１₂の第２映像データ２３₂、第２音データ２５₂及び第２字幕データ２７₂として、第２動画データ２１₂を生成する（ステップＳＴ７）。

【0046】

動画作成部７は、すべてのファイル形式の動画データを生成したか否かを判定する（ステップＳＴ８）。すべてのファイル形式を生成したならば、処理を終了する。生成していないファイル形式があれば、ステップＳＴ６に戻る。

【0047】

この例では、第３動画データ２１₃を生成していないため、「ＮＯ」であり、ステップＳＴ６に戻る。

【0048】

演出決定部５は、第３動画ファイルに対して演出を決定する（ステップＳＴ６）。「いつもありがとう。」というセリフからは、「継続した信頼関係」及び「感謝という感情」が抽出される。第３動画データ２１₃は、例えばテレビ放送に利用される。この場合、視聴者は、継続して視聴している環境にあり、視覚情報を全体として把握している可能性が高い。そうすると、キャラクタは、視聴者との「信頼関係」を確認してから「感謝」を伝えることができる。そのため、キャラクタは、「いつも」というセリフでは、真剣な、まじめな雰囲気を形成するとともに、「ありがとう。」の部分で「感謝」などのプラスの感情を丁寧に表現することが有効である。そのため、演出決定部５は、キャラクタの動作及びセリフ、ＢＧＭ、効果音などによって、「いつも」の段階で信頼関係を表現し、「ありがとう」の段階で「感謝」を強く表現するようにする。

【0049】

動画作成部７は、演出決定部５が決定した演出に従い、第３動画データ２１₃の規格に合うように、第１映像データ２３₁、第１音データ２５₁及び第１字幕データ２７₁を生成して第１動画データ２１₁を生成する。動画作成部７は、第１動画データ２１₁の第１映像データ２３₁、第１音データ２５₁及び第１字幕データ２７₁を変換して、それぞれ、第３動画データ２１₃の第３映像データ２３₃、第３音データ２５₃及び第３字幕データ２７₃として、第３動画データ２１₃を生成する（ステップＳＴ７）。

【0050】

動画作成部７は、すべてのファイル形式の動画データを生成したか否かを判定する（ステップＳＴ８）。すべてのファイル形式を生成しており、処理を終了する。

【0051】

なお、動画データ記憶部１７は、例えば、同じファイル形式で圧縮度が異なるものなどを、異なる動画データとして記憶するものであってもよい。また、図１の例では、第２動画データ２１₂及び第３動画データ２１₃などを順に生成する場合を説明したが、複数の動画データを並列して作成してもよい。

【符号の説明】

【0052】

１ 番組制作装置、３ 入力部、５ 演出決定部、７ 動画作成部、９ 出力部、１１ 入力データ記憶部、１３ 演出データ記憶部、１５ 素材データ記憶部、１７ 動画データ記憶部、２１_n 第ｎ動画データ、２３_n 第ｎ映像データ、２５_n 第ｎ音データ、２７_n 第ｎ字幕データ

【要約】

【課題】 番組を配信・放送したり視聴したりする方々の情報を、番組に反映させることに適した番組制作装置等を提案する。
【解決手段】 番組制作装置１は、キャラクタを用いた動画データを生成する。演出決定部５は、キャラクタを用いた演出を決定する。動画作成部７は、演出決定部５が決定した演出を用いて前記動画データを生成する。演出決定部５は、動画作成部７が作成する動画データのファイル形式に応じて、キャラクタの動きを調整し、並びに／又は、キャラクタのセリフ、ＢＧＭ及び効果音の少なくとも一つを調整して、演出を決定する。
【選択図】 図１

【図1】