(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022117505
(43)【公開日】2022-08-10
(54)【発明の名称】コンテンツ修正装置、コンテンツ配信サーバ、コンテンツ修正方法、コンテンツ修正プログラム、および、記録媒体
(51)【国際特許分類】
H04N 5/91 20060101AFI20220803BHJP
H04N 21/854 20110101ALI20220803BHJP
H04N 21/472 20110101ALI20220803BHJP
H04N 5/92 20060101ALI20220803BHJP
【FI】
H04N5/91
H04N21/854
H04N21/472
H04N5/92 010
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022077098
(22)【出願日】2022-05-09
(62)【分割の表示】P 2021013968の分割
【原出願日】2021-01-29
(71)【出願人】
【識別番号】598138327
【氏名又は名称】株式会社ドワンゴ
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(74)【代理人】
【識別番号】100162570
【弁理士】
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】小嶋 尚
(72)【発明者】
【氏名】丹羽 一臣
【テーマコード(参考)】
5C053
5C164
【Fターム(参考)】
5C053FA14
5C053GB06
5C053JA21
5C053LA06
5C053LA11
5C053LA14
5C164MC01P
5C164SB01S
5C164SB10S
5C164SD12S
5C164UD41P
(57)【要約】 (修正有)
【課題】品位や興趣性を損なわずにコンテンツのクレーム対象箇所を修正するコンテンツ修正装置、コンテンツ配信サーバ、コンテンツ修正方法及びコンテンツ修正プログラムを提供する。
【解決手段】コンテンツ配信サーバ20は、クレーム情報を取得する第2取得部212と、配信済みの複数のコンテンツのデータが記録された記憶部25から、クレーム対象コンテンツのデータを取得するとともに、クレーム対象コンテンツのタイムラインにおいてクレーム対象が含まれる修正対象期間を特定する特定部26と、記憶部25から修正対象期間を修正するための第1コンテンツのデータを取得し、第1コンテンツの少なくとも一部を用いてクレーム対象が含まれない第2コンテンツを生成し、第2コンテンツのデータを記憶部25に記録する修正コンテンツ生成部27と、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
クレーム対象の情報と、クレーム対象コンテンツの識別情報と、を少なくとも含むクレーム情報を取得する取得部と、
配信済みの複数のコンテンツのデータが記録された記憶部から、前記クレーム対象コンテンツの識別情報に基づいて前記クレーム対象コンテンツのデータを取得するとともに、前記クレーム対象の情報に基づいて前記クレーム対象コンテンツのタイムラインにおいて前記クレーム対象が含まれる修正対象期間を特定する特定部と、
前記修正対象期間に含まれる前記クレーム対象を修正するための第1コンテンツのデータを前記記憶部から取得し、前記第1コンテンツの少なくとも一部を用いて前記クレーム対象が含まれない第2コンテンツを生成し、前記第2コンテンツのデータを前記コンテンツのデータとして前記記憶部に記録する修正コンテンツ生成部と、を備えたコンテンツ修正装置。
【請求項2】
前記クレーム対象の情報は、クレーム対象画像の情報と、クレーム対象音声の情報と、クレーム対象期間と、の少なくともいずれかを含む、請求項1記載のコンテンツ修正装置。
【請求項3】
前記特定部は、前記修正対象期間において所定の動作が開始されるタイミングを特定し、
前記修正コンテンツ生成部は、前記所定の動作が含まれる前記第1コンテンツのデータを前記記憶部から取得し、前記第1コンテンツにおける前記所定の動作のタイミングが前記修正対象期間における前記所定の動作のタイミングと一致するようにトリミングされた前記第1コンテンツの一部の画像および音声の少なくとも一方を用いて、前記修正対象期間を修正する、請求項1記載のコンテンツ修正装置。
【請求項4】
前記特定部は、前記クレーム対象の特徴を特定し、
前記修正コンテンツ生成部は、前記クレーム対象の特徴の情報を用いて、前記記憶部に記録された配信済みの複数の前記コンテンツのデータの中から少なくとも一つの前記第1コンテンツを選択する、請求項1乃至請求項3のいずれか1項記載のコンテンツ修正装置。
【請求項5】
前記特定部は、前記クレーム対象コンテンツであると特定した前記コンテンツのデータと関連付けて、前記クレーム情報を前記記憶部に記録し、
前記修正コンテンツ生成部は、前記記憶部に記録された配信済みの複数の前記コンテンツの中で、配信開始されてから所定期間以上経過しかつ前記クレーム情報がない前記コンテンツ、又は、視聴回数が所定数以上であってかつ前記クレーム情報がない前記コンテンツを、前記第1コンテンツの候補とする、請求項1乃至請求項4のいずれか1項記載のコンテンツ修正装置。
【請求項6】
前記クレーム対象はクレーム対象画像であって、
前記特定部は、前記修正対象期間のフレームにおいて前記クレーム対象画像が含まれるクレーム対象エリアを更に特定し、
前記修正コンテンツ生成部は、前記第1コンテンツのフレームから前記クレーム対象エリアに対応する画像をトリミングし、トリミングされた前記画像を用いて前記クレーム対象エリアを修正した前記第2コンテンツを生成する、請求項1乃至請求項5のいずれか1項記載のコンテンツ修正装置。
【請求項7】
請求項1乃至請求項6のいずれか1項記載のコンテンツ修正装置と、
前記記憶部に記録された前記コンテンツのデータを配信可能な配信部と、
配信を要求した視聴者端末に対して前記コンテンツのデータを配信するよう前記配信部を制御する配信制御部と、を備えたコンテンツ配信サーバ。
【請求項8】
クレーム対象の情報と、クレーム対象コンテンツの識別情報と、を少なくとも含むクレーム情報を取得し、
配信済みの複数のコンテンツのデータが記録された記憶部から、前記クレーム対象コンテンツの識別情報に基づいて前記クレーム対象コンテンツのデータを取得するとともに、前記クレーム対象の情報に基づいて前記クレーム対象コンテンツのタイムラインにおいて前記クレーム対象が含まれる修正対象期間を特定し、
前記修正対象期間に含まれる前記クレーム対象を修正するための第1コンテンツのデータを前記記憶部から取得し、前記第1コンテンツの少なくとも一部を用いて前記クレーム対象が含まれない第2コンテンツを生成し、前記第2コンテンツのデータを前記コンテンツのデータとして前記記憶部に記録する、コンテンツ修正方法。
【請求項9】
コンピュータに、請求項8に記載のコンテンツ修正方法を実行させるコンテンツ修正プログラム。
【請求項10】
請求項9記載のコンテンツ修正プログラムが記録された、コンピュータにより読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンテンツ修正装置、コンテンツ配信サーバ、コンテンツ生成方法、コンテンツ修正プログラム、および、記録媒体に関する。
【背景技術】
【0002】
従来、ネットワークを介して様々なコンテンツを配信する技術が提供されている。また、携帯通信端末が普及したことや高速通信が可能となったこと等に伴い、より多くの人が自身で撮影した動画や録音した音声を、容易に配信することが可能である。この結果、過去に配信されたコンテンツが多数蓄積されている。
【0003】
例えば、配信者が、映像コンテンツを配信サーバへアップロードし、コンテンツの配信が開始されると、コンテンツの内容に対するクレームを受けることがある。例えば、コンテンツ内で著作権が存在する楽曲を無断で使用している場合や、映り込みを望まなかった人物がコンテンツの映像中に現れている場合などに、コンテンツに対してクレームが送信される。
【0004】
このようなクレームは、例えば、コンテンツの内容に異議を唱えたいものが配信サーバへクレームを出したり、SNSなどで異議を唱えるメッセージが発信されたりすることで、配信者に届けられる。
【0005】
配信者にとってクレームを受けた対象のコンテンツそのものを削除する対応が最も容易で安易であるが、配信者の中にはコンテンツの一部を修正することで対象コンテンツを引き続き配信することを望む場合も多い。その場合、配信者は、自ら対象コンテンツを編集して、一部分にモザイクをかけたり、あるいは対応するフレームを削除したり、一部の音声に効果音や自主規制音(ピー音など)を重ねたりして修正する場合がある。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記のようにコンテンツの一部を一様に修正すると、コンテンツの品位や興趣性が損なわれてしまう可能性があった。これに対し、単にコンテンツの一部分を削除したり、画像にモザイクをかけたりするのではなく、例えば他のコンテンツ画像や音声を用いてクレーム対象部分が含まれないように修正できれば、コンテンツの品位や興趣性を損なうことなくコンテンツを修正できる可能性がある。
【0008】
しかしながら、配信者自身が、どのコンテンツのどの部分がクレームのない部分であるのか判断することは困難であり、選択したコンテンツにクレーム対象の箇所が含まれていた場合には、再度、クレームを受けてしまう。そのため、配信者が膨大な数のコンテンツの中から自身のコンテンツを修正するために用いることができる他のコンテンツを選択し、クレームの対象コンテンツを修正することは手間と時間を要する作業となってしまう。
【0009】
本発明は上記事情を鑑みて成されたものであって、コンテンツの品位や興趣性を損なわずにコンテンツのクレーム対象箇所を修正するコンテンツ修正装置、コンテンツ配信サーバ、コンテンツ修正方法、コンテンツ修正プログラム、および、記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の第1態様によるコンテンツ修正装置は、クレーム対象の情報と、クレーム対象コンテンツの識別情報と、を少なくとも含むクレーム情報を取得する取得部と、配信済みの複数のコンテンツのデータが記録された記憶部から、前記クレーム対象コンテンツの識別情報に基づいて前記クレーム対象コンテンツのデータを取得するとともに、前記クレーム対象の情報に基づいて前記クレーム対象コンテンツのタイムラインにおいて前記クレーム対象が含まれる修正対象期間を特定する特定部と、前記修正対象期間に含まれる前記クレーム対象を修正するための第1コンテンツのデータを前記記憶部から取得し、前記第1コンテンツの少なくとも一部を用いて前記クレーム対象が含まれない第2コンテンツを生成し、前記第2コンテンツのデータを前記コンテンツのデータとして前記記憶部に記録する修正コンテンツ生成部と、を備える。
【0011】
本発明の第2態様によるコンテンツ修正装置は、第1態様において、前記クレーム対象の情報は、クレーム対象画像の情報と、クレーム対象音声の情報と、クレーム対象期間と、の少なくともいずれかを含む。
本発明の第3態様によるコンテンツ修正装置は、第1又は第2態様において、前記特定部は、前記修正対象期間において所定の動作が開始されるタイミングを特定し、前記修正コンテンツ生成部は、前記所定の動作が含まれる前記第1コンテンツのデータを前記記憶部から取得し、前記第1コンテンツにおける前記所定の動作のタイミングが前記修正対象期間における前記所定の動作のタイミングと一致するようにトリミングされた前記第1コンテンツの一部の画像および音声の少なくとも一方を用いて、前記修正対象期間を修正するものである。
【0012】
本発明の第4態様によるコンテンツ修正装置は、第1乃至第3態様のいずれかにおいて、前記特定部は、前記クレーム対象の特徴を特定し、前記修正コンテンツ生成部は、前記クレーム対象の特徴の情報を用いて、前記記憶部に記録された配信済みの複数の前記コンテンツのデータの中から少なくとも一つの前記第1コンテンツを選択する。
【0013】
本発明の第5態様によるコンテンツ修正装置は、第1乃至第4態様のいずれかにおいて、前記特定部は、前記クレーム対象コンテンツであると特定した前記コンテンツのデータと関連付けて、前記クレーム情報を前記記憶部に記録し、前記修正コンテンツ生成部は、前記記憶部に記録された配信済みの複数の前記コンテンツの中で、配信開始されてから所定期間以上経過しかつ前記クレーム情報がない前記コンテンツ、又は、視聴回数が所定数以上であってかつ前記クレーム情報がない前記コンテンツを、前記第1コンテンツの候補とする。
【0014】
本発明の第6態様によるコンテンツ修正装置は、第1乃至第5態様のいずれかにおいて、前記クレーム対象はクレーム対象画像であって、前記特定部は、前記修正対象期間のフレームにおいて前記クレーム対象画像が含まれるクレーム対象エリアを更に特定し、前記修正コンテンツ生成部は、前記第1コンテンツのフレームから前記クレーム対象エリアに対応する画像をトリミングし、トリミングされた前記画像を用いて前記クレーム対象エリアを修正した前記第2コンテンツを生成する。
【0015】
本発明の第7態様によるコンテンツ配信サーバは、第1乃至第6態様のいずれかのコンテンツ修正装置と、前記記憶部に記録された前記コンテンツのデータを配信可能な配信部と、配信を要求した視聴者端末に対して前記コンテンツのデータを配信するよう前記配信部を制御する配信制御部と、を備える。
【0016】
本発明の第8態様によるコンテンツ修正方法、クレーム対象の情報と、クレーム対象コンテンツの識別情報と、を少なくとも含むクレーム情報を取得し、配信済みの複数のコンテンツのデータが記録された記憶部から、前記クレーム対象コンテンツの識別情報に基づいて前記クレーム対象コンテンツのデータを取得するとともに、前記クレーム対象の情報に基づいて前記クレーム対象コンテンツのタイムラインにおいて前記クレーム対象が含まれる修正対象期間を特定し、前記修正対象期間に含まれる前記クレーム対象を修正するための第1コンテンツのデータを前記記憶部から取得し、前記第1コンテンツの少なくとも一部を用いて前記クレーム対象が含まれない第2コンテンツを生成し、前記第2コンテンツのデータを前記コンテンツのデータとして前記記憶部に記録する。
【0017】
本発明の第9態様によるコンテンツ修正プログラムは、コンピュータに、第8態様によるコンテンツ修正方法を実行させるプログラムである。
本発明の第10態様による記録媒体は、第9態様によるコンテンツ修正プログラムが記録された、コンピュータにより読み取り可能な記録媒体である。
【発明の効果】
【0018】
本発明によれば、コンテンツの品位や興趣性を損なわずにコンテンツのクレーム対象箇所を修正するコンテンツ修正装置、コンテンツ配信サーバ、コンテンツ修正方法、コンテンツ修正プログラム、および、記録媒体を提供することができる。
【図面の簡単な説明】
【0019】
【
図1】
図1は、一実施形態のコンテンツ修正装置およびコンテンツ配信サーバを含むコンテンツ配信システムの一構成例を概略的に示す図である。
【
図2】
図2は、
図1に示すコンテンツ配信サーバの一構成例を概略的に示す図である。
【
図3】
図3は、一実施形態のコンテンツ修正方法の一例を説明するためのフローチャートである。
【
図4】
図4は、一実施形態のコンテンツ修正装置およびコンテン配信サーバがコンテンツを修正する動作の一例を説明するための図である。
【
図5】
図5は、一実施形態のコンテンツ修正装置およびコンテン配信サーバがコンテンツを修正する動作の一例を説明するための図である。
【
図6】
図6は、一実施形態のコンテンツ修正装置およびコンテン配信サーバがコンテンツを修正する動作の一例を説明するための図である。
【
図7】
図7は、一実施形態のコンテンツ修正装置およびコンテン配信サーバがコンテンツを修正する動作の一例を説明するための図である。
【
図8】
図8は、一実施形態のコンテンツ修正装置およびコンテン配信サーバがコンテンツを修正する動作の一例を説明するための図である。
【発明を実施するための形態】
【0020】
以下、本発明の複数の実施形態について、図面を参照して詳細に説明する。なお、以下の説明において、既に説明済みである構成と同一又は類似した構成および要素については、同一の符号を付して説明を省略する。
【0021】
第1実施形態のコンテンツ修正装置およびコンテンツ配信サーバを含むコンテンツ配信システムの一例について、図面を参照して以下に説明する。
図1は、一実施形態のコンテンツ修正装置およびコンテンツ配信サーバを含むコンテンツ配信システムの一構成例を概略的に示す図である。
本実施形態のコンテンツ配信システムは、配信者端末10と、コンテンツ配信サーバ20と、を備えている。
【0022】
配信者端末10は、ネットワークを介してコンテンツ配信サーバ20と通信可能に接続できる。配信者端末10は、例えばビデオカメラなどの動画ソースに接続されたコンピュータなどの電子デバイス、例えば、テレビ受像機(インターネットテレビを含む)、PC(Personal Computer)、モバイル端末(例えば、タブレット、スマートフォン、ラップトップ、フィーチャーフォン、ポータブルゲーム機、デジタルミュージックプレイヤー、電子書籍リーダなど)、VR(Virtual Reality)端末、AR(Augmented Reality)端末などであり得るが、これらに限られない。配信者端末10は、動画ソースから出力されるエンコード済みの映像データをコンテンツ配信サーバ20へ逐次送信することができる。
【0023】
コンテンツ配信サーバ20は、ネットワークを介して、配信者端末10、および、視聴者端末30と通信可能に接続できる。コンテンツ配信サーバ20は、後述する種々の機能を実現するプログラムを実行するプロセッサおよびプログラムを格納したメモリ、を備え得る。プロセッサは、典型的にはCPU(Central Processing Unit)および/またはGPU(Graphics Processing Unit)であるが、マイコン、FPGA(Field Programmable Gate Array)、またはDSP(Digital Signal Processor)、などであってもよい。また、メモリは、コンテンツ配信サーバ20の動作を実現するためにプロセッサによって実行されるプログラムが記録されるとともに、当該プロセッサによって使用されるデータなどを一時的に格納する。なお、プログラムは、コンテンツ配信サーバ(コンピュータ)20により読み取り可能な記録媒体に記録されてもよい。その場合には、プロセッサは、記録媒体から読み取ったプログラムを実行することにより、種々の機能を実現することが出来る。本実施形態のコンテンツ配信サーバ20は、コンテンツ修正装置を含み得る。
【0024】
視聴者端末30は、ネットワークを介してコンテンツ配信サーバ20と通信可能に接続することができる。なお、視聴者端末30は、コンピュータなどの電子デバイスであって、例えば、テレビ受像機(インターネットテレビを含む)、PC(Personal Computer)、モバイル端末(例えば、タブレット、スマートフォン、ラップトップ、フィーチャーフォン、ポータブルゲーム機、デジタルミュージックプレイヤー、電子書籍リーダ、スマートウォッチなど)、VR(Virtual Reality)端末、AR(Augmented Reality)端末などであり得るが、これらに限られない。なお、ネットワークに接続している視聴者端末30の数はゼロであることもあり得るし、随時増減し得る。
【0025】
図2は、
図1に示すコンテンツ配信サーバの一構成例を概略的に示す図である。
コンテンツ配信サーバ20は、取得部21(第1取得部211および第2取得部212)と、配信制御部22と、生成部23と、配信部24と、特定部26と、修正コンテンツ生成部27と、記憶部25と、を備えている。なお、本実施形態のコンテンツ修正装置は、第2取得部212と、特定部26と、修正コンテンツ生成部27とを少なくとも含み得る。コンテンツ修正装置は、コンテンツ配信サーバ20と一体に構成されていてもよく、コンテンツ修正装置とコンテンツ配信サーバ20とは、一又は複数の構成を共有していてもよい。また、コンテンツ修正装置はコンテンツ配信サーバ20に外付けされ、コンテンツ配信サーバ20と通信可能に接続される構成であっても構わない。
【0026】
コンテンツ配信サーバ20は、さらに、ネットワークに接続可能な通信部(図示せず)を備え得る。通信部は、ネットワークを介して、配信者端末10、および、視聴者端末30と、通信可能であり、第1取得部211と、第2取得部212と、を含み得る。例えば、通信部は、配信者端末10から動画データを受信したり、視聴者端末30からの配信要求を受信したり、配信者端末10との間で第2コンテンツの承認のための通信をしたりする。通信部は、視聴者端末30から受信した配信要求を配信制御部22へ送信する。
【0027】
記憶部25は、コンテンツ配信サーバ20に内蔵されてもよいし、コンテンツ配信サーバ20に外付けされてもよい。記憶部25は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)などの不揮発性記憶媒体を含み得る。なお、記憶部25は、過去に配信された動画や音声の複数のコンテンツのデータを蓄積する領域を含んでいてもよい。コンテンツのデータは、例えば、コンテンツデータと、コンテンツのタグ情報、配信者の識別情報、カテゴリ情報、配信開始日時情報、編集履歴情報、視聴回数、視聴者数、コメント情報、クレーム情報などとを関連付けて、記憶部25に記録され得る。
【0028】
記憶部25は、コンテンツ配信サーバ20とコンテンツ修正装置とに共有されてもよく、コンテンツ配信サーバ20とコンテンツ修正装置とのそれぞれに記憶部25が設けられてもよい。また、記憶部25に蓄積されているコンテンツのデータは、コンテンツ配信サーバ20により配信されたコンテンツのデータに限定されるものではなく、例えば配信されたコンテンツのデータを加工したり編集したりしたものや、コンテンツ修正装置による修正後のコンテンツのデータや、配信前のコンテンツのデータが記憶されても構わない。
【0029】
第1取得部211は、ネットワークを介して配信者端末10から逐次送信されるコンテンツデータを受信可能である。例えば、第1取得部211は、配信者端末10からリアルタイム配信用の動画データや音声データなどのコンテンツデータを受信することができる。また、第1取得部211は、ネットワークを介して視聴者端末30から逐次送信されるコメントなどの入力情報を受信可能である。第1取得部211は、受信したコンテンツデータおよびコメントなどの入力情報を生成部23へ送信する。
【0030】
生成部23は、第1取得部211からコンテンツデータと入力情報とを受信し、例えば視聴者端末30において動画データに入力情報を重畳したコンテンツデータを生成可能とする配信用コンテンツデータを生成することができる。また、生成部23は、例えば、動画データに入力情報を重畳した動画データを配信用コンテンツデータとして生成してもよい。生成部23は、例えば、アルファブレンド、ピクチャーインピクチャーなどの公知の技法を用いて、動画データに入力情報を合成してもよい。生成部23は、生成した配信用コンテンツデータを配信部24へ送信する。また、生成部23は、生成した配信用コンテンツデータを記憶部25へ記録することができる。
【0031】
生成部23は、例えば、動画データの再生映像の画面の一部または全部をリサイズして、または画面の一部をトリミングして入力情報と合成可能としてもよいし、動画データの再生映像の画面の一部が露出し、残部が隠れるように入力情報と合成可能としてもよい。
また、生成部23は、視聴者端末30からの配信要求に応じて複数の配信用コンテンツデータを切り替えて配信可能とするために、表示する画像が異なる複数の配信用コンテンツデータを生成して配信部24へ送信してもよい。生成部23は、例えば、入力情報を画像データに重畳せずに生成した配信用コンテンツデータと、入力情報を画像データに重畳して生成した配信用コンテンツデータとを生成して、配信部24へ送信してもよい。
【0032】
配信部24は、ネットワークと通信可能に接続し、生成部23から配信用コンテンツデータを受信し、配信用コンテンツデータの配信要求を受けた視聴者端末30へ配信することができる。また、配信部24は、記憶部25に記録された配信用コンテンツデータを取得し、配信用コンテンツデータの配信要求を受けた視聴者端末30へ配信することができる。配信部24は、例えば配信用コンテンツデータの配信先などを配信制御部22によって制御される。
【0033】
なお、配信部24は、配信済みの配信用コンテンツデータを直ちに破棄してもよいが、例えばリプレイまたはスローモーション再生を可能とするために所定期間バッファリングしていてもよい。
【0034】
配信制御部22は、配信用データの配信を制御する。配信制御部22は、例えば図示しない時計を含み、時計から得られる時間情報と、画像データの配信に割り当てられた時間枠とを比較し、画像データの配信の開始および終了を管理する。また、配信制御部22は、視聴者端末30による配信要求を通信部から受け取り、視聴者端末30へ画像データが配信されるように配信部24を制御する。
【0035】
第2取得部212は、配信されたコンテンツに対するクレーム情報を受信する。第2取得部212は、受信したクレーム情報を特定部26へ送信する。第2取得部212が取得するクレーム情報は、例えば、クレーム対象コンテンツの識別情報、および、クレーム対象の情報を少なくとも含み得、クレーム発信元の識別情報、クレーム対象となるタイムライン情報や、クレーム内容の詳細情報などを更に含み得る。また、クレーム情報は、予め著作権法やデジタルミレニアム著作権法(DMCA: Digital Millennium Copyright Act)などに基づいて正当なクレームであると判断されたことを示す識別情報を含んでいてもよい。また、クレーム対象の情報は、クレーム対象画像の情報と、クレーム対象音声の情報と、クレーム対象期間の情報との少なくともいずれかを含む。
【0036】
第2取得部212は、所定の条件を満たすクレーム情報のみを受信してもよい。第2取得部212は、例えば予め登録されたクレーム発信元からのクレーム情報のみを受信してもよく、例えば正当なクレームであると判断済であるクレーム情報のみを受信してもよい。
【0037】
特定部26は、第2取得部212から受信したクレーム情報に基づいて、クレーム対象コンテンツを特定するとともに、特定したクレーム対象コンテンツの修正対象期間(画像修正対象期間と音声修正対象期間との少なくとも一方を含む)を特定する。なお、修正対象期間は、1つのクレーム対象コンテンツに複数含まれ得る。
【0038】
特定部26は、クレーム情報に含まれるクレーム対象コンテンツの識別情報を用いて、記憶部25に記憶されたコンテンツデータの中から対象コンテンツを特定することができる。特定部26は、特定したコンテンツデータと関連付けて、対応するクレーム情報を記憶部25に記録してもよい。
【0039】
特定部26は、例えばクレーム情報に含まれるクレーム対象画像の情報に基づいて、クレーム対象コンテンツのタイムラインにおける画像修正対象期間を特定することができる。また、特定部26は、例えばクレーム情報にクレーム対象画像が含まれている場合には、クレーム対象コンテンツの画像に含まれるクレーム対象画像を認識し、コンテンツのタイムラインの中でクレーム対象画像が含まれているフレームに対応する期間を画像修正対象期間とする。さらに、特定部26は、画像修正対象期間内のクレーム対象画像が含まれているフレームのエリア(一部分)を特定してもよい。その場合には、画像修正対象期間の情報は、画像修正対象期間内のフレームにおけるクレーム対象エリアの情報を含む。
【0040】
特定部26は、画像修正対象期間が開始するタイミングにおいて、クレーム対象画像の任意の動作が開始するタイミングを検出してもよい。例えば、画像修正対象期間が開始するタイミングで人物が話し始めたり、ダンスを開始したり、歩き始めたり、走り始めたり、食事をしたりする動作を検出してしてもよく、例えば乗り物が動き始める動作や、ゲームのプレイが開始される動作や、ゲームのプレイ画面に表示される画像の動作などを検出してもよい。特定部26は、画像修正対象期間が開始するタイミングにおける動作を検出したときには、検出された動作を識別する識別情報を画像修正対象期間の情報に含める。
なお、特定部26は、画像修正対象期間の全期間にわたって画像の動作が開始するタイミングを検出してもよい。この場合には、特定部26は、検出された動作を識別する識別情報とその動作の開始タイミングとの情報とを画像修正対象期間の情報に含める。
【0041】
また、特定部26は、クレーム対象画像やクレーム対象画像を含むフレーム全体の画像から、クレーム対象の人物やキャラクターの性別、年齢層、背格好、服の色、髪や目や肌の色などの特徴や、画像の背景などの特徴を特定してもよい。また、クレーム対象画像が、未公開の車や鉄道車両などの移動体や、スマートフォンやタブレット端末等の電子機器など未公開の製品などの画像である場合には、特定部26は、クレーム対象画像の物のカテゴリ、色、大きさ等の特徴を特定してもよい。例えば、特定部26は、クレーム対象である人物や物の特徴およびクレーム対象以外の画像の特徴を特定したときには、特定した特徴を識別する識別情報を画像修正対象期間の情報に含めることができる。
【0042】
また特定部26は、例えばクレーム情報に含まれるクレーム対象音声の情報に基づいて、クレーム対象コンテンツのタイムラインにおける音声修正対象期間を特定することができる。特定部26は、例えばクレーム情報にクレーム対象音声が含まれている場合には、クレーム対象コンテンツに含まれるクレーム対象音声を認識し、コンテンツデータのタイムラインの中でクレーム対象音声が含まれている期間を音声修正対象期間とする。クレーム対象音声の情報は、レコードやCDなどの媒体の作製者、演出家の情報、作製の日付、作曲者や作詞者の情報、その楽曲の別な演奏における演奏者あるいは歌手の情報、その演奏の演奏者や歌手の情報、レーベルなどの情報や、楽曲のタイトル、歌詞あるいは歌詞の一部、楽曲の俗称や通称、楽曲が用いられたテレビ番組や映画などの情報を含んでいてもよい。例えばネットワークを介して、クレーム対象音声の認識に必要な情報を取得することができる場合には、特定部26は、ネットワークを介して必要な情報を取得してもよい。
【0043】
なお、クレーム対象コンテンツにおいて、例えば、著作権のある楽曲がアレンジされて用いられていたり、著作権のある楽曲をカバーする音声が含まれていたりすることも考えられる。具体的には、例えばゲーム音楽がジャズ風にアレンジされたりオーケストラにより演奏されたりする可能性や、例えば男性歌手の楽曲を女性がカバーする可能性もあり得る。このような場合に対応するために、特定部26は、クレーム対象音声そのものが認識された期間だけでなく、クレーム対象音声をアレンジしたりカバーしたりする音声が認識された期間も、音声修正対象期間としてもよい。特定部26は、例えば、クレーム対象コンテンツの音声からメロディの解析(形態素解析)や歌詞を認識することにより、クレーム対象音声をアレンジしたりカバーしたりする音声を特定することができる。
【0044】
同様にして、著作権の消滅した楽曲であるが、その楽曲の著作隣接権を、例えば実演家、レコード製作者、放送事業者等が保有する場合であっても、対象コンテンツの音声データに含まれるメロディ等を解析し、クレーム対象に対応する演奏であれば、特定部26によりその演奏が含まれるタイムラインをシステムが特定して、音声修正対象期間としてもよい。このように著作隣接権が存在する楽曲についても、修正の対象とする点は他の実施例においても同様である。
【0045】
また、特定部26は、例えば音声修正対象期間が開始するタイミングにおけるクレーム対象音声の特徴(会話、音楽のジャンル、性別、言語)を検出してもよい。特定部26は、音声修正対象期間のクレーム対象音声の特徴を特定したときには、特定した特徴を識別する識別情報を音声修正対象期間の情報に含めることができる。
【0046】
例えば、特定部26は、画像修正対象期間のクレーム対象画像の動作や特徴、又は、音声修正対象期間のアレンジやカバー(アレンジ等)された音声や音声の特徴を特定する学習済みモデルを備えていてもよい。学習済みモデルは、例えば、畳み込みニューラルネットワーク(CNN:Convolution Neural Network)などの深層学習により、所定の条件を満たすコンテンツデータを入力とし、コンテンツデータの再生画像又は音声における動作やアレンジ等や特徴を特定する学習済みのモデルである。コンテンツデータにおける動作やアレンジ等や特徴が複数想定される場合には、特定部26は、複数の動作やアレンジ等や特徴のそれぞれに対応する複数の学習済みモデルを備え得る。
【0047】
また、特定部26は、例えばクレーム情報に含まれるクレーム対象期間に基づいて、クレーム対象コンテンツのタイムラインにおけるクレーム対象期間に対応する期間を、画像修正対象期間および音声修正対象期間としてもよい。
特定部26は、画像修正対象期間と音声修正対象期間との少なくとも一方の情報と、クレーム対象コンテンツのデータとを修正コンテンツ生成部27へ送信する。
【0048】
修正コンテンツ生成部27は、特定部26から受信した画像修正対象期間と音声修正対象期間との少なくとも一方の情報と、対象コンテンツのデータとに基づいて、修正に用いる第1コンテンツ(修正用コンテンツ)の条件を設定する。
【0049】
修正コンテンツ生成部27は、例えば、記憶部25に記録されたコンテンツの中で、配信開始されてから所定期間以上が経過していてかつクレームがないコンテンツや、視聴回数が所定数以上であってかつクレームがないものを第1コンテンツの候補とする。修正コンテンツ生成部27は、第1コンテンツの候補の中から、クレーム対象コンテンツのジャンル、タグ、配信者などの情報や、画像修正対象期間と音声修正対象期間との情報を用いて第1コンテンツを少なくとも1つ選択する。修正コンテンツ生成部27は、第1コンテンツを複数選択してもよい。
【0050】
修正コンテンツ生成部27は、例えば、クレーム対象コンテンツのジャンルとタグとが共通のコンテンツを第1コンテンツとして選択してもよく、クレーム対象コンテンツと同じ配信者のコンテンツを第1コンテンツとして選択してもよい。また、修正コンテンツ生成部27は、画像修正対象期間の情報に含まれるクレーム対象画像の動作情報や特徴情報に基づいて、画像修正対象期間のクレーム対象画像に近い画像(共通の動作や特徴がより多い画像)を少なくとも一部に含むコンテンツを第1コンテンツとして選択してもよい。
また、修正コンテンツ生成部27は、音声修正対象期間の情報に含まれるクレーム対象音声の特徴情報に基づいて、音声修正対象期間のクレーム対象音声に近い音声(共通の特徴がより多い音声)を含むコンテンツを第1コンテンツとして選択してもよい。なお、修正コンテンツ生成部27は、画像修正対象期間および音声修正対象期間よりも十分に長いコンテンツを第1コンテンツとして選択することが望ましい。
【0051】
例えば、修正コンテンツ生成部27は、第1コンテンツの候補の中から、画像の所定の動作や特徴又は音声の特徴を有するコンテンツを特定する学習済みモデルを備えていてもよい。学習済みモデルは、例えば、畳み込みニューラルネットワーク(CNN:Convolution Neural Network)などの深層学習により、所定の条件を満たすコンテンツデータを入力とし、コンテンツデータの再生画像又は音声における動作や特徴を特定する学習済みのモデルである。修正コンテンツ生成部27は、複数の動作や特徴のそれぞれに対応する複数の学習済みモデルを備え得る。
【0052】
修正コンテンツ生成部27は、画像修正対象期間のフレームと修正用のコンテンツの一部期間の画像とを差し替えることにより、クレーム対象コンテンツと修正用のコンテンツの一部の画像とを合成してもよい。また、修正コンテンツ生成部27は、例えば、アルファブレンド、ピクチャーインピクチャーなどの公知の技法を用いて、画像修正対象期間のクレーム対象画像の部分に第1コンテンツの一部の画像を合成してもよい。
【0053】
例えば、修正コンテンツ生成部27は、クレーム対象コンテンツの画像修正対象期間のフレームをカットし、選択した修正用のコンテンツから画像修正対象期間に対応する期間のフレームをトリミングして画像修正対象期間のフレームと差し替えて(若しくは画像修正対象期間のフレームにトリミングしたフレームを重畳して)、クレーム対象画像を含まないように修正された第2コンテンツ(修正済コンテンツ)を生成することができる。
【0054】
第1コンテンツが複数ある場合には、修正コンテンツ生成部27は複数の第1コンテンツのそれぞれ一部の期間を用いて、複数の第2コンテンツを生成することができる。また、修正コンテンツ生成部27は、1つの第1コンテンツから複数の期間の画像をトリミングして複数の第2コンテンツを生成してもよい。
【0055】
修正コンテンツ生成部27は、画像修正対象期間の情報が動作の情報を含む場合には、第1コンテンツの画像で対応する所定の動作の開始タイミングが、画像修正対象期間の動作の開始タイミングと一致するように、第1コンテンツから画像をトリミングする期間を設定し、画像修正対象期間のフレーム(若しくはクレーム対象画像)と修正用のコンテンツからトリミングした画像とを差し替えて(若しくはトリミングした画像を重畳して)第2コンテンツを生成してもよい。
【0056】
また、修正コンテンツ生成部27は、画像修正対象期間の情報にクレーム対象エリアの情報が含まれている場合には、第1コンテンツの画像からクレーム対象画像の特徴に応じたエリアをトリミングして、画像修正対象期間のフレームにおけるクレーム対象エリアに第1コンテンツの画像からトリミングしたエリアを差し替えて(若しくは重畳して)、第2コンテンツを生成してもよい。このとき、修正コンテンツ生成部27は、画像修正対象期間のクレーム対象エリアの大きさに合わせて、第1コンテンツの画像からトリミングした画像を拡大又は縮小して大きさを調整しても構わない。
【0057】
修正コンテンツ生成部27は、例えば、クレーム対象コンテンツの音声修正対象期間の音声をカットして、選択した修正用のコンテンツからトリミングした音声修正対象期間に対応する期間の音声を、音声修正対象期間の音声部分と差し替えて、クレーム対象音声を含まないように修正した第2コンテンツを生成することができる。第1コンテンツが複数ある場合には、修正コンテンツ生成部27は複数の第1コンテンツのそれぞれ一部の期間を用いて複数の第2コンテンツを生成することができる。また、修正コンテンツ生成部27は、1つの第1コンテンツの複数の期間を用いて複数の第2コンテンツを生成してもよい。
【0058】
修正コンテンツ生成部27は、例えば、第1コンテンツの音声における会話や音楽の開始タイミングが、画像修正対象期間における会話や音楽の開始タイミングとなるように、修正用のコンテンツから音声の一部をトリミングして、画像修正対象期間の音声と第1コンテンツのトリミングされた部分とを差し替えてコンテンツを修正してもよい。
【0059】
修正コンテンツ生成部27は、生成した第2コンテンツの少なくとも一つのデータを記憶部25に記録する。修正コンテンツ生成部27は、第2コンテンツのデータを記録する際に修正前の元のコンテンツのデータを削除し、元のコンテンツに代えて第2コンテンツのデータをコンテンツデータとして記憶部25に記録してもよく、修正前の元のコンテンツと関連付けて第2コンテンツのデータを記憶部25に記録してもよい。また、修正コンテンツ生成部27は、第2コンテンツのデータと合わせて、クレーム情報に対応済みである旨の情報を記憶部25に記録してもよい。
【0060】
修正コンテンツ生成部27は、生成した第2コンテンツを配信者端末10へ提示し、配信者が修正の可否を選択可能としてもよい。この場合、修正コンテンツ生成部27は、一又は複数の第2コンテンツを配信者端末10へ提示することができる。このとき、修正コンテンツ生成部27は、少なくとも第2コンテンツにおける修正された部分を配信者端末10へ提示すればよい。配信者端末10は、配信者の操作に基づいて、コンテンツの修正の可否と、修正可の場合に選択される第2コンテンツとの情報を修正コンテンツ生成部27へ送信する。修正コンテンツ生成部27は、配信者端末10より修正可として選択された第2コンテンツがある場合には、選択された第2コンテンツを記憶部25に記録することができる。
【0061】
以下に、上記コンテンツ修正装置およびコンテンツ配信サーバ20の動作の一例について図面を参照して説明する。
図3は、一実施形態のコンテンツ修正方法の一例を説明するためのフローチャートである。
図4乃至
図8は、一実施形態のコンテンツ修正装置およびコンテン配信サーバがコンテンツを修正する動作の一例を説明するための図である。
【0062】
ここでは、
図4および
図8を参照して、クレーム対象コンテンツの画像修正対象期間のフレームの少なくとも一部のエリアに、第1コンテンツの一部のフレーム又は画像を合成して修正した第2コンテンツを生成する際の、コンテンツ修正装置およびコンテンツ配信サーバ20の動作について説明する。なお、
図4および
図8では、クレーム対象コンテンツの画像の一部を修正する例を示しているが、音声を修正する際も同様の動作であり、同様の動作で画像と音声との両方を修正することも可能である。
【0063】
まず、コンテンツ配信サーバ20の第2取得部212が、クレーム情報を取得する(ステップS1)。このとき、第2取得部212は、例えば予め登録されたクレーム発信元からのクレーム情報のみを受信してもよく、例えば正当なクレームであると判断済であるクレーム情報のみを受信してもよい。第2取得部212は、受信したクレーム情報を特定部26へ送信する。
【0064】
特定部26は、第2取得部212から受信したクレーム情報に含まれるクレーム対象コンテンツの識別情報を用いて、記憶部25に記憶されたコンテンツデータの中から対象コンテンツを特定する(ステップS2)。
【0065】
続いて、特定部26は、例えばクレーム情報に含まれるクレーム対象画像の情報に基づいて、クレーム対象コンテンツの画像修正対象期間を特定する。なお、例えばクレーム情報に予めクレーム対象期間(タイムラインにおけるクレーム対象の時間帯)の情報が含まれている場合には、特定部26は、クレーム対象期間を画像修正対象期間としてもよい(ステップS3)。
【0066】
図4には、クレーム情報に含まれるクレーム対象画像の一例を示している。この例では、クレーム対象画像は人物の画像である。特定部26は、例えばクレーム対象画像に含まれる人物の画像を用いて、クレーム対象コンテンツにおいてクレーム対象の画像が含まれているフレームを特定し、特定したフレームに対応する期間を画像修正対象期間とする。
【0067】
図5には、特定部26が
図4のクレーム対象画像を用いて特定した画像修正対象期間のフレームFRの一例を示している。特定部26は、クレーム対象の人物の画像が含まれるフレームFRを含む期間を画像修正対象期間として特定する。なお、例えば、クレーム対象画像を含む第1フレームと第2フレームとの間に、クレーム対象画像を含まない一又は複数のフレームが存在する場合であっても、第1フレームと第2フレームとの間の期間が所定期間よりも短い場合には、特定部26は、第1フレームから第2フレームまでの全てのフレームに対応する期間を画像修正対象期間としてもよい。
なお、特定部26は、クレーム対象音声の情報を用いて音声修正対象期間を特定する場合には、クレーム対象音声そのものが含まれる期間だけでなく、クレーム対象音声をアレンジしたりカバーしたりした音声を含む期間も音声修正対象期間としてもよい。
【0068】
また、特定部26は、クレーム対象画像や、クレーム対象画像を含むフレーム全体の画像から、クレーム対象の人物やキャラクターの性別、年齢層、背格好、服の色、髪や目や肌の色などの特徴や、画像の背景などの特徴を特定してもよい。なお、クレーム対象が物であるときには、特定部26は、クレーム対象画像の物のカテゴリ、色、大きさ等の特徴を特定してもよい。例えば、特定部26は、クレーム対象である人物や物の特徴および背景の特徴を特定したときには、特定した特徴を識別する識別情報を画像修正対象期間の情報に含めることができる。
【0069】
図6は、
図4の画像修正対象期間のフレームFRにおけるクレーム対象画像が含まれているフレームFRのクレーム対象エリア(一部分)AR1の一例を示している。特定部26は、クレーム対象画像を含むフレームFRにおいて更にクレーム対象画像が表示されている一部のエリアAR1を特定してもよい。その場合には、特定部26は、画像修正対象期間の情報にクレーム対象エリアAR1の情報を含める。
【0070】
特定部26は、特定した画像修正対象期間の情報と、クレーム対象コンテンツのデータとを修正コンテンツ生成部27へ送信する。
【0071】
修正コンテンツ生成部27は、受信した画像修正対象期間の情報とクレーム対象コンテンツのデータとに基づいて、第1コンテンツの条件を設定し、記憶部25に記録されたコンテンツの中から条件を満たすコンテンツを取得する(ステップS4)。このとき、修正コンテンツ生成部27は、記憶部25に記録された複数のコンテンツの中で、配信開始されてから所定期間以上が経過していてかつクレームがないコンテンツや、視聴回数が所定数以上であってかつクレームがないものを修正に用いる第1コンテンツ(修正用コンテンツ)の候補とする。また、修正コンテンツ生成部27にて設定される第1コンテンツの条件として、クレーム対象コンテンツのジャンル、タグ、配信者などの情報や、画像修正対象期間の情報に含まれるクレーム対象の人物(又は物)の特徴など用いることができる。
【0072】
修正コンテンツ生成部27は、取得した第1コンテンツの一部の画像を、クレーム対象コンテンツの修正対象期間の画像とし、クレーム対象画像を含まない第2コンテンツを生成する(ステップS5)。
【0073】
修正コンテンツ生成部27は、クレーム対象コンテンツの修正対象期間のフレームを第1コンテンツのフレームとすることによりクレーム対象画像を含まない第2コンテンツを生成してもよい。この場合、修正コンテンツ生成部27は、例えば
図5に示すフレームFR全体を、
図7に示すような第1コンテンツのフレームとして、クレーム対象画像を含まない第2コンテンツを生成することができる。
【0074】
また、修正コンテンツ生成部27は、画像修正対象期間のフレームにおいてクレーム対象画像を含むクレーム対象エリアAR1のみを第1コンテンツのフレームの一部の画像として第2コンテンツを生成してもよい。修正コンテンツ生成部27は、例えば
図7に示す第1コンテンツのフレームにおいて、クレーム対象画像の特徴に応じたエリアAR2を選択し、エリアAR2の画像をフレームFRのエリアAR1と差し替えて(若しくは重畳して)、クレーム対象画像を含まない第2コンテンツを生成することができる。
【0075】
図8は、クレーム対象コンテンツのフレームFRの一部を第1コンテンツの一部の画像として修正した第2コンテンツの例を説明するための図である。この場合、例えば
図8に示すように、クレーム対象コンテンツのフレームFRの一部分のみが、第1コンテンツのエリアAR2の画像となるため、コンテンツの全体的な品位や興趣性を損なわずに、クレーム対象画像を含まない第2コンテンツ(修正済コンテンツ)を生成することが可能である。
【0076】
修正コンテンツ生成部27は、生成した第2コンテンツのデータを配信用コンテンツのデータとして記憶部25に記録する(ステップS6)。このとき、修正コンテンツ生成部27は、生成した第2コンテンツを配信者端末10に提示して、配信者端末10から修正の許可を得られた場合にのみ第2コンテンツのデータを記憶部25に記録してもよい。また、修正コンテンツ生成部27が複数の第2コンテンツを生成したときには、少なくとも1つの第2コンテンツのデータを記憶部25に記録すればよく、配信者により選択された第2コンテンツのデータのみを記憶部25に記録しても構わない。
【0077】
上記のように、本実施形態のコンテンツ修正装置およびコンテンツ配信サーバによれば、単にコンテンツの一部分を削除したり、画像にモザイクをかけたりするのではなく、他のコンテンツ画像や音声を用いて、コンテンツの品位や興趣性を損なうことなくコンテンツを修正することができる。すなわち、本実施形態によれば、コンテンツの品位や興趣性を損なわずにコンテンツのクレーム対象箇所を修正するコンテンツ修正装置、コンテンツ配信サーバ、コンテンツ修正方法、コンテンツ修正プログラム、および、記録媒体を提供することができる。
【0078】
また、本実施形態では、配信者自身がどのコンテンツのどの部分がクレームのない部分であるのか判断する必要がないため、クレーム対象コンテンツの修正に要する手間と時間を省くことができる。
【0079】
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【0080】
10…配信者端末、20…コンテンツ配信サーバ、21…取得部、211…第1取得部、212…第2取得部、22…配信制御部、23…生成部、24…配信部、25…記憶部、26…特定部、27…修正コンテンツ生成部、30…視聴者端末、FR…フレーム、AR1…クレーム対象エリア、AR2…エリア