特許 7493196 人工知能を活用した比較動画生成システム、動画生成プログラム、及び、動画生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-05-23

(45)【発行日】2024-05-31

(54)【発明の名称】人工知能を活用した比較動画生成システム、動画生成プログラム、及び、動画生成方法

(51)【国際特許分類】

   G06T 13/80 20110101AFI20240524BHJP

【ＦＩ】

G06T13/80 B

【請求項の数】 11

(21)【出願番号】P 2024018830

(22)【出願日】2024-02-09

【審査請求日】2024-02-09

【早期審査対象出願】

(73)【特許権者】

【識別番号】512207179

【氏名又は名称】株式会社４ＣＯＬＯＲＳ

(74)【代理人】

【識別番号】110004163

【氏名又は名称】弁理士法人みなとみらい特許事務所

(72)【発明者】

【氏名】伊藤 剛

【審査官】鈴木 明

(56)【参考文献】

【文献】特表２０１６－５００２１８（ＪＰ，Ａ）

【文献】特許第７１３８３１７（ＪＰ，Ｂ１）

【文献】特開２０１９－２２００９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １３／８０

(57)【特許請求の範囲】

【請求項1】

人工知能を活用した比較動画生成システムであって、
前記人工知能を活用した比較動画生成システムは、取得部、及び生成部を備え、
動画中で説明される対象に関する第１説明情報を含む比較元動画データをデータベースに格納し、
前記取得部は、比較対象に関する第２説明情報を含む比較先データを取得し、
前記生成部は、前記第１説明情報及び前記第２説明情報を生成人工知能に入力して、比較説明情報を生成処理し、前記比較説明情報及び前記比較元動画データに基づいて、比較動画を生成する
人工知能を活用した比較動画生成システム。

【請求項2】

前記生成部は、前記比較説明情報に対応するデータを外部のデータベースから取得し、
該データを表示する前記比較動画を生成する
請求項１に記載の人工知能を活用した比較動画生成システム。

【請求項3】

前記人工知能を活用した比較動画生成システムは、表示処理部、及び更新部を更に備え、
前記表示処理部は、比較元動画を公開表示し、
前記更新部は、前記比較元動画データを管理する管理者からの前記比較動画に対する評価に基づいて、前記比較元動画又は前記比較動画を更新する
請求項１に記載の人工知能を活用した比較動画生成システム。

【請求項4】

前記生成部は、前記比較元動画データのタイミングの指定を受け付けて、指定されたタイミングにおいて表示される前記第１説明情報、及び取得された前記第２説明情報を前記生成人工知能に入力して、前記比較説明情報を生成処理し、
前記指定されたタイミングにおいて表示される前記第１説明情報、及び該比較説明情報が対応付いた前記比較動画を生成する
請求項１に記載の人工知能を活用した比較動画生成システム。

【請求項5】

前記人工知能を活用した比較動画生成システムは、特定部を更に備え、
前記特定部は、生成された前記比較説明情報に対応する前記第１説明情報を表示する比較元動画のタイミングを特定し、
前記生成部は、前記比較説明情報、及び前記第１説明情報を該タイミングで表示する前記比較動画を生成する
請求項１に記載の人工知能を活用した比較動画生成システム。

【請求項6】

前記生成部は、前記第１説明情報に前記比較説明情報を重畳して表示する前記比較動画を生成する
請求項３又は請求項４に記載の人工知能を活用した比較動画生成システム。

【請求項7】

前記生成部は、前記第１説明情報の内容と、前記比較説明情報に基づく内容を切り替え可能に表示する前記比較動画を生成する
請求項３又は請求項４に記載の人工知能を活用した比較動画生成システム。

【請求項8】

前記生成部は、取得された前記比較先データの数に応じて画面を分割して前記比較説明情報を配置する前記比較動画を生成する
請求項３に記載の人工知能を活用した比較動画生成システム。

【請求項9】

前記生成部は、前記第１説明情報及び前記第２説明情報が数値のデータ形式を含む場合に、前記比較説明情報に基づくグラフを生成する
請求項１に記載の人工知能を活用した比較動画生成システム。

【請求項10】

人工知能を活用した比較動画生成プログラムであって、
前記人工知能を活用した比較動画生成プログラムは、コンピュータを、取得部、生成部、及びデータベースとして機能させ、
前記データベースは、動画中で説明される対象に関する第１説明情報を含む比較元動画データを格納し、
前記取得部は、比較対象に関する第２説明情報を含む比較先データを取得し、
前記生成部は、前記第１説明情報及び前記第２説明情報を生成人工知能に入力して、比較説明情報を生成処理し、前記比較説明情報及び前記比較元動画データに基づいて、比較動画を生成する
人工知能を活用した比較動画生成プログラム。

【請求項11】

人工知能を活用した比較動画生成方法であって、
コンピュータが、
動画中で説明される対象に関する第１説明情報を含む比較元動画データをデータベースに格納する処理と、
比較対象に関する第２説明情報を含む比較先データを取得する処理と、
前記第１説明情報及び前記第２説明情報を生成人工知能に入力して、比較説明情報を生成処理し、前記比較説明情報及び前記比較元動画データに基づいて、比較動画を生成する処理と、
を実行する人工知能を活用した比較動画生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

人工知能を活用した比較動画生成システム、動画生成プログラム、及び動画生成方法に関する。

【背景技術】

【0002】

従来から、動画コンテンツをアップロードすることで、動画を編集することができる技術が知られている。例えば、複数の動画コンテンツを単一の動画コンテンツに繋ぎ合わせる技術の一例が、特許文献１において提案されている。

【0003】

特許文献１には、ユーザによってコンテンツホスティングサイトまたはサービスにアップロードされたビデオクリップに関連したソースを特定し、ビデオクリップが映画等のコンテンツを含んでいる場合には、映画等を、ビデオクリップとソースデータストアにあるソースとの比較に基づいて、ソースとして特定し、ビデオクリップの字幕テキストや音声認識技術に基づいて、ビデオクリップのトランスクリプト（又は分類データ）を作成し、分類データに基づいて、関連コンテンツを有するビデオクリップのセットを特定し、ビデオクリップのセットは、順序付けパラメータの順序に従ってビデオクリップを単一の統合ビデオに繋ぎ合わせることができ、また重複コンテンツがある場合には、重複部分を他方に含ませビデオクリップを繋ぎ合わせることが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特表２０１６－５００２１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１に記載の発明は、アップロードされた動画コンテンツの分類データに基づいて、関連する複数の動画コンテンツを繋ぎ合わせて単一の動画コンテンツを生成することはできるが、動画コンテンツの内容を比較可能に表示することができなかった。

【0006】

上記事情に鑑みて、本発明は、複数のコンテンツの内容が比較可能な動画を生成する新規な技術を提供することを解決すべき課題とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明は、人工知能を活用した比較動画生成システムであって、前記動画生成システムは、取得部、及び生成部を備え、動画中で説明される対象に関する第１説明情報を含む比較元動画データをデータベースに格納し、前記取得部は、比較対象に関する第２説明情報を含む比較先データを取得し、前記生成部は、前記第１説明情報及び前記第２説明情報を生成人工知能に入力して、比較説明情報を生成処理し、前記比較説明情報及び前記比較元動画データに基づいて、比較動画を生成する。

【0008】

このような構成とすることで、データベースに格納される比較元動画の第１説明情報、及び取得された比較先データの第２説明情報を生成人工知能に入力して比較説明情報を生成することで、比較動画を生成することができる。生成人工知能を用いることで、第１説明情報と第２説明情報の表記違い等があっても適切に表記を統合した比較動画を生成することができる。

【0009】

本発明の好ましい形態では、前記生成部は、前記比較説明情報に対応するデータを外部のデータベースから取得し、該データを表示する前記比較動画を生成する。

【0010】

このような構成とすることで、生成人工知能に入力して得られた情報のみならず、関連した情報をデータベースから取得することで、ユーザはより詳細な情報を得ることができる。

【0011】

本発明の好ましい形態では、前記人工知能を活用した比較動画生成システムは、表示処理部、及び更新部を更に備え、前記表示処理部は、比較元動画を公開表示し、前記更新部は、前記比較元動画データを管理する管理者からの前記比較動画に対する評価に基づいて、前記比較元動画又は前記比較動画を更新する。

【0012】

このような構成とすることで、比較元動画の管理者からの評価に応じて、比較元動画又は比較動画が更新され、比較動画において不適切な動画が生成されないようにすることができる。

【0013】

本発明の好ましい形態では、前記生成部は、前記比較元動画データのタイミングの指定を受け付けて、指定されたタイミングにおいて表示される前記第１説明情報、及び取得された前記第２説明情報を前記生成人工知能に入力して、前記比較説明情報を生成処理し、前記指定されたタイミングにおいて表示される前記第１説明情報、及び該比較説明情報が対応付いた前記比較動画を生成する。

【0014】

このような構成とすることで、比較元動画データのタイミングを指定して、比較説明情報を生成することにより、指定されたタイミングの第１説明情報と比較説明情報を対応付けることができる。

【0015】

本発明の好ましい形態では、前記人工知能を活用した比較動画生成システムは、特定部を更に備え、前記特定部は、生成された前記比較説明情報に対応する前記第１説明情報を表示する比較元動画のタイミングを特定し、前記生成部は、前記比較説明情報、及び前記第１説明情報を該タイミングで表示する前記比較動画を生成する。

【0016】

このような構成とすることで、比較説明情報を表示する比較元動画のタイミングをユーザが指定することなく特定することができる。

【0017】

本発明の好ましい形態では、前記生成部は、前記第１説明情報に前記比較説明情報を重畳して表示する前記比較動画を生成する。

【0018】

このような構成とすることで、第１説明情報と比較説明情報を重ねて画面上に表示することができ、ユーザは視線移動を最小限にして第１説明情報と比較説明情報を確認することができる

【0019】

本発明の好ましい形態では、前記生成部は、前記第１説明情報の内容と、前記比較説明情報に基づく内容を切り替え可能に表示する比較動画を生成する。

【0020】

このような構成とすることで、第１説明情報の内容と、比較説明情報に基づく内容の表示のオン・オフを切り替えることができる。これにより、第１説明情報のみを見たい場合と、比較説明情報に基づく内容を見たい場合の、両方のケースに対応することができる。

【0021】

本発明の好ましい形態では、前記生成部は、取得された前記比較先データの数に応じて画面を分割して前記比較説明情報を配置する前記比較動画を生成する。

【0022】

このような構成とすることで、取得された比較先データの数に応じて、比較動画の画面を分割して比較元動画の内容、及び指標を配置することができる。これにより、ユーザがより見やすいように動画の内容を配置することで、ユーザは比較対象の比較を容易に行うことできる。

【0023】

本発明の好ましい形態では、前記生成部は、前記第１説明情報及び前記第２説明情報が数値のデータ形式を含む場合に、前記比較説明情報に基づくグラフを生成する。

【0024】

このような構成とすることで、比較動画において、第１説明情報及び第２説明情報が数値のデータ形式を含む場合には、比較説明情報に基づくグラフが表示され、ユーザは、より容易に比較説明を確認することができる。

【発明の効果】

【0025】

本発明は、複数のコンテンツの内容が比較可能な比較動画を生成する新規な技術を提供することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の一実施形態におけるシステムの構成を示すブロック図である。

【図2】本発明の一実施形態におけるシステムのハードウェア構成図である。

【図3】本発明の一実施形態における機能ブロック図である。

【図4】本発明の一実施形態における比較動画を生成する処理フローチャートの一例である。

【図5】本発明の一実施形態における生成される比較動画の一例である。

【図6】本発明の一実施形態における生成される比較動画の一例である。

【図7】本発明の一実施形態における生成される比較動画の一例である。

【図8】本発明の一実施形態における再生される比較動画の一例である。

【図9】本発明の別の形態における比較動画の生成に関する図である。

【発明を実施するための形態】

【0027】

以下、添付画面を参照して、更に詳細に説明する。図面には好ましい実施形態が示されている。しかし、多くの異なる形態で実施されることが可能であり、本明細書に記載される実施形態に限定されない。

【0028】

例えば、本実施形態では人工知能を活用した比較動画生成システムの構成、動作等について説明するが、実行される方法、装置、コンピュータプログラム等によっても、同様の作用効果を奏することができる。また、プログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、例えばコンピュータにプログラムをインストールすることができ、これにより比較動画生成装置、人工知能を活用した比較動画生成システムを構成することができる。ここで、プログラムを記憶した記録媒体は、例えばＣＤ－ＲＯＭ等の非一過性の記録媒体であってもよい。

【0029】

本発明は、ユーザが視聴した比較元動画のデータと、取得した比較先データの内容が比較可能な比較動画を生成するシステムに関する。本発明において、比較元動画データは比較対象を説明する動画であって、比較先データは比較対象に関するファイルである。本実施形態における比較対象は、比較の対象となるもの・ことであって、企業に関する情報（例えば、経営方針、商品説明、セキュリティポリシー、売上説明、及び研修資料等）並びに個人の商品に関する情報等を含む。具体的には、比較対象が企業の経営方針の場合には、異なる２つの企業の経営方針が比較され、比較対象が企業の商品説明の場合には、同じ企業の異なる２つの商品に関する説明、又は異なる企業の同じ２つの商品に関する説明などが比較される。また、比較対象に関するファイルとしては、例えば、比較対象に対して比較を行いたい内容等を含む。また、本発明において、比較元動画はＨＴＭＬ５等の動画ファイルであるが、ＭＰ４等のファイル形式であってもよい。また、比較先データは、テキストデータ及び／又は画像データであるが、ＨＴＭＬ５やＭＰ４等の動画ファイルであってもよい。

【0030】

本実施形態においては、比較元動画を視聴したユーザから比較動画を生成する指示を受け付けて、比較元動画データ及び比較先データが生成人工知能に入力されることで、比較元動画データ及び比較先データの内容の比較結果に関する情報（言語データ、及び／又は画像データ）が生成される。そして、比較元動画及び比較結果に関する情報に基づいて比較動画が生成される。より具体的には、生成された比較結果に関する情報が比較元動画に追加されることによって、比較動画が生成される。

【0031】

ここで、生成人工知能とは、膨大な量のデータに基づいて自ら学習するモデルであって、出力したいデータに関連するテキストデータ、画像データ、又は音声データの入力に対して、入力を基に出力データを生成するモデルである。例えば、出力データとしては、テキスト又は画像が生成される。ここで、出力されるテキストは、スクリプトなどのプログラム用のコードや、ＣＳＶ等の特定のフォーマットで記載されたテキストデータを含んでいてもよい。本実施形態における生成人工知能は、比較元動画データ及び比較先データの入力に対して、これらの内容の比較結果に関する情報を出力データとして生成する。

【0032】

また、本実施形態において生成人工知能は、ＧＰＴ（Generative Pretrained Transformer）等の大規模言語モデルであるが、その規模やモデルの構造に制限はなく、例えば、畳み込みニューラルネットワーク（ＣＮＮ）；ＬＳＴＭ（Long short-term memory）やＧＲＵ（Gated recurrent unit）等の回帰型ニューラルネットワーク（ＲＮＮ）；Ｔｒａｎｓｆｏｒｍｅｒモデル等の１又は複数のモデルを組み合わせた他の言語モデルであってもよい。

【0033】

＜１．システム構成＞
図１は、一実施形態のシステムの構成を示すブロック図である。図１に示すように、人工知能を活用した比較動画生成システム０は、比較動画生成装置１、ユーザ端末装置３、及び管理者端末装置４を備え、通信ネットワークＮＷを介して通信可能に構成されている。通信ネットワークＮＷは、本実施形態では、ＩＰ（Internet Protocol）ネットワークであるが、通信プロトコルの種類に制限はなく、更に、ネットワークの種類、規模にも制限はない。

【0034】

比較動画生成装置１として、汎用のサーバ向けのコンピュータやパーソナルコンピュータ等を利用することが可能である。また、ユーザ端末装置３及び管理者端末装置４として、スマートフォンやタブレット端末、パーソナルコンピュータ、ウェアラブルデバイス等を利用することができる。また、比較動画生成装置１は、通信ネットワークＮＷ又は別のネットワークにより情報の送受信が可能になされた複数のコンピュータにより構成されてもよい。

【0035】

＜１．１．ハードウェア構成＞
図２は、人工知能を活用した比較動画生成システム０のハードウェア構成図である。図２（ａ）に示すように、サーバ１０（比較動画生成装置１）は、処理部１０１、記憶部１０２、及び通信部１０３を備える。

【0036】

処理部１０１は、命令セットを実行可能なＣＰＵ等の１又は複数のプロセッサを有し、本発明に係る比較動画生成プログラム、ＯＳ、その他のアプリケーションを実行することで、比較動画生成装置１の動作処理全体を制御する。
記憶部１０２は、命令セットを記憶可能なＲＡＭなどの揮発性メモリ、ＯＳ及び本発明に係る比較動画生成プログラムなどを記録可能なＨＤＤやＳＳＤなどの不揮発性の記録媒体を有する。
通信部１０３は、通信ネットワークＮＷとの通信インターフェース装置を有し、ネットワークＮＷとの通信制御を実行して、情報の入出力を行う。

【0037】

図２（ｂ）に示すように端末装置９（ユーザ端末装置３及び管理者端末装置４）は、処理部９１、記憶部９２、通信部９３、入力部９４、及び出力部９５を備える。

【0038】

処理部９１は、命令セットを実行可能なＣＰＵ等の１以上のプロセッサを有し、ＯＳやその他のアプリケーションを実行することで、端末装置９の動作処理全体を制御する。
記憶部９２は、命令セットを記憶可能なＲＡＭなどの揮発性メモリ、ＯＳ等を記録可能なＨＤＤやＳＳＤなどの不揮発性の記録媒体を有する。
通信部９３は、ネットワークに接続する為の通信インターフェース装置を有し、ネットワークＮＷとの通信制御を実行して、情報の入出力を行う。
入力部９４は、キーボードやタッチパネルなどの入力処理が可能な入力デバイスを有する。
出力部９５は、ディスプレイなどの表示処理が可能な表示デバイスを有する。

【0039】

＜１．２．システム機能構成＞
図３は、比較動画生成装置１の機能ブロック図である。図３に示すように、比較動画生成装置１は、取得部１１、生成部１２、登録部１３、更新部１４、表示処理部１５、及びデータベース２を備える。これは、ソフトウェア（記憶部１０２に記憶されている）による情報処理がハードウェア（処理部１０１）によって具体的に実現されたものである。

【0040】

なお、本実施形態におけるシステム構成は、ユーザ端末装置３（クライアント）の要求に応じて比較動画生成装置１（サーバ）が行った処理結果をクライアントが受け取る、いわゆるサーバ・クライアント型である。一方、クライアント端末において比較動画生成プログラムを起動させる、いわゆるスタンドアロン型であってもよい。この場合、ユーザ端末装置３は、比較動画生成装置１が備える各機能構成（部）の一部又は全部を備えてもよい。例えば、ユーザ端末装置３が、取得部１１、生成部１２、登録部１３、更新部１４、及び表示処理部１５等を備えてもよい。

【0041】

＜１．３．データベース２＞
データベース２は、比較元動画データ、及び比較動画情報を格納する。なお、これらの情報の全部が記憶部１０２に記憶されてもよいし、これらの一部又は全部が、記憶部９２に記憶されてもよい。

【0042】

＜１．３．１．比較元動画データ＞
比較元動画データは、比較対象を説明する比較元動画に関する情報である。比較元動画データは、比較元動画を一意に特定する比較元動画ＩＤ、比較元動画名、比較元動画コンテンツ情報、及び動画管理者を含む。ここで、比較元動画コンテンツ情報は、比較元動画の映像と音声に関する情報であって、比較元動画において説明される比較対象に係る第１説明情報、及び第１説明情報を表示するタイミングの複数の組み合わせ、並びに第１説明情報の表示態様を指定する情報（座標、高さ、幅、透明度等）を含む。本実施形態における第１説明情報は、コンテンツ（画像、音声及び／又はテキスト）、コンテンツ属性（特徴、機能、及び値段等）、及び属性タイプ（データ型）を含む。

【0043】

本実施形態においては、映像として静止画像が用いられ、静止画像に基づく音声が再生されるスライドショー形式の動画（静止画像が順次切り替えられる動画）であり、タイミングとして動画のスライド番号又は再生時間（再生を開始した時刻からの経過時間）が用いられる。また比較元動画は、連続して変化する静止画像を高速に切り替えて映像を表示する形式の動画（既存の動画フォーマット等による一般的な動画ファイル）であってもよく、この場合は、動画の再生時間がタイミングに対応付けられる。

【0044】

＜１．３．２．比較動画情報＞
比較動画情報は、生成された比較動画に関する情報である。比較動画情報は、比較動画を一意に特定する比較動画ＩＤ、比較元動画ＩＤ、比較動画コンテンツ情報、及び作成日等を含み、作成したユーザと紐づけられて格納される。比較動画のコンテンツ情報は、比較元動画コンテンツ情報に、生成部１２によって生成される比較説明情報を加えた情報である。ここで、比較説明情報とは、第１説明情報及び第２説明情報の比較結果に関する情報であって、比較結果そのもののデータ（言語データ（文字データ及び音声データ）、画像データ、及びグラフ表示データ）と、比較動画に比較結果を表示する為のデータ（マッピングデータ）を含む。比較結果としては、第１説明情報に対応する第２説明情報のコンテンツに基づくデータ（言語データ、及び／又は画像データ）のみであっても、互いに関連する第１説明情報のコンテンツ及び第２説明情報のコンテンツの両方に基づくデータ（言語データ、及び／又は画像データ）であってもよい。

【0045】

＜１．４．取得部１１＞
取得部１１は、ユーザ又はデータベースから比較先データを取得する。取得部１１は、動画中で説明される対象に関する第２説明情報を含む比較先データを取得する。ここで、第２説明情報は、コンテンツ（画像、音声及び／又はテキスト）、コンテンツ属性（特徴、機能、及び値段等）、属性タイプ（データ型）を含む。なお、データベースは、データベース２であってもよく、ユーザ端末装置３又は管理者端末装置４のデータベース、又は有線又は無線で通信可能に接続された外部のデータベースであってもよい。

【0046】

＜１．５．生成部１２＞
生成部１２は、第１説明情報、第２説明情報、及び生成人工知能を用いて、比較動画を生成する。生成部１２は、第１説明情報及び第２説明情報を生成人工知能に入力して、比較説明情報を生成処理する。そして、比較元動画データ及び比較説明情報に基づいて、比較動画を生成する。

【0047】

本実施形態における生成処理は、本システム外部の生成人工知能に対して第１説明情報及び第２説明情報を少なくとも含む比較説明要求を送信し、生成された比較説明情報を取得することである。一方、本システムが生成人工知能を有し、該生成人工知能が比較説明情報を生成する処理であってもよい。ここで、生成人工知能がＬＬＭの場合には、第１説明情報及び第２説明情報に加えてプロンプトを含む比較説明要求を生成人工知能に送信する。

【0048】

また、本実施形態において生成部１２は、生成人工知能に対して第１説明情報及び第２説明情報を入力することで、比較説明情報として画像データを生成処理し、生成された画像に基づいて比較動画を生成する。一方、生成部１２は、比較説明情報として画像データを表示する為のテキストデータを生成処理し、生成された該テキストデータに基づく画像データを用いて比較動画を生成してもよい。また、生成部１２は、比較説明情報に対応するデータをデータベースから取得し、該データを表示する比較動画を生成してもよい。具体的には、生成部１２は、比較説明情報としてテキストデータを生成処理し、該テキストデータに対応する画像データをデータベースから取得し、該テキストデータ及び該画像データの組み合わせを表示する比較動画を生成する。なお、データベースは、本システムのデータベース２であっても、通信可能な外部のデータベースであってもよい。

【0049】

＜１．６．登録部１３＞
登録部１３は、比較動画をデータベース２に格納する。登録部１３は、生成された比較動画に対して受け付けた比較動画の生成を指示したユーザからの評価に応じて、該ユーザと紐づけて比較動画情報を格納する。

【0050】

＜１．７．更新部１４＞
更新部１４は、比較元動画又は比較動画を更新する。更新部１４は、生成された比較動画に対する比較元動画データに紐づく管理者からの評価に応じて、比較元動画又は比較動画を更新する。

【0051】

＜１．８．表示処理部１５＞
表示処理部１５は、比較元動画及び比較動画を表示処理し、表示処理結果をユーザ端末装置３又は管理者端末装置４に表示させる。具体的な表示については、後述する。

【0052】

なお、本実施形態において表示処理は、表示処理部１５が表示に必要な情報を生成する処理を実行し、生成した情報を端末装置９に送信することで、端末装置９が該生成された情報を表示する処理を指す。一方、表示処理部１５が端末装置９に備えられる場合（スタンドアロン型の場合）には、表示処理は、表示処理部１５が必要な情報を生成する処理を実行し、生成した情報を端末装置９の出力部９５に送信することで、出力部９５が該生成された情報を表示する処理であってもよい。

【0053】

図４～９を参照して、人工知能を活用した比較動画生成システム０を用いた比較動画生
成方法について説明する。図４は、人工知能を活用した比較動画生成システム０が、比較
元動画を視聴したユーザから比較動画を生成する指示を受け付けて、比較先データを取得
することで比較動画を生成し、生成した比較動画を第３者に表示するまでの処理を示すフ
ローチャートである。

【0054】

＜２．１．比較元動画の表示＞
まず、ステップＳ１（以降単に、「ステップＳＸ」を「ＳＸ」と表記する）において、表示処理部１５は、ユーザから該ユーザが視聴したい比較元動画（スライド動画）の指定を受け付けて、該比較元動画を表示処理する。本実施形態において表示処理部１５は、スライドのテキストデータ、及び／又は画像データに基づいて、スライド動画を表示処理する。

【0055】

＜２．２．タイミングの指定受付＞
Ｓ２において、生成部１２は、スライド動画を視聴したユーザから比較動画を生成する指示を受け付けて、比較説明情報を表示するタイミングの指定を受け付ける。本実施形態において生成部１２は、表示されているスライド動画において、比較動画を生成する指示をユーザから受け付けて、表示されているスライドのスライド番号をタイミングとして受け付ける。なお、任意のスライド番号を指定可能にタイミングを受け付けてもよい。

【0056】

＜２．３．比較態様の指定受付＞
Ｓ３において、生成部１２は、比較説明情報の表示態様を示す比較態様の指定を受け付ける。本実施形態において生成部１２は、比較態様として「比較結果の差異の説明文」、「比較結果の差異のグラフ」、及び「質問項目についての回答」を含む。

【0057】

＜２．４．比較先データの取得＞
Ｓ４において、取得部１１は、比較先データを取得する。本実施形態において取得部１１は、Ｓ１においてスライド動画を視聴したユーザから、比較元動画の第１説明情報と異なる第２説明情報を含む比較先データを取得する。なお、本実施形態では、比較元動画と比較先データは異なるデータであるが、比較元動画と比較先データは同じデータであってもよい。つまり、第１説明情報と第２説明情報が比較元動画に含まれていてもよい。

【0058】

＜２．５．比較説明情報の生成処理＞
Ｓ５において、生成部１２は、生成人工知能を用いて、比較説明情報を生成処理する。本実施形態において生成部１２は、第２説明情報、及びＳ２において指定されたスライド番号のスライドに含まれる第１説明情報を生成人工知能に入力することで、Ｓ１において再生されたスライド動画を表示する為のテキストデータ、及び／又は画像データから得られる第１説明情報のコンテンツ属性と、Ｓ３において取得された比較先データのテキストデータ、及び／又は画像データから得られる第２説明情報のコンテンツ属性とが比較され、比較結果として、第１説明情報及び第２説明情報の差分を説明する為の比較説明情報を取得する。具体的に生成部１２は、比較説明情報として、第１説明情報の内容と第２説明情報の内容の対応付けを示すマッピングデータ、第１説明情報及び第２説明情報の差分の説明に関する言語データ及び／又は画像データを生成処理する。

【0059】

＜２．６．比較動画の生成＞
Ｓ６において、生成部１２は、比較説明情報及び比較元動画データの第１説明情報に基づいて比較動画を生成する。本実施形態において生成部１２は、Ｓ５において生成したマッピングデータに基づいて、Ｓ２において指定されたスライド番号のスライドに表示される第１説明情報、及びＳ５において生成した比較説明情報の言語データ及び／又は画像データが対応付いた比較動画を生成する。

【0060】

＜２．６．１．比較動画の一例：文字列による比較説明＞
図５は、比較態様として「比較結果の差異の説明文」が指定された場合の、比較動画が生成されるまでに表示される一連の画面例である。スライド動画を視聴するユーザのユーザ端末装置３において表示されるあるスライド番号のスライド（図５（ａ））において、ユーザから比較動画を生成する指示として「比較する」の入力を受け付けて、スライド番号の指定を受け付ける。そして、比較態様の指定を受け付ける為の画面（図５（ｂ））がスライド動画に重畳して表示される。そして、ユーザから比較態様として「比較結果の差異の説明文」（図示例では、「比較を行い、その際に差異について説明を聞く」）の指定を受け付けると、比較先データを取得する為の画面（図５（ｃ））が表示される。そして、ユーザから比較先データのアップロードを受け付けることで、比較動画（図５（ｄ））が生成され、ユーザ端末装置３において表示される。

【0061】

本実施形態においては、比較態様として「比較結果の差異の説明文」が指定されると、指定されたスライド番号のスライドに表示される第１説明情報に重畳して、生成部１２が比較説明情報として生成処理した第１説明情報及び第２説明情報の差分を説明する文字データ（機能特徴、値段等の文字列）を表示し、文字データに対応する音声データを再生する比較動画が生成される。図示例では、第１説明情報及び第２説明情報の差分を説明する文字データとして、第１説明情報のコンテンツに対応する第２説明情報のコンテンツの説明文（文字データ）が生成され、第２説明情報の説明文がスライド動画の第１説明情報に重畳して表示されている。

【0062】

また、本実施形態においては、第１説明情報のコンテンツと第２説明情報のコンテンツが隣り合うように配置されるが、第１説明情報と第２説明情報の文字列の一部が重なるように配置されてもよい。またこの他、第１説明情報のコンテンツと第２説明情報のコンテンツを同一画面上に表示された比較動画が生成されてもよい。具体的には、第１説明情報のコンテンツ属性（機能、特徴、及び値段等）が、第２説明情報のコンテンツ属性のそれぞれに隣り合うように配置されたスライドを含む比較動画が生成されてもよい。また、別の具体例では、第１説明情報のコンテンツ属性と、第２説明情報のコンテンツ属性を表示するスライドを、上下又は左右に分割し、一方に第１説明情報のコンテンツ属性、他方に第２説明情報のコンテンツ属性を配置する比較動画が生成されてもよい。

【0063】

＜２．６．２．比較動画の一例：グラフによる比較説明＞
図６は、比較態様として「比較結果の差異のグラフ」が指定された場合の、比較動画が生成されるまでに表示される一連の画面例である。図６（ａ）及び図６（ｃ）については、図５（ａ）及び図５（ｃ）における操作説明と同様であるため、省略する。比較態様の指定を受け付ける為の画面（図６（ｂ））において、ユーザから比較態様として「比較結果の差異のグラフ」（図示例では、「比較を行い、その差異をグラフで表示する」）の指定を受け付けて、比較先データが取得されると、比較動画（図６（ｄ））が生成され、ユーザ端末装置３において表示される。

【0064】

本実施形態においては、比較態様として「比較結果の差異のグラフ」が指定されると、比較説明情報に基づくグラフが生成される。生成部１２は、第１説明情報及び第２説明情報が数値のデータ形式を含む場合に、比較説明情報としてグラフ表示データを生成処理し、グラフ表示データに基づいてグラフを生成処理する。具体的には、生成部１２は、グラフ表示データに基づいて、第１説明情報及び第２説明情報のコンテンツ属性（図示例では、売上、契約件数、営業利益、経常利益）毎に並べたグラフを生成処理する。そして、生成部１２は、該グラフを表示するスライドを新たなスライドとして含む比較動画を生成する。なお、生成部１２は、比較説明情報としてグラフの画像データを生成処理してもよい。

【0065】

＜２．６．３．比較動画の一例：質問に対する回答＞
図７は、比較態様として「質問項目についての回答」が指定された場合の、比較動画が生成されるまでに表示される一連の画面例である。図７（ａ）及び図７（ｃ）については、図５（ａ）及び図５（ｃ）における操作説明と同様であるため、省略する。比較態様の指定を受け付ける為の画面（図７（ｂ））において、ユーザから比較態様として「質問項目についての回答」（図示例では、「質問項目について回答を聞く」）の指定を受け付けて、質問事項を含む比較先データが取得されると、比較動画（図７（ｄ））が生成され、ユーザ端末装置３において表示される。

【0066】

本実施形態においては、比較態様として「質問項目についての回答」が指定されると、第２説明情報のコンテンツ（質問事項）に対する回答を含む比較説明情報が生成される。具体的に生成部１２は、質問事項を含む第２説明情報、及び第１説明情報を生成人工知能に入力することで、第２説明情報の質問事項、及び第１説明情報のコンテンツに基づく該質問事項に対する回答（言語データ及び／又はグラフ表示データ）をそれぞれ対応付けた比較説明情報を生成処理し、比較説明情報に基づく新たなスライドを表示する比較動画を生成する。

【0067】

以上、生成される比較動画の表示画面例であるが、本実施形態においては、第１説明情報を含む内容と、該第１説明情報に対応付けられた比較説明情報に基づく内容が切り替え可能に表示される。具体的には、生成部１２は、第１説明情報のコンテンツに重畳して表示される比較説明情報に基づくコンテンツのオン／オフを切り替え可能な比較動画を生成する。

【0068】

またこの他、生成部１２は、第１説明情報のコンテンツのスライドと、該第１説明情報のコンテンツに対応付けられた比較説明情報に基づくコンテンツのスライドを相互に遷移することでスライドが切り替え可能な比較動画を生成する。

【0069】

また、生成部１２は、比較説明情報を説明する１体のアバター、又は比較動画を対話型で説明する２体以上のアバターを表示する比較動画を生成してもよい。生成部１２は、比較元動画にアバターが含まれる時は、比較元動画に表示されるアバターに基づいて、比較動画を生成してもよい。具体的に生成部１２は、比較元動画に紐づくアバターのマスタ情報、又は比較元動画に表示されるアバターの要素を取得し、該マスタ情報又は要素に基づいて、アバターを表示する比較動画を生成する。この時には、生成部１２は、第１説明情報のコンテンツのスライドと、該コンテンツに対応付けられた比較説明情報に基づくコンテンツのスライドを遷移可能に表示する時に、比較元動画に表示されるアバターに基づいて、比較説明情報に基づくコンテンツにアバターを表示してもよい。また、後述のように比較動画を分割して表示する場合には、１のコンテンツに１のアバターを表示してもよく、スライドの分割数に応じてアバターの数を変えてもよい。また、生成部１２は、アバターを表示する比較動画を生成する時には、比較説明情報として、アバターが発する合成音声を生成する為のスクリプトを生成してもよい。また、２体以上のアバターを表示させる時には、比較元動画のスクリプト、及び比較説明情報それぞれがアバターに対応付けられ、対応付いたスクリプトに基づいて発声するアバターを表示する比較動画を生成してもよい。なお、比較元動画にアバターが含まれていないときは、生成部１２は、アバターを表示する比較動画を生成してもよい。

【0070】

＜２．７．編集受付＞
そして、Ｓ７において、生成された比較動画に対してユーザからの編集を受け付ける。具体的には、生成された比較説明情報のテキストデータが編集可能に表示され、図示しない編集部は、ユーザからテキストデータの編集に係る入力を受け付ける。そして、生成部１２は、編集されたテキストデータに基づいて比較動画を更新する。

【0071】

＜２．８．比較動画の登録＞
Ｓ８において、登録部１３は、比較動画を視聴したユーザから該比較動画に対してＧＯＯＤ評価を受け付けたか否かに応じて、比較動画をデータベース２に格納する。比較動画に対してＧＯＯＤ評価を受け付けた場合（Ｓ８でＹＥＳ）には、Ｓ９において登録部１３は比較動画を格納する。一方、比較動画に対してＧＯＯＤ評価を受け付けなかった場合（Ｓ８でＮＯ）には、処理が終了する。

【0072】

＜２．９．比較動画の公開表示＞
Ｓ１０において、更新部１４は、ユーザが視聴した比較動画の基となった比較元動画に紐づく管理者からＧＯＯＤ評価を受け付けたか否かに応じて、比較元動画を更新する。管理者から比較動画に対してＧＯＯＤ評価を受け付けた場合（Ｓ１０でＹＥＳ）には、Ｓ１１において更新部１４は比較元動画を更新し、Ｓ６において生成された比較動画を第３者に表示可能にする。一方、管理者から比較動画に対してＧＯＯＤ評価を受け付けなかった場合（Ｓ１０でＮＯ）には、処理が終了する。

【0073】

以上、Ｓ１～Ｓ１１の処理が実行されることによって、比較動画が生成されることで、比較元動画が更新され、該比較元動画に基づく比較動画が閲覧可能となる。図８は、生成された比較動画が再生された時の表示例である。図示例では、再生される比較動画のスライド番号Ｂにおいて、スライド番号Ｂのスライドに表示される第１説明情報に対応する比較説明情報に基づく新たなスライドを表示する為のインタラクティブボタン（図示例では「グラフを表示」）が追加されている。そして、インタラクティブボタンが押されることで、第１説明情報の内容（コンテンツ）を表示するスライドから比較説明情報に基づく内容を表示するスライドに遷移可能に比較動画が表示される。また、本実施形態においては、比較説明情報に基づく内容を表示するスライドにおいて、該比較説明情報に対応する第１説明情報を表示するスライドを表示する為のインタラクティブボタンが表示され、該インタラクティブボタン（図示例では「視聴を終了する」）をユーザから受け付けることで、第１説明情報のコンテンツを表示するスライドが表示される。なお、比較説明情報に対応する第１説明情報を表示するスライドの再生時間が終了すると共に、比較説明情報を表示するスライドが表示されなくなり、比較動画の次のスライドが表示されてもよい。また、第２説明情報がスライド動画である場合には、第１説明情報に対応する第２説明情報を表示するスライドを比較説明情報として、第１説明情報のスライドから該比較説明情報を切り替え可能に表示し、該スライドの動画が再生される。そして、第２説明情報を表示するスライドの動画が終了すると、比較動画の次のスライドが表示される。

【0074】

なお、比較動画を視聴したユーザから更に比較動画を生成する指示を受け付けた場合にも、Ｓ２～Ｓ１１が実行され、ユーザが視聴した比較動画が更新され、該比較動画に基づく比較動画が閲覧可能となる。具体的には、取得部１１は、比較動画を視聴したユーザから比較先データを更に取得する。そして、生成部１２は、比較元動画データ、並びに該取得された比較先データの前に取得された１又は複数の比較先データの少なくとも１の第２説明情報と、更に取得された比較先データの第２説明情報とを生成人工知能に入力して、比較説明情報を生成処理する。そして、更新部１４は、該比較説明情報及び比較動画に基づいて生成された比較動画に対して、該比較動画を生成する指示をしたユーザ、及び該比較動画の基となった比較元動画の管理者からの評価に応じて、比較動画を更新する。即ち、あるユーザが視聴した比較動画に対して、該ユーザが新たに比較先データをアップロードすることで、該比較動画に表示されている１又は複数の比較説明情報に加えて、該ユーザがアップロードした比較先データに基づく比較説明情報を更に表示する比較動画が生成される。

【0075】

本発明の好ましい形態では、取得された比較先データの数に応じて画面を分割して比較説明情報を配置する比較動画が生成される。具体的には、例えば、取得された比較先データが３つの場合には、比較動画のスライドを上下左右に四分割し、比較説明情報に含まれる第１説明情報に関する内容、及び３つの第２説明情報に関する内容を重複しないように、分割後の各ブロックに配置して表示する比較動画が生成される。更に好ましい形態では、所定数以上の比較先データを取得した場合には、取得した比較先データを古い順に比較説明情報の生成処理に用いないようにしてもよい。

【0076】

また好ましい形態では、既に公開されている比較動画に対して、更に比較先データを受け付ける場合において、取得部１１がデータベースから第２説明情報を取得する場合には、取得する情報を都度異なる情報とする。具体的には、取得部１１は、ユーザによってアップロードされデータベースに蓄積された第２説明情報、及び第１説明情報を生成人工知能に入力することで、既に公開されている比較動画の第１説明情報及び第２説明情報のコンテンツと比較してより良い、又は類似するコンテンツを含む第２説明情報をデータベースから取得する。そして、生成部１２は、取得した第２説明情報及び該第１説明情報を生成人工知能に入力することで、比較動画を生成処理する。例えば、図９は、取得される情報が異なる情報であることによって比較動画が生成されることを示す図である。図示例の左図においては、コンテンツとして製品Ｂを含む第２説明情報がデータベースから取得されて、比較動画生成され、公開されている。一方、図示例の右図においては、コンテンツとして製品Ｃを含む第２説明情報が、製品Ａをコンテンツに含む第１説明情報、及び製品Ｂをコンテンツに含む第２説明情報より良い又はより類似するコンテンツを含む第２説明情報としてデータベースから取得され、比較動画生成されている。

【0077】

ここで、第１説明情報のコンテンツと比較してより良いコンテンツを含む第２説明情報を取得する処理としては、コンテンツ属性毎に数値が割り振られており、コンテンツ属性毎に重み係数を有する重回帰モデルに各数値を代入することで得られる数値が、第１説明情報及び他の第２説明情報の該数値より大きい第２説明情報をより良いコンテンツを含む第２説明情報として取得する処理である。また、第１説明情報のコンテンツと比較して類似するコンテンツを含む第２説明情報を取得する処理としては、第２説明情報のコンテンツ属性毎に割り振られた各数値を、コンテンツ属性毎に重み係数を有する重回帰モデルに代入することで得られる数値と、第１説明情報から得られる該数値との差が他の情報間の差よりも小さい第２説明情報をより類似するコンテンツを含む第２説明情報として取得する処理である。

【0078】

また、本実施形態においてはこの他、比較態様の指定を受け付ける代わりに、比較元動画の要約及び／又は詳細を生成する指示を受け付けることで、比較元動画の要約、及び／又は詳細を表示する比較動画を生成することができる。具体的には、「比較元動画の要約又は詳細解析」（図５（ｂ）の例では、「質問項目について、要約した説明を聞く」又は「質問した項目について、詳細の説明を聞く」）の指定を受け付けることで、生成部１２は、指定されたスライド番号のスライドに表示される第１説明情報のテキスト及び／又は画像を生成人工知能に入力する。そして生成部１２は、得られた第１説明情報の要約、及び／又は詳細を表示するスライドを、指定されたスライド番号のスライドから遷移可能に表示する比較動画を生成する。

【0079】

また、本実施形態においてはこの他、チェックシートの穴埋めの指示を受け付けることで、比較先データとして受け付けたチェックシートの項目に対応する内容が比較元動画の内容に含まれている場合に、チェックシートを穴埋めし、穴埋めした項目に対応する内容を表示する比較動画を生成することができる。具体的には、「チェックシートの穴埋め」（図５（ｂ）の例では、「穴埋めを行い、その結果の説明を聞く」）の指定を受け付けることで、生成部１２は、第１説明情報、及びチェック項目を含む第２説明情報を生成人工知能に入力して、比較説明情報として、第１説明情報のコンテンツに基づく、チェックシートの項目に対応するテキストデータを生成処理する。そして、生成部１２は、第２説明情報のチェック項目、及び該生成されたテキストデータに基づく新たなスライドとする比較動画を生成する。

【0080】

なお、本実施形態においては、タイミングの指定をユーザから受け付けて、該指定されたタイミングにおいて表示される第１説明情報と、生成処理された比較説明情報が対応付いた比較動画が生成される。一方、図示しない特定部が、生成人工知能からタイミングを取得して、該タイミングを比較説明情報を表示するタイミングとして特定してもよい。具体的には、特定部は、生成された比較説明情報に対応する第１説明情報を表示する比較元動画のタイミングを生成人工知能から取得し、該タイミングを該比較説明情報を表示するタイミングとして特定する。

【0081】

なお、本実施形態では比較元動画としてスライド動画について説明したが、比較元動画がＭＰ４等の動画ファイルの場合には、Ｓ２において、比較元動画のタイミング（コマ）の指定を受け付け、Ｓ５において、動画ファイルに対してＯＣＲ（Optical Character Recognition）等の技術を用いて第１説明情報及び第２説明情報が特定されることで比較説明情報が生成処理され、Ｓ６において、特定されたコマに表示される第１説明情報、及びＳ５において生成処理された比較説明情報が対応付いた比較動画が生成される。

【0082】

また、本実施形態において取得部１１は、比較先データとして、比較対象に関するファイルを取得するが、比較対象に関するサイトのＵＲＬ（Uniform Resource Locator）を取得してもよい。この場合、生成部１２は、該サイトのコンテンツ、及び第１説明情報を生成人工知能に入力して、比較説明情報を生成処理する。また、取得部１１は、比較先データとして、別の比較元動画の指定を受け付けて、該別の比較元動画を取得してもよい。

【符号の説明】

【0083】

０ ：人工知能を活用した比較動画生成システム
１ ：比較動画生成装置
３ ：ユーザ端末装置
４ ：管理者端末装置
１０ ：サーバ
１０１ ：制御部
１０２ ：記憶部
１０３ ：通信部
９ ：端末装置
９１ ：制御部
９２ ：記憶部
９３ ：通信部
９４ ：入力部
９５ ：出力部
１１ ：取得部
１２ ：生成部
１３ ：登録部
１４ ：更新部
１５ ：表示処理部
ＮＷ ：通信ネットワーク

【要約】

【課題】
複数のコンテンツの内容が比較可能な動画を生成する新規な技術を提供すること
【解決手段】
人工知能を活用した比較動画生成システムであって、前記動画生成システムは、取得部、及び生成部を備え、動画中で説明される対象に関する第１説明情報を含む比較元動画データをデータベースに格納し、前記取得部は、比較対象に関する第２説明情報を含む比較先データを取得し、前記生成部は、前記第１説明情報及び前記第２説明情報を生成人工知能に入力して、比較説明情報を生成処理し、前記比較説明情報及び前記比較元動画データに基づいて、比較動画を生成する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】