知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-02
(45)【発行日】2024-12-10
(54)【発明の名称】情報処理装置、生成方法および生成プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20241203BHJP
【ＦＩ】
G06T7/00 350B
【請求項の数】
9
(21)【出願番号】P 2020168403
(22)【出願日】2020-10-05
(65)【公開番号】P2022060745
(43)【公開日】2022-04-15
【審査請求日】2023-07-07
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】車古 英治
(72)【発明者】
【氏名】中島 光朗
(72)【発明者】
【氏名】伊藤 幹朗
(72)【発明者】
【氏名】浜川 直也
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開２０１５－１６６９７８（ＪＰ，Ａ）
【文献】特開２０１５－１７６２８３（ＪＰ，Ａ）
【文献】国際公開第２０１１／１１８７２３（ＷＯ，Ａ１）
【文献】特開２０１７－１７３０９８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
複数の画像データを記憶する記憶部と、前記複数の画像データの特徴量を基にして、前記複数の画像データを複数のグループに分類し、各グループについて、前記グループに属する複数の画像データの特徴量を基にして集約具合を算出し、前記集約具合が第１閾値以上、または、前記第１閾値より小さい第２閾値未満である場合に、前記グループを破棄対象と判定する判定部と、
前記複数のグループから破棄対象となるグループを破棄した残りのグループに属する複数の画像データを用いて教師データを生成する生成部と
を有することを特徴とする情報処理装置。
【請求項2】
前記判定部は、同一のグループに属する複数の画像データの特徴量の重心を算出し、前記重心と、前記同一のグループの属する複数の画像データの特徴量との差分を基にして、前記集約具合を算出することを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記記憶部に記憶された前記複数の画像データには、予め指定されたローカル画像が含まれ、前記判定部は、各グループのうち、前記ローカル画像を含まないグループを、破棄対象として判定する処理を更に実行することを特徴とする請求項１に記載の情報処理装置。
【請求項4】
前記教師データを基にして、学習モデルの機械学習を実行する学習部を更に有することを特徴とする請求項１～３のいずれか一つに記載の情報処理装置。
【請求項5】
コンピュータが実行する生成方法であって、複数の画像データを記憶装置に記憶し、
前記複数の画像データの特徴量を基にして、前記複数の画像データを複数のグループに分類し、
分類した各グループについて、前記グループに属する複数の画像データの特徴量を基にして集約具合を算出し、前記集約具合が第１閾値以上、または、前記第１閾値より小さい第２閾値未満である場合に、前記グループを破棄対象と判定し、
前記複数のグループから破棄対象となるグループを破棄した残りのグループに属する複数の画像データを用いて教師データを生成する
処理を実行することを特徴とする生成方法。
【請求項6】
コンピュータに、複数の画像データを記憶装置に記憶し、
前記複数の画像データの特徴量を基にして、前記複数の画像データを複数のグループに分類し、
分類した各グループについて、前記グループに属する複数の画像データの特徴量を基にして集約具合を算出し、前記集約具合が第１閾値以上、または、前記第１閾値より小さい第２閾値未満である場合に、前記グループを破棄対象と判定し、
前記複数のグループから破棄対象となるグループを破棄した残りのグループに属する複数の画像データを用いて教師データを生成する
処理を実行させることを特徴とする生成プログラム。
【請求項7】
複数の画像データを記憶する記憶部と、
前記複数の画像データの特徴量を基にして、前記複数の画像データを複数のグループに分類し、各グループについて、前記グループに属する複数の画像データの特徴量を基にして集約具合を算出し、前記複数のグループのうち、算出した前記集約具合が、第１閾値未満、かつ、前記第１閾値より小さい第２閾値以上であるグループを特定する判定部と、
特定した前記グループに属する複数の画像データを用いて教師データを生成する生成部と
を有することを特徴とする情報処理装置。
【請求項8】
コンピュータが実行する生成方法であって、
複数の画像データを記憶装置に記憶し、
前記複数の画像データの特徴量を基にして、前記複数の画像データを複数のグループに分類し、
分類した各グループについて、前記グループに属する複数の画像データの特徴量を基にして集約具合を算出し、前記集約具合が第1閾値未満、かつ、前記第1閾値より小さい第２閾値以上であるグループを特定し、
特定した前記グループに属する複数の画像データを用いて教師データを生成する
処理を実行することを特徴とする生成方法。
【請求項9】
コンピュータに、
複数の画像データを記憶装置に記憶し、
前記複数の画像データの特徴量を基にして、前記複数の画像データを複数のグループに分類し、
分類した各グループについて、前記グループに属する複数の画像データの特徴量を基にして集約具合を算出し、前記集約具合が第１閾値未満、かつ、前記第１閾値より小さい第２閾値以上であるグループを特定し、
特定した前記グループに属する複数の画像データを用いて教師データを生成する
処理を実行させることを特徴とする生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置等に関する。
【背景技術】
【0002】
近年、スマートフォンやタブレット端末等の普及により、動画コンテンツでプロモーション動画を見る機会が増加している。このため、商用店舗等では、プロモーション動画を作成して、商品のＰＲ（Public Relations）等を行っている。
【0003】
ここで、ＰＲ対象となる店舗が複数存在する場合には、利用者の手作業によって、動画（プロモーション動画）を作成することは負担が大きいため、自動で動画を作成する動画生成装置が用いられている。
【0004】
図１５は、従来技術の動作生成装置を説明するための図である。図１５に示すように、この動画生成装置１０は、静止画ＤＢ（Data Base）１１と、モデル生成部１２と、素材分析部１３と、イメージ挿入部１４とを有する。
【0005】
動画生成装置１０は、ＷＥＢスクレイピング等を用いて、プロモーション動画に関連する複数の静止画データを収集し、静止画ＤＢ１１に格納する。また、動画生成装置１０は、利用者の端末装置等から投稿される動画データから、複数の静止画データを抽出し、静止画ＤＢ１１に格納する。動画生成装置１０は、静止画ＤＢ１１に格納された複数の静止画データに、正解ラベルを付与することで、教師データを生成する。
【0006】
モデル生成部１２は、静止画ＤＢ１１に格納された教師データを入力として機械学習を実行することで、学習モデルを生成する。たとえば、かかる学習モデルに静止画データを入力することで、静止画データの分類クラスが出力される。分類クラスは、静止画データに含まれる対象物の名称等に対応するものであり、静止画データのタグとして用いられる。モデル生成部１２は、学習済みの学習モデルを、素材分析部１３に出力する。
【0007】
素材分析部１３は、利用者の端末装置等から投稿される動画データを取得し、動画データに含まれる複数の静止画データを、順に、学習モデルに入力することで、静止画データのタグ（分類クラス）を特定する。素材分析部１３は、タグを付与した静止画データを、イメージ挿入部１４に出力する。
【0008】
イメージ挿入部１４は、テンプレートと、タグが付与された複数の静止画データとを基にして、プロモーション動画データを生成する。テンプレートには、動画の時間と、かかる時間に配置する静止画データのタグの種別とが定義されている。イメージ挿入部１４は、テンプレートに従って、該当するタグの静止画データを配置する。たとえば、イメージ挿入部１４は、タグ「店員」に対応する時間帯に、タグ「店員」が付与された複数の静止画データを配置することで、かかる時間帯において、店員の動画が生成される。
【先行技術文献】
【特許文献】
【0009】
【文献】特開２０１７－１１１７３１号公報
【文献】特開２０１７－１７３０９８号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
従来技術では、ＷＥＢスクレイピング等を用いて、教師データとして使用する静止画データを収集しているが、収集した静止画データには、同一の静止画データは複数含まれていたり、教師データに適さない静止画データが含まれていたりする。
【0011】
このような静止画データが、教師データに含まれている状態で、学習モデルの学習を行うと、過学習や低学習となり、学習モデルの精度が悪くなる。また、かかる学習モデルを用いて、タグ付けを行うと、静止画データに適切なタグを付与することができず、動画の精度が低下してしまう。
【0012】
なお、ＷＥＢスクレイピング等を用いて収集した静止画データを、利用者が１枚１枚確認して、不要な静止画データを除去することも考えられるが、確認対象となる静止画データが膨大であるため、現実的ではない。
【0013】
１つの側面では、本発明は、動画の精度を向上させることができる情報処理装置、生成方法および生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【0014】
第１の案では、情報処理装置は、記憶部と、判定部と、生成部とを有する。記憶部は、複数の画像データを記憶する。判定部は、複数の画像データの特徴量を基にして、複数の画像データを複数のグループに分類し、各グループについて、グループに属する複数の画像データの特徴量の集約具合を基にして、グループを破棄対象とするか否かを判定する。生成部は、複数のグループから破棄対象となるグループを破棄した残りのグループに属する複数の画像データを用いて教師データを生成する。
【発明の効果】
【0015】
動画の精度を向上させることができる。
【図面の簡単な説明】
【0016】
【発明を実施するための形態】
【0017】
以下に、本願の開示する情報処理装置、生成方法および生成プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例】
【0018】
図１は、本実施例に係る情報処理装置の処理を説明するための図である。たとえば、情報処理装置の処理を、ステップＳ１０～Ｓ１２の順に説明する。
【0019】
情報処理装置が実行するステップＳ１０の処理について説明する。情報処理装置は、キーワードによるＷＥＢスクレイピングを実行し、複数の静止画データ２０を収集する。
【0020】
情報処理装置が実行するステップＳ１１の処理について説明する。情報処理装置は、静止画データの特徴量を基にして、複数の静止画データ２０に対して、クラスタリング（教師なし分類）を実行する。これによって、複数の静止画データ２０は、複数のグループに分類される。ここでは、複数の静止画データ２０が、グループＧｒ１～Ｇｒ８に分類されるものとする。以下の説明では、複数のグループＧｒ１～Ｇｒ８のうち、いずれか一つのグループを、「グループＧｒｎ」と表記する。
【0021】
情報処理装置が実行するステップＳ１２の処理について説明する。情報処理装置は、グループＧｒｎを選択し、選択したグループＧｒｎに含まれる複数の静止画データの特徴量空間の集約具合を基にして、グループＧｒｎを破棄するか否かを判定する。
【0022】
情報処理装置は、グループＧｒｎに含まれる複数の静止画データが、広範囲に分布している場合、または、狭範囲に集中して分布している場合には、グループＧｒｎを破棄すると判定する。
【0023】
情報処理装置は、破棄しないと判定したグループＧｒｎに含まれる全ての静止画データを、静止画ＤＢ１４１に格納する。情報処理装置は、破棄すると判定したグループＧｒｎに含まれる全ての静止画データを、破棄する。
【0024】
情報処理装置は、他のグループについても、上記処理を繰り返し実行する。情報処理装置は、静止画ＤＢ１４１に残った複数の静止画データを用いて、教師データを生成し、教師データを用いて、学習モデルの機械学習を実行する。
【0025】
上記のように、本実施例に係る情報処理装置は、複数の静止画データをクラスタリングし、グループごとに、静止画データの特徴量空間の集約具合を基にして、グループを破棄するか否かを判定する。たとえば、グループに含まれる静止画データが、広範囲に分布している場合、グループに含まれる静止画データは、不要な静止画データであるといえる。また、グループに含まれる静止画データが、狭範囲に分布している場合、グループに含まれる静止画データは、重複した静止画データであるといえる。
【0026】
このため、情報処理装置が、静止画ＤＢ１４１から、静止画データの特徴量空間の集約具合を基にして、グループの静止画データを破棄することで、不要な静止画データ、重複した静止画データを除去することができる。情報処理装置は、静止画ＤＢ１４１に残った静止画データを用いて、教師データを生成し、学習モデルの機械学習を実行することで、学習モデルの精度が向上し、かかる学習モデルを用いた動画の精度を向上させることができる。
【0027】
図２は、本実施例に係るシステムの一例を示す図である。図２に示すように、このシステムは、端末装置３０と、情報処理装置１００とを有する。端末装置３０と、情報処理装置１００とは、ネットワーク５０を介して相互に接続される。図２では、端末装置３０のみを示すが、このシステムは、他の端末装置を有していてもよい。
【0028】
端末装置３０は、利用者が操作する端末装置であり、ＰＣ（Personal Computer）、ノートＰＣ、タブレット端末、スマートフォン等に対応する。利用者は、端末装置３０を操作して、自身の撮影した投稿動画データを情報処理装置１００に送信し、プロモーション動画の作成依頼を行う。端末装置３０は、複数種類の投稿動画データを、情報処理装置１００に送信してもよい。
【0029】
情報処理装置１００は、図１で説明したステップＳ１０～Ｓ１２で説明した処理を実行することで、学習モデルを生成しておく。情報処理装置１００は、端末装置３０から、プロモーション動画の作成依頼を受け付けた場合に、端末装置３０から受信する動画データ等を用いてプロモーション動画を作成する。
【0030】
【0031】
通信部１１０は、ネットワーク５０を介して、端末装置３０や、他の外部装置との間で情報の送受信を行う。たとえば、通信部１１０は、ＮＩＣ（Network Interface Card）等によって実現される。
【0032】
入力部１２０は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部１５０に対して各種指示情報を入力する。たとえば、情報処理装置１００の管理者は、入力部１２０を操作して、ＷＥＢスクレイピングで利用する各種のキーワードを入力する。
【0033】
表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。表示部１３０は、有機ＥＬ（Electro Luminescence）ディスプレイ、液晶ディスプレイ、タッチパネル等に対応する。
【0034】
記憶部１４０は、静止画ＤＢ１４１、教師データテーブル１４２、学習モデル１４３、投稿動画ＤＢ１４４、分析結果テーブル１４５、テンプレート１４６、動画データ１４７を有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。
【0035】
静止画ＤＢ１４１は、ＷＥＢスクレイピング等によって収集される静止画データを格納するＤＢである。図４は、静止画ＤＢのデータ構造の一例を示す図である。図４に示すように、この静止画ＤＢ１４１は、キーワードと、識別情報と、静止画データとを対応付ける。キーワードは、ＷＥＢスクレイピングを実行する場合に指定されたキーワードである。識別情報は、静止画データを識別する情報である。静止画データは、ＷＥＢスクレイピングによって収集された静止画データである。
【0036】
図４に示す例では、キーワード「ＫＷ０１（たとえば、味噌ラーメン）」を指定することで、識別情報ＩＭ１－１～ＩＭ１－ｎ１の静止画データが収集された場合を示している。キーワード「ＫＷ０１（たとえば、ラーメンのどんぶり）」を指定することで、識別情報ＩＭ２－１～ＩＭ２－ｎ２の静止画データが収集された場合を示している。
【0037】
教師データテーブル１４２は、学習モデル１４３の機械学習を実行するための教師データセットを格納するテーブルである。図５は、教師データテーブルのデータ構造の一例を示す図である。図５に示すように、教師データテーブル１４２は、分類クラスと、静止画データとを対応付ける。分類クラスは、機械学習を実行する場合の、正解ラベルに対応する。静止画データは、静止画ＤＢ１４１に格納された静止画データのうち、図１で説明した処理によって破棄されなかった静止画データである。
【0038】
学習モデル１４３は、教師データテーブル１４２に格納された教師データセットを基にして機械学習されるＮＮ（Neural Network）等の学習モデルである。学習モデル１４３に静止画データを入力することで、入力された静止画データの属する分類クラスが出力される。
【0039】
投稿動画ＤＢ１４４は、端末装置３０から送信される投稿動画データ（時系列の静止画データ）を格納するＤＢである。図６は、投稿動画ＤＢのデータ構造の一例を示す図である。図６に示すように、この投稿動画ＤＢ１４４は、投稿動画識別情報と、投稿動画データとを対応付ける。投稿動画識別情報は、投稿動画データを一意に識別する情報である。投稿動画データは、時系列の静止画データを有する。
【0040】
分析結果テーブル１４５は、投稿動画ＤＢ１４４に格納された複数の静止画データの分析結果を保持するテーブルである。図７は、分析結果テーブルのデータ構造の一例を示す図である。図７に示すように、この分析結果テーブル１４５は、投稿動画識別情報と、時刻と、静止画データと、タグとを対応付ける。投稿動画識別情報は、投稿動画データを一意に識別する情報である。時刻は、静止画データの時刻である。たとえば、投稿動画データの開始時刻を時刻ｔ１とする。静止画データは、投稿動画データに含まれる静止画データである。タグは、静止画データを、学習モデル１４３に入力した場合に、学習モデル１４３から出力される分類クラスに対応する。
【0041】
テンプレート１４６は、複数のシーンによってシナリオが定義されており、テンプレート１４６に定義されたシナリオに基づいて、動画データ１４７が生成される。図８は、テンプレートのデータ構造の一例を示す図である。図８に示す例では、テンプレート１４６に、店舗のシーン、ラーメンのシーン、店員のシーンが順に設定されている。
【0042】
たとえば、店舗のシーンの開始時刻は「Ｔ１」、終了時刻は「Ｔ２」となり、店舗のシーンに対応するタグが「分類クラスＣ１」であることが示される。ラーメンのシーンの開始時刻は「Ｔ２」、終了時刻は「Ｔ３」となり、ラーメンのシーンに対応するタグが「分類クラスＣ２」であることが示される。店員のシーンの開始時刻は「Ｔ３」、終了時刻は「Ｔ４」となり、店舗のシーンに対応するタグが「分類クラスＣ３」であることが示される。
【0043】
図３の説明に戻る。動画データ１４７は、テンプレート１４６のシナリオに合わせて生成される動画データである。
【0044】
制御部１５０は、収集部１５１と、判定部１５２と、生成部１５３と、学習部１５４と、受付部１５５と、素材分析部１５６と、イメージ挿入部１５７とを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。
【0045】
収集部１５１は、入力部１２０からキーワードを受け付け、受け付けたキーワードを用いたＷＥＢスクレイピングを実行することで、キーワードに対応する静止画データを、ネットワーク上の外部装置から収集する。収集部１５１は、収集した静止画データを、キーワードと対応付けて、静止画ＤＢ１４１に格納する。収集部１５１は、静止画ＤＢにおいて、各静止画データに、ユニークな識別情報を割り当てる。
【0046】
管理者は、事前に複数のキーワードを収集部１５１に設定しておき、収集部１５１は、事前に設定されたキーワードを用いてＷＥＢスクレイピングを実行してもよい。
【0047】
判定部１５２は、静止画ＤＢ１４１に登録された静止画データについて、静止画データの特徴量を基にして、複数のグループに分類する。判定部１５２は、各グループについて、グループに属する複数の画像データの特徴量の集約具合を基にして、グループを破棄するか否かを判定する。たとえば、静止画データの特徴量は、輝度、明度、彩度、ＳＩＦＴ、ＨＯＧ等の特徴量でもよいし、他の画像の特徴量でよい。
【0048】
図９は、判定部の処理を説明するための図である。図９では説明の便宜上、２次元の特徴量空間４０を用いて説明するがこれに限定されるものではない。特徴量空間４０は、横軸を第１特徴量、縦軸を第２特徴量とする空間である。静止画ＤＢ１４１の静止画データの特徴量を基にしてプロットしたものが、黒丸で示される。
【0049】
判定部１５２は、静止画ＤＢ１４１の複数の静止画データの特徴量を基にして、クラスタリングすることで、複数の静止画データを、複数のグループに分類する。図９に示す例では、複数の静止画データは、グループＧｒ１、Ｇｒ２、Ｇｒ３に分類される。判定部１５２は、k-means等を用いて、クラスタリングを実行してもよい。
【0050】
判定部１５２は、グループＧｒｎを選択し、選択したグループＧｒｎに含まれる複数の静止画データの特徴量空間４０の集約具合を基にして、グループＧｒｎを破棄するか否かを判定する。判定部１５２は、グループＧｒｎの重心と、グループＧｒｎの各特徴量との距離を基にして、集約具合を算出する。図９では、グループＧｒ１～３の重心を、白抜きのマルで示す。
【0051】
たとえば、判定部１５２は、式（１）を基にして、集約具合Ｓを算出する。ここでは一例として、特徴量空間を二次元とする。重心の座標を（Ｘ，Ｙ）とし、グループＧｒｎのｉ番目の静止画データの座標を（ｘｉ，ｙｉ）とする。グループＧｒｎに含まれる静止画データの数をｎとする。
【0052】
【数1】
【0053】
また、判定部１５２は、第１閾値Ｔｈ１と、第２閾値Ｔｈ２とを計算する。判定部１５２は、重心の座標と、グループＧｒｎの各静止画データの座標との距離をそれぞれ算出し、算出した各距離のうち、距離の最大値を特定する。判定部１５２は、特定した最大値をＮａで除算した値を、第１閾値Ｔｈ１として設定する。Ｎａは予め設定される値であり、２、３、４あるいは他の数値となる。
【0054】
判定部１５２は、重心の座標と、グループＧｒｎの各静止画データの座標との距離をそれぞれ算出し、算出した各距離のうち、距離の最小値を特定する。判定部１５２は、特定した最小値にＮｂを乗算した値を、第１閾値Ｔｈ２として設定する。Ｎｂは予め設定される値であり、２、３、４あるいは他の数値となる。
【0055】
判定部１５２は、集約具合Ｓが、第１閾値Ｔｈ１以上である場合には、グループＧｒｎに属する複数の静止画データが広範囲に分散しているものとして、グループＧｒｎを破棄すると判定する。たとえば、図９のグループＧｒ１は、集約具合Ｓが、第１閾値Ｔｈ１以上となるため、判定部１５２は、グループＧｒ１を破棄すると判定する。
【0056】
判定部１５２は、集約具合Ｓが、第２閾値Ｔｈ２未満である場合には、グループＧｒｎに属する複数の静止画データが狭範囲に集中しているものとして、グループＧｒｎを削除すると判定する。たとえば、図９のグループＧｒ３は、集約具合Ｓが、第１閾値Ｔｈ２未満となるため、判定部１５２は、グループＧｒ３を破棄すると判定する。
【0057】
これに対して、グループＧｒ２の集約具合Ｓは、第１閾値Ｔｈ１未満となり、かつ、第２閾値Ｔｈ２以上となるため、判定部１５２は、グループＧｒ２を破棄しないと判定する。
【0058】
判定部１５２は、分類した各グループに対して上記処理を繰り返し実行し、破棄するグループと、破棄しないグループを判定し、判定結果を、生成部１５３に出力する。たとえば、判定部１５２が、生成部１５３に出力する判定結果には、破棄対象のグループに含まれる静止画データの識別情報が含まれる。
【0059】
生成部１５３は、判定部１５２の判定結果と、静止画ＤＢ１４１とを基にして、教師データテーブル１４２を生成する。生成部１５３は、判定部１５２の判定結果を基にして、破棄対象のグループに含まれる静止画データを、静止画ＤＢ１４１から削除し、静止画ＤＢ１４１に残った静止画データを、この静止画データのキーワードとの組を取得する。
【0060】
生成部１５３は、タグ変換テーブル（図示略）を用いて、キーワードを汎用的な分類クラス（タグ）に変換する。タグ変換テーブルは、キーワードと、キーワードに対応する分類クラスとを対応付けたテーブルである。生成部１５３は、静止画データと、変換した分類クラスとを対応付けて、教師データテーブル１４２に登録する。
【0061】
生成部１５３は、静止画ＤＢ１４１に残った静止画データと、キーワードとの組について、上記処理を繰り返し実行する。
【0062】
学習部１５４は、教師データテーブル１４２に格納された教師データセットを入力として、学習モデル１４３の学習（誤差逆伝播法による機械学習）を実行する。たとえば、学習部１５４は、教師データテーブル１４２の静止画データ（入力データ）を、学習モデル１４３に入力した際の出力が、対応する分類クラスに近づくように、学習モデル１４３のパラメータを調整する。
【0063】
受付部１５５は、端末装置３０から、動画の作成依頼を受け付ける。受付部１５５は、端末装置３０から、投稿動画データを受信し、受信した投稿動画データを、投稿動画ＤＢ１４４に格納する。受付部１５５は、投稿動画データを、投稿動画ＤＢ１４４に格納する場合に、ユニークな投稿動画識別情報を割り当てる。
【0064】
素材分析部１５６は、投稿動画ＤＢ１４４に格納された投稿動画データに含まれる時系列の静止画データを、学習モデル１４３に入力することで、静止画データのタグ（分類クラス）を判定する。素材分析部１５６は、投稿動画識別情報、静止画データの時刻（あるいは、フレーム番号）、静止画データ、タグを対応付けて、分析結果テーブル１４５に格納する。
【0065】
素材分析部１５６は、投稿動画ＤＢ１４４に格納された投稿動画データに含まれる時系列の静止画データに対して、上記処理を繰り返し実行する。
【0066】
イメージ挿入部１５７は、分析結果テーブル１４５と、テンプレート１４６とを基にして、動画データを生成する。たとえば、イメージ挿入部１５７は、テンプレート１４６の各シナリオのタグ、開始時刻、終了時刻を特定する。イメージ挿入部１５７は、開始時刻から終了時刻までのシナリオ時間を算出する。イメージ挿入部１５７は、分析結果テーブル１４５を参照し、シナリオのタグに対応する静止画データから、シナリオ時間分の時系列の静止画データを取得し、取得した時系列の静止画データを動画データ１４７に設定する。
【0067】
イメージ挿入部１５７は、テンプレート１４６の各シナリオについて、上記処理を繰り返し実行することで、動画データ１４７を生成する。
【0068】
次に、本実施例に係る情報処理装置１００の処理手順の一例について説明する。図１０は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。図１０に示すように、情報処理装置１００の収集部１５１は、静止画データを収集し、静止画ＤＢ１４１に格納する（ステップＳ１０１）。
【0069】
情報処理装置１００の判定部１５２は、静止画ＤＢ１４１の複数の静止画データの特徴量を基にして、クラスタリングを実行し、複数のグループに分類する（ステップＳ１０２）。情報処理装置１００の判定部１５２および生成部１５３は、破棄処理を実行する（ステップＳ１０３）。
【0070】
生成部１５３は、静止画ＤＢに残った静止画データを基にして、教師データセットを生成し、教師データテーブルに格納する（ステップＳ１０４）。情報処理装置１００の学習部１５４は、教師データテーブル１４２を基にして、学習モデル１４３を学習する（ステップＳ１０５）。
【0071】
次に、図１０のステップＳ１０３に示した破棄処理の処理手順の一例について説明する。図１１は、本実施例に係る破棄処理の処理手順を示すフローチャートである。図１１に示すように、情報処理装置１００の判定部１５２は、未選択のグループを選択する（ステップＳ２０１）。
【0072】
判定部１５２は、グループ内の特徴量の重心を算出する（ステップＳ２０２）。判定部１５２は、特徴量空間上において、各静止画データの特徴量と、重心との距離をそれぞれ算出する（ステップＳ２０３）。判定部１５２は、距離の最大値、距離の最小値、集積具合を特定する（ステップＳ２０４）。
【0073】
判定部１５２は、集積具合が、最大値の１／Ｎａ倍以上か否かを判定する（ステップＳ２０５）。集積具合が、最大値の１／Ｎａ倍以上の場合には（ステップＳ２０５，Ｙｅｓ）、情報処理装置の生成部１５３は、選択したグループの静止画データを、静止画ＤＢ１４１から破棄し（ステップＳ２０７）、ステップＳ２０８に移行する。
【0074】
判定部１５２は、集積具合が、最大値の１／Ｎａ倍以上でない場合には（ステップＳ２０５，Ｎｏ）、集積具合が、最小値のＮｂ倍未満であるか否かを判定する（ステップＳ２０６）。判定部１５２は、集積具合が、最小値のＮｂ倍未満である場合には（ステップＳ２０６，Ｙｅｓ）、ステップＳ２０７に移行する。
【0075】
一方、判定部１５２は、集積具合が、最小値のＮｂ倍未満でない場合には（ステップＳ２０６，Ｎｏ）、ステップＳ２０８に移行する。判定部１５２は、全てのグループを選択していない場合には（ステップＳ２０８，Ｎｏ）、ステップＳ２０１に移行する。判定部１５２は、全てのグループを選択した場合には（ステップＳ２０８，Ｙｅｓ）、破棄処理を終了する。
【0076】
次に、本実施例に係る情報処理装置１００の効果について説明する。情報処理装置１００は、複数の静止画データをクラスタリングし、グループごとに、静止画データの特徴量空間の集約具合を基にして、グループを破棄するか否かを判定する。たとえば、グループに含まれる静止画データが、広範囲に分布している場合、グループに含まれる静止画データは、不要な静止画データであるといえる。また、グループに含まれる静止画データが、狭範囲に分布している場合、グループに含まれる静止画データは、重複した静止画データであるといえる。
【0077】
このため、情報処理装置１００が、静止画ＤＢ１４１から、静止画データの特徴量空間の集約具合を基にして、グループの静止画データを破棄することで、不要な静止画データ、重複した静止画データを除去することができる。情報処理装置１００は、静止画ＤＢ１４１に残った静止画データを用いて、教師データを生成し、学習モデルの機械学習を実行することで、学習モデルの精度が向上し、かかる学習モデルを用いた動画の精度を向上させることができる。
【0078】
情報処理装置１００は、同一のグループに属する複数の画像データの特徴量の重心を算出し、重心と、同一のグループの属する複数の画像データの特徴量との差分の平均値を基にして、集約具合を算出する。これによって、各グループに含まれる複数の静止画データの集約具合を定量的に特定することができる。
【0079】
情報処理装置１００は、第１閾値Ｔｈ１、第２閾値Ｔｈ２を算出し、集約具合と、第１閾値Ｔｈ１、第２閾値Ｔｈ２との比較によって、破棄対象のグループを特定する。これによって、不要な静止画データ、重複した静止画データを除去することができる。
【0080】
情報処理装置１００は、静止画ＤＢ１４１から、不要な静止画データ、重複した静止画データを除去し、残った静止画データを基にして、教師データテーブル１４２を生成する。そして、情報処理装置１００は、かかる教師データテーブル１４２を基にして、学習モデルを学習する。これによって、学習モデル１４３の過学習および低学習を抑止し、学習モデル１４３の精度が向上する。学習モデル１４３の精度が向上することで、学習モデル１４３を用いた動画データの精度も向上させることができる。
【0081】
ところで、上述した情報処理装置１００は、複数の静止画データをクラスタリングし、グループごとに、静止画データの特徴量空間の集約具合を基にして、グループを破棄するか否かを判定していたがこれに限定されるものではない。以下において、情報処理装置１００のその他の処理について説明する。
【0082】
図１２は、情報処理装置のその他の処理を説明するための図である。たとえば、情報処理装置１００のその他の処理を、ステップＳ２０～Ｓ２２の順に説明する。
【0083】
情報処理装置１００が実行するステップＳ２０の処理について説明する。情報処理装置１００は、キーワードによるＷＥＢスクレイピングを実行し、複数の静止画データ２０ａを収集する。また、情報処理装置１００は、利用者自身が撮影した複数の静止画データを取得する。利用者自身が撮影した静止画データを、複数のローカル画像データ２０ｂと表記する。ローカル画像データ２０ｂは、利用者が、動画データに含めてほしい静止画データの特徴をよく表す静止画データといえる。
【0084】
情報処理装置１００が実行するステップＳ２１の処理について説明する。情報処理装置１００の判定部１５２は、静止画データの特徴量を基にして、複数の静止画データ２０ａ、複数のローカル画像データ２０ｂに対して、クラスタリング（教師なし分類）を実行する。これによって、複数の静止画データ２０ａおよび複数のローカル画像データ２０ｂは、複数のグループに分類される。ここでは、複数の静止画データ２０ａおよび複数のローカル画像データ２０ｂが、グループＧｒ１～Ｇｒ８に分類されるものとする。以下の説明では、複数のグループＧｒ１～Ｇｒ８のうち、いずれか一つのグループを、「グループＧｒｎ」と表記する。
【0085】
情報処理装置１００が実行するステップＳ２１の処理について説明する。情報処理装置１００の判定部１５２は、グループＧｒｎを選択し、選択したグループＧｒｎにローカル画像データが含まれているか否かに応じて、グループＧｒｎを破棄するか否かを判定する。判定部１５２は、グループＧｒｎを選択し、選択したグループＧｒｎにローカル画像データが含まれていない場合に、Ｇｒｎを破棄する。一方、判定部１５２は、グループＧｒｎを選択し、選択したグループＧｒｎにローカル画像データが含まれている場合に、Ｇｒｎを破棄しない。
【0086】
情報処理装置１００は、他のグループについても、上記処理を繰り返し実行する。情報処理装置１００は、静止画ＤＢ１４１に残った複数の静止画データを用いて、教師データテーブル１４２を生成し、教師データテーブル１４２を用いて、学習モデル１４３の機械学習を実行する。
【0087】
ここで、情報処理装置１００が実行するその他の処理の処理手順について説明する。図１３は、情報処理装置のその他の処理手順を示すフローチャートである。図１３に示す処理は、図１１に示した破棄処理の代わりとなる処理である。
【0088】
図１３に示すように、情報処理装置１００の判定部１５２は、未選択のグループを選択する（ステップＳ３０１）。
【0089】
判定部１５２は、グループ内にローカル画像データが含まれるか否かを判定する（ステップＳ３０２）。判定部１５２は、グループ内にローカル画像データが含まれない場合には（ステップＳ３０３，Ｎｏ）、選択したグループの静止画データを静止画ＤＢ１４１から破棄し（ステップＳ３０４）、ステップＳ３０５に移行する。
【0090】
一方、判定部１５２は、グループ内にローカル画像データが含まれる場合には（ステップＳ３０３，Ｙｅｓ）、全てのグループを選択したか否かを判定する（ステップＳ３０５）。判定部１５２は、全てのグループを選択していない場合には（ステップＳ３０５，Ｎｏ）、ステップＳ３０１に移行する。判定部１５２は、全てのグループを選択した場合には（ステップＳ３０５，Ｙｅｓ）、処理を終了する。
【0091】
上記のように、情報処理装置１００によれば、グループＧｒｎを選択し、選択したグループＧｒｎにローカル画像データが含まれているか否かに応じて、グループＧｒｎを破棄するか否かを判定する。これによって、利用者自身が撮影したローカル画像データと同じグループに属する静止画データを残すことができる。
【0092】
なお、本実施例に係る情報処理装置１００は、図１１で説明した処理と、図１３で説明した処理とを組み合わせて、破棄対象となるグループを判定してもよい。たとえば、情報処理装置１００は、図１３で示した処理を実行して、複数のグループから、ローカル画像データを含むグループを絞り込み、絞り込んだグループについて、集合具合を基にして、破棄するグループを判定してもよい。
【0093】
次に、上記実施例に示した情報処理装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１４は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
【0094】
図１４に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、有線または無線ネットワークを介して、端末装置３０、他の外部装置等との間でデータの授受を行う通信装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１～２０７は、バス２０８に接続される。
【0095】
ハードディスク装置２０７は、収集プログラム２０７ａ、判定プログラム２０７ｂ、生成プログラム２０７ｃ、学習プログラム２０７ｄ、受付プログラム２０７ｅ、素材分析プログラム２０７ｆ、イメージ挿入プログラム２０７ｆを有する。また、ＣＰＵ２０１は、各プログラム２０７ａ～２０７ｆを読み出してＲＡＭ２０６に展開する。
【0096】
収集プログラム２０７ａは、収集プロセス２０６ａとして機能する。判定プログラム２０７ｂは、判定プロセス２０６ｂとして機能する。生成プログラム２０７ｃは、生成プロセス２０６ｃとして機能する。学習プログラム２０７ｄは、学習プロセス２０６ｄとして機能する。受付プログラム２０７ｅは、受付プロセス２０６ｅとして機能する。素材分析プログラム２０７ｆは、素材分析プロセス２０６ｆとして機能する。イメージ挿入プログラム２０７ｇは、イメージ挿入プロセス２０６ｇとして機能する。
【0097】
収集プロセス２０６ａの処理は、収集部１５１の処理に対応する。判定プロセス２０６ｂの処理は、判定部１５２の処理に対応する。生成プロセス２０６ｃの処理は、生成部１５３の処理に対応する。学習プロセス２０６ｄの処理は、学習部１５４の処理に対応する。受付プロセス２０６の処理は、受付部１５５の処理に対応する。素材分析プロセス２０６の処理は、素材分析部１５６の処理に対応する。イメージ挿入プロセス２０６ｇの処理は、イメージ挿入部１５７の処理に対応する。
【0098】
なお、各プログラム２０７ａ～２０７ｇについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ～２０７ｇを読み出して実行するようにしてもよい。
【0099】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【0100】
（付記１）複数の画像データを記憶する記憶部と、
前記複数の画像データの特徴量を基にして、前記複数の画像データを複数のグループに分類し、各グループについて、前記グループに属する複数の画像データの特徴量の集約具合を基にして、前記グループを破棄対象とするか否かを判定する判定部と、
前記複数のグループから破棄対象となるグループを破棄した残りのグループに属する複数の画像データを用いて教師データを生成する生成部と
を有することを特徴とする情報処理装置。
前記複数の画像データの特徴量を基にして、前記複数の画像データを複数のグループに分類し、各グループについて、前記グループに属する複数の画像データの特徴量の集約具合を基にして、前記グループを破棄対象とするか否かを判定する判定部と、
前記複数のグループから破棄対象となるグループを破棄した残りのグループに属する複数の画像データを用いて教師データを生成する生成部と
を有することを特徴とする情報処理装置。
【0101】
（付記２）前記判定部は、同一のグループに属する複数の画像データの特徴量の重心を算出し、前記重心と、前記同一のグループの属する複数の画像データの特徴量との差分を基にして、前記集約具合を算出することを特徴とする付記１に記載の情報処理装置。
【0102】
（付記３）前記判定部は、前記集約具合が、第１閾値以上、または、前記第１閾値より小さい第２閾値未満である場合に、前記グループを破棄対象と判定することを特徴とする付記２に記載の情報処理装置。
【0103】
（付記４）前記記憶部に記憶された前記複数の画像データには、予め指定されたローカル画像が含まれ、前記判定部は、各グループのうち、前記ローカル画像を含まないグループを、破棄対象として判定する処理を更に実行することを特徴とする付記１に記載の情報処理装置。
【0104】
（付記５）前記教師データを基にして、学習モデルの機械学習を実行する学習部を更に有することを特徴とする付記１～４のいずれか一つに記載の情報処理装置。
【0105】
（付記６）コンピュータが実行する生成方法であって、
複数の画像データを記憶装置に記憶し、
前記複数の画像データの特徴量を基にして、前記複数の画像データを複数のグループに分類し、
分類した各グループについて、前記グループに属する複数の画像データの特徴量の集約具合を基にして、前記グループを破棄対象とするか否かを判定し、
前記複数のグループから破棄対象となるグループを破棄した残りのグループに属する複数の画像データを用いて教師データを生成する
処理を実行することを特徴とする生成方法。
複数の画像データを記憶装置に記憶し、
前記複数の画像データの特徴量を基にして、前記複数の画像データを複数のグループに分類し、
分類した各グループについて、前記グループに属する複数の画像データの特徴量の集約具合を基にして、前記グループを破棄対象とするか否かを判定し、
前記複数のグループから破棄対象となるグループを破棄した残りのグループに属する複数の画像データを用いて教師データを生成する
処理を実行することを特徴とする生成方法。
【0106】
（付記７）前記判定する処理は、同一のグループに属する複数の画像データの特徴量の重心を算出し、前記重心と、前記同一のグループの属する複数の画像データの特徴量との差分を基にして、前記集約具合を算出することを特徴とする付記６に記載の生成方法。
【0107】
（付記８）前記判定する処理は、前記集約具合が、第１閾値以上、または、前記第１閾値より小さい第２閾値未満である場合に、前記グループを破棄対象と判定することを特徴とする付記７に記載の生成方法。
【0108】
（付記９）前記記憶装置に記憶された前記複数の画像データには、予め指定されたローカル画像が含まれ、前記判定する処理は、各グループのうち、前記ローカル画像を含まないグループを、破棄対象として判定する処理を更に実行することを特徴とする付記６に記載の生成方法。
【0109】
（付記１０）前記教師データを基にして、学習モデルの機械学習を実行する処理を更に実行することを特徴とする付記６～９のいずれか一つに記載の生成方法。
【0110】
（付記１１）コンピュータに、
複数の画像データを記憶装置に記憶し、
前記複数の画像データの特徴量を基にして、前記複数の画像データを複数のグループに分類し、
分類した各グループについて、前記グループに属する複数の画像データの特徴量の集約具合を基にして、前記グループを破棄対象とするか否かを判定し、
前記複数のグループから破棄対象となるグループを破棄した残りのグループに属する複数の画像データを用いて教師データを生成する
処理を実行させることを特徴とする生成プログラム。
複数の画像データを記憶装置に記憶し、
前記複数の画像データの特徴量を基にして、前記複数の画像データを複数のグループに分類し、
分類した各グループについて、前記グループに属する複数の画像データの特徴量の集約具合を基にして、前記グループを破棄対象とするか否かを判定し、
前記複数のグループから破棄対象となるグループを破棄した残りのグループに属する複数の画像データを用いて教師データを生成する
処理を実行させることを特徴とする生成プログラム。
【0111】
（付記１２）前記判定する処理は、同一のグループに属する複数の画像データの特徴量の重心を算出し、前記重心と、前記同一のグループの属する複数の画像データの特徴量との差分を基にして、前記集約具合を算出することを特徴とする付記１１に記載の生成プログラム。
【0112】
（付記１３）前記判定する処理は、前記集約具合が、第１閾値以上、または、前記第１閾値より小さい第２閾値未満である場合に、前記グループを破棄対象と判定することを特徴とする付記１２に記載の生成プログラム。
【0113】
（付記１４）前記記憶装置に記憶された前記複数の画像データには、予め指定されたローカル画像が含まれ、前記判定する処理は、各グループのうち、前記ローカル画像を含まないグループを、破棄対象として判定する処理を更に実行することを特徴とする付記１１に記載の生成プログラム。
【0114】
（付記１５）前記教師データを基にして、学習モデルの機械学習を実行する処理を更に実行することを特徴とする付記１１～１４のいずれか一つに記載の生成プログラム。
【符号の説明】
【0115】
１００ 情報処理装置
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 静止画ＤＢ
１４２ 教師データテーブル
１４３ 学習モデル
１４４ 投稿動画ＤＢ
１４５ 分析結果テーブル
１４６ テンプレート
１４７ 動画データ
１５０ 制御部
１５１ 収集部
１５２ 判定部
１５３ 生成部
１５４ 学習部
１５５ 受付部
１５６ 素材分析部
１５７ イメージ挿入部
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 静止画ＤＢ
１４２ 教師データテーブル
１４３ 学習モデル
１４４ 投稿動画ＤＢ
１４５ 分析結果テーブル
１４６ テンプレート
１４７ 動画データ
１５０ 制御部
１５１ 収集部
１５２ 判定部
１５３ 生成部
１５４ 学習部
１５５ 受付部
１５６ 素材分析部
１５７ イメージ挿入部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】