特許 7606327 プログラム、情報処理方法、情報処理装置、及び機械学習モデル生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-17

(45)【発行日】2024-12-25

(54)【発明の名称】プログラム、情報処理方法、情報処理装置、及び機械学習モデル生成方法

(51)【国際特許分類】

   G06T 3/40 20240101AFI20241218BHJP

   G06T 7/00 20170101ALI20241218BHJP

   G06T 11/80 20060101ALI20241218BHJP

【ＦＩ】

G06T3/40

G06T7/00 350B

G06T11/80 A

【請求項の数】 9

(21)【出願番号】P 2020186044

(22)【出願日】2020-11-06

(65)【公開番号】P2022075326

(43)【公開日】2022-05-18

【審査請求日】2023-11-06

(73)【特許権者】

【識別番号】509070463

【氏名又は名称】株式会社コロプラ

(74)【代理人】

【識別番号】110001416

【氏名又は名称】弁理士法人信栄事務所

(72)【発明者】

【氏名】澤木 一晃

【審査官】宮島 潤

(56)【参考文献】

【文献】特開２０１３－８０４６４（ＪＰ，Ａ）

【文献】Mahmut Cakar et al，Creating Cover Photos (Thumbnail) for Movies and TV Series with Convolutional Neural Network，2020 Innovations in Intelligent Systems and Applications Conference (ASYU)，米国，IEEE，2020年10月17日，ＵＲＬ，https://ieeexplore.ieee.org/document/9259872

【文献】Perla Sai Raj Kishore et al，User Constrained Thumbnail Generation Using Adaptive Convolutions，ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)，米国，IEEE，2019年05月17日，https://ieeexplore.ieee.org/document/8683761

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ５／５０

Ｇ０６Ｔ ９／００ － ９／４０

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｇ０６Ｔ １１／６０ － １３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００ － １９／２０

(57)【特許請求の範囲】

【請求項1】

コンピュータにおいて実行されるプログラムであって、
前記コンピュータには、キー画像、前記キー画像に配置される付加要素、及び前記キー画像のサイズ変更を含む加工に関する加工条件を入力とし、前記キー画像に対して、前記付加要素の配置及びサイズ変更を含む加工を実行することで得られるサムネイル画像を出力するように学習された機械学習モデルが記憶されており、
前記プログラムは、前記コンピュータに、
新たに前記キー画像、前記付加要素、及び前記加工条件を、他の装置または前記コンピュータの記憶部から取得するステップと、
新たに取得された前記キー画像、前記付加要素及び前記加工条件を前記機械学習モデルに入力して、新たにサムネイル画像を出力するステップと、
を実行させ、
前記出力するステップは、複数種類のサムネイル画像を出力するステップであり、
前記プログラムは、前記コンピュータに、さらに、
ユーザの選択操作に応じて、前記複数種類のサムネイル画像のうち１以上のサムネイル画像を選択するステップと、
前記取得するステップにおいて取得された前記キー画像、前記付加要素及び前記加工条件と、前記選択するステップにおいて選択された前記サムネイル画像と、を学習データとして再学習を行うことにより、前記機械学習モデルのパラメータを更新するステップと、を実行させる、
プログラム。

【請求項2】

前記取得するステップにおいて取得される前記付加要素として、前記キー画像に配置されるロゴ画像及びテキストデータのうちの１以上が含まれる、
請求項１に記載のプログラム。

【請求項3】

前記取得するステップにおいて取得される前記加工条件として、さらに、前記キー画像における前記付加要素の配置位置に関する条件、及び前記付加要素の配色に関する条件のうちの１以上が含まれる、
請求項１又は請求項２に記載のプログラム。

【請求項4】

前記配色に関する条件として、前記付加要素の色と、前記キー画像における前記付加要素の配置位置の周辺の色との組み合わせの可否を規定した第１配色条件が含まれ、
前記付加要素の色が、前記キー画像における前記付加要素の配置位置の周囲の色と、前記第１配色条件とに基づいて決定される、
請求項３に記載のプログラム。

【請求項5】

前記配色に関する条件として、前記キー画像のジャンルに応じた１以上の候補色を規定した第２配色条件が含まれ、
前記付加要素の配色が、前記ジャンルに応じた１以上の前記候補色の中から決定される、
請求項３又は請求項４に記載のプログラム。

【請求項6】

前記取得するステップにおいて取得される前記加工条件として、加工後の画像サイズに関する条件が含まれる、
請求項１から請求項５のいずれか一項に記載のプログラム。

【請求項7】

前記出力するステップは、前記キー画像のサイズが前記画像サイズに関する条件を満たすサイズよりも大きい場合、前記画像サイズに関する条件を満たすように、前記キー画像のリサイズ、及びトリミングのうちのいずれか１つを実行し、前記キー画像のサイズが前記画像サイズに関する条件を満たすサイズ以下の場合、前記画像サイズに関する条件を満たすように、前記キー画像の前記画像サイズに関する条件を満たすサイズの画像への貼り付けを実行することを含む、
請求項６に記載のプログラム。

【請求項8】

コンピュータにおいて実行される情報処理方法であって、
前記コンピュータには、キー画像、前記キー画像に配置される付加要素、及び前記キー画像のサイズ変更を含む加工に関する加工条件を入力とし、前記キー画像に対して、前記付加要素の配置及びサイズ変更を含む加工を実行することで得られるサムネイル画像を出力するように学習された機械学習モデルが記憶されており、
前記情報処理方法は、前記コンピュータに、
新たに前記キー画像と、前記付加要素、及び前記加工条件とを、他の装置または前記コンピュータの記憶部から取得するステップと、
新たに取得された前記キー画像、前記付加要素及び前記加工条件を前記機械学習モデルに入力して、新たにサムネイル画像を出力するステップと、
を実行させ、
前記出力するステップは、複数種類のサムネイル画像を出力するステップであり、
前記情報処理方法は、前記コンピュータに、さらに、
ユーザの選択操作に応じて、前記複数種類のサムネイル画像のうち１以上のサムネイル画像を選択するステップと、
前記取得するステップにおいて取得された前記キー画像、前記付加要素及び前記加工条件と、前記選択するステップにおいて選択された前記サムネイル画像と、を学習データとして再学習を行うことにより、前記機械学習モデルのパラメータを更新するステップと、を実行させる、
情報処理方法。

【請求項9】

コンピュータにおいて実行される機械学習モデル生成方法であって、
前記機械学習モデル生成方法は、前記コンピュータに、
キー画像、前記キー画像に配置される付加要素、及び前記キー画像のサイズ変更を含む加工に関する加工条件を入力とし、該キー画像に対して、該付加要素の配置及びサイズ変更を含む加工を実行することで得られたサムネイル画像を出力とした教師データを用いて機械学習モデルを生成するステップと、
新たに前記キー画像、前記付加要素、及び前記加工条件を、他の装置または前記コンピュータの記憶部から取得するステップと、
新たに取得された前記キー画像、前記付加要素及び前記加工条件を前記機械学習モデルに入力して、新たにサムネイル画像を出力するステップと、
を実行させることを含み、
前記出力するステップは、複数種類のサムネイル画像を出力するステップであり、
前記機械学習モデル生成方法は、前記コンピュータに、さらに、
ユーザの選択操作に応じて、前記複数種類のサムネイル画像のうち１以上のサムネイル画像を選択するステップと、
前記取得するステップにおいて取得された前記キー画像、前記付加要素及び前記加工条件と、前記選択するステップにおいて選択された前記サムネイル画像と、を学習データとして再学習を行うことにより、前記機械学習モデルのパラメータを更新するステップと、を実行させる、
機械学習モデル生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、プログラム、情報処理方法、情報処理装置、及び機械学習モデル生成方法に関する。

【背景技術】

【0002】

近年、多種多様な動画配信サービスが出現してきている。これらの動画配信サービスでは、利用者が動画を選択する際の参考として、サムネイルと呼ばれる画像を表示することが一般的である。特許文献１には、コンピュータによって、動画に含まれるシーンの中からサムネイルとして適したシーン（フレーム）を自動で抽出する方法が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１６－５０６５５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、サムネイルには、その動画のタイトル等を示すロゴや、その動画のキャッチコピー等を示すテキスト情報が付加されることが多い。また、サムネイルは、動画配信サービス毎に規定（例えば、画像サイズや、ロゴやテキストの配置ルールなど）が異なることも多い。よって、１の動画を複数の動画配信サービスで提供しようとする場合、それぞれの動画配信サービスの規定に沿って、動画配信サービス毎にサムネイルを作成しなくてはならない。しかし、特許文献１に記載の方法は、動画からサムネイルに適したフレームを抽出するだけのものであり、ロゴ等が付加されたサムネイルを作成可能なものではなかった。また、特許文献１に記載の方法は、動画配信サービス毎の規定を満たすようにサムネイルを作成可能なものでもなかった。

【0005】

近年では、動画配信サービス毎に規定が異なることに加えて、動画配信サービスによっては、１の動画に対して複数の異なるサムネイルを要求することもある。これらの理由から、サムネイル作成者の負担は大きく、サムネイル作成に要するコストも大きくなっている。例えば、サムネイル作成をコンテンツホルダー側で行う場合、動画配信サービスの運営者に動画を提供するために必要なコストが、当該動画を提供することで得られる予想収益を上回ることもあり、当該動画の提供を断念しなくてはならないという状況も生じていた。

【0006】

なお、サムネイル作成に関する負担は、動画配信サービスに限ったことではなく、音楽配信サービスや、インターネット上で提供される他のサービスでも同様である。例えば、ＥＣ（Electronic Commerce）サイトにおいても、サイト毎にサムネイルの規定が定められていることが多い。よって、複数のＥＣサイトに自己の商品を展開しようとする場合、サムネイル作成者の負担は大きくなる。

【0007】

本開示の一態様は、サムネイル作成に関する負担を軽減させることが可能なプログラム、情報処理方法、情報処理装置、及び機械学習モデル生成方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示に示す一実施形態によれば、
プロセッサを備えたコンピュータにおいて実行されるプログラムであって、
前記プログラムは、前記プロセッサに、
第１コンテンツに関連する１以上のキー画像、前記キー画像に付加するための１以上の付加要素、及び前記キー画像の加工に関する１以上の加工条件のうちの少なくとも１以上を取得するステップと、
機械学習モデルを用いて、前記キー画像に前記付加要素を付加すること及び前記キー画像を前記加工条件に従って加工することのうちの少なくとも一方を実行することで得られる１以上のサムネイル画像を出力するステップと、
を実行させるプログラム、が提供される。

【発明の効果】

【0009】

本開示に示す一実施形態よれば、サムネイル作成に関する負担を軽減させることが可能である。

【図面の簡単な説明】

【0010】

【図1】ある実施の形態に従うコンピュータの動作の概要を示す模式図である。

【図2】ある実施の形態に従うコンピュータの機能的な構成の一例を示すブロック図である。

【図3】ある実施の形態に従うコンピュータによる処理の一例を示すフローチャートである。

【図4】ある実施の形態に従うキー画像への付加要素の付加の一例を示す模式図である。

【図5】ある実施の形態に従う第１配色マスタテーブルの一例である。

【図6】ある実施の形態に従う第２配色マスタテーブルの一例である。

【図7】ある実施の形態に従うキー画像のサイズ変更の例を示す模式図である。

【図8】ある実施の形態に従う機械学習モデルの更新方法の一例を示す模式図である。

【発明を実施するための形態】

【0011】

以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品等には同一の符号を付してある。それらの名称及び機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。

【0012】

（動作の概要）
図１は、本実施形態に係るコンピュータ１０の動作の概要を示す模式図である。図１に示すように、コンピュータ１０に対して、１以上のキー画像１１０、並びに、１以上の付加要素１２０及び／又は１以上の加工条件１３０を入力すると、コンピュータ１０は、コンピュータ１０に記憶された学習済みモデル（機械学習モデル）４２を用いて、１以上のサムネイル画像１５０を出力する。これらの動作は、コンピュータ１０の制御部（プロセッサ）５０によってなされる。

【0013】

コンピュータ１０は、携帯型の情報処理装置であってもよいし、設置型の情報処理装置であってもよい。コンピュータ１０は、例えば、スマートフォン、ファブレット、タブレット、ＰＣ（Personal Computer）、サーバ装置などであり得る。なお、制御部５０や学習済みモデル４２等のコンピュータ１０に含まれる各種構成については、後の段落で詳述する。

【0014】

キー画像１１０は、第１コンテンツに関連する画像である。ここで、「コンテンツ」とは、例えば、動画配信サービスや音楽配信サービス、ＥＣサイト等のインターネット上で提供される他のサービス（以下、「各種サービス」とも称する）において、サムネイル画像１５０を伴って各種サービスの利用者に提示され得るもののことをいう。「コンテンツ」の具体例としては、動画や音楽、ＥＣサイトで販売される商品等が挙げられる。

【0015】

「コンテンツ」が動画である場合において、キー画像１１０は、例えば、動画のワンシーンを静止画とした画像や、宣伝用に撮影された画像であり得る。「コンテンツ」が音楽である場合において、キー画像１１０は、例えば、ディスクジャケット用に撮影された画像や、アーティストの画像であり得る。「コンテンツ」がＥＣサイトで販売される商品である場合において、キー画像１１０は、例えば、その商品を撮像した画像であり得る。

【0016】

付加要素１２０は、キー画像１１０に付加するための要素である。付加要素１２０は、例えば、第１コンテンツに関連するロゴ画像及び／又はテキストデータであり得る。加工条件１３０は、キー画像１１０の加工に関する条件である。加工条件１３０は、例えば、キー画像１１０における付加要素１２０の付加位置に関する条件、付加要素１２０の配色に関する条件、及び加工後の画像サイズに関する条件の少なくとも１以上を含み得る。加工条件１３０は、後述の加工条件テーブル４３を参照して取得されてもよい。

【0017】

サムネイル画像１５０は、キー画像１１０に付加要素１２０を付加する、及び／又は、キー画像１１０を加工条件１３０に従って加工することで得られる画像である。サムネイル画像１５０は、例えば、各種サービスにおいて、サムネイルとして利用され得る。

【0018】

（コンピュータの構成）
図２は、本実施形態に係るコンピュータ１０の機能的な構成の一例を示すブロック図である。図２に示すように、コンピュータ１０は、通信ＩＦ（Interface）２０と、入出力ＩＦ３０と、記憶部（ストレージ、メモリ）４０と、制御部５０と、を備え、これらが通信バスを介して互いに接続されている。

【0019】

通信ＩＦ２０は、例えばＬＡＮ（Local Area Network）規格など各種の通信規格に対応しており、通信ネットワーク９０を介して外部の通信機器とデータを送受信するためのインタフェースとして機能する。

【0020】

入出力ＩＦ３０は、コンピュータ１０への情報の入力を受け付けるとともに、コンピュータ１０の外部へ情報を出力するためのインタフェースとして機能する。入出力ＩＦ３０は、例えば、マウス、キーボード等の情報入力機器の接続を受け付ける部位と、画像等を表示するためのディスプレイ等の情報出力機器の接続を受け付ける部位と、を含む。

【0021】

記憶部４０は、制御部５０が読み込んで実行するための各種プログラム及びデータを記憶するストレージである。また、記憶部４０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリを含んでおり、制御部５０が処理を行う際に一時的に使用するための作業領域を提供する。

【0022】

ある局面において、記憶部４０は、プログラム４１と、学習済みモデル４２と、加工条件テーブル４３と、を記憶する。プログラム４１は、制御部５０に後述の各機能を発揮させるためのプログラムである。

【0023】

学習済みモデル４２は、１以上のキー画像１１０、並びに、１以上の付加要素１２０及び／又は１以上の加工条件１３０を入力すると、１以上のサムネイル画像１５０を出力する機械学習モデルである。学習済みモデル４２は、例えば、入力層、中間層、及び出力層を備えたニューラルネットワークに機械学習させることにより生成される。学習済みモデル４２は、いわゆるディープラーニングの手法を用いて生成された、複数の中間層を備えたものであることが好ましい。

【0024】

学習済みモデル４２は、例えば、ニューラルネットワークに対して、いわゆる教師あり学習の手法を適用することで生成できる。この場合、例えば、所定のコンテンツに関連するキー画像と所定の付加要素及び／又は所定の加工条件とを入力とし、該キー画像に該付加要素を付加する及び／又は該キー画像を該加工条件に従って加工することで得られた所定のサムネイル画像を出力（教師ラベル）とした教師データを用いることができる。すなわち、教師データは、過去に作成された複数のサムネイル画像、及び、該サムネイル画像の元となったキー画像や付加要素等を対応付けたデータであってよい。

【0025】

なお、学習済みモデル４２の生成方法は、教師あり学習に限定されるわけではなく、公知の他の手法を用いてもよい。学習済みモデル４２は、例えば、いわゆる教師なし学習の手法を適用することで生成してもよい。この場合、例えば、過去に作成された複数のサムネイル画像を訓練データとして用いることができる。教師なし学習としては、例えば、ＧＡＮ（Generative Adversarial Networks）等の公知の手法を採用できる。

【0026】

記憶部４０に記憶された学習済みモデル４２は、コンピュータ１０によって生成されたモデルでもよいし、プロセッサを備えた他のコンピュータによって生成されたモデルであってもよい。

【0027】

加工条件テーブル４３は、加工条件１３０を規定したテーブルである。加工条件テーブル４３は、例えば、後述の第１配色マスタテーブル５０１や第２配色マスタテーブル６０１を含み得る。また、加工条件テーブル４３は、付加要素１２０の付加位置に関する条件や、加工後の画像サイズに関する条件を規定したテーブルを含み得る。また、加工条件テーブル４３は、各種サービスにおいて要求されているサムネイルの条件を規定したテーブルを含んでいてもよい。

【0028】

制御部５０は、記憶部４０に記憶されるプログラム４１等を読み込んで実行することにより、コンピュータ１０の動作を制御する。制御部５０は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等を含んで構成される。

【0029】

制御部５０は、プログラム４１を実行することにより、取得部５１、出力部５２、操作入力受付部５３、選択部５４、及び更新部５５としての機能を発揮する。

【0030】

取得部５１は、第１コンテンツに関連する１以上のキー画像１１０と、キー画像１１０に付加するための１以上の付加要素１２０及び／又はキー画像１１０の加工に関する１以上の加工条件１３０と、を取得する。取得部５１は、キー画像１１０、付加要素１２０、及び加工条件１３０のそれぞれを複数種類取得してもよい。

【0031】

ある局面において、取得部５１は、加工条件１３０を外部から取得せずに、加工条件テーブル４３を参照して、キー画像１１０の加工条件１３０を取得してもよい。また、ある局面において、取得部５１は、外部から取得した情報に基づいて、加工条件テーブル４３を参照して、キー画像１１０の加工条件１３０を取得してもよい。具体的には、取得部５１は、各種サービスのうちのいずれか示す情報を外部から取得し、加工条件テーブル４３から当該情報が示すサービスに適用される加工条件１３０を取得してもよい。

【0032】

出力部５２は、学習済みモデル４２を用いて、キー画像１１０に付加要素１２０を付加する、及び／又は、キー画像１１０を加工条件１３０に従って加工することで得られる１以上のサムネイル画像１５０を出力する。

【0033】

出力部５０は、１又は複数のキー画像１１０に基づいて、複数種類のサムネイル画像１５０をサムネイルの候補として出力することが好ましい。出力部５２は、例えば、所定の表示装置にサムネイル画像１５０を出力してもよいし、記憶部４０をサムネイル画像１５０の出力先としてもよい。

【0034】

操作入力受付部５３は、コンピュータ１０のユーザによる操作入力を受け付ける。操作入力受付部５３は、例えば、マウスやキーボード、タッチスクリーン等の入力装置に対してなされたユーザの操作を判別し、制御部５０への指示として受け付ける。

【0035】

選択部５４は、操作入力受付部５３が受け付けたユーザの操作入力に応じて、出力部５２が出力した複数種類のサムネイル画像１５０のうち、１以上のサムネイル画像１５０を選択する。

【0036】

更新部５５は、取得部５１によって取得されたキー画像１１０、並びに、付加要素１２０及び／又は加工条件１３０と、選択部５４によって選択されたサムネイル画像１５０とに基づいて、学習済みモデル４２のパラメータを更新する。更新部５５によるパラメータの更新については、後の段落で詳述する。

【0037】

（動作処理）
次に、図３を参照して、コンピュータ１０における動作処理について説明する。以下では、第１コンテンツが動画配信サービスで提供される動画である場合を例に挙げて説明をするが、本開示はこれに限定されるものではない。

【0038】

図３は、コンピュータ１０による処理の一例を示すフローチャートである。本明細書で説明するフローチャートを構成する各処理の順序は、処理内容に矛盾や不整合が生じない範囲で順不同であり、並列的に実行されてもよい。

【0039】

まず、ステップＳ１０において、制御部５０は、キー画像１１０と、付加要素１２０及び加工条件１３０のうちの少なくとも一方と、を取得する。以降では、付加要素１２０及び加工条件１３０の両方を取得した場合について説明をする。

【0040】

ステップＳ１０において、キー画像１１０等は、例えば、ユーザの操作入力等に応じて、コンピュータ１０と通信接続された他のコンピュータや、コンピュータ１０と接続されたＵＳＢメモリ等の記憶媒体、コンピュータ１０の記憶部４０等から取得される。

【0041】

次に、ステップＳ２０において、制御部５０は、学習済みモデル４２を用いて、キー画像１１０における付加要素１２０の付加位置を決定する。加工条件１３０に付加位置に関する条件が含まれている場合、ステップＳ２０では、該条件に従って付加位置が決定される。

【0042】

次に、ステップＳ３０において、制御部５０は、学習済みモデル４２を用いて、付加要素１２０の配色やサイズ等を決定する。加工条件１３０に配色に関する条件が含まれている場合、ステップＳ３０では、該条件に従って配色が決定される。付加要素１２０がテキストデータである場合等は、ステップＳ３０において、書体の決定をしてもよい。また、ステップＳ３０では、付加要素１２０に所定の模様を付してもよい。

【0043】

次に、ステップＳ４０において、制御部５０は、学習済みモデル４２を用いて、キー画像１１０の画像サイズを変更する。ステップＳ４０において、画像サイズは、予め設定された画像サイズになるように変更してもよいし、加工条件１３０に含まれる画像サイズに関する条件に従って変更してもよい。画像サイズに関する条件は、一の画像サイズを規定するものでもよいし、許容される画像サイズの範囲を規定するものでもよい。

【0044】

画像サイズの変更方法としては、特に制限はされないが、例えば、拡大や縮小によるリサイズ、画像の不要な部分を取り除くトリミング、画像サイズに関する条件を満たすサイズの所定の画像へキー画像１１０を貼り付けること等が挙げられる。

【0045】

ステップＳ２０～Ｓ４０の一連の処理は繰り返し実行され、複数種類のサムネイル画像１５０が作成される。なお、ステップＳ２０～Ｓ４０の各処理は、ステップＳ１０において制御部５０が取得した内容次第で省略され得る。例えば、ステップＳ１０において付加要素１２０が取得されていない場合、ステップＳ２０～Ｓ３０は実行されない。同様に、ステップＳ１０において取得したキー画像１１０が画像サイズに関する条件を満たしている等の場合、ステップＳ４０の処理は実行されなくてもよい。

【0046】

次に、ステップＳ５０において、制御部５０は、ステップＳ１０～Ｓ４０の処理を経て作成された、ユーザの選択の候補となる複数種類のサムネイル画像１５０を出力する。

【0047】

次に、ステップＳ６０において、制御部５０は、候補として提示された複数種類のサムネイル画像１５０のうちから１以上のサムネイル画像を、ユーザの選択操作に応じて選択する。

【0048】

次に、ステップＳ７０において、制御部５０は、ステップＳ６０における選択結果に基づいて、学習済みモデル４２のパラメータを更新し、終了する。ステップＳ７０の処理は、ステップＳ６０が実行される毎に実行されてもよいし、ステップＳ６０が複数回実行されて複数のサムネイル画像が選択された後の所定のタイミングで実行されてもよい。

【0049】

次に、図４から図８を用いて、図３のフローチャートに示された各処理について詳述する。図４は、ステップＳ２０及びＳ３０の処理についての具体例を示す図であり、キー画像１１０への付加要素１２０の付加の一例を示す模式図である。

【0050】

図４の例において、キー画像１１０は、第１コンテンツの出演者である被写体Ｍを含む画像である。また、付加要素１２０は、第１コンテンツのタイトルである「ＡＢＣＤＥＦ」をロゴ化したロゴ画像である。

【0051】

図４の中央は、ステップＳ２０の処理を示している。制御部５０は、学習済みモデル４２を用いて、付加要素１２０を付加する位置Ｐを決定する。加工条件１３０として付加位置に関する条件が規定されている場合、該条件に従って位置Ｐが決定される。

【0052】

付加位置に関する条件としては、特に制限はされず、例えば、付加位置として適切な位置や領域（例えば、被写体Ｍの背景の位置、被写体Ｍと付加要素１２０の重複率が所定の割合以下となる位置、キー画像１１０における上部又は下部等の所定の領域など）を規定するものであってもよいし、付加位置として不適切な位置や領域（例えば、被写体Ｍの顔等の特定の部位と重複する位置、被写体Ｍと付加要素１２０の重複率が所定の割合以上となる位置、キー画像１１０における中央部等の所定の領域など）を規定するものであってもよい。

【0053】

図４の右側は、ステップＳ２０及びＳ３０によって加工された加工後のキー画像１４０を示している。加工後のキー画像１４０において、付加要素１２０のサイズは、必要に応じて、位置Ｐに併せて変更されている。また、加工後のキー画像１４０において、付加要素１２０には、学習済みモデル４２を用いて決定された配色がなされている。付加要素１２０への配色は、付加要素１２０の全ての部位を同一色にするものでもよいし、付加要素１２０の部位毎（例えば、文字毎）に色を決定するものでもよい。なお、ステップＳ４０の処理がなされない場合、加工後のキー画像１４０は、サムネイル画像１５０になる。

【0054】

加工条件１３０として配色に関する条件が規定されている場合、該条件に従って配色が決定される。配色に関する条件としては、特に制限はされず、例えば、図５に示すような色の組み合わせの可否を規定したものでもよいし、図６に示すような第１コンテンツの種類に応じた１以上の候補色を規定したものでもよいし、これらの条件を組み合わせたものでもよい。

【0055】

図５は、本実施形態に係る第１配色マスタテーブル５０１を示している。第１配色マスタテーブル５０１は、色の組み合わせの可否を規定したものである。第１配色マスタテーブル５０１には、付加要素１２０の配色５０３と、キー画像１１０における付加要素１２０の付加位置の周囲の色５０２と、の組み合わせの可否が規定されている。

【0056】

第１配色マスタテーブル５０１において、「〇」は組み合わせ可であり、「×」は組み合わせ不可を示している。図５の例では、周囲の色５０２が色ＩＤ「００１」で示される色である場合、色ＩＤ「００１～００２」で示される色は配色５０３として選択できず、色ＩＤ「００３～００５」で示される色は配色５０３として選択できる。例えば、図４の右側に示されたロゴ画像（付加要素１２０）における文字「Ａ」の周囲の色５０２が色ＩＤ「００１」で示される色である場合、文字「Ａ」の配色５０３は、色ＩＤ「００１～００２」で示される色とはなりえない。

【0057】

図６は、本実施形態に係る第２配色マスタテーブル６０１を示している。第２配色マスタテーブル６０１は、第１コンテンツの種類に応じた１以上の候補色を規定したものである。第２配色マスタテーブル６０１には、コンテンツの種類６０２に応じた候補色である付加要素１２０の配色６０３が規定されている。なお、コンテンツの種類とは、コンテンツを所定の分類基準に従って分類したものであり、例えば、サスペンス、コメディ、ロマンス等のコンテンツのジャンルである。

【0058】

第２配色マスタテーブル６０１において、「〇」は選択可であり、「×」は選択不可を示している。図６の例では、コンテンツの種類６０２がジャンルＩＤ「００１」で示されるジャンルである場合、色ＩＤ「００１～００３」で示される色は配色６０３として選択できるが、色ＩＤ「００４～００５」で示される色は配色６０３として選択できない。

【0059】

図７は、ステップＳ４０の処理についての具体例を示す図であり、加工後のキー画像１４０のサイズ変更の例を示す模式図である。図７の（ａ）は、加工後のキー画像１４０を縮小してリサイズすることで、サムネイル画像１５０ａを作成した状態を示している。

【0060】

図７の（ｂ）は、加工後のキー画像１４０の左端をトリミングしてサムネイル画像１５０ｂを作成した状態を示している。図７の（ｃ）は、画像サイズに関する条件を満たすサイズの所定の画像へ加工後のキー画像１４０を貼り付けることで、サムネイル画像１５０ｃを作成した状態を示している。上記の所定の画像は、サムネイル画像１５０ｃと同サイズの画像である。また、上記の所定の画像は、加工後のキー画像１４０の背景と同一の色や同一のパターンを付された画像である。

【0061】

画像サイズの変更に関し、図７の（ａ）～（ｃ）のいずれの手法を採用するかは、加工後のキー画像１４０のサイズや、画像サイズに関する条件に応じて、学習済みモデル４２が判断する。

【0062】

図８は、ステップＳ７０の処理を詳述するための図であり、学習済みモデル４２の更新方法の一例を示す模式図である。図８の例は、ステップＳ５０において３種類のサムネイル画像１５０ｄ～１５０ｆが出力され、ステップＳ６０においてサムネイル画像１５０ｄが選択された場合を示している。

【0063】

この場合、ステップＳ７０では、例えば、サムネイル画像１５０ｄに基づいて、学習済みモデル４２に含まれる入力層、中間層、及び出力層に含まれる各ノード間の重みパラメータを更新し、最適化を行う。最適化の手法は、特に制限はされず、公知の手法を適宜採用できる。なお、図８の例では、中間層が３層になっているが、中間層の層数はこれに限定されない。

【0064】

以上、本開示に係る実施形態について詳細に説明したが、本発明の趣旨に反しない限り、コンピュータ１０の制御部５０が実行していた処理の一部を他のコンピュータの制御部が担当してもよく、コンピュータ１０の記憶部４０に記憶されていると説明したデータの少なくとも一部を他のコンピュータの記憶部に記憶させてもよい。すなわち、本開示に係るプログラムや情報処理方法は、いわゆるサーバークライアント型（クラウド型を含む）のシステムにおいて実行されてもよい。

【0065】

また、上記の実施形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

【0066】

［付記事項］
本開示の内容を列記すると以下の通りである。

【0067】

（項目１）
プロセッサを備えたコンピュータにおいて実行されるプログラムであって、
前記プログラムは、前記プロセッサに、
第１コンテンツに関連する１以上のキー画像、前記キー画像に付加するための１以上の付加要素、及び前記キー画像の加工に関する１以上の加工条件のうちの少なくとも１以上を取得するステップと、
機械学習モデルを用いて、前記キー画像に前記付加要素を付加すること及び前記キー画像を前記加工条件に従って加工することのうちの少なくとも一方を実行することで得られる１以上のサムネイル画像を出力するステップと、
を実行させるプログラム。
この構成によれば、サムネイル作成に関する負担を軽減させることが可能にある。

【0068】

（項目２）
前記機械学習モデルは、所定のコンテンツに関連するキー画像と所定の付加要素、所定の加工条件、又は、前記キー画像と前記所定の付加要素と前記所定の加工条件を入力とし、該キー画像に該付加要素を付加すること及び該キー画像を該加工条件に従って加工することのうちの少なくとも一方を実行することで得られた所定のサムネイル画像を出力とした教師データを用いて学習させたものであり、
前記出力するステップは、複数のサムネイル画像を出力するステップであり、
前記プログラムは、前記プロセッサに、さらに、
ユーザの選択操作に応じて、前記複数のサムネイル画像のうち１以上のサムネイル画像を選択するステップと、
前記取得するステップにおいて取得された前記キー画像ならびに前記付加要素及び／又は前記加工条件と、前記選択するステップにおいて選択された前記サムネイル画像とに基づいて、前記機械学習モデルのパラメータを更新するステップと、を実行させる、
項目１に記載のプログラム。
この構成によれば、例えば、ユーザの好み等を機械学習モデルに反映させることができる。結果として、そのユーザが求めるサムネイル画像が出力され易くなる。

【0069】

（項目３）
前記取得するステップにおいて取得される前記付加要素として、前記第１コンテンツに関連するロゴ画像及びテキストデータのうちの１以上が含まれる、
項目１又は項目２に記載のプログラム。
この構成によれば、例えば、キー画像にロゴやテキストを付加したサムネイル画像を簡単に作成することが可能になる。

【0070】

（項目４）
前記取得するステップは、前記キー画像、前記付加要素、及び前記加工条件を取得するステップであり、
前記取得するステップにおいて取得される前記加工条件として、前記キー画像における前記付加要素の付加位置に関する条件、及び前記付加要素の配色に関する条件のうちの１以上が含まれる、
項目１から項目３のいずれか一項に記載のプログラム。
この構成によれば、例えば、付加要素を適切な位置に配置したり、付加要素に適切な配色をしたりすることが容易になる。結果として、種々の規定に沿ったサムネイル画像を得ることが容易になる。

【0071】

（項目５）
前記配色に関する条件として、色の組み合わせの可否を規定した第１配色条件が含まれ、
前記付加要素の配色が、前記キー画像における前記付加要素の付加位置の周囲の色と、前記第１配色条件とに基づいて決定される、
項目４に記載のプログラム。
この構成によれば、例えば、キー画像における付加要素の付加位置の周囲の色と、付加要素の色とが似たような色になってしまい、かつ、サムネイル画像を見る者にとって付加要素が判別しにくい、というような配色がされることを防止できる。また、例えば、付加要素が判別しやすいような配色にすることも可能になる。

【0072】

（項目６）
前記配色に関する条件として、前記第１コンテンツの種類に応じた１以上の候補色を規定した第２配色条件が含まれ、
前記付加要素の配色が、前記第１コンテンツの種類に応じた１以上の前記候補色の中から決定される、
項目４又は項目５に記載のプログラム。
この構成によれば、例えば、付加要素の配色をコンテンツの雰囲気に適したものにすることができる。結果として、例えば、サムネイル画像を見る者にとって違和感のないサムネイル画像を作成することが可能になる。

【0073】

（項目７）
前記取得するステップにおいて取得される前記加工条件として、加工後の画像サイズに関する条件が含まれる、
項目１から項目６のいずれか一項に記載のプログラム。
この構成によれば、例えば、求められている画像サイズに応じたサムネイル画像を作成することが可能になる。

【0074】

（項目８）
前記出力するステップは、前記画像サイズに関する条件を満たすように、前記キー画像のリサイズ、トリミング、及び前記画像サイズに関する条件を満たすサイズの所定の画像への貼り付けのうちのいずれか１以上を実行することを含む、
項目７に記載のプログラム。
この構成によれば、例えば、求められている画像サイズに応じたサムネイル画像を作成することが容易になる。

【0075】

（項目９）
プロセッサを備えたコンピュータにおいて実行される情報処理方法であって、
前記情報処理方法は、前記プロセッサに、
第１コンテンツに関連する１以上のキー画像と、前記キー画像に付加するための１以上の付加要素及び／又は前記キー画像の加工に関する１以上の加工条件とを取得するステップと、
機械学習モデルを用いて、前記キー画像に前記付加要素を付加する及び／又は前記キー画像を前記加工条件に従って加工することで得られる１以上のサムネイル画像を出力するステップと、
を実行させることを含む、情報処理方法。
この構成によれば、サムネイル作成に関する負担を軽減させることが可能である。

【0076】

（項目１０）
プロセッサを備えた情報処理装置であって、
前記プロセッサは、
第１コンテンツに関連する１以上のキー画像と、前記キー画像に付加するための１以上の付加要素及び／又は前記キー画像の加工に関する１以上の加工条件とを取得し、
機械学習モデルを用いて、前記キー画像に前記付加要素を付加する及び／又は前記キー画像を前記加工条件に従って加工することで得られる１以上のサムネイル画像を出力する、
情報処理装置。
この構成によれば、サムネイル作成に関する負担を軽減させることが可能である。

【0077】

（項目１１）
プロセッサを備えたコンピュータにおいて実行される機械学習モデル生成方法であって、
前記機械学習モデル生成方法は、前記プロセッサに、
所定のコンテンツに関連するキー画像と所定の付加要素及び／又は所定の加工条件とを入力とし、該キー画像に該付加要素を付加する及び／又は該キー画像を該加工条件に従って加工することで得られた所定のサムネイル画像を出力とした教師データを用いて機械学習モデルを生成するステップ
を実行させることを含む、機械学習モデル生成方法。
この構成によれば、サムネイル作成に関する負担の軽減に資する機械学習モデルを生成することが可能である。

【符号の説明】

【0078】

１０：コンピュータ、２０：通信ＩＦ、３０：入出力ＩＦ、４０：記憶部（ストレージ、メモリ）、４２：学習済みモデル（機械学習モデル）、５０：制御部（プロセッサ）、９０：通信ネットワーク、１１０：キー画像、１２０：付加要素、１３０：加工条件、１４０：加工後のキー画像、１５０（１５０ａ～１５０ｆ）：サムネイル画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】