知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024160538
(43)【公開日】2024-11-14
(54)【発明の名称】情報処理装置、情報処理方法、及び、プログラム
(51)【国際特許分類】
G06Q 30/0241 20230101AFI20241107BHJP
G06N 20/00 20190101ALI20241107BHJP
【ＦＩ】
G06Q30/0241
G06N20/00 130
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023075648
(22)【出願日】2023-05-01
(71)【出願人】
【識別番号】397073201
【氏名又は名称】株式会社電通総研
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】藤原 洋介
【テーマコード（参考）】
5L030
5L049
【Ｆターム（参考）】
5L030BB08
5L049BB08
(57)【要約】
【課題】画像の活用を効率的に促進し、撮影者となるユーザに対する画像の提供意欲を高め、さらには、画像を利用するユーザとの連携を図る。
【解決手段】ラベルが付与された入力データを含む教師データを用いた機械学習による学習済みモデルの生成と、学習済みモデルによる情報処理を実行する情報システムにおける、情報処理装置が例示される。情報処理装置は、第１のラベルが付与された第１の入力データを含む第１の教師データを取得することと、第１の教師データに含まれる第１の入力データを変化させて第２の入力データとするとともに、第１の入力データから第２の入力データへの変化の度合いに応じて第１のラベルまたは第１のラベルとは異なる第２のラベルを第２の入力データに付与することによって第２の教師データを作成することと、を実行する。
【選択図】図２
【解決手段】ラベルが付与された入力データを含む教師データを用いた機械学習による学習済みモデルの生成と、学習済みモデルによる情報処理を実行する情報システムにおける、情報処理装置が例示される。情報処理装置は、第１のラベルが付与された第１の入力データを含む第１の教師データを取得することと、第１の教師データに含まれる第１の入力データを変化させて第２の入力データとするとともに、第１の入力データから第２の入力データへの変化の度合いに応じて第１のラベルまたは第１のラベルとは異なる第２のラベルを第２の入力データに付与することによって第２の教師データを作成することと、を実行する。
【選択図】図２
【特許請求の範囲】
【請求項1】
ラベルが付与された入力データを含む教師データを用いた機械学習による学習済みモデルの生成と、前記学習済みモデルによる情報処理を実行する情報処理装置であって、
第１のラベルが付与された第１の入力データを含む第１の教師データを取得すること、
前記第１の教師データに含まれる前記第１の入力データを変化させて第２の入力データとするとともに、前記第１の入力データから前記第２の入力データへの変化の度合いに応じて前記第１のラベルまたは前記第１のラベルとは異なる第２のラベルを前記第２の入力データに付与することによって第２の教師データを作成することと、
を実行する制御部を備える情報処理装置。
第１のラベルが付与された第１の入力データを含む第１の教師データを取得すること、
前記第１の教師データに含まれる前記第１の入力データを変化させて第２の入力データとするとともに、前記第１の入力データから前記第２の入力データへの変化の度合いに応じて前記第１のラベルまたは前記第１のラベルとは異なる第２のラベルを前記第２の入力データに付与することによって第２の教師データを作成することと、
を実行する制御部を備える情報処理装置。
【請求項2】
前記情報処理は、公衆ネットワーク上で閲覧可能に掲載された画像が広告に適する程度を判定する判定処理であり、
前記第１の入力データは、前記判定処理により判定される画像であり、
前記第１のラベルおよび第２のラベルは、前記画像が前記広告に適する程度を示す情報である請求項１に記載の情報処理装置。
前記第１の入力データは、前記判定処理により判定される画像であり、
前記第１のラベルおよび第２のラベルは、前記画像が前記広告に適する程度を示す情報である請求項１に記載の情報処理装置。
【請求項3】
前記制御部は、前記判定処理によって判定された前記画像が前記広告に適する程度、前記画像に対する前記公衆ネットワーク上での閲覧者からの反応、および、すでに前記広告に適する程度が判定された画像の取引実績の少なくとも１つに基づいて前記画像に対する報酬として期待できる期待報酬または広告としての価値情報を算出する請求項２に記載の情報処理装置。
【請求項4】
前記制御部は、前記画像が前記公衆ネットワーク上に投稿されたときに投稿元の装置または前記投稿元を示す識別情報によって特定される投稿者に前記期待報酬または価値情報を提示する請求項３に記載の情報処理装置。
【請求項5】
前記制御部は、前記判定処理による評価の高い画像の投稿者を優先して前記画像の投稿者に前記画像を広告として用いることの許諾を得るための打診を送信する請求項２に記載の情報処理装置。
【請求項6】
前記制御部は、前記期待報酬または価値情報、前記広告に適する程度または取引実績価格に基づいて前記掲載された画像の評価値を設定し、前記評価値が基準以上の前記画像が撮影された地点を特定し、
前記特定される地点近隣に位置する装置に、前記公衆ネットワーク上での閲覧可能な画像の投稿を促す情報を送信する請求項３に記載の情報処理装置。
前記特定される地点近隣に位置する装置に、前記公衆ネットワーク上での閲覧可能な画像の投稿を促す情報を送信する請求項３に記載の情報処理装置。
【請求項7】
前記制御部は、撮影された前記地点のうち、さらに、前記画像が撮影された季節、日時、および前記季節と日時における過去の気象データを含む撮影条件を基にいずれかの前記地点を選択し、選択された前記地点近隣に位置する装置に、前記公衆ネットワーク上での閲覧可能な画像の投稿を促す情報を送信する請求項６に記載の情報処理装置。
【請求項8】
前記制御部は、
広告に関するテーマまたはキーワードを含む条件を取得することと、
前記画像の中から前記条件を満たす画像を収集することと、
前記期待報酬または価値情報に基づいて前記条件を満たす画像が提供されるときのコストを算出し、前記コストとともに前記画像を広告制作者に推奨する請求項３に記載の情報処理装置。
広告に関するテーマまたはキーワードを含む条件を取得することと、
前記画像の中から前記条件を満たす画像を収集することと、
前記期待報酬または価値情報に基づいて前記条件を満たす画像が提供されるときのコストを算出し、前記コストとともに前記画像を広告制作者に推奨する請求項３に記載の情報処理装置。
【請求項9】
広告制作者の属性情報または前記広告制作者が過去に画像を検索したときのログ情報を
取得することと、
前記公衆ネットワーク上で閲覧可能に掲載されている画像の中から、前記広告制作者の前記属性情報または前記ログ情報に適合する画像を取得することで、前記掲載されている画像と適合する前記広告制作者を決定することと、
前記掲載されている画像の撮影者を取得することと、
前記掲載されている画像と前記掲載されている画像の撮影者を前記広告制作者に提示するとともに、適合する前記広告制作者を前記掲載されている画像の撮影者に提示することと、を実行する請求項２に記載の情報処理装置。
取得することと、
前記公衆ネットワーク上で閲覧可能に掲載されている画像の中から、前記広告制作者の前記属性情報または前記ログ情報に適合する画像を取得することで、前記掲載されている画像と適合する前記広告制作者を決定することと、
前記掲載されている画像の撮影者を取得することと、
前記掲載されている画像と前記掲載されている画像の撮影者を前記広告制作者に提示するとともに、適合する前記広告制作者を前記掲載されている画像の撮影者に提示することと、を実行する請求項２に記載の情報処理装置。
【請求項10】
少なくとも前記第１の教師データを用いて学習した学習済みモデルを作成することと、
前記学習済みモデルにより、前記第１の入力データを判定した結果に対する評価を受け付けることと、
前記受け付けた評価を基に、前記第１の入力データに更新された前記第１のラベルを再設定して更新された前記第１の教師データを作成することと、をさらに実行する請求項１に記載の情報処理装置。
前記学習済みモデルにより、前記第１の入力データを判定した結果に対する評価を受け付けることと、
前記受け付けた評価を基に、前記第１の入力データに更新された前記第１のラベルを再設定して更新された前記第１の教師データを作成することと、をさらに実行する請求項１に記載の情報処理装置。
【請求項11】
前記第１の教師データに含まれる前記第１の入力データを変化させる方向性を示す自然言語を受け付けることと、
前記自然言語にしたがって前記第１の教師データに含まれる前記第１の入力データを変化させて、変化した前記第１の入力データを作成すること、
変化した前記第１の入力データに対する評価を受け付けることと、
をさらに実行し、
更新された前記第１の教師データを作成することは、変化した前記第１の入力データに対する評価に基づき前記第１のラベルの設定することを含む請求項１０に記載の情報処理装置。
前記自然言語にしたがって前記第１の教師データに含まれる前記第１の入力データを変化させて、変化した前記第１の入力データを作成すること、
変化した前記第１の入力データに対する評価を受け付けることと、
をさらに実行し、
更新された前記第１の教師データを作成することは、変化した前記第１の入力データに対する評価に基づき前記第１のラベルの設定することを含む請求項１０に記載の情報処理装置。
【請求項12】
ラベルが付与された入力データを含む教師データを用いた機械学習による学習済みモデルの生成と、前記学習済みモデルによる情報処理を実行する情報システムにおいて、コンピュータが、
第１のラベルが付与された第１の入力データを含む第１の教師データを取得すること、
前記第１の教師データに含まれる前記第１の入力データを変化させて第２の入力データとするとともに、前記第１の入力データから前記第２の入力データへの変化の度合いに応じて前記第１のラベルまたは前記第１のラベルとは異なる第２のラベルを前記第２の入力データに付与することによって第２の教師データを作成することと、
を実行する情報処理方法。
第１のラベルが付与された第１の入力データを含む第１の教師データを取得すること、
前記第１の教師データに含まれる前記第１の入力データを変化させて第２の入力データとするとともに、前記第１の入力データから前記第２の入力データへの変化の度合いに応じて前記第１のラベルまたは前記第１のラベルとは異なる第２のラベルを前記第２の入力データに付与することによって第２の教師データを作成することと、
を実行する情報処理方法。
【請求項13】
ラベルが付与された入力データを含む教師データを用いた機械学習による学習済みモデルの生成と、前記学習済みモデルによる情報処理を実行する情報システムにおいて、コンピュータに、
第１のラベルが付与された第１の入力データを含む第１の教師データを取得すること、
前記第１の教師データに含まれる前記第１の入力データを変化させて第２の入力データとするとともに、前記第１の入力データから前記第２の入力データへの変化の度合いに応じて前記第１のラベルまたは前記第１のラベルとは異なる第２のラベルを前記第２の入力データに付与することによって第２の教師データを作成することと、
を実行させるためのプログラム。
第１のラベルが付与された第１の入力データを含む第１の教師データを取得すること、
前記第１の教師データに含まれる前記第１の入力データを変化させて第２の入力データとするとともに、前記第１の入力データから前記第２の入力データへの変化の度合いに応じて前記第１のラベルまたは前記第１のラベルとは異なる第２のラベルを前記第２の入力データに付与することによって第２の教師データを作成することと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、及び、プログラムに関するものである。
【背景技術】
【0002】
近年、Ｕｓｅｒ Ｇｅｎｅｒａｔｅｄ Ｃｏｎｔｅｎｔｓ（ＵＧＣ）を活用したマーケティングが活発化している。従来は、ストック写真のデータベースなどから人が広告として優れた画像を選択して、ＷＥＢ広告、テレビジョン広告、ポスター広告などを作成していた。ここで、ストック写真は、ライセンスが供与された既存の写真である。また、Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ（ＳＮＳ）などにユーザが投稿した画像を人が選択し、投稿者から許諾を得て、広告に活用するケースも見られる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１９３５６４号公報
【特許文献2】国際公開第２０２２／０９７７０９号
【特許文献3】特開２０２１－０６８２３８号公報
【特許文献4】特開２０１９－１４９１７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、従来のケースにおいては、人が手作業でＳＮＳに投稿された画像などから広告に適した画像を抽出することが多い。また、撮影者であるユーザは、自身が撮影した画像がそもそも広告に活用できる可能性の高い写真であると認識できることが少ない。このため、撮影者であるユーザが撮影した画像の中には、投稿されていない画像、または、ストック写真のデータベースに登録されていない写真も存在する。このため、ＵＧＣの市場規模の拡大の障壁となる潜在的な問題が存在する。このような問題は画像あるいは写真にどれほどの広告価値があるかを事前に把握することが一般的に困難であることが原因として考えられる。そのため、ＳＮＳで高い評価を受ける、いわゆるＳＮＳ映えする画像あるいは写真、ＳＮＳ映えする商品、風景、そのような画像の取得場所、写真の撮影場所などの情報を収集し広告に活用するのは困難な現状にある。
【0005】
本開示の実施形態の課題は、画像の活用を促進し、撮影者となるユーザに対する画像の提供意欲を高め、さらには、画像を利用するユーザとの連携を図ることにある。
【課題を解決するための手段】
【0006】
開示の実施形態は、ラベルが付与された入力データを含む教師データを用いた機械学習による学習済みモデルの生成と、前記学習済みモデルによる情報処理を実行する情報システムにおける、情報処理装置によって例示される。情報処理装置は、第１のラベルが付与された第１の入力データを含む第１の教師データを取得することと、前記第１の教師データに含まれる第１の入力データを変化させて第２の入力データとするとともに、前記第１の入力データから第２の入力データへの変化の度合いに応じて前記第１のラベルまたは前記第１のラベルとは異なる第２のラベルを前記第２の入力データに付与することによって第２の教師データを作成することと、を実行する。
【発明の効果】
【0007】
本情報処理装置によれば、ユーザが撮影した画像の活用を促進し、撮影したユーザに対する画像の提供意欲を高め、画像を利用するユーザとの連携を図ることができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、図面を参照して、本実施形態の情報処理装置、情報処理方法、および、プログラムを説明する。
【0010】
＜第１の実施形態＞（システム構成）
以下、図１から図１９を参照し、第１の実施形態に係る情報システム１０が説明される。図１は、情報システム１０の構成を例示する図である。また、図２は、情報システム１０における各要素間のデータの流れを例示する図である。
以下、図１から図１９を参照し、第１の実施形態に係る情報システム１０が説明される。図１は、情報システム１０の構成を例示する図である。また、図２は、情報システム１０における各要素間のデータの流れを例示する図である。
【0011】
情報システム１０は、情報処理装置１と、ＡＩマシン２と、ＳＮＳサーバ３と、投稿者のユーザ装置４－１と、広告制作者のユーザ装置４－２と、対象地点のユーザ装置４－３を有している。情報システム１０に含まれる各装置およびサーバは、ネットワークＮ１によって接続される。投稿者のユーザ装置４－１、広告制作者のユーザ装置４－２、対象地点のユーザ装置４－３が総称される場合には、単にユーザ装置４と呼ばれる。また、ネットワークＮ１は、例えば、インターネット等の公衆ネットワークである。
【0012】
情報処理装置１は、素材データサーバとも呼ぶことができる。情報処理装置１は、ネットワークＮ１を介して、ＡＩマシン２と連携し、ユーザ装置４に画像、写真等の素材デー
タに関する各種サービスを提供する。例えば、情報処理装置１は、ＡＩマシン２を用いて、ＳＮＳサーバ３に投稿された画像、写真等を評価し、評価結果に基づく情報をユーザ装置４に提供する。ＳＮＳサーバ３に投稿された画像、写真等は、公衆ネットワーク上で閲覧可能に掲載された画像の一例である。なお、本実施形態で「画像」は、「写真」を含み、コンピュータのディスプレイ上に表示できる絵または像である。「画像」は、画像ファイル、または、画像データというものも含む。
タに関する各種サービスを提供する。例えば、情報処理装置１は、ＡＩマシン２を用いて、ＳＮＳサーバ３に投稿された画像、写真等を評価し、評価結果に基づく情報をユーザ装置４に提供する。ＳＮＳサーバ３に投稿された画像、写真等は、公衆ネットワーク上で閲覧可能に掲載された画像の一例である。なお、本実施形態で「画像」は、「写真」を含み、コンピュータのディスプレイ上に表示できる絵または像である。「画像」は、画像ファイル、または、画像データというものも含む。
【0013】
図２に例示するように、ＡＩマシン２は、学習システム２１を有し、画像と、画像に付されたラベルを含む教師データにより学習を実行し、学習済みモデル２２を生成する。ここで、ラベルは、例えば、画像を分類する文字列であり、例えば、“Ｌ１”、“Ｌ２”、・・・・、“ＬＮ”等で例示される評価値である。教師データのラベルは、例えば、人によって各画像に付与される。人は、例えば、ＳＮＳでの反応数等を基に、画像に、ＳＮＳで評価される程度（「映え度」と呼ばれる）をＮ段階で評価し、評価に応じて、上記文字列をラベルとして各画像に付与し、教師データを作成する。ただし、Ｎは、２以上の整数であれば、限定はない。
【0014】
学習システム２１は、多数の教師データを学習することで、学習済みモデル２２を生成する。そして、ＡＩマシン２は、学習済みモデル２２を用いて、例えば、ＳＮＳサーバ３に新たに投稿された画像を評価し、評価結果を情報処理装置１に提供する。上述のように、ＡＩマシン２は、例えば、深層学習を実行する汎用の機械学習システムである。したがって、学習済みモデルは、単に、「映え度」を学習したものに限定されない。例えば、本実施形態では、学習システム２１は、広告に適する程度での評価がラベル付けされた教師データを学習し、広告に適する程度を判定する学習済みモデル２２を生成する。広告に適する程度は、ラベルを付与する人（例えば、広告業界の専門家）の主観の他、過去に高い評価を得た画像、または、取引実績価格が高い画像等との類似の程度から、人によって判定され、各画像に付与されることができる。
【0015】
なお、画像と、広告に適すると程度との相関は、例えば、以下のように理解できる。典型的には、広告の対象が「旅行」に関連するサービスまたは商品である場合、観光地の有名な施設、著名な景色、有名な山、島、河川、湖等、生息する動物等が画像の被写体に含まれる場合、画像が広告に適する可能性が高くことは客観的に理解される。また、広告の対象が車両、船舶等の乗り物の場合、その乗り物を利用する経路として望ましい景色、環境、そこに生息する動植物、乗車する人と人との関係等が画像の被写体に含まれる場合、画像が広告に適する可能性が高いと想定できる。広告業界の専門家であれば、当然に、適切な画像に、適切なラベルを付す能力が期待できる。
【0016】
ＳＮＳサーバ３は、いわゆるＳＮＳのサービスを提供するシステムである。ＳＮＳサーバ３は、投稿者のユーザ装置４－１から、例えば、画像の投稿を受け、ＳＮＳ上で、他のユーザ装置４に提供する。また、ＳＮＳサーバ３は、情報処理装置１に、ＡＰＩ（Application Programing Interface）を提供し、情報処理装置１と連携する。
【0017】
情報処理装置１は、ＡＰＩを用いて、ＳＮＳサーバ３に投稿されたデータ、例えば、画像の検索と取得、投稿したユーザに関する情報の取得、投稿された画像の反応数等の取得を可能である。ここで、反応数とは、例えば、投稿された画像が他のユーザ装置４からアクセスされたこと、アクセスされた日時、特定の期間にアクセスされた回数、高評価を示す評価指標が付与された日時、特定の期間に評価指標が付与された回数等である。また、アクセスされたことをクリックされたともいい、アクセスされた回数をクリック回数ともいう。また、高評価を示す評価指標は、例えば、「いいね」を示す指標ということもできる。さらに、投稿に対して「いいね」を示す指標が付与された回数は「いいね数」とも呼ばれる。なお、ＳＮＳ等においては、投稿された画像には、特殊文字とともに付された文
字列、キーワードが付与され、文字列、キーワードが「ハッシュタグ」と呼ばれるタグとして利用される場合がある。したがって、情報処理装置１は、ＳＮＳに対して、「ハッシュタグ」による検索も可能である。
字列、キーワードが付与され、文字列、キーワードが「ハッシュタグ」と呼ばれるタグとして利用される場合がある。したがって、情報処理装置１は、ＳＮＳに対して、「ハッシュタグ」による検索も可能である。
【0018】
ユーザ装置４は、ユーザが利用するコンピュータ、スマートフォン等の端末等である。このうち、投稿者のユーザ装置４－１は、ＳＮＳに画像等のデータを投稿するユーザが利用する装置である。投稿者のユーザ装置４－１は、さらに、情報処理装置１にアクセスし、または、情報処理装置１から情報の提供を受け、画像に関連する処理を実行する。例えば、投稿者のユーザ装置４－１は、ＳＮＳに投稿した画像に対して、情報処理装置１から問い合わせを受ける。問い合わせは、例えば、ＳＮＳに投稿した画像の広告の素材として提供することの可否に関するものである。投稿者のユーザ装置４－１は、ユーザ操作に応じて情報処理装置１からの問い合わせに対して、素材提供の可否を応答する。
【0019】
同様に、広告制作者のユーザ装置４－２は、情報処理装置１にアクセスし、または、情報処理装置１から情報の提供を受ける。例えば、広告制作者のユーザ装置４－２は、情報処理装置１から広告の素材としての画像の提案を受け、素材としての画像を取得する。また、ユーザ装置４－２は、取得した画像を利用し、広告を作成してもよい。
【0020】
対象地点のユーザ装置４－３は、情報処理装置１によって画像の取得が望ましいと判断された対象地点近隣に位置するユーザ装置４である。情報処理装置１は、ＳＮＳで高い評価を得た画像、過去に広告制作者のユーザ装置４－２に提供された実績または広告制作者と取引された取引価格の実績値等に基づき、望ましい画像が取得される可能性が高いと判断される対象地点を特定する。そして、情報処理装置１は、対象地点の近隣に所在するユーザ装置４、すなわち、対象地点のユーザ装置４－３に対して、画像の取得またはＳＮＳへの投稿を依頼する。対象地点のユーザ装置４－３は、ＳＮＳへの投稿を介して、または、情報処理装置１に直接、広告の素材となる画像を提供する。
【0021】
図３は、情報処理装置１のハードウェア構成を例示する図である。情報処理装置１の構成は、通常のコンピュータと同様である。なお、ＳＮＳサーバ３、ユーザ装置４についても、その規模の相異があるものの、ハードウェア構成自体は、情報処理装置１と同様である。情報処理装置１は、例えば、ＣＰＵ１０１と、メモリ１０２と、外部記憶装置１０３と、表示装置１０４と、入力装置１０５と、通信装置１０６を有する。
【0022】
ＣＰＵ１０１は、メモリ１０２に実行可能に展開されたコンピュータプログラムを実行し、情報処理装置１の機能を提供する。ＣＰＵ１０１はプロセッサとも呼ばれる。ただし、ＣＰＵ１０１は、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、ＣＰＵ１０１は、単一のソケットで接続される単一のプロセッサであって、マルチコア構成のものであってもよい。さらに、情報処理装置１の少なくとも一部の処理がDigital Signal Processor(DSP)、Graphics Processing Unit（GPU）、数値演算プロセッサ、ベクトルプロセッサ、画像処理プロセッサ等の専用プロセッサ、Application Specific Integrated Circuit（ASIC）等によって提供されてもよい。また、情報処
理装置１の少なくとも一部が、Field-Programmable Gate Array(FPGA)等の専用large scale integration（LSI）、その他のデジタル回路であってもよい。また、情報処理装置１
の少なくとも一部にアナログ回路が含まれてもよい。
理装置１の少なくとも一部が、Field-Programmable Gate Array(FPGA)等の専用large scale integration（LSI）、その他のデジタル回路であってもよい。また、情報処理装置１
の少なくとも一部にアナログ回路が含まれてもよい。
【0023】
メモリ１０２は、主記憶装置とも呼ばれ、ＣＰＵ１０１が実行するコンピュータプログラム、ＣＰＵ１０１が処理するデータ等を記憶する。メモリ１０２は、Dynamic Random Access Memory（ＤＲＡＭ）、Static Random Access Memory（ＳＲＡＭ）、Read Only Memory（ＲＯＭ）等である。さらに、外部記憶装置１０３は、例えば、メモリ１０２を補助
する記憶領域として使用され、ＣＰＵ１０１が実行するコンピュータプログラム、ＣＰＵ
１０１が処理するデータ等を記憶する。外部記憶装置１０３は、ハードディスクドライブ、Solid State Drive（ＳＳＤ）等である。さらに、情報処理装置１には、着脱可能記憶
媒体の駆動装置を設けてもよい。着脱可能記憶媒体は、例えば、ブルーレイディスク、Digital Versatile Disc（ＤＶＤ）、Compact Disc（ＣＤ）、フラッシュメモリカード等である。
する記憶領域として使用され、ＣＰＵ１０１が実行するコンピュータプログラム、ＣＰＵ
１０１が処理するデータ等を記憶する。外部記憶装置１０３は、ハードディスクドライブ、Solid State Drive（ＳＳＤ）等である。さらに、情報処理装置１には、着脱可能記憶
媒体の駆動装置を設けてもよい。着脱可能記憶媒体は、例えば、ブルーレイディスク、Digital Versatile Disc（ＤＶＤ）、Compact Disc（ＣＤ）、フラッシュメモリカード等である。
【0024】
表示装置１０４は、例えば、液晶ディスプレイ、エレクトロルミネッセンスパネル等である。入力装置１０５は、例えば、キーボード、ポインティングデバイス等である。本実施形態では、ポインティングデバイスとしてマウス、タッチパネル等が例示される。通信装置１０６は、ネットワークＮ１上の他の装置とデータを授受する。
【0025】
図４は、情報処理装置１の機能の構成を例示するブロック図である。図４では、ＡＩマシン２、ＳＮＳサーバ３、投稿者のユーザ装置４－１、広告制作者のユーザ装置４－２、対象地点のユーザ装置４－３も併せて記載されている。情報処理装置１においては、上述の通り、ＣＰＵ１０１がメモリ１０２に実行可能に展開されたコンピュータプログラムを実行し、図４の各部の処理を提供する。
【0026】
図４のように、情報処理装置１は、情報収集部１１、教師データ設定部１２、学習制御部１３、教師データ拡張部１４、判定制御部１５、および、情報提示部１６を有している。また、情報処理装置１は、教師データ群Ｄ１、ＳＮＳデータＤ２、広告実績データＤ３等を保存するデータベースを有している。これらの構成が、すべて、単体としての情報処理装置１に実装される必要はない。情報処理装置１は、ネットワークＮ１を通じて連携可能な他のコンピュータに図４おのいずれかの構成を分担させてもよい。例えば、教師データ群Ｄ１、ＳＮＳデータＤ２、広告実績データＤ３等のデータは、他のコンピュータが管理するデータベースに保存されてもよい。また、例えば、ＡＩマシン２が情報処理装置１と一体のコンピュータであってもよい。
【0027】
情報収集部１１は、ＳＮＳサーバ３等のネットワークＮ１上のコンピュータにアクセスし、ＳＮＳへの投稿を監視する。また、情報収集部１１は、ＳＮＳサーバ３を検索し、各種条件に該当する画像、画像の投稿者、投稿場所、その他の情報を収集する。情報収集部１１は、ＳＮＳサーバ３が提供するＡＰＩによりＳＮＳサーバ３にアクセスすればよい。情報収集部１１は、収集した画像、データ、その他の情報をＳＮＳデータＤ２に保存する。
【0028】
教師データ設定部１２は、管理者であるユーザ（以下、管理者ユーザともいう）が画像等のデータにラベル付けするためにユーザインタフェースを提供する。管理者ユーザは、教師データ設定部１２によって表示された画像等のデータに対して、例えば、例えば、“Ｌ１”、“Ｌ２”、・・・・、“ＬＮ”等で例示される評価値を設定する。そして、教師データ設定部１２は、画像等のデータと、ユーザインタフェースを介して管理者ユーザから受け付けたラベルとを関連付けて、教師データ群Ｄ１に保存する。
【0029】
学習制御部１３は、教師データ拡張部１４と連携し、ＡＩマシン２により、機械学習を実行し、学習済みモデル２２を作成する。すなわち、学習制御部１３は、教師データ群Ｄ１を読み出し、ＡＩマシン２に投入し、機械学習を実行させる。教師データ拡張部１４は、学習制御部１３が教師データ群Ｄ１から読み出した教師データ（入力データとラベルのペア）のうち、一部の入力データを変形し、データ拡張を実行する。すなわち、教師データ拡張部１４は、一部の入力データの変形の度合いに応じて、ラベルをそのまま維持するか、または、ラベルを変更し、変更されたラベルを変形された入力データに付し、新たな教師データを作成する。学習制御部１３は、教師データ群Ｄ１に保存されたオリジナルの教師データと、教師データ拡張部１４によりデータ拡張された教師データによりＡＩマシ
ン２に機械学習を実行させる。
ン２に機械学習を実行させる。
【0030】
学習制御部１３は、このような機械学習によりＡＩマシン２内に学習済みモデル２２を作成する。学習制御部１３は、作成された学習済みモデル２２により、新たに入力されるデータを判定する。例えば、作成された学習済みモデル２２が画像の広告に適する程度を判定するモデルの場合、学習制御部１３は新たに入力される画像の広告に適する程度を判定する。以上のように、学習制御部１３、教師データ拡張部１４およびＡＩマシン２は、入力されるデータを判定する判定エンジン１７を形成する。なお、判定エンジン１７が、情報処理装置１とは異なる、別体のコンピュータであって、情報処理装置１とネットワークＮ１を介して連携するものであってもよい。また、判定エンジン１７が、情報処理装置１に内蔵されるものであってもよい。
【0031】
判定制御部１５は、学習制御部１３から判定エンジン１７にアクセスし、様々なデータ、例えば、ＳＮＳに投稿された画像等が広告に適する程度の判定、あるいは、画像がＳＮＳで高い評価を受ける程度、いわゆる「映え度」の判定等を実行する。情報提示部１６は、判定制御部１５による判定結果および広告実績データＤ３に保存された過去の実績値等に基づき、ユーザ装置４に様々な情報を提示する。
【0032】
情報提示部１６は、例えば、広告に適する程度が“Ｌ１”である画像をＳＮＳに投稿した投稿者のユーザ装置４－１に対して、そのような“Ｌ１”である画像を広告として利用することの許諾を求める。ここで、Ｌ１は、最も高い評価値であるとする。また、情報提示部１６は、投稿者のユーザ装置４－１から許諾を得られた場合には、広告制作者のユーザ装置４－２に対して、許諾が得られた画像を広告として利用することを推奨するメッセージを送付する。すなわち、情報提示部１６は、投稿者のユーザ装置４－１と広告制作者のユーザ装置４－２とのマッチングを実行し、マッチングの結果を広告実績データＤ３に保存する。マッチングの結果は、投稿者の許諾の可否、広告として画像が採用されたか否か、または、採用された場合の画像の利用価格（取引実績価格ともいう）等である。
【0033】
さらに、情報提示部１６は、広告実績データＤ３を基に、画像が写真である場合に、広告に適する程度が“Ｌ１”である写真が基準値より多い撮影地点を選択する。または、情報提示部１６は、広告実績データＤ３を基に、画像が写真である場合に、広告に適する程度が“Ｌ１”である写真が多く撮影された順に、撮影地点をソーティングし、ランキングする。そして、情報提示部１６は、ランキングが高い順に撮影地点を対象地点として選択する。そして、情報提示部１６は、選択された対象地点の近隣に位置する対象地点のユーザ装置４－３に、選択された対象地点で写真を撮影し、ＳＮＳに投稿するか、直接情報処理装置１に撮影された写真を提供するように促す。
【0034】
すでに述べたように、教師データ群Ｄ１は、画像と画像に付されたラベルとを含む教師データを多数保持する。教師データ群Ｄ１は、各種の判定を学習するための教師データの部分集合に分かれる。例えば、第１の部分集合は、画像の「映え度」を学習するための教師データの部分集合である。第２の部分集合は、画像が広告に適する程度を学習するための教師データの部分集合である。ＳＮＳデータＤ２は、ＳＮＳから取得された画像に関連する情報、例えば、投稿者の属性、投稿された画像の評価値、画像が撮影された環境に関連する情報等を保持する。広告実績データＤ３は、広告として利用された画像に関連する情報、広告制作者の属性等を保持する。
【0035】
（データ例）
図５は、教師データ拡張部１４に設定される設定パラメータの一例である。教師データ拡張部１４は、この設定パラメータにしたがって、教師データのデータ拡張を実施する。この例では、教師データのラベルの種類はＮ種類である。この例では、データ拡張のため
の設定パラメータが２種類設定されている。第１の例は、設定パラメータＰ１である。設定パラメータＰ１は、ラベルをＸ段階低下させるデータの変更を指定する。設定パラメータＰ１は、例えば、ＡＩマシン２に入力される教師データのうち、Ｐ％の割合（頻度）で、教師データを変化させる。また、設定パラメータＰ１は、例えば、教師データの画像のうち、例えば、ランダムにＴ１％の範囲を切り取るトリミングを実行する。一例としては、Ｐ＝１％であり、Ｔ１＝９９％である。すなわち、設定パラメータＰ１は、画像のうち、比較的大きな範囲を削除するようなトリミングを実行する場合であり、ラベルをＸ段階低下させる。例えば、Ｘ＝１段階の場合、Ｌ１はＬ２に変更される。
図５は、教師データ拡張部１４に設定される設定パラメータの一例である。教師データ拡張部１４は、この設定パラメータにしたがって、教師データのデータ拡張を実施する。この例では、教師データのラベルの種類はＮ種類である。この例では、データ拡張のため
の設定パラメータが２種類設定されている。第１の例は、設定パラメータＰ１である。設定パラメータＰ１は、ラベルをＸ段階低下させるデータの変更を指定する。設定パラメータＰ１は、例えば、ＡＩマシン２に入力される教師データのうち、Ｐ％の割合（頻度）で、教師データを変化させる。また、設定パラメータＰ１は、例えば、教師データの画像のうち、例えば、ランダムにＴ１％の範囲を切り取るトリミングを実行する。一例としては、Ｐ＝１％であり、Ｔ１＝９９％である。すなわち、設定パラメータＰ１は、画像のうち、比較的大きな範囲を削除するようなトリミングを実行する場合であり、ラベルをＸ段階低下させる。例えば、Ｘ＝１段階の場合、Ｌ１はＬ２に変更される。
【0036】
なお、このようなラベルの変更は一例である。ラベルの種類は３種類以上でもよい。ラベルを変化させる段階数は、２段階以上でもよい。画像の変更の仕方は、トリミングに限定されず、画像の回転、画像のコントラストの変更、画像の明るさの変更、画像の色彩の変更でもよい。
【0037】
図５で、第２の例は、設定パラメータＰ２である。設定パラメータＰ２は、教師データのラベルを変更しない。設定パラメータＰ２は、例えば、ＡＩマシン２に入力される教師データのうち、１００－Ｐ％の割合（頻度）で、教師データを変化させる。また、また、設定パラメータＰ２は、例えば、教師データの画像のうち、例えば、ランダムにＴ２％の範囲を切り取るトリミングを実行する。一例としては、Ｔ２＝９９％である。すなわち、設定パラメータＰ２は、画像のうち、比較的大きな範囲を残すようなトリミングを実行する場合であり、教師データのラベルを変化させないで維持する。
【0038】
図６は、ＳＮＳデータＤ２に含まれる掲載済み画像テーブルを例示する図である。掲載済み画像テーブルは、ＳＮＳに掲載済みの画像の評価に関連する情報を記録する。掲載済み画像テーブルは、構成要素として、画像ＩＤ、投稿ユーザＩＤ、映え度、ＳＮＳ反応数、広告に適する程度、取引実績価格の各列を有している。なお、情報処理装置１が複数のＳＮＳにアクセスする場合には、掲載済み画像テーブルの構成要素には、ＳＮＳを特定する情報（ＳＮＳのサイトのＵＲＬ等）が含まれてもよい。本実施形態では、ＳＮＳを特定する情報は省略される。
【0039】
画像ＩＤは、ＳＮＳに投稿された画像のＩＤ（例えば、ファイル名）である。なお、画像ＩＤに対応する画像自体は、ＳＮＳデータＤ２に保存されてもよい。また、画像ＩＤに対応する画像自体は、情報処理装置１ではなく、ＳＮＳサーバ３等、他のコンピュータで保管されてもよい。投稿ユーザＩＤは、ＳＮＳにおける投稿者のユーザＩＤである。投稿ユーザＩＤは、例えば、メールアドレス等であってもよい。投稿ユーザＩＤは、投稿元を示す識別情報の一例である。「映え度」は、ＡＩマシン２、すなわち、画像の映え度を学習した学習済みモデルを有する判定エンジン１７によって判定された、ＳＮＳにおける画像の評価値である。ただし、判定エンジン１７による評価が未実施の場合には、「映え度」は、空欄のままとされる。
【0040】
ＳＮＳ反応数は、所定期間におけるＳＮＳでの当該画像ＩＤの画像に対するクリック数である。ただし、ＳＮＳ反応数は、所定期間におけるＳＮＳでの他のユーザから入力された「いいね数」であってもよい。所定期間は、例えば、画像がＳＮＳに投稿された時から現在までの期間である。ただし、所定期間が、画像がＳＮＳに投稿された時からの固定期間であってもよい。また、所定期間が、画像がＳＮＳに投稿された時から開始し、単位時間あたりのＳＮＳ反応数が基準値未満となるまでの期間であってもよい。広告に適する程度は、ＡＩマシン２、すなわち、画像の広告に適する程度を学習した学習済みモデルを有する判定エンジン１７によって判定された評価値である。ただし、判定エンジン１７による評価が未実施の場合には、広告に適する程は、空欄のままとされる。取引実績価格は、画像が、広告に利用されたときの取引価格の実績値である。ただし、取引が未実施の場合
には、取引実績価格は、空欄のままとされる。なお、図６の掲載済み画像テーブルのうち、画像ＩＤと、広告に適する程度と、取引実績価格は、別テーブルで、広告実績データＤ３に保存されてもよい。
には、取引実績価格は、空欄のままとされる。なお、図６の掲載済み画像テーブルのうち、画像ＩＤと、広告に適する程度と、取引実績価格は、別テーブルで、広告実績データＤ３に保存されてもよい。
【0041】
図７は、ＳＮＳデータＤ２に含まれる画像関連情報テーブルを例示する図である。画像関連情報テーブルは、ＳＮＳに掲載済みの画像の撮影条件または環境に関する情報を記録する。画像関連情報テーブルは、構成要素として、画像ＩＤ、位置情報、撮影地点、季節、月、曜日、祝日、時刻、天候、気温、湿度、キーワードの各行を有している。
【0042】
画像ＩＤは、図６の説明と同様である。位置情報は、ユーザが投稿した画像に設定した、ＳＮＳに登録されている位置情報である。位置情報は、例えば、駅、ランドマーク、店舗名、観光地の施設名等で設定され、ＳＮＳに投稿するユーザ間で共有される。撮影地点は、画像が写真である場合に、撮影された地点の経度（Ｘ座標）と、緯度（Ｙ座標）である。季節は、写真が撮影されたときの季節である。曜日は、画像が写真である場合に、撮影されたときの曜日（日、月、火、水、木、金、土）である。祝日は、写真が撮影された日が祝日か否かを示す情報である。例えば、写真が撮影された日が祝日の場合、祝日の行には、「Ｙ」が設定される。時刻は、写真が撮影された時刻（０乃至２４）である。天候、気温、および湿度は、写真が撮影されたときの天候、気温、および湿度である。また、キーワードは、画像がＳＮＳに投稿されたときに、投稿者または閲覧者からその画像に対して提示されたメッセージ、メッセージを要約したキーワード、ハッシュタグ等である。
【0043】
なお、画像関連情報テーブルのうち、天候、気温、湿度、およびキーワード以外の情報は、ＳＮＳに登録された写真中で、ユーザが、写真のデータに含まれるExif（Exchangeable image file format）形式のデータを削除しなかった場合に、収集可能である。例えば、Exif形式のデータから、撮影地点の経度と緯度が取得可能である。季節、月、曜日、祝日、時刻は、例えば、Exif形式のデータに含まれる撮影日時の情報と、情報処理装置１内のカレンダ情報とを照合して取得可能である。また、天候、気温、および湿度は、例えば、Exif形式のデータに含まれる撮影日時の情報を基に、気象庁のウェブサイトまたはインターネット上の天気予報サービスのウェブサイトを検索することで取得可能である。また、情報処理装置１は、ＳＮＳの写真データにおいてExif形式のデータが取得できない場合には、投稿者のユーザ装置４－１にアクセスして、広告利用の許諾を得るときに、Exif形式のデータの取得を打診してもよい。
【0044】
図８は、ＳＮＳデータＤ２の投稿者属性テーブルを例示する図である。投稿者テーブルは、ＳＮＳへの投稿者の属性を例示する情報を記録する。投稿者属性テーブルは、構成要素として、ユーザＩＤ、映え度評価実績、広告に適する程度の評価実績値、性別、年齢、フォロワー数、ＳＮＳ反応数実績値、画像利用への許諾率の実績値の各行を有している。
【0045】
ユーザＩＤは、すでに、図６の掲載済み画像テーブルで説明した通りである。映え度評価実績値は、ＡＩマシン２、すなわち、判定エンジン１７によって過去に判定された、当該ユーザＩＤのユーザにおける、ＳＮＳにおける画像の評価値の平均値である。例えば、ラベルが２段階の場合、Ｌ１＝１、Ｌ２＝－１として数値化したときの平均値である。広告に適する程度の評価実績値も、映え度評価実績値と同様に計算される。性別、年齢は、投稿者の性別（Ｍ：男性、Ｗ：女性）、年齢である。フォロワー数は、投稿者のＳＮＳでのフォロワー数である。ＳＮＳ反応数実績値は、ＳＮＳ反応数の実績、例えば、投稿者別に、全ＳＮＳ反応数を投稿画像数で割り算した、画像１枚あたりの平均反応数である。ＳＮＳ反応数は、すでに図６で説明した通りであり、所定期間におけるＳＮＳでの当該画像ＩＤの画像に対するクリック数、いいね数等である。画像利用への許諾率実績値は、情報処理装置１が投稿者のユーザ装置４－１に、広告への利用を打診したときの許諾率（利用が許諾された割合）の平均値である。
【0046】
これらのうち、映え度評価実績および画像利用への許諾率の実績値は、情報処理装置１において記録された過去の情報を基に算出可能である。性別、年齢、フォロワー数、およびＳＮＳ反応数は、ＡＰＩを介して、ＳＮＳサーバ３から取得可能である。ただし、情報処理装置１は、投稿者のユーザ装置４－１に許諾を求めるときに、性別、年齢等のユーザの属性を求め、入力を受け付けてもよい。
【0047】
図９は、広告実績データＤ３の広告制作者属性テーブルを例示する図である。広告制作者属性テーブルは、構成要素として、広告制作者ＩＤ、性別、年齢、好み、過去の操作ログ情報の要約の各行を有している。広告制作者ＩＤは、広告制作者が情報処理装置１から提供されるサービスを利用するときのＩＤである。広告制作者ＩＤは、例えば、広告制作者のメールアドレスでもよい。性別、年齢、好みは、広告制作者の属性情報ということができる。好みは、好きな色、好きな季節、好きなスポーツ、好きな料理、趣味等を示す文字列である。ただし、広告制作者の属性情報が性別、年齢、好みに限定される訳ではない。過去の操作ログ情報の要約は、広告制作者が情報処理装置１から提供されるサービスを利用したときの操作ログに含まれる文字列の抜粋である。例えば、所定回数以上記録された文字列が、過去の操作ログ情報の要約として抽出され、広告制作者属性テーブルに記録される。
【0048】
（機械学習）
図１０を参照して、情報処理装置１における機械学習の手順を例示する。図１０は、ＡＩマシン２が広告に適する程度を学習するときの手順を例示する図である。図４の学習制御部１３は、教師データ群Ｄ１の教師データをＡＩマシン２に入力する。教師データ群Ｄ１は、例えば、ＳＮＳへの掲載済み画像ＩＭ１、ＩＭ２、・・・、ＩＭｋのそれぞれにラベルが付された教師データの部分集合を複数含む。各部分集合は、例えば、「映え度」を学習するための教師データ、広告に適する程度を学習するための教師データを含む。ラベルは、各掲載済み画像ＩＭ１、ＩＭ２、・・・、ＩＭｋが広告に適する程度を示す文字列であり、例えば、“Ｌ１”、“Ｌ２”、・・・・、“ＬＮ”等である。「映え度」、広告に適する程度は、すでに図２の学習システム２１で説明した通りである。ラベルを設定する管理者ユーザは、掲載済み画像ＩＭ１等の主観的な印象、過去の類似の画像でのＳＮＳでの反応数（クリック数、いいね数）、取引価格の実績値等を基に、掲載済み画像ＩＭ１等にラベルを設定する。
図１０を参照して、情報処理装置１における機械学習の手順を例示する。図１０は、ＡＩマシン２が広告に適する程度を学習するときの手順を例示する図である。図４の学習制御部１３は、教師データ群Ｄ１の教師データをＡＩマシン２に入力する。教師データ群Ｄ１は、例えば、ＳＮＳへの掲載済み画像ＩＭ１、ＩＭ２、・・・、ＩＭｋのそれぞれにラベルが付された教師データの部分集合を複数含む。各部分集合は、例えば、「映え度」を学習するための教師データ、広告に適する程度を学習するための教師データを含む。ラベルは、各掲載済み画像ＩＭ１、ＩＭ２、・・・、ＩＭｋが広告に適する程度を示す文字列であり、例えば、“Ｌ１”、“Ｌ２”、・・・・、“ＬＮ”等である。「映え度」、広告に適する程度は、すでに図２の学習システム２１で説明した通りである。ラベルを設定する管理者ユーザは、掲載済み画像ＩＭ１等の主観的な印象、過去の類似の画像でのＳＮＳでの反応数（クリック数、いいね数）、取引価格の実績値等を基に、掲載済み画像ＩＭ１等にラベルを設定する。
【0049】
ＡＩマシン２は、ラベル付けされたデータの入力を受け、ニューラルネットワークの各層を伝搬させて、データ（通常はベクトルデータ）と各層に設定された重みとのたたみ込み演算等により、データを判定する。そして、ＡＩマシン２は、判定結果とラベルとの誤差を逆方向に伝搬させ、誤差が小さくなる方向でニューラルネットワーク各層の重みを調整する。なお、重みを調整するときに入力される教師データの数に限定はない。例えば、ＡＩマシン２は、１個の教師データの入力ごとに、誤差を逆方向に伝搬させて重みを調整してもよい。また、ＡＩマシン２は、教師データ群Ｄ１から部分集合を取得し、ミニバッチと呼ばれる単位で誤差を逆方向に伝搬させて重みを調整してもよい。また、ＡＩマシン２は、例えば、広告に適する程度を学習するための学習データの部分集合全体を取得し、画像の判定を実行し、部分集合のすべて学習データを判定後に、誤差を逆方向に伝搬させて重みを調整してもよい。
【0050】
そして、次々に入力され教師データに対して、誤差が基準値以下になったときに、学習済みモデルの作成が完了する。なお、すでに述べたように、ＡＩマシン２に入力される教師データは、教師データ群Ｄ１から読み出されたオリジナルデータの他、教師データ拡張部１４によって拡張されたデータも含まれる。
【0051】
以上のように、情報処理装置１は、ラベルが付与された入力データを含む教師データを用いた機械学習（例えば、深層学習）による学習済みモデルの生成を実行するといえる。
【0052】
（処理フロー）
図１１から図１８により、情報処理装置１の処理フローが説明される。図１１は、情報処理装置１（例えば、図４の学習制御部１３）による機械学習の処理手順を例示する図である。以下、機械学習に使用される教師データ群Ｄ１の第１の部分集合は、例えば、ＳＮＳで高評価が得られる画像であるか否か、すなわち、画像に対する「映え度」を学習する教師データである。また、機械学習に使用される教師データ群Ｄ１の第２の部分集合は、例えば、広告に適する程度を学習する教師データである。
図１１から図１８により、情報処理装置１の処理フローが説明される。図１１は、情報処理装置１（例えば、図４の学習制御部１３）による機械学習の処理手順を例示する図である。以下、機械学習に使用される教師データ群Ｄ１の第１の部分集合は、例えば、ＳＮＳで高評価が得られる画像であるか否か、すなわち、画像に対する「映え度」を学習する教師データである。また、機械学習に使用される教師データ群Ｄ１の第２の部分集合は、例えば、広告に適する程度を学習する教師データである。
【0053】
図１１では、教師データ群Ｄ１の一部を取得し、ミニバッチで機械学習が実行される。ただし、情報処理装置１の機械学習がミニバッチによる処理に限定される訳ではない。すなわち、情報処理装置１は、教師データ群Ｄ１のうち、「映え度」を学習するための部分集合を一度に入力して、誤差を少なくする方向で重み係数を調整するバッチ学習を実行してもよい。また、情報処理装置１は、教師データ群Ｄ１のうち、「映え度」を学習するための教師データの１つ１つを入力するごとに、誤差を少なくする方向で重み係数を調整するオンライン学習を実行してもよい。
【0054】
この処理では、情報処理装置１は、データ拡張処理のパラメータを設定する（Ｓ１）。データ拡張処理のパラメータは、例えば、図５に例示されている。そして、情報処理装置１は、次のミニバッチのデータを取得する（Ｓ２）。そして、情報処理装置１は、ミニバッチのデータに対して、データ拡張処理のパラメータにしたがってデータ拡張処理を実行する（Ｓ３）。そして、情報処理装置１は、データ拡張処理されたミニバッチのデータをＡＩマシン２に投入し、機械学習を実行させる（Ｓ４）。ＡＩマシン２は、ニューラルネット上で、入力層から順方向の処理と、逆方向の誤差伝搬処理を実行する。すなわち、順方向の処理では、ＡＩマシン２は、データの入力、入力データに対する重み係数による畳み込み演算、プーリング処理、全結合層による出力処理、誤差判定等を実行する。また、逆方向の誤差伝搬処理では、ＡＩマシン２は、最上位層で判定された誤差を逆方向に伝搬させ、ニューラルネットワークの各層の重み係数の更新処理等を実行する。
【0055】
そして、情報処理装置１は、すべてのミニバッチが終了したか否かを判定する（Ｓ５）。まだ、未処理のミニバッチが残っている場合、情報処理装置１は、制御をＳ２に戻し、次のミニバッチを実行する。なお、図１１では省略しているが、すべてのミニバッチが終了した場合には、情報処理装置１は、誤差が十分に収束したか否かを判定し、誤差が十分に収束した場合には、情報処理装置１は学習済みモデルの形成を完了する。また、誤差が十分に収束しない場合には、情報処理装置１は、学習を継続するための新たな教師データにより、次の機械学習を実行する。
【0056】
図１２は、データ拡張処理（図１１のＳ３）の詳細を例示する図である。この処理では、情報処理装置１は、ミニバッチに含まれる教師データのうちの所定割合（Ｐ％）のデータに基準値を超える変形を加える（Ｓ３１）。Ｓ３１の処理は、第１の教師データに含まれる第１の入力データを変化させて第２の入力データとする処理といえる。ここで、ミニバッチに含まれる教師データのうちの所定割合（Ｐ％）のデータは、第１の入力データの一例である。また、変形が加えられたデータが第２の入力データである。
【0057】
基準値を超える変形は、例えば、基準値を超える比率Ｔ１％まで画像の範囲を削減するトリミングである。また、基準値を超える変形は、基準値を超える画像の回転、基準値を超えるコントラストまたは明るさの変化等である。
【0058】
そして、情報処理装置１は、変形に対応してラベルを変更する（Ｓ３２）。例えば、４種類のラベルが付与される教師データで、１段階変更する場合には、Ｌ１＝＞Ｌ２のようにラベルが変更される。ただし、ラベルの種類が２種類に限定される訳ではなく、ラベルが変更される段階が１段階に限定される訳ではない。また、ラベルの変更はコントラストなど変更に応じて格下げされるだけでなく、格上げされる場合があってもよい。Ｓ３２の処理は、第１の入力データから第２の入力データへの変化の度合いに応じて第１のラベルとは異なる第２のラベルを第２の入力データに付与することといえる。
【0059】
さらに、情報処理装置１は、ミニバッチに含まれる教師データのうちの残り（100-Ｐ％）のデータに基準値未満の変形を加える。このとき、情報処理装置１は、変更を加えた教師データのラベルをそのまま維持する（Ｓ３３）。Ｓ３３の処理は、第１の入力データから第２の入力データへの変化の度合いに応じて第１のラベルを維持することといえる。したがって、Ｓ３２とＳ３３の処理は、第１の入力データから第２の入力データへの変化の度合いに応じて第１のラベルまたは第１のラベルとは異なる第２のラベルを第２の入力データに付与することによって第２の教師データを作成することの一例ということができる。
【0060】
図１３は、画像判定処理Ｅ１の手順を例示する図である。情報処理装置１は、図１１、図１２の機械学習によって作成された学習済みモデルを用いて、新たな画像の判定と、判定結果に伴う処理を実行する。なお、図１３では、学習済みモデルの例として、「映え度」を判定する学習モデル、および、広告に適する程度を判定する学習モデルが用いられる。また、図１３の画像判定処理Ｅ１では、情報処理装置１は、ＳＮＳに投稿される画像に優先順位を設けることなく、順次投稿される画像を判定する。ＳＮＳに投稿される画像は、公衆ネットワーク上で過去に閲覧可能に掲載された画像の一例である。
【0061】
この処理では、情報処理装置１（図４の情報収集部１１）がＳＮＳを監視する（Ｓ１１Ａ）。情報処理装置１は、新規の画像の投稿があるか否かを判定する（Ｓ１２Ａ）。なお、情報処理装置１は、常時ＳＮＳへの投稿を監視する代わりに、期間を区切って周期的にＳＮＳを検索し、区切られた期間ごとに投稿された画像を一括して処理してもよい。
【0062】
新規の投稿がない場合（Ｓ１２ＡでＮＯ）、情報処理装置１は、制御をＳ１１Ａの処理に戻す。そして、新規の投稿があると（Ｓ１２ＡでＹＥＳ）、情報処理装置１（図４の判定制御部１５）は、投稿された画像の映え度を判定する（Ｓ１３）。映え度の判定は、例えば、映え度の判定を学習した学習済みモデルによって判定してもよい。また、情報処理装置１は、投稿後、その投稿に対する所定期間のＳＮＳでの反応数、例えば、クリック数または、いいね数に基づいて映え度を判定してもよい。Ｓ１３で映えないと判定された場合（Ｓ１４でＮＯ）、情報処理装置１は、制御をＳ１１Ａの処理に戻す。なお、情報処理装置１は、いいね数を評価するとき、投稿者のフォロワー数でいいね数を補正してもよい。すなわち、情報処理装置１は、フォロワー数が多い投稿者ほど、いいね数を小さくする補正係数をいいね数に乗算して、フォロワー数でいいね数を規格化してもよい。フォロワー数が多い投稿者ほど、「映え度」の評価値以上にいいね数が多くなることは当然だからである。
【0063】
そして、映えると判定された場合（Ｓ１４でＹＥＳ）、情報処理装置１は、次に、投稿された画像の広告に適する程度を判定する（Ｓ１５）。情報処理装置１は、例えば、過去の画像の広告に適する程度を学習した学習済みモデルによって、新たに投稿された画像の広告に適する程度を判定すればよい。なお、情報処理装置１は、Ｓ１３の映え度の判定を省略して、Ｓ１５の広告に適する程度を判定してもよい。Ｓ１５の処理で、投稿された画像が広告に適していないと判断された場合、情報処理装置１は、制御をＳ１１Ａの処理に戻す。広告に適していないとは、例えば、広告に適する程度を学習した学習済みモデルの
判定が、“Ｌ２”の場合である。
判定が、“Ｌ２”の場合である。
【0064】
Ｓ１５の処理で、投稿された画像が広告に適していると判断された場合、情報処理装置１は、判定された画像を広告に利用した場合の期待報酬または価値情報を推定する（Ｓ１８）。期待報酬は、例えば、広告に適していると判断された画像の実際の広告での利用実績から推定されればよい。例えば、今回過去に、Ｓ１５での判定結果が“Ｌ１”である場合に、情報処理装置１は、過去に広告に適する程度が“Ｌ１”と判定された画像の広告での利用における取引価格の実績値、平均値を期待報酬として用いてればよい。また、価値情報は、例えば、期待報酬を金額以外の数値に換算したものである。金額以外の数値としては、例えば、１０段階での評価値である。Ｓ１８の処理は、判定された画像が広告に適する程度、画像に対する公衆ネットワーク上での閲覧者からの反応、および、広告に適する程度が判定された画像の取引実績の少なくとも１つに基づいて画像に対する報酬として期待できる期待報酬または広告としての価値情報を算出する処理の一例である。
【0065】
次に、情報処理装置１（図４の情報提示部１６）は、画像の投稿者に広告への利用を打診する（Ｓ１９）。画像の投稿者は、例えば、投稿者のユーザ装置４－１の識別情報、ＳＮＳでの投稿ユーザＩＤ等で特定される。ユーザ装置４－１の識別情報は、例えば、Medium Access Control（ＭＡＣ）アドレス、インターネット上のドメイン名、携帯電話とし
て機能する端末の携帯電話番号等である。この場合、情報処理装置１は、Ｓ１８で推定した画像を広告に利用した場合の期待報酬または価値情報を投稿者に提示する。そして、情報処理装置１は、画像の投稿者から、広告への利用に対する許諾が得られたか否かを判定する（Ｓ２０）。広告への利用に対する許諾が得られない場合、情報処理装置１は、制御をＳ１７の処理に戻す。
て機能する端末の携帯電話番号等である。この場合、情報処理装置１は、Ｓ１８で推定した画像を広告に利用した場合の期待報酬または価値情報を投稿者に提示する。そして、情報処理装置１は、画像の投稿者から、広告への利用に対する許諾が得られたか否かを判定する（Ｓ２０）。広告への利用に対する許諾が得られない場合、情報処理装置１は、制御をＳ１７の処理に戻す。
【0066】
一方、広告への利用に対する許諾が得られた場合、情報処理装置１は、広告制作者のユーザ装置４－２に、広告に適すると判定された画像の広告への利用を提案するメッセージを送信する（Ｓ２２）。メッセージは、電子メールによる送信でもよいし、ＳＮＳでのメッセージの伝達でもよい。
【0067】
そして、情報処理装置１は、広告制作者のユーザ装置４－２から、提案した画像を広告に採用するとの応答があったか否かを判定する（Ｓ２３）。所定期間応答がないか、または、採用しないとの応答があった場合、情報処理装置１は、制御をＳ１７の処理に戻す。
【0068】
一方、提案した画像が広告に採用された場合、情報処理装置１は、その採用された画像の取引実績での価格を広告実績データＤ３またはＳＮＳデータＤ２の掲載済み画像テーブルに記録する（Ｓ２４）。さらに、情報処理装置１は、図１３の画像判定結果に基づき、教師データを作成する（Ｓ２５）。以上のように、情報処理装置１は、学習済みモデルによる情報処理を実行するといえる。
【0069】
図１４は、画像判定処理Ｅ２の手順を例示する図である。図１３では、情報処理装置１は、常時ＳＮＳへの投稿を監視するか、または、期間を区切ってＳＮＳにアクセスして、投稿された画像を判定した。図１４では、情報処理装置１は、図１３のような処理に代えて、所定期間にＳＮＳに投稿された画像を収集し、事前に優先する画像を決定し、決定された優先順に投稿された画像を処理する。以下、このような処理を画像判定処理Ｅ２という。
【0070】
この画像判定処理Ｅ２では、情報処理装置１は、ＳＮＳへの投稿者ごとに、投稿者の情報を収集する。そして、情報処理装置１は、例えば、投稿者が過去に投稿した画像の映え度が評価された実績値、広告に適する程度の実績値、許諾実績、画像が広告に利用されたときの取引実績価格で投稿者を評価し、評価点でソーティングする（Ｓ１１Ｂ）。映え度
が評価された実績値、広告に適する程度の実績、許諾実績、取引実績価格等は、図８で説明した通りである。また、投稿者の評価は、例えば、過去に投稿した画像の映え度の実績値、広告に適する程度の実績値、許諾実績、取引実績価格のそれぞれで点数を付与し、点数合計で投稿者をソーティングすればよい。ただし、点数は、過去に投稿した画像の映え度の実績値、広告に適する程度の実績値、許諾実績、取引実績価格等の１つの項目に基づくものでもよい。
が評価された実績値、広告に適する程度の実績、許諾実績、取引実績価格等は、図８で説明した通りである。また、投稿者の評価は、例えば、過去に投稿した画像の映え度の実績値、広告に適する程度の実績値、許諾実績、取引実績価格のそれぞれで点数を付与し、点数合計で投稿者をソーティングすればよい。ただし、点数は、過去に投稿した画像の映え度の実績値、広告に適する程度の実績値、許諾実績、取引実績価格等の１つの項目に基づくものでもよい。
【0071】
次に、情報処理装置１は、Ｓ１１Ｂの処理でソーティングされた投稿者の上位から所定数の投稿者を選択し、投稿された画像のうち、選択された投稿者の画像を取得する（Ｓ１２Ｂ）。そして、選択された画像に対して、Ｓ１３乃至Ｓ２５の処理を実行する。Ｓ１３乃至Ｓ２５の処理は、すでに、図１３で説明した通りである。その結果、Ｓ１９の処理では、情報処理装置１は、点数合計で投稿者をソーティングし、上位の投稿者から順に、広告利用を打診する。この場合、情報処理装置１は、過去に投稿した画像の映え度の実績値、広告に適する程度の実績値を優先して投稿者に打診してもよい。したがって、図１４のＳ１９の処理では、情報処理装置１は、学習済みモデルによって画像の判定処理を実行し、判定処理による評価の高い順に画像の投稿者を優先して、広告への画像の利用を打診するといえる。
【0072】
図１５は、教師データの作成処理（図１３、図１４のＳ２５）の詳細を例示する図である。ここでは、広告に適する程度を学習するための教師データの作成を例として、説明がされる。この処理では、情報処理装置１（図４の教師データ設定部１２）は、投稿された画像について、ＡＩマシン２によって判定された画像の映え度、ＡＩマシン２によって判定された画像の広告に適する程度、図１３、図１４のＳ１８の処理で推定された期待報酬、投稿者からの広告へ利用することに対する許諾の有無、広告としての利用時の取引実績価格を取得する（Ｓ２５１）。
【0073】
次に、情報処理装置１は、Ｓ２５１で取得した情報を管理者であるユーザに提示し、ラベルの設定を受ける（Ｓ２５２）。管理者であるユーザは、ＡＩマシン２によって判定された画像の広告に適する程度をそのまま維持してもよい。また、管理者であるユーザは、情報処理装置１のユーザインタフェースを介して、画像の映え度、広告へ利用することに対する許諾の有無、広告としての利用時の取引実績価格等を参照して、ＡＩマシン２によって判定された画像の広告に適する程度を修正し、再設定してもよい。そして、情報処理装置１は、作成された教師データを広告に適する程度の教師データとして、教師データ群Ｄ１に保存する（Ｓ２５３）。なお、「映え度」を学習するための教師データの作成では、情報処理装置１（図４の教師データ設定部１２）は、投稿された画像について、ＡＩマシン２によって判定された画像の映え度、ＳＮＳでの反応数等をユーザに提示し、各画像に対して、映え度についてのラベルの設定を受ければよい。
【0074】
図１６は、情報処理装置１が実行する撮影推奨処理を例示する図である。この処理では、情報処理装置１は、投稿された画像の広告での利用実績を基に、撮影に適した対象地点を選定し、選定された対象地点近隣に所在する、対象地点のユーザ装置４－３に撮影を推奨する。この処理では、情報処理装置１が、ＳＮＳデータＤ２の掲載済み画像テーブル（図６）から、広告で利用実績のある画像に関する情報を取得する（Ｓ４１）。
【0075】
そして、情報処理装置１は、各画像を例えば、ＡＩマシン２によって判定された映え度、ＡＩマシン２によって判定された広告に適する程度、または取引実績価格に基づいて点数を付与し、付与した点数でソーティングする（Ｓ４２）。点数は、映え度、広告に適する程度、または取引実績価格等の１つの項目に基づくものでもよいし、これらの点数を重み付けして合計したものでもよい。なお、情報処理装置１は、映え度、広告に適する程度、または取引実績価格等を基に、期待報酬または価値情報を算出し、期待報酬または価値
情報を点数として画像をソーティングしてもよい。Ｓ４２の処理は、期待報酬または価値情報、広告に適する程度または取引実績価格に基づいて掲載済み画像の評価値を設定する処理の一例といえる。
情報を点数として画像をソーティングしてもよい。Ｓ４２の処理は、期待報酬または価値情報、広告に適する程度または取引実績価格に基づいて掲載済み画像の評価値を設定する処理の一例といえる。
【0076】
次に、情報処理装置１は、Ｓ４２で点数が上位の画像の撮影地点を特定する（Ｓ４３）。Ｓ４３の処理は、評価値が基準以上の前記掲載済み画像が撮影された地点を特定する処理の一例といえる。例えば、情報処理装置１は、Ｓ４２で点数が上位の画像のそれぞれの撮影地点を特定する。撮影地点は、例えば、経度と緯度で特定されるので、情報処理装置１は、Ｓ４２で点数が上位の画像の撮影地点において、所定距離以内に位置する撮影地点を収集する。収集された撮影地点が複数存在する場合には、複数の撮影地点の重心位置を代表の撮影地点としてもよい。また、撮影地点は、ＳＮＳで定義されている、位置情報を基準に点数を集計してもよい。すでに述べたように、位置情報は、例えば、駅、ランドマーク、店舗名、観光地の施設名等でである。
【0077】
さらに、情報処理装置１は、上記撮影地点または代表地点のうち、画像が撮影された季節、日時、および季節と日時における過去の気象データを含む撮影条件から撮影の可能性が高い地点を絞る（Ｓ４４）。例えば、Ｓ４３で特定された撮影地点に対応する画像のうち、撮影された季節、日時、および撮影日時における過去の気象データが、現在の季節、日時、および現在の気象データと類似するものを選定する。すなわち、情報処理装置１は、Ｓ４２で点数が上位の画像うち、同様の撮影条件が現時点で実現できる画像に絞る。なお、Ｓ４４の処理で画像を絞った結果、該当する画像およびその撮影地点が得られない場合、情報処理装置１は、Ｓ４４の処理を省略してもよい。
【0078】
そして、情報処理装置１は、Ｓ４３の処理で集約された撮影地点または代表に設定された撮影地点（以下、対象地点という）、またはＳ４４の処理で絞られた対象地点の近隣に位置する、対象地点のユーザ装置４－３を特定し、撮影を推奨するメッセージを対象地点のユーザ装置４－３に送信する（Ｓ４５）。メッセージは、電子メールで送信されてもよいし、ＳＮＳのメッセージで送信されてもよい。Ｓ４５の処理は、特定される地点近隣に位置する装置に、公衆ネットワーク上での閲覧可能な画像の投稿を促す情報を送信する処理の一例といえる。
【0079】
図１７は、情報処理装置１が実行する広告制作者への画像推奨処理Ｒ１を例示する図である。この処理では、広告のテーマまたはキーワードが与えられ時に、情報処理装置１は、該当する画像を広告制作者に提示する。この処理では、情報処理装置１（図４の情報提示部１６）は、例えば、ユーザインタフェースを介して、広告制作者のユーザ装置４－２から、広告に関連するテーマまたはキーワードを取得する（Ｓ５１）。Ｓ５１の処理は、広告に関するテーマまたはキーワードを含む条件を取得することの一例である。
【0080】
次に、情報処理装置１は、ＳＮＳデータＤ２の画像関連情報テーブルのキーワードの行を検索し、テーマまたはキーワードに対応する画像の画像ＩＤを収集する（Ｓ５２）。Ｓ５２の処理は、公衆ネットワーク上で閲覧可能な画像の中から条件を満たす画像を収集することの一例である。そして、情報処理装置１は、収集されたそれぞれの画像ＩＤに対して、映え度、広告的に適する程度、ＳＮＳでの反応数、取引実績価格等から、投稿者の期待報酬または価値情報を推定する（Ｓ５３）。映え度、広告的に適する程度、ＳＮＳでの反応数、取引実績価格等と、投稿者の期待報酬との関係は、例えば、回帰分析により決定できる。
【0081】
次に、情報処理装置１は、期待報酬、価値情報を基に、広告制作のコストを算出する（Ｓ５４）。広告制作のコストは、例えば、投稿者の期待報酬または価値情報に所定の係数を乗算するか、または、所定の関数で投稿者の期待報酬または価値情報を処理した出力で
決定される。そして、情報処理装置１は、収集された画像ＩＤに対応する画像と、コストを広告制作者に提示し、当該画像を推奨する（Ｓ５５）。
決定される。そして、情報処理装置１は、収集された画像ＩＤに対応する画像と、コストを広告制作者に提示し、当該画像を推奨する（Ｓ５５）。
【0082】
図１８は、情報処理装置１が実行する広告制作者への画像推奨処理Ｒ２を例示する図である。この処理では、情報処理装置１（図４の情報提示部１６）は、広告実績データＤ３の広告制作者属性テーブルから次に処理する対象の広告制作者の属性情報または広告制作者が画像を検索したときのログ情報またはログ情報の要約を取得する（Ｓ６１）。広告制作者の属性情報は、性別、年齢、好み等である。
【0083】
次に、情報処理装置１は、属性情報またはログ情報等に適合する掲載済み画像と撮影者の情報を取得する（Ｓ６２）。情報処理装置１は、例えば、広告制作者の属性情報またはログ情報に関連するキーワードでＳＮＳデータＤ２の画像関連情報テーブルを検索すればよい。また、情報処理装置１は、属性情報またはログ情報と、これらに関連するキーワードで検索するため、情報処理装置１は、単語とこれに関連する単語とを定義した関連語辞書を用意しておけばよい。そして、情報処理装置１は、広告制作者の属性情報またはログ情報に関連する１以上のキーワードを関連語辞書から取得し、取得したキーワードでＳＮＳデータＤ２の画像関連情報テーブルを検索すればよい。
【0084】
そして、情報処理装置１は、取得したキーワードがＳＮＳデータＤ２の画像関連情報テーブルで見いだされたときに、その行の画像ＩＤで特定される画像が、広告制作者に適合すると判断する。情報処理装置１は、そのような適合する画像をＳＮＳデータＤ２の画像関連情報テーブルから収集する。そして、情報処理装置１は、現在処理中の広告制作者を収集された掲載済み画像に適合する広告制作者に決定する（Ｓ６３）。そして、情報処理装置１は、広告制作者に適合する画像と適合する画像の撮影者の情報を提示するとともに、画像の撮影者に画像と適合する広告制作者の情報を提示する（Ｓ６４）。すなわち、掲載済み画像および掲載済み画像の撮影者と、広告制作者とをマッチングさせる。
【0085】
次に、情報処理装置１は、次に処理する広告制作者が残っているか否かを判定する（Ｓ６５）。次に処理する広告制作者が残っている場合には、情報処理装置１は、制御をＳ６１の処理に戻す。次に処理する広告制作者が残っていない場合には、情報処理装置１は、処理を終了する。
【0086】
（実施形態の効果）
本実施形態では、情報処理装置１は、教師データの変形に応じて、教師データのラベルを維持し、または、ラベルを変更する。すなわち、情報処理装置１は、第１の入力データから第２の入力データへの変化の度合いに応じて第１のラベルまたは第１のラベルとは異なる第２のラベルを第２の入力データに付与することによって第２の教師データを作成する。したがって、情報処理装置１は、教師データ群Ｄ１を用いてＡＩマシン２に機械学習させる場合も、データの変形、すなわち、データ拡張するとともに、適切なラベルを付して、新たな教師データを適切に生成できる。その結果、情報処理装置１は、ＡＩマシン２に、適切な教師データを大量に入力し、機械学習させることができる。
本実施形態では、情報処理装置１は、教師データの変形に応じて、教師データのラベルを維持し、または、ラベルを変更する。すなわち、情報処理装置１は、第１の入力データから第２の入力データへの変化の度合いに応じて第１のラベルまたは第１のラベルとは異なる第２のラベルを第２の入力データに付与することによって第２の教師データを作成する。したがって、情報処理装置１は、教師データ群Ｄ１を用いてＡＩマシン２に機械学習させる場合も、データの変形、すなわち、データ拡張するとともに、適切なラベルを付して、新たな教師データを適切に生成できる。その結果、情報処理装置１は、ＡＩマシン２に、適切な教師データを大量に入力し、機械学習させることができる。
【0087】
また、教師データ群Ｄ１の教師データは、画像と、画像に付された広告に適する程度を含むのので、広告に適する程度を学習する学習済みモデルを生成できる。
【0088】
また、情報処理装置１は、ＳＮＳに投稿された画像が広告に適する程度に基づいてその画像に対する報酬として期待できる期待報酬または広告としての価値情報を算出し、投稿者等の関係者に提示する。その結果、情報処理装置１は、投稿者に画像の広告における価値を認識させることができる。
【0089】
また、情報処理装置１は、Ｓ１８の処理で、公衆ネットワークであるＳＮＳ上で過去に閲覧可能に掲載された画像と画像に対する公衆ネットワーク上での閲覧者からの反応および画像の広告での取引実績の少なくとも１つとを基に期待報酬または価値情報を決定する。したがって、情報処理装置１は、適切な期待報酬または価値情報を決定できる。
【0090】
また、情報処理装置１は、図１３、図１４のＳ１９のように、Ｓ１８の処理で画像を広告に利用した場合の期待報酬または価値情報を投稿者に提示するので、投稿者は、広告の利用を許諾するか否かの判断で、報酬に対する具体的な情報を取得できる。したがって、情報処理装置１は、投稿者に、画像の広告への利用許諾の可否を適切に判断させることができる。
【0091】
また、情報処理装置１は、図１４の画像判定処理Ｅ２のように、学習済みモデルによって画像の判定処理を実行し、判定処理による評価の高い順に画像の投稿者を優先して、広告への画像の利用を打診する。したがって、情報処理装置１は、より広告に適した画像を投稿する可能性の高い投稿者を優先して、画像の利用を打診できる。
【0092】
また、情報処理装置１は、図１６のＳ４２のように、期待報酬または価値情報、広告に適する程度または取引実績価格に基づいて掲載済み画像の評価値として点数を設定する。情報処理装置１は、Ｓ４２で点数が上位の画像の撮影地点を集約し、対象地点を特定し、撮影を推奨するメッセージを特定された対象地点のユーザ装置４－３に送信する。このため、情報処理装置１は、期待報酬または価値情報、広告に適する程度または取引実績価格の高い画像を効果的に投稿させることができる。
【0093】
また、情報処理装置１は、Ｓ４４のように、Ｓ４３で特定された撮影地点に対応する画像のうち、撮影された季節、日時、および季節と日時における過去の気象データが、現在の季節、日時、および季節と日時における過去の気象データと類似するものを選定する。したがって、情報処理装置１は、より高い確率で、映え度、ＡＩマシン２によって判定された広告に適する程度、取引実績価格、期待報酬または価値情報の高い画像を投稿者に投稿させることができる。
【0094】
また、情報処理装置１は、広告に関するテーマまたはキーワードを含む条件を取得し、テーマまたはキーワードに対応する画像を収集するので、与えられたテーマまたはキーワードに適した画像を得ることができる。また、情報処理装置１は、収集した画像から、期待報酬、価値情報を基に、広告制作のコストを算出し、広告制作者に提示するので、広告制作者が所望する画像とコストを併せて提示し、広告制作者を支援できる。
【0095】
また、情報処理装置１は、広告実績データＤ３の広告制作者属性テーブルから広告制作者の属性情報または広告制作者が画像を検索したときのログ情報またはログ情報の要約を取得する。そして、情報処理装置１は、属性情報またはログ情報等に適合するＳＮＳへの掲載済み画像と撮影者の情報を取得し、広告制作者と撮影者とをマッチングさせることができる。
【0096】
（変形例）
上記図１８では、広告制作者の属性情報または広告制作者が画像を検索したときのログ情報を基に、広告制作者に適合する撮影済み画像と、撮影者を収集した。このような処理に代えて、広告制作者が画像を検索するときに、広告制作者に適合する撮影済み画像を検索してもよい。図１９は、広告制作者が検索クエリを入力したときに、当該クエリに適合する撮影済み画像を取得する画像推奨処理Ｒ３を例示する図である。
上記図１８では、広告制作者の属性情報または広告制作者が画像を検索したときのログ情報を基に、広告制作者に適合する撮影済み画像と、撮影者を収集した。このような処理に代えて、広告制作者が画像を検索するときに、広告制作者に適合する撮影済み画像を検索してもよい。図１９は、広告制作者が検索クエリを入力したときに、当該クエリに適合する撮影済み画像を取得する画像推奨処理Ｒ３を例示する図である。
【0097】
この処理では、情報処理装置１（図４の情報提示部１６）は、広告制作者が画像を検索
するときのクエリを広告制作者のユーザ装置４－２から取得する。（Ｓ７１）。クエリは、自然言語であり、例えば、「きれいなビーチ」、「野性味あふれる動物」、「きれいな花」等である。
するときのクエリを広告制作者のユーザ装置４－２から取得する。（Ｓ７１）。クエリは、自然言語であり、例えば、「きれいなビーチ」、「野性味あふれる動物」、「きれいな花」等である。
【0098】
次に、情報処理装置１は、クエリに適合する掲載済み画像と撮影者の情報を取得する（Ｓ７２）。情報処理装置１は、例えば、クエリに含まれるキーワード（名詞、形容詞等）でＳＮＳデータＤ２の画像関連情報テーブルを検索すればよい。また、情報処理装置１は、属性情報またはログ情報と、これらに関連するキーワードで検索するため、情報処理装置１は、単語とこれに関連する単語とを定義した関連語辞書を用意しておけばよい。そして、情報処理装置１は、広告制作者が入力したクエリに関連する１以上のキーワードを関連語辞書から取得し、取得したキーワードでＳＮＳデータＤ２の画像関連情報テーブルを検索すればよい。
【0099】
そして、情報処理装置１は、取得したキーワードがＳＮＳデータＤ２の画像関連情報テーブルで見いだされたときに、その行の画像ＩＤで特定される画像が、広告制作者のクエリに適合すると判断する。情報処理装置１は、そのような適合する画像をＳＮＳデータＤ２の画像関連情報テーブルから取得する。そして、情報処理装置１は、広告制作者に適合する画像と適合する画像の撮影者の情報を提示する（Ｓ７３）。そして、情報処理装置１は、広告制作者の応答を待つ。広告制作者が提示された画像に納得しない場合（Ｓ７４でＮＯ）、情報処理装置１は、処理をＳ７２に戻し、次にクエリに適合する掲載済み画像と撮影者の情報を取得し、処理を継続する。
【0100】
一方、情報処理装置１は、提示された画像に納得したとの応答を広告制作者のユーザ装置４－２から受けた場合（Ｓ７４でＹＥＳ）、情報処理装置１は、画像の撮影者、すなわち、投稿者のユーザ装置４－１に広告制作者を提示し、両者の合意を待つ（Ｓ７５）。そして、情報処理装置１は、画像の撮影者の応答を待つ。画像の撮影者、すなわち、投稿者のユーザ装置４－１から、広告制作者と合意できたとの応答を受信できない場合（Ｓ７６でＮＯ）、情報処理装置１は、処理をＳ７２に戻し、次にクエリに適合する掲載済み画像と撮影者の情報を取得し、処理を継続する。画像の撮影者、すなわち、投稿者のユーザ装置４－１から、広告制作者と合意できたとの応答を受信した場合（Ｓ７６でＹＥＳ）、情報処理装置１は、処理を終了する。すなわち、情報処理装置１は、広告制作者のクエリに対して、掲載済み画像および掲載済み画像の撮影者と、をマッチングさせることができる。
【0101】
＜第２の実施形態＞
上記第１の実施形態では、情報処理装置１は、例えば、ミニバッチの教師データをデータ拡張し、ＡＩマシン２にデータ拡張した教師データを入力し、学習を実行させる。本実施形態では、情報処理装置１は、更新前の学習済みモデルにより、画像を評価し、広告に適した画像とされるラベリング画像候補を選択する。ここで、情報処理装置１は、更新前の学習済みモデルで選択されたラベリング画像候補を管理者ユーザの評価により再度評価し、更新後の教師データを作成し、ＡＩマシン２に再度入力する。そして、ＡＩマシン２に、再度、更新後の教師データをＡＩマシン２に再学習させ、更新後の学習済みモデルを作成させる。本実施形態の情報処理装置１は、学習済みモデルの作成、学習済みモデルによる判定結果の管理者ユーザによる評価、評価に基づく教師データの更新、および再学習というループにより、学習済みモデルを順次更新させ、判定の精度を向上させる。
上記第１の実施形態では、情報処理装置１は、例えば、ミニバッチの教師データをデータ拡張し、ＡＩマシン２にデータ拡張した教師データを入力し、学習を実行させる。本実施形態では、情報処理装置１は、更新前の学習済みモデルにより、画像を評価し、広告に適した画像とされるラベリング画像候補を選択する。ここで、情報処理装置１は、更新前の学習済みモデルで選択されたラベリング画像候補を管理者ユーザの評価により再度評価し、更新後の教師データを作成し、ＡＩマシン２に再度入力する。そして、ＡＩマシン２に、再度、更新後の教師データをＡＩマシン２に再学習させ、更新後の学習済みモデルを作成させる。本実施形態の情報処理装置１は、学習済みモデルの作成、学習済みモデルによる判定結果の管理者ユーザによる評価、評価に基づく教師データの更新、および再学習というループにより、学習済みモデルを順次更新させ、判定の精度を向上させる。
【0102】
図２０は、第２の実施形態の情報システム１０Ａの構成を例示する図である。本実施形態でも、情報システム１０Ａは、情報処理装置１と、ＡＩマシン２を有する。本実施形態でも、ＡＩマシン２は、学習システム２１を有し、学習済みモデルを生成する。ただし、本実施形態では、学習システム２１は、更新前学習済みモデル２２－１を基に、更新後の
学習済みモデル２２－２を生成する。
学習済みモデル２２－２を生成する。
【0103】
そのため、ＡＩマシン２は、まず、更新前学習済みモデル２２－１により、画像候補Ｄ１０を評価し、高評価の画像を選択し、ラベリング画像候補Ｄ１１とする。ここで、画像候補Ｄ１０は、更新後の教師データの候補となる画像である。画像候補Ｄ１０は、例えば、ＳＮＳサーバ３から取得した画像である。画像候補Ｄ１０は、例えば、更新前の学習済みモデルの学習に用いられた教師データに含まれる画像であってもよい。また、高評価の画像とは、例えば、映え度の高い画像、あるいは、広告に適する程度が高い画像である。
【0104】
情報処理装置１は、管理者ユーザに対してラベリングサーバとしてのユーザインタフェースを提供する。すなわち、情報処理装置１は、高評価の画像であるラベリング画像候補Ｄ１１を提示し、その適否を管理者ユーザから受け付ける。そして、情報処理装置１は、管理者ユーザから受け付けた適否にしたがって、ラベリング画像候補にラベルを設定し、更新後の教師データＤ１２を作成する。そして、情報処理装置１は、更新後の教師データＤ１２をＡＩマシン２に入力し、学習を実行させ、更新後の学習済みモデル２２－２を作成させる。
【0105】
図２１は、第２の実施形態の情報システム１０Ａにおける処理手順を例示する図である。この処理では、まず、ＡＩマシン２は、更新前学習済みモデルで画像候補Ｄ１０を採点する（Ｓ１０１）。次に、ＡＩマシン２は、採点した画像から高得点画像をラベリング画像候補Ｄ１１として抽出する（Ｓ１０２）。
【0106】
次に、情報処理装置１がラベリングサーバとして、抽出したラベリング画像候補Ｄ１１に対して、人による評価を受け付ける（Ｓ１０３）。映え度が高い画像や広告評価が高い画像は相対的に少なく、ＡＩマシン２を効率的に学習させるためには、Ｓ１０３以下の処理（例えば、Ｓ１０５、Ｓ１０６、Ｓ１０７を含む処理）が有効である。さらに、Ｓ１０１からＳ１０２の処理とともに、情報処理装置１は、画像候補Ｄ１０を変形するための自然言語を受け付け、ＡＩマシン２を用いて自然言語にしたがって、画像候補Ｄ１０を変形する（Ｓ１０４）。
【0107】
ここで、自然言語は、例えば、画像候補Ｄ１０を変形する仕様を示す記述である。例えば、チューリップの花が描かれた画像に対して、「チューリップをカーネーションに変更」と指定すると、ＡＩマシン２は、カーネーションが描かれた画像候補Ｄ１０を作成する。これは、例えば、ニューラルネットワークの階層を最上位の全結合層から逆方向の入力層側にデータを流すことで実現される。例えば、ＡＩマシン２がカーネーションを認識する学習済みモデルを有しているとする。この学習済みモデルに、入力層から画像を入力すると、ＡＩマシン２は、画像が「カーネーション」か否かを判定し、画像がカーネーションを含む場合に、「カーネーション」という自然言語を全結合層から出力する。一方、この学習済みモデルの全結合層に「カーネーション」という自然言語を入力すると、データが入力層方向に順次変換され、「カーネーション」を含む画像を生成することが可能となる。なお、自然言語は、上記に限定されず、例えば、「時間を夕方に変更」と指定されると、風景写真が夕焼けを含むものに変更される。また、例えば、自然言語が「ピカソ風の絵に」と指定されると、画像がピカソの描いた絵に類似するものに変更される。
【0108】
なお、ＡＩマシン２は、人の介在なしに、Ｓ１０４の処理を実行してもよい。例えば、ＡＩマシン２は、画像候補Ｄ１０を認識し、認識した画像から自然言語「テーブルの上の綺麗なチューリップとコーヒーカップ」を生成する。ここで、ＡＩマシン２は、すでに、「チューリップ」「コーヒーカップ」等の物体の画像を学習済みであるとする。また、「チューリップ」についても、「きれいチューリップ」「しなびたチューリップ」「枯れたチューリップ」等の分類を学習済みであるとする。
【0109】
そして、ＡＩマシン２は、「映える類似物体に関する単語リスト」を有するものとする。例えば、単語「チューリップ」に対して、「映える類似物体に関する単語リスト」には、「カーネーション」が登録されている。ただし、「映える類似物体に関する単語リスト」は、条件とともに「単語」が登録されていてもよい。例えば、「５月」「初夏」という時期的条件つきで、単語「チューリップ」に対して、「映える類似物体に関する単語リスト」には、「カーネーション」が登録されている。また、例えば、「３月から４月」、「春」という時期的条件つきで、単語「チューリップ」に対して、「映える類似物体に関する単語リスト」には、「桜」が登録されている。そして、現在の時期が「５月」または「初夏」である、という条件が充足されると、ＡＩマシン２は、「テーブルの上の綺麗なチューリップとコーヒーカップ」という自然言語を「テーブルの上の綺麗なカーネーションとコーヒーカップ」に変換する。また、現在の時期が「３月から４月」または「春」である、という条件が充足されると、ＡＩマシン２は、「テーブルの上の綺麗なチューリップとコーヒーカップ」という自然言語を「テーブルの上の綺麗な桜とコーヒーカップ」に変換する。そして、ＡＩマシン２は、変換された自然言語にしたがって、画像候補Ｄ１０を変更すればよい。
【0110】
そして、情報処理装置１は、上記の処理によって変形された候補画像を提示し、その適否を管理者ユーザから受け付ける（Ｓ１０５）。そして、情報処理装置１は、Ｓ１０２の処理で抽出されたラベリング画像候補Ｄ１１に、Ｓ１０３での評価を基にラベルを設定し、更新後の教師データＤ１２を作成する。また、情報処理装置１は、Ｓ１０５の処理で管理者ユーザから受け付けた適否にしたがって、Ｓ１０４の処理で変形された画像候補にラベルを設定し、更新後の教師データＤ１２を作成する（Ｓ１０６）。
【0111】
そして、情報処理装置１は、人による評価を反映した画像候補を学習用画像として更新後の教師データを入力し、ＡＩマシン２に再学習を実行させる（Ｓ１０７）。そして、ＡＩマシン２は、次の性能向上時に、作成された学習済みモデルを更新後の学習済みモデルをとしてデプロイし、画像の判定に使用する（Ｓ１０８）。なお、情報処理装置１は、図２０において、Ｓ１０１、Ｓ１０２、Ｓ１０３、Ｓ１０６からＳ１０８までの処理と、Ｓ１０４からＳ１０８までの処理とは、それぞれ、個別の機能として独立に提供してもよい。
【0112】
以上述べたように、本実施形態では、情報処理装置１は、更新前の第１の教師データを用いて学習した学習済みモデルを作成しておき、更新前の学習済みモデルにより、更新後教師データの候補である画像候補を判定させる。そして、情報処理装置１は、この更新前の学習済みモデルにより判定した結果に対する適否を受け付ける。さらに、情報処理装置１は、受け付けた適否を基に、画像候補に更新されたラベルを再設定して更新された教師データを作成する。このような処理によって、情報処理装置１は、学習済みモデルの判定の精度を向上できる。
【0113】
さらに、本実施形態では、情報処理装置１は、ＡＩマシン２により、画像候補を変化させる方向性または変化の仕様を示す自然言語を受け付け、自然言語にしたがって、例えば、第１の教師データに含まれる第１の入力データを変化させて、変化した画像候補を作成する。そして、更新された画像候補の変化に応じて変更されたラベルの設定を受け付ける。したがって、情報処理装置１は、自然言語により画像候補を自在に変形し、適切なラベルを付すことで、自然言語を利用し、柔軟で自在にデータ拡張を実行できる。
【0114】
＜コンピュータが読み取り可能な記録媒体＞
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる
。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる
。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
【0115】
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ／Ｗ、ＤＶＤ、ブルーレイディスク、ＤＡＴ、８ｍｍテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスク、ＲＯＭ（リードオンリーメモリ）等がある。さらに、ＳＳＤ（Solid State Drive）は、コンピュータ等から取り外し可能な記録媒体としても、コンピュータ
等に固定された記録媒体としても利用可能である。
等に固定された記録媒体としても利用可能である。
【符号の説明】
【0116】
１ 情報処理装置
２ ＡＩマシン
３ ＳＮＳサーバ
４ ユーザ装置
１１ 情報収集部
１２ 教師データ設定部
１３ 学習制御部
１４ 教師データ拡張部
１５ 判定制御部
１６ 情報提示部
２ ＡＩマシン
３ ＳＮＳサーバ
４ ユーザ装置
１１ 情報収集部
１２ 教師データ設定部
１３ 学習制御部
１４ 教師データ拡張部
１５ 判定制御部
１６ 情報提示部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】