IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社オプティムの特許一覧

特許7266356プログラム、情報処理装置、情報処理システム及び情報処理方法
<図1>
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図1
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図2
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図3
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図4
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図5
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図6
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図7
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図8
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図9
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図10
  • 特許-プログラム、情報処理装置、情報処理システム及び情報処理方法 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-04-20
(45)【発行日】2023-04-28
(54)【発明の名称】プログラム、情報処理装置、情報処理システム及び情報処理方法
(51)【国際特許分類】
   G06Q 50/00 20120101AFI20230421BHJP
   H04N 21/854 20110101ALI20230421BHJP
【FI】
G06Q50/00 300
H04N21/854
【請求項の数】 12
(21)【出願番号】P 2022052895
(22)【出願日】2022-03-29
【審査請求日】2022-03-29
【早期審査対象出願】
(73)【特許権者】
【識別番号】500521522
【氏名又は名称】株式会社オプティム
(74)【代理人】
【識別番号】110002815
【氏名又は名称】IPTech弁理士法人
(72)【発明者】
【氏名】菅谷 俊二
【審査官】鈴木 順三
(56)【参考文献】
【文献】特開2013-175875(JP,A)
【文献】特開2018-022298(JP,A)
【文献】国際公開第2022/014295(WO,A1)
【文献】特表2016-539580(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 50/00 ー 50/20
H04N 21/00 - 21/858
(57)【特許請求の範囲】
【請求項1】
プロセッサと、記憶部とを備えるコンピュータに実行させるためのプログラムであって、
前記プログラムは、前記プロセッサに、
所定の範囲を撮影するように設けられた定点カメラから、前記定点カメラにより撮影されたデジタルコンテンツを取得する取得ステップと、
前記取得ステップにおいて取得した前記デジタルコンテンツに基づき生成データを生成する生成ステップと、
前記生成データの反響指数を推論する反響推論ステップと、
を実行させ、
前記生成ステップは、前記デジタルコンテンツを入力データとして反響指数がより大きくなるような生成データを生成するステップであり、
前記反響推論ステップにおいて推論される前記反響指数は、前記生成データと、前記生成データを外部のSNSサービスに送信する際に用いられるユーザのSNS属性と、に基づき算定され、
前記生成ステップは、前記取得ステップにおいて取得した前記デジタルコンテンツに基づき、前記反響推論ステップにおいて推論される前記反響指数がより大きくなるような生成データを生成するステップである、
プログラム。
【請求項2】
前記生成ステップは、前記デジタルコンテンツに対して、生成モデルを適用することにより、前記反響推論ステップにおいて推論される前記反響指数がより大きくなるような生成データを生成するステップである、
請求項1記載のプログラム。
【請求項3】
前記デジタルコンテンツは、画像または動画データである、
請求項1記載のプログラム。
【請求項4】
前記生成ステップは、
前記取得ステップにおいて取得した前記デジタルコンテンツに対して、領域抽出モデルを適用することにより部分画像データを生成するステップと、
生成された前記部分画像データに対して、画像処理モデルを適用することにより生成データを生成するステップと、
を含む、
請求項3記載のプログラム。
【請求項5】
前記SNS属性は、前記ユーザのフォロワー数、フォロワー属性、ユーザ属性のうちの少なくともいずれか1つを含む、
請求項1記載のプログラム。
【請求項6】
前記プログラムは、前記プロセッサに、
前記生成データを、外部のSNSサービスに送信する送信ステップと、
を実行させる請求項1から5のいずれか記載のプログラム。
【請求項7】
前記プログラムは、前記プロセッサに、
前記生成データを、外部のSNSサービスに送信する送信ステップと、
を実行させ、
前記送信ステップは、前記反響指数が所定の条件を満たした場合に、前記生成データを、外部のSNSサービスに送信するステップである、
請求項1または5記載のプログラム。
【請求項8】
前記プログラムは、前記プロセッサに、
前記デジタルコンテンツに基づき、前記デジタルコンテンツに関するイベント属性を推論するイベント推論ステップと、
を実行させ、
前記生成ステップは、前記イベント属性に基づき生成データを生成するステップである、
請求項1から7のいずれか記載のプログラム。
【請求項9】
前記プログラムは、前記プロセッサに、
前記デジタルコンテンツに基づき、前記デジタルコンテンツに関するイベント属性を推論するイベント推論ステップと、
前記デジタルコンテンツおよび前記イベント属性に基づき、テキスト情報またはハッシュタグの少なくともいずれか1つを生成するテキスト生成ステップと、
を実行させる請求項1から7のいずれか記載のプログラム。
【請求項10】
プロセッサと、記憶部とを備える情報処理装置であって、
前記プロセッサが、請求項1から9のいずれか記載のプログラムを実行する、
情報処理装置。
【請求項11】
プロセッサと、記憶部とを備える情報処理装置を含む情報処理システムであって、
前記プロセッサが、請求項1から9のいずれか記載のプログラムを実行する、
情報処理システム。
【請求項12】
プロセッサと、記憶部とを備えるコンピュータにより実行される情報処理方法であって、
前記コンピュータが、請求項1から9のいずれか記載のプログラムを実行する、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、プログラム、情報処理装置、情報処理システム及び情報処理方法に関する。
【背景技術】
【0002】
ライフログカメラを用いて、静止画、動画などを自動的に撮影する技術が知られている。
特許文献1には、人物の顔画像を違和感が無いよう変換してプライバシーを保護することが可能な情報処理装置が開示されている。
特許文献2には、ライフログカメラにおいて、ユーザが自発的に行う動画撮影の撮影時間が制限されることを抑制する技術が開示されている。
特許文献3には、ユーザが特別な操作を行うことなく、ユーザの好みの映像を取得することが可能な撮像装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2014-85796号
【文献】特開2021-145556号
【文献】特開2020-205637号
【発明の概要】
【発明が解決しようとする課題】
【0004】
カメラにより撮影された画像、動画、テキストなどを含む投稿記事をSNSサービス(Social Networking Service)などに投稿する場合に、投稿記事に対して他のユーザの興味関心を十分に喚起できていないという課題がある。
【0005】
そこで、本開示は、上記課題を解決すべくなされたものであって、その目的は、SNSサービスにおいてより大きな反響を期待できる画像データを生成する技術を提供することである。
【課題を解決するための手段】
【0006】
プロセッサと、記憶部とを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、デジタルコンテンツを取得する取得ステップと、取得ステップにおいて取得したデジタルコンテンツに基づき生成データを生成する生成ステップと、を実行させ、生成ステップは、デジタルコンテンツを入力データとして反響指数がより大きくなるような生成データを生成するステップである、プログラム。
【発明の効果】
【0007】
本開示によれば、SNSサービスにおいてより大きな反響を期待できる画像データを生成することができる。
【図面の簡単な説明】
【0008】
図1】情報処理システム1の全体の構成を示す図である。
図2】サーバ10の機能構成を示すブロック図である。
図3】ユーザ端末20の機能構成を示すブロック図である。
図4】撮影端末30の機能構成を示すブロック図である。
図5】ユーザテーブル1012のデータ構造を示す図である。
図6】撮影テーブル1013のデータ構造を示す図である。
図7】画像テーブル1014のデータ構造を示す図である。
図8】SNSテーブル1015のデータ構造を示す図である。
図9】画像処理テーブル1016のデータ構造を示す図である。
図10】SNS投稿処理の動作を示すフローチャートである。
図11】コンピュータ90の基本的なハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【0009】
以下、本開示の実施形態について図面を参照して説明する。実施形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。なお、以下の実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。また、各図は模式図であり、必ずしも厳密に図示されたものではない。
【0010】
<情報処理システム1の概要>
図1は、情報処理システム1の全体の構成を示す図である。本開示における情報処理システム1は、カメラにより撮影された画像データ、動画データ、マイクにより集音された音声データなどを含むデジタルコンテンツをSNSサービスに投稿する情報処理システムである。デジタルコンテンツとは、画像データ、動画データ、音声データ、音楽データなどカメラにより撮影されたり、マイクによる集音される任意のデータを含むコンテンツ情報である。
【0011】
<情報処理システム1の基本構成>
本開示における情報処理システム1を図1に示す。情報処理システム1は、ネットワークNを介して接続された、サーバ10、複数のユーザ端末20A、20B、20C、複数の撮影端末30A、30B、30Cを備えて構成されている。図2は、サーバ10の機能構成を示すブロック図である。図3は、ユーザ端末20の機能構成を示すブロック図である。図4は、撮影端末30の機能構成を示すブロック図である。
【0012】
サーバ10は、撮影端末30により撮影された画像データを取得し、SNSサービスにおいてより大きな反響を期待できる画像データを生成し、SNSサービスへ投稿するサービスを提供する情報処理装置である。
【0013】
ユーザ端末20は、サービスを利用するユーザが操作する情報処理装置である。撮影端末30は、サービスを構成するカメラを制御するための情報処理装置である。ユーザ端末20および撮影端末30は、例えば、スマートフォン、タブレット等の携帯端末でもよいし、据え置き型のPC(Personal Computer)、ラップトップPCであってもよい。また、HMD(Head Mount Display)、腕時計型端末等のウェアラブル端末であってもよい。
なお、撮影端末30は所定の定まった場所に設置され、カメラ3061としては、所定の範囲を撮影するように設けられた定点カメラを備えることが好適である。
【0014】
各情報処理装置は演算装置と記憶装置とを備えたコンピュータにより構成されている。コンピュータの基本ハードウェア構成および、当該ハードウェア構成により実現されるコンピュータの基本機能構成は後述する。サーバ10、ユーザ端末20、撮影端末30のそれぞれについて、後述するコンピュータの基本ハードウェア構成およびコンピュータの基本機能構成と重複する説明は省略する。
【0015】
以下、各装置の構成およびその動作を説明する。
【0016】
<サーバ10の機能構成>
サーバ10のハードウェア構成が実現する機能構成を図2に示す。サーバ10は、記憶部101、制御部104を備える。
【0017】
<サーバ10の記憶部の構成>
サーバ10の記憶部101は、アプリケーションプログラム1011、ユーザテーブル1012、撮影テーブル1013、画像テーブル1014、SNSテーブル1015、画像処理テーブル1016、評価モデル1017、生成モデル1018、領域抽出モデル1019、画像処理モデル1020、イベントモデル1021、テキストモデル1022を備える。
図5は、ユーザテーブル1012のデータ構造を示す図である。図6は、撮影テーブル1013のデータ構造を示す図である。図7は、画像テーブル1014のデータ構造を示す図である。図8は、SNSテーブル1015のデータ構造を示す図である。図9は、画像処理テーブル1016のデータ構造を示す図である。
【0018】
ユーザテーブル1012は、サービスを利用する会員ユーザ(以下、ユーザ)の情報を記憶し管理するテーブルである。ユーザは、サービスの利用登録を行うことで、当該ユーザの情報がユーザテーブル1012の新しいレコードに記憶される。これにより、ユーザは本開示にかかるサービスを利用できるようになる。
ユーザテーブル1012は、ユーザIDを主キーとして、ユーザID、ユーザ名のカラムを有するテーブルである。
【0019】
ユーザIDは、ユーザを一意に識別するための識別子を記憶する項目である。
ユーザ名は、ユーザの氏名を記憶する項目である。ユーザ名は、氏名ではなく、ニックネームなど任意の文字列を設定しても良い。
【0020】
撮影テーブル1013は、カメラにより撮影した動画データ、音声データ(撮影データ)を記憶するためのテーブルである。撮影テーブル1013は、カメラIDを主キーとして、ユーザID、動画データ、音声データのカラムを有するテーブルである。
【0021】
カメラIDは、カメラを識別するための撮影機器識別情報を記憶する項目である。撮影機器識別情報は、カメラごとにユニークな値が設定されている項目である。
ユーザIDは、撮影端末30に関連付けられたユーザのユーザ識別情報を記憶する項目である。
動画データは、カメラによる撮影された動画データを記憶する項目である。他の場所に配置された動画データファイルに対する参照情報(パス)を記憶するものとしても良い。動画データのフォーマットは、MP4、MOV、WMV、AVI、AVCHDなど任意のデータフォーマットで良い。
音声データは、マイクにより集音された音声データを記憶する項目である。他の場所に配置された音声データファイルに対する参照情報(パス)を記憶するものとしても良い。音声データのフォーマットは、AAC,ATRAC、mp3、mp4など任意のデータフォーマットで良い。
【0022】
画像テーブル1014は、カメラにより定期的に撮影された画像データを記憶するためのテーブルである。
画像テーブル1014は、カメラID、画像データ、イベント属性、生成データ、テキスト、ハッシュタグ、投稿日時、反響指数、撮影日時のカラムを有するテーブルである。
【0023】
カメラIDは、画像を撮影したカメラの撮影機器識別情報を記憶する項目である。
画像データは、カメラによる撮影された画像データを記憶する項目である。他の場所に配置された画像データファイルに対する参照情報(パス)を記憶するものとしても良い。画像データのフォーマットは、jpeg、png、bmp、tiff、gif、eps、svgなど任意のデータフォーマットで良い。
イベント属性は、カメラにより撮影された画像データなどに基づき推論された画像データのイベント属性に関する情報(イベント属性情報)を記憶する項目である。イベント属性情報は、誕生日、歓迎会、送別会、忘年会、発表会、祝賀会などのイベント名、イベント分類などの情報が含まれる任意のオブジェクトデータである。
生成データは、カメラにより撮影された画像データに基づき生成された生成データを記憶する項目である。
テキストは、カメラにより撮影された画像データなどに基づき推論されたテキスト情報を記憶する項目である。
ハッシュタグは、カメラにより撮影された画像データなどに基づき推論されたハッシュタグとして用いられるテキスト情報を記憶する項目である。ハッシュタグとは、テキストの前にハッシュ記号「#」を付けたものである。SNSサービスにおいて、投稿記事にハッシュタグを含めることで、投稿記事に対するタグ付けを行うことができる。
投稿日時は、生成データ、テキスト、ハッシュタグからなる投稿記事を投稿する日時を記憶する項目である。
反響指数は、生成データなどに基づき推論された指数を記憶する項目である。反響指数は、投稿日時において、画像データに紐付けられたユーザがSNSサービスに、生成データ、テキスト、ハッシュタグからなる投稿記事をSNSサービスに投稿した際に、当該投稿記事に対して他のユーザからどの程度の反響(いいね数、リツイート数、コメント数)を得ることが期待できるか、反響の程度を指数化したものである。反響指数が大きいほど、投稿記事に対する他のユーザからの大きな反響が期待できる。
反響指数の一例としては、いいね数、リツイート数、コメント数の和が考えられる。
撮影日時は、画像データの撮影日時を記憶する項目である。
【0024】
SNSテーブル1015は、ユーザのSNSサービスに関する属性情報(SNS属性)を記憶するテーブルである。
SNSテーブル1015は、SNSID、エンドポイント、ユーザID、サービス名、フォロワー数、フォロワー属性、ユーザ属性、投稿回数上限のカラムを有するテーブルである。
SNS属性は、SNSサービスを利用するユーザのSNSサービスにおけるユーザ属性に関する情報である。具体的に、SNS属性は、SNSサービスを利用するユーザのフォロワー数、フォロワー属性、ユーザ属性などの情報を含む情報である。
【0025】
SNSIDは、ユーザのSNSサービスにおけるアカウントの識別情報を記憶する項目である。ユーザは、SNSIDを用いてSNSサービスが提供する各種サービスを利用することができる。
エンドポイントは、SNSサービスへ記事を投稿する際のURL(Uniform Resource Locator)が記憶される項目である。エンドポイントへ所定のリクエストを送信することにより、API(Application Programming Interface)を介してSNSサービスへ各種処理を要求することができる。
エンドポイントは、SNSサービスごと、SNSサービスが提供する各種処理ごとに異なるURLが記憶される。
ユーザIDは、SNSIDに関連付けられたユーザのユーザ識別情報を記憶する項目である。
サービス名は、SNSサービスの名称を記憶する項目である。SNSサービスの名称には、Twitter、Facebook、Instagram、LinkedInなど様々なSNSサービスが存在する。
フォロワー数は、ユーザのSNSサービスにおけるアカウントをフォローしている、他のユーザ数である。フォローとは、SNSサービスにおいて、特定のアカウントの活動を追うことを目的として、当該特定のアカウントと紐付けられている状態を言う。
フォロワー属性は、フォロワーの属性に関する情報(フォロワー属性情報)を記憶する項目である。フォロワー属性情報は、フォロワーの性別、年齢、職種、興味関心(料理、旅行、自動車、コンピュータ、ゲームなど)などのフォロワーの属性に関する情報が含まれる任意のオブジェクトデータである。
フォロワー属性情報は、SNSサービスの運営主体から取得したり、フォロワーの投稿記事の内容に基づき特定しても良い。
ユーザは、ユーザのSNSサービスにおけるアカウントのユーザの属性に関する情報(ユーザ属性情報)を記憶する項目である。ユーザ属性情報は、ユーザの性別、年齢、職種、興味関心(料理、旅行、自動車、コンピュータ、ゲームなど)などのユーザの属性に関する情報が含まれる任意のオブジェクトデータである。
ユーザ属性情報は、ユーザが自身で入力したり、ユーザの投稿記事の内容に基づき特定しても良い。
投稿回数上限は、ユーザがSNSサービスに記事を投稿するにあたり、所定期間内における投稿回数の上限回数を記憶する項目である。所定期間は、1日、1週間、1ヶ月間、曜日ごとなど任意の期間における投稿回数の上限値を設定することができる。
【0026】
画像処理テーブル1016は、画像データに対して適用するエフェクト、フィルタなどの画像処理に関する情報(画像処理情報)を記憶するテーブルである。
画像処理テーブル1016は、画像処理ID、画像処理内容のカラムを有するテーブルである。
【0027】
画像処理IDは、画像処理内容を識別するための画像処理識別情報を記憶する項目である。
画像処理内容は、画像データに対して適用する画像処理内容を記憶する項目である。他の場所に配置された画像処理を行う関数、メソッド、プログラムなどへの参照を記憶しても良い。
画像処理内容は、画像データに対して枠を設定するフレームを含む。画像処理内容は、画像データの色調を補正するモノトーン、セピア、ビビッドなどを含む。画像処理内容は、画像データに対するコントラスト補正、明るさ補正などを含む。画像処理内容は、画像データに含まれる人物の顔の、目、鼻、口などの様々なパーツを補正する顔補正処理を含む。画像処理内容は、画像データに含まれる人物の顔を、動物やキャラクタなどの顔に補正する顔合成処理を含む。画像処理内容は、画像データに対して、キャラクタ、アクセサリ、装飾などを合成する処理を含む。
画像処理内容は、画像データに対して、画像データに含まれる人物オブジェクトなどの所定の領域に注目を集めるようなエフェクトや画像を合成する処理を含む。具体的には、ストランなどの食事風景が画像に含まれている場合には、顧客が座るテーブルに注目を集める装飾を付与したり、料理をより美味しく見せる画像処理、会合などが楽しそうな雰囲気となるような画像処理などが含まれる。
【0028】
評価モデル1017は、画像データを入力データとして、反響指数を出力(推論)する学習モデルである。評価モデル1017の学習処理は、後述する。入力データは、画像データに関連するユーザのSNSサービスにおける、SNS属性であるフォロワー数、フォロワー属性、ユーザ属性など、を含んでも良い。
入力データは、画像データに関連する投稿記事のテキスト、ハッシュタグを含んでも良い。
出力データは、投稿日時に関する情報を含んでも良い。
【0029】
生成モデル1018は、画像データを入力データとして、生成データを出力(推論)する学習モデルである。生成モデル1018の学習処理は、後述する。
入力データは、画像データに関連するイベント属性を含んでも良い。
【0030】
領域抽出モデル1019は、画像データを入力データとして、領域抽出された画像データ(部分画像データ)を出力(推論)する学習モデルである。領域抽出モデル1019の学習処理は、後述する。
入力データは、画像データに関連するイベント属性を含んでも良い。
【0031】
画像処理モデル1020は、部分画像データを入力データとして、画像処理された画像データ(画像処理データ)を出力(推論)する学習モデルである。画像処理モデル1020の学習処理は、後述する。
入力データは、画像データに関連するイベント属性を含んでも良い。
【0032】
イベントモデル1021は、画像データを入力データとして、イベント属性を出力(推論)する学習モデルである。イベントモデル1021の学習処理は、後述する。
【0033】
テキストモデル1022は、画像データを入力データとして、テキストまたはハッシュタグを出力(推論)する学習モデルである。テキストモデル1022の学習処理は、後述する。
入力データは、画像データに関連するイベント属性を含んでも良い。
【0034】
評価モデル1017、生成モデル1018、領域抽出モデル1019、画像処理モデル1020、イベントモデル1021、テキストモデル1022の一例として、深層学習におけるディープニューラルネットワークによる深層学習モデルを説明する。学習モデルは、深層学習モデルである必要は必ずしもなく、任意の機械学習モデル、人工知能モデルなどでも良い。
【0035】
<サーバ10の制御部の構成>
サーバ10の制御部104は、ユーザ登録制御部1041、投稿部1042、イベント推論部1043、画像生成部1044、テキスト生成部1045、評価部1046を備える。制御部104は、記憶部101に記憶されたアプリケーションプログラム1011を実行することにより、各機能ユニットが実現される。
【0036】
ユーザ登録制御部1041は、本開示に係るサービスの利用を希望するユーザの情報をユーザテーブル1012、撮影テーブル1013に記憶する処理を行う。
ユーザテーブル1012に記憶される、ユーザID、ユーザ名の情報は、ユーザが任意の情報処理端末からサービス提供者が運営するウェブページなどを開き、所定の入力フォームにユーザID、ユーザ名を入力しサーバ10へ送信する。サーバ10のユーザ登録制御部1041は、受信したユーザID、ユーザ名をユーザテーブル1012の新しいレコードに記憶し、ユーザ登録が完了する。これにより、ユーザテーブル1012に記憶されたユーザはサービスを利用することができるようになる。
撮影テーブル1013に記憶される、ユーザIDの情報は、ユーザが任意の情報処理端末からサービス提供者が運営するウェブページなどを開き、所定の入力フォームに自身のアカウントと関連付けたい撮影端末30のカメラIDを入力または選択し、サーバ10へ送信する。サーバ10のユーザ登録制御部1041は、当該ユーザのユーザIDを、受信したカメラIDと紐付けて撮影テーブル1013に記憶する。これにより、ユーザテーブル1012に記憶されたユーザと、撮影端末30が関連付けられる。撮影テーブル1013において撮影端末30に関連付けられたユーザは、自身と関連付けられた撮影端末30を用いた本開示にかかるサービスの提供を受けることができるようになる。
ユーザ登録制御部1041によるユーザ情報のユーザテーブル1012への登録に先立ち、サービス提供者は所定の審査を行いユーザによるサービス利用可否を制限しても良い。
ユーザIDは、ユーザを識別できる任意の文字列または数字で良く、ユーザが希望する任意の文字列または数字、もしくはサーバ10のユーザ登録制御部1041が自動的に任意の文字列または数字を設定しても良い。
【0037】
投稿部は、SNS投稿処理を実行する。詳細は後述する。
イベント推論部は、イベント推論処理を実行する。詳細は後述する。
画像生成部は、画像生成処理(第一実施例)、画像生成処理(第二実施例)を実行する。詳細は後述する。
テキスト生成部は、テキスト・ハッシュタグ生成処理を実行する。詳細は後述する。
【0038】
<ユーザ端末20の機能構成>
ユーザ端末20のハードウェア構成が実現する機能構成を図3に示す。ユーザ端末20は、記憶部201、制御部204、タッチパネル206、タッチセンシティブデバイス2061、ディスプレイ2062、マイク2081、スピーカ2082、位置情報センサ2083、カメラ2084、モーションセンサ2085を備える。
なお、サーバ10の代わりに、ユーザ端末20が投稿部1042、イベント推論部1043、画像生成部1044、テキスト生成部1045、評価部1046、又はこれらのうち少なくとも2つの組み合わせを備える構成としても良い。そのとき、必要に応じて評価モデル1017、生成モデル1018、領域抽出モデル1019、画像処理モデル1020、イベントモデル1021、テキストモデル1022をサーバ10からダウンロードして、各機能部を機能させても良い。
【0039】
<ユーザ端末20の記憶部の構成>
ユーザ端末20の記憶部201は、ユーザ端末20を利用するユーザを識別するためのユーザID2011、アプリケーションプログラム2012を記憶する。
ユーザIDはユーザのアカウントIDである。ユーザは、ユーザ端末20からユーザID2011を、サーバ10へ送信する。サーバ10は、ユーザID2011に基づきユーザを識別し、本開示にかかるサービスをユーザに対して提供する。なお、ユーザIDには、ユーザ端末20を利用しているユーザを識別するにあたりサーバ10から一時的に付与されるセッションIDなどの情報を含む。
アプリケーションプログラム2012は、記憶部201に予め記憶されていても良いし、通信IFを介してサービス提供者が運営するウェブサーバ等からダウンロードする構成としても良い。アプリケーションプログラム2012は、ユーザ端末20に記憶されているウェブブラウザアプリケーション上で実行されるJavaScript(登録商標)などのインタープリター型プログラミング言語を含む。
【0040】
<ユーザ端末20の制御部の構成>
ユーザ端末20の制御部204は、入力制御部2041および出力制御部2042を備える。制御部204は、記憶部201に記憶されたアプリケーションプログラム2012を実行することにより、入力制御部2041、出力制御部2042の機能ユニットが実現される。
ユーザ端末20の入力制御部2041は、ユーザによるタッチパネル206のタッチセンシティブデバイス2061への操作内容、マイク2081への音声入力、位置情報センサ2083、カメラ2084、モーションセンサ2085、などの入力装置から出力される情報を取得し各種処理を実行する。ユーザ端末20の入力制御部2041は、入力装置から取得した情報をユーザID2011とともにサーバ10へ送信する処理を実行する。
ユーザ端末20の出力制御部2042は、入力装置に対するユーザによる操作およびサーバ10から情報を受信し、ディスプレイ2062の表示内容、スピーカ2082の音声出力内容の制御処理を実行する。
【0041】
<撮影端末30の機能構成>
撮影端末30のハードウェア構成が実現する機能構成を図4に示す。撮影端末30は、記憶部301、制御部304を備える。撮影端末30は、入力装置306と接続されている。入力装置306は、カメラ3061、マイク3062を含む。
カメラ3061は、店舗や住居内の定まった位置に設けられ、店舗や住居内の所定位置に所在する人物、顧客などの様子を撮影するカメラである。具体的に、カメラ3061は、レストランなどの施設内において、顧客が座るテーブルなどに向けて配置される。または、顧客が座るテーブルの中央などに設けられ、テーブルに座る顧客の様子を撮影することができる。
【0042】
<撮影端末30の記憶部の構成>
撮影端末30の記憶部301は、撮影端末30に接続されたカメラ3061を識別するためのカメラID3011、アプリケーションプログラム3012を記憶する。
ユーザは、撮影端末30からカメラID3011を、サーバ10へ送信する。
アプリケーションプログラム3012は、記憶部301に予め記憶されていても良いし、通信IFを介してサービス提供者が運営するウェブサーバ等からダウンロードする構成としても良い。アプリケーションプログラム3012は、撮影端末30に記憶されているウェブブラウザアプリケーション上で実行されるJavaScript(登録商標)などのインタープリター型プログラミング言語を含む。
【0043】
<撮影端末30の制御部の構成>
撮影端末30の制御部304は、入力制御部3041および出力制御部3042を備える。制御部304は、記憶部301に記憶されたアプリケーションプログラム3012を実行することにより、入力制御部3041、出力制御部3042の機能ユニットが実現される。
撮影端末30の入力制御部3041は、カメラ3061により撮影された画像データ、動画データ、マイク3062により集音された音声データを取得し各種処理を実行する。撮影端末30の入力制御部3041は、画像データ、動画データ、音声データをカメラID3011とともにサーバ10へ送信する処理を実行する。
【0044】
<情報処理システム1の動作>
以下、情報処理システム1の各処理について説明する。
図10は、サーバ10におけるSNS投稿処理の動作を示すフローチャートである。
【0045】
<SNS投稿処理>
SNS投稿処理は、撮影端末30により撮影された画像データなどのデジタルコンテンツに基づき、SNSサービスへ投稿する投稿記事情報を生成し投稿を実行する処理である。
【0046】
<SNS投稿処理の概要>
SNS投稿処理は、撮影端末30により撮影された画像データを取得し、イベント推論処理、画像生成処理、テキスト・ハッシュタグ生成処理、評価処理、SNS投稿判定、SNS投稿処理を実行する一連の処理である。SNS投稿処理は、所定期間ごとに定期的に実行される。なお、SNS投稿処理は、画像データに替えて、任意のデジタルコンテンツに対して一連の処理を適用しても良い。
【0047】
<SNS投稿処理の詳細>
ステップS101において、撮影端末30の入力制御部3041は、カメラ3061を制御し撮影制御を行わせることにより画像データ、動画データを撮影し取得する。
ユーザによる入力操作に応じて、撮影端末30の入力制御部3041は、SNS投稿処理を開始しても良い。例えば、撮影端末30またはカメラ3061に設けられて所定のスイッチをユーザが操作することにより、SNS投稿処理を開始しても良い。ユーザ端末20が、ユーザによる入力操作を受け付けて、当該入力操作に応じて撮影端末30の入力制御部3041へ、SNS投稿処理を開始することを指示するリクエストを送信し、撮影端末30の入力制御部3041はリクエストの受信に応じて、SNS投稿処理を開始しても良い。
撮影端末30の入力制御部3041は、マイク3062を制御し集音制御を行わせることにより音声データを集音し取得する。撮影端末30は、カメラID3011、撮影された画像データ、動画データ、集音された音声データをサーバ10へ送信する。
サーバ10の投稿部1042は、受信したカメラIDと関連付けて、受信した画像データを画像テーブル1014の画像データの項目に記憶する。サーバ10の投稿部1042は、画像データの撮影日時、または画像データの受信日時、現在日時などを画像テーブル1014の現在日時の項目に記憶する。サーバ10の投稿部1042は、定期的にSNS投稿処理が実行されるごとに、撮影端末30から取得した画像データを画像テーブル1014の新しいレコードに記憶する。
サーバ10の投稿部1042は、受信したカメラIDと関連付けて、動画データ、音声データを撮影テーブル1013の動画データ、音声データの項目に記憶する。サーバ10の投稿部1042は、撮影端末30から取得した動画データ、音声データを常に、撮影テーブル1013の動画データ、音声データの項目に記憶する構成としても良い。サーバ10の投稿部1042は、撮影端末30から取得した動画データ、音声データをそれぞれ一定期間ごとの長さの動画データ、音声データに編集し、撮影テーブル1013の動画データ、音声データの項目に記憶する構成としても良い。
【0048】
<イベント推論処理>
ステップS102において、サーバ10のイベント推論部1043は、イベント推論処理を実行する。イベント推論処理は、撮影端末30により撮影された画像データに基づき、イベント属性を推論する処理である。
【0049】
サーバ10のイベント推論部1043は、画像テーブル1014に新たに記憶された画像データを入力データとして、イベントモデル1021に適用することにより、イベント属性を出力データとして取得する。
サーバ10のイベント推論部1043は、出力されたイベント属性を、画像テーブル1014の該当レコードのイベント属性の項目に記憶する。
【0050】
<画像生成処理>
ステップS103において、サーバ10の画像生成部1044は、画像生成処理を実行する。画像生成処理は、画像生成処理(第一実施例)、画像生成処理(第二実施例)のいずれかの処理である。
【0051】
<画像生成処理(第一実施例)>
画像生成処理(第一実施例)は、撮影端末30により撮影された画像データに基づき、生成データを生成する処理である。
【0052】
<画像生成処理(第一実施例)の概要>
画像生成処理(第一実施例)は、撮影端末30により撮影された画像データを入力データとして、生成モデル1018に適用することにより、生成データを生成する一連の処理である。
【0053】
<画像生成処理(第一実施例)の詳細>
サーバ10の画像生成部1044は、画像テーブル1014に新たに記憶された画像データ、イベント属性を入力データとして、生成モデル1018に適用することにより、生成データを出力データとして取得する。なお、イベント属性は入力データに含めなくても良い。
サーバ10の画像生成部1044は、出力された生成データを、画像テーブル1014の該当レコードの生成データの項目に記憶する。
【0054】
<画像生成処理(第二実施例)>
画像生成処理(第二実施例)は、撮影端末30により撮影された画像データに基づき、生成データを生成する処理である。
【0055】
<画像生成処理(第二実施例)の概要>
画像生成処理(第一実施例)は、撮影端末30により撮影された画像データを入力データとして、領域抽出モデル1019を適用することにより部分画像データを生成し、部分画像データを入力画像データとして、画像処理モデル1020を適用することにより画像処理データを生成する一連の処理である。
【0056】
<画像生成処理(第二実施例)の詳細>
サーバ10の画像生成部1044は、画像テーブル1014に新たに記憶された画像データ、イベント属性を入力データとして、領域抽出モデル1019に適用することにより、部分画像データを出力データとして取得する。なお、イベント属性は入力データに含めなくても良い。
サーバ10の画像生成部1044は、部分画像データ、イベント属性を入力データとして、画像処理モデル1020に適用することにより、画像処理データを出力データとして取得する。なお、イベント属性は入力データに含めなくても良い。
サーバ10の画像生成部1044は、出力された画像処理データを、画像テーブル1014の該当レコードの生成データの項目に記憶する。
【0057】
<テキスト・ハッシュタグ生成処理>
ステップS104において、サーバ10のテキスト生成部1045は、テキスト・ハッシュタグ生成処理を実行する。
サーバ10のテキスト生成部1045は、画像テーブル1014に新たに記憶された画像データ、イベント属性を入力データとして、テキストモデル1022に適用することにより、テキストおよびハッシュタグを出力データとして取得する。なお、イベント属性は入力データに含めなくても良い。
サーバ10のテキスト生成部1045は、出力されたテキスト、ハッシュタグを、画像テーブル1014の該当レコードのテキスト、ハッシュタグの項目に記憶する。
【0058】
<評価処理>
ステップS105において、サーバ10の評価部1046は、評価処理を実行する。評価処理は、生成データまたは画像処理データを入力データとして、当該画像データの反響指数、投稿日時を推論するための処理である。
【0059】
<評価処理の概要>
評価処理は、生成データまたは画像処理データを取得し、テキストおよびハッシュタグを取得し、撮影端末30に関連付けられたユーザのSNS属性を取得し、それらを入力データとして、評価モデル1017に適用することにより反響指数、投稿日時を推論する一連の処理である。
【0060】
<評価処理の詳細>
サーバ10の評価部1046は、画像テーブル1014に新たに記憶された生成データ、テキスト、ハッシュタグを取得する。サーバ10の評価部1046は、画像テーブル1014における該当レコードのカメラIDに基づき撮影テーブル1013を検索し、撮影端末30に関連付けられたユーザのユーザIDを特定する。サーバ10の評価部1046は、特定したユーザIDに基づき、SNSテーブル1015を検索し、フォロワー数、フォロワー属性、ユーザ属性を含むSNS属性を取得する。
サーバ10の評価部1046は、生成データ、テキスト、ハッシュタグ、SNS属性を入力データとして、評価モデル1017に適用することにより、反響指数および投稿日時を出力データとして取得する。なお、テキスト、ハッシュタグ、SNS属性は入力データに含めなくても良い。
サーバ10の評価部1046は、反響指数、投稿日時を、画像テーブル1014の該当レコードの反響指数、投稿日時の項目に記憶する。なお、投稿日時は出力データに含めなくても良い。
【0061】
ステップS106において、サーバ10の投稿部1042は、画像テーブル1014に新たに記憶された反響指数を取得する。サーバ10の投稿部1042は、反響指数が所定値(反響閾値)に満たない場合(Noの場合)には、処理を終了する。反響指数が所定値以上という条件を満たす場合にはステップS107に進む。
【0062】
反響閾値は、サービス提供者が手動で定めた所定の値でも良い。
反響閾値は、該当ユーザのSNSテーブル1015における投稿回数上限の値に基づき、所定期間内における投稿記事数が投稿回数上限に収まる範囲内で、できるだけ反響指数が大きい投稿記事がSNSサービスへ投稿されるように定められる値である。反響閾値は、既知の、機械学習、深層学習、人工知能技術などを用いて自動的に定めても良い。
【0063】
ステップS107において、サーバ10の投稿部1042は、画像テーブル1014に新たに記憶された生成データ、テキスト、ハッシュタグ、投稿日時を取得する。サーバ10の投稿部1042は、取得した生成データ、テキスト、ハッシュタグに基づきSNSサービスへ投稿するためのJSON形式などの所定のオブジェクトデータ(投稿記事)を生成する。
サーバ10の投稿部1042は、画像テーブル1014における該当レコードのカメラIDに基づき撮影テーブル1013を検索し、撮影端末30に関連付けられたユーザのユーザIDを特定する。サーバ10の投稿部1042は、特定したユーザIDに基づき、SNSテーブル1015を検索し、SNSID、エンドポイントの値を取得する。
サーバ10の投稿部1042は、SNSサービスにおいて投稿記事が投稿日時に投稿されるように、当該ユーザのSNSサービスにおけるユーザIDであるSNSID、投稿記事を含むリクエストを取得したエンドポイントへ送信する。これにより、投稿日時にSNSサービスに対して投稿記事が投稿される。
【0064】
例えば、撮影された画像が、レストランなどの食事風景が画像に含まれている場合には、顧客が座るテーブルに注目を集める装飾を付与したり、料理をより美味しく見せる画像処理、会合などが楽しそうな雰囲気となるような画像処理などが施され、SNSにおいてより大きな反響が期待できる生成データが生成され、SNSサービスへ投稿される。
【0065】
<学習処理>
評価モデル1017、生成モデル1018、領域抽出モデル1019、画像処理モデル1020、イベントモデル1021、テキストモデル1022の学習処理を以下に説明する。
【0066】
<評価モデル1017の学習処理>
評価モデル1017の学習処理は、評価モデル1017に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。
【0067】
<評価モデル1017の学習処理の概要>
評価モデル1017の学習処理は、SNSサービスにおける過去の投稿記事に含まれる画像データ、テキスト、ハッシュタグを入力データ(入力ベクトル)として、反響指数、投稿記事の投稿日時を出力データ(教師データ)となるように、評価モデル1017に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。
評価モデル1017の入力データから、テキスト、ハッシュタグのいずれかを省略しても構わない。
評価モデル1017の出力データから、投稿日時を省略しても構わない。
【0068】
<評価モデル1017の学習処理の詳細>
サーバ10の学習部1051は、SNSサービスにおける様々なユーザの、ユーザごとのフォロワー数、フォロワー属性、ユーザ属性を含むSNS属性を既知のSNSサービスから取得する。サーバ10の学習部1051は、当該ユーザが過去に投稿した、画像データ、テキスト、ハッシュタグなどを含む投稿記事をSNSサービスから取得する。サーバ10の学習部1051は、過去の投稿記事ごとの反響指数(教師反響指数)を、当該投稿記事を投稿してから所定期間内のいいね数、リツイート数、コメント数に基づき算定する。所定期間は、任意の時間、期間を定めても良い。算定方法の一例として、いいね数、リツイート数、コメント数の和を算定する。
サーバ10の学習部1051は、投稿記事ごとに、投稿記事を投稿したユーザのSNS属性、投稿記事に含まれる画像データ、テキスト、ハッシュタグなどを入力データ(入力ベクトル)として、教師反響指数、投稿記事の投稿時刻または投稿曜日などの投稿日時に関する情報を出力データ(教師データ)となるよう、学習データを作成する。
サーバ10の学習部1051は、学習データに基づき、評価モデル1017のディープニューラルネットワークを学習させるための訓練データ、テストデータ、検証データなどのデータセットを作成する。
サーバ10の学習部1051は、作成したデータセットに基づき評価モデル1017に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる。
【0069】
<生成モデル1018の学習処理>
生成モデル1018の学習処理は、生成モデル1018に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。
【0070】
<生成モデル1018の学習処理の概要>
生成モデル1018の学習処理は、画像データを入力データ(入力ベクトル)として、より大きな反響指数が得られる生成データを出力するように、生成モデル1018に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。
【0071】
<生成モデル1018の学習処理の詳細>
サーバ10の学習部1051は、SNSサービスにおける様々なユーザの、ユーザごとのフォロワー数、フォロワー属性、ユーザ属性を含むSNS属性を既知のSNSサービスから取得する。サーバ10の学習部1051は、当該ユーザが過去に投稿した、画像データを含む投稿記事をSNSサービスから取得する。サーバ10の学習部1051は、投稿記事に含まれる画像データを入力データとして、生成モデル1018に含まれるディープニューラルネットワークの学習パラメータを変化させながら適用し、複数の生成データを生成する。このとき、サーバ10の学習部1051は、投稿記事に含まれる画像データを入力データとして、イベントモデル1021に適用することにより得られたイベント属性を、生成モデル1018に適用する入力データに含めても良い。
サーバ10の学習部1051は、投稿記事のユーザのSNS属性、複数の生成データを入力データとして、評価モデル1017に適用することにより、複数の生成データのそれぞれに対する反響指数が得られる。サーバ10の学習部1051は、より大きな反響指数が得られるように生成モデル1018に含まれるディープニューラルネットワークの学習パラメータを最適化する。
これにより、画像データを入力データとして、より大きな反響指数が得られる生成データを出力するような生成モデル1018を得ることができる。
【0072】
サーバ10の学習部1051は、生成モデル1018をGAN(Generative Adversarial Network、敵対的生成ネットワーク)などの任意の学習モデルとしても良い。
【0073】
<領域抽出モデル1019の学習処理>
領域抽出モデル1019の学習処理は、領域抽出モデル1019に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。
【0074】
<領域抽出モデル1019の学習処理の概要>
領域抽出モデル1019の学習処理は、画像データを入力データ(入力ベクトル)として、より大きな反響指数が得られる領域抽出された画像データ(部分画像データ)を出力するように、領域抽出モデル1019に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。
【0075】
<領域抽出モデル1019の学習処理の詳細>
サーバ10の学習部1051は、SNSサービスにおける様々なユーザの、ユーザごとのフォロワー数、フォロワー属性、ユーザ属性を含むSNS属性を既知のSNSサービスから取得する。サーバ10の学習部1051は、当該ユーザが過去に投稿した、画像データを含む投稿記事をSNSサービスから取得する。サーバ10の学習部1051は、投稿記事に含まれる画像データを入力データとして、領域抽出モデル1019に含まれるディープニューラルネットワークの学習パラメータを変化させながら適用し、複数の部分画像データを生成する。このとき、サーバ10の学習部1051は、投稿記事に含まれる画像データを入力データとして、イベントモデル1021に適用することにより得られたイベント属性を、領域抽出モデル1019に適用する入力データに含めても良い。
サーバ10の学習部1051は、投稿記事のユーザのSNS属性、複数の部分画像データを入力データとして、評価モデル1017に適用することにより、複数の部分画像データのそれぞれに対する反響指数が得られる。サーバ10の学習部1051は、より大きな反響指数が得られるように領域抽出モデル1019に含まれるディープニューラルネットワークの学習パラメータを最適化する。
これにより、画像データを入力データとして、より大きな反響指数が得られる部分画像データを出力するような領域抽出モデル1019を得ることができる。
【0076】
サーバ10の学習部1051は、領域抽出モデル1019をR-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSDなどの任意の物体検出手法に用いられる学習モデルとしても良い。この場合、サーバ10の学習部1051は、画像データに含まれる物体のカテゴリ、物体を含む画像範囲を特定することができる。このとき、サーバ10の学習部1051は、画像データに含まれる複数の物体検出を行い、検出された物体のカテゴリ(人物、動物、自動車など)、部分画像データの画像サイズなどを学習パラメータとしても良い。これにより、より反響指数が期待できる物体のカテゴリ、画像サイズが適した部分画像データを得ることができる領域抽出モデル1019を得ることができる。
【0077】
<画像処理モデル1020の学習処理>
画像処理モデル1020の学習処理は、画像処理モデル1020に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。
【0078】
<画像処理モデル1020(第一実施例)の学習処理の概要>
画像処理モデル1020の学習処理は、画像データを入力データ(入力ベクトル)として、より大きな反響指数が得られる画像処理された画像データ(画像処理データ)を出力するように、画像処理モデル1020に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。このとき、サーバ10の学習部1051は、投稿記事に含まれる画像データを入力データとして、イベントモデル1021に適用することにより得られたイベント属性を、画像処理モデル1020(第一実施例)に適用する入力データに含めても良い。
【0079】
<画像処理モデル1020(第一実施例)の学習処理の詳細>
サーバ10の学習部1051は、SNSサービスにおける様々なユーザの、ユーザごとのフォロワー数、フォロワー属性、ユーザ属性を含むSNS属性を既知のSNSサービスから取得する。サーバ10の学習部1051は、当該ユーザが過去に投稿した、画像データを含む投稿記事をSNSサービスから取得する。サーバ10の学習部1051は、投稿記事に含まれる画像データを入力データとして、画像処理モデル1020(第一実施例)に含まれるディープニューラルネットワークの学習パラメータを変化させながら適用し、複数の画像処理データを生成する。
サーバ10の学習部1051は、投稿記事のユーザのSNS属性、複数の画像処理データを入力データとして、評価モデル1017に適用することにより、複数の画像処理データのそれぞれに対する反響指数が得られる。サーバ10の学習部1051は、より大きな反響指数が得られるように画像処理モデル1020(第一実施例)に含まれるディープニューラルネットワークの学習パラメータを最適化する。
これにより、画像データを入力データとして、より大きな反響指数が得られる画像処理データを出力するような画像処理モデル1020(第一実施例)を得ることができる。
【0080】
<画像処理モデル1020(第二実施例)の学習処理の概要>
画像処理モデル1020(第二実施例)の学習処理は、画像データを入力データ(入力ベクトル)として、より大きな反響指数が得られる画像処理内容を出力するように、画像処理モデル1020(第二実施例)に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。このとき、サーバ10の学習部1051は、投稿記事に含まれる画像データを入力データとして、イベントモデル1021に適用することにより得られたイベント属性を、画像処理モデル1020(第二実施例)に適用する入力データに含めても良い。
具体的には、画像処理モデル1020(第二実施例)の学習処理(第二実施例)における画像処理モデル1020(第二実施例)は、画像データを入力データ(入力ベクトル)として、より大きな反響指数が得られる画像処理テーブル1016における画像処理IDを出力する学習モデルである。
なお、本開示において単に画像処理モデル1020とよぶ場合、画像データを入力データ(入力ベクトル)として、画像処理モデル1020(第二実施例)により出力された画像処理IDに基づき、画像処理テーブル1016から特定される画像処理内容を、当該画像データに適用した画像処理データを出力データとする学習モデルとする。
【0081】
<画像処理モデル1020(第二実施例)の学習処理の詳細>
サーバ10の学習部1051は、投稿記事に含まれる画像データに対して、画像処理テーブル1016に格納されている画像処理内容をそれぞれ適用した画像データを生成する。
サーバ10の学習部1051は、投稿記事のユーザのSNS属性、複数の画像処理データを入力データとして、評価モデル1017に適用することにより、複数の画像処理データのそれぞれに対する反響指数が得られる。サーバ10の学習部1051は、より大きな反響指数が得られるような画像処理IDを得られるように、画像処理モデル1020(第二実施例)に含まれるディープニューラルネットワークの学習パラメータを最適化する。
これにより、画像データを入力データとして、より大きな反響指数が得られる画像処理IDを出力するような画像処理モデル1020(第二実施例)を得ることができる。
【0082】
<イベントモデル1021の学習処理>
イベントモデル1021の学習処理は、イベントモデル1021に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。
【0083】
<イベントモデル1021の学習処理の概要>
イベントモデル1021の学習処理は、画像データを入力データ(入力ベクトル)として、画像データのイベント属性が得られる生成データを出力するように、イベントモデル1021に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。イベントモデル1021は、予め定められた複数のイベント属性から1または複数のイベント属性が出力されるような、分類モデルであっても良い。イベントモデル1021は、画像キャプションとしてイベント属性を出力する、生成モデルであっても良い。
【0084】
<イベントモデル1021の学習処理の詳細>
サーバ10の学習部1051は、SNSサービスにおける様々なユーザが過去に投稿した、画像データを含む投稿記事をSNSサービスから取得する。サービス提供者は、一定数の投稿記事に対してイベント属性の付与(アノテーション)を行い教師データを作成する。なお、投稿記事に含まれるテキスト、ハッシュタグなどの情報を用いて教師データを作成したり、教師データの作成作業を自動化、効率化しても良い。
サーバ10の学習部1051は、投稿記事ごとに、投稿記事に含まれる画像データを入力データ(入力ベクトル)として、イベント属性が出力データ(教師データ)となるよう、学習データを作成する。なお、音声データを入力データに含めても良い。
サーバ10の学習部1051は、学習データに基づき、イベントモデル1021のディープニューラルネットワークを学習させるための訓練データ、テストデータ、検証データなどのデータセットを作成する。
サーバ10の学習部1051は、作成したデータセットに基づきイベントモデル1021に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる。
【0085】
<テキストモデル1022の学習処理>
テキストモデル1022の学習処理は、テキストモデル1022に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。
【0086】
<テキストモデル1022の学習処理の概要>
テキストモデル1022の学習処理は、画像データを入力データ(入力ベクトル)として、テキスト、ハッシュタグが得られる生成データを出力するように、テキストモデル1022に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる処理である。
サーバ10の学習部1051は、投稿記事に含まれる画像データを入力データとして、イベントモデル1021に適用することにより得られたイベント属性を、テキストモデル1022に適用する入力データに含めても良い。
テキストモデル1022は、テキストまたはハッシュタグのいずれかを出力するものとして構成しても良い。
【0087】
<テキストモデル1022の学習処理の詳細>
サーバ10の学習部1051は、SNSサービスにおける様々なユーザが過去に投稿した、画像データを含む投稿記事をSNSサービスから取得する。
サーバ10の学習部1051は、投稿記事ごとに、投稿記事に含まれる画像データを入力データ(入力ベクトル)として、当該投稿記事のテキスト、ハッシュタグが出力データとなるよう、学習データを作成する。
サーバ10の学習部1051は、学習データに基づき、テキストモデル1022のディープニューラルネットワークを学習させるための訓練データ、テストデータ、検証データなどのデータセットを作成する。
サーバ10の学習部1051は、作成したデータセットに基づきテキストモデル1022に含まれるディープニューラルネットワークの学習パラメータを深層学習により学習させる。
【0088】
<変形例>
本開示においては、撮影端末30により撮影された画像データに替えて、撮影端末30により撮影された動画データまたは音声データを、それぞれ一定期間ごとの長さの動画データまたは音声データに編集し、SNS投稿処理を適用し、動画データまたは音声データをSNSへ投稿する処理としても良い。その他、SNS投稿処理は、画像データに替えて、任意のデジタルコンテンツに対して適用しても良い。
【0089】
イベント推論処理において、画像データに替えて、他のデジタルコンテンツに基づきイベント属性を推論する処理としても良い。この場合、イベントモデル1021は、当該デジタルコンテンツを入力データとして学習された学習モデルとなる。
【0090】
画像生成処理(第一実施例)において、画像データに替えて、他のデジタルコンテンツに基づき生成データを推論する処理としても良い。この場合、画像処理モデル1020は、当該デジタルコンテンツを入力データとして学習された学習モデルとなる。
【0091】
テキスト・ハッシュタグ生成処理において、画像データに替えて、他のデジタルコンテンツに基づき生成データを推論する処理としても良い。この場合、テキストモデル1022は、当該デジタルコンテンツを入力データとして学習された学習モデルとなる。
【0092】
評価処理において、画像データに替えて、他のデジタルコンテンツに基づき反響指数を推論する処理としても良い。この場合、評価部1046は、当該デジタルコンテンツを入力データとして学習された学習モデルとなる。
【0093】
<コンピュータの基本ハードウェア構成>
図11は、コンピュータ90の基本的なハードウェア構成を示すブロック図である。コンピュータ90は、プロセッサ901、主記憶装置902、補助記憶装置903、通信IF991(インタフェース、Interface)を少なくとも備える。これらは通信バス921により相互に電気的に接続される。
【0094】
プロセッサ901とは、プログラムに記述された命令セットを実行するためのハードウェアである。プロセッサ901は、演算装置、レジスタ、周辺回路等から構成される。
【0095】
主記憶装置902とは、プログラム、及びプログラム等で処理されるデータ等を一時的に記憶するためのものである。例えば、DRAM(Dynamic Random Access Memory)等の揮発性のメモリである。
【0096】
補助記憶装置903とは、データ及びプログラムを保存するための記憶装置である。例えば、フラッシュメモリ、HDD(Hard Disc Drive)、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等である。
【0097】
通信IF991とは、有線又は無線の通信規格を用いて、他のコンピュータとネットワークを介して通信するための信号を入出力するためのインタフェースである。
ネットワークは、インターネット、LAN、無線基地局等によって構築される各種移動通信システム等で構成される。例えば、ネットワークには、3G、4G、5G移動通信システム、LTE(Long Term Evolution)、所定のアクセスポイントによってインターネットに接続可能な無線ネットワーク(例えばWi-Fi(登録商標))等が含まれる。無線で接続する場合、通信プロトコルとして例えば、Z-Wave(登録商標)、ZigBee(登録商標)、Bluetooth(登録商標)等が含まれる。有線で接続する場合は、ネットワークには、USB(Universal Serial Bus)ケーブル等により直接接続するものも含む。
【0098】
なお、各ハードウェア構成の全部または一部を複数のコンピュータ90に分散して設け、ネットワークを介して相互に接続することによりコンピュータ90を仮想的に実現することができる。このように、コンピュータ90は、単一の筐体、ケースに収納されたコンピュータ90だけでなく、仮想化されたコンピュータシステムも含む概念である。
【0099】
<コンピュータ90の基本機能構成>
コンピュータ90の基本ハードウェア構成(図11)により実現されるコンピュータの機能構成を説明する。コンピュータは、制御部、記憶部、通信部の機能ユニットを少なくとも備える。
【0100】
なお、コンピュータ90が備える機能ユニットは、それぞれの機能ユニットの全部または一部を、ネットワークで相互に接続された複数のコンピュータ90に分散して設けても実現することができる。コンピュータ90は、単一のコンピュータ90だけでなく、仮想化されたコンピュータシステムも含む概念である。
【0101】
制御部は、プロセッサ901が補助記憶装置903に記憶された各種プログラムを読み出して主記憶装置902に展開し、当該プログラムに従って処理を実行することにより実現される。制御部は、プログラムの種類に応じて様々な情報処理を行う機能ユニットを実現することができる。これにより、コンピュータは情報処理を行う情報処理装置として実現される。
【0102】
記憶部は、主記憶装置902、補助記憶装置903により実現される。記憶部は、データ、各種プログラム、各種データベースを記憶する。また、プロセッサ901は、プログラムに従って記憶部に対応する記憶領域を主記憶装置902または補助記憶装置903に確保することができる。また、制御部は、各種プログラムに従ってプロセッサ901に、記憶部に記憶されたデータの追加、更新、削除処理を実行させることができる。
【0103】
データベースは、リレーショナルデータベースを指し、行と列によって構造的に規定された表形式のテーブル、マスタと呼ばれるデータ集合を、互いに関連づけて管理するためのものである。データベースでは、表をテーブル、マスタ、表の列をカラム、表の行をレコードと呼ぶ。リレーショナルデータベースでは、テーブル、マスタ同士の関係を設定し、関連づけることができる。
通常、各テーブル、各マスタにはレコードを一意に特定するための主キーとなるカラムが設定されるが、カラムへの主キーの設定は必須ではない。制御部は、各種プログラムに従ってプロセッサ901に、記憶部に記憶された特定のテーブル、マスタにレコードを追加、削除、更新を実行させることができる。
【0104】
なお、本開示におけるデータベース、マスタは、情報が構造的に規定された任意のデータ構造体(リスト、辞書、連想配列、オブジェクトなど)を含み得る。データ構造体には、データと、任意のプログラミング言語により記述された関数、クラス、メソッドなどを組み合わせることにより、データ構造体と見なし得るデータも含むものとする。
【0105】
通信部は、通信IF991により実現される。通信部は、ネットワークを介して他のコンピュータ90と通信を行う機能を実現する。通信部は、他のコンピュータ90から送信された情報を受信し、制御部へ入力することができる。制御部は、各種プログラムに従ってプロセッサ901に、受信した情報に対する情報処理を実行させることができる。また、通信部は、制御部から出力された情報を他のコンピュータ90へ送信することができる。
【0106】
<付記>
以上の各実施形態で説明した事項を以下に付記する。
【0107】
(付記1)
プロセッサと、記憶部とを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、デジタルコンテンツを取得する取得ステップ(S101)と、取得ステップにおいて取得したデジタルコンテンツに基づき生成データを生成する生成ステップ(S103)と、を実行させ、生成ステップは、デジタルコンテンツを入力データとして反響指数がより大きくなるような生成データを生成するステップである、プログラム。
これにより、SNSサービスにおいてより大きな反響を期待できる生成データを生成することができる。
【0108】
(付記2)
デジタルコンテンツは、画像または動画データである、付記1記載のプログラム。
これにより、SNSサービスにおいてより大きな反響を期待できる生成データを生成することができる。
【0109】
(付記3)
生成ステップは、取得ステップにおいて取得したデジタルコンテンツに対して、生成モデルを適用することにより生成データを生成するステップである、付記1または2記載のプログラム。
これにより、SNSサービスにおいてより大きな反響を期待できる生成データを生成することができる。
【0110】
(付記4)
生成ステップは、取得ステップにおいて取得したデジタルコンテンツに対して、領域抽出モデルを適用することにより部分画像データを生成するステップと、生成された部分画像データに対して、画像処理モデルを適用することにより生成データを生成するステップと、を含む、付記2記載のプログラム。
これにより、領域抽出モデルにより抽出された領域に対して画像処理モデルを適用することにより、計算量を節約することができる。
【0111】
(付記5)
プログラムは、プロセッサに、生成データの反響指数を推論する反響推論ステップ(S105)と、を実行させ、反響推論ステップにおいて推論される反響指数は、生成データを、外部のSNSサービスに送信する際に用いられるユーザの、SNS属性に基づき算定される、付記1から4のいずれか記載のプログラム。
これにより、SNSサービスへ送信する際のユーザのSNS属性に即したより正確な反響指数を推論することができる。
【0112】
(付記6)
SNS属性は、ユーザのフォロワー数、フォロワー属性、ユーザ属性のうちの少なくともいずれか1つを含む、付記5記載のプログラム。
これにより、SNSサービスへ送信する際のユーザのSNS属性に即したより正確な反響指数を推論することができる。例えば、フォロワー数が多いユーザは、投稿記事に対する反響指数がより大きくなることが期待される。また、投稿記事に対する反響は、フォロワー属性に応じて異なるため、フォロワー属性を考慮してより正確な反響指数を推論することができる。
【0113】
(付記7)
プログラムは、プロセッサに、生成データを、外部のSNSサービスに送信する送信ステップ(S107)と、を実行させる付記1から6のいずれか記載のプログラム。
これにより、SNSサービスにおいてより大きな反響を期待できる生成データを、SNSサービスに対して送信し投稿することができる。
【0114】
(付記8)
プログラムは、プロセッサに、生成データを、外部のSNSサービスに送信する送信ステップ(S107)と、を実行させ、送信ステップは、反響指数が所定の条件を満たした場合に、生成データを、外部のSNSサービスに送信するステップ(S106)である、付記5または6記載のプログラム。
これにより、SNSサービスに対して、反響が期待できない生成データの投稿を減らすことができる。より効率的にSNSサービスに対して送信し投稿することができる。
【0115】
(付記9)
プログラムは、プロセッサに、デジタルコンテンツに基づき、デジタルコンテンツに関するイベント属性を推論するイベント推論ステップ(S102)と、を実行させ、生成ステップは、イベント属性に基づき生成データを生成するステップである、付記1から8のいずれか記載のプログラム。
これにより、イベント属性に基づき、大きな反響を期待できる、イベントに即した生成データを生成することができる。
【0116】
(付記10)
プログラムは、プロセッサに、デジタルコンテンツに基づき、デジタルコンテンツに関するイベント属性を推論するイベント推論ステップ(S102)と、デジタルコンテンツおよびイベント属性に基づき、テキスト情報またはハッシュタグの少なくともいずれか1つを生成するテキスト生成ステップと、を実行させる付記1から9のいずれか記載のプログラム。
これにより、イベント属性に基づき、大きな反響を期待できる、イベントに即したテキストおよびハッシュタグを生成することができる。
【0117】
(付記11)
プロセッサと、記憶部とを備える情報処理装置であって、プロセッサに、デジタルコンテンツを取得する取得ステップ(S101)と、取得ステップにおいて取得したデジタルコンテンツに基づき生成データを生成する生成ステップ(S103)と、を実行させ、生成ステップは、デジタルコンテンツを入力データとして反響指数がより大きくなるような生成データを生成するステップである、情報処理装置。
これにより、SNSサービスにおいてより大きな反響を期待できる生成データを生成することができる。
【0118】
(付記12)
プロセッサと、記憶部とを備える情報処理装置と、撮影端末とからなる情報処理システムであって、プロセッサに、撮影端末からデジタルコンテンツを取得する取得ステップ(S101)と、取得ステップにおいて取得したデジタルコンテンツに基づき生成データを生成する生成ステップ(S103)と、を実行させ、生成ステップは、デジタルコンテンツを入力データとして反響指数がより大きくなるような生成データを生成するステップである、情報処理システム。
これにより、SNSサービスにおいてより大きな反響を期待できる生成データを生成することができる。
【0119】
(付記13)
プロセッサと、記憶部とを備えるコンピュータにより実行される情報処理方法であって、プロセッサに、デジタルコンテンツを取得する取得ステップ(S101)と、取得ステップにおいて取得したデジタルコンテンツに基づき生成データを生成する生成ステップ(S103)と、を実行させ、生成ステップは、デジタルコンテンツを入力データとして反響指数がより大きくなるような生成データを生成するステップである、情報処理方法。
これにより、SNSサービスにおいてより大きな反響を期待できる生成データを生成することができる。
【符号の説明】
【0120】
1 情報処理システム、10 サーバ、101 記憶部、103 制御部、20A,20B,20C ユーザ端末、201 記憶部、204 制御部、30A,30B,30C 撮影端末、301 記憶部、304 制御部

【要約】      (修正有)
【課題】SNSサービスなどに投稿する場合に、画像、動画に対して他のユーザに興味関心を喚起するプログラム、情報処理装置、情報処理システム及び情報処理方法を提供する。
【解決手段】情報処理システム1は、ネットワークNを介して接続された、サーバ10、複数のユーザ端末20、複数の撮影端末30A、30B、30Cと、を備えている。画像データを取得する取得ステップと、取得ステップにおいて取得した画像データに基づき生成データを生成する際に、画像データを入力画像として反響指数がより大きくなるような生成データを生成する。
【選択図】図1
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11