ホーム > 特許ランキング > ＬＩＮＥヤフー株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-18
(45)【発行日】2024-11-26
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20241119BHJP
【ＦＩ】
G06Q50/10
【請求項の数】
3
(21)【出願番号】P 2021132704
(22)【出願日】2021-08-17
(65)【公開番号】P2023027548
(43)【公開日】2023-03-02
【審査請求日】2023-03-15
(73)【特許権者】
【識別番号】500257300
【氏名又は名称】ＬＩＮＥヤフー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】山田 貴史
(72)【発明者】
【氏名】舛田 恵一
(72)【発明者】
【氏名】廣瀬 雄規
(72)【発明者】
【氏名】小川 知紘
【審査官】加舎 理紅子
(56)【参考文献】
【文献】特開２０１４－１６０９６３（ＪＰ，Ａ）
【文献】特開２００２－０１０１７８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００ － ９９／００
(57)【特許請求の範囲】
【請求項1】
利用者によって撮影された画像を入力した際に当該画像に含まれる人物である被写体利用者と前記利用者との関係性を示す関係性情報を出力するように学習させた機械学習モデルを用いて、前記利用者によって撮影された画像から生成された関係性情報を取得する取得部と、前記取得部により取得された関係性情報に基づいて、前記被写体利用者と前記利用者との関係性を特定し、前記関係性に基づいて、前記利用者が前記画像を撮影した際のコンテキストとして、前記関係性に基づくイベントが行われていた状況であると推定する推定部と、
前記画像を表示する場合は、当該画像とともに、前記コンテキストを示すコンテキスト情報を表示させる表示制御部と、
を備えることを特徴とする情報処理装置。
【請求項2】
コンピュータが実行する情報処理方法であって、利用者によって撮影された画像を入力した際に当該画像に含まれる人物である被写体利用者と前記利用者との関係性を示す関係性情報を出力するように学習させた機械学習モデルを用いて、前記利用者によって撮影された画像から生成された関係性情報を取得する取得工程と、
前記取得工程により取得された関係性情報に基づいて、前記被写体利用者と前記利用者との関係性を特定し、前記関係性に基づいて、前記利用者が前記画像を撮影した際のコンテキストとして、前記関係性に基づくイベントが行われていた状況であると推定する推定工程と、
前記画像を表示する場合は、当該画像とともに、前記コンテキストを示すコンテキスト情報を表示させる表示制御工程と、
を含むことを特徴とする情報処理方法。
【請求項3】
利用者によって撮影された画像を入力した際当該画像に含まれる人物である被写体利用者と前記利用者との関係性を示す関係性情報を出力するように学習させた機械学習モデルを用いて、前記利用者によって撮影された画像から生成された関係性情報を取得する取得手順と、前記取得手順により取得された関係性情報に基づいて、前記被写体利用者と前記利用者との関係性を特定し、前記関係性に基づいて、前記利用者が前記画像を撮影した際のコンテキストとして、前記関係性に基づくイベントが行われていた状況であると推定する推定手順と、
前記画像を表示する場合は、当該画像とともに、前記コンテキストを示すコンテキスト情報を表示させる表示制御手順と、
をコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
近年、カメラ及びコンピュータ周辺技術の進歩に伴い、利用者が保管する撮影画像の枚数は膨大な数に上っている。そこで、このような膨大な数の撮影画像を何らかの基準で評価し、整理する技術が求められている。
【0003】
例えば、画像に対して「使う」「使わない」「保留」の三段階の判断を行い、全画像の判断が完了したら「保留」の画像に対して再度三段階の判断を行うという選別サイクルを繰り返す。そして、最終的に「使う」として判断された画像に対して、判断が実施された選別サイクル回数を評価として適用する技術が知られている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１１－２３４０７８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記の従来技術では、利用者が撮影した画像に関する適切な情報を提供することができるとは限らない。例えば、上記の従来技術では、「使う」として判断された画像に対して、判断が実施された選別サイクル回数を評価として適用するに過ぎないため、利用者が撮影した画像に関する適切な情報を提供することができるとは言えない。
【0006】
本願は、上記に鑑みてなされたものであって、利用者が撮影した画像に関する適切な情報を提供することができる情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本願に係る情報処理装置は、画像を撮影した利用者に関する利用者情報を取得する取得部と、前記利用者情報に基づいて、前記利用者が前記画像を撮影した際のコンテキストを推定する推定部と、前記画像を表示する場合は、当該画像とともに、前記コンテキストを示すコンテキスト情報を表示させる表示制御部と、を備えることを特徴とする。
【発明の効果】
【0008】
実施形態の一態様によれば、利用者が撮影した画像に関する適切な情報を提供することができるといった効果を奏する。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態（以下、「実施形態」と記載する）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0011】
〔１．情報処理方法の概要〕
図１は、実施形態に係る情報処理の概要を示す図である。図１に示す情報処理は、情報処理システム１によって実現される。なお、図１では、本願に係る情報処理装置の一例である情報提供装置１００によって、実施形態に係る情報処理が実現されるものとする。
図１は、実施形態に係る情報処理の概要を示す図である。図１に示す情報処理は、情報処理システム１によって実現される。なお、図１では、本願に係る情報処理装置の一例である情報提供装置１００によって、実施形態に係る情報処理が実現されるものとする。
【0012】
図１に示すように、実施形態に係る情報処理システム１は、端末装置１０と情報提供装置１００とを含む。端末装置１０と情報提供装置１００は、ネットワークＮ（図示略）を介して有線または無線により相互に通信可能に接続される。ネットワークＮは、例えば、ＬＡＮ（Local Area Network）や、インターネット等のＷＡＮ（Wide Area Network）である。
【0013】
また、図１に示す情報処理システム１に含まれる各装置の数は図示したものに限られない。例えば、図１では、図示の簡略化のため、端末装置１０を１台のみ示したが、これはあくまでも例示であって限定されるものではなく、２台以上であってもよい。
【0014】
図１に示す端末装置１０は、情報提供装置１００が提供するサービスの利用者Ｕ（以下、利用者Ｕと略記する場合がある）によって利用される情報処理装置である。例えば、端末装置１０は、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。また、端末装置１０は、情報提供装置１００によって配信される情報を、ウェブブラウザやアプリケーションにより表示する。また、端末装置１０は、カメラを備える。なお、図１に示す例では、端末装置１０がスマートフォンである場合を示す。
【0015】
情報提供装置１００は、利用者が撮影した画像のアップロードを受け付けて、利用者の要求に応じて画像を配信するサービス（以下、画像提供サービスともいう）を提供する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。具体的には、情報提供装置１００は、画像提供サービスの一例として、Ｆａｃｅｂｏｏｋ（登録商標）やＩｎｓｔａｇｒａｍ（登録商標）等のＳＮＳ（Social Networking Service）に関するサービス、またはＬＩＮＥ（登録商標）等のメッセージサービスを提供する。例えば、情報提供装置１００は、利用者が入力したテキストや、利用者が端末装置１０を用いて撮影した画像（静止画像、動画像）などといった各種情報の投稿を受け付けると、受け付けた情報を公開することで、画像提供サービスの利用者の間で情報を共有させる。なお、図１では、情報提供装置１００がＬＩＮＥ（登録商標）等のメッセージサービスを提供する場合について説明する。
【0016】
図１では、２０２１年６月１０日に、情報提供装置１００が提供する画像提供サービスの利用者Ｕ１が端末装置１０を用いて画像Ｇ１を撮影し、撮影した画像Ｇ１をメッセージサービスに投稿する。端末装置１０は、利用者Ｕ１の操作に応じて、画像Ｇ１を情報提供装置１００に送信する。情報提供装置１００は、端末装置１０から画像Ｇ１を取得する（ステップＳ１）。なお、図１では、画像Ｇ１が静止画像である場合について説明するが、画像Ｇ１は動画像であってもよい。
【0017】
情報提供装置１００は、画像Ｇ１の投稿を受け付けると、受け付けた画像Ｇ１を公開することで、メッセージサービスの利用者の間で画像Ｇ１を共有させる。また、情報提供装置１００は、画像Ｇ１を取得すると、画像Ｇ１を撮影した利用者Ｕ１に関する利用者情報を取得する（ステップＳ２）。
【0018】
続いて、情報提供装置１００は、利用者情報を取得すると、取得した利用者情報に基づいて、利用者Ｕ１が画像Ｇ１を撮影した際のコンテキストを推定する（ステップＳ３）。例えば、情報提供装置１００は、画像Ｇ１の撮影日時の前後における利用者Ｕ１の家族の位置情報の履歴に基づいて、画像Ｇ１の撮影日時の前後において利用者Ｕ１の家族が一緒に移動していると推定する。続いて、情報提供装置１００は、画像Ｇ１の撮影日時の前後において利用者Ｕ１の家族が一緒に移動しているので、利用者Ｕ１が画像Ｇ１を撮影した際のコンテキストとして、利用者Ｕ１が家族旅行の最中であると推定する。続いて、情報提供装置１００は、コンテキストを推定すると、推定したコンテキストを示すコンテキスト情報ＣＴ１を画像Ｇ１と対応付けて記憶する（ステップＳ３）。
【0019】
その後、２０２１年６月１０日からしばらく経った２０２１年８月２日に、利用者Ｕ１は、メッセージサービスに投稿した画像Ｇ１を視聴する。端末装置１０は、利用者Ｕ１の操作に応じて、画像Ｇ１の表示要求を情報提供装置１００に送信する。情報提供装置１００は、端末装置１０から画像Ｇ１の表示要求を受け付ける（ステップＳ４）。
【0020】
続いて、情報提供装置１００は、画像Ｇ１の表示要求を受け付けると、画像Ｇ１とともにコンテキスト情報ＣＴ１を端末装置１０に提供する（ステップＳ５）。例えば、情報提供装置１００は、画像Ｇ１とともに、画像Ｇ１のキャプションとしてコンテキスト情報ＣＴ１（図１に示す例では、「家族と旅行中」という文字情報）が表示されるコンテンツを生成する。
【0021】
例えば、情報提供装置１００は、利用者Ｕ１によって撮影された複数の画像のサムネイルの一覧とともに、複数の画像それぞれのキャプションとしてそれぞれの画像を撮影した際の利用者Ｕ１のコンテキストを示すコンテキスト情報が表示されるコンテンツを生成する。情報提供装置１００は、コンテンツを生成すると、生成したコンテンツを端末装置１０に送信する。端末装置１０は、コンテンツを受信すると、受信したコンテンツを画面に表示する。
【0022】
以上のように、実施形態に係る情報提供装置１００は、画像Ｇ１を撮影した利用者Ｕ１に関する利用者情報に基づいて、利用者Ｕ１が画像Ｇ１を撮影した際のコンテキストを推定する。また、情報提供装置１００は、画像Ｇ１を表示する場合は、画像Ｇ１とともに、利用者Ｕ１が画像Ｇ１を撮影した際のコンテキストを示すコンテキスト情報ＣＴ１を端末装置１０に表示させる。このように、情報提供装置１００は、画像Ｇ１を表示する場合に、画像Ｇ１とともにコンテキスト情報ＣＴ１（図１に示す例では、「家族と旅行中」という文字情報）を表示して利用者Ｕ１に視認させることにより、利用者Ｕ１が画像Ｇ１に関連する体験を思い出すのを助けることができる。したがって、情報提供装置１００は、利用者が撮影した画像に関する適切な情報を提供することができる。
【0023】
〔２．端末装置の構成例〕
図２は、端末装置１０の構成例を示す図である。図２に示すように、端末装置１０は、通信部１１と、表示部１２と、入力部１３と、測位部１４と、センサ部２０と、制御部３０（コントローラ）と、記憶部４０とを備える。
図２は、端末装置１０の構成例を示す図である。図２に示すように、端末装置１０は、通信部１１と、表示部１２と、入力部１３と、測位部１４と、センサ部２０と、制御部３０（コントローラ）と、記憶部４０とを備える。
【0024】
（通信部１１）
通信部１１は、ネットワークＮ（図示略）と有線又は無線で接続され、ネットワークＮを介して、情報提供装置１００との間で情報の送受信を行う。例えば、通信部１１は、ＮＩＣ（Network Interface Card）やアンテナ等によって実現される。
通信部１１は、ネットワークＮ（図示略）と有線又は無線で接続され、ネットワークＮを介して、情報提供装置１００との間で情報の送受信を行う。例えば、通信部１１は、ＮＩＣ（Network Interface Card）やアンテナ等によって実現される。
【0025】
（表示部１２）
表示部１２は、位置情報等の各種情報を表示する表示デバイスである。例えば、表示部１２は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescent Display）である。また、表示部１２は、タッチパネル式のディスプレイであるが、これに限定されるものではない。
表示部１２は、位置情報等の各種情報を表示する表示デバイスである。例えば、表示部１２は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescent Display）である。また、表示部１２は、タッチパネル式のディスプレイであるが、これに限定されるものではない。
【0026】
（入力部１３）
入力部１３は、利用者Ｕから各種操作を受け付ける入力デバイスである。また、入力部１３は、例えば、文字や数字等を入力するためのボタン等を有する。また、表示部１２がタッチパネル式のディスプレイである場合、表示部１２の一部が入力部１３として機能する。なお、入力部１３は、利用者Ｕから音声入力を受け付けるマイク等であってもよい。マイクはワイヤレスであってもよい。
入力部１３は、利用者Ｕから各種操作を受け付ける入力デバイスである。また、入力部１３は、例えば、文字や数字等を入力するためのボタン等を有する。また、表示部１２がタッチパネル式のディスプレイである場合、表示部１２の一部が入力部１３として機能する。なお、入力部１３は、利用者Ｕから音声入力を受け付けるマイク等であってもよい。マイクはワイヤレスであってもよい。
【0027】
（測位部１４）
測位部１４は、ＧＰＳ（Global Positioning System）の衛星から送出される信号（電波）を受信し、受信した信号に基づいて、自装置である端末装置１０の現在位置を示す位置情報（例えば、緯度及び経度）を取得する。すなわち、測位部１４は、端末装置１０の位置を測位する。なお、ＧＰＳは、ＧＮＳＳ（Global Navigation Satellite System）の一例に過ぎない。
測位部１４は、ＧＰＳ（Global Positioning System）の衛星から送出される信号（電波）を受信し、受信した信号に基づいて、自装置である端末装置１０の現在位置を示す位置情報（例えば、緯度及び経度）を取得する。すなわち、測位部１４は、端末装置１０の位置を測位する。なお、ＧＰＳは、ＧＮＳＳ（Global Navigation Satellite System）の一例に過ぎない。
【0028】
また、測位部１４は、ＧＰＳ以外にも、種々の手法により位置を測位することができる。例えば、測位部１４は、位置補正等のための補助的な測位手段として、下記のように、端末装置１０の様々な通信機能を利用して位置を測位してもよい。
【0029】
（Ｗｉ－Ｆｉ測位）
例えば、測位部１４は、端末装置１０のＷｉ－Ｆｉ（登録商標）通信機能や、各通信会社が備える通信網を利用して、端末装置１０の位置を測位する。具体的には、測位部１４は、Ｗｉ－Ｆｉ通信等を行い、付近の基地局やアクセスポイントとの距離を測位することにより、端末装置１０の位置を測位する。
例えば、測位部１４は、端末装置１０のＷｉ－Ｆｉ（登録商標）通信機能や、各通信会社が備える通信網を利用して、端末装置１０の位置を測位する。具体的には、測位部１４は、Ｗｉ－Ｆｉ通信等を行い、付近の基地局やアクセスポイントとの距離を測位することにより、端末装置１０の位置を測位する。
【0030】
（ビーコン測位）
また、測位部１４は、端末装置１０のＢｌｕｅｔｏｏｔｈ（登録商標）機能を利用して位置を測位してもよい。例えば、測位部１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）機能によって接続されるビーコン（beacon）発信機と接続することにより、端末装置１０の位置を測位する。
また、測位部１４は、端末装置１０のＢｌｕｅｔｏｏｔｈ（登録商標）機能を利用して位置を測位してもよい。例えば、測位部１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）機能によって接続されるビーコン（beacon）発信機と接続することにより、端末装置１０の位置を測位する。
【0031】
（地磁気測位）
また、測位部１４は、予め測定された構造物の地磁気のパターンと、端末装置１０が備える地磁気センサとに基づいて、端末装置１０の位置を測位する。
また、測位部１４は、予め測定された構造物の地磁気のパターンと、端末装置１０が備える地磁気センサとに基づいて、端末装置１０の位置を測位する。
【0032】
（ＲＦＩＤ測位）
また、例えば、端末装置１０が駅改札や店舗等で使用される非接触型ＩＣカードと同等のＲＦＩＤ（Radio Frequency Identification）タグの機能を備えている場合、もしくはＲＦＩＤタグを読み取る機能を備えている場合、端末装置１０によって決済等が行われた情報とともに、使用された位置が記録される。測位部１４は、かかる情報を取得することで、端末装置１０の位置を測位してもよい。また、位置は、端末装置１０が備える光学式センサや、赤外線センサ等によって測位されてもよい。
また、例えば、端末装置１０が駅改札や店舗等で使用される非接触型ＩＣカードと同等のＲＦＩＤ（Radio Frequency Identification）タグの機能を備えている場合、もしくはＲＦＩＤタグを読み取る機能を備えている場合、端末装置１０によって決済等が行われた情報とともに、使用された位置が記録される。測位部１４は、かかる情報を取得することで、端末装置１０の位置を測位してもよい。また、位置は、端末装置１０が備える光学式センサや、赤外線センサ等によって測位されてもよい。
【0033】
測位部１４は、必要に応じて、上述した測位手段の一つ又は組合せを用いて、端末装置１０の位置を測位してもよい。
【0034】
（センサ部２０）
センサ部２０は、端末装置１０に搭載又は接続される各種のセンサを含む。なお、接続は、有線接続、無線接続を問わない。例えば、センサ類は、ウェアラブルデバイスやワイヤレスデバイス等、端末装置１０以外の検知装置であってもよい。図２に示す例では、センサ部２０は、加速度センサ２１と、ジャイロセンサ２２と、気圧センサ２３と、気温センサ２４と、音センサ２５と、光センサ２６と、磁気センサ２７と、画像センサ（カメラ）２８とを備える。
センサ部２０は、端末装置１０に搭載又は接続される各種のセンサを含む。なお、接続は、有線接続、無線接続を問わない。例えば、センサ類は、ウェアラブルデバイスやワイヤレスデバイス等、端末装置１０以外の検知装置であってもよい。図２に示す例では、センサ部２０は、加速度センサ２１と、ジャイロセンサ２２と、気圧センサ２３と、気温センサ２４と、音センサ２５と、光センサ２６と、磁気センサ２７と、画像センサ（カメラ）２８とを備える。
【0035】
なお、上記した各センサ２１～２８は、あくまでも例示であって限定されるものではない。すなわち、センサ部２０は、各センサ２１～２８のうちの一部を備える構成であってもよいし、各センサ２１～２８に加えてあるいは代えて、湿度センサ等その他のセンサを備えてもよい。例えば、センサ部２０は、利用者の生体情報（例えば、体温、鼓動、血圧、心拍数など）を測定可能な生体センサを備えてもよい。端末装置１０は、センサ部２０が備える生体センサによって検出された利用者の生体情報を取得する。端末装置１０は、取得した利用者の生体情報を情報提供装置１００に送信する。
【0036】
加速度センサ２１は、例えば、３軸加速度センサであり、端末装置１０の移動方向、速度、及び、加速度等の端末装置１０の物理的な動きを検知する。ジャイロセンサ２２は、端末装置１０の角速度等に基づいて３軸方向の傾き等の端末装置１０の物理的な動きを検知する。気圧センサ２３は、例えば端末装置１０の周囲の気圧を検知する。
【0037】
端末装置１０は、上記した加速度センサ２１やジャイロセンサ２２、気圧センサ２３等を備えることから、これらの各センサ２１～２３等を利用した歩行者自律航法（ＰＤＲ：Pedestrian Dead-Reckoning）等の技術を用いて端末装置１０の位置を測位することが可能になる。これにより、ＧＰＳ等の測位システムでは取得することが困難な屋内での位置情報を取得することが可能になる。
【0038】
例えば、加速度センサ２１を利用した歩数計により、歩数や歩くスピード、歩いた距離を算出することができる。また、ジャイロセンサ２２を利用して、利用者Ｕの進行方向や視線の方向、体の傾きを知ることができる。また、気圧センサ２３で検知した気圧から、利用者Ｕの端末装置１０が存在する高度やフロアの階数を知ることもできる。
【0039】
気温センサ２４は、例えば端末装置１０の周囲の気温を検知する。音センサ２５は、例えば端末装置１０の周囲の音を検知する。光センサ２６は、端末装置１０の周囲の照度を検知する。磁気センサ２７は、例えば端末装置１０の周囲の地磁気を検知する。画像センサ２８（例えば、カメラ）は、端末装置１０の周囲の画像を撮像する。
【0040】
上記した気圧センサ２３、気温センサ２４、音センサ２５、光センサ２６及び画像センサ２８は、それぞれ気圧、気温、音、照度を検知したり、周囲の画像を撮像したりすることで、端末装置１０の周囲の環境や状況等を検知することができる。また、端末装置１０の周囲の環境や状況等から、端末装置１０の位置情報の精度を向上させることが可能になる。
【0041】
（制御部３０）
制御部３０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ、入出力ポート等を有するマイクロコンピュータや各種の回路を含む。また、制御部３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路等のハードウェアで構成されてもよい。制御部３０は、送信部３１と、受信部３２と、処理部３３とを備える。
制御部３０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ、入出力ポート等を有するマイクロコンピュータや各種の回路を含む。また、制御部３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路等のハードウェアで構成されてもよい。制御部３０は、送信部３１と、受信部３２と、処理部３３とを備える。
【0042】
（送信部３１）
送信部３１は、例えば入力部１３を用いて利用者Ｕにより入力された各種情報や、端末装置１０に搭載又は接続された各センサ２１～２８によって検知された各種情報、測位部１４によって測位された端末装置１０の位置情報等を、通信部１１を介して情報提供装置１００へ送信することができる。例えば、送信部３１は、画像センサ２８が撮影した画像を情報提供装置１００へ送信する。また、送信部３１は、画像の表示要求を情報提供装置１００へ送信する。
送信部３１は、例えば入力部１３を用いて利用者Ｕにより入力された各種情報や、端末装置１０に搭載又は接続された各センサ２１～２８によって検知された各種情報、測位部１４によって測位された端末装置１０の位置情報等を、通信部１１を介して情報提供装置１００へ送信することができる。例えば、送信部３１は、画像センサ２８が撮影した画像を情報提供装置１００へ送信する。また、送信部３１は、画像の表示要求を情報提供装置１００へ送信する。
【0043】
（受信部３２）
受信部３２は、通信部１１を介して、情報提供装置１００から提供される各種情報や、情報提供装置１００からの各種情報の要求を受信することができる。例えば、受信部３２は、通信部１１を介して、画像とコンテキスト情報を含むコンテンツを情報提供装置１００から受信する。
受信部３２は、通信部１１を介して、情報提供装置１００から提供される各種情報や、情報提供装置１００からの各種情報の要求を受信することができる。例えば、受信部３２は、通信部１１を介して、画像とコンテキスト情報を含むコンテンツを情報提供装置１００から受信する。
【0044】
（処理部３３）
処理部３３は、表示部１２等を含め、端末装置１０全体を制御する。例えば、処理部３３は、送信部３１によって送信される各種情報や、受信部３２によって受信された情報提供装置１００からの各種情報を表示部１２へ出力して表示させることができる。例えば、処理部３３は、受信部３２によって受信された画像とコンテキスト情報を含むコンテンツを表示部１２へ出力して表示させる。
処理部３３は、表示部１２等を含め、端末装置１０全体を制御する。例えば、処理部３３は、送信部３１によって送信される各種情報や、受信部３２によって受信された情報提供装置１００からの各種情報を表示部１２へ出力して表示させることができる。例えば、処理部３３は、受信部３２によって受信された画像とコンテキスト情報を含むコンテンツを表示部１２へ出力して表示させる。
【0045】
（記憶部４０）
記憶部４０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク等の記憶装置によって実現される。かかる記憶部４０には、各種プログラムや各種データ等が記憶される。
記憶部４０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク等の記憶装置によって実現される。かかる記憶部４０には、各種プログラムや各種データ等が記憶される。
【0046】
【0047】
（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。また、通信部１１０は、ネットワークＮ（図示略）と有線又は無線で接続される。
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。また、通信部１１０は、ネットワークＮ（図示略）と有線又は無線で接続される。
【0048】
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。図３に示すように、記憶部１２０は、利用者情報データベース１２１と、履歴情報データベース１２２と、画像情報データベース１２３とを有する。
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。図３に示すように、記憶部１２０は、利用者情報データベース１２１と、履歴情報データベース１２２と、画像情報データベース１２３とを有する。
【0049】
（利用者情報データベース１２１）
利用者情報データベース１２１は、情報提供装置１００が提供するサービスの利用者Ｕに関する各種情報を記憶する。例えば、利用者情報データベース１２１は、利用者Ｕの属性等の種々の情報を記憶する。図４は、利用者情報データベース１２１の一例を示す図である。図４に示した例では、利用者情報データベース１２１は、「利用者ＩＤ（Identifier）」、「年齢」、「性別」、「自宅」、「勤務地」、「興味」といった項目を有する。
利用者情報データベース１２１は、情報提供装置１００が提供するサービスの利用者Ｕに関する各種情報を記憶する。例えば、利用者情報データベース１２１は、利用者Ｕの属性等の種々の情報を記憶する。図４は、利用者情報データベース１２１の一例を示す図である。図４に示した例では、利用者情報データベース１２１は、「利用者ＩＤ（Identifier）」、「年齢」、「性別」、「自宅」、「勤務地」、「興味」といった項目を有する。
【0050】
「利用者ＩＤ」は、利用者Ｕを識別するための識別情報を示す。また、「年齢」は、利用者ＩＤにより識別される利用者Ｕの年齢を示す。なお、「年齢」は、例えば３５歳など、利用者ＩＤにより識別される利用者Ｕの具体的な年齢であってもよい。また、「性別」は、利用者ＩＤにより識別される利用者Ｕの性別を示す。
【0051】
また、「自宅」は、利用者ＩＤにより識別される利用者Ｕの自宅の位置情報を示す。なお、図４に示す例では、「自宅」は、「ＬＣ１１」といった抽象的な符号を図示するが、緯度経度情報等であってもよい。また、例えば、「自宅」は、地域名や住所であってもよい。
【0052】
また、「勤務地」は、利用者ＩＤにより識別される利用者Ｕの勤務地（学生の場合は学校）の位置情報を示す。なお、図４に示す例では、「勤務地」は、「ＬＣ１２」といった抽象的な符号を図示するが、緯度経度情報等であってもよい。また、例えば、「勤務地」は、地域名や住所であってもよい。
【0053】
また、「興味」は、利用者ＩＤにより識別される利用者Ｕの興味を示す。すなわち、「興味」は、利用者ＩＤにより識別される利用者Ｕが関心の高い対象を示す。例えば、「興味」は、利用者Ｕが検索エンジンに入力して検索した検索クエリ（キーワード）等であってもよい。なお、図４に示す例では、「興味」は、各利用者Ｕに１つずつ図示するが、複数であってもよい。
【0054】
例えば、図４に示す例において、利用者ＩＤ「Ｕ１」により識別される利用者Ｕの年齢は、「２０代」であり、性別は、「男性」であることを示す。また、例えば、利用者ＩＤ「Ｕ１」により識別される利用者Ｕは、自宅が「ＬＣ１１」であることを示す。また、例えば、利用者ＩＤ「Ｕ１」により識別される利用者Ｕは、勤務地が「ＬＣ１２」であることを示す。また、例えば、利用者ＩＤ「Ｕ１」により識別される利用者Ｕは、「スポーツ」に興味があることを示す。
【0055】
ここで、図４に示す例では、「Ｕ１」、「ＬＣ１１」及び「ＬＣ１２」といった抽象的な値を用いて図示するが、「Ｕ１」、「ＬＣ１１」及び「ＬＣ１２」には、具体的な文字列や数値等の情報が記憶されるものとする。以下、他の情報に関する図においても、抽象的な値を図示する場合がある。
【0056】
なお、利用者情報データベース１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、利用者情報データベース１２１は、利用者Ｕの端末装置１０に関する各種情報を記憶してもよい。また、利用者情報データベース１２１は、利用者Ｕのデモグラフィック（人口統計学的属性）、サイコグラフィック（心理学的属性）、ジオグラフィック（地理学的属性）、ベヘイビオラル（行動学的属性）等の属性に関する情報を記憶してもよい。例えば、利用者情報データベース１２１は、氏名、家族構成、出身地（地元）、職業、職位、収入、資格、居住形態（戸建、マンション等）、車の有無、通学・通勤時間、通学・通勤経路、定期券区間（駅、路線等）、利用頻度の高い駅（自宅・勤務地の最寄駅以外）、習い事（場所、時間帯等）、趣味、興味、ライフスタイル等の情報を記憶してもよい。
【0057】
（履歴情報データベース１２２）
履歴情報データベース１２２は、利用者Ｕの行動を示す履歴情報（ログデータ）に関する各種情報を記憶する。図５は、履歴情報データベース１２２の一例を示す図である。図５に示した例では、履歴情報データベース１２２は、「利用者ＩＤ」、「位置履歴」、「検索履歴」、「閲覧履歴」、「購買履歴」、「投稿履歴」といった項目を有する。
履歴情報データベース１２２は、利用者Ｕの行動を示す履歴情報（ログデータ）に関する各種情報を記憶する。図５は、履歴情報データベース１２２の一例を示す図である。図５に示した例では、履歴情報データベース１２２は、「利用者ＩＤ」、「位置履歴」、「検索履歴」、「閲覧履歴」、「購買履歴」、「投稿履歴」といった項目を有する。
【0058】
「利用者ＩＤ」は、利用者Ｕを識別するための識別情報を示す。また、「位置履歴」は、利用者Ｕの位置や移動の履歴である位置履歴を示す。また、「検索履歴」は、利用者Ｕが入力した検索クエリの履歴である検索履歴を示す。また、「閲覧履歴」は、利用者Ｕが閲覧したコンテンツの履歴である閲覧履歴を示す。また、「購買履歴」は、利用者Ｕによる購買の履歴である購買履歴を示す。また、「投稿履歴」は、利用者Ｕによる投稿の履歴である投稿履歴を示す。なお、「投稿履歴」は、利用者Ｕの所有物に関する質問を含んでいてもよい。
【0059】
例えば、図５に示す例において、利用者ＩＤ「Ｕ１」により識別される利用者Ｕは、「位置履歴＃１」の通りに移動し、「検索履歴＃１」の通りに検索し、「閲覧履歴＃１」の通りにコンテンツを閲覧し、「購買履歴＃１」の通りに所定の店舗等で所定の商品等を購入し、「投稿履歴＃１」の通りに投稿したことを示す。
【0060】
ここで、図５に示す例では、「Ｕ１」、「位置履歴＃１」、「検索履歴＃１」、「閲覧履歴＃１」、「購買履歴＃１」及び「投稿履歴＃１」といった抽象的な値を用いて図示するが、「Ｕ１」、「位置履歴＃１」、「検索履歴＃１」、「閲覧履歴＃１」、「購買履歴＃１」及び「投稿履歴＃１」には、具体的な文字列や数値等の情報が記憶されるものとする。
【0061】
なお、履歴情報データベース１２２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、履歴情報データベース１２２は、ＬＩＮＥ（登録商標）等のメッセージサービスにおいて利用者Ｕが他の利用者と過去にやり取りしたメッセージの履歴に関するメッセージ情報を記憶する。
【0062】
また、履歴情報データベース１２２は、利用者Ｕの実店舗の来店履歴又は施設の訪問履歴等を記憶してもよい。また、履歴情報データベース１２２は、利用者Ｕの電子決済での決済履歴等を記憶してもよい。
【0063】
（画像情報データベース１２３）
画像情報データベース１２３は、利用者Ｕが撮影した画像に関する各種情報を記憶する。図６は、画像情報データベース１２３の一例を示す図である。図６に示した例では、画像情報データベース１２３は、「画像ＩＤ」、「撮影者」、「撮影日時」、「撮影場所」、「画像に含まれる人物情報」、「コンテキスト情報」といった項目を有する。
画像情報データベース１２３は、利用者Ｕが撮影した画像に関する各種情報を記憶する。図６は、画像情報データベース１２３の一例を示す図である。図６に示した例では、画像情報データベース１２３は、「画像ＩＤ」、「撮影者」、「撮影日時」、「撮影場所」、「画像に含まれる人物情報」、「コンテキスト情報」といった項目を有する。
【0064】
「画像ＩＤ」は、画像を識別するための識別情報を示す。また、「撮影者」は、画像ＩＤによって識別される画像を撮影した利用者を識別するための識別情報を示す。
【0065】
また、「撮影日時」は、画像ＩＤによって識別される画像が撮影された日時を示す。例えば、「撮影日時」は、画像が動画像である場合には、動画像の撮影開始日時と動画像の撮影終了日時の組の情報であってよい。なお、図６に示す例では、「撮影日時」は、「撮影日時＃１」といった抽象的な値を用いて図示するが、「撮影日時」には、具体的な文字列や数値等の情報が記憶されるものとする。
【0066】
また、「撮影場所」は、画像ＩＤによって識別される画像が撮影された場所の位置情報を示す。なお、図６に示す例では、「撮影場所」は、「撮影場所＃１」といった抽象的な値を用いて図示するが、緯度経度情報等であってもよい。また、例えば、「撮影場所」は、地域名や住所であってもよい。
【0067】
また、「画像に含まれる人物情報」は、画像ＩＤによって識別される画像に写っている人物に関する情報を示す。なお、図６に示す例では、「画像に含まれる人物情報」は、「人物情報＃１」といった抽象的な値を用いて図示するが、「画像に含まれる人物情報」には、具体的な文字列や数値等の情報が記憶されるものとする。例えば、「画像に含まれる人物情報」は、画像ＩＤによって識別される画像に写っている人物と撮影者との関係性を示す情報（例えば、「子ども」、「職場の同僚」など）であってよい。また、「画像に含まれる人物情報」は、画像に写っている人物を識別する利用者ＩＤであってもよいし、画像に写っている人物の氏名等であってもよい。
【0068】
また、「コンテキスト情報」は、画像ＩＤによって識別される画像を撮影した利用者（撮影者）のコンテキストを示す。なお、図６に示す例では、「コンテキスト情報」は、「ＣＴ１」といった抽象的な値を用いて図示するが、「コンテキスト情報」には、具体的な文字列や数値等の情報が記憶されるものとする。例えば、「コンテキスト情報」は、コンテキストを示す文字情報（例えば、「家族と旅行中」、「子どもの誕生日」など）であってよい。
【0069】
（制御部１３０）
図３に戻り、説明を続ける。制御部１３０は、コントローラ（Controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等によって、情報提供装置１００の内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭ等の記憶領域を作業領域として実行されることにより実現される。図３に示す例では、制御部１３０は、取得部１３１と、生成部１３２と、推定部１３３と、受付部１３４と、表示制御部１３５とを有する。
図３に戻り、説明を続ける。制御部１３０は、コントローラ（Controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等によって、情報提供装置１００の内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭ等の記憶領域を作業領域として実行されることにより実現される。図３に示す例では、制御部１３０は、取得部１３１と、生成部１３２と、推定部１３３と、受付部１３４と、表示制御部１３５とを有する。
【0070】
（取得部１３１）
取得部１３１は、通信部１１０を介して、端末装置１０や各種サーバ等から、情報提供装置１００が提供するサービスの利用者に関する各種情報を取得する。例えば、取得部１３１は、利用者を示す情報（利用者ＩＤ等）や、利用者の位置情報、利用者の属性情報等を取得する。そして、取得部１３１は、記憶部１２０の利用者情報データベース１２１に登録する。また、取得部１３１は、端末装置１０から利用者の生体情報を取得してもよい。取得部１３１は、利用者の生体情報を取得すると、端末装置１０が生体情報を取得した取得日時と生体情報とを対応付けて利用者情報データベース１２１に登録してよい。
取得部１３１は、通信部１１０を介して、端末装置１０や各種サーバ等から、情報提供装置１００が提供するサービスの利用者に関する各種情報を取得する。例えば、取得部１３１は、利用者を示す情報（利用者ＩＤ等）や、利用者の位置情報、利用者の属性情報等を取得する。そして、取得部１３１は、記憶部１２０の利用者情報データベース１２１に登録する。また、取得部１３１は、端末装置１０から利用者の生体情報を取得してもよい。取得部１３１は、利用者の生体情報を取得すると、端末装置１０が生体情報を取得した取得日時と生体情報とを対応付けて利用者情報データベース１２１に登録してよい。
【0071】
また、取得部１３１は、通信部１１０を介して、各種サーバ等から、利用者の行動を示す各種の履歴情報（ログデータ）を取得する。そして、取得部１３１は、記憶部１２０の履歴情報データベース１２２に登録する。
【0072】
また、取得部１３１は、通信部１１０を介して、利用者の端末装置１０から利用者が撮影した画像を取得する。例えば、取得部１３１は、画像を撮影した利用者（撮影者）を識別する利用者ＩＤとともに、利用者が撮影した画像を取得する。続いて、取得部１３１は、画像を取得すると、取得した画像に関する画像情報を取得する。例えば、取得部１３１は、画像情報の一例として、取得した画像に紐づけられたメタデータである撮影日時および撮影場所を示す情報を取得する。また、取得部１３１は、画像情報の一例として、画像に含まれる人物である被写体利用者に関する被写体利用者情報を取得する。例えば、取得部１３１は、公知の画像解析技術を用いて、画像に含まれる人物（被写体利用者）を特定する。続いて、取得部１３１は、例えば、被写体利用者の利用者ＩＤに基づいて、利用者情報データベース１２１および履歴情報データベース１２２を参照して、被写体利用者情報を取得する。取得部１３１は、画像情報を取得すると、取得した画像情報を撮影者の利用者ＩＤと対応付けて、画像情報データベース１２３に格納する。
【0073】
（生成部１３２）
生成部１３２は、利用者が撮影した画像から、画像に含まれる人物と関係する利用者情報を推定する機械学習モデルを生成する。具体的には、生成部１３２は、利用者が撮影した画像と画像に含まれる人物と関係する利用者情報との組を正解データとして機械学習モデルに学習させる。すなわち、生成部１３２は、利用者が撮影した画像を機械学習モデルに入力した際に、画像に含まれる人物と関係する利用者情報もしくは画像に含まれる人物と関係する利用者情報と対応する情報を出力するように、バックプロパゲーション等の技術を用いて、機械学習モデルの学習を行う。例えば、生成部１３２は、画像の撮影時刻の前後における利用者の購買情報、検索情報、閲覧情報、位置情報、予約情報、投稿情報、およびメッセージ情報のうち、画像に含まれる人物とのやり取りに関連する情報を画像に含まれる人物と関係する利用者情報として特定する。例えば、生成部１３２は、画像の撮影時刻の前後におけるメッセージ情報のうち、利用者と画像に映っている人物とのメッセージのやり取りの履歴（例えば、トーク先など）に関する情報を画像に含まれる人物と関係する利用者情報として特定する。
生成部１３２は、利用者が撮影した画像から、画像に含まれる人物と関係する利用者情報を推定する機械学習モデルを生成する。具体的には、生成部１３２は、利用者が撮影した画像と画像に含まれる人物と関係する利用者情報との組を正解データとして機械学習モデルに学習させる。すなわち、生成部１３２は、利用者が撮影した画像を機械学習モデルに入力した際に、画像に含まれる人物と関係する利用者情報もしくは画像に含まれる人物と関係する利用者情報と対応する情報を出力するように、バックプロパゲーション等の技術を用いて、機械学習モデルの学習を行う。例えば、生成部１３２は、画像の撮影時刻の前後における利用者の購買情報、検索情報、閲覧情報、位置情報、予約情報、投稿情報、およびメッセージ情報のうち、画像に含まれる人物とのやり取りに関連する情報を画像に含まれる人物と関係する利用者情報として特定する。例えば、生成部１３２は、画像の撮影時刻の前後におけるメッセージ情報のうち、利用者と画像に映っている人物とのメッセージのやり取りの履歴（例えば、トーク先など）に関する情報を画像に含まれる人物と関係する利用者情報として特定する。
【0074】
また、生成部１３２は、学習済みの機械学習モデルを用いて、画像に含まれる人物と関係する利用者情報を推定する。例えば、生成部１３２は、学習済みの機械学習モデルに対し、取得した画像を入力する。そして、生成部１３２は、画像を入力した際に機械学習モデルが出力した画像に含まれる人物と関係する利用者情報（もしくは、機械学習モデルが出力した情報が示す画像に含まれる人物と関係する利用者情報）を、推定結果として取得する。例えば、生成部１３２は、利用者が撮影した画像を入力した際に機械学習モデルが出力した購買情報、検索情報、閲覧情報、位置情報、予約情報、投稿情報、およびメッセージ情報を推定結果とする。例えば、生成部１３２は、利用者と画像に映っている人物とのメッセージのやり取りの履歴（例えば、トーク先など）に関する情報を推定結果として取得する。
【0075】
（推定部１３３）
推定部１３３は、取得部１３１が画像を取得すると、画像を撮影した利用者（以下、撮影者ともいう）に関する利用者情報を取得する。より具体的には、推定部１３３は、画像の撮影日時の前後（例えば、画像の撮影日時を含む所定期間）における撮影者の利用者情報を取得する。例えば、取得部１３１は、画像とともに取得した利用者ＩＤに基づいて、利用者情報データベース１２１および履歴情報データベース１２２を参照して、画像の撮影日時の前後における撮影者に関する利用者情報を取得する。例えば、取得部１３１は、利用者情報の一例として、撮影者の購買履歴に関する購買情報、撮影者の検索履歴に関する検索情報、撮影者の閲覧履歴に関する閲覧情報、撮影者の位置履歴に関する位置情報、撮影者の予約履歴に関する予約情報、撮影者の投稿履歴に関する投稿情報、および撮影者のメッセージの内容に関するメッセージ情報を取得する。
推定部１３３は、取得部１３１が画像を取得すると、画像を撮影した利用者（以下、撮影者ともいう）に関する利用者情報を取得する。より具体的には、推定部１３３は、画像の撮影日時の前後（例えば、画像の撮影日時を含む所定期間）における撮影者の利用者情報を取得する。例えば、取得部１３１は、画像とともに取得した利用者ＩＤに基づいて、利用者情報データベース１２１および履歴情報データベース１２２を参照して、画像の撮影日時の前後における撮影者に関する利用者情報を取得する。例えば、取得部１３１は、利用者情報の一例として、撮影者の購買履歴に関する購買情報、撮影者の検索履歴に関する検索情報、撮影者の閲覧履歴に関する閲覧情報、撮影者の位置履歴に関する位置情報、撮影者の予約履歴に関する予約情報、撮影者の投稿履歴に関する投稿情報、および撮影者のメッセージの内容に関するメッセージ情報を取得する。
【0076】
続いて、推定部１３３は、画像の撮影日時の前後における撮影者の利用者情報を取得すると、取得した利用者情報に基づいて、利用者（撮影者）が画像を撮影した際のコンテキストを推定する。より具体的には、推定部１３３は、コンテキストの一例として、利用者が画像を撮影した際の利用者の行動の目的を推定する。例えば、利用者の家族は、情報提供装置１００が提供するサービスを利用しているものとする。このとき、推定部１３３は、画像の撮影日時の前後における利用者の家族の位置情報に基づいて、画像の撮影日時の前後において利用者の家族の位置履歴が一緒に動いている場合には、利用者が画像を撮影した際の利用者の行動の目的が家族旅行であると推定する。
【0077】
また、推定部１３３は、コンテキストの一例として、生成部１３２が生成した機械学習モデルを用いて、画像に含まれる人物と関係する利用者情報を推定する。例えば、推定部１３３は、コンテキストの一例として、画像の撮影時刻の前後における利用者と画像に映っている人物とのメッセージのやり取りの履歴（例えば、トーク先など）を推定する。推定部１３３は、利用者が画像を撮影した際のコンテキストを推定すると、推定したコンテキストを示すコンテキスト情報を画像と対応付けて画像情報データベース１２３に格納する。
【0078】
（受付部１３４）
受付部１３４は、通信部１１０を介して、端末装置１０から、画像の表示要求を受け付ける。例えば、受付部１３４は、利用者によって撮影された画像のうち、利用者によって指定された画像の表示要求を受け付ける。
受付部１３４は、通信部１１０を介して、端末装置１０から、画像の表示要求を受け付ける。例えば、受付部１３４は、利用者によって撮影された画像のうち、利用者によって指定された画像の表示要求を受け付ける。
【0079】
（表示制御部１３５）
表示制御部１３５は、画像を表示する場合は、画像とともに、コンテキストを示すコンテキスト情報を表示させる。具体的には、表示制御部１３５は、受付部１３４が画像の表示要求を受け付けた場合に、画像情報データベース１２３を参照して、利用者によって指定された画像、および利用者によって指定された画像と対応付けられたコンテキスト情報を取得する。続いて、表示制御部１３５は、利用者によって指定された画像とともに、画像と対応付けられたコンテキスト情報が表示されるコンテンツを生成する。
表示制御部１３５は、画像を表示する場合は、画像とともに、コンテキストを示すコンテキスト情報を表示させる。具体的には、表示制御部１３５は、受付部１３４が画像の表示要求を受け付けた場合に、画像情報データベース１２３を参照して、利用者によって指定された画像、および利用者によって指定された画像と対応付けられたコンテキスト情報を取得する。続いて、表示制御部１３５は、利用者によって指定された画像とともに、画像と対応付けられたコンテキスト情報が表示されるコンテンツを生成する。
【0080】
例えば、表示制御部１３５は、利用者によって撮影された複数の画像のサムネイルの一覧とともに、複数の画像それぞれのキャプションとしてそれぞれの画像を撮影した際の利用者のコンテキストを示すコンテキスト情報が表示されるコンテンツを生成する。続いて、表示制御部１３５は、コンテンツを生成すると、生成したコンテンツを端末装置１０に送信する。
【0081】
また、表示制御部１３５は、コンテキスト情報として、画像の撮影時刻の前後における利用者と画像に映っている人物とのメッセージのやり取りの履歴（例えば、トーク先など）が画像とともに表示されるコンテンツを生成する。続いて、表示制御部１３５は、コンテンツを生成すると、生成したコンテンツを端末装置１０に送信する。
【0082】
〔４．変形例〕
上述した端末装置１０及び情報提供装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、実施形態の変形例について説明する。
上述した端末装置１０及び情報提供装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、実施形態の変形例について説明する。
【0083】
上述した実施形態では、推定部１３３が、コンテキストの一例として、利用者が画像を撮影した際の利用者の行動の目的（例えば、家族旅行）を推定する場合について説明したが、推定部１３３は利用者の行動の目的以外のコンテキストを推定してもよい。具体的には、推定部１３３は、コンテキストとして、利用者が画像を撮影した際の利用者の状態、利用者の感情、または利用者の周囲で発生した事象を推定してもよい。
【0084】
例えば、推定部１３３は、画像の撮影日時の前後における利用者の生体情報に基づいて、利用者が画像を撮影した際の利用者の感情を推定する。例えば、推定部１３３は、画像の撮影日時の前後における利用者の体温、血圧、心拍数などが所定の感情（例えば、怒り、喜び、悲しみなど）を示す数値の範囲内である場合には、利用者が画像を撮影した際に所定の感情（例えば、怒り、喜び、悲しみなど）を抱いていると推定してもよい。
【0085】
また、推定部１３３は、画像に含まれる人物と利用者との関係性に基づいて、コンテキストを推定する。例えば、画像に含まれる人物は、情報提供装置１００が提供するサービスを利用しているものとする。このとき、推定部１３３は、例えば、画像に含まれる人物の職場と画像を撮影した利用者の職場が同じである場合は、利用者が画像を撮影した際に、利用者の職場に関する行事またはイベント（例えば、社内会議、社員旅行など）が行われていたと推定してもよい。また、推定部１３３は、画像に含まれる人物が利用者の家族である場合には、利用者が画像を撮影した際に、利用者の家族に関する行事またはイベント（例えば、家族の誕生日、家族旅行など）が行われていたと推定してもよい。
【0086】
また、推定部１３３は、画像の撮影日時の前後の利用者の位置情報に基づいて、例えば、画像の撮影日時の前後において利用者が職場に長時間滞在している場合は、利用者が画像を撮影した際に、利用者の状態が職場に長時間いて仕事が大変な状況であると推定してもよい。
【0087】
また、推定部１３３は、画像の撮影日時の前後における利用者の投稿情報に含まれる文字情報を公知の自然言語処理技術を用いて意味解析することで、利用者が画像を撮影した際の利用者の行動の目的、利用者の状態、利用者の感情、または利用者の周囲で発生した事象を推定してもよい。
【0088】
また、上記の実施形態では、推定部１３３が画像を撮影した撮影者の利用者情報に基づいて撮影者のコンテキストを推定する場合について説明したが、推定部１３３は撮影者以外の利用者情報に基づいて撮影者以外の利用者のコンテキストを推定してもよい。
【0089】
具体的には、推定部１３３は、画像に含まれる人物である被写体利用者に関する被写体利用者情報に基づいて、画像が撮影された際の被写体利用者のコンテキストを推定する。推定部１３３は、被写体利用者のコンテキストを推定すると、被写体利用者のコンテキストを示す被写体コンテキスト情報を画像と対応付けて画像情報データベース１２３に格納する。表示制御部１３５は、被写体利用者の端末装置１０に画像を表示する場合は、画像とともに、被写体利用者のコンテキストを示す被写体コンテキスト情報を表示させる。
【0090】
上記の実施形態において、情報提供装置１００が実行している処理は、実際には、端末装置１０が実行してもよい。すなわち、スタンドアロン(Standalone)で（端末装置１０単体で）処理が完結してもよい。この場合、端末装置１０に、上記の実施形態における情報提供装置１００の機能が備わっているものとする。
【0091】
〔５．効果〕
上述してきたように、本願に係る情報処理装置（情報提供装置１００）は、取得部１３１と推定部１３３と表示制御部１３５を備える。取得部１３１は、画像を撮影した利用者に関する利用者情報を取得する。推定部１３３は、利用者情報に基づいて、利用者が画像を撮影した際のコンテキストを推定する。表示制御部１３５は、画像を表示する場合は、画像とともに、コンテキストを示すコンテキスト情報を表示させる。
上述してきたように、本願に係る情報処理装置（情報提供装置１００）は、取得部１３１と推定部１３３と表示制御部１３５を備える。取得部１３１は、画像を撮影した利用者に関する利用者情報を取得する。推定部１３３は、利用者情報に基づいて、利用者が画像を撮影した際のコンテキストを推定する。表示制御部１３５は、画像を表示する場合は、画像とともに、コンテキストを示すコンテキスト情報を表示させる。
【0092】
このように、情報処理装置は、画像を表示する場合に、画像とともにコンテキスト情報を表示して利用者に視認させることにより、利用者が画像を撮影した際の画像に関連する体験を思い出すのを助けることができる。したがって、情報処理装置は、利用者が撮影した画像に関する適切な情報を提供することができる。
【0093】
また、推定部１３３は、コンテキストとして、利用者が画像を撮影した際の利用者の行動の目的、利用者の状態、利用者の感情、または利用者の周囲で発生した事象を推定する。
【0094】
これにより、情報処理装置は、画像を表示する場合に、利用者が画像を撮影した際の利用者の行動の目的、利用者の状態、利用者の感情、または利用者の周囲で発生した事象を表示して利用者に視認させることにより、利用者が画像を撮影した際の画像に関連する体験を思い出すのを助けることができる。
【0095】
また、推定部１３３は、画像の撮影日時の前後における利用者情報に基づいて、コンテキストを推定する。
【0096】
これにより、情報処理装置は、画像の撮影日時の前後における利用者情報に基づいて、利用者が画像を撮影した際のコンテキストを適切に推定することができる。
【0097】
また、推定部１３３は、画像に含まれる人物と利用者との関係性に基づいて、コンテキストを推定する。
【0098】
これにより、情報処理装置は、画像に含まれる人物と利用者との関係性に基づいて、利用者が画像を撮影した際のコンテキストを適切に推定することができる。
【0099】
また、取得部１３１は、利用者情報として、利用者の購買履歴に関する購買情報、利用者の検索履歴に関する検索情報、利用者の閲覧履歴に関する閲覧情報、利用者の位置履歴に関する位置情報、利用者の予約履歴に関する予約情報、利用者の投稿履歴に関する投稿情報、および利用者のメッセージの内容に関するメッセージ情報を取得する。
【0100】
これにより、情報処理装置は、利用者の行動履歴に関する行動情報に基づいて、利用者が画像を撮影した際のコンテキストを適切に推定することができる。
【0101】
また、情報処理装置（情報提供装置１００）は、生成部１３２をさらに備える。生成部１３２は、画像から、画像に含まれる人物と関係する利用者情報を推定する機械学習モデルを生成する。表示制御部１３５は、コンテキスト情報として、機械学習モデルを用いて推定された画像に含まれる人物と関係する利用者情報を表示させる。
【0102】
これにより、情報処理装置は、画像を表示する場合に、例えば、利用者が画像を撮影した前後に画像に含まれる人物とやり取りしたメッセージの履歴を画像とともに表示して利用者に視認させることにより、利用者が画像を撮影した際の画像に関連する体験を思い出すのを助けることができる。
【0103】
また、取得部１３１は、画像に含まれる人物である被写体利用者に関する被写体利用者情報を取得する。推定部１３３は、被写体利用者情報に基づいて、画像が撮影された際の被写体利用者のコンテキストを推定する。表示制御部１３５は、画像を表示する場合は、画像とともに、被写体利用者のコンテキストを示す被写体コンテキスト情報を表示させる。
【0104】
これにより、情報処理装置は、被写体利用者の端末装置に画像を表示する場合に、画像とともにコンテキスト情報を表示して被写体利用者に視認させることにより、被写体利用者が画像を撮影した際の画像に関連する体験を思い出すのを助けることができる。
【0105】
〔６．ハードウェア構成〕
また、上述してきた各実施形態に係る情報提供装置１００は、例えば、図７に示すような構成のコンピュータ１０００によって実現される。以下、情報提供装置１００を例に挙げて説明する。図７は、情報提供装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＯＭ１２００、ＲＡＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
また、上述してきた各実施形態に係る情報提供装置１００は、例えば、図７に示すような構成のコンピュータ１０００によって実現される。以下、情報提供装置１００を例に挙げて説明する。図７は、情報提供装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＯＭ１２００、ＲＡＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
【0106】
ＣＰＵ１１００は、ＲＯＭ１２００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１２００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【0107】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００（実施形態のネットワークＮに対応する）を介して他の機器からデータを受信してＣＰＵ１１００へ送り、また、通信網５００を介してＣＰＵ１１００が生成したデータを他の機器へ送信する。
【0108】
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。
【0109】
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１３００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１３００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0110】
例えば、コンピュータ１０００が情報提供装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１３００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、情報提供装置１００の記憶装置内の各データが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
【0111】
〔７．その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0112】
また、上述した情報提供装置１００は、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。
【0113】
また、特許請求の範囲に記載した「部」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
【符号の説明】
【0114】
１ 情報処理システム
１０ 端末装置
１００ 情報提供装置
１１０ 通信部
１２０ 記憶部
１２１ 利用者情報データベース
１２２ 履歴情報データベース
１２３ 画像情報データベース
１３０ 制御部
１３１ 取得部
１３２ 生成部
１３３ 推定部
１３４ 受付部
１３５ 表示制御部
１０ 端末装置
１００ 情報提供装置
１１０ 通信部
１２０ 記憶部
１２１ 利用者情報データベース
１２２ 履歴情報データベース
１２３ 画像情報データベース
１３０ 制御部
１３１ 取得部
１３２ 生成部
１３３ 推定部
１３４ 受付部
１３５ 表示制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】