特開 2022-128493 画像処理装置、画像処理方法、プログラムおよび記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022128493

(43)【公開日】2022-09-01

(54)【発明の名称】画像処理装置、画像処理方法、プログラムおよび記録媒体

(51)【国際特許分類】

   G06F 16/58 20190101AFI20220825BHJP

   G06T 1/00 20060101ALI20220825BHJP

【ＦＩ】

G06F16/58

G06T1/00 200D

【審査請求】有

【請求項の数】23

【出願形態】ＯＬ

(21)【出願番号】P 2022105558

(22)【出願日】2022-06-30

(62)【分割の表示】P 2018181891の分割

【原出願日】2018-09-27

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100152984

【弁理士】

【氏名又は名称】伊東 秀明

(74)【代理人】

【識別番号】100148080

【弁理士】

【氏名又は名称】三橋 史生

(72)【発明者】

【氏名】伊東 直哉

(57)【要約】

【課題】ユーザにとって興味のある目標を提案することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供する。
【解決手段】本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体においては、傾向判定部が、各々の画像の解析結果に基づいて、画像群における撮影内容の傾向を判定し、目標設定部が、撮影内容の傾向に基づいて、達成すべき１以上の目標を設定し、１以上の目標の各々について、各々の画像の解析結果に基づいて、実行する１以上の項目を設定する。そして、表示制御部が、１以上の目標および１以上の項目の少なくとも一方をディスプレイに表示させるように制御する。
【選択図】 図２

【特許請求の範囲】

【請求項1】

画像群の入力を受け付ける画像受付部と、
前記画像群に含まれる各々画像を解析する画像解析部と、
前記各々の画像の解析結果に基づいて、前記画像群のそれぞれの画像に対しタグ情報を付与するタグ情報付与部と、
前記画像群のそれぞれの画像に付与されたタグ情報に基づいて、達成すべき１以上の目標を設定し、前記１以上の目標の各々について、実行する１以上の項目を設定する目標設定部と、
前記１以上の目標および前記１以上の項目の少なくとも一方をディスプレイに表示させるように制御する表示制御部と、
前記画像群のそれぞれの画像に付与されたタグ情報から、前記画像群における撮影内容の傾向を判定する傾向判定部と、を備え、
前記目標設定部は、前記撮影内容の傾向に基づいて、前記実行する１以上の項目を設定する、画像処理装置。

【請求項2】

前記傾向判定部は、前記画像群の中から選択された画像グループにおける撮影内容の傾向を判定する、請求項１に記載の画像処理装置。

【請求項3】

前記表示制御部は、前記１以上の目標の中から第１目標が選択された場合に、前記第１目標に設定された１以上の項目のうち、実行した実行済みの項目および実行していない実行候補の項目を表示させる、請求項１又は２に記載の画像処理装置。

【請求項4】

さらに、前記実行候補の項目を実行したか否かを判定する実行判定部を備え、
前記実行判定部は、前記実行候補の項目の中から第１実行候補の項目が選択され、撮影した画像が入力された場合に、前記撮影した画像に付与された撮影場所の情報に基づいて、前記撮影した画像が、前記第１実行候補の項目の場所で撮影されたことを確認し、前記第１実行候補の項目の場所にチェックインしたことを確認した場合に、前記第１実行候補の項目を実行したと判定する、請求項３に記載の画像処理装置。

【請求項5】

前記目標設定部は、あらかじめ用意された複数の目標の中から、前記１以上の目標を設定する、請求項１ないし４のいずれか一項に記載の画像処理装置。

【請求項6】

前記目標設定部は、前記複数の目標の各々について、前記実行する１以上の項目を設定し、
さらに、前記画像受付部が、新たな画像または画像群の入力を受け付けて前記画像群に追加した場合、前記新たな画像または画像群が、前記画像群に追加される毎に、前記各々の目標について、前記目標に設定された１以上の項目のうち、実行した実行済みの項目数をチェックし、前記実行済みの項目数が前記目標の閾値に到達したか否かを判定する項目数判定部を備え、
前記目標設定部は、前記複数の目標のうち、前記実行済みの項目数が前記閾値に到達した目標を、前記１以上の目標として設定する、請求項５に記載の画像処理装置。

【請求項7】

前記目標設定部は、複数の画像群のそれぞれの画像に付与されたタグ情報に基づいて、前記１以上の目標を設定する、請求項１ないし６のいずれか一項に記載の画像処理装置。

【請求項8】

前記目標設定部は、前記画像群に含まれる画像のうち、共有された１以上の画像に付与されたタグ情報に基づいて、前記１以上の目標を設定する、請求項１ないし７のいずれか一項に記載の画像処理装置。

【請求項9】

前記表示制御部は、前記１以上の目標の各々を順次バナー表示させる、請求項１ないし８のいずれか一項に記載の画像処理装置。

【請求項10】

前記表示制御部は、前記１以上の目標の各々について、前記目標の説明、前記目標の達成度、および前記目標に関連する背景画像を表示させる、請求項９に記載の画像処理装置。

【請求項11】

前記表示制御部は、前記目標の説明として、前記目標に設定された１以上の項目のうち、実行した実行済みの項目の説明を表示させ、前記目標の達成度として、前記実行済みの項目の実行度を表示させる、請求項１０に記載の画像処理装置。

【請求項12】

前記表示制御部は、前記実行済みの項目の実行度として、前記実行済みの項目数、または前記目標に設定された項目数に対する、前記実行済みの項目数の割合を表示させる、請求項１１に記載の画像処理装置。

【請求項13】

前記表示制御部は、前記目標の説明として、前記目標に設定された１以上の項目のうち、実行していない実行候補の項目の説明を表示させ、前記目標の達成度として、前記実行候補の項目の実行度を表示させる、請求項１２に記載の画像処理装置。

【請求項14】

前記表示制御部は、前記実行候補の項目の実行度として、前記実行候補の項目数、または前記目標に設定された項目数に対する、前記実行候補の項目数の割合を表示させる、請求項１３に記載の画像処理装置。

【請求項15】

前記目標設定部は、一定の回数表示され、かつ選択されなかった目標を、前記１以上の目標から除外する、請求項１０ないし１４のいずれか一項に記載の画像処理装置。

【請求項16】

前記画像受付部が、新たな画像または画像群の入力を受け付けて前記画像群に追加し、前記新たな画像または画像群が、前記１以上の目標から除外された目標に設定されたいずれかの項目の場所で撮影された画像である場合に、前記目標設定部は、前記１以上の目標から除外された目標を、前記１以上の目標として設定する、請求項１５に記載の画像処理装置。

【請求項17】

前記目標設定部は、前記１以上の目標の各々について、前記目標の達成度に応じて、前記目標のランク付けを行う、請求項１ないし１６のいずれか一項に記載の画像処理装置。

【請求項18】

前記表示制御部は、チャレンジ中の目標の一覧および達成済みの目標の一覧を表示させる、請求項１ないし１７のいずれか一項に記載の画像処理装置。

【請求項19】

画像受付部が、画像群の入力を受け付けるステップと、
画像解析部が、前記画像群に含まれる各々画像を解析するステップと、
タグ情報付与部が、前記各々の画像の解析結果に基づいて、前記画像群のそれぞれの画像に対しタグ情報を付与するステップと、
目標設定部が、前記画像群のそれぞれの画像に付与されたタグ情報に基づいて、達成すべき１以上の目標を設定し、前記１以上の目標の各々について、実行する１以上の項目を設定するステップと、
表示制御部が、前記１以上の目標および前記１以上の項目の少なくとも一方をディスプレイに表示させるように制御するステップと、
傾向判定部が、前記画像群のそれぞれの画像に付与されたタグ情報から、前記画像群における撮影内容の傾向を判定するステップと、を含み、
前記項目を設定するステップは、前記撮影内容の傾向に基づいて、前記実行する１以上の項目を設定する、画像処理方法。

【請求項20】

前記１以上の目標の中から第１目標が選択された場合に、前記第１目標に設定された１以上の項目のうち、実行した実行済みの項目および実行していない実行候補の項目を表示させる、請求項１９に記載の画像処理方法。

【請求項21】

さらに、実行判定部が、前記実行候補の項目を実行したか否かを判定するステップを含み、
前記実行候補の項目の中から第１実行候補の項目が選択され、撮影した画像が入力された場合に、前記撮影した画像に付与された撮影場所の情報に基づいて、前記撮影した画像が、前記第１実行候補の項目の場所で撮影されたことを確認し、前記第１実行候補の項目の場所にチェックインしたことを確認した場合に、前記第１実行候補の項目を実行したと判定する、請求項２０に記載の画像処理方法。

【請求項22】

請求項１９ないし２１のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。

【請求項23】

請求項１９ないし２１のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザが達成すべき目標を提案する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。

【背景技術】

【0002】

SNS（Social Networking Service：ソーシャル・ネットワーキング・サービス）を利用して、一般的に人気のあるコンテンツおよびSNSを利用しているユーザにとって興味があると思われるコンテンツを表示することなどが行われている。

【0003】

ここで、本発明に関連性のある先行技術文献として、特許文献１～４がある。

【0004】

特許文献１には、ユーザの端末装置から受け付けた画像データを解析して、ユーザの嗜好に関する嗜好情報を抽出し、ユーザの嗜好情報に関連する関連情報をデータベースから選択して、ユーザの端末装置に送信する画像サーバが記載されている。

【0005】

特許文献２には、ユーザの通信端末から取得した第１の画像データに基づいて、ユーザの特性を表す特性情報を生成し、ユーザの通信端末から取得した第２の画像データに基づいて、ユーザの状況を表す状況情報を生成し、特性情報および状況情報に基づいて、複数のコンテンツの中から第１のコンテンツを選択し、選択したコンテンツを表す情報を出力する情報提供装置が記載されている。

【0006】

特許文献３には、画像取得、画像解析、およびテーマ判別を行い、テーマに対応するテンプレートを用いて推奨合成画像を作成してユーザに提案することが記載されている。

【0007】

特許文献４には、写真情報から抽出された会員の行動情報に基づいて、管理者が会員の嗜好情報を登録し、入力された嗜好情報に対応する嗜好情報を含む会員に対して商品又はサービスの案内情報を送付することが記載されている。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０１１－２５７８６８号公報

【特許文献2】特許第６１２４６７７号公報

【特許文献3】特許第５９３６６５８号公報

【特許文献4】特開２０１６－０５３９４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかし、コンテンツとして、実際にユーザにとって興味がある目標を提案することは難しいという問題があった。
特許文献１は、ユーザの嗜好を抽出した後、当該嗜好を他のユーザに対し送信することについて許否を求める参考とすることは開示しているが、それ以外の用途について開示していない。
特許文献２は、画像に基づいてコンテンツを表す情報を出力することを開示しているが、ここでいうコンテンツは「犬好き」などの嗜好および「犬といっしょにいる」という状況を指しており、目標を提案することは開示していない。
特許文献３は、テーマ判別に応じてテンプレートを選択することを開示しているが、目標を提案することは開示していない。
特許文献４は、写真情報を起点として商品又はサービスの案内情報を送付すること、および管理者が会員に対し会員が撮影すべき写真に関するテーマ・ミッションを提示することを開示しているが、写真情報を起点としてテーマ・ミッションを提案することは開示されていない。
従って、本発明の目的は、ユーザにとって興味のある目標を提案することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

【課題を解決するための手段】

【0010】

上記目的を達成するために、本発明は、ユーザが所有する画像群の入力を受け付ける画像受付部と、
画像群に含まれる各々画像を解析する画像解析部と、
各々の画像の解析結果に基づいて、画像群における撮影内容の傾向を判定する傾向判定部と、
撮影内容の傾向に基づいて、ユーザが達成すべき１以上の目標を設定し、１以上の目標の各々について、各々の画像の解析結果に基づいて、ユーザが実行する１以上の項目を設定する目標設定部と、
１以上の目標および１以上の項目の少なくとも一方をディスプレイに表示させるように制御する表示制御部と、を備える、画像処理装置を提供する。

【0011】

ここで、表示制御部は、１以上の目標の中から第１目標が選択された場合に、第１目標に設定された１以上の項目のうち、ユーザが実行した実行済みの項目およびユーザが実行していない実行候補の項目を表示させるのが好ましい。

【0012】

さらに、ユーザが実行候補の項目を実行したか否かを判定する実行判定部を備え、
実行判定部は、実行候補の項目の中から第１実行候補の項目が選択され、ユーザが撮影した画像が入力された場合に、ユーザが撮影した画像に付与された撮影場所の情報に基づいて、ユーザが撮影した画像が、第１実行候補の項目の場所で撮影されたことを確認し、ユーザが第１実行候補の項目の場所にチェックインしたことを確認した場合に、ユーザが第１実行候補の項目を実行したと判定するのが好ましい。

【0013】

また、目標設定部は、あらかじめ用意された複数の目標の中から、１以上の目標を設定するのが好ましい。

【0014】

また、目標設定部は、複数の目標の各々について、各々の画像の解析結果に基づいて、ユーザが実行する１以上の項目を設定し、
さらに、画像受付部が、ユーザが所有する新たな画像または画像群の入力を受け付けてユーザが所有する画像群に追加した場合、新たな画像または画像群が、ユーザが所有する画像群に追加される毎に、各々の目標について、目標に設定された１以上の項目のうち、ユーザが実行した実行済みの項目数をチェックし、実行済みの項目数が目標の閾値に到達したか否かを判定する項目数判定部を備え、
目標設定部は、複数の目標のうち、実行済みの項目数が閾値に到達した目標を、１以上の目標として設定するのが好ましい。

【0015】

また、目標設定部は、画像処理装置を利用する複数のユーザが所有する画像群における撮影内容の傾向に基づいて、１以上の目標を設定するのが好ましい。

【0016】

また、目標設定部は、ユーザが所有する画像群に含まれる画像のうち、画像処理装置を利用する他のユーザと共有された１以上の画像における撮影内容の傾向に基づいて、１以上の目標を設定するのが好ましい。

【0017】

また、表示制御部は、１以上の目標の各々を順次バナー表示させるのが好ましい。

【0018】

また、表示制御部は、１以上の目標の各々について、目標の説明、目標の達成度、および目標に関連する背景画像を表示させるのが好ましい。

【0019】

また、表示制御部は、目標の説明として、目標に設定された１以上の項目のうち、ユーザが実行した実行済みの項目の説明を表示させ、目標の達成度として、実行済みの項目の実行度を表示させるのが好ましい。

【0020】

また、表示制御部は、実行済みの項目の実行度として、実行済みの項目数、または目標に設定された項目数に対する、実行済みの項目数の割合を表示させるのが好ましい。

【0021】

また、表示制御部は、目標の説明として、目標に設定された１以上の項目のうち、ユーザが実行していない実行候補の項目の説明を表示させ、目標の達成度として、実行候補の項目の実行度を表示させるのが好ましい。

【0022】

また、表示制御部は、実行候補の項目の実行度として、実行候補の項目数、または目標に設定された項目数に対する、実行候補の項目数の割合を表示させるのが好ましい。

【0023】

また、目標設定部は、一定の回数表示され、かつ選択されなかった目標を、１以上の目標から除外するのが好ましい。

【0024】

また、画像受付部が、ユーザが所有する新たな画像または画像群の入力を受け付けてユーザが所有する画像群に追加し、新たな画像または画像群が、１以上の目標から除外された目標に設定されたいずれかの項目の場所で撮影された画像である場合に、目標設定部は、１以上の目標から除外された目標を、１以上の目標として設定するのが好ましい。

【0025】

また、傾向判定部は、画像群の中から選択された画像グループにおける撮影内容の傾向を判定するのが好ましい。

【0026】

また、目標設定部は、１以上の目標の各々について、目標の達成度に応じて、目標のランク付けを行うのが好ましい。

【0027】

また、表示制御部は、ユーザがチャレンジ中の目標の一覧およびユーザが達成済みの目標の一覧を表示させるのが好ましい。

【0028】

また、本発明は、画像受付部が、ユーザが所有する画像群の入力を受け付けるステップと、
画像解析部が、画像群に含まれる各々画像を解析するステップと、
傾向判定部が、各々の画像の解析結果に基づいて、画像群における撮影内容の傾向を判定するステップと、
目標設定部が、撮影内容の傾向に基づいて、ユーザが達成すべき１以上の目標を設定し、１以上の目標の各々について、各々の画像の解析結果に基づいて、ユーザが実行する１以上の項目を設定するステップと、
表示制御部が、１以上の目標および１以上の項目の少なくとも一方をディスプレイに表示させるように制御するステップと、を含む、画像処理方法を提供する。

【0029】

ここで、１以上の目標の中から第１目標が選択された場合に、第１目標に設定された１以上の項目のうち、ユーザが実行した実行済みの項目およびユーザが実行していない実行候補の項目を表示させるのが好ましい。

【0030】

さらに、実行判定部が、ユーザが実行候補の項目を実行したか否かを判定するステップを含み、
実行候補の項目の中から第１実行候補の項目が選択され、ユーザが撮影した画像が入力された場合に、ユーザが撮影した画像に付与された撮影場所の情報に基づいて、ユーザが撮影した画像が、第１実行候補の項目の場所で撮影されたことを確認し、ユーザが第１実行候補の項目の場所にチェックインしたことを確認した場合に、ユーザが第１実行候補の項目を実行したと判定するのが好ましい。

【0031】

また、本発明は、上記のいずれかの画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

【0032】

また、本発明は、上記のいずれかの画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

【0033】

また、本発明は、ユーザが所有する画像群の入力を受け付ける画像受付部と、
画像群に含まれる各々画像を解析する画像解析部と、
各々の画像の解析結果に基づいて、画像群における撮影内容の傾向を判定する傾向判定部と、
撮影内容の傾向に基づいて、ユーザが達成すべき１以上の目標を設定し、１以上の目標の各々について、各々の画像の解析結果に基づいて、ユーザが実行する１以上の項目を設定する目標設定部と、
１以上の目標および１以上の項目の少なくとも一方をディスプレイに表示させるように制御する表示制御部と、を備え、
画像受付部、画像解析部、傾向判定部、目標設定部および表示制御部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成される、画像処理装置を提供する。

【0034】

さらに、ユーザが実行候補の項目を実行したか否かを判定する実行判定部を備え、
実行判定部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成され、
実行判定部は、実行候補の項目の中から第１実行候補の項目が選択され、ユーザが撮影した画像が入力された場合に、ユーザが撮影した画像に付与された撮影場所の情報に基づいて、ユーザが撮影した画像が、第１実行候補の項目の場所で撮影されたことを確認し、ユーザが第１実行候補の項目の場所にチェックインしたことを確認した場合に、ユーザが第１実行候補の項目を実行したと判定するのが好ましい。

【0035】

また、目標設定部は、複数の目標の各々について、各々の画像の解析結果に基づいて、ユーザが実行する１以上の項目を設定し、
さらに、画像受付部が、ユーザが所有する新たな画像または画像群の入力を受け付けてユーザが所有する画像群に追加した場合、新たな画像または画像群が、ユーザが所有する画像群に追加される毎に、各々の目標について、目標に設定された１以上の項目のうち、ユーザが実行した実行済みの項目数をチェックし、実行済みの項目数が目標の閾値に到達したか否かを判定する項目数判定部を備え、
項目数判定部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成され、
目標設定部は、複数の目標のうち、実行済みの項目数が閾値に到達した目標を、１以上の目標として設定するのが好ましい。

【発明の効果】

【0036】

本発明によれば、ユーザが所有する画像群における撮影内容の傾向に基づいて、ユーザが達成すべき目標を設定し、各々の画像の解析結果に基づいて、ユーザが実行する項目を設定してディスプレイに表示することにより、ユーザにとって興味のある目標および項目をユーザに提案することができる。また、これにより、新たな写真を撮影するよいきっかけをユーザに与えることができる。

【図面の簡単な説明】

【0037】

【図1】本発明に係る画像処理システムの構成を表す一実施形態のブロック図である。

【図2】クライアントの構成を表す一実施形態のブロック図である。

【図3】画像処理システムの動作を表す一実施形態のフローチャートである。

【図4】撮影内容の傾向を判定する場合の画像処理システムの動作を表す一実施形態のフローチャートである。

【図5】目標を設定する場合の画像処理システムの動作を表す一実施形態のフローチャートである。

【図6】スマートフォン上で動作するプログラムによって表示されたトップレベルの画面を表す一実施形態の概念図である。

【図7】最上位階層のメニューリストの画面を表す一実施形態の概念図である。

【図8】スタンプラリーの目標の一覧表示画面を表す一実施形態の概念図である。

【図9】目標の表示画面を表す一実施形態の概念図である。

【図10】チェックイン画面を表す一実施形態の概念図である。

【発明を実施するための形態】

【0038】

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。

【0039】

図１は、本発明に係る画像処理システムの構成を表す一実施形態のブロック図である。図１に示す画像処理システム１０は、サーバ１２と、ネットワーク１６を介して各々サーバ１２に接続された複数のクライアント１４と、を備えている。

【0040】

サーバ１２は、画像処理システム１０を利用する複数のユーザが所有する画像群を取得し、複数のユーザの各々が所有する画像群に含まれる各々の画像を、任意のユーザに公開する、共有相手のみと共有する、または非公開に設定する機能等を有する。
サーバ１２は、１台に限らず、複数台であってもよく、制御装置、記憶装置および通信装置等を有する、ワークステーション等によって構成される。

【0041】

クライアント１４は、本実施形態の画像処理装置であり、ユーザが実行する複数の項目を含む、ユーザが達成すべき目標（テーマ、ミッション）を設定してユーザに提案する機能等を有する。
クライアント１４は、制御装置、入力装置、記憶装置、通信装置およびディスプレイ等を有する、デスクトップPC（パーソナルコンピュータ）、ノートPC、タブレットPC、あるいは、携帯電話およびスマートフォン等の携帯端末等によって構成される。

【0042】

図２は、クライアントの構成を表す一実施形態のブロック図である。図２に示すクライアント１４は、指示取得部１８と、画像受付部２０と、属性情報取得部２２と、画像解析部２４と、タグ情報付与部２６と、傾向判定部２８と、シーン検出部３０と、グループ抽出部３２と、イベント決定部３４と、目標設定部３６と、表示制御部３８と、実行判定部４０と、項目数判定部４２と、画像共有部４４と、通信部４６と、ディスプレイ４８と、を備えている。

【0043】

以下、第１ユーザが所有するクライアント１４について説明する。
第１ユーザは、画像処理システム１０を利用する全てのユーザのうちの任意の一人のユーザ（本発明のユーザ）である。本実施形態では、第１ユーザのクライアント１４について説明するが、第１ユーザ以外の他のユーザが所有するクライアント１４についても同様の構成および機能を有する。

【0044】

第１ユーザのクライアント１４において、まず、指示取得部１８は、キーボード、マウス、タッチパネル等の入力装置を利用して第１ユーザから入力される各種の指示を取得する。

【0045】

第１ユーザは、ディスプレイ４８に表示された画面を見ながら、入力装置を用いて指示を入力する。
第１ユーザが入力する指示には、特に制限はないが、画像群を指定する指示、目標を選択する指示、項目を選択する指示、画像を撮影する指示、目標の一覧を表示させる指示、画像群の中から画像を選択する指示、画像の共有相手を設定する指示、画像を公開する、共有する、または非公開に設定する指示等が含まれる。

【0046】

続いて、画像受付部２０は、画像群を指定する指示に応じて、第１ユーザが所有する画像群の入力を受け付ける。言い換えると、画像受付部２０は、第１ユーザが所有する画像群を取得する。また、画像受付部２０は、第１ユーザが所有する新たな画像または画像群が入力された場合に、この新たな画像または画像群の入力を受け付けて第１ユーザが所有する画像群に追加する。

【0047】

第１ユーザが所有する画像群には、特に制限はないが、第１ユーザのクライアント１４の記憶装置に格納された画像群、USB（Universal Serial Bus）メモリ、SD（Secure Digital）メモリ、CD（Compact Disc）、DVD（Digital Versatile Disc）およびHD（Hard Disk）等の外部記録媒体に記録された画像群、オンラインストレージに格納された画像群、SNSに投稿された画像群等が含まれる。また、画像には、静止画像だけではなく動画像も含まれる。

【0048】

続いて、属性情報取得部２２は、画像群に含まれる各々の画像に付与されている属性情報を、各々の画像から取得する。

【0049】

画像群に含まれる複数の画像の各々には、属性情報を付与することができる。
属性情報は、画像の属性を表す情報であり、例えばExif（Exchangeable image file format）情報等を例示することができる。Exif情報は、画像の撮影条件に関する情報であり、例えば画像の撮影日時、撮影場所（位置情報）、焦点距離、露出等の情報を含む。Exif情報は、デジタルカメラ等によって撮影された画像（画像データ）のヘッダ情報として付与される。

【0050】

続いて、画像解析部２４は、画像群に含まれる各々の画像を解析する。

【0051】

画像解析は、特に限定されないが、明るさ判定、色評価、ボケブレ評価、属性情報取得部２２によって取得された属性情報の解析、および画像に写っている被写体（人物および人物以外のオブジェクト）を認識する被写体認識等を含む。
被写体認識は、顔検出、人物認識（顔認識）、およびオブジェクト認識（肉、果物、花、ケーキ、…）等を含む。

【0052】

続いて、タグ情報付与部２６は、画像群に含まれる画像毎に、各々の画像の解析結果に基づいて、タグ情報を画像に付与する。

【0053】

タグ情報付与部２６は、本実施形態の場合、画像群に含まれる画像毎に、画像解析部２４によって解析された画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報を、画像に付与する。

【0054】

タグ情報は、画像の属性情報、画像に写っている被写体、および画像から読み取られる感情等を表す名称である。
例えば、画像の撮影年が２０１８年である場合、「２０１８年」というタグ情報が画像に付与され、画像の撮影場所が東京である場合、「東京」というタグ情報が画像に付与される。また、被写体として「肉」および複数の「人物」が画像に写っている場合、「肉」、「人物」、「飲み会」および「女子会」等のタグ情報が画像に付与される。画像に写っている「人物」が笑顔であれば、「笑顔」および「楽しい」等のタグ情報が画像に付与される。
また、感情については、ウェアラブル端末における心拍数、呼吸数、血圧、心電図、体温および発汗等の測定および検知、ならびに、ゴーグル型端末における瞳孔の開き具合の測定および検知等から測定することもできる。

【0055】

また、タグ情報付与部２６は、画像群に含まれる画像毎に、タグ情報として、画像のシーンに関連するシーンタグ情報を画像に付与することができる。

【0056】

シーンタグ情報は、画像のシーンを表す名称である。
シーンとは、「子供」、「青空」、「海」、「学校」、「運動会」のシーン等のように、１枚の画像が撮影された時点における一場面を表す。
例えば、「境内」、「和装」および「子供」が画像に写っている場合、「七五三」というシーンタグ情報が画像に付与される。

【0057】

さらに、タグ情報付与部２６は、画像群から抽出された画像グループにおいて発生しているイベント毎に、タグ情報として、イベントに関連するイベントタグ情報を、イベントおよびイベントにおいて撮影された各々の画像に付与することができる。

【0058】

イベントタグ情報は、イベントを表す名称である。
イベントとは、「入学式」、「運動会」、「旅行」等のように、画像グループが撮影された期間にわたって発生している出来事を表す。
例えば、複数日連続して撮影された画像グループにおいて、「風景」および「料理」が写っている場合、あるいは、さらに「ランドマーク」および「普段と異なる撮影場所」が写っている場合、「旅行」というイベントタグ情報が、そのイベント、および画像グループに含まれる、そのイベントにおいて撮影された各々の画像に付与される。

【0059】

タグ情報、シーンタグ情報およびイベントタグ情報は、第１ユーザが手動で画像に付与することもできる。また、タグ情報付与部２６がタグ情報、シーンタグ情報およびイベントタグ情報を画像に付与することなく、画像に既に付与されているタグ情報、シーンタグ情報およびイベントタグ情報を使用することもできる。なお、「子供」および「運動会」等のように、タグ情報、シーンタグ情報およびイベント情報の少なくとも２以上が同じ名称で表される場合もある。

【0060】

続いて、傾向判定部２８は、各々の画像の解析結果に基づいて、画像群における撮影内容の傾向を判定する。

【0061】

被写体として、例えば「山」が写っている多くの画像が画像群に含まれている場合、画像群における撮影内容の傾向、つまり、第１ユーザにとって興味のあるものは、「山」であということが分かる。あるいは、被写体として、「ラーメン」が写っている多くの画像が画像群に含まれている場合、画像群における撮影内容の傾向は、「ラーメン」であるということが分かる。

【0062】

しかし、被写体として、「山」が写っている多くの画像が画像群に含まれている場合でも、第１ユーザにとって興味のあるものは、「山」に存在する「昆虫」および「植物」等である場合もある。この場合、画像群には、「昆虫」および「植物」等が写っている多くの画像も含まれているはずであるから、第１ユーザにとって興味のあるものは、「山」ではなく、「昆虫」および「植物」等であるということが分かる。

【0063】

また、撮影内容の傾向とは、被写体から直接判定可能なものに限らず、「旅行」等のように、第１ユーザの趣味、興味、嗜好等を表すものであってもよい。
傾向判定部２８は、本実施形態の場合、撮影内容の傾向として、画像解析部２４によって解析された属性情報および各々の画像の解析結果から付与されたタグ情報に基づいて、第１ユーザの趣味を判定する。

【0064】

傾向判定部２８が、撮影内容の傾向、つまり、第１ユーザの趣味を判定する方法は特に限定されないが、例えば画像群に含まれる画像に付与されたタグ情報の種類毎に、タグ情報の出現回数に基づいて、第１ユーザの趣味を判定することができる。

【0065】

この場合、傾向判定部２８は、タグ情報の種類毎に、タグ情報の出現回数を、タグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のタグ情報の総出現回数に対する、撮影日の数でカウントしたタグ情報の出現回数の割合、または、タグ情報の種類毎に、タグ情報の出現回数を、タグ情報が付与された画像の数でカウントし、画像の数でカウントしたタグ情報の出現回数、が閾値以上であるタグ情報に関連する趣味を、第１ユーザが有していると判定する。

【0066】

また、傾向判定部２８は、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のシーンタグ情報の総出現回数に対する、撮影日の数でカウントしたシーンタグ情報の出現回数の割合、または、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の数でカウントし、画像の数でカウントしたシーンタグ情報の出現回数、が閾値以上であるシーンタグ情報に関連する趣味を、第１ユーザが有していると判定することができる。

【0067】

さらに、傾向判定部２８は、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の撮影日の数またはイベントタグ情報が付与されたイベントの数でカウントし、画像群に含まれる画像に付与された全ての種類のイベントタグ情報の総出現回数に対する、撮影日の数でカウントしたイベントタグ情報の出現回数の割合、または、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の数でカウントし、画像の数でカウントしたイベントタグ情報の出現回数、が閾値以上であるイベントタグ情報に関連する趣味を、第１ユーザが有していると判定することができる。

【0068】

続いて、シーン検出部３０は、画像群に含まれる画像毎に、画像の属性情報およびタグ情報に基づいて、画像のシーンを検出する。

【0069】

シーン検出部３０は、画像の全ての属性情報および画像に付与された全てのタグ情報を総合して、その画像全体についてのハイコンテクストなシーンを検出する。ハイコンテクストなシーンとは、「七五三」および「旅行」等のように、画像全体から読み取ることができるシーンである。ハイコンテクストなシーンに対して、「子供」等のように、画像に写っている被写体から検出できるシーンをローコンテクストなシーンという。

【0070】

続いて、グループ抽出部３２は、各々の画像の撮影日時に基づいて、画像群から、２以上の画像を含む画像グループを抽出する。

【0071】

グループ抽出部３２は、画像群から、例えば画像の撮影日時が近い複数の画像、つまり、撮影間隔が閾値未満である２以上の画像を同じ画像グループとして抽出する。

【0072】

続いて、イベント決定部３４は、画像群から抽出された画像グループ毎に、画像グループに含まれる画像の属性情報およびタグ情報に基づいて、画像グループにおいて発生しているイベントを決定する。

【0073】

イベント決定部３４は、画像グループに含まれる画像の全ての属性情報および画像グループに含まれる画像に付与された全てのタグ情報を総合して、その画像グループについてのハイコンテクストなイベントを検出する。

【0074】

続いて、目標設定部３６は、傾向判定部２８によって判定された画像群における撮影内容の傾向に基づいて、第１ユーザが達成すべき１以上の目標を設定する。また、１以上の目標の各々について、各々の画像の解析結果に基づいて、第１ユーザが実行する１以上の項目を設定する。

【0075】

第１ユーザは、いわゆるスタンプラリーのように、目標設定部３６によって設定された１以上の目標の中から第１目標を選び、その第１目標に設定された全項目を実行することにより、第１目標を達成する。

【0076】

例えば、被写体として、「山」が写っている多くの画像が、第１ユーザが所有する画像群に含まれている場合、画像群における撮影内容の傾向は、「山」である。つまり、第１ユーザは、「山」に興味があるということが分かる。この場合の目標は、第１ユーザが登るべき「山」のリスト（既に登った山も含む場合がある）であり、その目標に設定される項目は、第１ユーザが登る個々の「山」である。

【0077】

ここで、「山」が写っている画像が１枚もない場合に、目標として、第１ユーザがまだ登っていない山に登ってもらうことを提案しても、第１ユーザにとって「山」は興味の対象ではないと考えられる。また、「山」が写っている多くの画像があるとしても、「海外の山」が写っている画像が１枚もない場合に、項目として、「海外の山」のリストを提案しても、第１ユーザにとって「海外の山」は興味の対象ではないと考えられる。

【0078】

このように、第１ユーザにとって興味のない目標および項目を設定した場合、第１ユーザが、その目標にチャレンジする可能性は非常に低いと考えられる。これに対し、目標設定部３６は、撮影内容の傾向に基づいて、第１ユーザにとって興味のある目標を設定し、各々の画像の解析結果に基づいて、第１ユーザにとって興味のある項目を設定するため、第１ユーザが、その目標にチャレンジする可能性を高めることができる。

【0079】

目標は、第１ユーザにとって興味がある事柄であれば特に限定されないが、好ましくは、ユーザが実際に移動することによって到達したり体験したりできる事柄のリストである。例えば「あなたがまだ行ったことがない都道府県」、「都内の有名なラーメン屋さんトップ２０」、「冬場のデートスポット３０」、および「夜景のきれいな場所」等を例示することができる。なお、各種の企業と協力ないし提携して目標を決定してもよい。例えば、鉄道会社と協力して、「あなたがまだ行ったことがない駅」という目標を決定してもよいし、旅行会社と協力して、「日本の名湯１００選」という目標を決定してもよい。

【0080】

項目も、第１ユーザにとって興味がある事柄であれば特に限定されないが、好ましくはユーザが実際に移動することによって到達したり体験したりできる事柄である。例えば第１ユーザの自宅を中心とする、一定半径の円の範囲内に存在する場所、店舗、および観光地等を例示することができる。

【0081】

続いて、表示制御部３８は、目標設定部３６によって設定された１以上の目標および１以上の項目の少なくとも一方をディスプレイ４８に表示させるように制御する。また、表示制御部３８は、ディスプレイ４８に表示された１以上の目標の中から、目標を選択する指示に応じて、第１ユーザが選択した第１目標に設定された１以上の項目のうち、第１ユーザが実行した実行済みの項目および第１ユーザが実行していない実行候補の項目を表示させる。なお、既に実行された項目を目標に含めずに目標を設定してもよく、この場合、１の目標は１の項目から構成されることがあり得る。しかし、本実施例では、既に実行された項目を含めて目標として設定する。従って本実施例では、１の目標は、２以上の項目から構成され、以下、その前提で説明する。

【0082】

続いて、実行判定部４０は、第１ユーザが実行候補の項目を実行したか否かを判定する。

【0083】

実行判定部４０が、第１ユーザが実行候補の項目を実行したか否かを判定する方法は特に限定されないが、例えば第１ユーザが撮影した画像に付与された撮影場所の情報に基づいて、第１ユーザが撮影した画像が、実行候補の項目の場所で撮影されたことを確認する、第１ユーザが実行候補の項目の場所にチェックインしたことを確認する、またはその両方を確認する、などのように、第１ユーザの位置を確認する方法を例示することができる。また、第１ユーザの申告によって、第１ユーザが実行候補の項目を実行したと判定してもよい。

【0084】

続いて、項目数判定部４２は、新たな画像または画像群が、第１ユーザが所有する画像群に追加される毎に、各々の目標について、目標に設定された１以上の項目のうち、第１ユーザが実行した実行済みの項目数をチェックする。また、実行済みの項目数が目標の閾値に到達したか否かを判定する。

【0085】

続いて、画像共有部４４は、第１ユーザと、第２ユーザと、の間で画像を共有する。

【0086】

第２ユーザは、画像処理システム１０を利用する全てのユーザのうち、第１ユーザ以外の任意の一人のユーザまたは複数のユーザ（本発明の他のユーザ）である。
画像共有部４４は、画像を公開する、または非公開に設定する指示に応じて、画像群の中から画像を選択する指示によって選択された画像を、任意のユーザに公開する、または非公開に設定する。また、画像共有部４４は、画像を共有する指示に応じて、画像を選択する指示によって選択された画像を、共有相手を設定する指示によって設定された共有相手のみと共有する。

【0087】

続いて、通信部４６は、クライアント１４が有する通信装置であり、サーバ１２が有する通信装置との間で各種のデータの送受信を行う。

【0088】

通信部４６は、例えばクライアント１４の記憶装置に格納された画像（画像データ）を、クライアント１４からネットワーク１６を介してサーバ１２へアップロードしたり、サーバ１２の記憶装置に格納された画像を、サーバ１２からネットワーク１６を介してクライアント１４へダウンロードしたりする。

【0089】

次に、図３に示すフローチャートを参照して、画像処理システム１０の動作を説明する。

【0090】

第１ユーザが所有するクライアント１４において、まず、画像受付部２０により、画像群を指定する指示に応じて、第１ユーザが所有する画像群の入力が受け付けられる（S1）。画像群は、クライアント１４の記憶装置に格納される。また、クライアント１４からネットワーク１６を介してサーバ１２へアップロードされ、サーバ１２の記憶装置に格納される。

【0091】

続いて、属性情報取得部２２により、画像群に含まれる各々の画像の属性情報が、各々の画像から取得される（S2）。

【0092】

続いて、画像解析部２４により、画像群に含まれる各々の画像が解析される（S3）。

【0093】

続いて、タグ情報付与部２６により、画像群に含まれる画像毎に、画像の属性情報および各々の画像の解析結果等に基づいて、タグ情報が画像に付与される（S4）。

【0094】

なお、画像受付部２０によって画像群の入力が受け付けられた直後に、属性情報の取得、画像の解析、およびタグ情報の付与等を行ってもよいし、あるいは画像受付部２０によって画像群の入力が受け付けられた後、画像処理システム１０によって何も処理が行われていない期間、例えば夜間等に、属性情報の取得、画像の解析、およびタグ情報の付与等を行ってもよい。

【0095】

続いて、傾向判定部２８により、各々の画像の解析結果に基づいて、画像群における撮影内容の傾向が判定される（S5）。

【0096】

続いて、目標設定部３６により、撮影内容の傾向に基づいて、第１ユーザが達成すべき１以上の目標が設定される。また、１以上の目標の各々について、各々の画像の解析結果に基づいて、第１ユーザが実行する１以上の項目が設定される（S6）。

【0097】

続いて、表示制御部３８により、目標設定部３６によって設定された１以上の目標がディスプレイ４８に表示されるように制御される（S7）。
これにより、１以上の目標が第１ユーザに提案される。

【0098】

続いて、目標を選択する指示に応じて、ディスプレイ４８に表示された１以上の目標の中から第１目標が選択されたとする。

【0099】

この場合、表示制御部３８の制御により、第１目標に設定された１以上の項目のうち、第１ユーザが実行した実行済みの項目および第１ユーザが実行していない実行候補の項目が表示される（S8）。

【0100】

続いて、項目を選択する指示に応じて、実行候補の項目の中から第１実行候補の項目が選択されたとする。

【0101】

この場合、画像を撮影する指示に応じて、第１実行候補の項目の場所で画像が撮影される。撮影された画像には、撮影場所の情報が自動的に付与される。撮影された画像は、クライアント１４の記憶装置に格納され、実行判定部４０に入力される。また、撮影された画像は、クライアント１４からネットワーク１６を介してサーバ１２へアップロードされ、サーバ１２の記憶装置に格納される。

【0102】

続いて、実行判定部４０により、撮影された画像に付与された撮影場所の情報に基づいて、撮影された画像が、第１実行候補の項目の場所で撮影されたか否かが確認される（S9）。撮影された画像が、第１実行候補の項目の場所で撮影されたことが確認されると、第１ユーザは第１実行候補の項目の場所にチェックインすることができる。
続いて、実行判定部４０により、第１ユーザが第１実行候補の項目の場所にチェックインしたか否かが確認され、第１ユーザが第１実行候補の項目の場所にチェックインしたことが確認された場合に、第１ユーザが第１実行候補の項目を実行したと判定される（S10）。

【0103】

実行判定部４０は、上記のように、実行候補の項目の中から第１実行候補の項目が選択され、第１ユーザが撮影した画像が入力された場合に、第１ユーザが撮影した画像に付与された撮影場所の情報に基づいて、第１ユーザが撮影した画像が、第１実行候補の項目の場所で撮影されたことを確認し、第１ユーザが第１実行候補の項目の場所にチェックインしたことを確認した場合に、第１ユーザが第１実行候補の項目を実行したと判定する。

【0104】

第１ユーザが実行した第１実行候補の項目は、１以上の目標の中から第１目標が選択された場合に、表示制御部３８の制御により、実行済みの項目として表示される。

【0105】

次に、図４に示すフローチャートを参照して、撮影内容の傾向を判定する場合の画像処理システム１０の動作を説明する。

【0106】

本実施形態の場合、まず、タグ情報に基づいて、第１ユーザの趣味が判定される。

【0107】

この場合、傾向判定部２８により、タグ情報の種類毎に、タグ情報の出現回数が、タグ情報が付与された画像の撮影日の数でカウントされる（S11）。
続いて、傾向判定部２８により、画像群に含まれる画像に付与された全ての種類のタグ情報の総出現回数に対する、撮影日の数でカウントした出現回数の割合が閾値以上であるタグ情報に関連する趣味を、第１ユーザが有していると判定される（S12）。

【0108】

傾向判定部２８は、グルメ、電車、お酒のラベルおよびマンホール等のように、第１ユーザの趣味が画像に写っている被写体に直接現れているものである場合、言い換えると、被写体に関連するタグ情報のみから第１ユーザの趣味を判定できる場合、第１ユーザが所有する画像群に含まれる画像に付与された全ての種類のタグ情報の中で、出現回数が相対的に多い種類のタグ情報に関連する趣味を、第１ユーザが有していると判定する。

【0109】

例えば、ある１日に集中して画像群が撮影され、その画像群に含まれる多くの画像に同じ種類のタグ情報が付与されたとしても、他の日には、そのタグ情報が付与された画像が全く撮影されていない場合もある。つまり、ある１日に集中して画像が撮影され、その画像群に含まれる多くの画像に同じ種類のタグ情報が付与されたとしても、直ちに、そのタグ情報に関連する趣味を、第１ユーザが有しているとは限らない。

【0110】

趣味とは、一般的に持続性をもって繰り返し行われるものである。従って、本実施形態のように、タグ情報の出現回数を、そのタグ情報が付与された画像の撮影日の数でカウントすることにより、持続性を持って繰り返し行われている趣味なのか否かを判定することができ、持続性をもって繰り返し出現するタグ情報に関連する趣味を、第１ユーザが有していると正確に判定することができる。

【0111】

または、傾向判定部２８は、タグ情報の種類毎に、タグ情報の出現回数を、タグ情報が付与された画像の数でカウントし、画像の数でカウントしたタグ情報の出現回数が閾値以上であるタグ情報に関連する趣味を、第１ユーザが有していると判定してもよい。

【0112】

例えば、第１ユーザの趣味が、１年に１回だけ、海外旅行に行くことである場合もある。従って、タグ情報の出現回数を、そのタグ情報が付与された画像の数でカウントすることにより、出現回数が少ないタグ情報に関連する趣味であっても、持続性を持って繰り返し行われている趣味なのか否かを判定することができ、その趣味を第１ユーザが有していると判定することができる。

【0113】

続いて、シーンタグ情報に基づいて、第１ユーザの趣味が判定される。

【0114】

この場合、シーン検出部３０により、画像群に含まれる画像毎に、画像の属性情報およびタグ情報に基づいて画像のシーンが検出される（S13）。

【0115】

続いて、タグ情報付与部２６により、画像群に含まれる画像毎に、タグ情報として、画像のシーンに関連するシーンタグ情報が画像に付与される（S14）。
画像によっては、シーンタグ情報が付与されるものもあり、付与されないものもある。

【0116】

続いて、傾向判定部２８により、シーンタグ情報の種類毎に、シーンタグ情報の出現回数が、シーンタグ情報が付与された画像の撮影日の数でカウントされる（S15）。
続いて、傾向判定部２８により、画像群に含まれる画像に付与された全ての種類のシーンタグ情報の総出現回数に対する、撮影日の数でカウントしたシーンタグ情報の出現回数の割合が閾値以上であるシーンタグ情報に関連する趣味を、第１ユーザが有していると判定される（S16）。

【0117】

傾向判定部２８は、「旅行」および「音楽鑑賞」等のように、第１ユーザの趣味が画像に直接写っていないものである場合、言い換えると、被写体に関連するタグ情報のみから第１ユーザの趣味を判定することが難しい場合、第１ユーザが所有する画像群に含まれる画像に付与された全ての種類のシーンタグ情報の中で、出現回数が相対的に多い種類のシーンタグ情報に関連する趣味を、第１ユーザが有していると判定する。

【0118】

または、傾向判定部２８は、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の数でカウントし、画像の数でカウントしたシーンタグ情報の出現回数が閾値以上であるシーンタグ情報に関連する趣味を、第１ユーザが有していると判定してもよい。

【0119】

続いて、イベントタグ情報に基づいて、第１ユーザの趣味が判定される。

【0120】

この場合、グループ抽出部３２により、各々の画像の撮影日時に基づいて、画像群から画像グループが抽出される（S17）。

【0121】

続いて、イベント決定部３４により、画像群から抽出された画像グループ毎に、画像グループに含まれる画像の属性情報およびタグ情報に基づいて、画像グループにおいて発生しているイベントが決定される（S18）。

【0122】

続いて、タグ情報付与部２６により、画像群から抽出された画像グループにおいて発生しているイベント毎に、タグ情報として、イベントに関連するイベントタグ情報が、そのイベント、および画像グループに含まれる、そのイベントにおいて撮影された各々の画像にフィードバックされて付与される（S19）。
画像グループによっては、１のイベントタグ情報に限らず、２以上のイベントタグ情報が付与されるものもあるし、１つのイベントタグ情報も付与されないものもある。

【0123】

続いて、傾向判定部２８により、イベントタグ情報の種類毎に、イベントタグ情報の出現回数が、イベントタグ情報が付与された画像の撮影日の数またはイベントタグ情報が付与されたイベントの数でカウントされる（S20）。
続いて、傾向判定部２８により、画像群に含まれる画像に付与された全ての種類のイベントタグ情報の総出現回数に対する、撮影日の数またはイベントの数でカウントしたイベントタグ情報の出現回数の割合が閾値以上であるイベントタグ情報に関連する趣味を、第１ユーザが有していると判定される（S21）。

【0124】

傾向判定部２８は、同様に、第１ユーザの趣味が画像に直接写っていないものである場合、第１ユーザが所有する画像群に含まれる画像に付与された全ての種類のイベントタグ情報の中で、出現回数が相対的に多い種類のイベントタグ情報に関連する趣味を、第１ユーザが有していると判定する。

【0125】

または、傾向判定部２８は、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の数でカウントし、画像の数でカウントしたイベントタグ情報の出現回数が閾値以上であるイベントタグ情報に関連する趣味を、第１ユーザが有していると判定してもよい。

【0126】

上記のように、シーンタグ情報およびイベントタグ情報を用いて、第１ユーザの趣味を判定することにより、第１ユーザの趣味が画像に直接写っていないものである場合であっても、第１ユーザの趣味を正確に判定することができる。

【0127】

なお、傾向判定部２８は、第１ユーザが所有する画像群における撮影内容の傾向を判定することに限らず、２０１８年に撮影された画像および２０１７年に撮影された画像等のように、画像群の中から画像を選択する指示に応じて、画像群の中から選択された画像グループにおける撮影内容の傾向を判定してもよい。これにより、過去および現在の撮影内容の傾向等のように、期間を区切って撮影内容の傾向を判定することができる。

【0128】

次に、図５に示すフローチャートを参照して、目標を設定する場合の画像処理システム１０の動作を説明する。

【0129】

目標設定部３６は、例えばあらかじめ用意された複数の目標の中から、１以上の目標を設定することができる。

【0130】

この場合、目標設定部３６により、複数の目標の各々について、各々の画像の解析結果に基づいて、第１ユーザが実行する１以上の項目が設定される（S22）。

【0131】

続いて、画像受付部２０により、第１ユーザが所有する新たな画像または画像群の入力が受け付けられて第１ユーザが所有する画像群に追加された場合、新たな画像または画像群が、第１ユーザが所有する画像群に追加される毎に、項目数判定部４２により、各々の目標について、目標に設定された１以上の項目のうち、第１ユーザが実行した実行済みの項目数がチェックされ、実行済みの項目数が目標の閾値に到達したか否かが判定される（S23）。

【0132】

続いて、目標設定部３６により、複数の目標のうち、実行済みの項目数が閾値に到達した目標が、１以上の目標として設定される（S24）。

【0133】

１つの目標に対して、例えば３０個の項目が設定され、その全てが実行候補の項目である場合、第１ユーザは、ゼロからのスタートでは、チャレンジを躊躇する可能性がある。これに対し、１０個の項目が既に実行済みの項目であり、残りの２０個の項目のみが実行候補の項目である場合、第１ユーザは、ゼロからのスタートではないため、３０個全ての項目が実行候補の項目である場合よりも、チャレンジを開始しやすくなる。

【0134】

また、目標設定部３６は、画像処理システム１０、つまり、クライアント１４を利用する複数のユーザが所有する画像群における撮影内容の傾向に基づいて、１以上の目標を設定することができる。
これにより、画像処理システム１０を利用する複数のユーザにとって興味のある、つまり、複数のユーザの間で人気のある目標を、第１ユーザに提案することができる。

【0135】

また、目標設定部３６は、第１ユーザが所有する画像群に含まれる画像のうち、画像処理システム１０を利用する他のユーザと共有された１以上の画像における撮影内容の傾向に基づいて、１以上の目標を設定することができる。

【0136】

画像を共有する場合、画像共有部４４により、第１ユーザと、第２ユーザと、の間で画像が共有される。
第１ユーザが所有する画像群に含まれる画像のうち、第２ユーザと共有された画像は、第１ユーザにとって興味のある画像であると考えられる。従って、第２ユーザと共有された画像に基づいて目標を設定することにより、第１ユーザにとって興味のある目標を提案することができる。

【0137】

なお、目標設定部３６は、１以上の目標の各々について、目標の達成度に応じて、目標のランク付けを行ってもよい。例えば、目標の達成度が５０％以上、７０％未満の場合はブロンズランク、目標の達成度が７０％以上、９０％未満の場合はシルバーランク、目標の達成度が９０％以上、１００％以下の場合はゴールドランクというように、ランク付けを行うことができる。あるいは、目標の達成度に応じて、全国第何位のようなランク付けを行ってもよい。

【0138】

次に、表示制御部３８による目標の表示方法について説明する。

【0139】

表示制御部３８は、１以上の目標の各々について、目標の説明、目標の達成度、および目標に関連する背景画像を表示させることができる。

【0140】

この場合、表示制御部３８の制御により、目標の説明として、例えば目標に設定された１以上の項目のうち、第１ユーザが実行した実行済みの項目の説明が表示され、目標の達成度として、実行済みの項目の実行度が表示される。また、実行済みの項目の実行度として、実行済みの項目数、または目標に設定された項目数に対する、実行済みの項目数の割合が表示される。

【0141】

あるいは、表示制御部３８の制御により、目標の説明として、目標に設定された１以上の項目のうち、第１ユーザが実行していない実行候補の項目の説明が表示され、目標の達成度として、実行候補の項目の実行度が表示される。また、実行候補の項目の実行度として、実行候補の項目数、または目標に設定された項目数に対する、実行候補の項目数の割合が表示される。

【0142】

なお、一定の回数表示され、かつ選択されなかった目標は、目標設定部３６により、１以上の目標から除外してもよい。

【0143】

一方、画像受付部２０により、第１ユーザが所有する新たな画像または画像群の入力が受け付けられて第１ユーザが所有する画像群に追加され、新たな画像または画像群が、１以上の目標から除外された目標に設定されたいずれかの項目の場所で撮影された画像である場合、目標設定部３６により、１以上の目標から除外された目標が、再度、１以上の目標として設定されてもよい。

【0144】

また、例えば目標設定部３６によって１の目標において２以上の項目が設定された場合、表示制御部３８の制御により、２以上の項目のうちの１の項目だけをディスプレイ４８に表示させ、残りの項目を順次ディスプレイ４８に表示させてもよい。
この場合、第１ユーザに対して、「次はどのような項目が出てくるのか楽しみだ」という期待感を与えることができる。
また、目標設定部３６によって２以上の目標が設定された場合、表示制御部３８の制御により、２以上の目標のうちの１の目標だけをディスプレイ４８に表示させ、残りの目標を順次ディスプレイ４８に表示させてもよい。
この場合、第１ユーザに対して、「次はどのような目標が出てくるのか楽しみだ」という期待感を与えることができる。

【0145】

また、表示制御部３８は、目標の一覧を表示させる指示に応じて、第１ユーザがチャレンジ中の目標の一覧および第１ユーザが達成済みの目標の一覧を表示させることができる。

【0146】

以下、スマートフォンおよびその上で動作するプログラムによって実現されたクライアント１４の例を挙げて、画像処理システム１０の動作を具体的に説明する。

【0147】

図６は、スマートフォン上で動作するプログラムによって表示されたトップレベルの画面を表す一実施形態の概念図である。図６に示すトップレベルの画面の上部には、メニューバー５０が表示され、メニューバー５０の表示領域の下側には、タブバー５２が表示されている。また、タブバー５２の表示領域の下側には、目標設定部３６によって設定された目標５４がバナー表示され、目標５４の表示領域の下側には、縮小画像５６が一覧表示されている。

【0148】

トップレベルの画面において、まず、メニューバー５０の表示領域内の左側には、メニューリンクのボタン５８が表示されている。第１ユーザが、メニューリンクのボタン５８をタップすると、最上位階層のメニューリストの画面が表示される。

【0149】

図７は、最上位階層のメニューリストの画面を表す一実施形態の概念図である。図７に示す最上位階層のメニューリストの画面には、例えば写真／動画一覧画面リンクのボタン６０、アルバム一覧画面リンクのボタン６２、スタンプラリー目標一覧画面リンクのボタン６４等のメニュー項目のボタンが表示されている。例えば、第１ユーザが、スタンプラリー目標一覧画面リンクのボタン６４をタップすると、スタンプラリーの目標の一覧表示画面が表示される。

【0150】

図８は、スタンプラリーの目標の一覧表示画面を表す一実施形態の概念図である。図８に示すスタンプラリーの目標の一覧表示画面の上部には、前述のメニューバー５０が表示され、メニューバー５０の表示領域の下側には、第１ユーザがチャレンジ中の目標の一覧６６が表示されている。また、チャレンジ中の目標の一覧６６の表示領域の下側には、第１ユーザが達成済みの目標の一覧６８が表示されている。

【0151】

チャレンジ中の目標の一覧６６の表示領域には、第１ユーザが、後述する目標の表示画面を一度でも閲覧したことがある目標の一覧が表示されている。例えば、「アメリカ合衆国」の目標は、第１ユーザがまだ行っていないアメリカ合衆国の州に行くことであり、その項目は、アメリカ合衆国の州である。また、「２３／５０」は、第１ユーザが、５０のうちの２３のアメリカ合衆国の州に既に行っていることを表す。

【0152】

チャレンジ中の目標の一覧６６の表示領域において、第１ユーザが、右側から左側へ向かって目標をスワイプすると、その目標を非表示にするためのボタンが表示され、続いて、第１ユーザが、非表示するためのボタンをタップすると、その目標は非表示になる。

【0153】

達成済みの目標の一覧６８の表示領域には、第１ユーザが、設定された全項目を実行した目標の一覧が表示されている。例えば、「百名山」の目標は、第１ユーザがまだ行っていない１００の有名な山に行くことであり、その項目は、有名な山である。また、「１００／１００」は、第１ユーザが、１００のうちの１００、つまり、設定された全ての有名な山に行ったことを表す。

【0154】

また、図８に示す、チャレンジ中の目標の一覧６および達成済みの目標の一覧６８の表示領域において、第１ユーザが、目標をタップすることにより、その目標の表示画面が表示される。

【0155】

続いて、図６に示すタブバー５２の表示領域内には、左側から右側へ向かって、「見つける」、「コミュニティ」および「もっと見る」のボタンが表示されている。例えば、第１ユーザが、「見つける」のボタンをタップすると、トップレベルの画面が表示される。

【0156】

続いて、目標５４の表示領域の中央部には、表示中の目標の説明として、「あなたがまだ登っていない山」と表示され、その達成度として、「２７山」と表示されている。この場合、目標は、第１ユーザがまだ登っていない山に登ることであり、その項目は、山である。「２７山」は、第１ユーザがまだ登っていない２７の山があることを表す。また、目標５４の表示領域には、表示中の目標に関連する背景画像として、山の画像が表示されている。

【0157】

目標５４の表示領域の右側および左側の中央部には、それぞれ、右矢印７０および左矢印７２が表示されている。また、目標の表示領域の下側の中央部には、全目標数、および全目標数における、表示中の目標の順番（ページ位置）を表すインジケータ７４が表示されている。図６の例の場合、全目標数は３であり、全目標数における、表示中の目標の順番は、１番目（１ページ目）であることを表す。

【0158】

本実施形態の場合、目標５４の表示領域において、第１ユーザが、右矢印７０をタップするか、目標５４の表示領域を右側から左側へスワイプすると、表示中の目標の１つ次の目標が、目標５４の表示領域に表示される。この場合、インジケータ７４において、全目標数における、表示中の目標の順番は、可能であれば１つ右側に移動される。
一方、目標５４の表示領域において、第１ユーザが、左矢印７２をタップするか、目標５４の表示領域を左側から右側へスワイプすると、表示中の目標の１つ前の目標が、目標５４の表示領域に表示される。この場合、インジケータ７４において、全目標数における、表示中の目標の位置は、可能であれば１つ左側に移動される。

【0159】

このように、表示制御部３８は、１以上の目標の各々を順次バナー表示させることができる。なお、第１ユーザによる手動ではなく、１以上の目標の各々を、一定時間が経過する毎に順次入れ替えて表示させてもよい。

【0160】

また、第１ユーザが、目標５４の表示領域内の右矢印７０および左矢印７２以外の部分をタップすると、その目標の表示画面が表示される。

【0161】

図９は、目標の表示画面を表す一実施形態の概念図である。本実施形態の場合、目標の表示画面はウィンドウ形式で表示されている。図９に示す目標の表示画面の上部には、ウィンドウのクローズボタン７６が表示されている。クローズボタン７６の表示領域の下側には、表示中の目標に設定された１以上の項目のうち、第１ユーザが実行した実行済みの項目７８が表示され、実行済みの項目７８の表示領域の下側には、第１ユーザが実行していない実行候補の項目８０が表示されている。また、実行候補の項目８０の表示領域の下側には、チェックインボタン８２が表示されている。

【0162】

図９の例の場合、実行済みの項目７８の表示領域には、第１ユーザが既に登った５つの山のスタンプが一覧表示されている。実行済みの項目数が多く、実行済みの全ての項目を実行済みの項目７８の表示領域に一覧表示できない場合、第１ユーザが、例えば実行済みの項目７８の表示領域を上下にスワイプすることにより、表示されていなかった実行済みの項目を実行済みの項目７８の表示領域内に表示させることができる。

【0163】

実行候補の項目８０の表示領域には、第１ユーザがまだ登っていない４つの山のタグのボタンが一覧表示されている。実行候補の項目数が多く、実行候補の全ての項目を実行候補の項目８０の表示領域に一覧表示できない場合、第１ユーザが、例えば実行候補の項目８０の表示領域を左右にスワイプすることにより、表示されていなかった実行候補の項目を実行候補の項目８０の表示領域内に表示させることができる。

【0164】

第１ユーザが、実行候補の項目８０のタグのボタンをタップすると、そのタグが付与された画像が、例えば画像処理システム１０を利用するユーザが公開している画像およびインターネット上に公開されている画像の中から検索され、チェックインボタン８２の表示領域内に表示される。例えば、第１ユーザが「剣岳」のタグのボタンをタップすると、「剣岳」の画像が表示される。

【0165】

第１ユーザが、チェックインボタン８２をタップすると、チェックイン画面が表示される。

【0166】

一方、第１ユーザが、クローズボタン７６をタップすると、目標の表示画面のウィンドウが閉じられ、その目標の表示画面が表示される前の画面に戻る。

【0167】

図１０は、チェックイン画面を表す一実施形態の概念図である。本実施形態の場合、チェックイン画面はウィンドウ形式で表示されている。図１０に示すチェックイン画面の上部には、ウィンドウのクローズボタン８４が表示されている。クローズボタン８４の表示領域の下側には、実行候補の項目の場所の地図８６が表示されている。図１０の例の場合、「高尾山」の地図が表示され、現在地にピンマークが表示されている。地図８６の表示領域の下側には、撮影ボタン８８が表示されている。

【0168】

第１ユーザが、撮影ボタン８８をタップすると、スマートフォンが備えるカメラ（図示省略）が起動される。第１ユーザが画像を撮影すると、撮影された画像には、スマートフォンが備えるＧＰＳ（Global Positioning System）機能あるいはスマートフォンが通信する電波基地局の位置読み取り（いずれも図示省略）により、撮影場所の情報が自動的に付与される。撮影された画像は、クライアント１４の記憶装置に格納される。また、撮影された画像は、クライアント１４からネットワーク１６を介してサーバ１２へアップロードされ、サーバ１２の記憶装置に格納される。

【0169】

撮影された画像に付与された撮影場所の情報がチェックされ、「高尾山」であることが確認されると、第１ユーザは「高尾山」にチェックインすることができ、第１実行候補の項目を実行したと判定される。

【0170】

一方、第１ユーザが、クローズボタン８４をタップすると、チェックイン画面のウィンドウが閉じられ、チェックイン画面が表示される前の画面に戻る。

【0171】

続いて、図６に示す縮小画像の表示領域には、画像処理システム１０を利用するユーザが公開している画像およびインターネット上に公開されている画像等の中から、第１ユーザにとって興味があると思われる画像が一覧表示されている。
第１ユーザが、一覧表示された縮小画像の中から１つの縮小画像をタップすると、その縮小画像に対応する画像の詳細表示画面が表示される。

【0172】

画像処理システム１０においては、第１ユーザが所有する画像群における撮影内容の傾向に基づいて、第１ユーザが達成すべき目標を設定し、各々の画像の解析結果に基づいて、第１ユーザが実行する項目を設定してディスプレイに表示することにより、第１ユーザにとって興味のある目標および項目を第１ユーザに提案することができる。また、これにより、新たな写真を撮影するよいきっかけを第１ユーザに与えることができる。

【0173】

なお、本発明の画像処理装置をクライアント１４のみで実現することは必須ではなく、クライアント１４が備える複数の構成要素のうちの１以上の構成要素をサーバ１２が備える構成としていてもよい。

【0174】

本発明の装置において、指示取得部１８、画像受付部２０、属性情報取得部２２、画像解析部２４、タグ情報付与部２６、傾向判定部２８、シーン検出部３０、グループ抽出部３２、イベント決定部３４、目標設定部３６、表示制御部３８、実行判定部４０、項目数判定部４２、画像共有部４４および通信部４６の各種の処理を実行する処理部（Processing Unit）のハードウェア的な構成は、専用のハードウェアであってもよいし、プログラムを実行する各種のプロセッサまたはコンピュータであってもよい。

【0175】

各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0176】

１つの処理部を、これら各種のプロセッサのうちの１つで構成してもよいし、同種または異種の２つ以上のプロセッサの組み合わせ、例えば、複数のＦＰＧＡの組み合わせ、または、ＦＰＧＡおよびＣＰＵの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの１つで構成してもよいし、複数の処理部のうちの２以上をまとめて１つのプロセッサを用いて構成してもよい。

【0177】

例えば、サーバおよびクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。また、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。

【0178】

さらに、これらの各種のプロセッサのハードウェア的な構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）である。

【0179】

また、本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

【0180】

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

【符号の説明】

【0181】

１０ 画像処理システム
１２ サーバ
１４ クライアント
１６ ネットワーク
１８ 指示取得部
２０ 画像受付部
２２ 属性情報取得部
２４ 画像解析部
２６ タグ情報付与部
２８ 傾向判定部
３０ シーン検出部
３２ グループ抽出部
３４ イベント決定部
３６ 目標設定部
３８ 表示制御部
４０ 実行判定部
４２ 項目数判定部
４４ 画像共有部
４６ 通信部
４８ ディスプレイ
５０ メニューバー
５２ タブバー
５４ 目標
５６ 縮小画像
５８ メニューリンクのボタン
６０ 写真／動画一覧画面リンクのボタン
６２ アルバム一覧画面リンクのボタン
６４ スタンプラリー目標一覧画面リンクのボタン
６６ チャレンジ中の目標の一覧
６８ 達成済みの目標の一覧
７０ 右矢印
７２ 左矢印
７４ インジケータ
７６、８４ クローズボタン
７８ 実行済みの項目
８０ 実行候補の項目
８２ チェックインボタン
８６ 地図
８８ 撮影ボタン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】