特許 7446107 情報処理システム、情報処理システムの制御方法、およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-29

(45)【発行日】2024-03-08

(54)【発明の名称】情報処理システム、情報処理システムの制御方法、およびコンピュータプログラム

(51)【国際特許分類】

   G06Q 30/0207 20230101AFI20240301BHJP

   H04N 21/258 20110101ALI20240301BHJP

   H04N 21/266 20110101ALI20240301BHJP

【ＦＩ】

G06Q30/0207 328

H04N21/258

H04N21/266

【請求項の数】 17

(21)【出願番号】P 2019238292

(22)【出願日】2019-12-27

(65)【公開番号】P2021105971

(43)【公開日】2021-07-26

【審査請求日】2022-12-26

(73)【特許権者】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(72)【発明者】

【氏名】梅▲崎▼ 香菜恵

(72)【発明者】

【氏名】松本 あづさ

【審査官】加舎 理紅子

(56)【参考文献】

【文献】特開２０１５－０７５９６９（ＪＰ，Ａ）

【文献】特開２０１０－０８６４８２（ＪＰ，Ａ）

【文献】特開２０１９－０１６１１３（ＪＰ，Ａ）

【文献】特開２０１８－１０８１７２（ＪＰ，Ａ）

【文献】特許第６４９１４０５（ＪＰ，Ｂ１）

【文献】特開２００４－３５５３２５（ＪＰ，Ａ）

【文献】特開２０１８－１４７１９４（ＪＰ，Ａ）

【文献】特開２０１９－１１８０２１（ＪＰ，Ａ）

【文献】特開２０１８－１７３８１１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６３Ｆ ９／２４

１３／００－ １３／９８

Ｇ０６Ｑ １０／００－ ９９／００

Ｈ０４Ｌ １３／００－ １３／１８

６１／００－ ６５／８０

６９／００－１０１／６９５

Ｈ０４Ｎ ７／１０

７／１４－ ７／１７３

７／２０－ ７／５６

２１／００－ ２１／８５８

(57)【特許請求の範囲】

【請求項1】

ユーザにより撮影された画像に基づき、当該ユーザに対して与えられたミッションが達成されたかを判定する判定手段と、
前記判定手段によりミッションが達成されたと判定された場合、前記ユーザに対してミッション達成に基づく通知をする通知手段と、
前記判定手段によりミッションが達成されたと判定された場合、前記ユーザに対してポイントを付与するポイント付与手段と、
前記ポイントに基づいて前記ユーザに対して新たなミッションを付与するミッション付与手段と
を備えることを特徴とする情報処理システム。

【請求項2】

前記ミッションは、所定のオブジェクトを撮影することで達成されるミッションであり、
前記判定手段は、前記ユーザにより前記ミッションに係るオブジェクトが撮影されたかに基づき、前記ミッションが達成されたかを判定することを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記ミッションは、複数の所定のオブジェクトを撮影することで達成されるミッションであり、
前記判定手段は、前記ユーザにより前記ミッションに係る複数のオブジェクトのすべてが撮影されたかに基づき、前記ミッションが達成されたかを判定することを特徴とする請求項１に記載の情報処理システム。

【請求項4】

前記判定手段は、前記所定のオブジェクトに係る特徴量と前記ユーザにより撮影された画像に係る特徴量との類似度に基づき、前記ミッションに係るオブジェクトが撮影されたかを判定することを特徴とする請求項２または３に記載の情報処理システム。

【請求項5】

前記ミッションは、所定の範囲内において所定のオブジェクトを撮影することで達成されるミッションであり、
前記判定手段は、前記画像の撮影位置が前記所定の範囲内であり、かつ前記ミッションに係るオブジェクトが撮影されたかに基づき、前記ミッションが達成されたかを判定することを特徴とする請求項２乃至４のいずれか１項に記載の情報処理システム。

【請求項6】

前記通知手段は、前記ユーザにより撮影された画像が、前記所定のオブジェクトが撮影された画像ではない場合、所定のメッセージを通知することを特徴とする請求項２乃至４のいずれか１項に記載の情報処理システム。

【請求項7】

前記通知手段は、前記ユーザにより撮影された画像が、前記所定の範囲内から撮影された画像ではない場合、所定のメッセージを通知することを特徴とする請求項５に記載の情報処理システム。

【請求項8】

前記ユーザに対してコンテンツを配信する配信手段をさらに備え、
前記判定手段によりミッションが達成されたと判定された場合の前記通知手段による通知は、前記配信手段により配信されたコンテンツに係る通知であることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理システム。

【請求項9】

前記配信手段は、前記判定手段によりミッションが達成されたと判定された場合に前記コンテンツを配信することを特徴とする請求項８に記載の情報処理システム。

【請求項10】

前記コンテンツは、新たなミッションを取得するための情報であり、
前記ミッション付与手段は、前記コンテンツに対応付けられたミッションを付与することを特徴とする請求項８または９に記載の情報処理システム。

【請求項11】

前記コンテンツは、割引サービスを受けるための情報であることを特徴とする請求項８または９に記載の情報処理システム。

【請求項12】

前記ポイント付与手段によって付与されるポイントは、ミッションのレベルに応じて決定されることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理システム。

【請求項13】

前記ミッションのレベルは、所定のオブジェクトの数、ミッション達成のために必要な移動距離、所定のオブジェクトの見つけやすさのうち少なくとも一つに応じて決定されることを特徴とする請求項１２に記載の情報処理システム。

【請求項14】

前記ポイント付与手段によって付与されるポイントは、ミッション達成にかかる時間に応じて決定されることを請求項１乃至１３のいずれか１項に記載の情報処理システム。

【請求項15】

ミッションの達成度を表示する表示制御手段をさらに備えることを特徴とする請求項１乃至１４のいずれか１項に記載の情報処理システム。

【請求項16】

情報処理システムの制御方法であって、
前記情報処理システムの判定手段が、ユーザにより撮影された画像に基づき、当該ユーザに対して与えられたミッションが達成されたかを判定する判定ステップと、
前記情報処理システムの通知手段が、前記判定ステップによりミッションが達成されたと判定された場合、前記ユーザに対してミッション達成に基づく通知をする通知ステップと、
前記情報処理システムのポイント付与手段が、前記判定ステップによりミッションが達成されたと判定された場合、前記ユーザに対してポイントを付与するポイント付与ステップと、
前記情報処理システムのミッション付与手段が、前記ポイントに基づいて前記ユーザに対して新たなミッションを付与するミッション付与ステップと
を備えることを特徴とする情報処理システムの制御方法。

【請求項17】

少なくとも１つのコンピュータを、請求項１乃至１５のいずれか１項に記載の情報処理システムの各手段として機能させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理技術に関するものである。

【背景技術】

【0002】

特許文献１には、風景写真を撮る、紅葉等の被写体やペット目線で撮影する、などの主題（テーマ）、北海道のツアーガイドに掲載されていない場所の写真を撮影するといった撮影場所、撮影時期、テーマ等を指定した任務や使命等（ミッション）、を撮像装置のユーザに提示するための技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１７３８６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示の技術は、テーマやミッションを提示するものであって、提示した一連のテーマやミッションが達成されたか否かを判断し、その判断の結果に応じてコンテンツを配信するものではない。

【0005】

本発明では、撮像された画像のファイルに基づいて一連の撮像エリアにおける撮像が実施されたのか否かを判断し、その判断の結果に応じてコンテンツを配信するための技術を提供する。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明の情報処理システムは、
ユーザにより撮影された画像に基づき、当該ユーザに対して与えられたミッションが達成されたかを判定する判定手段と、
前記判定手段によりミッションが達成されたと判定された場合、前記ユーザに対してミッション達成に基づく通知をする通知手段と、
前記判定手段によりミッションが達成されたと判定された場合、前記ユーザに対してポイントを付与するポイント付与手段と、

前記ポイントに基づいて前記ユーザに対して新たなミッションを付与するミッション付与手段と
を備えることを特徴とする。

【発明の効果】

【0007】

本発明の構成によれば、撮像された画像のファイルに基づいて一連の撮像エリアにおける撮像が実施されたのか否かを判断し、その判断の結果に応じてコンテンツを配信することができる。

【図面の簡単な説明】

【0008】

【図1】システムの構成例を示す図。

【図2】（ａ）はモード選択画面の構成例を示す図、（ｂ）はミッション選択画面の構成例を示す図。

【図3】（ａ）は選択画面の構成例を示す図、（ｂ）はメッセージの表示例を示す図。

【図4】ミッションデータの構成例を示す図。

【図5】システムの動作を示すフローチャート。

【図6】（ａ）はミッションの達成記録を表示させるための処理のフローチャート、（ｂ）はミッションの達成記録画面の表示例を示す図。

【図7】ミッション購入モードにおける表示部１９７の表示例を示す図。

【図8】新たなミッションを購入するためのシステムの動作を示すフローチャート。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

【0010】

［第１の実施形態］
まず、本実施形態に係るシステムの構成例について、図１を用いて説明する。図１に示す如く、本実施形態に係るシステムは、サーバ１００、撮像装置１９０、端末装置１８０を有する。サーバ１００はネットワーク１５０に有線で接続されており、撮像装置１９０および端末装置１８０はネットワーク１５０に無線で接続されている。ネットワーク１５０は、ＬＡＮやインターネットなどのネットワークである。なお、ネットワーク１５０への接続形態は特定の接続形態に限らない。

【0011】

まず、情報処理装置としてのサーバ１００について説明する。

【0012】

ＣＰＵ１０１は、ＲＡＭ１０２やＲＯＭ１０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１０１はサーバ１００全体の動作制御を行うとともに、サーバ１００が行うものとして後述する各処理を実行もしくは制御する。

【0013】

ＲＡＭ１０２は、ＲＯＭ１０３や外部記憶装置１０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１０７を介して外部（撮像装置１９０や端末装置１８０）から受信したデータ、を格納するためのエリアを有する。さらにＲＡＭ１０２は、ＣＰＵ１０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１０２は、各種のエリアを適宜提供することができる。

【0014】

ＲＯＭ１０３には、サーバ１００の設定データや起動プログラムなどが格納されている。

【0015】

操作部１０４は、キーボード、マウス、タッチパネルなどのユーザインターフェースであり、ユーザが操作することで各種の指示をＣＰＵ１０１に対して入力することができる。

【0016】

表示部１０５は、液晶画面やタッチパネル画面を有する表示装置であり、ＣＰＵ１０１による処理結果を画像や文字などでもって表示することができる。なお、表示部１０５は、画像や文字を投影するプロジェクタなどの投影装置であってもよい。

【0017】

外部記憶装置１０６は、ハードディスクドライブ装置などの大容量情報記憶装置である。外部記憶装置１０６には、ＯＳ（オペレーティングシステム）や、サーバ１００が行うものとして後述する各処理をＣＰＵ１０１に実行もしくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置１０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従って適宜ＲＡＭ１０２にロードされ、ＣＰＵ１０１による処理対象となる。

【0018】

Ｉ／Ｆ１０７は、サーバ１００をネットワーク１５０に接続するためのネットワークインターフェースであり、サーバ１００はＩ／Ｆ１０７を介してネットワーク１５０に接続されている撮像装置１９０や端末装置１８０との間のデータ通信を行う。

【0019】

ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、操作部１０４、表示部１０５、外部記憶装置１０６、Ｉ／Ｆ１０７は何れも、バス１０８に接続されている。

【0020】

次に、撮像装置１９０について説明する。

【0021】

撮像部１９１は、光学系、撮像素子、画像処理回路などにより構成されており、光学系を介して外界から入光した光は撮像素子にて画像信号に変換され、画像処理回路は該画像信号に対して各種の画像処理を施すことで撮像画像を生成する。

【0022】

ＣＰＵ１９２は、ＲＡＭ１９３やＲＯＭ１９４に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１９２は撮像装置１９０全体の動作制御を行うとともに、撮像装置１９０が行うものとして後述する各処理を実行もしくは制御する。

【0023】

ＲＡＭ１９３は、ＲＯＭ１９４や不揮発性メモリ１９５からロードされたコンピュータプログラムやデータ、撮像部１９１から出力された撮像画像、通信部１９８が外部（サーバ１００や端末装置１８０）から受信したデータ、を格納するためのエリアを有する。さらにＲＡＭ１９３は、ＣＰＵ１９２が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１９３は、各種のエリアを適宜提供することができる。

【0024】

ＲＯＭ１９４には、撮像装置１９０の設定データや起動プログラム、撮像装置１９０全体の動作制御をＣＰＵ１０１に実行もしくは制御させるためのコンピュータプログラムやデータ、が格納されている。

【0025】

不揮発性メモリ１９５には、撮像部１９１によって撮像された撮像画像と、該撮像画像のメタデータと、を含む画像ファイルが保存される。撮像画像のメタデータには、該撮像画像の撮像時における画角、焦点距離、シャッタースピードなどの撮像パラメータ、該撮像画像の撮像位置（緯度、経度）、該撮像画像の撮像日時、などの該撮像画像に関する様々な情報が含まれている。

【0026】

ボタン群１９６には、撮像指示を入力するためのボタン、メニュー画面において選択操作や決定操作を入力するためのボタン、撮像装置１９０の電源をオン／オフにするためのボタン等、撮像装置１９０に係る各種のユーザ操作を行うためのボタンが含まれている。

【0027】

表示部１９７は、液晶画面やタッチパネル画面であり、例えば、撮像部１９１により撮像された撮像画像、各種の画面、サーバ１００や端末装置１８０から受信したデータ、などを表示することができる。表示部１９７がタッチパネル画面である場合には、ユーザは表示部１９７の画面上をタッチすることで、各種の指示をＣＰＵ１９２に対して入力することができる。

【0028】

通信部１９８は、ネットワーク１５０に接続されているサーバ１００との間のデータ通信を制御する。また、通信部１９８は、端末装置１８０との間で近接無線通信などの通信を行う。

【0029】

撮像部１９１、ＣＰＵ１９２、ＲＡＭ１９３、ＲＯＭ１９４、不揮発性メモリ１９５、ボタン群１９６、表示部１９７、通信部１９８、は何れもバス１９９に接続されている。

【0030】

次に、端末装置１８０について説明する。端末装置１８０は、スマートフォン、タブレット端末装置、ノート型パソコンなどの、可搬型のコンピュータ装置であり、ネットワーク１５０を介してサーバ１００との間のデータ通信を行うことができる。また、端末装置１８０は、撮像装置１９０との間で近接無線通信などの通信を行うこともできる。

【0031】

次に、撮像装置１９０のユーザに、様々な位置に設けられている撮像対象（オブジェクト）を探して撮像させ、すべてのオブジェクトを撮像すると、撮像装置１９０に特典となるような情報（コンテンツ）を提供するための上記のシステムの動作について説明する。

【0032】

撮像装置１９０のユーザは撮像装置１９０をミッションモードに移行させる。例えば、ユーザはボタン群１９６を操作したり表示部１９７の表示画面上をタッチするなどして、図２（ａ）に示すようなモード選択画面を表示部１９７の表示画面に表示させる。以降の説明では、表示部１９７における表示制御や、表示部１９７に対するユーザ操作に応じて行われる処理は何れも、ＣＰＵ１９２が行うものとする。

【0033】

ボタン２００は、撮像装置１９０をミッションモードに移行させるためのボタンで、ユーザがボタン２００の表示領域をタッチする、もしくはボタン群１９６を操作してボタン２００を指示すると、撮像装置１９０はミッションモードに移行する。ミッションモードについては後述する。

【0034】

ボタン２０１は、撮像装置１９０を通常撮影モードに移行させるためのボタンで、ユーザがボタン２０１の表示領域をタッチする、もしくはボタン群１９６を操作してボタン２０１を指示すると、撮像装置１９０は通常撮影モードに移行する。通常撮影モードでは、撮像装置１９０は、ユーザが撮像指示を入力したことで静止画像もしくは動画像の撮像を行う、いわゆる通常の撮像動作を行う。

【0035】

ボタン２０２は、撮像装置１９０をミッション購入モードに移行させるためのボタンで、ユーザがボタン２０２の表示領域をタッチする、もしくはボタン群１９６を操作してボタン２０２を指示すると、撮像装置１９０はミッション購入モードに移行する。ミッション購入モードについては後述する。

【0036】

撮像装置１９０がミッションモードに移行すると、表示部１９７の表示画面には、図２（ｂ）に示すような、ミッション選択画面が表示される。

【0037】

ボタン２０３は、特定の人物をすべて撮影すると達成（クリア）となるミッション（人物ミッション）を選択するためのボタンであり、ユーザがボタン２０３の表示領域をタッチする、もしくはボタン群１９６を操作してボタン２０３を指定すると、人物ミッションの処理が開始される。

【0038】

ボタン２０４は、特定の動物をすべて撮影すると達成となるミッション（動物ミッション）を選択するためのボタンであり、ユーザがボタン２０４の表示領域をタッチする、もしくはボタン群１９６を操作してボタン２０４を指定すると、動物ミッションの処理が開始される。

【0039】

ボタン２０５は、様々な位置に設けられている撮像対象のオブジェクトを探して撮像させ、すべての撮像対象のオブジェクトを撮像すると達成となるミッション（フィールドワークミッション）を選択するためのボタンである。ユーザがボタン２０５の表示領域をタッチする、もしくはボタン群１９６を操作してボタン２０５を指定すると、フィールドワークミッションの処理が開始される。

【0040】

ユーザがボタン２０５の表示領域をタッチ、もしくはボタン群１９６を操作してボタン２０５を指定すると、表示部１９７の表示画面には、図３（ａ）に示すような、フィールドワークミッションＡ～Ｃのうち何れか１つを選択するための選択画面が表示される。

【0041】

以降の、本システムの動作について、図５のフローチャートに従って説明する。図５において、ステップＳ５０１～Ｓ５１１は撮像装置１９０のＣＰＵ１９２が実行もしくは制御することで行われる処理、ステップＳ５５１～５６０はサーバ１００のＣＰＵ１０１が実行もしくは制御することで行われる処理である。

【0042】

ステップＳ５０１では、ＣＰＵ１９２は通信部１９８を制御して、図３（ａ）の選択画面においてユーザが表示部１９７上をタッチする若しくはボタン群１９６を操作することで選択したフィールドワークミッションに対応するＩＤをサーバ１００に対して送信する。

【0043】

ステップＳ５５１では、ＣＰＵ１０１は、撮像装置１９０から送信されたフィールドワークミッションのＩＤをＩ／Ｆ１０７を介して受信する。

【0044】

ステップＳ５５２では、ＣＰＵ１０１は、外部記憶装置１０６に保存されている複数のミッションデータのうち、ステップＳ５５１で受信したＩＤに対応付けられているミッションデータを特定する。

【0045】

ミッションデータの構成例を図４に示す。ミッションデータは複数のサブミッションデータで構成されており、図４において行ごとのデータがサブミッションデータに対応する。

【0046】

サブミッションデータは、該サブミッションデータに固有のＩＤであるサブミッションＩＤ、該サブミッションデータに対応するサブミッションで撮像可能なエリアである撮像エリア（撮像位置（緯度、経度）、該撮像位置からの許容距離）、該サブミッションデータに対応するサブミッションの内容をユーザに通知するメッセージ、該サブミッションデータに対応するサブミッションで撮像対象とするオブジェクトの画像特徴量（ＳＩＦＴなど）、該サブミッションデータに対応するサブミッションを達成できたか否かを示す達成フラグ（デフォルトでは０に初期化されている）、を有する。

【0047】

そしてステップＳ５５２ではさらに、ＣＰＵ１０１は、ミッションデータに含まれるサブミッションデータのうち未選択のサブミッションデータを選択サブミッションデータとして選択する。ミッションデータからサブミッションデータを選択する順序は特定の順序に限らず、例えば、サブミッションＩＤが小さい／大きい順に選択してもよいし、ランダムに選択してもよい。

【0048】

ステップＳ５５３では、ＣＰＵ１０１は、選択サブミッションデータに含まれているサブミッションＩＤとメッセージと、をＩ／Ｆ１０７を介して撮像装置１９０に対して送信する。

【0049】

ステップＳ５０２では、ＣＰＵ１９２は通信部１９８を制御して、サーバ１００から送信されたサブミッションＩＤおよびメッセージを受信する。

【0050】

ステップＳ５０３では、ＣＰＵ１９２は、ステップＳ５０２で受信したメッセージを表示部１９７の表示画面上に表示させる。表示部１９７の表示画面上におけるメッセージの表示例を図３（ｂ）に示す。図３（ｂ）では、オブジェクトＡの撮像がサブミッションとして与えられているので、撮像装置１９０のユーザは該撮像装置１９０を携帯して、オブジェクトＡを探す。そして該ユーザは、オブジェクトＡを見つけると、撮像装置１９０を用いて該オブジェクトＡを撮像する。

【0051】

ユーザが撮像装置１９０の画角内にオブジェクトＡをおさめた状態でボタン群１９６を操作して撮像指示を入力すると、撮像部１９１からはオブジェクトＡを含む撮像画像が出力される。ＣＰＵ１９２は、該撮像画像のメタデータを生成し、該撮像画像と該メタデータとを含む画像ファイルを生成する。

【0052】

ステップＳ５０４では、ＣＰＵ１９２は、ユーザがボタン群１９６を操作して該画像ファイルの送信指示を入力したか否かを判断する。この判断の結果、送信指示が入力された場合には、処理はステップＳ５０５に進み、送信指示が入力されていない場合には、処理はステップＳ５０３に戻る。

【0053】

ステップＳ５０５では、ＣＰＵ１９２は通信部１９８を制御して、上記の生成した画像ファイルと、ステップＳ５０２でサーバ１００から受信したサブミッションＩＤと、をサーバ１００に対して送信する。

【0054】

ステップＳ５５４では、ＣＰＵ１０１は、撮像装置１９０から送信された画像ファイルおよびサブミッションＩＤを受信する。

【0055】

ステップＳ５５５では、ＣＰＵ１０１は、ステップＳ５５４で受信した画像ファイル内の撮像画像を取得し、該撮像画像中に含まれているオブジェクトの画像特徴量を抽出する。そしてＣＰＵ１０１は、該抽出した画像特徴量と、ステップＳ５５４で受信したサブミッションＩＤに対応するサブミッションデータに含まれている画像特徴量と、の類似度を求める。

【0056】

そしてＣＰＵ１０１は、該類似度が閾値未満であれば、受信した画像ファイル内の撮像画像中に含まれているオブジェクトと、ステップＳ５５４で受信したサブミッションＩＤに対応するサブミッションで撮像対象とするオブジェクトと、は同じである、と判断する。つまり、ＣＰＵ１０１は、ユーザが、ステップＳ５５４で受信したサブミッションＩＤに対応するサブミッションで撮像対象とするオブジェクトを撮像した、と判断する。

【0057】

一方、ＣＰＵ１０１は、該類似度が閾値以上であれば、受信した画像ファイル内の撮像画像中に含まれているオブジェクトと、ステップＳ５５４で受信したサブミッションＩＤに対応するサブミッションで撮像対象とするオブジェクトと、は同じではない、と判断する。つまり、ＣＰＵ１０１は、ユーザは、ステップＳ５５４で受信したサブミッションＩＤに対応するサブミッションで撮像対象とするオブジェクトを撮像していない、と判断する。

【0058】

なお、画像ファイル内の撮像画像中に含まれているオブジェクトが、ステップＳ５５４で受信したサブミッションＩＤに対応するサブミッションで撮像対象とするオブジェクトであるか否かを判断する方法には様々な方法があり、特定の方法に限らない。

【0059】

例えば、画像特徴量同士を比較するのではなく、画像ファイル内の撮像画像と、ステップＳ５５４で受信したサブミッションＩＤに対応するサブミッションで撮像対象とするオブジェクトの画像（予め外部記憶装置１０６に登録済み）と、のマッチングによって上記の判断を行ってもよい。

【0060】

また例えば、フィールドワークミッションにおいて撮像対象として指定されている各オブジェクトの画像を学習したニューラルネットワーク（予め外部記憶装置１０６に登録済み）に撮像画像を入力した場合における該ニューラルネットワークからの出力（各オブジェクトに対する尤度）に基づいて上記の判断を行ってもよい。

【0061】

いずれの判断方法を用いるにせよ、受信した画像ファイル内の撮像画像中に含まれているオブジェクトと、ステップＳ５５４で受信したサブミッションＩＤに対応するサブミッションで撮像対象とするオブジェクトと、が同じであると判断した場合には、処理はステップＳ５５６に進む。一方、受信した画像ファイル内の撮像画像中に含まれているオブジェクトと、ステップＳ５５４で受信したサブミッションＩＤに対応するサブミッションで撮像対象とするオブジェクトと、が同じではないと判断した場合には、処理はステップＳ５５７に進む。

【0062】

ステップＳ５５６では、ＣＰＵ１０１は、ステップＳ５５４で受信した画像ファイル内のメタデータに含まれている撮像位置が、ステップＳ５５４で受信したサブミッションＩＤに対応するサブミッションデータに含まれている撮像エリア内の位置であるか否かを判断する。例えば、ステップＳ５５４で受信したサブミッションＩＤ＝２である場合、図５の例では、ステップＳ５５４で受信した画像ファイル内のメタデータに含まれている撮像位置が、（緯度、経度）＝（Ｘ_Ｂ，Ｙ_Ｂ）から許容距離ｄ_Ｂの範囲（撮像エリア）内にあるか否かを判断する。

【0063】

ステップＳ５５４で受信した画像ファイル内のメタデータに含まれている撮像位置が、ステップＳ５５４で受信したサブミッションＩＤに対応するサブミッションデータに含まれている撮像エリア内の位置である場合には、処理はステップＳ５５８に進む。

【0064】

一方、ステップＳ５５４で受信した画像ファイル内のメタデータに含まれている撮像位置が、ステップＳ５５４で受信したサブミッションＩＤに対応するサブミッションデータに含まれている撮像エリア内の位置ではない場合には、処理はステップＳ５５７に進む。

【0065】

ステップＳ５５７では、ＣＰＵ１０１は、ユーザはサブミッションに対応するオブジェクトを撮像していない若しくはユーザはサブミッションに対応する撮像エリア内で撮像していない、と判断し、その旨を示すエラーメッセージをＩ／Ｆ１０７を介して撮像装置１９０に対して送信する。

【0066】

ステップＳ５０６では、ＣＰＵ１９２は通信部１９８を制御して、サーバ１００から送信されたエラーメッセージを受信する。ステップＳ５０６は、サーバ１００からエラーメッセージが送信された場合に限って実行される処理ステップである。

【0067】

ステップＳ５０７では、ＣＰＵ１９２は、エラーメッセージを受信したか否かを判断する。この判断の結果、エラーメッセージを受信していない場合には、処理はステップＳ５０９に進む。一方、エラーメッセージを受信した場合には、処理はステップＳ５０８に進む。

【0068】

ステップＳ５０８では、ＣＰＵ１９２は、ステップＳ５０６で受信したエラーメッセージを表示部１９７の表示画面上に表示させる。そして処理はステップＳ５０３に進む。

ステップＳ５５８では、ＣＰＵ１０１は、ステップＳ５５４で受信したサブミッションＩＤに対応するサブミッションデータに含まれている達成フラグに「１」を設定する。

【0069】

ステップＳ５５９では、ＣＰＵ１０１は、ミッションデータに含まれているすべてのサブミッションデータ中の達成フラグが「１」であるか否かを判断する。

【0070】

このような判断の結果、ミッションデータに含まれているすべてのサブミッションデータ中の達成フラグが「１」である場合、つまり、ミッションデータに含まれているすべてのサブミッションデータに対応するサブミッションが達成された場合には、処理はステップＳ５６０に進む。

【0071】

一方、ミッションデータに含まれているサブミッションデータのうち、達成フラグが「０」であるサブミッションデータが存在する場合、つまり、ミッションデータに含まれているすべてのサブミッションデータに対応するサブミッションのうち達成されていないサブミッションが残っている場合には、処理はステップＳ５５２に進み、未選択のサブミッションデータを選択する。

【0072】

ステップＳ５６０では、ＣＰＵ１０１は、ユーザはそれぞれのサブミッションにて規定される撮像エリア内で撮像対象となるオブジェクトを撮像したのであるから、該ユーザにコンテンツを提供するべく、該コンテンツをＩ／Ｆ１０７を介して撮像装置１９０に対して送信する。

【0073】

ステップＳ５０９では、ＣＰＵ１９２は通信部１９８を制御して、サーバ１００から送信されたコンテンツを受信する。ステップＳ５０９は、サーバ１００からコンテンツが送信された場合に限って実行される処理ステップである。

【0074】

ステップＳ５１０では、ＣＰＵ１９２は、サーバ１００からコンテンツを受信したか否かを判断する。この判断の結果、サーバ１００からコンテンツを受信した場合には、処理はステップＳ５１１に進み、サーバ１００からコンテンツを受信していない場合には、処理はステップＳ５０２に進む。

【0075】

ステップＳ５１１では、ＣＰＵ１９２は、ステップＳ５０９で受信したコンテンツを表示部１９７の表示画面に表示させる。

【0076】

ここで、コンテンツには、様々なコンテンツが考えられる。本実施形態では、コンテンツは、新たなミッションを購入するために必要なコード（特典コード）であるものとする。

【0077】

なお、図５のフローチャートでは、ステップＳ５５８に処理が進んだ場合には、サーバ１００は、撮像装置１９０に対して何ら通知を行っていないが、ステップＳ５５４で受信したサブミッションＩＤに対応するサブミッションが達成された旨を撮像装置１９０に通知するようにしてもよい。

【0078】

ここで、撮像装置１９０のユーザは、フィールドワークミッションに含まれるサブミッションが幾つあるのか、どのサブミッションがクリア済みでどのサブミッションがまだクリアしていないのか、などのミッションの達成記録を知るべく、該達成記録の表示をサーバ１００に要求することができる。

【0079】

ユーザからの要求に応じて、撮像装置１９０の表示部１９７にミッションの達成記録を表示させるためにサーバ１００および撮像装置１９０が行う処理について、図６（ａ）のフローチャートに従って説明する。

【0080】

ステップＳ６０１では、ＣＰＵ１９２は通信部１９８を制御して、ユーザがボタン群１９６を操作して入力した、ミッションの達成記録の表示指示をサーバ１００に対して送信する。

【0081】

ステップＳ６１１では、ＣＰＵ１０１は、撮像装置１９０から送信された、ミッションの達成記録の表示指示をＩ／Ｆ１０７を介して受信する。

【0082】

ステップＳ６１２では、ＣＰＵ１０１は、ミッションデータにおける各サブミッションＩＤに対応するマーカを並べた画面（ミッションの達成記録画面）を生成する。その際、ＣＰＵ１０１は、達成フラグが「０」に対応するサブミッションＩＤのマーカ（達成されていないサブミッションに対応するマーカ）と、達成フラグが「１」に対応するサブミッションＩＤのマーカ（達成されたサブミッションに対応するマーカ）と、を視覚的に識別可能に表示する。例えば、図６（ｂ）に示す如く、達成フラグが「０」に対応するサブミッションＩＤのマーカは白丸で表示し、達成フラグが「１」に対応するサブミッションＩＤのマーカは「済」が記された白丸で表示する。

【0083】

ステップＳ６１３では、ＣＰＵ１０１は、ステップＳ６１２で生成したミッションの達成記録画面を、Ｉ／Ｆ１０７を介して撮像装置１９０に対して送信する。

【0084】

ステップＳ６０２では、ＣＰＵ１９２は通信部１９８を制御して、サーバ１００から送信されたミッションの達成記録画面を受信する。

【0085】

ステップＳ６０３では、ＣＰＵ１９２は、ステップＳ６０２で受信したミッションの達成記録画面を表示部１９７の表示画面に表示させる。これにより、ユーザは、複数のサブミッションから構成されるミッションの達成状況を容易に確認することが可能となる。

【0086】

＜ミッションの購入について＞
撮像装置１９０のユーザは、新たなミッションを体験するべく、新たなミッションを購入することができる。ここで「新たなミッションを購入する」とは、「サーバ１００が保持しているミッションデータ群において撮像装置１９０が未だ利用できないミッションデータのうち１つ以上を利用可能にする（ミッションデータの使用権を入手する）」ことを意味する。

【0087】

新たなミッションを購入する場合、図２（ａ）のモード選択画面を用いて撮像装置１９０をミッション購入モードに移行させる。ミッション購入モードに移行した撮像装置１９０の表示部１９７の表示画面には図７に示す画面７００が表示される。画面７００は、ボタン７０１，７０２，７０３を有する。

【0088】

ユーザが表示部１９７の表示画面上をタッチする若しくはボタン群１９６を操作してボタン７０１を指示すると、表示部１９７の表示画面には、特典コードを用いて新たなミッションを購入するための画面７１０が表示される。ユーザはボタン群１９６を操作して領域７１１に、サーバ１００から受信した特典コードを入力し、その後、ボタン群１９６を用いて送信指示を入力すると、撮像装置１９０のＣＰＵ１９２は、該領域７１１に入力された特典コードをサーバ１００に対して送信する。サーバ１００は、撮像装置１９０から受信した特典コードと対応付けられている若しくは特典コードが表すミッションデータのＩＤと、該ミッションデータを選択するためのボタンのアイコンと、を撮像装置１９０に対して送信する。撮像装置１９０は、サーバ１００から送信されたアイコン及びＩＤを対応付けて不揮発性メモリ１９５に保存する。

【0089】

ユーザが表示部１９７の表示画面上をタッチする若しくはボタン群１９６を操作してボタン７０２を指示すると、表示部１９７の表示画面には、ユーザがこれまでに獲得したポイントを用いて新たなミッションを購入するための画面７２０が表示される。

【0090】

ここで、「ポイント」について説明する。サーバ１００は、撮像装置１９０に対してコンテンツを送信すると、コンテンツの送信先と関連付けられているユーザに対してポイントを付与する（すでに該ユーザに対してポイントが付与されている場合には累積する）。ポイントは、フィールドワークミッションのレベル（例えば、サブミッションの数、全てのサブミッションを達成するためにユーザが移動する距離、撮像するオブジェクトを見つけ出す困難性などに応じたレベル）が高いほど高いポイントであってもよいし、フィールドワークミッションを達成するまでに要した時間が短いほど高いポイントであってもよい。このポイントは、新たなミッションを購入するために利用することができる。画面７２０には、１００ｐｔ（ポイント）で購入可能なミッションに対応するボタン７２１、２００ｐｔで購入可能なミッションに対応するボタン７２２、３００ｐｔで購入可能なミッションに対応するボタン７２３、が設けられている。ユーザが表示部１９７の表示画面上をタッチする若しくはボタン群１９６を操作してボタン７２１を指示すると、その旨がサーバ１００に通知され、サーバ１００は該ユーザについて管理しているポイントから１００を減じるとともに、ボタン７２１に対応するミッションデータのＩＤと、該ミッションデータを選択するためのボタンのアイコンと、を撮像装置１９０に対して送信する。ユーザが表示部１９７の表示画面上をタッチする若しくはボタン群１９６を操作してボタン７２２を指示すると、その旨がサーバ１００に通知され、サーバ１００は該ユーザについて管理しているポイントから２００を減じるとともに、ボタン７２２に対応するミッションデータのＩＤと、該ミッションデータを選択するためのボタンのアイコンと、を撮像装置１９０に対して送信する。ユーザが表示部１９７の表示画面上をタッチする若しくはボタン群１９６を操作してボタン７２３を指示すると、その旨がサーバ１００に通知され、サーバ１００は該ユーザについて管理しているポイントから３００を減じるとともに、ボタン７２３に対応するミッションデータのＩＤと、該ミッションデータを選択するためのボタンのアイコンと、を撮像装置１９０に対して送信する。撮像装置１９０は、サーバ１００から送信されたアイコン及びＩＤを対応付けて不揮発性メモリ１９５に保存する。

【0091】

ユーザが表示部１９７の表示画面上をタッチする若しくはボタン群１９６を操作してボタン７０３を指示すると、表示部１９７の表示画面には、課金により新たなミッションを購入するための画面７３０が表示される。ユーザはボタン群１９６を操作して領域７３１に、端末装置１８０のＩＤ（端末ＩＤ）を入力し、その後、ボタン群１９６を用いて送信指示を入力すると、撮像装置１９０のＣＰＵ１９２は、該領域７３１に入力された端末ＩＤをサーバ１００に対して送信する。なお、この時点でユーザは端末装置１８０を用いてサーバ１００にアクセスし、購入するミッションを指定して決済を完了させているものとする。サーバ１００は、端末装置１８０にて決済が完了しているミッションデータのＩＤと、該ミッションデータを選択するためのボタンのアイコンと、を、領域７３１に入力された端末ＩＤで特定される端末装置１８０に対して送信（ダウンロード）する。ユーザは端末装置１８０にダウンロードされたＩＤおよびアイコンを、撮像装置１９０との近接無線通信によって、該撮像装置１９０に転送し、該撮像装置１９０は、該転送されたアイコン及びＩＤを対応付けて不揮発性メモリ１９５に保存する。

【0092】

そして次回、撮像装置１９０のＣＰＵ１９２は、ミッション選択画面を表示する際には、不揮発性メモリ１９５に保存したアイコンを記したボタンを、既存のボタンに加えて表示し、ユーザが該ボタンを指示すると、該ボタンと対応付けられているＩＤをサーバ１００に対して送信する。

【0093】

新たなミッションを購入するために撮像装置１９０、サーバ１００、端末装置１８０のそれぞれが行う処理について、図８のフローチャートに従って説明する。

【0094】

ステップＳ８０１では、ＣＰＵ１９２は、ボタン７０１，７０２，７０３のどれが指示されたのかを判断する。この判断の結果、ボタン７０１が指示された場合には、処理はステップＳ８０２に進み、ボタン７０２が指示された場合には、処理はステップＳ８０５に進み、ボタン７０３が指示された場合には、処理はステップＳ８０８に進む。

【0095】

ステップＳ８０２では、ＣＰＵ１９２は、表示部１９７の表示画面に画面７１０を表示させる。ステップＳ８０３では、ＣＰＵ１９２は、領域７１１に入力された特典コードをサーバ１００に対して送信する。

【0096】

一方、ステップＳ８０５では、ＣＰＵ１９２は、表示部１９７の表示画面に画面７２０を表示させる。ステップＳ８０６では、ＣＰＵ１９２は、ボタン７２１，７２２，７２３のうちユーザにより指示されたボタンを示す情報をサーバ１００に対して送信する。

【0097】

一方、ステップＳ８０８では、ＣＰＵ１９２は、表示部１９７の表示画面に画面７３０を表示させる。ステップＳ８０９では、ＣＰＵ１９２は、領域７３１に入力された端末ＩＤをサーバ１００に対して送信する。

【0098】

ステップＳ８５１では、ＣＰＵ１０１は、ステップＳ８０３もしくはステップＳ８０６において送信された特典コード若しくは指示されたボタンを示す情報を受信し、ステップＳ８５２では、ＣＰＵ１０１は、受信した特典コード若しくは指示されたボタンを示す情報に対応するミッションデータのアイコン及びＩＤを撮像装置１９０に対して送信する。 ステップＳ８０４では、ＣＰＵ１９２は、特典コードに対応するミッションデータのアイコン及びＩＤをサーバ１００から受信する。ステップＳ８０７では、ＣＰＵ１９２は、指示されたボタンに対応するミッションデータのアイコン及びＩＤをサーバ１００から受信する。

【0099】

ステップＳ８５３では、ＣＰＵ１０１は、ステップＳ８０９で送信された端末ＩＤを受信し、ステップＳ８５４では、ＣＰＵ１０１は、端末装置１８０にて決済が完了しているミッションデータのアイコン及びＩＤを、ステップＳ８５３で受信した端末ＩＤで特定される端末装置１８０に対して送信（ダウンロード）する。

【0100】

ステップＳ８９１では、端末装置１８０はサーバ１００から送信されたミッションデータのアイコン及びＩＤを受信し、ステップＳ８９２では、端末装置１８０は、ステップＳ８９１で受信したミッションデータのアイコン及びＩＤを、近接無線通信にて撮像装置１９０に対して送信する。

【0101】

ステップＳ８１０では、ＣＰＵ１９２は、端末装置１８０との近接無線通信によって該端末装置１８０から送信された、ミッションデータのアイコン及びＩＤを受信する。尚、本実施形態では、撮像装置１９０のＣＰＵ１９２はサーバ１００に対して端末ＩＤを送信したが、予め撮像装置１９０と通信可能な端末装置１８０の情報を撮像装置１９０に記憶させ、撮像装置１９０と端末装置１８０とが通信してもよい。さらに、撮像装置１９０と端末装置１８０が通信できた場合には、ＣＰＵ１９２は端末装置１８０に決済が完了したミッションに関する情報が記憶されているか否かを判定し、当該ミッションに関する情報が記憶されている場合は端末装置１８０からミッションに関する情報を受信してもよい。

【0102】

ステップＳ８１１では、ＣＰＵ１９２は、サーバ１００から若しくは端末装置１８０から受信したアイコン及びＩＤを対応付けて不揮発性メモリ１９５に保存する。以上のように、ユーザは撮像装置１９０の表示部１９７に対して指示を行うことによって、所望の方法でミッションデータを撮像装置１９０に追加することが可能となる。

【0103】

＜コンテンツについて＞
上記のごとく、コンテンツには、様々なコンテンツが考えられる。例えば、コンテンツは、上記のような特典コードに加えて、「街に点在するそれぞれのオブジェクトを撮像してまわるようなフィールドワークミッションを行うユーザが該街における店舗で買い物をする際に割引となるような情報」であってもよく、そのような情報は、例えば、店舗に見せることで割引サービスを受けることができるような割引サービス画面を提供するサイトへのＵＲＬであってもよい。この場合、ユーザは端末装置１８０から該ＵＲＬにアクセスして割引サービス画面を該端末装置１８０の表示画面に表示させ、該表示させた割引サービス画面を店舗の店員に見せることで、該店舗における割引サービスを受けることができる。

【0104】

また、コンテンツは、このようなＵＲＬを表すコードであってもよい。例えば、サーバ１００は、このようなＵＲＬを示す２次元バーコードを撮像装置１９０に対して送信し、撮像装置１９０は、該２次元バーコードを受信して表示部１９７の表示画面に表示させる。そしてこの表示された２次元バーコードを端末装置１８０のカメラで読み取ることでＵＲＬを特定し、該ＵＲＬにアクセスして割引サービス画面を該端末装置１８０の表示画面に表示させ、該表示させた割引サービス画面を店舗の店員に見せることで、該店舗における割引サービスを受けることができる。

【0105】

なお、コンテンツは、このような割引サービスを受けるための情報に限らず、例えば、フィールドワークミッションを実施する街への集客に有用なサービス、該街の経済的活性化のために有用なサービスなど、各種のサービスに関連するコンテンツであってもよい。

【0106】

また、ステップＳ５６０では、複数のコンテンツを端末装置１８０に提示して、実際にユーザが獲得するコンテンツをユーザに選択させてもよい。

【0107】

また、上記で述べたいくつかのコンテンツのうち２つ以上をユーザに提供するようにしてもよい。

【0108】

［第２の実施形態］
以下では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。

【0109】

第１の実施形態では、ステップＳ５５５およびステップＳ５５６の処理が必須となっていたが、ステップＳ５５５は省略し、ステップＳ５５４の直後にステップＳ５５６を実行するようにしてもよい。

【0110】

また、ステップＳ５５６の判断を、撮像画像中のオブジェクトの認識結果に基づいて行ってもよい。例えば、ステップＳ５５６では、撮像画像から認識したオブジェクトが、選択サブミッションデータに対応するオブジェクトである場合には、該撮像画像の撮像位置は該選択サブミッションデータ中の撮像エリアに属しているものと判断するようにしてもよい。

【0111】

また、サブミッションデータ中のサブミッションＩＤ及びメッセージを撮像装置１９０に転送する方法には、様々な転送方法がある。例えば、撮像装置１９０がフィールドワークミッションを実施する会場に設けられているサーバに近づくと（装置間が近づいたか否かを判断するための技術は周知の技術であるため、これに関する説明は省略する）、該サーバは、該フィールドワークミッションのミッションデータ中のサブミッションデータからサブミッションＩＤ及びメッセージを該撮像装置１９０に対して転送するようにしてもよい。

【0112】

なお、以上説明した全ての構成は必須の構成ではなく、以上説明した構成に適宜新たな機能部／処理を追加しても良いし、以上説明した構成から１つ以上の機能部／処理を省いても良い。

【0113】

また、以上説明した各処理の主体は上記の説明に限定するものではなく、他の主体であっても良い。また、以上説明した各種の情報の構成や、それを保持している装置について、上記の説明は一例であり、これらに限定することを意図したものではない。

【0114】

また、以上の説明において用いた具体的な数値は、説明を具体的に行うために用いたものであり、以上の説明において用いた具体的な数値に限定することを意図したものではない。

【0115】

また、以上説明した画面の構成やその操作方法は、説明を具体的に行うために一例としてあげたものであって、この一例に限定することを意図したものではない。

【0116】

また、以上説明した各実施形態の一部もしくは全部を組み合わせても構わないし、以上説明した各実施形態の一部もしくは全部を選択的に使用しても構わない。また、発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

【符号の説明】

【0117】

１００：サーバ １０１：ＣＰＵ １０２：ＲＡＭ １０３：ＲＯＭ １０４：操作部 １０５：表示部 １０６：外部記憶装置 １０７：Ｉ／Ｆ １０８：バス １５０：ネットワーク １８０：端末装置 １９０：撮像装置 １９１：撮像部 １９２：ＣＰＵ １９３：ＲＡＭ １９４：ＲＯＭ １９５：不揮発性メモリ １９６：ボタン群 １９７：表示部 １９８：通信部 １９９：バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】