特許 6046874 情報処理装置、情報処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6046874

(24)【登録日】2016年11月25日

(45)【発行日】2016年12月21日

(54)【発明の名称】情報処理装置、情報処理方法、プログラム

(51)【国際特許分類】

   G06T 7/00 20060101AFI20161212BHJP

   H04N 5/232 20060101ALI20161212BHJP

【ＦＩ】

   G06T7/00 300D

   H04N5/232 Z

【請求項の数】7

【全頁数】23

(21)【出願番号】特願2016-557091(P2016-557091)

(86)(22)【出願日】2015年5月19日

(86)【国際出願番号】JP2015064295

【審査請求日】2016年9月12日

【新規性喪失の例外の表示】特許法第３０条第２項適用 集会名 第２２回インタラクティブシステムとソフトウェアに関するワークショップ （平成２６年１１月２６日〜平成２６年１１月２８日開催）

【早期審査対象出願】

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天株式会社

(74)【代理人】

【識別番号】100116942

【弁理士】

【氏名又は名称】岩田 雅信

(74)【代理人】

【識別番号】100167704

【弁理士】

【氏名又は名称】中川 裕人

(74)【代理人】

【識別番号】100114122

【弁理士】

【氏名又は名称】鈴木 伸夫

(74)【代理人】

【識別番号】100086841

【弁理士】

【氏名又は名称】脇 篤夫

(72)【発明者】

【氏名】ムジビヤ アディヤン

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 特開２００８−０１５７０２（ＪＰ，Ａ）

【文献】 特開２０１４−１９７３０１（ＪＰ，Ａ）

【文献】 特開２０１４−０３８３８７（ＪＰ，Ａ）

【文献】 特開２０１０−１２８５２８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｑ ３０／０２

Ｇ０９Ｆ １９／００

(57)【特許請求の範囲】

【請求項1】

撮像画像の入力を受け付ける撮像画像受付部と、
前記撮像画像受付部が受け付けた撮像画像において複数領域に区分する区分パターンを抽出する区分パターン抽出部と、
１又は複数の区分パターンを処理対象に対応づけて予め記憶した記憶部を参照し、前記撮像画像から抽出した区分パターンに対応する処理対象を認識する対象認識部と、
前記対象認識部が特定した処理対象において、区分パターンで区切られた複数領域のうちで選択操作の対象とされた選択領域を認識する選択操作認識部と、
少なくとも前記選択操作認識部が認識した選択領域を示す選択操作情報を含めた情報取得要求を外部装置に送信する要求送信部と、
前記情報取得要求に応じて送信されてくる情報を取得し、当該取得した情報に基づく情報出力制御を行う情報出力制御部と、を備えた
情報処理装置。

【請求項2】

前記処理対象の画像は、区分パターンで区分された複数領域のそれぞれについて表示内容が予め対応づけられて管理されている画像であり、
前記情報取得要求は、選択操作情報によって示す領域に対応づけられた表示内容についての関連情報の取得を要求するものである
請求項１に記載の情報処理装置。

【請求項3】

前記処理対象の画像は、区分パターンで区分された複数領域のそれぞれについて、表示内容が時間情報に対応づけられて管理されている画像であり、
前記要求送信部は、前記撮像画像受付部が撮像画像の入力を受け付けた日時情報を含む前記情報取得要求を送信する
請求項１に記載の情報処理装置。

【請求項4】

前記区分パターン抽出部は、撮像画像において直線で区画された区分パターンを抽出する
請求項１乃至請求項３のいずれかに記載の情報処理装置。

【請求項5】

前記区分パターン抽出部の処理対象の画像は、区分パターンで区分された複数領域の全部又は一部に画像が表示されている表示装置の画像であり、該表示装置に表示される画像には動画が含まれる
請求項１乃至請求項４のいずれかに記載の情報処理装置。

【請求項6】

撮像画像の入力を受け付ける撮像画像受付ステップと、
前記撮像画像受付ステップで受け付けた撮像画像において複数領域に区分する区分パターンを抽出する区分パターン抽出ステップと、
１又は複数の区分パターンを処理対象に対応づけて予め記憶した記憶部を参照し、前記撮像画像から抽出した区分パターンに対応する処理対象を認識する対象認識ステップと、
前記対象認識ステップで特定した処理対象において、区分パターンで区切られた複数領域のうちで選択操作の対象とされた選択領域を認識する選択操作認識ステップと、
少なくとも前記選択操作認識ステップで認識した選択領域を示す選択操作情報を含めた情報取得要求を外部装置に送信する要求送信ステップと、
前記情報取得要求に応じて送信されてくる情報を取得し、当該取得した情報に基づく情報出力制御を行う情報出力制御ステップと、
を情報処理装置が実行する情報処理方法。

【請求項7】

撮像画像の入力を受け付ける撮像画像受付手順と、
前記撮像画像受付手順で受け付けた撮像画像において複数領域に区分する区分パターンを抽出する区分パターン抽出手順と、
１又は複数の区分パターンを処理対象に対応づけて予め記憶した記憶部を参照し、前記撮像画像から抽出した区分パターンに対応する処理対象を認識する対象認識手順と、
前記対象認識手順で特定した処理対象において、区分パターンで区切られた複数領域のうちで選択操作の対象とされた選択領域を認識する選択操作認識手順と、
少なくとも前記選択操作認識手順で認識した選択領域を示す選択操作情報を含めた情報取得要求を外部装置に送信する要求送信手順と、
前記情報取得要求に応じて送信されてくる情報を取得し、当該取得した情報に基づく情報出力制御を行う情報出力制御手順と、
を情報処理装置に実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は情報処理装置、情報処理方法、プログラムに関し、例えば撮像画像における処理対象の特定のための技術に関する。

【先行技術文献】

【特許文献】

【0002】

【特許文献1】特開２０１０−２６２６０１号公報

【背景技術】

【0003】

撮像画像を解析して撮像画像に含まれている撮像対象を認識する技術が知られている。
例えば特許文献１には、撮像した画像から特徴量を算出し、算出した特徴量と、予め記憶しておいた所定の物体の特徴量とを比較し、撮像対象の物体が所定の物体であるか否かを判定するパターン認識システムが記載されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述のようなパターン認識システムによって物体を特定する場合、特定しようとする物体の種類が多い場合にも、全ての物体ごとの特徴量を予め取得しておく必要があり負荷がかかる。また撮像対象の特徴量を全ての種類の物体の特徴量と比較する処理負荷がかかる。
そこで本発明では、より少ない処理負荷で、撮像対象を特定できるようにすることを目的とする。

【課題を解決するための手段】

【0005】

本発明に係る情報処理装置は、撮像画像の入力を受け付ける撮像画像受付部と、前記撮像画像受付部が受け付けた撮像画像において複数領域に区分する区分パターンを抽出する区分パターン抽出部と、１又は複数の区分パターンを処理対象に対応づけて予め記憶した記憶部を参照し、前記撮像画像から抽出した区分パターンに対応する処理対象を認識する対象認識部と、を備えたものである。
撮像画像上で区分パターンを抽出し、これを記憶した区分パターンと照合することで、撮像画像に含まれている処理対象を特定できる。

【0006】

上記した情報処理装置においては、前記対象認識部が特定した処理対象において、区分パターンで区切られた複数領域のうちで選択操作の対象とされた選択領域を認識する選択操作認識部と、少なくとも前記選択操作認識部が認識した選択領域を示す選択操作情報を含めた情報取得要求を外部装置に送信する要求送信部と、前記情報取得要求に応じて送信されてくる情報を取得し、当該取得した情報に基づく情報出力制御を行う情報出力制御部と、をさらに備えることが考えられる。
認識した処理対象の画像の各領域において、ユーザ操作によって或る領域が選択された場合、選択領域を示す情報とともに情報取得要求を外部装置に送信する。これにより外部装置（例えば情報サーバ）側では、選択領域に表示されている内容に関連した情報が要求されていると認識することができる。

【0007】

上記した情報処理装置においては、前記処理対象の画像は、区分パターンで区分された複数領域のそれぞれについて表示内容が予め対応づけられて管理されている画像であり、前記情報取得要求は、選択操作情報によって示す領域に対応づけられた表示内容についての関連情報の取得を要求するものであることが考えられる。
処理対象が、所定の区分パターンで区分された複数領域を有する状態で何らかの情報を表示しているものである場合、外部装置（例えば情報サーバ）側では、予め複数領域と表示内容を対応づけて管理しておくことで、選択操作情報を含む情報取得要求に応じて、表示内容を把握し、その表示内容の関連情報を直接的又は間接的に提供できる。

【0008】

上記した情報処理装置においては、前記処理対象の画像は、区分パターンで区分された複数領域のそれぞれについて、表示内容が時間情報に対応づけられて管理されている画像であり、前記要求送信部は、前記撮像画像受付部が撮像画像の入力を受け付けた日時情報を含む前記情報取得要求を送信することが考えられる。
各領域で表示内容を変化させる場合、外部装置（例えば情報サーバ）側では、予め複数領域と表示内容と時間情報を対応づけて管理しておくことで、領域の選択操作情報と日時情報を含む情報取得要求に応じて、ユーザが操作した日時での表示内容を把握し、その表示内容の関連情報を提供できる。

【0009】

上記した情報処理装置においては、前記区分パターン抽出部は、撮像画像において直線で区画された区分パターンを抽出することが望ましい。
即ち情報処理装置は、区分パターンが直線により区画されていることを前提として、区分パターンを認識する。

【0010】

上記した情報処理装置においては、前記区分パターン抽出部の処理対象の画像は、区分パターンで区分された複数領域の全部又は一部に画像が表示されている表示装置の画像であり、該表示装置に表示される画像には動画が含まれることが考えられる。
即ち処理対象の画像としては、動画を含む画像を各領域の全部又は一部に表示中の表示装置の画像とする。

【0011】

本発明に係る情報処理方法は、撮像画像の入力を受け付ける撮像画像受付ステップと、前記撮像画像受付ステップで受け付けた撮像画像において複数領域に区分する区分パターンを抽出する区分パターン抽出ステップと、１又は複数の区分パターンを処理対象に対応づけて予め記憶した記憶部を参照し、前記撮像画像から抽出した区分パターンに対応する処理対象を認識する対象認識ステップと、を備えた情報処理方法である。
即ち撮像画像上で区分パターンを抽出し、これを記憶した区分パターンと照合することで、撮像画像に含まれている処理対象を特定できる。
本発明に係るプログラムは、上記の情報処理方法としての各ステップの処理を情報処理装置に実行させるプログラムである。

【発明の効果】

【0012】

本発明によれば静止画や動画等の画像解析という比較的処理負担の高い処理を行わずに、撮像画像に含まれている処理対象を認識でき、処理対象認識のための処理負荷を軽減できる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施の形態のシステム構成の説明図である。

【図2】実施の形態の区分パターン及び表示装置の説明図である。

【図3】実施の形態の情報サーバ及び表示装置の構成のブロック図である。

【図4】実施の形態のユーザ端末の構成のブロック図である。

【図5】実施の形態のデータベース構造の説明図である。

【図6】実施の形態のスケジューリングツールの説明図である。

【図7】実施の形態の処理例のフローチャートである。

【図8】実施の形態のユーザ端末の処理のフローチャートである。

【図9】実施の形態の選択操作態様の説明図である。

【発明を実施するための形態】

【0014】

以下、実施の形態を次の順序で説明する。
＜１．システム構成＞
＜２．ユーザ端末の構成＞
＜３．データベース＞
＜４．システム処理例＞
＜５．まとめ及び変形例＞
＜６．プログラム及び記憶媒体＞

【0015】

＜１．システム構成＞
図１Ａに実施の形態のシステム構成の一例を示す。当該システムは、ネットワーク１により通信可能とされた情報サーバ２、表示装置３、ユーザ端末５を有する。また情報サーバ２はデータベース部４として示した各種データベースにアクセス可能とされている。なお、以下では「データベース」を「ＤＢ」と表記する。
本実施の形態では、このシステムにおいてユーザ端末５が本発明請求項にいう情報処理装置に相当する装置とする例で説明する。

【0016】

ネットワーク１の構成は多様な例が想定される。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＣＡＴＶ（Community Antenna TeleVision）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が想定される。
またネットワーク１の全部又は一部を構成する伝送媒体についても多様な例が想定される。例えばＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４、ＵＳＢ（Universal Serial Bus）、電力線搬送、電話線等の有線でも、ＩｒＤＡ（Infrared Data Association）のような赤外線、ブルートゥース（登録商標）、８０２．１１無線、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。

【0017】

本実施の形態は、いわゆるデジタルサイネージとして、屋外・店頭・広場・交通機関などの公共空間に設置した、ネットワーク接続したディスプレイを用いて情報を発信するシステムを想定している。
即ち表示装置３は、デジタルサイネージに用いるように公共空間等に設置された表示装置である。例えば大型の平面ディスプレイやプロジェクタなどが用いられることが多い。
情報サーバ２は、デジタルサイネージとしてのシステム動作の管理サーバとされる。
情報サーバ２は、各表示装置３に対して表示コンテンツのタイムスケジュール管理や、表示コンテンツ供給などを行い、実際に表示装置３を用いた情報発信を実行させる。

【0018】

情報サーバ２が用いるＤＢ部４としては、例えば表示装置管理ＤＢ５１、スケジュールＤＢ５２、コンテンツＤＢ５３等がある。
表示装置管理ＤＢ５１には、各表示装置３の属性や表示スケジュールを指定する情報などが登録されている。
スケジュールＤＢ５２は、各種の表示スケジュールの設定情報が管理される。
表示装置管理ＤＢ５１、スケジュールＤＢ５２の具体例は後述する。

【0019】

コンテンツＤＢ５３には、デジタルサイネージにより表示する各種コンテンツ（動画、静止画、テキストデータ）が登録されている。
デジタルサイネージで発信される情報内容は、例えば各種の広告、案内、天気予報、ニュース、時刻、イメージ映像など多岐にわたる。情報サーバ２は、例えばコンテンツＤＢ５３に登録されたコンテンツを表示装置３で表示させることができる。
なお表示装置３で表示される内容は、コンテンツＤＢ５３に登録されたコンテンツに限らず、例えば所定のＵＲＬ（Uniform Resource Locator）で指定されるウェブページの画像、動画リンク、放送画像なども選択可能である。

【0020】

通常のデジタルサイネージでは、表示装置３は、単に情報発信を行うものであるが、本実施の形態のシステムでは、一般ユーザは、自己の端末（ユーザ端末５）を用い、当該システムから、より積極的に情報取得を行うことができる。
一般ユーザが用いるユーザ端末５は、主に携帯型の情報端末が想定される。例えばスマートフォン、タブレット端末、携帯電話機、携帯可能なパーソナルコンピュータなどである。さらに、めがね型、ヘッドマウント型、ウォッチ型などのウェアラブル情報端末もユーザ端末５として想定される。
また本実施の形態の場合、ユーザ端末５は、ハードウエア的には撮像機能が備えられた情報処理装置であることが望ましいが、少なくとも撮像画像データが取り込めるものであればよい。例えば別体の撮像装置（カメラ）で撮像した撮像画像データを取り込むことができるものでもよい。
詳しくは後述するが、ユーザは、ユーザ端末５を用いて表示装置３を撮像する。そして撮像画像上で表示装置３に表示されている情報（コンテンツ等）を選択することで、情報サーバ２からその選択した情報の関連情報もしくは関連情報を取得するための情報を取得できる。
またユーザ端末５と表示装置３との間は、近距離無線通信、例えばブルートゥース（Bluetooth：登録商標）や赤外線通信等の通信方式で通信可能とされる場合もある。

【0021】

なお図１Ａでは、情報サーバ２が複数の表示装置３を管理する例としてシステム構成を示したが、図１Ｂのように、１つの情報サーバが１つの表示装置３を管理する形態でもよい。この場合、表示装置３と情報サーバ２は公共ネットワークを介して接続されていてもよいし、ローカル接続されていてもよい。

【0022】

本システムにおける表示装置３の表示態様を図２で説明する。
図２Ａ、図２Ｂは、表示装置３の表示画面の領域レイアウトの例を示している。
情報サーバ２はデジタルサイネージとして表示させる各種の表示内容を、例えば図２Ａ、図２Ｂのような領域レイアウトで表示装置３の画面に表示させる。
例えば図２Ａの領域レイアウトでは、画面領域を枠１０として設定した区分パターンにより１１個の領域１１を分割設定している。
また図２Ｂの領域レイアウトでは、画面領域を枠１０として設定した区分パターンにより９個の領域１１を分割設定している。
なおこれらの例は、特に枠１０は直線の線分のみを用いて構成している。
情報サーバ２は、例えばこれらのような各種の領域レイアウトについて、それぞれレイアウトＩＤ（identification）を付して管理する。図２Ａ、図２ＢのレイアウトＩＤを、それぞれ説明上、“ＬＩＤ１”“ＬＩＤ２”とする。
なお、このような領域レイアウトについては、情報サーバ２は少なくとも１つを管理すれば良いが、説明上、情報サーバ２は、複数の領域レイアウトをレイアウトＩＤで区別できる状態で管理するものとする。

【0023】

情報サーバ２は、１又は複数の表示装置３に対し、それぞれ指定した領域レイアウトに基づく情報表示を実行させる。
図２Ｃには、公共の場所に設置された或る表示装置３に、レイアウトＩＤ＝ＬＩＤ１の領域レイアウトで情報表示が行われている例を示している。
ユーザは、表示装置３の画面により、例えば１１個に区分された各領域１１において表示されている情報内容を見ることができる。
そして本実施の形態の場合、ユーザは図示のようなスマートフォンや眼鏡型情報端末等のユーザ端末５を利用して、この表示装置３で表示される情報だけでなく、より多様な関連情報を取得できる。

【0024】

続いて図１に示した情報サーバ２や表示装置３を実現する情報処理装置のハードウエア構成を図３に示す。情報サーバ２や表示装置３は情報処理および情報通信が可能な図３に示すようなコンピュータ装置として実現できる。

【0025】

図３において、コンピュータ装置のＣＰＵ（Central Processing Unit）１０１は、ＲＯＭ( Read Only Memory)１０２に記憶されているプログラム、または記憶部１０８からＲＡＭ( Random Access Memory )１０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１０３にはまた、ＣＰＵ１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ１０１、ＲＯＭ１０２、およびＲＡＭ１０３は、バス１０４を介して相互に接続されている。このバス１０４には、入出力インターフェース１０５も接続されている。
入出力インターフェース１０５には、キーボード、マウス、タッチパネルなどよりなる入力部１０６、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、有機ＥＬ（Electroluminescence）パネルなどよりなるディスプレイやスピーカなどよりなる出力部１０７、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ装置などより構成される記憶部１０８、ネットワーク１を介しての通信処理や機器間通信、近距離無線通信等を行う通信部１０９が接続されている。
入出力インターフェース１０５にはまた、必要に応じてメディアドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１が適宜装着され、リムーバブルメディア１１１に対する情報の書込や読出が行われる。

【0026】

このようなコンピュータ装置では、通信部１０９による通信によりデータやプログラムのアップロード、ダウンロードが行われたり、リムーバブルメディア１１１を介したデータやプログラムの受け渡しをしたりすることが可能である。
ＣＰＵ１０１が各種のプログラムに基づいて処理動作を行うことで、情報サーバ２や表示装置３としての必要な情報処理や通信が実行される。
なお、情報サーバ２や表示装置３を構成する情報処理装置は、図３のようなコンピュータ装置が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、ＬＡＮ等によりシステム化されていてもよいし、インターネット等を利用したＶＰＮ等により遠隔地に配置されたものでもよい。

【0027】

＜２．ユーザ端末の構成＞
図４Ａにユーザ端末５の構成例を示す。ユーザ端末５は制御部３１、撮像部３２、画像処理部３３、通信部３４、記憶部３５、表示部３６、入力部３７、位置検出部３８、音声出力部３９が設けられる。

【0028】

制御部３１はユーザ端末５としての中央制御機能部位を示している。制御部３１は例えばＣＰＵ，ＲＯＭ，ＲＡＭを備えたマイクロコンピュータにより形成され、ＯＳ（Operating System）やアプリケーションプログラムに応じた各部の制御や必要な演算処理を行う。

【0029】

撮像部３２は図示しないレンズ系を介して入射された被写体光をＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等で形成されるイメージャにより受光し、受光信号を出力する。そして受光信号に対してＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行ってデジタルデータとしての撮像信号を、画像処理部３３に出力する。
画像処理部３３では、例えばホワイトバランスやガンマ処理などの映像処理、画質補正処理、解像度変換処理、表示信号生成処理、記録用／通信用の符号化処理（コーデック）等を行い、画像データ（動画又は静止画）を出力する。
画像処理部から出力された画像データは、表示部３６においていわゆるスルー画（被写体のモニタリング画像としての動画）として表示されたり、静止画又は動画として記憶部３５に記憶されたりする。静止画又は動画として記憶部３５に記憶された画像データが再生されて表示部３６に表示される場合もある。

【0030】

通信部３４は、外部機器との間で各種通信を行う。例えばネットワーク１を介した情報サーバ２との通信を行うネットワークインターフェース部とされる。また上述の近距離無線通信機能を備える場合、通信部３４には近距離無線通信用の送受信部としての機能も設けられる。
記憶部３５は例えば各種情報が記憶される揮発性又は不揮発性のメモリである。いわゆるＤ−ＲＡＭ（Dynamic Random Access Memory）、Ｓ−ＲＡＭ（Static Random Access Memory）、フラッシュメモリ等の半導体メモリを用いた記憶再生部とされたり、或いはＨＤＤでもよい。さらにはメモリカードや光ディスク等の可搬性記憶媒体に対する記憶再生部とされてもよい。
記憶部３５には、例えばアプリケーションプログラム、ダウンロードデータ、キャッシュデータ、撮像した画像データ、その他ユーザ端末５で用いる各種のデータが制御部２０の制御により記憶され、また読み出される。

【0031】

表示部３６はユーザ端末５におけるディスプレイであり、ＬＣＤや有機ＥＬパネルなどにより構成される。表示部３６にはユーザ操作に応じて制御部３１の制御により各種の情報が表示される。
入力部３７は、ユーザの操作入力に用いる部位を示している。例えば操作スイッチ、キーボード、或いは表示部２６上に設けられたタッチパネルなどである。ユーザは入力部３７により各種の操作を行うことができる。
なお撮像部３２で撮像された画像データを解析して検出できるユーザのジェスチャ等を、ユーザの操作として認識するようにしてもよい。

【0032】

位置検出部３８はユーザ端末５の自己位置を検出する。位置検出部３８は例えばＧＰＳ（Global Positioning System）受信器及び受信した位置情報のデコーダとして構成できる。位置検出部３８からの情報により制御部３１は現在位置を認識できる。
音声出力部３９は、各種コンテンツの音声、通話音声等の音声を出力するための音声処理回路、音声信号増幅回路、スピーカ又はイヤホン端子部等を有する。

【0033】

このようなユーザ端末５において図１のデジタルサイネージを利用するアプリケーションプログラムが起動される場合、制御部３１は、当該アプリケーションプログラムに基づいて図４Ｂの機能を有するものとなる。
即ち基本情報取得部４０、撮像画像受付部４１、区分パターン抽出部４２、対象認識部４３、選択操作認識部４４、要求送信部４５、情報出力制御部４６である。
なお、ここでは以上の各機能は、制御部３１においてソフトウエア（アプリケーションプログラム）に応じて実行される処理により実現される機能とするが、これらの機能の全部又は一部の処理をハードウエアにより実現してもよい。
また各機能をソフトウエアで実現する場合に、各機能がそれぞれ独立したプログラムで実現される必要はない。１つのプログラムにより複数の機能の処理が実行されてもよいし、１つの機能が複数のプログラムモジュールの連携で実現されてもよい。

【0034】

基本情報取得部４０は、デジタルサイネージシステムを利用する際の基本情報を逐次情報サーバ２から取得し、記憶部３５に格納する処理を行う。具体的には、情報サーバ２から、各種の領域レイアウトと各表示装置３の基本情報を取得する。
この基本情報としては例えば表示装置ＩＤ、設置位置等の情報や、その表示装置３の画面表示を実行させる際の領域レイアウトの情報（レイアウトＩＤ）を含む。
また基本情報には、各レイアウトＩＤに対応した、実際の区分パターンの情報も含む。区分パターンの情報とは、例えば図２Ａ，図２Ｂに例示したような枠１０の形状（つまり領域レイアウトの形状）の情報や、各領域１１の識別子としてのセクションＩＤなどである。

【0035】

撮像画像受付部４１は、撮像画像の入力を受け付ける処理を行う。具体的には、ユーザの操作に応じて撮像部３２及び画像処理部３３で得られた撮像画像を、区分パターン抽出対象の画像データとして特定する。例えばユーザが静止画撮像を行った場合、その静止画データを区分パターン抽出対象の画像データとする。或いはユーザが静止画撮像（シャッタ操作に応じた静止画データの取り込み）を行わなくとも、スルー画の状態、即ちイメージャから画像（動画としての連続フレーム）が得られている状態で、１又は複数のフレーム画像データを区分パターン抽出対象の画像データとする。

【0036】

区分パターン抽出部４２は、撮像画像受付部４１の機能として受け付けた撮像画像において複数領域を区分する区分パターンを抽出する処理を行う。これは例えば図２Ａ、図２Ｂに示した枠１０の形状を判定する処理といえる。
例えば具体的には、撮像画像を解析して直線状の部分を抽出する。これは、同一輝度の画素が或る線幅をもって直線状に連続している部分を抽出することで可能である。これにより区分パターン（枠１０）の形状を抽出する。

【0037】

対象認識部４３は、１又は複数の区分パターンを処理対象に対応づけた情報を参照して、撮像画像から抽出した区分パターンに対応する処理対象を認識する処理を行う。
記憶部３５には、情報サーバ２から供給された上述の基本情報が記憶されており、その基本情報には実際の区分パターンの情報が含まれている。区分パターンの情報とは、本デジタルサイネージシステムで表示装置３における表示に実際に使用されている（または使用される可能性がある）区分パターンの形状（領域レイアウト）の情報である。例えば図２Ａ、図２Ｂに示した枠１０の形状の情報を１又は複数含んでいる。
対象認識部４３は、この記憶部３５に予め記憶された区分パターンの情報と、撮像画像から抽出した区分パターンの情報を照合する。そして抽出した区分パターンが、記憶された区分パターンの１つに一致すると判定した場合、撮像画像は、本サイネージシステムにおける表示装置３の撮像画像であると認識する。つまり、撮像画像は、デジタルサイネージを利用するアプリケーションプログラムによる処理対象となる表示装置２の画像と認識する。

【0038】

選択操作認識部４４は、対象認識部４３が特定した処理対象、つまり表示装置２の画像において、区分パターンである枠１０で区切られた複数の領域１１のうちでユーザの選択操作の対象とされた選択領域を認識する処理を行う。
表示装置２の撮像画像には、当然、表示装置２の各領域１１に表示されている内容（動画、静止画、テキスト等）が含まれており、ユーザは、ユーザ端末５の表示部３６においてそれらの内容を見ることができる。具体的には商品や店舗の広告、ニュース、各種案内などの内容が撮像画像に現れている。
本システムでは、ユーザはそれらのうち任意の情報を選択することで、その内容に関連した情報を当該ユーザ端末５で見ることができる。例えば、表示装置３の或る領域１１にコーヒーショップの広告が表示されていた場合、ユーザがユーザ端末５に表示された表示装置２の撮像画像上で、当該コーヒーショップの広告となっている部分を選択操作すると、そのコーヒーショップの広告の関連情報、例えばコーヒーショップの店舗写真、地図、メニューなどの詳しい情報が閲覧できるようなサービスである。
選択操作認識部４４は、このようなサービスを実現するため、表示部３６に表示された撮像画像に対するユーザの選択操作を認識する処理を行う。

【0039】

要求送信部４５は、少なくとも選択操作認識部４４が認識した選択領域を示す選択操作情報を含めた情報取得要求を情報サーバ２に送信する処理を行う。これは上記のサービスにおいてユーザが欲する関連情報を要求する送信である。ユーザが選択した表示内容の関連情報を要求するものであるため、情報サーバ２が選択内容を認識できるように、選択した領域１１を識別する情報を含む。具体的には、各領域１１に対して設定されたセクションＩＤである。本実施の形態では、さらに処理対象としている表示装置３の表示装置ＩＤ、その撮像画像で認識した区分パターンに対応する領域レイアウトのレイアウトＩＤ、およびタイムスタンプも含む情報取得要求を送信する。

【0040】

情報出力制御部４６は、要求送信部４５による情報取得要求に応じて、情報サーバ２から送信されてくる情報を取得し、当該取得した情報に基づく情報出力制御を行う。例えば情報サーバ２からは、関連情報が直接又は間接的に送信される。例えば情報サーバ２が関連情報自体を送信してきた場合、情報出力制御部４６はその情報を表示部３６において表示させたり、音声出力部３９から音声出力させたり、或いは記憶部３５に記憶させる処理を行う。また情報サーバ２は、関連情報を表示するための間接的な情報として、例えばウェブページを指定するＵＲＬ（Uniform Resource Locator）等を送信してくることも考えられる。その場合、情報出力制御部４６は、ブラウザを起動し、表示部３６に当該ＵＲＬのウェブページを表示させたり、そのウェブページの音声出力や必要な情報記憶を実行させる。

【0041】

＜３．データベース＞
次に情報サーバ２がアクセスするＤＢ部４における表示装置管理ＤＢ５１とスケジュールＤＢ５２の例を説明する。
図５Ａは表示装置管理ＤＢ５１のデータ構造の例である。表示装置管理ＤＢ５１には、１つの表示装置３毎に図のように表示装置ＩＤ、設置場所情報、適用スケジュール、装置属性情報等が登録されている。
表示装置ＩＤは表示装置３の個々を識別するＩＤであり、表示装置３毎にユニークなコードで構成される。
設置場所情報としては、その表示装置３が設置された場所の緯度・経度、住所、施設種別、場所の管理者などが登録される。
装置属性情報としては、その表示装置３の属性、例えば機種名、型番、製造者名、製造年月日、画面サイズ、解像度、通信情報その他、本デジタルサイネージシステムの運用に必要な表示装置３の情報が登録される。

【0042】

適用スケジュールは、その表示装置３の表示に用いるスケジュールを期間毎に示したものであり、少なくとも１つのスケジュールがアサインされる。
１つのスケジュールについては、スケジュールナンバ、レイアウトＩＤ、期間情報が登録される。スケジュールナンバは、後述のスケジュールＤＢ５２に登録されているスケジュールのナンバである。このスケジュールナンバで１つの特定のスケジュールが、その表示装置３に適用されたことが示される。
レイアウトＩＤは、そのスケジュールが用いている領域レイアウト（区分パターン）の識別情報である。
なお、レイアウトＩＤは、後述のようにスケジュールＤＢ５２においてスケジュールナンバに対応して登録されるものとすれば、この適用スケジュールの内容としては必ずしも登録する必要はない。
期間情報は、そのスケジュールがその表示装置３に適用される期間の情報である。或る年月日から或る年月日までという期間設定や、１日のうちの時間帯などとしての期間設定の情報が登録される。
これらの各スケジュールのアサインや適用期間はシステム管理者により任意に設定できる。
なお、１つの表示装置３において、常に１つのスケジュールで表示を行う場合、適用スケジュールの情報としては、そのスケジュールを指定するスケジュールナンバのみが登録されれば良い。

【0043】

図５ＢはスケジュールＤＢ５２のデータ構造の例である。スケジュールＤＢ５２には、各表示装置３に適用可能に制作された１又は複数のスケジュールの情報が登録される。
１つのスケジュールに対し、スケジュールナンバ、スケジュールデータ、レイアウトＩＤ、情報取得用データ、その他の情報が登録される。
スケジュールナンバは、制作されたスケジュール毎に付けられたユニークなナンバである。
レイアウトＩＤは、そのスケジュールにおいて使用されている領域レイアウト（区分パターン）の識別情報である。

【0044】

スケジュールデータは、実際のスケジュールの詳細が登録されている。
ここでスケジュール内容およびその制作画面について図６を用いて説明しておく。
図６は１つのスケジュールを制作・編集する際にシステム管理者が使用する制作・編集ツールの画面例を示している。
この制作・編集画面６０では、タイムライン６１、表示タイトル６２、アサインエリア６３、レイアウト編集エリア６５、モニタエリア６６等が用意されている。

【0045】

レイアウト編集エリア６５において、このスケジュールで使用する区分パターンが表示される。ここでは図２Ａに示した区分パターン（レイアウトＩＤ＝ＬＩＤ１）が用いられる例としている。このレイアウト編集エリア６５の表示により、使用する区分パターンの枠１０の形状と、枠によって区分された領域１０（図中の各領域内の数字“１”〜“１１”で示す第１領域から第１１領域）が確認できる。システム管理者は、レイアウト編集エリア６５に対する操作（枠１０のドラッグ操作）などにより、枠１０の位置を変更して、各領域１１のサイズを調整することなども可能である。

【0046】

この領域レイアウトを採用した場合、第１領域から第１１領域として各領域１１に対する表示内容のアサインが行われる。この表示内容は、タイムライン６１に沿って、コンテンツやリンクを指定することで行われる。
まず第１領域から第１１領域のそれぞれに対応して表示タイトル６２が設定される。これは各領域の表示内容を大まかに表すもので、システム管理者の便宜のためのものである。
各表示タイトルに対して、アサインエリア６３に、表示内容がアサインされていく。この例の場合、タイムライン６１は２５秒の期間とされ、２５秒間の表示が繰り返されるスケジュールの例としているが、このタイムライン６１に沿って、表示内容が指定される。
例えば「ｃａｆｅ」というタイトルとされた第１領域については、コンテンツ＃１１〜＃１５がアサインされている。これは５秒ごとに静止画であるコンテンツ＃１１、＃１２、＃１３、＃１４、＃１５が切り替えられるスライドショウ表示が設定された例である。
「ｎｅｗｓＡ」というタイトルとされた第２領域については、「ｎｅｗｓＡ」というウェブキャストの指定情報がアサインされている。これにより第２領域では、リンクされたウェブキャストの動画映像が表示される状態となる。
これらの例のように、システム管理者が、各領域１１について所定のコンテンツや放送、或いは情報ソースを指定することで、１つのスケジュールが制作される。

【0047】

図５ＢのスケジュールＤＢ５２におけるスケジュールデータとしては、以上のように制作されたスケジュールの内容が登録される。例えば使用する領域レイアウト（区分パターン）で設定される各領域の識別情報としてセクションＩＤが登録される。セクションＩＤは、上記の第１領域から第１１領域の識別情報である。
またスケジュールデータとしては、各セクションＩＤ（第１領域から第１１領域）に対応してアサイン情報が登録される。アサイン情報とは、図６のタイムライン６１に対応して登録された表示内容としてのコンテンツや情報ソースの情報である。例えば図６の第１領域についてのアサイン情報を例示すれば、「０：００：００にコンテンツ＃１１」、「０：００：０５にコンテンツ＃１２」・・・「０：００：２０にコンテンツ＃１５」というような設定を示す情報となる。
その他、スケジュールデータとしては、スケジュールとして設定された各種の内容が登録される。
このようなスケジュールＤＢ５２におけるスケジュールデータに基づいて、情報サーバ２は各表示装置３の表示内容を認識してデジタルサイネージとしての表示動作を実行させることになる。

【0048】

スケジュールＤＢ５２に登録される情報取得用データは、ユーザ端末５からの情報取得要求に対応する情報が登録されている。
例えば第１領域から第１１領域などとしての各領域１１のそれぞれにアサインされた情報ソース、コンテンツ等の内容に応じた関連情報のポインタやＵＲＬが登録されている。関連情報自体が登録されていても良い。情報サーバ２は、この情報取得用データに基づいて、ユーザ端末５からの情報取得要求に対する情報送信を行うことができる。
なお情報取得用データは、システム管理者が例えば図６のような制作画面を用いて設定することができるようにしてもよい。
例えば図６のような制作画面において、アサインエリア６３に設定した表示内容について、情報取得用データを登録するエリアを用意したり、或いは表示内容をクリックすると情報取得用データ設定画面が現れるようにするなどして、システム管理者が、各表示内容に応じた情報取得用データを任意に設定できるようにする。

【0049】

以上のスケジュールＤＢ５２や、表示装置管理ＤＢ５１のデータ構造は一例に過ぎない。両ＤＢが１つのＤＢに統合されるようなデータ構造もあり得るし、データ内容も多様である。少なくとも後述する処理に必要なデータが登録されていればよい。
またスケジュールＤＢ５２や表示装置管理ＤＢ５１は、情報サーバ２がアクセス可能とされていればどのような形態で実現されていてもよい。例えば情報サーバ２と同一システム内の記憶部に各ＤＢ（５１，５２）のすべてが形成されていてもよいし、各ＤＢ（５１，５２）の一部又は全部が別体、遠隔地等のコンピュータシステムに設けられていてもよい。もちろん各ＤＢ（５１，５２）が一つの装置（例えば一つのＨＤＤ等）内に形成されている必要はない。また各ＤＢ（５１，５２）のそれぞれが、それぞれ１つのＤＢとして構成される必要もない。各ＤＢ（５１，５２）は、実施の形態の処理に関連する情報の記憶部を、それぞれ１つのＤＢの形態で例示したものに過ぎない。

【0050】

＜４．システム処理例＞
本実施の形態のシステム動作を図７、図８で説明する。図７はユーザ端末５、表示装置３、情報サーバ２の処理動作を示している。
なお、この処理の前提として、情報サーバ２は表示装置３の表示動作に関する領域レイアウトやスケジュールを設定し、そのスケジュールデータに従った表示を実行させているとする。従って表示装置３では、図２Ｃのように、選択された領域レイアウト（区分パターン）で分割された各領域１１において、各種の内容の情報表示が行われている。

【0051】

またユーザ端末５には、当該デジタルサイネージシステムに対応するアプリケーションプログラムがインストールされており、そのアプリケーションプログラムが起動されることで、以下説明するような、当該デジタルサイネージシステムを用いた拡張的な情報取得が可能となるものとする。
そのアプリケーションプログラムに付随して、ユーザ端末５の記憶部３５には各種の基本情報が格納される。上述したように基本情報とは、例えば表示装置ＩＤ、設置位置等の情報や、その表示装置３の画面表示を実行させる際のレイアウトの情報（レイアウトＩＤ）、各レイアウトＩＤに対応した実際の区分パターンの情報、各領域レイアウトにおいて区分された各領域１１の識別子であるセクションＩＤなどである。

【0052】

ユーザ端末５では、ステップＳ１０１で当該デジタルサイネージシステムに対応するアプリケーションプログラムが起動される。
アプリケーションプログラムが起動されたユーザ端末５は、逐次、必要に応じて上記の基本情報のアップデートを情報サーバ２に要求する。情報サーバ２はステップＳ３０１でアップデート要求に応じて更新情報をユーザ端末５にダウンロードする。
アップデートデータとは、例えば新たな表示装置３の設置に応じた表示装置ＩＤや設置場所等の情報や、新たに使用されるレイアウトＩＤや区分パターンの情報等である。これらはユーザ端末５において記憶部３５に基本情報として追加格納されていく。

【0053】

実際の使用機会は、ユーザが図２Ｃのように表示装置３を見ているときとなる。表示内容のなかでユーザが興味を持つもの（広告等）があった場合、ユーザは、ユーザ端末５を用いて、その表示装置３の画面を撮像する。ここでいう撮像とは、少なくとも画像がキャプチャできる状況であればよい。ユーザ端末５で実際に静止画として撮像画像データを記録する動作としてもよいし、単に１又は複数フレームの撮像画像データを処理対象として取得するものでもよい。つまりユーザとしては、ユーザ端末５の撮像部３２の被写体方向を表示装置３に向ければ良い。

【0054】

以下のユーザ端末５の詳細な処理は図８に示しており、図７とともに図８を参照しながら説明する。
図７のステップＳ１０３としてユーザ端末５の制御部３１は、表示装置３の画面を含む撮像画像の入力を受け付ける撮像画像受付処理を行う。これはユーザが撮像部３２の被写体として表示装置３の画面全体をとらえたときの撮像画像を区分パターン検出処理の対象として取得する処理である。
詳しくは、制御部３１は、図８のステップＳ１０３１でユーザの撮像操作に応じた撮像画像データの取得状態が開始されたら、ステップＳ１０３２で解析対象とする１又は複数のフレーム画像データを特定する。静止画として取り込んだ撮像画像を解析対象として用いる場合は、そのフレーム画像データを処理対象として受け付ける。撮像画像の動画を用いる場合は、１又は所定数のフレーム画像データを解析処理の対象として受け付ける。
また制御部３１はステップＳ１０３３で、当該解析対象のフレーム画像データが撮像された日時情報（年月日時分秒）をタイムスタンプとして設定し一時的に記憶する。

【0055】

ステップＳ１０３としての以上の撮像画像受付処理に続いて、図７のステップＳ１０４で制御部３１は、受け付けた撮像画像において複数領域に区分する区分パターンを抽出する区分パターン抽出処理を行う。これは受け付けたフレーム画像データを解析して、枠１０となっている部分を認識し、枠１０の形状を判定する処理となる。この処理は、あくまで撮像画像から枠１０を構成している部分を抽出するもので、各領域１１に表示されている画像内容を解析するものではない。

【0056】

ステップＳ１０５で制御部３１は、撮像画像から抽出した区分パターンに対応する処理対象を認識する対象認識処理を行う。
記憶部３５には、当該デジタルサイネージシステムで使用される１又は複数の領域レイアウトのパターンが記憶されている。このステップＳ１０５では、撮像画像から抽出した枠形状と、記憶部３５に格納した領域レイアウトの形状とを照合する処理となる。
ユーザが実際に当該システムの表示装置３を撮像した場合、抽出される区分パターンは、ある領域レイアウトの形状と一致（認識誤差を含めた略一致状態も含む）することになる。つまり認識した区分パターンに一致する領域レイアウトが存在した場合、制御部３１は、撮像画像データが、本システムの表示装置３の画面の撮像画像であり、続く選択操作対応の画像と認識する。

【0057】

このステップＳ１０５の制御部３１の処理は、詳しくは図８のように、まずステップＳ１０５１で撮像画像から抽出した枠形状と、記憶部３５に格納した領域レイアウトの形状とを照合する。
ステップＳ１０５２で、照合ＯＫ（一致又は略一致）した領域レイアウトの有無に応じて処理を分岐する。
もし、照合ＯＫとならなかった場合、制御部３１はステップＳ１０３１に戻る。つまり解析対象に特定したフレーム画像データが、表示装置３の画面の撮像画像ではないと判断し、フレーム画像データの特定からやり直すものとする。
照合ＯＫとなった場合、制御部３１はステップＳ１０５３に進み、照合ＯＫとなった領域レイアウトのレイアウトＩＤを記憶部３５の基本情報から取得する。

【0058】

なお、上述のステップＳ１０３２で解析対象と特定する１又は複数のフレーム画像データは、必ずしも表示装置３の画面全体が含まれるものでなくても良い。ステップＳ１０４，Ｓ１０５１での区分パターン抽出、照合の処理が可能であれば、表示装置３の画面の一部を撮像したフレームを用いてもよい。例えば撮像されたフレーム画像データから区分パターンの特徴点がいくつか抽出され、それによって一致する領域レイアウトが特定できれば良いためである。
また、ステップＳ１０３２で解析対象とした１又は複数のフレーム画像データから区分パターンの照合がとれなかった場合は、ステップＳ１０５２からＳ１０３１に戻って、再試行すればよい。
従って、ユーザに対し、表示装置３の画面全体を含むように撮像することを強いるものとはならない。

【0059】

さらに制御部３１はステップＳ１０５４で、表示装置ＩＤを取得する。表示装置ＩＤの取得手法は各種考えられる。
図７では、ユーザ端末５と表示装置３の間の通信を示している。例えば近距離無線通信によりユーザ端末５から識別情報要求の送信を行い、表示装置３が自己の表示装置ＩＤをユーザ端末５に送信する。このように両者間で近距離無線通信を行うことで、制御部３１は現在処理対象としている表示装置３を特定する情報を取得できる。
近距離無線通信を用いない手法もある。例えば制御部３１は位置検出部３８で出される現在位置情報（緯度・経度）を確認する。そして記憶部３５に格納している各表示装置３の設置場所の情報と照合し、表示装置３を特定する。そしてその表示装置３の表示装置ＩＤを記憶部３５に格納した基本情報から取得する。
また、特定したレイアウトＩＤと表示装置３が１：１で対応するものであれば、記憶部３５に予め格納してあった情報から、表示装置ＩＤを確認することもできる。
また、制御部３１は、現在位置情報を情報サーバ２に送信し、情報サーバ２が受信した現在位置情報の近辺に設置されている表示装置３を特定して、その表示装置ＩＤをユーザ端末５に送信するような手法も考えられる。
これらのように、何らかの手法で制御部３１は対象としている表示装置３を特定する。

【0060】

なお、表示装置ＩＤの取得は、例えばユーザが或る表示装置３に近接した際に行うようにしてもよい。例えば現在位置情報や近距離無線通信を用いた手法で近くの表示装置３を特定し、表示装置３を特定することに応じて、図７のステップＳ１０１でのアプリケーションプログラムの起動が行われるようにすることも考えられる。
また、ステップＳ１０３で撮像を開始した際に、現在位置情報や近距離無線通信を用いた手法で表示装置３を特定してもよい。

【0061】

続いて図７のステップＳ１０６では、制御部３１は撮像画像上で検出した区分パターンにより区分された複数領域のうちでユーザの選択操作の対象とされた選択領域を認識する選択操作認識処理を行う。
詳しくは、制御部３１は図８のステップＳ１０６１で選択操作の検知を行う。ユーザが選択操作を行うまでの期間はステップＳ１０６２からＳ１０６１に戻って操作を待機する。
ユーザの選択操作を検知したら、ステップＳ１０６３に進み、セクションＩＤを取得する。セクションＩＤは、特定したレイアウトＩＤにおける各領域１１のうちで、ユーザが選択した領域のセクションＩＤを、記憶部３５に格納した基本情報から取得する。

【0062】

ユーザの選択操作態様は各種考えられる。
図９Ａのようにユーザ端末５では、表示部３６の画面上に撮像画像を表示させているため、ユーザはこの表示部３６でのタッチ操作や、所定の操作を用いたカーソル移動などで、選択操作を行うことができる。
表示部３６に表示される撮像画像には、実際の表示装置３の各領域１１の表示内容がそのまま写されているため、ユーザは単に興味を持った画像が表示されている領域を選択すればよい。しかも、そのような選択をユーザ端末５において行うことは、公共の場にある表示装置３上で或る領域１１をタッチするようなものではないため、周囲の人に、何を選んだかを知られないですむことにもなる。
また、選択操作を画像認識で検知してもよい。ユーザは表示装置３で或る距離（例えば１〜３ｍ程度）離れた位置に居ることが通常である。眼鏡型、ヘッドマウント型であって、視線方向の撮像画像が得られるユーザ端末５を所有するユーザの場合、例えば少し離れた位置から表示装置３の或る表示内容を指し示すようなジェスチャを行うようにし、制御部３１がそれを認識する。例えば図９Ｂは、眼鏡型のユーザ端末５において、ユーザの視線方向をとらえた撮像画像であるとする。ユーザがある領域１１を指し示した場合に、そのユーザの指先の画像を認識し、指先で示される表示装置３の領域１１を検出する。このような画像処理でユーザの選択操作を認識してもよい。
なお、このようなジェスチャによっても、ユーザが少々離れた位置にいて指差しを行うことで、ユーザが何を選択したかは、周囲の人にはわかりにくい。

【0063】

以上のような手法でユーザ操作を認識したら、制御部３１は図７のステップＳ１０７で情報サーバ２に対して情報取得要求を送信する。
図８のステップＳ１０７に示したように、この情報取得要求には、ステップＳ１０５４で取得した表示装置ＩＤ、ステップＳ１０５３で取得したレイアウトＩＤ、ステップＳ１０６３で取得したセクションＩＤ、及びステップＳ１０３３で設定したタイムコードを含むようにする。

【0064】

ユーザ端末５からの情報取得要求を受信した情報サーバ２は、図７のステップＳ３０２，Ｓ３０３，Ｓ３０４の処理を行う。
まずステップＳ３０２で情報サーバ２は選択対象の表示内容判定を行う。上記の情報取得要求により、情報サーバ２は、表示装置３（表示装置ＩＤ）、領域レイアウト（レイアウトＩＤ）、及び日時（タイムスタンプ）が特定でき、さらにユーザが選択した領域１１の情報をセクションＩＤとして取得できる。
表示装置ＩＤを元に、表示装置管理ＤＢ５１を参照して、その日時において当該表示装置が実行していた表示内容を指定するスケジュールナンバが特定できる。
またスケジュールＤＢ５２を参照すると、そのセクションＩＤの領域に当該時刻に表示されていた情報内容（広告コンテンツやニュース等）を特定できる。
以上により情報サーバ２は、ユーザが選択した表示内容が把握できることになる。

【0065】

続いて情報サーバ２は選択対象の表示内容に対応する関連情報を特定する。例えばスケジュールＤＢ５２において、当該選択されたスケジュールデータに対応して登録されている情報取得用データを取得する。例えば関連情報となるウェブページのＵＲＬ等である。或いは、実際の関連情報コンテンツ自体を取得してもよい。
そしてステップＳ３０４で関連情報をユーザ端末５に提供するためのＵＲＬ、或いは実際の関連情報としてのコンテンツをユーザ端末５に送信する。
関連情報コンテンツとは、例えば領域１１に表示された広告についての付加情報などであり、テキストや画像、動画、音データなどである。

【0066】

ユーザ端末５では、制御部３１はステップＳ１０８で情報サーバ２から送信されてくる情報を取得し、当該取得した情報に基づく情報出力制御を行う。情報出力とは情報の表示出力や記憶媒体への出力（つまり記憶処理）の実行制御である。もちろん音声出力という形態もあり得る。
例えば情報サーバ２からＵＲＬが送信されてきた場合、制御部３１はウェブブラウザを起動し、当該ＵＲＬで指定されたウェブページの画像を表示部３６に表示させる。
また情報サーバ２から関連情報としてのコンテンツ自体が送信されてきた場合、制御部３１は当該関連情報コンテンツを表示部３６に表示させたり、記憶部３５に記憶させたりする。関連情報コンテンツを表示部３６に表示させる態様としては、いわゆるＡＲ（augmented reality）のようにテキスト、静止画、動画等を画面内にポップアップさせて重畳表示させるようなことも可能である。例えば図９Ａのような表示装置３の画面を表示させたユーザ端末５の画面上に関連情報を重畳表示するなどである。

【0067】

以上の処理により、ユーザはデジタルサイネージシステムにより、単に表示装置３に表示される情報を知るだけでなく、興味を持った表示内容についての、より詳しい情報などの関連情報を得ることができる。
例えば表示装置３の或る領域１１にコーヒーショップの広告が表示されていた場合、ユーザはその表示装置３を撮像して、ユーザ端末５上で当該広告を選択する操作を行う。すると、情報サーバから、そのコーヒーショップのホームページのＵＲＬが送られ、ユーザ端末でホームページ閲覧によりコーヒーショップの詳しい情報を知ることができる。
或いはまた、情報サーバ２が、当該コーヒーショップのクーポンやメニューなどの関連情報コンテンツを送信してくれば、ユーザ端末５でそれらが表示され、ユーザが利用することができる。

【0068】

＜５．まとめ及び変形例＞
以上の実施の形態では、以下のような各種の効果が得られ、また各種の変形例が想定される。
実施の形態のユーザ端末５（情報処理装置）は、撮像画像の入力を受け付ける撮像画像受付部４１と、撮像画像受付部４１が受け付けた撮像画像において複数領域に区分する区分パターンを抽出する区分パターン抽出部４２と、１又は複数の区分パターンを処理対象に対応づけて予め記憶した記憶部３５を参照し、撮像画像から抽出した区分パターンに対応する処理対象を認識する対象認識部４３とを備える。
撮像した撮像画像上で区分パターンを抽出し、これを記憶した区分パターン（領域レイアウト）と照合することで、撮像対象の全体のコンテクストなどの特徴量を分析しなくても撮像画像に含まれている処理対象を特定できる。従って、撮像画像において、各領域に多様な画像が表示されている場合に、静止画や動画等の画像解析という比較的処理負担の高い処理を行わずに、処理対象を容易に認識できるものとなる。

【0069】

またユーザ端末５は、対象認識部４３が特定した処理対象において、区分パターンで区切られた複数領域のうちで選択操作の対象とされた選択領域を認識する選択操作認識部４４と、少なくとも選択操作認識部４４が認識した選択領域を示す選択操作情報を含めた情報取得要求を外部装置（情報サーバ２）に送信する要求送信部４５と、情報取得要求に応じて送信されてくる情報を取得し、当該取得した情報に基づく情報出力制御を行う情報出力制御部４６とを備える。
つまり認識した処理対象の画像の各領域１１において、ユーザ操作によって或る領域１１が選択された場合、選択領域を示すセクションＩＤとともに情報取得要求を情報サーバ２に送信する。これにより情報サーバ２側では、選択領域に表示されている内容に関連した情報が要求されていると認識することができる。
ここで、ユーザが選択した領域１１を認識することは、間接的に、ユーザが興味を持った表示内容を認識するものとなる。従ってユーザが選択した領域１１を示す選択操作情報は、ユーザが興味を持った表示内容を示すものともなる。これにより情報サーバ２等の外部装置は、ユーザが取得を望む情報を判別できる。
つまり高度な画像処理で表示内容自体を解析することなく、簡単な領域区分の認識で、ユーザがどの表示内容に興味を持ったかを判定できる。

【0070】

また実施の形態において処理対象となる表示装置３の画像は、区分パターンで区分された複数領域のそれぞれについて表示内容が予め対応づけられて管理されている画像である。そしてユーザ端末５からの情報取得要求は、選択操作情報によって示す領域に対応づけられた表示内容についての関連情報の取得を要求するものである。
つまり処理対象となる表示装置３は、所定の区分パターンで区分された複数の領域１１を有する状態で各種の情報を表示している。情報サーバ２側では、表示装置管理ＤＢ５１やスケジュールＤＢ５２により、予め複数領域と表示内容を対応づけて管理しておくことで、選択操作情報を含む情報取得要求に応じて、表示内容を把握し、その表示内容の関連情報を直接的又は間接的に提供できる。つまりユーザが興味をもった表示内容を領域の選択操作情報から判別できるため、これによってユーザが興味をもった表示内容に関連する情報（関連情報コンテンツ）、又は関連情報へのアクセスのための情報（ＵＲＬ等）を提供できる。
従って実施の形態のように公共のデジタルサイネージにおける複数の表示内容について、ユーザが自己のユーザ端末５で興味のある表示を指定すれば、その関連情報が取得できる。
周囲の人には、どの情報に興味を持ったかを知られずに、所望の情報を選択し、関連情報を閲覧できることにもなる。
また領域１１に提示する情報（画像コンテンツ等）を提供する側（情報サーバ２）にとっては、新しい情報を表示用としてアサインする度に、その新しい情報の内容や関連情報コンテンツを学習するという作業は省略できる。

【0071】

また処理対象となる表示装置３の画像は、区分パターンで区分された複数領域のそれぞれについて、表示内容が時間情報に対応づけられて管理されている画像である。時間情報はスケジュールＤＢ５２で管理される。
ユーザ端末５の要求送信部４５は、撮像画像受付部４１が撮像画像の入力を受け付けた日時情報（Ｓ１０３３：タイムスタンプ）を含む情報取得要求を情報サーバ２に送信する。
各領域１１において時間経過に応じて表示内容を変化させる場合、情報サーバ２側では、予め複数領域と表示内容と時間情報を対応づけて管理しておくことで、領域の選択操作情報と日時情報を含む情報取得要求に応じて、ユーザが操作した日時での表示内容を把握し、その表示内容の関連情報を提供できる。
このような管理により、時間によって異なる広告を表示させておき、表示させた広告に対応する関連情報を提供することが可能となる。
特に、ユーザが表示装置３についての静止画や動画を撮像し、多少時間を経た時点で撮像された表示内容に対して選択操作を行ったとしても、情報サーバ２はその撮像時点の表示内容の関連情報を提供できる。
なお時間情報は、ある始点からの経過時間でも良いし、時刻でも良い。

【0072】

また区分パターンは直線により領域を区画するように予め定められたものとすることができる。即ち、このとき、区分パターン抽出部４２は、撮像画像において直線で区画された区分パターンを抽出する。
直線により区画されていることを前提として、直線を対象として区分パターンを認識することで、コンピュータ処理として認識が容易であり、区分パターン認識処理負担が軽減される。
但し、領域レイアウトとして曲線を含む区分パターンを用いる例も考えられる。

【0073】

また区分パターン抽出部４２の処理対象の画像は、区分パターンで区分された複数領域の全部又は一部に画像が表示されている表示装置３の画像であり、表示装置３に表示される画像には動画が含まれる。もしくは、各領域１１の表示内容は全てを動画としてもよい。
従来の画像認識では、動画の場合は、変化する画面の全てのフレームの特徴量を予め取っておいて、リアルタイムに変化する撮像画像の各フレームの特徴量を計算して比較するという負荷が非常に大きな処理を行う。それに対し本実施の形態では、固定された区分パターンの枠１０の線を認識することによって、その枠１０内の領域に表示されているものが何であるかを特定することが可能となる。つまり、デジタルサイネージシステムとして、動画を表示することを想定した場合、本実施の形態のように区分パターン抽出を行い、さらに選択操作に対応して表示内容を認識できることは、非常に処理負荷を低くできるものとなる。

【0074】

なお、表示装置３の領域１１に表示される内容が静止画である場合、その静止画に区分パターンにおける区分（枠１０）を示す直線と紛らわしいものが含まれていることも想定される。すると、区分パターン抽出の際の誤認識の原因になることがある。本実施の形態の場合、抽出した区分パターンを、記憶した基本情報における領域レイアウトの区分パターンと照合することで、誤認識も低減できる。例えば抽出した区分パターンにおいて、記憶した領域レイアウトの区分パターンには存在しない線分が含まれていた場合も照合ＯＫとすることが考えられる。つまり完全には一致しなくとも、少なくとも領域レイアウトの区分パターンを構成する全ての線分が、抽出した区分パターンに含まれていれば照合ＯＫとする。このようにすれば、撮像画像から枠１０と紛らわしい画像部分が抽出されても、区分パターンが一致しないとする誤認識を避けることができる。

【0075】

本発明は実施の形態の例に限らず、各種の変形例が想定される。
実施の形態ではデジタルサイネージシステムを例に挙げたが、例えば表示装置３に代えて紙媒体のポスター等を対象とするシステムも想定される。即ちポスターが枠によって区分された領域に各種の内容を表示しているものである場合、ユーザ端末５でそのポスターを撮像し、枠による区分パターン認識及び照合、処理対象の認識等を行うことで、ユーザの操作に応じた情報取得要求を情報サーバ２は送信できる。従って情報サーバ２は対応する関連情報をユーザ端末５に提供できる。

【0076】

また実施の形態の例では、情報取得要求として、表示装置ＩＤ、レイアウトＩＤ、セクションＩＤ、タイムコードを送信するものとしたが、必ずしもこれら全てを含む必要はない。
例えば表示装置３において、各領域１１には常に同じ情報内容としての静止画や動画、或いはテキスト表示を行っている場合や、ポスター画像などの場合など、公共の場で発信する情報の内容に時間的変化がなければ（つまり取得すべき関連情報が変化しないものであれば）、タイムコードは不要である。
また情報サーバ２と表示装置３が１：１で対応する図１Ｂのようなシステムの場合、表示装置ＩＤは不要となる。
さらに１つの情報サーバ２に対して表示装置３が多数存在する場合でも、各表示装置に同一の領域レイアウトが採用される場合、レイアウトＩＤは不要となる。
また１つの表示装置３とレイアウトＩＤが１：１で対応する場合、つまり表示装置３毎に領域レイアウトが固有設定される場合、表示装置ＩＤとレイアウトＩＤは、少なくとも一方が用いられれば良い。
また、全ての領域レイアウトにおける各領域１１が、全て固有のセクションＩＤを設定される場合など、セクションＩＤのみで表示装置と領域レイアウトが把握できるため、表示装置ＩＤとレイアウトＩＤは不要となる。
従ってユーザ端末５としては、最低限、ユーザが選択した領域を示すセクションＩＤを含む情報取得要求を情報サーバ２に送信することが必要で、他の情報はシステム形態に応じて必要となる。

【0077】

また、図７において情報サーバ２が実行する処理として示したステップＳ３０２，Ｓ３０３の処理を、ユーザ端末５側で行うようにすることも考えられる。
例えば情報サーバ２はステップＳ３０１においてアップデートデータとして、表示装置管理ＤＢ５１やスケジュールＤＢ５２をユーザ端末５に送信してしまう。するとユーザ端末５におけるアプリケーションプログラムによっては、ユーザの選択操作に応じて、情報サーバと通信を行わなくとも、表示装置管理ＤＢ５１やスケジュールＤＢ５２を参照して選択対象の表示内容判定や、関連情報としてのＵＲＬ等の取得が可能となる。これによってステップＳ１０８の関連情報の表示等が可能となる。

【0078】

＜６．プログラム及び記憶媒体＞
本発明の実施の形態としてのプログラムは、情報処理装置（ＣＰＵ等）、例えばユーザ端末５における制御部３５等に、図４Ｂの各機能の処理を実行させるプログラムである。
実施の形態のプログラムは、撮像画像の入力を受け付ける撮像画像受付手順（Ｓ１０３）と、撮像画像受付手順で受け付けた撮像画像において複数領域に区分する区分パターンを抽出する区分パターン抽出手順（Ｓ１０４）と、１又は複数の区分パターンを処理対象に対応づけて予め記憶した記憶部を参照し、撮像画像から抽出した区分パターンに対応する処理対象を認識する対象認識手順（Ｓ１０５）とを情報処理装置に実行させる。
或いはさらに、対象認識手順で特定した処理対象において、区分パターンで区切られた複数領域のうちで選択操作の対象とされた選択領域を認識する選択操作認識手順（Ｓ１０６）と、少なくとも選択操作認識手順で認識した選択領域を示す選択操作情報（セクションＩＤ等）を含めた情報取得要求を外部装置（情報サーバ２等）に送信する要求送信手順（Ｓ１０７）と、情報取得要求に応じて送信されてくる情報を取得し、当該取得した情報に基づく情報出力制御を行う情報出力制御手順（Ｓ１０８）とを情報処理装置に実行させるものである場合もある。
即ちこのプログラムは、情報処理装置に対して図７，図８で説明したユーザ端末５の処理を実行させるプログラムである。

【0079】

このようなプログラムにより、上述したユーザ端末５としての情報処理装置を実現できる。例えばユーザ端末５にインストールするアプリケーションプログラムが実施の形態のプログラムとなる。
このようなプログラムはコンピュータ装置等の機器に内蔵されている記憶媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記憶媒体に、一時的あるいは永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記憶媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記憶媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。

【符号の説明】

【0080】

１ ネットワーク、２ 情報サーバ、３ 表示装置、４ ＤＢ部、５ ユーザ端末、３１ 制御部、３２ 撮像部、３３ 画像処理部、３４ 通信部、３５ 記憶部、３６ 表示部、３７ 入力部、３８ 位置検出部、３９ 音声出力部、４０ 基本情報取得部、４１ 撮像画像受付部、４２ 区分パターン抽出部、４３ 対象認識部、４４ 選択操作認識部、４５ 要求送信部、４６ 情報出力制御部

【要約】

例えば複数の領域に分かれて各種内容が表示されている処理対象画像を含む撮像画像の入力を受け付ける。そして受け付けた撮像画像に含まれる処理対象画像を複数領域に区分する区分パターンを抽出する。抽出した区分パターンと、記憶部に予め記憶された１又は複数の区分パターンを照合し、処理対象画像から抽出した区分パターンに対応する区分パターンを特定することで、処理対象を認識する。これにより比較的付加の軽い処理で処理対象認識ができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】