特許 6048475 コンテンツ出力装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6048475

(24)【登録日】2016年12月2日

(45)【発行日】2016年12月21日

(54)【発明の名称】コンテンツ出力装置及びプログラム

(51)【国際特許分類】

   G09F 19/00 20060101AFI20161212BHJP

   G09G 5/00 20060101ALI20161212BHJP

   G06Q 30/02 20120101ALI20161212BHJP

【ＦＩ】

   G09F19/00 Z

   G09G5/00 510B

   G09G5/00 530T

   G09G5/00 550B

   G06Q30/02 380

【請求項の数】11

【全頁数】20

(21)【出願番号】特願2014-223152(P2014-223152)

(22)【出願日】2014年10月31日

(65)【公開番号】特開2016-90727(P2016-90727A)

(43)【公開日】2016年5月23日

【審査請求日】2015年3月13日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100096699

【弁理士】

【氏名又は名称】鹿嶋 英實

(72)【発明者】

【氏名】村上 文吾

(72)【発明者】

【氏名】鈴木 秀夫

【審査官】 砂川 充

(56)【参考文献】

【文献】 特開２０１２−２２５８９（ＪＰ，Ａ）

【文献】 特開２０１３−１４９０５０（ＪＰ，Ａ）

【文献】 特開２０１４−１３４８３５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｆ １９／００−２７／００

Ｇ０６Ｆ １３／００

Ｇ０６Ｆ １９／００

Ｇ０６Ｑ ３０／００−３０／０８

Ｇ０９Ｇ ５／００− ５／４２

(57)【特許請求の範囲】

【請求項1】

広告コンテンツを出力するコンテンツ出力装置であって、
前記広告コンテンツにおける出力内容を順次変化させて出力する出力手段と、
前記広告コンテンツの各出力内容をその個々の出力タイミングに対応づけて記憶するコンテンツ記憶手段と、
前記広告コンテンツの出力内容が順次変化して出力されている途中にあって、視聴者における任意タイミングでの反応があったか否かを判別し、反応があった際はその反応タイミングの時点を検出する検出手段と、
前記検出手段で検出された反応タイミング時点を前記広告コンテンツに対応付けて反応記憶手段に記憶させる記憶制御手段と、
前記広告コンテンツの出力内容の一連の出力後における所定時に、前記反応記憶手段に反応タイミング時点の記憶があるか否かを判別し、記憶があると判別された際は、当該反応記憶手段に記憶された反応タイミング時点を読出し、その反応タイミング時点に出力されていた前記広告コンテンツの出力内容を特定する特定手段と、
前記特定手段で特定された出力内容に対応する出力制御処理を実行する処理実行手段と、
を具備したことを特徴とするコンテンツ出力装置。

【請求項2】

前記検出手段は、視聴者が前記出力内容の出力される位置近傍に居ることを判別した際に、当該視聴者の音声解析に基づく特定音声の判別、あるいは当該視聴者に対する撮影画像解析に基づく画像変化の判別、を行うことで当該判別時点を前記反応タイミングの時点として検出する、
ことを特徴とする請求項１に記載のコンテンツ出力装置。

【請求項3】

前記特定手段は、前記広告コンテンツの一連の出力の終了時に前記反応記憶手段に前記反応タイミングの記憶があるか否かを判別し、前記検出があったと判別された場合に前記広告コンテンツの出力内容を特定する、
ことを特徴とする請求項１又は２に記載のコンテンツ出力装置。

【請求項4】

前記広告コンテンツの各出力内容は、その出力内容に対応するリンク情報を含み、
前記処理実行手段は、前記特定手段で特定された出力内容に対応する前記リンク情報に基づいてそのリンク先の情報を出力する処理を実行する、
ことを特徴とする請求項１〜３の何れかに記載のコンテンツ出力装置。

【請求項5】

前記特定手段で特定された出力内容に対応してリンク情報が含まれているか否かを判別する判別手段と、
を更に具備し、
前記処理実行手段は、前記リンク情報が含まれていると判別した際は、そのリンク情報に基づいてそのリンク先の情報を出力し、前記リンク情報が含まれていないと判別した際は、前記特定手段で特定された前記出力内容を出力する処理を実行する、
ことを特徴とする請求項１〜４の何れかに記載のコンテンツ出力装置。

【請求項6】

広告コンテンツを出力するコンテンツ出力装置であって、
出力内容の複数の出力位置毎に情報を含む広告コンテンツを記憶するコンテンツ記憶手段と、
前記広告コンテンツの出力最中にあって、その広告コンテンツ内の任意の位置に対する視聴者による視線を検出した際は、その視線位置が前記広告コンテンツ内に含まれる前記情報の出力位置か否かを判別する判別手段と、
前記判別手段で前記情報の出力位置であると判別された際は、その出力位置における情報を識別するための識別子を当該広告コンテンツに対応付けて視線記憶手段に記憶させる記憶制御手段と、
前記広告コンテンツの出力後における所定時点で、前記視線記憶手段に前記識別子の記憶があるか否かを判別し、記憶があると判別された際は、当該視線記憶手段に記憶された識別子を読出し、前記広告コンテンツの内で当該識別子に該当する情報を特定する特定手段と、
前記特定手段で特定された情報に対応する出力制御処理を実行する処理実行手段と、
を具備したことを特徴とするコンテンツ出力装置。

【請求項7】

前記特定手段における所定時点は、前記広告コンテンツに出力される出力位置の前に居た視聴者が、当該出力位置から離れる前の時点である、
ことを特徴とする請求項６に記載のコンテンツ出力装置。

【請求項8】

前記広告コンテンツ内に含まれる各情報はリンク情報を含み、
前記処理実行手段は、前記特定手段で特定されたリンク情報に基づいてそのリンク先の情報を出力する処理を実行する、
ことを特徴とする請求項６又は７に記載のコンテンツ出力装置。

【請求項9】

前記特定手段で特定された情報にリンク情報が含まれているか否かを判別する判別手段と、
を更に具備し、
前記処理実行手段は、前記リンク情報が含まれていると判別した際は、そのリンク情報に基づいてそのリンク先の情報を出力し、前記リンク情報が含まれていないと判別した際は、前記特定手段で特定された前記情報を出力する処理を実行する、
ことを特徴とする請求項６〜８の何れかに記載のコンテンツ出力装置。

【請求項10】

広告コンテンツを出力するコンテンツ出力装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
前記広告コンテンツにおける出力内容を順次変化させて出力する出力手段、
前記広告コンテンツの各出力内容をその個々の出力タイミングに対応づけて記憶するコンテンツ記憶手段、
前記広告コンテンツの出力内容が順次変化して出力されている途中にあって、視聴者における任意タイミングでの反応があったか否かを判別し、反応があった際はその反応タイミングの時点を検出する検出手段、
前記検出手段で検出された反応タイミング時点を前記広告コンテンツに対応付けて反応記憶手段に記憶させる記憶制御手段、
前記広告コンテンツの出力内容の一連の出力後における所定時に、前記反応記憶手段に反応タイミング時点の記憶があるか否かを判別し、記憶があると判別された際は、当該反応記憶手段に記憶された反応タイミング時点を読出し、その反応タイミング時点に出力されていた前記広告コンテンツの出力内容を特定する特定手段、
前記特定手段で特定された出力内容に対応する出力制御処理を実行する処理実行手段と、
として機能させるようにしたプログラム。

【請求項11】

広告コンテンツを出力するコンテンツ出力装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
出力内容の複数の出力位置毎に情報を含む広告コンテンツを記憶するコンテンツ記憶手段、
前記広告コンテンツの出力最中にあって、その広告コンテンツ内の任意の位置に対する視聴者による視線を検出した際は、その視線位置が前記広告コンテンツ内に含まれる前記情報の出力位置か否かを判別する判別手段、
前記判別手段で前記情報の出力位置であると判別された際は、その出力位置における情報を識別するための識別子を当該広告コンテンツに対応付けて視線記憶手段に記憶させる記憶制御手段、
前記広告コンテンツの出力後における所定時点で、前記視線記憶手段に前記識別子の記憶があるか否かを判別し、記憶があると判別された際は、当該視線記憶手段に記憶された識別子を読出し、前記広告コンテンツの内で当該識別子に該当する情報を特定する特定手段、
前記特定手段で特定された情報に対応する出力制御処理を実行する処理実行手段、
として機能させるようにしたプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンテンツを出力するコンテンツ出力装置及びプログラムに関する。

【背景技術】

【0002】

一般に、電子看板、電子広告板と呼ばれるデジタルサイネージ装置などの広告出力装置は、通信ネットワーク又は記憶媒体を介して広告内容を随時変更することにより最新データを提供可能であると共に、動画データも表示することが可能なために視聴者の注目度を高めることができる広告媒体として普及している。このようなデジタルサイネージ装置として、従来では、例えば、広告画面の広告を見ている顧客が所持している携帯端末装置に対して広告データを配信するようにした技術が開示されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３‐１４０５４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述の特許文献の技術にあっては、通信手段や２次元コードを介して携帯端末装置に広告データを配信するものであり、携帯端末装置に対して提供される広告は、必ずしも顧客が興味を持った広告内容であるとは限らず、また、データの再生途中において顧客が気になったデータを見つけた際に、その再生要求の操作が行われると、そのリンク先のデータにジャンプして表示するようにしているために、それまでの再生が中断し、突然、他のデータに切り替わることによって物語性（ストーリーテリング）が途切れてしまう。また、重要なデータを見逃したり、データの見間違えたりするおそれがあると共に、その切り替え前後の広告内容とリンク先の広告内容とを混同してしまったりするおそれもあった。

【0005】

本発明は、広告コンテンツ出力中にあって視聴者が興味を持った出力内容に関する出力を適切なタイミングで制御できるようにすることである。

【課題を解決するための手段】

【0006】

請求項１の発明は、広告コンテンツを出力するコンテンツ出力装置であって、前記広告コンテンツにおける出力内容を順次変化させて出力する出力手段と、前記広告コンテンツの各出力内容をその個々の出力タイミングに対応づけて記憶するコンテンツ記憶手段と、前記広告コンテンツの出力内容が順次変化して出力されている途中にあって、視聴者における任意タイミングでの反応があったか否かを判別し、反応があった際はその反応タイミングの時点を検出する検出手段と、前記検出手段で検出された反応タイミング時点を前記広告コンテンツに対応付けて反応記憶手段に記憶させる記憶制御手段と、前記広告コンテンツの出力内容の一連の出力後における所定時に、前記反応記憶手段に反応タイミング時点の記憶があるか否かを判別し、記憶があると判別された際は、当該反応記憶手段に記憶された反応タイミング時点を読出し、その反応タイミング時点に出力されていた前記広告コンテンツの出力内容を特定する特定手段と、前記特定手段で特定された出力内容に対応する出力制御処理を実行する処理実行手段と、を具備したことを特徴とする。

【0007】

請求項６の発明は、広告コンテンツを出力するコンテンツ出力装置であって、出力内容の複数の出力位置毎に情報を含む広告コンテンツを記憶するコンテンツ記憶手段と、前記広告コンテンツの出力最中にあって、その広告コンテンツ内の任意の位置に対する視聴者による視線を検出した際は、その視線位置が前記広告コンテンツ内に含まれる前記情報の出力位置か否かを判別する判別手段と、前記判別手段で前記情報の出力位置であると判別された際は、その出力位置における情報を識別するための識別子を当該広告コンテンツに対応付けて視線記憶手段に記憶させる記憶制御手段と、前記広告コンテンツの出力後における所定時点で、前記視線記憶手段に前記識別子の記憶があるか否かを判別し、記憶があると判別された際は、当該視線記憶手段に記憶された識別子を読出し、前記広告コンテンツの内で当該識別子に該当する情報を特定する特定手段と、前記特定手段で特定された情報に対応する出力制御処理を実行する処理実行手段と、を具備したことを特徴とする。

【発明の効果】

【0008】

本発明によれば、広告コンテンツ出力中にあって視聴者が興味を持った出力内容に関する出力を適切なタイミングで制御することができる。

【図面の簡単な説明】

【0009】

【図1】広告出力装置として適用したデジタルサイネージ装置を含む通信システムを示したブロック図。

【図2】デジタルサイネージ装置１の基本的な構成要素を示したブロック図。

【図3】（１）は、出力情報メモリ１３ｃを説明するための図、（２）は、反応情報メモリ１３ｄを説明するための図。

【図4】電源投入に応じて実行開始されるデジタルサイネージ装置１の動作（第１実施形態の特徴的な動作）を説明するためのフローチャート。

【図5】図４の動作に続くフローチャート。

【図6】反応タイミング検出処理（図４のステップＡ７）を詳述するためのフローチャート。

【図7】第２実施形態において、（１）は、広告データの表示例を示した図、（２）は、出力情報メモリ１３ｃを説明するための図、（３）は、反応情報メモリ１３ｄを説明するための図。

【図8】電源投入に応じて実行開始されるデジタルサイネージ装置１の動作（第２実施形態の特徴的な動作）を説明するためのフローチャート。

【図9】凝視検出処理（図７のステップＢ４）を詳述するためのフローチャート。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（第１実施形態）
先ず、図１〜図６を参照して本発明の第１実施形態を説明する。
本実施形態は、広告出力装置としてデジタルサイネージ装置に適用した場合を例示したもので、図１は、このデジタルサイネージ装置を含む通信システムを示したブロック図である。
広告出力装置（デジタルサイネージ装置）１は、例えば、大型店舗内においてその入り口付近、休憩場所付近、出口付近などのように顧客が集まる場所に設置され、各種の広告データ（例えば、Ｗｅｂページデータ、テレビ放送データ、動画データ、静止画像群データ、音声データなど）を出力可能なもので、その基本的な機能として、広告データ出力機能、計時機能、タッチ入力機能、通信機能、撮像機能の他に、画像解析機能、音声解析機能などを備えている。

【0011】

広告データ出力機能は、コンテンツ配信装置（サーバ装置）２から通信網３、例えば、インターネット、ＬＡＮ（Local Area Network）などを介して受信した広告データ、又は着脱自在な可搬型メモリ（記録メディア）を介して外部供給された広告データを視聴者に対して表示出力したり、音声出力したりする機能である。なお、本実施形態において視聴者とは、店舗への顧客であり、必ずしも広告表示と広告音声を見聞きしている顧客に限らず、広告表示だけを見ている顧客、広告音声だけを聞いている顧客であってもよい。計時機能は、現在時刻として（年月日時分秒ミリ秒）を計時したり、タイマ時間を計測したりする機能である。なお、その他の機能については後で詳述するものとする。

【0012】

広告データは、複数ページ分（画面分）から成る一連のデータであり、図示の例の広告データＸは、１ページのデータＸ１、２ページのデータＸ２、…、６ページのデータＸ６を有する構成で、デジタルサイネージ装置１は、この広告Ｘを構成する個々のデータＸ１、Ｘ２、…、Ｘ６を１ページ（１画面）単位で逐次出力すると共に、最終ページＸ６を出力した後は、その先頭ページＸ１の出力に戻るようにしている。このように各ページ分（画面分）のデータを逐次出力し、それが一巡した後も各ページを循環的に逐次切り替え出力するようにしている。同様に、広告データＹは、１ページのデータＹ１、２ページのデータＹ２、…５ページのデータＹ５を有する構成で、デジタルサイネージ装置１は、この広告Ｙを構成する個々のデータＹ１、Ｙ２、…、Ｙ５を１ページ単位で逐次出力すると共に、循環的に逐次切り替え出力するようにしている。

【0013】

図２は、デジタルサイネージ装置１の基本的な構成要素を示したブロック図である。
デジタルサイネージ装置１の中核となるＣＰＵ１１は、電源部１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこのデジタルサイネージ装置１の全体動作を制御する中央演算処理装置である。記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、図４〜図６に示した動作手順に応じて本実施形態を実現するためのプログラムを記憶するプログラムメモリ１３ａと、このデジタルサイネージ装置１で必要とされる各種のデータ（計時時刻、タイマ計測時間、フラグなど）を一時記憶するワークメモリ１３ｂと、後述する出力情報メモリ１３ｃ及び反応情報メモリ１３ｄなどを有している。なお、記憶部１３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介して通信網３に接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。

【0014】

ＣＰＵ１１には、その入出力デバイスとして、タッチ表示部１４、キー操作部１５、人感センサ部１６、音声入出力部１７、通信部１８、撮像部１９、顔認識部２０などが接続されており、ＣＰＵ１１は、入出力プログラムにしたがって各入出力デバイスを制御する。タッチ表示部１４は、広告データを表示したり、ソフトウェアキーとしての機能名を表示したりするもので、タッチ操作された位置を検出してその座標データを入力するタッチスクリーン（タッチ入力機能）を構成する。キー操作部１５は、電源をオン／オフさせる電源キーなどの押しボタン式のキーを備えている。

【0015】

人感センサ部１６は、タッチ表示部１４の画面（広告画面）側に配置され、広告画面の近傍に視聴者（顧客）が居るか否かを感知する人体検出用赤外線センサであり、顧客が居ることを検出すると、ＣＰＵ１１は、音声入出力部１７及び撮像部１９を駆動させ、顧客が居ないことを検出すると、音声入出力部１７及び撮像部１９の駆動を停止させるようにしている。音声入出力部１７は、マイクロフォン、スピーカを有し、人感センサ部１６が顧客を検出している間、広告データを音声出力したり、顧客からの音声を入力したりするもので、広告画面側に向けて配置されている。ＣＰＵ１１は、音声入出力部１７から入力された顧客からの音声を解析することによって後述する所定の音声が含まれているか否かを解析する。

【0016】

通信部１８は、コンテンツ配信装置２から通信網３を介して広告データを受信する高速大容量の通信が可能な通信モジュール（通信機能）である。撮像部１９は、広告画面側に配置され、人感センサ部１６が顧客を検出している間、その広告画面を見ている顧客の顔を中心として撮像するデジタルカメラ（撮像機能）である。顔認識部２０は、撮像部１９によって撮像された顧客の顔画像を解析し、その顔の表情を検出する画像解析機能を構成するもので、顔の表情変化によってその顧客が広告に興味を示した否かを認識するようにしている。

【0017】

図３は、出力情報メモリ１３ｃ及び反応情報メモリ１３ｄを説明するための図で、（１）は、出力情報メモリ１３ｃ、（２）は、反応情報メモリ１３ｄを示している。
出力情報メモリ１３ｃは、広告を構成する個々のデータが広告画面に逐次出力される毎にその出力に関する状況（出力情報）として、その出力タイミングなどを一時記憶するメモリであり、図３（１）に示すように「データ番号」、「データ名」、「データ読み込み時のタイムスタンプ」、「リンク先」の各項目を有している。

【0018】

「データ番号」は、個々のデータが出力される毎に生成された一連番号（メモリ内のデータを識別する情報）を示し、データが逐次出力される毎にその「データ番号」の値が更新される。「データ名」は、“画像Ｘ１”、“画像Ｘ”などのデータ識別情報である。「データ読み込み時のタイムスタンプ」は、出力対象のデータを読み込んだ際に計時機能で得られた時刻である。図示の例において、「データ読み込み時のタイムスタンプ」は、画像Ｘ１の場合、“２０１３．０３．２６．０９：４７：５０：０００（年月日時分秒ミリ秒）”であることを示し、画像Ｘ２の場合“２０１３．０３．２６．０９：４７：５５：５００（年月日時分秒ミリ秒）”であることを示している。「リンク先」は、そのデータに対する詳細なデータ（例えば、商品説明情報）やリンク先のＵＲＬ（Uniform Resource Locator）を示している。

【0019】

反応情報メモリ１３ｄは、広告データの出力途中において、顧客が広告に反応したときことが検出された際にそのタイミングを反応タイミングとして一時記憶するメモリであり、図３（２）に示すように「データ番号」、「データ名」、「反応タイミング」の各項目を有している。「データ番号」は、メモリ内のデータを識別する一連番号である。「反応タイミング」は、広告データの出力途中において、顧客が特定の言葉を発したことを検出した際、又は顧客の顔の表情が広告に興味を示した表情であることを検出した際に、顧客が広告に反応したものとして、その反応の検出時に計時機能で得られた時刻を反応タイミングとしたものである。図示の例では、「反応タイミング」として、画像Ｘ１の場合には、“２０１３．０３．２６．０９：４７：５２：０００（年月日時分秒ミリ秒）”であることを示している。

【0020】

ここで、顧客による特定の言葉とは、例えば、“買いたい”、“良いね”、“かっこいい”、“美味しいそう”などの肯定的な言葉であり、広告画面の視聴中に、このような言葉を含む音声が発せられた際に、顧客が広告に反応したものとする。なお、肯定的な言葉に限らず、広告への否定的な言葉を顧客の反応としてもよい。また、顧客の顔の表情が広告に興味を示した表情とは、例えば、広告画面を見ている顧客がその視線方向を変えずに一定時間以上、一点を凝視して場合であり、広告画面の視聴中に、このような表情に変化した際に、顧客が広告に反応したものとする。なお、顔の表情としては、一点を凝視している場合に限らず、一定時間以上瞳が大きく開いているか（驚いているか）、口が開いているか（笑顔であるか）、などであってもよい。

【0021】

このようにＣＰＵ１１は、顧客の反応時のタイミングを第１タイミングとして検出して反応情報メモリ１３ｄに一時記憶させた後、この「反応タイミング」よりも遅いタイミング、例えば、複数ページから成る一連の広告データの逐次出力が一巡したタイミング（最終ページから先頭ページに戻るタイミング）を第２のタイミング（出力タイミング）として検出し、この第２のタイミング（出力タイミング）時に、反応タイミング（第１のタイミング）時に出力されていたデータを特定して、そのデータに関する出力制御を行うようにしている。この場合、特定したデータをそのまま再出力したり、そのデータにリンクされている詳細なデータを新たに出力したりするようにしている。

【0022】

次に、第１実施形態におけるデジタルサイネージ装置１の動作概念を図４〜図６に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体の他に、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。

【0023】

図４及び図５は、電源投入に応じて実行開始されるデジタルサイネージ装置１の動作（第１実施形態の特徴的な動作）を説明するためのフローチャートである。
先ず、ＣＰＵ１１は、コンテンツ配信装置（サーバ装置）２から通信網３を介して広告データを受信可能な状態となり（図４のステップＡ１）、広告データを受信すると、その受信処理を行って出力対象として記憶管理した後、人感センサ部１６によって顧客を感知したか、つまり、広告画面の近傍に顧客が居るかを調べる（ステップＡ２）。顧客が居なければ（ステップＡ２でＮＯ）、現在出力中のデータの出力を一時停止（ステップＡ９）させた後、ステップＡ１に戻るが、広告画面の近傍に顧客が居ることを検出したときには（ステップＡ２でＹＥＳ）、複数ページ（画面）分の広告データを１ページ（１画面）毎に循環的に逐次切り替え出力させるために、その１ページ（１画面）分のデータを読み込む（ステップＡ３）。そして、逐次出力が一巡したか、つまり、最終ページ（画面）から先頭ページの読み込みに移るタイミングであるかを調べる（ステップＡ４）。

【0024】

いま、逐次出力が一巡していなければ（ステップＡ４でＮＯ）、その読み込みデータをタッチ表示部１４の広告画面に配置表示させると共に、そのデータに音声が付加されていれば、その音声データを音声入出力部１７から出力させる（ステップＡ５）。そして、出力したデータの情報として「データ名」、「リンク先」、「データ読み込み時のタイムスタンプ」を生成して、出力情報メモリ１３ｃに一時記憶（ステップＡ６）させた後、顧客の反応を検出する反応タイミング検出処理に移る（ステップＡ７）。

【0025】

図６は、反応タイミング検出処理（図４のステップＡ７）を詳述するためのフローチャートである。
先ず、ＣＰＵ１１は、音声入出力部１７から音声入力が有るかを調べ（ステップＡ７１）、音声入力が有れば（ステップＡ７１でＹＥＳ）、その音声を解析して、例えば、“買いたい”、“美味しいそう”などの肯定的な言葉を含む所定の音声であるかを調べ（ステップＡ７３）、所定の音声でなれば（ステップＡ７３でＮＯ）、次のステップＡ７４に移る。いま、所定の音声であれば（ステップＡ７３でＹＥＳ）、顧客が広告に反応したものと判断して次のステップＡ７７に移り、その反応時に計時機能で得られた時刻を反応タイミング（第１のタイミング）として、反応情報メモリ１３ｄに一時記憶する処理を行う。

【0026】

また、音声の入力が無ければ（ステップＡ７１でＮＯ）、次のステップＡ７４に移り、撮像部１９によって撮像された顧客の顔画像を取得する。そして、顔認識部２０は、撮像された画像を解析する（ステップＡ７５）。その結果、顧客の顔の表情は、広告に興味を示した表情であるか（例えば、凝視しているか、驚いているか、笑顔であるか）を調べ（ステップＡ７６）、顧客が興味を示していない顔の表情であれば（ステップＡ７６でＮＯ）、図６のフローから抜けるが、興味を示している顔の表情であれば（ステップＡ７６でＹＥＳ）、顧客が広告に反応したものと判断して次のステップＡ７７に移り、その反応時に計時機能で得られた時刻を反応タイミング（第１のタイミング）として、反応情報メモリ１３ｄに一時記憶する処理を行う。

【0027】

このような反応タイミング検出処理（図４のステップＡ７）が終ると、次のページ（次画面）への切り替えタイミングであるかを調べ（ステップＡ８）、切り替えタイミングに到達するまで反応タイミング検出処理（ステップＡ７）に戻るが、切り替えタイミングに到達したときには（ステップＡ８でＹＥＳ）、最初のステップＡ１に戻る。このように広告データを１ページ毎に切り替え逐次出力している状態において、その広告出力が一巡したことを検出すると（ステップＡ４でＹＥＳ）、反応情報メモリ１３ｄを参照し、反応タイミングが一時記憶されているかを調べ（ステップＡ１０）、反応タイミングが記憶されていなければ（ステップＡ１０でＮＯ）、最初のステップＡ１に戻る。

【0028】

いま、反応タイミングが一時記憶されていれば（ステップＡ１０でＹＥＳ）、図５のフローに移り、反応情報メモリ１３ｄの内容と出力情報メモリ１３ｃの内容とを照合することによって（ステップＡ１１）、反応タイミング時に出力されていたデータを特定する（ステップＡ１２）。図３（１）、（２）の例において、「データ読み込み時のタイムスタンプ」は、画像Ｘ１で“…５０：０００”、また、画像Ｘ２で“…５５：５００”となっており、「反応タイミング」は、“…５２：０００”であるから、反応タイミング時に出力されていたデータとして、画像Ｘ１のデータが特定される。

【0029】

これによってデータを特定すると、出力情報メモリ１３ｃを参照し、その特定データに「リンク先」が関連付けられているかを調べ（ステップＡ１３）、「リンク先」が関連付けられていなければ（ステップＡ１３でＮＯ）、この特定データをそのまま再出力する処理を行う（ステップＡ１５）。また、「リンク先」が関連付けられていれば（ステップＡ１３でＹＥＳ）、そのリンク先にジャンプする処理（ステップＡ１４）を行った後、このリンク先から詳細データ（商品説明文など）を読み出して新たに出力する処理を行う（ステップＡ１５）。

【0030】

この状態において、顧客による指示操作（タッチ画面へのタッチ操作）の有無を調べ（ステップＡ１６）、指示操作が行われなければ（ステップＡ１６でＮＯ）、次のステップＡ１８に移るが、指示操作が行われたときには（ステップＡ１６でＹＥＳ）、その指示に応じた処理（ステップＡ１７）を行った後、ステップＡ１８に移る。このステップＡ１８は、一定の出力時間が経過したかを調べるもので、この出力時間が経過するまでステップＡ１５に戻るが、出力時間の経過を検出したときには（ステップＡ１８でＹＥＳ）、電源がオフされるまで（ステップＡ１９）、図４の最初のステップＡ１に戻り、以下、上述の動作を繰り返す。

【0031】

以上のように、第１実施形態におけるデジタルサイネージ装置１は、広告の出力途中における視聴者（顧客）の反応時のタイミングを第１のタイミング（反応タイミング）として検出すると共に、この反応タイミングよりも遅い所定のタイミングを第２のタイミング（出力タイミング）として検出し、この出力タイミングに到達した際に、反応タイミング時に出力されていたデータを特定してそのデータに関する出力制御を行うようにしたので、広告を構成する個々のデータを逐次出力している途中で顧客が興味を持ったデータに関する出力を適切なタイミングで制御することができる。その結果、広告出力中におけるデータの突然の切り替えを防ぐことができ、データの一連の流れを保つことが可能となり、顧客にあってはデータの見逃しやデータの見間違えを防ぐことができ、広告主側（店側）にあっては宣伝効果を高めることが可能となる。

【0032】

ＣＰＵ１１は、広告を構成する個々のデータに対応付けてその出力情報を記憶する出力情報メモリ１３ｃの内容と、顧客の反応時のタイミング（反応タイミング）を記憶する反応情報メモリ１３ｄの内容とを照合することにより反応タイミング時に出力されていたデータを特定するようにしたので、出力済みのデータの中から顧客が反応したデータを容易に特定することが可能となる。

【0033】

撮像部１９によって撮像された顧客の画像の変化から顧客の反応を認識して反応タイミングを検出するようにしたので、顧客に対して特別な操作を要求する必要はなく、撮像画像から顧客の反応を的確に検出することができる。

【0034】

撮像された顧客の画像を解析し、顧客の顔表情の変化から視聴者の反応を認識するようにしたので、顧客の反応を更に的確に検出することができる。

【0035】

音声入出力部１７から入力された音声から顧客の反応を認識して反応タイミングを検出するようにしたので、顧客に対して特別な操作を要求する必要はなく、自然に発した顧客の音声から顧客の反応を的確に検出することができる。

【0036】

広告を構成する個々のデータの逐次出力が一巡したタイミング（最終ページから先頭ページに移ったタイミング）を第２のタイミング（出力タイミング）として検出するようにしたので、広告出力中に突然、データが切り替わることはなく、顧客にあっては一連のデータを視聴した後に興味を持ったデータを視聴することができる。

【0037】

出力タイミング時に、反応タイミング時に出力されていたデータを再度出力するようにしたので、顧客にあっては興味を持ったデータを再確認することができる。

【0038】

反応タイミング時に出力されていたデータにリンクデータが関連付けられている場合には、そのリンクデータを新たに取得して出力するようにしたので、例えば、ある商品に反応した場合にその商品詳細説明などのリンクデータの出力に切り替えることが可能となる。

【0039】

反応タイミング時に出力されていたデータに関する出力制御を行っている状態において顧客による指示操作が行われた際に、その指示操作に応じた処理を実行するようにしたので、例えば、商品購入画面上での購入申し込みをその場で行うことも可能となる。

【0040】

なお、上述した第１実施形態においては、撮像部１９によって撮像された顧客の画像の変化から視聴者の反応を認識して反応タイミングを検出したり、入力された音声から視聴者の反応を認識して反応タイミングを検出したりするようにしたが、顧客による所定の入力操作によって反応タイミングを検出するようにしてもよい。例えば、広告に興味を持った顧客が特別な意志を持たずに何気なく広告画面（タッチ画面）に触れたり、指示命令を入力するために特別な意志を持って所定のタッチキーや押しボタンを操作したりした場合に、そのときの時刻を反応タイミングとして検出するようにしてもよく、このような入力操作によっても反応タイミングを検出することができる。

【0041】

上述した第１実施形態においては、広告を構成する個々のデータの逐次出力が一巡したタイミングを第２のタイミング（出力タイミング）として検出するようにしたが、広告画面の近傍に居る顧客が検出され始めてからデータの逐次出力が一巡したタイミングを第２のタイミング（出力タイミング）として検出するようにしてもよい。例えば、顧客が広告を見始めたデータを起点として、その起点からデータの逐次出力が一巡したタイミングを出力タイミングとして検出するようにしてもよい。この場合、撮像部１９によって撮像された画像を解析し、顧客の顔が広告画面に向いたときを、広告を見始めたときとして認識すればよい。なお、顧客が広告を見始めたデータが再度出力された後に、反応タイミング時に出力されていたデータを出力するようにしてもよい。

【0042】

このように顧客が広告を見始めてからデータの逐次出力が一巡したタイミングを出力タイミングとする場合には、図４のフローチャートを一部変更すればよい。例えば、図４のステップＡ２で人感有と判別された際に、顧客の顔を撮像し、その撮像画像を解析してその顔が広告画面に向き始めたかを判別し、向き始めた際に出力されているデータの識別情報を一時記憶しておき、図４のステップＡ２では、このデータを起点として、データの逐次出力が一巡した否かを判別するようにすればよい。
このように広告を見始めたデータを起点として一巡したタイミングを出力タイミングとすることにより顧客にあっては全てのデータを視聴した後、興味を持ったデータを視聴することが可能となる。

【0043】

上述した第１実施形態においては、データの逐次出力が一巡したタイミングを出力タイミングとして検出するようにしたが、顧客が広告出力を視聴可能な状態から不可能な状態に変化したタイミングを出力タイミングとして検出するようにしてもよい。例えば、デジタルサイネージ装置１から顧客が離れようとしたタイミングを出力タイミングとして検出するようにしてもよい。又は、広告画面の外側に視線が向くように大きく目を逸らしたタイミングを出力タイミングとして検出するようにしてもよい。この場合、例えば、撮像部１９によって撮像された画像を解析し、顧客の顔の向きや視線の向きに基づいて顧客が離れようとしたタイミングや大きく視線を逸らしたタイミングを検出するようにすればよい。
このように顧客が離れようとしたタイミングや目を逸らしたタイミングを出力タイミングとすることにより再度、顧客を広告に惹きつけることが可能となる。

【0044】

更に、顧客が反応したデータを出力する出力タイミングとしては、その顧客が店舗の外に出ようとするタイミングであってもよい。例えば、店舗の入り口付近などに設置されているデジタルサイネージ装置を視聴した顧客が興味を示した商品に関するデータを、店舗の出口付近に設置されているデジタルサイネージ装置に送信して出力させるようにしてもよい。この場合、例えば、店舗内の通信システムにおいて、店舗内で顧客所持の携帯端末装置と通信を行うことにより顧客識別情報と共にその顧客の位置を追跡管理し、その顧客が店舗の出口付近を通過する直前であることを認識した際に、顧客が興味を示した商品に関するデータを出口付近のデジタルサイネージ装置に送信してその出力を指示するようにしてもよい。

【0045】

上述した第１実施形態においては、特に言及はしなかったが、デジタルサイネージ装置の近傍に複数の視聴者が居る場合であっても同様に適用可能である。この場合、複数の視聴者が居ることを検出すると、その視聴者毎に反応タイミングを検出すると共に、各反応タイミング時に出力されていたデータに関する出力制御を視聴者毎に繰り返して行うようにすればよい。すなわち、人感センサ部１６によってデジタルサイネージ装置の近傍に複数の視聴者が居ることが検出された場合に、ＣＰＵ１１は、視聴者毎にその反応時のタイミングを第１のタイミングとして検出すればよい。この場合、第１のタイミングを複数検出するが、その際、視聴者の人数を計数し、第１のタイミングをその人数分検出するようにしてもよい。次に、ＣＰＵ１１は、第１のタイミング時に出力されていたデータを視聴者毎に特定（例えば、視聴者人数分のデータを特定）してそのデータに関する出力制御を視聴者毎に繰り返して行うようにすればよい。その際、例えば、各視聴者が反応したデータを出力タイミング時に順次切り替え表示したり、広告画面（タッチ画面）上でのページ捲り操作（タッチ操作）によって順次切り替え表示したりするようにしてもよい。なお、例えば、視聴者の人数として３人を検出した場合であっても、広告に反応したのが２人であれば、第１のタイミングを２人分検出するようにしてもよい。更に、視聴者の人数を計数する場合に限らず、デジタルサイネージ装置に対する視聴者の位置（右隅、真ん中など）を検出することによって視聴者（誰）を特定し、その視聴者が反応したタイミング時に出力されていたデータを特定するようにしてもよい。

【0046】

（第２実施形態）
以下、この発明の第２実施形態について図７〜図９を参照して説明する。
なお、上述した第１実施形態においては、顧客が広告に反応したタイミングを検出するようにしたが、この第２実施形態においては、顧客が広告画面を凝視している表示位置（広告位置）を検出するようにしたもので、その凝視位置に出力されているデータを特定した後の所定のタイミング（出力タイミング）で、この凝視位置のデータに関する出力制御を行うようにしている。なお、第１実施形態においては、広告を構成する個々のデータの逐次出力するようにしたが、第２実施形態においては、１画面分の広告データを常時出力する場合を示し、また、出力タイミングとしては顧客が広告画面から離れようとしたタイミングを示している。ここで、両実施形態において基本的或いは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。

【0047】

図７（１）は、広告画面に１画面分のデータとして画像Ａ、画像Ｂ、画像Ｃ、画像Ｄが配置表示された状態、つまり、１画面内に複数のデータが配置表示されている状態を示し、図７（２）は、この場合における出力情報メモリ１３ｃの内容を示した図である。
第２実施形態の出力情報メモリ１３ｃは、「データ番号」、「データ名」、「データサイズ」、「データの貼付位置」、「リンク先」の各項目を有している。

【0048】

「データ番号」、「データ名」、「リンク先」は、上述した図３の場合と同様である。「データサイズ」は、広告画面上のデータの大きさ（横幅及び縦幅）を示し、図７（１）に示すように画像Ａは、２００×２００ドットサイズ、画像Ｂは、２００×１００ドットサイズであることを示している。「データの貼付位置」は、広告画面の左上角部を原点とする平面座標系において、データの左上角部の位置をその貼付位置（表示位置）としたもので、図７（１）に示すように画像Ａの貼付位置は、Ｘ座標値が５０ドット、Ｙ座標値が５００ドットであることを示し、画像Ｂの貼付位置は、Ｘ座標値が１０００ドット、Ｙ座標値が９００ドットであることを示している。

【0049】

図７（３）は、反応情報メモリ１３ｄを説明するための図である。
第２実施形態の反応情報メモリ１３ｄは、「データ番号」、「凝視データ識別情報」の各項目を有している。「凝視データ識別情報」は、顧客が凝視している広告画面上の位置に表示されているデータの識別情報（データ名）を示している。ここで、ＣＰＵ１１は、撮像部１９によって撮像された画像を解析し、顧客の視線方向が一定時間以上変らずに一点を凝視している場合に、その視線方向に応じて凝視している表示位置（広告位置）を凝視位置として検出するようにしている。なお、凝視位置は、１ドット単位で位置を検出する場合に限らず、１０ドット単位又は広告画面を複数に分割した領域単位でおおよその位置（領域）を検出するようにしてもよい。なお、図示の例では、広告画面上の画像Ａが凝視された場合を示している。

【0050】

図８は、電源投入に応じて実行開始されるデジタルサイネージ装置１の動作（第２実施形態の特徴的な動作）を説明するためのフローチャートである。
先ず、ＣＰＵ１１は、広告データを読み込むと（ステップＢ１）、この広告データの出力情報として「データ名」、「データサイズ」、「データの貼付位置」、「リンク先」を生成して、出力情報メモリ１３ｃに一時記憶させると共に（ステップＢ２）、この広告データを広告画面に配置表示及び音声出力させる（ステップＢ３）。そして、凝視位置検出処理に移る（ステップＢ４）。

【0051】

図９は、凝視位置検出処理（図８のステップＢ４）を詳述するためのフローチャートである。
先ず、ＣＰＵ１１は、撮像部１９によって撮像された画像を取得する（ステップＢ４１）。そして、顔認識部２０は、撮像された画像を解析する（ステップＢ４２）。その結果、顧客の視線方向が一定時間（例えば、２秒）以上変えられずに一点を凝視しているかを調べる（ステップＢ４３）。

【0052】

広告画面が凝視されていなければ（ステップＢ４３でＮＯ）、図９のフローから抜けるが、凝視されていれば（ステップＢ４３でＹＥＳ）、広告画面上の凝視位置（広告位置）を検出する処理に移る（ステップＢ４４）。この場合、１０ドット単位又は広告画面を複数に分割した領域単位でおおよその位置（領域）を検出する。そして、出力情報メモリ１３ｃの「データサイズ」、「データの貼付位置」を参照し、凝視位置に表示されているデータを特定し（ステップＢ４５）、この特定したデータは所定のデータ（例えば、商品名、商品価格などのデータ）であるかを調べる（ステップＢ４６）。ここで、所定のデータ以外のデータ、例えば、広告対象の商品には関係しない背景画像などのデータであれば（ステップＢ４６でＮＯ）、図９のフローから抜けるが、所定のデータであれば（ステップＢ４６でＹＥＳ）、そのデータの識別情報（データ名）を「凝視データ識別情報」として反応情報メモリ１３ｄに一時記憶させる処理を行う（ステップＢ４７）。その後、図９のフローから抜ける。

【0053】

このような凝視位置検出処理（図８のステップＢ４）が終了すると、撮像部１９によって撮像された画像を取得し（ステップＢ５）、その撮像画像を解析して（ステップＢ６）、顧客の状態は、広告出力が視聴可能な状態から不可能な状態に変化したか、つまり、顧客の顔の向きや視線の向きを検出することによって顧客が離れようとしたかを調べる（ステップＢ７）。いま、顧客が離れようとしなければ、つまり、広告画面を見続けている状態であれば（ステップＢ６でＮＯ）、凝視位置検出処理（ステップＢ４）に戻るが、離れようとしたときには（ステップＢ６でＹＥＳ）、反応情報メモリ１３ｄに「凝視データ識別情報」が一時記憶されているか、つまり、広告に反応した顧客が離れようとしたかを調べる（ステップＢ８）。

【0054】

広告に反応しなかった顧客が離れようとしたときは、「凝視データ識別情報」が記憶されていないので（ステップＢ８でＮＯ）、凝視位置検出処理（ステップＢ４）に戻るが、広告に反応した顧客が離れようとしたときには、反応情報メモリ１３ｄに「凝視データ識別情報」が一時記憶されているので（ステップＢ８でＹＥＳ）、その顧客の注意を喚起させるために効果音（大音響、顧客を呼び止める音声など）を発生出力させる（ステップＢ９）。そして、「凝視データ識別情報」に基づいて出力情報メモリ１３ｃを参照し、そのデータを特定すると共に（ステップＢ１０）、この特定したデータに「リンク先」が関連付けられているかを調べる（ステップＢ１１）。

【0055】

その結果、「リンク先」が関連付けられていなければ（ステップＢ１１でＮＯ）、この特定データを再出力する処理を行うが（ステップＢ１３）、「リンク先」が関連付けられていれば（ステップＢ１１でＹＥＳ）、そのリンク先にジャンプする処理（ステップＢ１２）を行った後、リンク先の詳細データを新たに出力する処理を行う（ステップＢ１３）。この状態において、一定の出力時間が経過したかを調べ（ステップＢ１４）、この出力時間が経過するまでステップＢ１３に戻るが、出力時間の経過を検出したときには（ステップＢ１４でＹＥＳ）、上述のステップＢ３に戻る。

【0056】

以上のように、第２実施形態におけるデジタルサイネージ装置１は、広告表示中に視聴者（顧客）による広告画面上での凝視位置を検出し、その凝視位置が所定のデータであれば、その所定データを指定するための識別情報を一時記憶しておき、その後の所定タイミングで一時記憶の識別情報から凝視位置に表示されていた所定データを特定してそのデータに関する出力制御を行うようにしたので、顧客が興味を持ったデータに関する出力を適切なタイミングで制御することができ、顧客に対して特別な操作を要求する必要はなく、顧客が興味を持ったデータを的確に特定することができ、広告主側（店側）にあっては宣伝効果を高めることが可能となる。

【0057】

なお、上述した第２実施形態においては、１画面分の広告データを常時出力する場合を例示したが、第１実施形態と同様に、広告を構成する個々のデータを逐次出力するようにしてもよい。また、第２実施形態においては、広告表示中に視聴者（顧客）による広告画面上での凝視位置を検出するようにしたが、凝視位置の検出に限らず、例えば、タッチ画面上の任意の位置を顧客がタッチした場合など、入力操作によって任意に指定された位置を検出するようにしてもよい。また、一定時間以上、顧客の瞳が大きく開いている（驚いている）、口が開いている（笑顔である）、などのように顔の表情が変化した際に、その顧客が見ている表示位置を顧客によって任意に指定された位置としてもよい。

【0058】

また、第２実施形態においては、出力タイミングを顧客が広告画面から顧客が離れようとしたタイミングとしたが、第１実施形態と同様に、広告を構成する個々のデータの逐次出力が一巡したタイミング（最終ページから先頭ページに移ったタイミング）を出力タイミングとしてもよい。また、顧客が広告を見始めたデータを起点として、その起点からデータの逐次出力が一巡したタイミングを出力タイミングとして検出するようにしてもよい。また、顧客が店舗の外に出ようとするタイミングを出力タイミングとして検出するようにしてもよい。このように広告を構成する個々のデータを遂次出力することによって第１実施形態と同様の効果を有する。

【0059】

更に、店舗の入り口付近で顧客が反応したデータ（商品）を販売しているコーナにその顧客が通りかかったタイミングで、その販売コーナに設置されているデジタルサイネージ装置に当該商品のデータを表示させるようにしてもよい。この場合においても、店舗内で顧客所持の携帯端末装置と通信を行うことにより顧客識別情報と共にその顧客の位置を追跡管理するようにすれば、実現可能である。

【0060】

上述した各実施形態においては、視聴者（顧客）の顔画像を解析してその視線方向などを視聴者の反応として検出するようにしたが、顧客のジェスチャを視聴者の反応として検出するようにしてもよい。また、顧客の音声は、広告内容に反応して自然に発した音声に限らず、指示命令を入力する音声を検出するようにしてもよい。

【0061】

上述した各実施形態においては、店舗内設置のデジタルサイネージ装置を例示したが、これに限らず、駅構内や街中設置のデジタルサイネージ装置であってもよい。
また、広告画面は、タッチ画面としたが、投影機を備えたデジタルサイネージ装置であれば、スクリーン上に投影画像を表示するようにしてもよい。

【0062】

また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

【0063】

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
広告を構成する個々のデータを逐次出力する広告出力装置であって、
前記広告の出力途中における視聴者の反応時のタイミングを第１のタイミングとして検出する第１のタイミング検出手段と、
前記第１のタイミング検出手段によって検出された第１のタイミングよりも遅い所定のタイミングを第２のタイミングとして検出する第２のタイミング検出手段と、
前記第２のタイミングに到達したか否かを判別する判別手段と、
前記判別手段によって前記第２のタイミングに到達したことが判別された際に、前記第１のタイミング時に出力されていたデータを特定してそのデータに関する出力制御を行う出力制御手段と、
を備えたことを特徴とする。
（請求項２）
請求項２に記載の発明は、請求項１に記載の広告出力装置において、
広告を構成する個々のデータに対応付けてその出力情報を記憶する出力情報記憶手段を更に備え、
前記出力制御手段は、前記出力情報記憶手段に記憶されている出力情報と前記第１のタイミング検出手段によって検出された第１のタイミングとを照合することにより前記第１のタイミング時に出力されていたデータを特定する、
ことを特徴とする。
（請求項３）
請求項３に記載の発明は、請求項１又は２に記載の広告出力装置において、
視聴者を撮像する撮像手段、視聴者の音声を入力する音声入力手段、視聴者による所定の入力操作を入力する操作手段のいずれかを更に備え、
前記第１のタイミング検出手段は、前記撮像手段によって撮像された画像の変化から視聴者の反応を認識して第１のタイミングを検出する、又は、前記音声入力手段から入力された音声から視聴者の反応を認識して第１のタイミングを検出する、或いは、前記操作手段によって視聴者による所定の入力操作が行われた際のタイミングを第１のタイミングとして検出する、
ことを特徴とする。
（請求項４）
請求項４に記載の発明は、請求項１乃至３のいずれか１項に記載の広告出力装置において、
前記第２のタイミング検出手段は、広告を構成する個々のデータの逐次出力が一巡したタイミングを第２のタイミングとして検出する、
ことを特徴とする。
（請求項５）
請求項５に記載の発明は、請求項１乃至３のいずれか１項に記載の広告出力装置において、
当該広告出力装置の近傍に視聴者が居るか否かを検出する視聴者検出手段を更に備え、
前記第２のタイミング検出手段は、前記視聴者検出手段によって近傍に居る視聴者が検出され始めてから広告を構成する個々のデータの逐次出力が一巡したタイミングを第２のタイミングとして検出する、
ことを特徴とする。
（請求項６）
請求項６に記載の発明は、請求項請求項１乃至３のいずれか１項に記載の広告出力装置において、
視聴者が広告出力を視聴可能な状態であるか否かを検出する視聴者状態検出手段を更に備え、
前記第２のタイミング検出手段は、前記視聴者状態検出手段によって視聴可能な状態から不可能な状態に変化したタイミングを第２のタイミングとして検出する、
ことを特徴とする。
（請求項７）
請求項７に記載の発明は、請求項１乃至６のいずれか１項に記載の広告出力装置において、
前記出力制御手段は、前記第１のタイミング時に出力されていたデータを再度出力する出力制御を行う、又は、前記第１のタイミング時に出力されていたデータに関連付けられているリンクデータを新たに取得して出力する出力制御を行う、
ことを特徴とする。
（請求項８）
請求項８に記載の発明は、請求項１乃至７のいずれか１項に記載の広告出力装置において、
当該広告出力装置の近傍に複数の視聴者が居るか否かを検出する複数視聴者検出手段を更に備え、
前記第１のタイミング検出手段は、前記複数視聴者検出手段によって複数の視聴者が居ることが検出された場合に、視聴者毎にその反応時のタイミングを第１のタイミングとして検出し、
前記出力制御手段は、前記第１のタイミング時に出力されていたデータを視聴者毎に特定してそのデータに関する出力制御を視聴者毎に繰り返して行う、
ことを特徴とする。
（請求項９）
請求項９に記載の発明は、請求項１乃至８のいずれか１項に記載の広告出力装置において、
前記出力制御手段が前記第１のタイミング時に出力されていたデータに関する出力制御を行っている状態において視聴者による指示操作が行われた際に、その指示操作に応じた処理を実行する指示処理手段を更に備えた、
ことを特徴とする。
（請求項１０）
請求項１０に記載の発明は、
広告データを表示する広告出力装置であって、
前記広告の表示中における視聴者による画面上での指定位置を検出する検出手段と、
前記検出手段によって検出された指定位置が所定のデータであれば、その所定データを指定するための識別情報を記憶する記憶手段と、
前記検出手段によって指定位置が検出された後の所定タイミングで前記記憶手段に記憶されている識別情報から前記指定位置に表示されていた前記所定データを特定してそのデータに関する出力制御を行う出力制御手段と、
を備えることを特徴とする。
（請求項１１）
請求項１１に記載の発明は、請求項１０に記載の広告出力装置において、
前記検出手段は、前記広告の表示中における視聴者による画面上での凝視位置を指定位置として検出する、
ことを特徴とする。
（請求項１２）
請求項１２に記載の発明は、
広告を構成する個々のデータを逐次表示する広告出力装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
前記広告の出力途中における視聴者の反応時のタイミングを第１のタイミングとして検出する第１のタイミング検出手段と、
前記第１のタイミング検出手段によって検出された第１のタイミングよりも遅い所定のタイミングを第２のタイミングとして検出する第２のタイミング検出手段と、
前記第２のタイミングに到達したか否かを判別する判別手段と、
前記判別手段によって前記第２のタイミングに到達したことが判別された際に、前記第１のタイミング時に出力されていたデータを特定してそのデータに関する出力制御を行う出力制御手段と、
として機能させるためのプログラム。
（請求項１３）
請求項１３に記載の発明は、
広告データを表示する広告出力装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
前記広告の表示中における視聴者による画面上での指定位置を検出する検出手段と、
前記検出手段によって検出された指定位置が所定のデータであれば、その所定データを指定するための識別情報を記憶する記憶手段と、
前記検出手段によって指定位置が検出された後の所定タイミングで前記記憶手段に記憶されている識別情報から前記指定位置に表示されていた前記所定データを特定してそのデータに関する出力制御を行う出力制御手段と、
として機能させるためのプログラム。

【符号の説明】

【0064】

１ デジタルサイネージ装置
２ コンテンツ配信装置（サーバ装置）
３ 通信網
１１ ＣＰＵ
１３ 記憶部
１３ａ プログラムメモリ
１３ｃ 出力情報メモリ
１３ｄ 反応情報メモリ
１４ タッチ表示部
１５ キー操作部
１６ 人感センサ部
１７ 音声入出力部
１８ 通信部
１９ 撮像部
２０ 顔認識部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】