【文献】
社団法人日本機械工業連合会、財団法人デジタルコンテンツ協会,平成21年度デジタルサイネージの訴求効果に関する調査研究報告書,2010年 3月,第100−119頁,URL,http://www.dcaj.or.jp/project/report/pdf/2009/dc_09_21.pdf
【文献】
インテル株式会社,OKIの高度な顔認識技術と最先端のインテルアーキテクチャーを組み合わせた広告効果測定支援ソリューション「RESCAT*」,online,2011年,URL,http://japan.intel.com/iot/download/retail/05_OKI.pdf
(58)【調査した分野】(Int.Cl.,DB名)
前記人数判定手段は、前記情報入力手段により前記視聴者の情報として入力された撮像画像データ中から、人体を構成するパーツが連続した領域を人物のシルエットとして認識し、当該シルエットに基づき視聴者の人数を判定する請求項1乃至5の何れかに記載の情報表示装置。
【発明を実施するための形態】
【0008】
以下、本実施形態に係るデジタルサイネージ端末装置について図面を参照して説明する。なお、本実施形態の情報処理システムは、ショッピングモールで用いられるデジタルサイネージ端末装置として構築されている。
【0009】
図1は、本実施形態に係るデジタルサイネージ(Digital signage)端末装置14を適用するショッピングモールの概略図を示す。広告コンテンツ等を表示する複数のデジタルサイネージ端末装置14は、各種データの記憶を行い、商品の広告情報等をデジタルサイネージ端末装置14に配信するサーバ10に、LAN11を介して接続されている。
【0010】
図2は、デジタルサイネージ端末装置の外観正面図である。デジタルサイネージ端末装置14は、液晶ディスプレイあるいはプラズマディスプレイであって、タッチパネルとして構成された表示部としてのディスプレイユニット21と、各種チケット、クーポン等を印刷し、発行するプリンタユニット22と、会員カード等の記憶媒体からの顧客ID等の情報の読み取りを行う読取装置23と、ディスプレイユニット21、プリンタユニット22及び読取装置23を支持する筐体部24と、を備えている。
【0011】
筐体部24には、操作者を撮影して画像認識を行い、後述する操作画面の表示位置の決定等の用途に用いられる撮像画像データを生成するカメラユニット25と、BGMや広告音声等の各種音響出力を行うスピーカユニット26が内蔵されている。なお、画像認識等の処理は、デジタルサイネージ端末装置14で行うことなく、サーバ10等で行うようにすることも可能である。
【0012】
プリンタユニット22としては、例えば、ロール紙を記録媒体とする感熱記録方式のプリンタ装置が用いられ、必要に応じてロール紙を自動的にカットするカット機構を備えている。
【0013】
図3は、デジタルサイネージ端末装置の概要構成ブロック図である。デジタルサイネージ端末装置14は、上述したディスプレイユニット21、プリンタユニット22、撮像範囲内にいる視聴者の情報を入力する情報入力手段としてのカメラユニット25、スピーカユニット26の他、当該デジタルサイネージ端末装置14全体を制御するコントローラ31と、オペレータあるいはユーザが各種操作を行うための操作部32と、LAN11を介してサーバ10との間で通信を行うためのネットワーク通信インタフェース(IF)33と、コンテンツ等の各種データを記憶する外部記憶装置35と、を備えている。
【0014】
図4は、グループとコンテンツとが関連付けられて記憶されている様子を示すデータ構造を示す図である。各コンテンツは、
図4のデータテーブルに示すように、視聴者の各グループにそれぞれ関連付けられて外部記憶装置35に記憶されている。例えば、視聴者のグループが「男児」である場合には、コンテンツとして「男児向けアニメ関連商品」が関連付けられている。また、グループが「20代前半女性」である場合には「女性向けファッション」が関連付けられている。
【0015】
図3に戻り、コントローラ31は、当該コントローラ31全体を制御するMPU36と、MPU36が動作するための制御プログラム等を格納したROM37と、各種データを一時的に記憶するRAM38と、を備えている。
【0016】
また、操作部32は、各種スイッチ、ボタン等で構成したり、タッチパネルとして液晶ディスプレイ等のディスプレイユニット21と一体に構成したりすることも可能である。
【0017】
さらに、外部記憶装置35として、サーバ10に設けられている記憶部を用いることも可能である。
【0018】
図5は、MPU36の機能ブロック図である。MPU36は、カメラユニット25が得た視聴者の画像を元に視聴者の人数を判定する人数判定部362と、人数判定部362により判定された視聴者の人数が第1の所定数より少ない場合に視聴者の性別を判定する性別判定部363と、人数判定部362により判定された視聴者の人数が第2の所定数より少ない場合に視聴者の年齢層を判定する年齢層判定部364と、人数判定部362により判定された視聴者の人数、性別判定部363により判定された視聴者の性別および年齢層判定部364により判定された視聴者の年齢層に基づき視聴者のグループの判定方法を選択し、選択した判定方法に基づき視聴者のグループを判定するグループ判定部365と、グループ判定部365により判定された視聴者のグループに基づき表示するコンテンツを選択し、外部記憶装置35から呼び出すコンテンツ選択部366と、コンテンツ選択部366により選択され呼び出されたコンテンツをディスプレイユニット21に表示させる表示部367と、を備えている。
【0019】
次に、上述した本実施形態に係るデジタルサイネージ端末装置におけるコンテンツの表示手順について説明する。
図6は、本実施形態に係るデジタルサイネージ端末装置におけるコンテンツの表示手順を示すフローチャートである。
【0020】
まず、カメラユニット25により視聴者の画像が得られると、MPU36の人数判定部362が、得られた視聴者の画像に基づいて視聴者の人数判定を行う(ステップS1)。
【0021】
図7は、デジタルサイネージ端末装置のカメラユニットによる撮像範囲内にいる視聴者を示す図であり、(A)は撮像範囲と視聴者との位置関係を、(B)は撮像画像データ中の視聴者のシルエットを示している。
【0022】
図7(A)に示すように、カメラユニット25による撮像範囲F内に、複数の人物A、B、Cがいる場合、
図7(B)に示すように、撮像画像データ中には、A、B、Cの3名が存在することになる。この場合、カメラユニット25による撮像画像データはMPU36へと送信され、MPU36の人数判定部362により、視聴者のシルエットに基づく人数判定が行われる。本実施形態においてはA、B、Cの3名分のシルエットが認識されることになる。
【0023】
人物のシルエットの認識は、例えば、撮像画像データ中に人間の頭部、胴体および手足に相当する部分がある場合には、人数判定部362がそれらに連続した領域を人物のシルエットであると認識することで行われる。あるいは、撮像画像データ中に人間の顔面、すなわち目、鼻、口に相当する部分がある場合には、人数判定部362がその顔面に連続した領域を人物のシルエットであると認識することで人物のシルエットの認識が行われる。人数判定部362は、こうして認識した人物のシルエットに基づき、撮像範囲F内にいる視聴者の人数を判定する。
【0024】
図6のフローチャートに戻り、人数判定部362により視聴者の人数が把握されると、次に、MPU36のグループ判定部365により視聴者のグループの判定が行われる(ステップS2)。ここで行われるグループの判定の詳細については後述することにして、ここでは以下のステップについての説明を行う。
【0025】
ステップS2においてグループの判定が行われると、次にMPU36のコンテンツ選択部366により、
図4に示すデータテーブルを用いてグループの判定結果に応じたコンテンツの選択がされ(ステップS3)、選択されたコンテンツがMPU36の表示部367によりディスプレイユニット21に表示される(ステップS4)。
【0026】
次に、MPU36は、コンテンツの表示の終了後、更に次のコンテンツの表示が継続されるか否かの判断を行う(ステップS5)。コンテンツの表示が継続される場合(ステップS5:Yes)、ステップS1に戻り、次のコンテンツの表示のために、人数判定部362により再度視聴者の人数判定が行われる。
【0027】
一方、コンテンツの表示が継続されない場合(ステップS5:No)、一連のコンテンツ表示は終了する。
【0028】
次に、
図6のステップS2、すなわちグループ判定部365によるグループの判定の例について
図8を用いて詳述する。
図8は、本実施形態に係るデジタルサイネージ端末装置におけるグループの判定手順の例を示すフローチャートである。
【0029】
まず、
図6のステップS1においてMPU36の人数判定部362により得られた視聴者の人数について、MPU36は、第1の所定値より小さいか否かについて判定する(ステップS21)。なお、第1の所定値は、
図7(B)に示す画像に表示される各視聴者が、後述する性別判定部363による各視聴者の性別の判定を行いうる大きさで表示される範囲内で任意の人数を定めることができる。本実施形態においては、第1の所定値は10人であるとする。
【0030】
視聴者の人数が10人より少ない場合(ステップS21:Yes)、MPU36は、当該人数が第2の所定値より小さいか否かについて判定する(ステップS22)。第2の所定値としては、第1の所定値より少ない人数であれば任意の人数を定めることができるが、本実施形態においては5人であるとする。なお、第2の所定値は、
図7(B)に示す画像に表示される各視聴者が、後述する年齢層判定部364による各視聴者の年齢層の判定を行いうる大きさで表示される範囲内で任意の人数を定めることができる。本実施形態においては、第2の所定値は5人であるとする。
【0031】
ここで、本実施形態においては、年齢層判定部364により行われる年齢層の判定は、性別判定部363による性別の判定よりも大きく詳細な視聴者の画像を要するものとする。また、
図7(B)に示す画像に表れる視聴者の人数が少なくなるほど、各視聴者は大きく詳細に表示される。そのため、第2の所定値は、第1の所定値よりも少ない人数となっていて、各視聴者がより大きく詳細に表示されるようになっている。
【0032】
図8のフローチャートに戻り、視聴者の人数が5人より少ない場合(ステップS22:Yes)、MPU36の性別判定部363は、視聴者の性別判定を行う(ステップS23)。性別判定部363による視聴者の性別の判定は、カメラユニット25による撮像画像データに基づいて行われる。
【0033】
次に、MPU36の年齢層判定部364は、視聴者の年齢層の判定を行う(ステップS24)。年齢層判定部364による視聴者の年齢層の判定は、カメラユニット25による撮像画像データに基づいて行われる。
【0034】
次に、MPU36のグループ判定部365は、人数判定部362により得られた視聴者の人数、性別判定部363による視聴者の性別の判定結果および年齢層判定部364による視聴者の年齢層の判定結果に基づき、視聴者のグループの判定を行う(ステップS25)。
【0035】
例えば、グループ判定部365は、視聴者が1名である場合には、「20代前半男性」、「30代後半女性」等と判定する。また、グループ判定部365は、視聴者が2名の男女で年齢層が10代後半から20代前半である場合には「カップル」、2名の男女で年齢層が20代後半以上である場合には「夫婦」であると判定する。また、グループ判定部365は、2名以上のグループであって、その中に少なくとも1名の幼児や児童と、少なくとも1名の成年が含まれる場合には「家族」であると判定する。また、グループ判定部365は、2名以上の同じ年齢層の男性のみまたは女性のみのグループである場合には「友人」と判定する。
【0036】
一方、ステップS21において視聴者の人数が10人以上である場合(ステップS21:No)、ステップS25に進む。視聴者が10人以上である場合には、
図7(B)に現れる画像において、視聴者は小さく不鮮明に表示されるため、性別判定部363による性別の判定や年齢層判定部364による年齢層の判定を行うことができない。そのため、ステップS25においてグループ判定部365は、グループを「不特定多数」と判定する。
【0037】
また、ステップS22において視聴者の人数が5人以上である場合(ステップS22:No)、MPU36の性別判定部363は、視聴者の性別判定を行い(ステップS26)、ステップS25へと進む。視聴者の人数が5人以上10人未満である場合には、
図7(B)に現れる画面において、視聴者は性別判定部363による性別の判定を行いうる程度の大きさと鮮明さで表示されるものの、年齢層判定部364による年齢層の判定を行いうる程度の大きさと鮮明さでは表示されない。そのため、視聴者の人数が5人以上10人未満である場合には、視聴者の性別判定のみが行われ、年齢層の判定は行われない。
【0038】
そして、グループ判定部365は、ステップS26による視聴者の性別の判定結果に応じて「男性主体」、「女性主体」および「不特定多数」の3つのグループ分けを行う(ステップS25)。
【0039】
上述したように、グループ判定部365は、視聴者の人数や性別、年齢層に応じて、視聴者を「20代前半男性」、「30代後半女性」、「カップル」、「夫婦」、「家族」、「友人」、「男性主体」、「女性主体」、「不特定多数」等のグループに分類する。そして、コンテンツ選択部366は、外部記憶装置35に記憶されている
図4に示すデータテーブルを参照し、各グループに関連付けて記憶されているコンテンツを選択して呼び出す。そして、コンテンツ選択部366により呼び出されたコンテンツは、表示部367によりディスプレイユニット21に表示される。すなわち、本実施形態に係るデジタルサイネージ端末によると、視聴者の人数に応じてグループの判定方法を変えてグループの判定を行うことができるため、グループの判定を精度良く行うことができ、グループに応じた適切なコンテンツを表示することができる。
【0040】
なお、本発明の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0041】
例えば、表示部367によりディスプレイユニット21に表示されるコンテンツは1つに限らず、複数のコンテンツが表示されるようにしてもよい。
図9は、ディスプレイユニットに複数のコンテンツが表示された状態を示す図である。
【0042】
図9に示す例では、ディスプレイユニット21の上側にコンテンツ211が、下側にコンテンツ212が表示されている。このように複数のコンテンツを表示可能とすることで、例えばグループ判定部365により視聴者のグループが「家族」と判定された場合には、表示部367はコンテンツ211として保護者向けのコンテンツを表示するとともに、子供が見やすい位置である下側のコンテンツ212として子供向けのコンテンツを表示してもよい。このように、ディスプレイユニット21に複数のコンテンツを表示可能とすることで、グループに含まれる各視聴者に対しても個人単位で適切なコンテンツ表示を可能とすることができる。
【0043】
また、
図9に示すように複数のコンテンツが表示される場合には、各コンテンツの表示画面を、視聴者によるタッチパネルのドラッグ等の操作により移動可能としてもよい。各表示画面を移動可能とすることで、1台のデジタルサイネージ端末を用いて複数の視聴者が複数のコンテンツを閲覧する場合でも、各視聴者はそれぞれ見やすい位置に表示画面を移動することができ、コンテンツの閲覧を快適に行うことができる。
【0044】
また、上述した実施形態においては視聴者の情報を入力する情報入力手段として、撮像範囲内にいる視聴者を撮影するカメラユニット25が用いられていたが、本発明においてはこれに限らず、RFIDリーダを用いてもよい。この場合、視聴者が所持している会員カードや携帯電話等の記憶媒体に、顧客IDとともに顧客の性別や年齢等の情報が記憶されている。そして、RFIDリーダが無線通信の通信範囲内にいる顧客の記憶媒体から視聴者の記憶媒体から視聴者の性別や年齢層等の情報を読み出す。こうして読み出された視聴者の情報に基づき、上述した実施形態と同様に、視聴者の人数、性別および年齢層等が判定され、グループ判定部365が視聴者のグループを判定する。そして、判定された視聴者のグループに基づき、コンテンツ選択部366が表示するコンテンツを選択し、外部記憶装置35から読み出す。
【0045】
本実施形態の情報表示装置で実行されるプログラムは、上述した各部(人数判定部362、性別判定部363、年齢層判定部364、グループ判定部365、コンテンツ選択部366、表示部367)を含むモジュール構成となっており、実際のハードウェアとしてはMPUやCPU(プロセッサ)が上記ROMからプログラムを読み出して実行することにより上記人数判定部362、性別判定部363、年齢層判定部364、グループ判定部365、コンテンツ選択部366、表示部367が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。