(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0008】
図面を用いて実施形態の例を説明する。ただし、本発明は本実施例に限定されない。
図1は、映像表示装置100のブロック図の一例である。撮像素子101及び102は被写体を撮像する。カメラ信号処理部103及び104は、撮像素子101及び102が撮像した撮像情報を光信号から電気信号に変換し、アナログ電気信号をデジタル信号に変換する。カメラ制御部105は、カメラ信号処理部103及び104の信号処理動作を制御する。システム制御部200は、CPU(Central Processing Unit)による制御作用を有し、映像解析部201、距離算出部202、被写体決定部203、書き込み部204、読み出し部205、表示領域決定部301、表示サイズ制御部302、表示内容選択部303を有し、映像表示装置100の全体の動作を制御する。
【0009】
映像解析部201、距離算出部202、被写体決定部203、書き込み部204、読み出し部205、表示領域決定部301、表示サイズ制御部302、表示内容選択部303は、システム制御部200が、内蔵メモリ500に記憶された映像解析プログラム201、距離算出プログラム202、被写体決定プログラム203、書き込みプログラム204、読み出しプログラム205、表示領域決定プログラム301、表示サイズ制御プログラム302、表示内容選択プログラム303を実行することでソフトウェアとして、映像解析、距離算出、被写体決定、書き込み、読み出し、表示領域決定、表示サイズ制御、表示内容選択の各機能を実現することができる。
【0010】
また、ソフトウェアとして実現された各機能は映像解析部201、距離算出部202、被写体決定部203、書き込み部204、読み出し部205、表示領域決定部301、表示サイズ制御部302、表示内容選択部303などのように各処理を行う処理部として集積回路化するなどしてハードウェアとして実現することもできる。以下では説明を簡略化するために、映像解析プログラム201、距離算出プログラム202、被写体決定プログラム203、書き込みプログラム204、読み出しプログラム205、表示領域決定プログラム301、表示サイズ制御プログラム302、表示内容選択プログラム303をシステム制御部200が実行することで実現される各処理を、各処理部が主体となって行うものとして説明する。なお、各処理部をハードウェアで実現した場合には、その各処理部が主体となって各処理を行う。
【0011】
表示部300は、例えば記憶部500に記憶された映像コンテンツ、例えば商品の広告情報の表示を行う。入出力端子401から入力された映像情報を表示する機能があっても良い。電源部400は、映像表示装置100を駆動するため、電池または商用電源から取得した電力を映像表示装置100に供給する。入出力端子401は外部接続された他機器との間で情報信号を授受する。記憶部500は、HDD(Hard Disk Drive)やSSD(Solid State Drive)、DVD(Digital Versatile Disk)、BD(Blu−ray Disk)、ICカード(Integrated Circuit Card)、半導体メモリなどの記憶装置であり、映像や映像の再生順、プログラム、テーブルなどの情報を記憶する。映像や映像の再生順などの情報は、例えば入出力端子401から供給され、書き込み部204により記憶部500に書き込まれる。なお、記憶部500は複数あってもよく、異なる種類の記憶手段であってもよい。さらに、記憶部500は内蔵でも外付けでもよい。
【0012】
また、記憶部500に保持された情報は、読み出し部205により読み出されて各構成要素に供給されるが、入出力端子401を経由して外部接続された他機器に伝送されても良い。入出力端子401はネットワーク(図示せず)を介して他機器と接続されても良い。この場合、映像表示装置100は、ネットワークを介して他機器から送信された映像コンテンツを表示部300に表示することができる。
【0013】
本実施例では、2個のカメラを映像表示装置100に搭載したが、外部接続された2個のカメラからの映像を映像表示装置100に入力する構成でもよい。
また、本実施例ではカメラの個数を2個としたが、2個以上であってもよい。
【0014】
図2は、映像表示装置100の第1の設置状況を示す図の一例である。映像表示装置100の上部にカメラを2個設置している。映像表示装置100の前に被写体A、被写体B、被写体C、被写体D、被写体群Eが存在している。被写体Bと被写体Dは映像表示装置100を見ておらず、その他の被写体は映像表示装置100を見ているとする。
【0015】
図3は、映像表示装置100と被写体の位置関係を示す平面図の一例であり、
図2の映像表示装置100と被写体A〜Eを上方から見下ろした状態を示している。
人物が立ち止まって表示画面を見ている場合や、映像表示装置100に近付くといった動作を行った場合には、表示されている内容に興味があると考えられる。映像表示装置100は立ち止まって表示画面を見ている人物、もしくは映像表示装置100に近づくといった動作を行っている人物をカメラBが撮影した映像から探索する。映像表示装置100が行う探索方法として、例えば、撮像した被写体の形状や色から人の顔やその位置を検出し、その向きや動きから映像表示装置100を見ている被写体A、C、Eを検出するという方法がある。映像表示装置100は、検出した人物の中からカメラAを用いて最も映像表示装置100の近くにいる被写体Aを特定し、被写体Aをズームしたり、被写体Aが撮像できるようにカメラAの向きを変えるなどして被写体Aを追跡する。例えば、被写体Aが第1の表示領域1に表示された広告に興味を持ち、ある場所で立ち止まり、もう少し情報が欲しいため映像表示装置100に近付いたとする。この時、カメラAは被写体Aにズームし追跡しながら前記した被写体Aが映像表示装置100を見ているか否かと、映像表示装置100と被写体Aとの距離の変化を得る。
【0016】
また、第1の表示領域1と別の領域に、被写体Aの位置に応じて第2の表示領域2を作成し、映像表示装置100に対し比較的近い位置にいる被写体Aにとって、適切な状態で広告を表示する。映像出力装置100は、適切な状態にするために、例えば、第2の表示領域2の大きさ、位置などを変更する。例えば被写体Aと映像出力装置100との距離が第1の閾値よりも遠い場合は、映像出力装置100は第2の表示領域2を標準の大きさよりも大きく表示することで、映像を視認しやすくする。また、前記の距離が第2の閾値よりも近い場合は、映像出力装置100は第2の表示領域2を標準の大きさよりも小さく表示することで、映像全体の把握を容易にさせる。
また、第1の表示領域1は例えば被写体群Eのいる遠い場所から認識しやすいように文字や画像を大きく表示するが、第2の表示領域2は被写体A向けの適切な大きさの文字や画像を表示することができる。ここで、適切な大きさの文字や画像とは、被写体Aが視認しやすい大きさの文字や画像のことである。被写体Aが映像表示装置100の近くに移動することによって、細かい文字や小さな画像でも充分に視認できる場合がある。このため、映像表示装置100と被写体との距離が閾値よりも小さい場合は、文字や画像を標準よりも小さくする代わりに情報量を増大させることができる。さらに、後述する方法で映像解析部201が人物の認識を行った結果、被写体Aが高齢者であると判断した場合は、映像表示装置100は、文字や画像の大きさを標準の大きさよりも大きく表示するといった制御を行ってもよい。
【0017】
図4は、映像表示装置100の第2の設置状況を示す図の一例である。本設置例では複数の映像表示装置100A〜100Iを組み合わせて大画面を実現している。ここでは、6個の映像表示装置100A〜100Fを用いて第1の表示領域1を実現し、画面下部の映像表示装置100G〜100Iのそれぞれ、或いはいずれか一つを第2の表示領域2として利用する例を示している。
図4の例においても、第1の表示領域1は例えば被写体群Eのいる遠い場所から認識しやすいように文字や画像を大きく表示するが、上述したように、第2の表示領域2は被写体A向けの適切な大きさの文字や画像を表示することができる。
図5は、カメラBの処理フロー図の一例である。以下、
図1の撮像素子101とカメラ信号処理部103はカメラAの構成要素、撮像素子102とカメラ信号処理部104はカメラBの構成要素とする。
【0018】
映像解析部201は、撮像素子102で撮像した映像をカメラ信号処理部104を介して取得する(ステップS501)。映像解析部201は、取得した映像を解析する(ステップS502)。映像解析部201は例えば被写体である人物の顔を、色や目、鼻、口を検出して認識することや、人物が映っていない予め取得しておいた画像と入力画像との差分により人物の位置を認識するなどの解析を行う。距離算出部202は、予め画面内の画素位置と距離とがマッピングされ記憶部500に保持されたマッピング情報から、映像解析部201が認識した被写体と映像表示装置100の間の距離情報を算出する(ステップS503)。
【0019】
被写体決定部203は、ステップS502で映像解析部201が解析した人物などの被写体情報と、ステップS503で距離算出部202が取得した距離情報から、対象となる被写体を決定する(ステップS600)。被写体決定部203は、例えば
図2で示した被写体のうち、映像表示装置100を見ており、かつ最も映像表示装置100に近い被写体である被写体Aを対象と決定する。なお、ステップS600については
図6で詳しく説明する。
【0020】
次に、システム制御部200は、カメラ制御部105からカメラAがズーム中であるかどうかを取得する(ステップS504)。カメラAがズーム中でなければ(図のNo)、システム制御部200はカメラAを制御し、カメラAをステップS600で決定した対象の被写体へズームする(ステップS505)。カメラAがズーム中であれば(図のYes)、システム制御部200はカメラA制御情報を、例えば記憶部500に保持しておく(ステップS506)。カメラA制御情報は、次のズーム対象者に関する例えば位置情報であり、
図2で示した例えば被写体Cに関わる情報である。システム制御部200は、ズーム時に表示部300に表示していたコンテンツを示すコンテンツの名称やIDなどのコンテンツ情報を、記憶部500に保持する(ステップS507)。
【0021】
図6は、対象被写体決定処理S600の処理フロー図の一例である。
映像解析部201は、カメラAの現在のズーム対象である被写体以外に、映像表示装置100を見ている人がいるかどうかをカメラBの画像から判定する(ステップS601)。ステップS601における映像解析部201の解析は、ステップS502における解析と同様の方法を用いることができる。映像解析部201は、例えば
図2におけるカメラAが現在ズーム対象としてる被写体A以外に、被写体Cや被写体群Eのように映像表示装置100を見ている人がいるかどうかをカメラBの画像から判定する。映像表示装置100を見ている人がいる場合は(図のYes)被写体決定部203は、該当する人の中から最も映像表示装置100からの距離が近い人をカメラAの被写体として選択する(ステップS602)。映像表示装置100を見ている人がいない場合は(図のNo)、映像解析部201は、映像表示装置100の周辺に人物がいるかどうかを判定する(ステップS603)。ステップS603において、映像解析部201は、例えば
図2における被写体Bや被写体Dのように、映像表示装置100を見ていない人物がいるかどうかを判定する。映像表示装置100を見ている人物がいる場合は(図のYes)、被写体決定部203は、いずれかの人物をカメラAの被写体として選択する(ステップS604)。その際、予め設定した領域内にいる人物を選択してもよく、最も多く人物がいる領域中の人物を選択してもよい。一方、映像出力装置100を見ている人物がいない場合は(図のNo)、被写体決定部203は、予め設定した所定位置をカメラAの撮像対象として選択する(ステップS605)。
被写体決定部203は、カメラBにより次に選択する対象被写体エリアを選択する(ステップS603)。ここでは、カメラA向けに選択した被写体以外で例えば最も人がいる箇所を選択する。
図2の例の場合は被写体群Eのエリアを選択する。上記の最も人がいる箇所の判断方法として、映像処理部201がカメラAが撮像した映像を複数の領域に分割し、分割された領域の中で最も多くの顔を検知できた領域を最も人がいる箇所として判断する方法が例としてあげられる。
【0022】
以上述べたように、
図5と
図6のフローにより、画角の広いカメラBで撮像した被写体の映像を用いて、そのうちから特定の被写体を選択してカメラAをズームし、該被写体の行動に関わる情報を得ることができる。
次に、映像コンテンツ表示処理フローを
図7を用いて説明する。
【0023】
図7は、映像表示装置100への映像コンテンツ表示の処理フロー図の一例である。
本処理は、
図5のステップS503においてカメラBによりカメラA及びカメラBの対象被写体までの距離を算出した後に行う。また
図5のステップS507で保持したコンテンツ情報を使用する場合には、
図5の処理フローが終了した後に開始して良い。
【0024】
表示領域決定部301は、カメラAとカメラBの対象被写体向けの表示領域の大きさを決定する(ステップS701)。表示領域の大きさの決定方法として、カメラAまたはカメラBの対象被写体と、映像表示装置100との距離に一定の比率を乗じた値を表示領域の大きさとしてもよい。また、予め被写体と映像表示装置100の距離に閾値を設定しておき、閾値よりも近くなった場合に標準の大きさよりも小さいサイズに表示領域を縮小し、閾値よりも遠くなった場合に標準の大きさよりも大きいサイズに表示領域を拡大してもよい。また、表示領域決定部301は、カメラAとカメラBの対象被写体の位置に応じて表示部300における表示位置を決定する。例えば表示領域決定部301は、
図4のように、被写体がBの位置にいる場合は表示領域100Hを選択し、Aの位置にいる場合は表示領域100Gを選択する、つまり、被写体Aが映像表示装置100の正面の右側にいる場合には右に位置する表示領域を選択し、左側に被写体Aがいる場合は左に位置する表示領域を選択する、というように、第2の表示領域2の位置を被写体Aの付近に表示させる。
【0025】
表示内容選択部303は、ステップS701で決定した表示領域に表示する映像を決定する(ステップS702)。例えば表示内容選択部303は、ステップS507で保持したコンテンツや、そのコンテンツに予め関連付けられたコンテンツを選択する。これは、カメラBにより探索した現在表示中のコンテンツに興味を持った被写体に対して、もう一度情報を提示してコンテンツの最初から表示する、または詳細情報を提示するためである。
【0026】
表示サイズ制御部302は、決定したコンテンツの表示サイズを決定する(ステップS703)。ステップS703において、表示サイズ制御部302は、ステップS701で決めた表示領域に対して、コンテンツをどの大きさで表示するかを、例えば対象被写体までの距離に応じて決定する。距離に応じて表示の大きさを変える方法の一例として、対象被写体と映像表示装置100との距離が予め設定された閾値よりも遠い場合はコンテンツをスクロールさせるなどして、文字や画像を標準の大きさよりも大きく表示し、対象被写体と映像表示装置100との距離が予め設定された閾値よりも近い場合は、コンテンツを一画面にスクロールさせずに表示させる方法がある。
【0027】
表示部300は、表示領域決定部301及び表示内容選択部303及び表示サイズ制御部302から取得した情報に基づき映像コンテンツを表示する(ステップS704)。
次に、カメラBにより制御されたカメラAの処理フローを
図8を用いて説明する。
【0028】
図8は、カメラAの処理フロー図の一例である。
本処理は、ステップS507で保持したコンテンツ情報を使用する場合には、
図5の処理フローが終了した後に開始する。即ち、
図7で示した映像コンテンツ表示の処理フローと並行して行っても良く、いずれかを先に行っても良い。
システム制御部200は、カメラAのカメラ信号処理部103から映像を取得する(ステップS801)。映像解析部201は、取得した映像を解析する(ステップS802)。たとえば顔の検知、器官検出、視線検出、表情検出などを行う。映像解析部201は、映像内に顔があるかどうかを色や目、鼻、口を検出して判定する(ステップS803)。顔が判定できる場合は(図のYes)、映像解析部201は、ステップS803で取得した視線や表情などの検出した情報を取得し、前記情報を記憶部500に記憶させる。これにより、ユーザが表示している映像コンテンツのどの部分に興味を持ったあるいは持たなかったなどの情報を収集する(ステップS805)。
【0029】
一方、顔が判定できない場合は(図のNo)、映像内に人(顔)が検出されていないので、システム制御部200はカメラ制御部105に対し、カメラBへカメラBでの映像解析時に除外する領域情報を送信する(ステップS806)。例えば、
図9の例に示す領域Aの位置及びサイズ情報を送信する。カメラBでは領域Aが小さいため詳細に解析できなかったが、カメラAをズームすることで詳細な映像を撮像することができ、解析できなかった領域Aを解析できることがある。これにより、例えばカメラBで決定した対象被写体情報が間違っていることをカメラBにフィードバックすることで、対象被写体決定の精度向上が可能となる。または、カメラBにおける映像解析時に領域Aが小さいため詳細に解析できなかった対象を解析対象から除外することにより、映像解析時間の短縮が可能となりリアルタイム性が向上する。
【0030】
システム制御部200は、次にどの被写体にズームすればよいかという、ステップS506で記憶部500に保持したカメラAに係るカメラ制御情報を取得してカメラ制御部105に供給する(ステップS807)。カメラ制御部105は、供給された制御情報に基づきカメラAに対してカメラ制御を行う(ステップS808)。
【0031】
本実施例によれば、表示装置を見る不特定多数の人に適切に情報を伝達することができる。また、例えば広告コンテンツに興味を持った人に対して、特定の表示領域を用い先頭から視聴することや、より詳細な広告コンテンツを視聴することで、対象人物が欲しいと思っている情報を確実に伝達できる。また該当人物にカメラをズームすることで対象者の情報を取得することができるため広告者側としても有用な情報を得ることができる。このように視聴者側、広告社側共に利便性が向上する。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0032】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、システム制御部200がそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD等の記憶装置、または、ICカード、SDカード、DVD等の記憶媒体に置くことができる。
【0033】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。