(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。
【0010】
[デジタルサイネージ装置1の構成]
図1は、本実施形態における表示装置としてのデジタルサイネージ装置1の主制御構成を示すブロック図である。デジタルサイネージ装置1は、例えば、店舗や展示会会場などに設置され、商品の説明、案内、アンケート等のコンテンツを再生するものであってもよいし、介護施設等に設置され、脳活性化のための出題コンテンツを再生するものであってもよく、その用途は特に限定されない。なお、本実施形態において、コンテンツは、人物が何等かの説明、案内、問いかけ等を行うものとするが、これに限定されるものではない。
【0011】
図1に示すように、デジタルサイネージ装置1は、コンテンツの映像光を照射する投影部21と、投影部21から照射された映像光を背面で受けて前面に投影するスクリーン部22とを備えている。
【0012】
まず、投影部21について説明する。
投影部21は、制御部23と、プロジェクタ24と、記憶部25と、通信部26と、を備えている。プロジェクタ24、記憶部25、通信部26は、
図1に示すように制御部23に接続されている。
【0013】
制御部23は、記憶部25に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うCPU(Central Processing Unit)とプログラム実行時の作業領域となるメモリとを備えている(いずれも図示略)。制御部23は、記憶部25のプログラム記憶部251に記憶されているプログラムとの協働により、抽出手段、算出手段、調整手段、表示制御手段として機能する。また、制御部23のメモリは、記憶手段として機能する。
【0014】
プロジェクタ24は、制御部23から出力された画像データを映像光に変換してスクリーン部22の背面に向けて照射する投影装置である。プロジェクタ24は、例えば、アレイ状に配列された複数個(XGAの場合、横1024画素×縦768画素)の微小ミラーの各傾斜角度を個々に高速でオン/オフ動作して表示動作することでその反射光により光像を形成する表示素子であるDMD(デジタルマイクロミラーデバイス)を利用したDLP(Digital Light Processing)(登録商標)プロジェクタが適用可能である。例えば、本実施形態のように表示対象物が画像中の人物である場合には、人物領域に対応する位置の微小ミラーをオンし、その他の領域をオフすることで、人物領域のみを投影(表示)することが可能となる。
【0015】
記憶部25は、HDD(Hard Disk Drive)や不揮発性の半導体メモリ等により構成される。記憶部25には、
図1に示すように、プログラム記憶部251、画像データ記憶部252、音声データ記憶部253、表示領域情報記憶部254、スクリーン設定記憶部255等が設けられている。
【0016】
プログラム記憶部251には、制御部23で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。
画像データ記憶部252には、コンテンツの再生時に画像形成部27への表示対象の候補となる人物を撮影した撮影画像の画像データが記憶されている。なお、1枚の撮影画像に複数の人物画像が含まれていてもよい。
音声データ記憶部253には、コンテンツの音声出力用のテキストデータが記憶されている。
表示領域情報記憶部254には、人型に成形された交換可能な複数の画像形成部27(
図2参照)のそれぞれの識別情報に対応付けて、その画像形成部27の表示領域(スクリーン全体の領域)における、少なくとも顔領域27a及び体領域27cの形状及びサイズを特定する情報である表示領域情報が記憶されている。本実施形態において、各表示領域情報は、各画像形成部27を撮影した画像(プロジェクタ24で光を当てた画像形成部27を背面から撮影した画像。画像形成部27の表示領域内が白っぽく、背景が黒っぽく写る)であって、予め設定されている投影時の投影倍率でその撮影画像をその画像形成部27に投影すると投影像の領域と実際の画像形成部27の表示領域が一致するように撮影された画像(スクリーン撮影画像と呼ぶ)であることとして説明するが、これに限定されない。例えば、スクリーン撮影画像を2値化して予め顔領域及び体領域を抽出した画像等を用いることとしてもよい。
スクリーン設定記憶部255には、現在セットされている画像形成部27の識別情報、即ち、次のコンテンツ再生時に使用される画像形成部27の識別情報が記憶されている。なお、現在セットされている画像形成部27は、設定手段としての操作部32の所定の操作等により設定することができ、スクリーン設定記憶部255には、この設定操作に応じてスクリーンの識別情報が記憶される。
【0017】
通信部26は、モデム、ルータ、ネットワークカード等により構成され、外部機器との通信を行う。
【0018】
次に、スクリーン部22について説明する。
図2は、スクリーン部22の概略構成を示す正面図である。
図2に示すようにスクリーン部22には、画像形成部27と、画像形成部27を支持する台座28とが備えられている。
【0019】
画像形成部27は、映像光の照射方向に対して略直交するように配置された、例えばアクリル板などの人型に成形された一枚の透光板29に、フィルム状のフレネルレンズが積層された背面投影用のフィルムスクリーンが貼付されて構成されたスクリーンである。画像形成部27は、
図2に示すように、顔領域27a(第1の表示領域)、首領域27b(第3の表示領域)、体領域27c(第2の表示領域)の3つの領域に分割可能である。この画像形成部27と前述したプロジェクタ24とにより表示手段を構成している。なお、画像形成部27は、複数の形状のものが候補として用意されており、交換して使用することが可能である。
【0020】
台座28には、ボタン式の操作部32と、音声を出力するスピーカなどの音声出力部33と、人感センサ34等が設けられている。操作部32は、交換可能な複数の画像形成部27のうち次の投影に使用する画像形成部27を設定(選択)可能に構成されている。
操作部32、音声出力部33、人感センサ34は、
図1に示すように制御部23に接続されている。
【0021】
[デジタルサイネージ装置1の動作]
次に、デジタルサイネージ装置1の動作について説明する。
【0022】
図3に、デジタルサイネージ装置1において実行される再生制御処理のフローチャートを示す。再生制御処理は、制御部23とプログラム記憶部251に記憶されているプログラムとの協働により実行される。
【0023】
まず、制御部23は、人感センサ34により人が検出されるのを待機する(ステップS11)。人感センサ34により人が検出された場合(ステップS11;YES)、制御部23は、画像データ記憶部252に記憶されている撮影画像の中からランダムに画像を選択してメモリに読み出す(ステップS12)。なお、ステップS12における画像の選択方法は、これに限定されず、例えば、ユーザが選択したり、時間帯毎に予め定められた画像を選択したりすることとしてもよい。
【0024】
次いで、制御部23は、選択された撮影画像に顔認識処理を行って、顔画像が認識されたか否かを判断する(ステップS13)。顔認識処理は、目、鼻、口等の特徴に基づく公知の画像処理技術を用いて行うことができる。
【0025】
選択された撮影画像から顔画像が認識できなかったと判断した場合(ステップS13;NO)、制御部23は、画像データ記憶部252に記憶されている撮影画像の中から別の撮影画像を選択し(ステップS16)、ステップS13の処理に戻る。
【0026】
選択された撮影画像から顔画像が認識できたと判断した場合(ステップS13;YES)、制御部23は、正面を向いた顔画像があるか否かを判断する(ステップS14)。正面を向いているかは、例えば、認識された顔画像の左右の目の長さの比較等により判断することができる。正面を向いた顔画像がないと判断した場合(ステップS14;NO)、制御部23は、画像データ記憶部252に記憶されている撮影画像の中から別の撮影画像を選択し(ステップS16)、ステップS13の処理に戻る。
【0027】
正面を向いた顔画像があると判断した場合(ステップS14;YES)、制御部23は、正面を向いた顔画像に対する体(上半身)領域が撮影画像から抽出できるか否かを判断する(ステップS15)。例えば、撮影画像から正面を向いた顔画像を含む人体の輪郭を抽出し、抽出された領域の縦方向の長さが顔領域の縦方向の長さの所定倍以上である場合に、体領域が抽出できると判断する。
【0028】
正面を向いた顔画像に対する体領域が抽出できなかった場合(ステップS15;NO)、制御部23は、画像データ記憶部252に記憶されている撮影画像の中から別の撮影画像を選択し(ステップS16)、ステップS13の処理に戻る。
【0029】
一方、正面を向いた顔画像に対する体領域が抽出されたと判断した場合(ステップS15;YES)、制御部23は、体領域が抽出できた人物の画像を表示対象画像として決定する(ステップS17)。なお、体領域が抽出できた人物の画像が複数存在する場合は、何れかを選択して表示対象画像として決定する。
【0030】
次いで、制御部23は、表示対象画像として決定された人物画像から顔領域(第1の領域)と体領域(第2の領域)を抽出し、顔領域と体領域を分割する(ステップS18)。
次いで、制御部23は、表示領域情報記憶部254からスクリーン設定記憶部255に記憶されている識別情報に対応するスクリーン撮影画像を読み出してメモリに記憶し、読み出したスクリーン撮影画像から顔領域と体領域をそれぞれ抽出する(ステップS19)。例えば、スクリーン撮影画像を二値化してスクリーン領域を抽出し、抽出したスクリーン領域の略円形の上部領域を顔領域、略矩形の下部領域を体領域として抽出する。
【0031】
次いで、制御部23は、ステップS17で抽出した表示対象画像の顔領域及び体領域とスクリーン撮影画像から抽出された顔領域及び体領域とをそれぞれ比較し、比較結果に基づいて、表示対象画像の顔領域の調整倍率(第1の調整倍率)と体領域の調整倍率(第2の調整倍率)を算出する(ステップS20)。調整倍率は、その調整倍率で調整された表示対象画像に基づいて画像形成部27に投影(表示)を行ったときの投影像の顔領域及び体領域が、それぞれ画像形成部27の顔領域27a及び体領域27cからはみ出さない最大のサイズとなる倍率である。具体的には、表示対象画像の顔領域の縦と横の何れをスクリーン撮影画像の顔領域に合わせたら最大かつスクリーン撮影画像の顔領域からはみ出ないかを表示対象画像の顔領域を拡大/縮小しながら求め、最大かつスクリーン撮影画像の顔領域からはみ出なかったときの倍率を顔領域の倍率として算出する。体領域の倍率も同様にして算出する。
【0032】
次いで、制御部23は、顔領域と体領域の調整倍率の平均値を、顔領域と体領域の接合部である首領域(第3の領域)の調整倍率(第3の調整倍率)として算出する(ステップS21)。
そして、制御部23は、表示対象画像から抽出した顔領域、体領域、首領域のそれぞれのサイズを算出された調整倍率に基づいて調整(ズーム処理)する(ステップS22)。首領域については、顔領域との境界と体領域の境界の間の中央部(縦方向の中央部)をステップS20で算出した調整倍率で調整し、顔領域との境界部に近づくにつれて首領域の調整倍率を顔領域の調整倍率に徐々に近づけ、体領域との境界部に近づくにつれて首領域の調整倍率を体領域の調整倍率に徐々に近づけるようにして、首領域の輪郭がなだらかな二次曲線を描くように調整を行う。
【0033】
次いで、制御部23は、顔領域、首領域、体領域のそれぞれのサイズが調整された表示対象画像に基づいてプロジェクタ24により投影(コンテンツの表示)を行わせるとともに、音声データ記憶部253に記憶されている音声データに基づいて、音声出力部33にコンテンツの音声出力を行わせる(ステップS23)。
具体的には、表示対象画像の人物領域(調整された顔領域、首領域、体領域を統合した領域)の位置情報をプロジェクタ24に出力し、表示対象画像の人物領域をプロジェクタ24により画像形成部27に投影(表示)させる。また、制御部23は、音声データ記憶部253に記憶されているコンテンツの音声を示すテキストデータに基づいて音声を合成して音声出力部33により出力する。更に、音声データ記憶部253に記憶されているテキストデータに基づいて、画像形成部27に表示されている人物が音声に合わせて口パクを行うように表示対象画像を画像処理してプロジェクタ24により画像形成部27に投影(表示)させる。音声の合成や音声に合わせた口パクの画像処理は、公知の技術を用いて行うことができる。
【0034】
コンテンツの再生が終了して所定時間が経過すると、制御部23は、ステップS1に戻る。
【0035】
以上説明したように、デジタルサイネージ装置1によれば、制御部23は、表示対象となる人物を撮影した表示対象画像から顔領域及び体領域を抽出し、抽出された顔領域及び体領域と、使用する画像形成部27のスクリーン撮影画像から抽出されたスクリーンの表示領域における顔領域及び体領域とをそれぞれ比較し、比較結果に基づいて、表示対象画像における顔領域のサイズを調整するための第1の調整倍率及び体領域のサイズを調整するための第2の調整倍率を算出する。そして、制御部23は、算出された第1の調整倍率及び第2の調整倍率に基づいて、表示対象画像における顔領域及び体領域のそれぞれのサイズを個別に調整し、調整された画像を画像形成部27に表示させる。
【0036】
従って、表示対象画像における顔領域及び体領域のそれぞれのサイズを、使用する画像形成部27の顔領域27a及び体領域27cに合わせて個別に調整するので、例えば、表示対象画像が画像形成部27の形状に合わせこんでいない画像であっても、それぞれの領域を画像形成部27の対応する領域に合わせたサイズに調整することができ、画像形成部27の表示領域に対してできるだけ過不足なく表示を行うことが可能となる。
【0037】
具体的に、表示対象画像の顔領域及び体領域が、それぞれ画像形成部27における顔領域27a及び体領域27cからはみ出さない最大のサイズとなるように第1の調整倍率及び第2の調整倍率を算出することで、それぞれの領域をできるだけ過不足なく画像形成部27の表示領域の対応する領域に表示することが可能となる。
【0038】
また、複数の画像形成部27のスクリーン撮影画像を記憶しておき、設定された画像形成部27のスクリーン撮影画像を用いて表示対象画像における各領域の調整倍率の算出を行うので、使用する画像形成部27が変わっても、使用する画像形成部27の表示領域に合わせてできるだけ過不足なく表示を行うことが可能となる。
【0039】
また、表示対象画像の首領域の調整倍率を顔領域の調整倍率と体領域の調整倍率の平均値として算出し、算出された調整倍率に基づいて更に首領域のサイズを調整するので、顔領域と体領域の接合部である首領域を顔領域と体領域の調整サイズに合わせて調整することが可能となる。また、例えば、首領域における顔領域との境界及び体領域との境界の間の中央部のサイズを上述の平均値の倍率で調整し、顔領域との境界又は体領域との境界に近づくにつれて首領域のサイズを調整する倍率を顔領域の調整倍率又は体領域の調整倍率に近づけることで、違和感なく首領域を顔領域と体領域につなげることが可能となる。
【0040】
なお、上記実施形態における記述内容は、本発明に係るデジタルサイネージ装置の好適な一例であり、これに限定されるものではない。
【0041】
例えば、上記実施形態においては、交換可能な複数の画像形成部27についての表示領域情報を予め表示領域情報記憶部254に記憶しておき、使用する画像形成部27の表示領域情報をメモリに読み出して調整倍率の算出に用いることとしたが、例えば、プロジェクタ24に撮影手段(図示せず)を備える構成とし、背面から投影に使用する画像形成部27に光を当てるとともに、撮影手段により画像形成部27の背面からその形状を撮影し、得られた撮影画像を制御部23によりメモリに記憶して調整倍率の算出に用いることとしてもよい。このようにすれば、予め表示領域情報の登録を行っておかなくても画像形成部27を交換して使用することができ、利便性が向上する。
【0042】
また、上記実施形態においては、表示対象物を人物とし、スクリーンを人型とし、第1の領域を顔領域とし、第2の領域を体領域とし、第3の領域を首領域とした場合を例にとり説明したが、例えば、動物やキャラクタ等、複数の領域に分割可能な表示対象物であれば本発明を適用して同様の効果を奏することができ、この例に限定されるものではない。
【0043】
また、上記実施形態においては、本発明をプロジェクタからスクリーンに画像を投影することで画像の表示を行うデジタルサイネージ装置に適用した場合を例にとり説明したが、例えば、液晶ディスプレイ、プラズマディスプレイ等、他の表示装置に適用しても同様の効果を奏することができ、この例に限定されない。
【0044】
その他、デジタルサイネージ装置を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【0045】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
[付記]
<請求項1>
少なくとも第1の表示領域と第2の表示領域を有する表示手段と、
前記表示手段における前記第1の表示領域及び前記第2の表示領域のそれぞれの形状及びサイズを特定するための表示領域情報を記憶する記憶手段と、
前記表示手段に表示される表示対象物の画像から前記第1の表示領域及び前記第2の表示領域のそれぞれに対応する第1の領域及び第2の領域を抽出する抽出手段と、
前記表示対象物の画像から抽出された前記第1の領域及び前記第2の領域と、前記表示領域情報に基づいて特定される前記第1の表示領域及び前記第2の表示領域とをそれぞれ比較し、比較結果に基づいて、前記表示対象物の画像における前記第1の領域のサイズを調整するための第1の調整倍率及び前記第2の領域のサイズを調整するための第2の調整倍率を算出する算出手段と、
前記算出された第1の調整倍率及び第2の調整倍率に基づいて、前記表示対象物の画像における前記第1の領域及び前記第2の領域のそれぞれのサイズを個別に調整する調整手段と、
前記調整手段により調整された表示対象物の画像を前記表示手段に表示させる表示制御手段と、
を備える表示装置。
<請求項2>
前記算出手段は、前記表示手段に前記表示対象物の画像を表示したときに、前記表示対象物の画像の前記第1の領域及び前記第2の領域が、それぞれ前記第1の表示領域及び前記第2の表示領域のそれぞれからはみ出さない最大のサイズとなるように前記第1の調整倍率及び前記第2の調整倍率を算出する請求項1に記載の表示装置。
<請求項3>
複数の前記表示手段が交換可能であり、
前記複数の表示手段毎に表示領域情報を記憶する表示領域情報記憶手段と、
前記複数の表示手段のうち使用する表示手段を設定する設定手段と、
前記表示領域情報記憶手段に記憶されている表示領域情報の中から前記設定された表示手段の表示領域情報を読み出して前記記憶手段に記憶させる手段と、
を備える請求項1又は2に記載の表示装置。
<請求項4>
前記表示手段の候補を複数有し、
前記複数の表示手段の候補のうち使用する表示手段の表示領域を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像を前記表示領域情報として前記記憶手段に記憶させる手段と、
備える請求項1又は2に記載の表示装置。
<請求項5>
前記表示対象物は、更に、前記第1の領域と前記第2の領域を接合する第3の領域を有し、
前記抽出手段は、更に、前記第3の領域を抽出し、
前記算出手段は、更に、前記第1の調整倍率と前記第2の調整倍率に基づいて前記第3の領域のサイズを調整するための第3の調整倍率を算出し、
前記調整手段は、前記算出された前記第1の調整倍率、前記第2の調整倍率、前記第3の調整倍率のそれぞれに基づいて、前記表示対象物の画像における前記第1の領域、前記第2の領域、及び前記第3の領域のそれぞれのサイズを調整する請求項1〜4の何れか一項に記載の表示装置。
<請求項6>
前記調整手段は、前記第3の領域における前記第1の領域との境界及び前記第2の領域との境界の間の中央部のサイズを前記第3の調整倍率で調整し、前記第1の領域との境界又は前記第2の領域との境界に近づくにつれて前記第3の領域のサイズを調整する倍率を前記第1の調整倍率又は前記第2の調整倍率に近づける請求項5に記載の表示装置。
<請求項7>
前記第1の調整倍率と前記第2の調整倍率との平均値を前記第3の調整倍率として算出する請求項5又は6に記載の表示装置。
<請求項8>
前記表示対象物は人物であり、
前記表示手段の表示領域は人型に成形されており、
前記第1の領域は顔領域であり、前記第2の領域は体領域である請求項1〜7の何れか一項に記載の表示装置。
<請求項9>
前記表示対象物は人物であり、
前記表示手段の表示領域は人型に成形されており、
前記第1の領域は顔領域であり、前記第2の領域は体領域であり、前記第3の領域は首領域である請求項5〜7の何れか一項に記載の表示装置。
<請求項10>
少なくとも第1の表示領域と第2の表示領域を有する表示手段を備える表示装置における表示方法であって、
前記表示手段における前記第1の表示領域及び前記第2の表示領域のそれぞれの形状及びサイズを特定するための表示領域情報を記憶する工程と、
前記表示手段に表示される表示対象物の画像から前記第1の表示領域及び前記第2の表示領域のそれぞれに対応する第1の領域及び第2の領域を抽出する工程と、
前記表示対象物の画像から抽出された前記第1の領域及び前記第2の領域と、前記表示領域情報に基づいて特定される前記第1の表示領域及び前記第2の表示領域とをそれぞれ比較し、比較結果に基づいて、前記表示対象物の画像における前記第1の領域のサイズを調整するための第1の調整倍率及び前記第2の領域のサイズを調整するための第2の調整倍率を算出する工程と、
前記算出された第1の調整倍率及び第2の調整倍率に基づいて、前記表示対象物の画像における前記第1の領域及び前記第2の領域のそれぞれのサイズを個別に調整する工程と、
前記調整された表示対象物の画像を前記表示手段に表示させる工程と、
を含む表示方法。
<請求項11>
少なくとも第1の表示領域と第2の表示領域を有する表示手段を備える表示装置に用いられるコンピュータを、
前記表示手段における前記第1の表示領域及び前記第2の表示領域のそれぞれの形状及びサイズを特定するための表示領域情報を記憶する記憶手段、
前記表示手段に表示される表示対象物の画像から前記第1の表示領域及び前記第2の表示領域のそれぞれに対応する第1の領域及び第2の領域を抽出する抽出手段、
前記表示対象物の画像から抽出された前記第1の領域及び前記第2の領域と、前記表示領域情報に基づいて特定される前記第1の表示領域及び前記第2の表示領域とをそれぞれ比較し、比較結果に基づいて、前記表示対象物の画像における前記第1の領域のサイズを調整するための第1の調整倍率及び前記第2の領域のサイズを調整するための第2の調整倍率を算出する算出手段、
前記算出された第1の調整倍率及び第2の調整倍率に基づいて、前記表示対象物の画像における前記第1の領域及び前記第2の領域のそれぞれのサイズを個別に調整する調整手段、
前記調整された表示対象物の画像を前記表示手段に表示させる表示制御手段、 として機能させるためのプログラム。