(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-14
(45)【発行日】2022-03-23
(54)【発明の名称】画像表示制御装置、画像表示システム及びプログラム
(51)【国際特許分類】
H04N 5/74 20060101AFI20220315BHJP
G09G 5/00 20060101ALI20220315BHJP
G09G 5/36 20060101ALI20220315BHJP
G03B 21/14 20060101ALI20220315BHJP
G03B 21/00 20060101ALI20220315BHJP
G06F 3/04842 20220101ALI20220315BHJP
G06F 3/038 20130101ALI20220315BHJP
【FI】
H04N5/74 Z
G09G5/00 550C
G09G5/00 510B
G09G5/36 520P
G03B21/14 Z
G03B21/00 D
G06F3/0484 120
G06F3/038 310A
(21)【出願番号】P 2020131639
(22)【出願日】2020-08-03
(62)【分割の表示】P 2015118630の分割
【原出願日】2015-06-11
【審査請求日】2020-08-03
(73)【特許権者】
【識別番号】390039985
【氏名又は名称】パラマウントベッド株式会社
(74)【代理人】
【識別番号】100112335
【氏名又は名称】藤本 英介
(74)【代理人】
【識別番号】100101144
【氏名又は名称】神田 正義
(74)【代理人】
【識別番号】100101694
【氏名又は名称】宮尾 明茂
(74)【代理人】
【識別番号】100124774
【氏名又は名称】馬場 信幸
(72)【発明者】
【氏名】平井 栄太
(72)【発明者】
【氏名】田中 良
【審査官】長谷川 素直
(56)【参考文献】
【文献】特開2014-123277(JP,A)
【文献】国際公開第2011/158511(WO,A1)
【文献】特開2015-011404(JP,A)
【文献】特開2013-003848(JP,A)
【文献】国際公開第2012/077286(WO,A1)
【文献】特開2005-313291(JP,A)
【文献】特開2006-133252(JP,A)
【文献】特開2001-319217(JP,A)
【文献】特開2008-176096(JP,A)
【文献】特開2006-129288(JP,A)
【文献】特開2006-146719(JP,A)
【文献】特表2012-519922(JP,A)
【文献】特開2011-158534(JP,A)
【文献】特開2011-039844(JP,A)
【文献】特開2010-061063(JP,A)
【文献】特開2011-059528(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/74
G09G 5/00
G09G 5/36
G03B 21/00
G03B 21/14
G06F 3/04842
G06F 3/038
(57)【特許請求の範囲】
【請求項1】
対象者の各関節を特徴点として検出し、当該特徴点に基づいて認識される前記対象者の
向いている方向を、前記対象者の体の向き、
前記対象者の顔の向き又は前記対象者の視点の高さ及び前記対象者の顔の角度から
特定される前記対象者の視線の方向
のいずれかに基づいて、
前記対象者の特性
として判定する判定部と、
複数の位置のうち、前記判定部により判定された前記対象者の特性に対応する、前記対象者の
向いている方向に、画像を表示する制御を行う制御部と、
を備え
、
前記対象者の向いてる方向は前記対象者の視線の方向、前記対象者の顔の向き、前記対象者の体の向きの順に優先度が高く、
前記制御部は、前記対象者の視線の方向に画像を表示する場合は、当該対象者の視線が到達する位置に画像を表示することを特徴とする制御装置。
【請求項2】
可動可能なプロジェクタにより構成される表示部をさらに備え、
前記制御部は、前記表示部を可動させて前記画像の表示する位置を変更し、
前記制御部は、表示可能な領域を複数の領域に分割し、当該領域に前記画像を表示する制御を行うことを特徴とする請求項1に記載の制御装置。
【請求項3】
前記対象者の視線が到達する位置は、前記対象者の視点の高さに、前記対象者の鉛直方向の軸に対する前記対象者の顔の角度θ
としてtanθの逆数を乗じた位置とすることを特徴とする請求項1又は2に記載の制御装置。
【請求項4】
前記対象者の特性は、対象者の移動速度を含んでおり、
前記画像は、表示メッセージを含んでおり、
前記制御部は、前記判定部により判定された前記対象者の
移動速度に応じて、
同一の位置に対して異なる表示メッセージを選択して表示する制御を行うことを特徴とする請求項1から3の何れか一項に記載の制御装置。
【請求項5】
前記対象者の動作を動作情報として認識する認識部を更に有し、
前記認識部は、サーモグラフィまたは赤外線を用いて前記対象者の動作を認識し、
前記判定部は、更に前記動作情報を前記対象者の特性として判定することを特徴とする請求項1から4の何れか一項に記載の制御装置。
【請求項6】
複数の画像表示装置と、認識装置と、前記画像表示装置に画像を表示制御する制御装置とを含む画像表示システムにおいて、
前記制御装置は、
対象者の各関節を特徴点として検出し、当該特徴点に基づいて認識される前記対象者の
向いている方向を、前記対象者の体の向き、
前記対象者の顔の向き又は前記対象者の視点の高さ及び前記対象者の顔の角度から
特定される前記対象者の視線の方向
のいずれかに基づいて、
前記対象者の特性
として判定し、
複数の位置のうち、前記判定された前記対象者の特性に対応する、前記対象者の
向いている方向にある画像表示装置に、画像を表示する制御を行い、
前記対象者の向きは前記対象者の視線の方向、前記対象者の顔の向き、前記対象者の身体の向きの順に優先度が高く、
前記対象者の視線の方向に画像を表示する場合は、当該対象者の視線が到達する位置に画像を表示する
ことを特徴とする画像表示システム。
【請求項7】
コンピュータに、
対象者の各関節を特徴点として検出し、当該特徴点に基づいて認識される前記対象者の
向いている方向を、前記対象者の体の向き、
前記対象者の顔の向き又は前記対象者の視点の高さ及び前記対象者の顔の角度から
特定される前記対象者の視線の方向
のいずれかに基づいて、
前記対象者の特性
として判定する判定機能と、
複数の位置のうち、前記判定機能により判定された対象者の特性に対応する、前記対象者の
向いている方向に、画像を表示する制御を行う制御機能と、
を実現させるためのプログラムであって、
前記対象者の向いてる方向は前記対象者の視線の方向、前記対象者の顔の向き、前記対象者の身体の向きの順に優先度が高く、
前記制御機能は、前記対象者の視線の方向に画像を表示する場合は、当該対象者の視線が到達する位置に画像を表示することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示制御装置等に関する。
【背景技術】
【0002】
人を誘導するための手段として「看板」「警告ランプ」「マーク」等が存在する。最近では、この看板等において、大型液晶ディスプレイ等の画像表示装置を利用する事により様々な情報を表示する画像表示システムが知られている。
【0003】
このような画像表示システムを利用することにより、対象者(施設の利用者等)を誘導する仕組みが開示されている(例えば、特許文献1参照)。
【0004】
また、このような画像表示システムは、情報を必要としている対象者との関係で様々な発明が開示されている。例えば、対象者が存在するときだけ画像を表示させる発明や(例えば、特許文献2参照)、対象者が目視しているときだけ表示させる発明(例えば、特許文献3参照)等が知られている。
【0005】
また、水平方向に情報表示画面があり、その画面を2つの領域に予め分割しておき、センサにより表示装置の近傍にいる人の位置を判定し、当該近傍に複数の人がいる場合には、人数の多い方向から見て適切な向きになるように、映像情報を回転させて水平方向の情報表示画面上に表示する発明が開示されている(例えば、特許文献4参照)。
【先行技術文献】
【特許文献】
【0006】
【文献】特開平6-325265号公報
【文献】特開2002-278536号公報
【文献】特開2004-185139号公報
【文献】特開2011-192030号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
施設等において、対象者を誘導するためには様々な情報が表示される。例えば、対象者を誘導したり、案内したり、警告したりといった様々な情報が表示される。しかし、対象者として、施設等の利用者には様々な人がいる。例えば、大人と子供では視線の高さが違うため、大人には容易に認識できる情報が、子供だと見落としてしまうという問題点があった。
【0008】
また、上述した従来技術では、情報が表示される表示位置は予め決まっている。すなわち、画像表示装置を所定の位置に配置し、利用者はその画像表示装置に表示されている情報を見る必要がある。したがって、対象者が見ていた方向に表示されるものがなく、その表示に気がつかなかった場合は、適切に情報を提供できているとは言えなかった。
【0009】
また、表示される画像(メッセージ)は一律に表示されるため、例えば子供がみたときにメッセージを読むことが出来ないといった問題点を生じることがあった。
【0010】
上述した課題に鑑み、本発明が目的とするところは、対象者の特性に応じた位置に、特性に応じた内容の画像を表示することで、適切に情報を提示することができる画像表示制御装置等を提供することである。
【課題を解決するための手段】
【0011】
上述した課題を解決するために、本発明の画像表示制御装置は、
複数の表示位置に画像を表示可能な画像表示装置と、
対象者の特性を判定する特性判定手段と、
前記特性判定手段により判定された対象者の特性に対応する表示位置を判定する表示位置判定手段と、
前記表示位置判定手段により判定された表示位置に、画像を表示する/表示しないの制御を行う画像表示制御手段と、
を備えることを特徴とする。
【0012】
本発明の画像表示システムは、
複数の画像表示装置と、認識装置と、前記画像表示装置に画像を表示制御する制御装置とを含む画像表示システムにおいて、
前記制御装置は、
対象者の特性を判定し、
前記判定された対象者の特性から、画像を表示する画像表示装置を判定し、
前記判定された画像表示装置に、画像を表示する/表示しないの制御を行うことを特徴とする。
【0013】
本発明のプログラムは、
複数の表示位置に画像を表示可能な画像表示装置に接続されたコンピュータに、
対象者の特性を判定する特性判定機能と、
前記特性判定機能により判定された人の特性に対応する表示位置を判定する表示位置判定機能と、
前記表示位置判定機能により判定された表示位置に、画像を表示する/表示しないの制御を行う画像表示制御機能と、
を実現させることを特徴とする。
【発明の効果】
【0014】
本発明の画像表示制御装置は、複数の表示位置に画像を表示可能な画像表示装置に表示される画像の表示制御を行う装置であって、判定された人の特性に対応する表示位置に、画像を表示したり、表示しなかったりすることができる。したがって、対象者の大きさや、年齢、また対象者の動作といった特性に応じて、表示装置が選択されて画像を表示させることが可能となる。
【図面の簡単な説明】
【0015】
【
図1】第1実施形態における全体を説明するための図である。
【
図2】第1実施形態における機能構成を説明するための図である。
【
図3】第1実施形態における人体の認識方法について説明するための図である。
【
図4】第1実施形態における表示領域について説明するための図である。
【
図5】第1実施形態における表示装置及び表示領域の配置の一例を説明するための図である。
【
図6】第1実施形態における表示位置テーブルのデータ構成の一例である。
【
図7】第1実施形態における処理の一例を説明するためのフローチャートである。
【
図8】第1実施形態における適用例を説明するための図である。
【
図9】第2実施形態における表示位置テーブルのデータ構成の一例である。
【
図10】第2実施形態における処理の一例を説明するためのフローチャートである。
【
図11】第3実施形態における表示位置テーブルのデータ構成の一例である。
【
図12】第4実施形態における処理の一例を説明するためのフローチャートである。
【
図13】第4実施形態における表示位置テーブルのデータ構成の一例である。
【
図14】第4実施形態における表示位置テーブルのデータ構成の一例である。
【
図15】第5実施形態における表示位置テーブルのデータ構成の一例である。
【
図16】第5、6実施形態における適用例を説明するための図である。
【
図17】第6実施形態における処理の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【0016】
以下、図面を参照して本発明を実施するための最良の形態について説明する。以下の実施形態は、本発明の画像表示システムを適用した一例であり、発明の内容が、本実施形態に限定されるものではないのは勿論である。
【0017】
[1.第1実施形態]
[1.1 システム外観]
第1実施形態における画像表示システム1の全体について、
図1を用いて説明する。
図1に示すように、画像表示システム1は、利用者Pを認識する認識装置20と、画像を表示する画像表示装置30とを有しており、これらが制御装置10(画像表示制御装置)に接続されている。
【0018】
本実施形態では、画像表示装置30の一例として、画像表示装置32と、画像表示装置34とを有して構成されている。画像表示装置としては、例えば液晶等を利用したディスプレイであっても良いし、プロジェクタ等により画像を投影しても良い。
【0019】
ここで、本明細書において、画像を表示するとは、ディスプレイ等の画像表示装置に画像を表示することは勿論のこと、プロジェクタのような投影装置により画像を投影する動作も含むものとする。すなわち、プロジェクタが画像を投影することにより、画像を表示する画像表示装置として説明している。
【0020】
例えば、
図1の画像表示装置32は、ディスプレイであり、画像表示装置34はプロジェクタである。画像表示装置34は、表示位置として領域R30(R34)に画像を投影する。ここで、画像表示装置30は、1つであっても良いし、複数であっても良い。すなわち、複数の表示位置に表示可能な構成となっていれば良い。各装置の詳細については次の機能構成で説明する。
【0021】
更に、画像表示装置30は、可動可能に構成されていてもよい。例えば、プロジェクタの場合は、プロジェクタ取付部が可動するように構成されており、プロジェクタが投影する方向にレンズ方向を自在に稼動させることが可能となるように構成されても良い。また、ディスプレイの場合は、取付部が移動可能になっており、表示したい箇所に移動する構成としても良い。
【0022】
なお、本実施形態では、認識装置20と、画像表示装置30と、制御装置10とが同一の構内で接続されている(例えば、同一のネットワークに接続されていたり、USB接続といったローカル接続されていたりする)こととして説明するが、外部ネットワークを介して接続されていても良い。
【0023】
すなわち、制御装置10が、インターネットに接続されているサーバであり、サーバ上で処理を実行する。そして、インターネットを介して、認識装置20及び画像表示装置30が接続されることとしても良い。この場合、サーバ側の管理者は、離れた場所であっても複数の制御を行うことが可能となる。
【0024】
[1.2 機能構成]
続いて、本実施形態における画像表示システム1を構成する各装置の機能構成について
図2を用いて説明する。
【0025】
図2に示すように、制御装置10に、認識装置20と、一又は複数の画像表示装置30とが接続されている。
【0026】
また、制御装置10は、制御部110と、認識部120と、画像表示制御部130と、記憶部140とを備えて構成されている。
【0027】
制御部110は、制御装置10の全体を制御するための機能部である。制御部110は、記憶部140に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、例えばCPU(Central Processing Unit)等により構成されている。
【0028】
認識部120は、認識装置20により認識された利用者の人体に基づく情報を入力・処理するための機能部である。すなわち、認識装置20における空間内における人の動きをセンシングする技術(画像処理・サーモ・位置センサ・圧センサ)を利用し、対象者の特性を認識する機能部である。
【0029】
ここで、対象者(人)の特性とは、当該対象者の属性、動作を含む概念である。対象者の属性とは、当該対象者を認識装置20により判定可能なものであり、例えば身長、体格といったものである。さらに、人の大きさ、表情等を認識することにより、男女であったり、大人、子供であったり、白杖を持っているか、車いすを利用しているか、健常者であるか等を認識することができる。
【0030】
また、対象者の動作とは、対象者の動きを判定するものであり、対象者が動いている方向、速度であったり、対象者が起立しているか等の姿勢であったり、対象者の動きといったものを認識することができる。
【0031】
ここで、認識装置20及び認識部120が、空間内において人(人体)を認識する仕組みについて、
図3を用いて説明する。ここで、認識装置20としては種々の装置が考えられるが、一例としてマイクロソフト株式会社製のKinect(キネクト)(登録商標)を利用した方法について説明する。
【0032】
Kinectを利用する事により、人間の骨格をスティックピクチャとして捉えることができるようになる(
図3(a))。すなわち、人体の各関節の特徴点と、当該特徴点を結んだ線とがそれぞれ検出される。
【0033】
この特徴点に基づいて、人の顔の向きや、体の向きを認識することが可能となる。例えば、顔の向きや体の向きを求めるには、
図3(b)に示すように、各関節の特徴点をもちいて認識する。
図3(b)では、特徴点P01と、特徴点P02の(x、y、z)座標をそれぞれ検出する。そして、2つの座標を結ぶ直線と、基準面との角度を算出することにより、顔の向きを認識する。
【0034】
また、特徴点P03と、特徴点P04の(x、y、z)座標をそれぞれ検出し、特徴点P03と特徴点P04とを直線で結ぶ仮想線L01の位置から、体の方向(向きと傾き)を認識する。
【0035】
これにより、例えば、利用者の向いている方向から、画像を表示する領域を特定することができる。例えば、
図3(c)に示すように、特徴点P01と、特徴点P02から、中心軸に対しての角度が算出され、これにより顔の角度(利用者が向いている角度)θ1が算出される。
【0036】
また、人体の視点の高さL02(例えば、近似的に特徴点P02の高さ)と、顔の角度の法線方向L03とから、視線が地上線L04に到達する位置を求めることが可能となる(例えば、高さL02×arctanθ1)。そして、この位置を表示領域R01として、画像を表示することができる。
【0037】
なお、人体を認識する方法としては、他の方法であっても良い。例えば、カメラを用いた画像処理技術、サーモグラフィや赤外線を用いた認識技術であっても良いし、圧力センサを床に置き、足の方向と荷重方向で人を認識しても良い。また、視線検出技術を利用して、視線を検出しても良い。
【0038】
ここで、利用者P(人体)の向きの認識としては、視線の方向、顔の向き、体の向きの順に優先度が高くなっている。すなわち、視線の方向が認識できるのであれば視線の方向を、顔の向きを検出できるのであれば顔の方向を、そうで無ければ体の向きを認識する。これらを複数認識することとしても良いし、単独で方向を認識しても良い。
【0039】
続いて、画像表示制御部130は、接続されている一又は複数の画像表示装置30に対して、画像の表示を制御するための機能部である。ここで、表示される画像は、複数の表示位置に表示可能である。表示位置は、一の画像表示装置30が切り替え可能な表示領域により決定されるか、表示する画像表示装置を切り替えて決定することとなる。すなわち、表示領域と、画像表示装置とを組み合わせて、複数の表示位置が構成されればよい。
【0040】
ここで、画像表示装置30は、液晶ディスプレイや有機ELディスプレイといった表示装置や、プロジェクタといった投影装置といった画像を表示可能な装置である。なお、本実施形態における画像とは、文字や図形、写真といった静止画像は勿論のこと、動画像も含む概念である。
図2では、画像表示装置32と、画像表示装置34とが接続されている。
【0041】
ここで、画像表示装置30を利用した制御装置10の画像表示制御方法について、
図4及び
図5を用いて説明する。
図4は、画像表示装置30が、プロジェクタのように広い表示可能領域を有する場合の図である。
【0042】
すなわち、プロジェクタが表示可能領域として、領域R30が確保されている。この領域R30は、壁面や床面といったところに設定可能であり、表示可能領域であれば任意の表示領域を表示位置としてさせることが可能となる。例えば、表示領域R30a、表示領域R30b、表示領域R30cといった3つの領域を設定している場合、利用者Pが向いた方向である表示領域R30aに画像を表示することとなる。
【0043】
なお、表示可能領域については、例えば大型の液晶ディスプレイであれば、表示画面を複数の領域に分割することにより、同じように実現することが可能である。
【0044】
また、本実施形態では、
図4に示すように予め表示位置に対応する表示領域を設定してあるが、任意の座標としても良い。すなわち、表示領域の頂点座標、大きさ等を指定することにより、表示可能領域内の任意の位置を表示位置として設定してもよい。
【0045】
図5は、表示位置として、複数の画像表示装置や、表示領域を組み合わせて設定した場合の一例である。例えば、画像表示装置30として、プロジェクタである画像表示装置32、34が接続されており、更に液晶ディスプレイである画像表示装置36が接続されている。
【0046】
また、画像表示装置32は、表示領域R32a、表示領域R32bと複数の表示領域に表示可能であり、表示位置として、画像表示装置34は表示領域R34に画像を表示可能である。更に、画像表示装置36にも画像を表示可能となっている。すなわち、表示領域R32a、R32b、R34、画像表示装置36の4つの表示位置に画像が表示可能である。これにより、利用者Pが向いた方向にある表示位置に、適切に画像を表することが可能となる。
【0047】
記憶部140は、制御装置10の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部140は、例えば、半導体メモリや、HDD(Hard Disk Drive)等により構成されている。
【0048】
また、記憶部140には、表示位置テーブル142が記憶されている。ここで、表示位置テーブル142の一例を、
図6に示す。
【0049】
表示位置テーブル142は、対象者の特性(例えば、本実施形態では人体の属性)と、表示位置とを対応づけて記憶したテーブルである。例えば、人体属性が「160cm以上」の場合、表示位置がR32aとなっている。ここで、人体属性とは、認識された人体に関する情報である。例えば、本実施形態で示すように身長であったり、体格(例えば、「細身」等)であったりしてもよい。また、「男性」「女性」や、「子供」「大人」といった情報や、「帽子を被っている」といった情報で有っても良い。すなわち、制御装置10が、認識部120(認識装置20)を介して認識可能な情報であれば良い。
【0050】
また、表示位置テーブル142は、併せて表示位置を記憶しておいても良い。例えば、空間内の座標を設定し、当該空間内における表示位置がどこに設けられているかを座標で記憶する。これにより、例えば利用者Pが向いている方向に対応する表示位置を決定することが可能となり、当該表示位置に対応する画像表示装置30を特定することが可能となる。
【0051】
[1.3 処理の流れ]
続いて、本実施形態における処理の流れについて説明する。まず、人体が検知されると(ステップS102;Yes)、人体認識処理が実行される(ステップS104)。本実施形態では、人体認識処理により、関節等に対応する特徴点がそれぞれ検出され、人体の向き等が認識される。
【0052】
続いて、各特徴点が認識された後は、特性判定処理を実行する(ステップS106)。本実施形態においては、特性の一つとして人体の属性を判定し、主に身長を判定している。なお、最終的には身長が判定できれば良いため、例えば赤外線センサ等によって身長だけを認識可能な装置を利用しても良い。
【0053】
続いて、特性判定処理により判定された身長から、表示位置決定処理が実行される(ステップS108)。表示位置決定処理により、画像が表示される領域が決定される。そして、決定された表示領域に画像を表示する(ステップS110)。
【0054】
ここで、表示位置決定処理は、判定された利用者(人体)の身長に基づいて、表示位置を決定することができる。
【0055】
なお、人体認識処理(ステップS104)や、特性判定処理(ステップS106)を始めとする処理は、利用者を検知したタイミングで1回実行される場合もあれば、所定のタイマにて割込処理(例えば、3秒毎、5秒毎)によって随時実行されても良い。
【0056】
[1.4 適用例・効果]
例えば、
図8を例にして説明する。画像表示装置32は、表示領域R32a、表示領域R32bに対して画像を表示可能である。ここで、領域の切替えは、画像表示装置32が表示する領域を変化させても良いし、画像表示装置32が物理的に可動して表示領域を切り替えても良い。
【0057】
ここで、
図8(a)に示すように、利用者P1が検知エリアに入ると、身長がL1と判定される。例えば、L1が170cmの場合、表示領域R32aに画像を表示する。これにより、利用者P1の視線の位置に対応する表示領域R32aに画像が表示され、利用者は容易に視認することが可能となる。
【0058】
また、
図8(b)に示すように、利用者P2が検知エリアに入ると身長がL2と認識される。例えば、L2が150cmの場合、表示領域R32bに画像を表示する。これにより、利用者P2の視線の位置に対応する表示領域R32bに画像が表示され、利用者P2は容易に視認することが可能となる。
【0059】
このように、本実施形態によれば、判定された対象者の特性として、人体属性に応じて、画像の表示位置を変更することが可能となる。これは、例えば、身長が小さい利用者は子供であることが多く、そうすると大人が認識出来る位置に画像を表示しても視認しにくいといった課題を解決することができる。
【0060】
また、本実施形態では、人体属性(身長)の認識を説明の都合上2段階として説明したが、更に複数段階に設定しても良い。また、表示領域が可変(例えば座標により設定)される場合には、身長に基づいて座標を算出することにより、より適切な位置に画像を表示させることが可能となる。
【0061】
[2.第2実施形態]
続いて、第2実施形態について説明する。第2実施形態は、対象者の特性として判定された人体属性に基づいて、表示メッセージを変化させる場合の実施形態である。
【0062】
[2.1 機能構成]
まず、本実施形態における機能構成について説明する。本実施形態におけるシステム構成、機能構成は、第1実施形態と同様であるため、詳細な説明は省略する。第1実施形態と異なるのは、表示位置テーブル142に記憶されているデータ内容が
図9に示すように異なっている。
【0063】
図9は、本実施形態における表示位置テーブル142に記憶されているデータの一例である。
図9に示すように、人体属性に対応づけて(例えば、「大人」)、表示位置(例えば、「R32a」)と、表示メッセージ(例えば、「入場券をご用意下さい。」)とを対応づけて記憶している。
【0064】
なお、ここで表示メッセージとしては、文章や単語といった文言を表示させても良いし、記号や矢印のようなサインも含まれるものとする。また、アニメーション表示や、動画表示といった利用者に対して報知するものは含まれるものとする。
【0065】
ここで、「大人」「子供」の属性は、例えば身長により判定されてもよい。例えば、身長「160cm以上」を「大人」、身長「160cm未満」を「子供」と判定する。更に、顔認識処理の処理を実行することにより、より正確に「大人」「子供」と判定することとしても良い。また、第1実施形態と同様に、単純に身長等の人体属性に表示位置と、表示メッセージとを対応づけて記憶することとして良い。
【0066】
[2.2 処理の流れ]
続いて、本実施形態における処理の流れについて、
図10を説明する。
図10の処理は、第1実施形態における
図7を本実施形態に合わせた処理である。共通の処理には、共通の符号を付し、その説明を省略する。
【0067】
すなわち、ステップS108迄の処理を実行することで、人体認識処理により認識された利用者の人体属性に基づいて表示位置が決定されている。ここで、表示メッセージが決定される表示メッセージ決定処理が実行される(ステップS202)。そして、ステップS108において決定された表示位置、ステップS202において決定された表示メッセージに基づいて、ステップS110において表示される処理が実行される。
【0068】
[2.3 適用例・効果]
本実施形態の適用例について、
図8を用いて説明する。
図8(a)は、利用者P1が大人と判定された場合である。この場合、本実施形態における
図9の表示位置テーブル142を参照し、R32aの表示位置に、「入場券をご用意ください。」が表示メッセージとして表示される。
【0069】
また、
図8(b)は、利用者P2が子供と判定された場合である。この場合、本実施形態における
図9の表示位置テーブル142を参照し、R32bの表示位置に、「ほごしゃのかたといっしょにはいってね。」が表示メッセージとして表示される。
【0070】
このように、本実施形態によれば、対象者に応じて適切な位置に表示メッセージを含む画像が表示されるだけでなく、表示される画像の内容(表示メッセージの内容)を変えることも可能となる。
【0071】
これにより、人体属性に応じたメッセージを表示させることが可能となる。例えば、子供の場合であれば、メッセージ内容を子供にあった表記(例えば平仮名表記)を行うことで、より適切にメッセージを伝えることが可能となる。
【0072】
[3.第3実施形態]
続いて、第3実施形態について説明する。第3実施形態は、第2実施形態において、必要に応じて表示メッセージを表示させる実施形態について説明する。
【0073】
すなわち、
図10の動作フローにおいて、ステップS106において判定された特性(人体属性)に対応する表示メッセージが、表示位置テーブル142に記憶されている場合、すなわち条件に合致した場合のみ画像(表示メッセージ)を出力する。
【0074】
図11に本実施形態における表示位置テーブル142を示す。例えば、人体属性として「着帽」の場合、表示位置(例えば、「R32」)と、表示メッセージ(例えば、「帽子を取ってください。」)とが記憶されている。
【0075】
この場合、人体属性として帽子を被っている人(着帽)が認識された場合のみ、当該メッセージを表示する。なお、複数の人体属性が記憶されている場合は、該当したメッセージを結合して画像として出力しても良いし、優先度の高いメッセージのみを出力しても良い。
【0076】
また、表示位置は複数指定しても良い。例えば、
図11に示すように140cm未満の人と判定された場合に、「この乗り物には乗れません!」と警告を表示する。このとき、例えば表示位置をR32a、R32bと指定することにより、複数の表示位置に表示メッセージ(画像)を表示することが可能となる。
【0077】
また、画面に効果を付したり(例えば、画面が点滅する、文字が大きく表示される)、音を出力したりするといった、表示効果を併せて記憶しても良い。
【0078】
[4.第4実施形態]
続いて、第4実施形態について説明する。第4実施形態は、第2実施形態において、特性として更に人の動きである動作を認識し、動作に合わせて表示メッセージや表示位置を変更するといった実施形態である。
【0079】
本実施形態の動作フローを
図12に示す。
図12の動作フローは、
図10に示した第2実施形態の動作フローに、ステップS302を加えたものである。なお、共通の処理には同一の符号を付しており、その説明を省略する。
【0080】
ここで、動作認識処理(ステップS302)は、対象者の動作を動作情報として認識する処理である。例えば、本実施形態においては、対象者の移動速度、移動方向を動作情報として認識している。これは人体認識処理(ステップS104)において認識されている情報に基づいて算出されるものである。なお、人体認識処理(ステップS104)や、動作認識処理(ステップS302)は、所定のタイマにより、繰り返し実行される処理である。例えば、0.5秒毎、1秒毎に実行されたり、動作検知されたタイミングにて割込処理が実行されることにより実行されたりする処理である。
【0081】
そして、認識された人体属性や、動作情報が、対象者の特性として判定される(ステップS106)。
【0082】
図13に本実施形態における表示位置テーブル142を示す。例えば、特性の一例として動作情報である移動速度(例えば、「0km/h~5km/h」)と、表示位置(例えば「R32a」)と、表示メッセージ(例えば、「いらっしゃいませ!」)とが対応づけて記憶されている。
【0083】
これにより、例えば表示領域R32aに近づいてきているときにメッセージを表示するが、速度に応じたメッセージ(例えば、速過ぎるために「慌てずご入場ください。」と表示し、注意喚起を行うメッセージ)を表示させたり、逆方向に動作している(移動速度がマイナスであるため、移動方向が逆であると認識する)ために退場のメッセージ(例えば、「ありがとうございました。」)を異なる表示位置(R34)に表示させたりするといったことも可能となる。
【0084】
また、併せて
図14に示すように、特性として、人体属性を組み合わせて記憶させることにより、例えば当該メッセージを更に人体属性に基づいて異なるメッセージを表示させても良い。
【0085】
具体的には、対象者の特性として「大人」「移動速度が5km/h以上」と判定された場合には「慌てずご入場ください。」と表示される。また、対象者の特性として「子供」「移動速度が5km/h以上」と判定された場合には「はしったら あぶないよ!」と表示される。
【0086】
このように、対象者が子供の場合、例えば「慌てずご入場ください。」と表示してしまうと、対象者である子供は読めない(または瞬時に判断出来ない)場合がある。しかし、判定された対象者の特性に応じて「はしったら あぶないよ!」とメッセージを表示することにより、対象者に対して適切なメッセージを表示することが可能となる。
【0087】
[5.第5実施形態]
続いて、第5実施形態について説明する。第5実施形態は、第1実施形態、第4実施形態において、更に対象者の特性として視線の方向を認識した場合についての実施形態について説明する。
【0088】
すなわち、
図12の動作認識処理(ステップS302)において、利用者の向いている方向を認識する。そして、利用者の向いている方向の表示領域にメッセージ(画像)を表示する。
【0089】
図15に、本実施形態における表示位置テーブル142を示す。例えば、特性として、対象者の人体属性と、当該対象者の視線の方向とに対応づけて画像表示装置と、表示領域とを対応して記憶している。なお、
図15には示していないが表示メッセージをそれぞれ記憶しても良い。
【0090】
例えば、
図16に示すように、利用者P1の人体属性が160cm未満であり、向いている方向がX1方向であれば、画像表示装置32の表示領域R32bにメッセージ(画像)が表示される。また、利用者P2の人体属性が160cm以上であり、向いている方向がX3方向であれば、画像表示装置34(表示領域R34)にメッセージ(画像)が表示される。
【0091】
このように、本実施形態によれば、適切な位置にメッセージが表示されることとなる。また、更にメッセージ内容を記憶することにより、利用者に適切なメッセージを適切な位置に表示させることが可能となる。
【0092】
[6.第6実施形態]
続いて、第6実施形態について説明する。第6実施形態は、複数の利用者を検出した場合の実施形態である。例えば、
図16は、利用者P1、P2を用いて説明したが、これが同じエリアにいた場合の実施形態である。ここで、認識装置20、認識部120は、複数の利用者(人間)を検出することが出来る。
【0093】
本実施形態においては、利用者P1、P2のそれぞれの特性(例えば、人体属性、動作情報)を検出する。これにより、利用者P1が見るメッセージ(画像)をR32aに、利用者P2が見るメッセージ(画像)をR34にそれぞれ表示する。なお、上述したKinectを用いた場合には、同時に6人まで検知することが出来る。
【0094】
図17の動作フローにおいて、まず、人体が検知されると(ステップS102;Yes)、人体認識処理が実行される(ステップS104)。ここで、他に検知される人体があれば、全ての人体認識処理を行う(ステップS402;Yes→ステップS104)。
【0095】
検知された全ての人体が認識されると(ステップS402;No)、検知された全ての人体の動作認識処理が実行される(ステップS404)。そして、認識された人体と、動作情報とに基づいて、全ての対象者の特性判定処理が実行される(ステップS406)。ここで、全ての対象者について、特性(人体属性、動作情報)が求められる。
【0096】
次に、判定された特性(人体属性、動作情報)に基づいて、表示位置が決定される(ステップS108)。決定された表示位置に基づいて、画像(メッセージ)を表示する(ステップS110)。この画像を表示する処理は、検知された人体分行われる(ステップS408;Yes)。そして、全ての処理が終了したら、本処理を終了する(ステップS408;No)。
【0097】
なお、この処理は一回実行されても良いし、複数回実行されても良い。すなわち、ループ処理として繰り返し実行されても良いし、タイマを用いて定期的に実行されても良い。また、ステップS110で表示する画面は利用者に応じた画面を表示することとしても良い。
【0098】
また、対象者の特性としては、一つ(例えば、人体属性のみ)だけの処理であっても良い。
【0099】
[7.第7実施形態]
続いて第7実施形態について説明する。上述した実施形態は表示位置を変更する実施形態を説明したが、第7実施形態は、メッセージを出力する手段を変更する実施形態について説明する。
【0100】
具体的には、特性判定処理において特別な特性(特別属性)を認識した場合には、表示位置を決定せず、例えばスピーカ等の表示手段以外の報知手段を選択する。そして、例えば、
図7のステップS110の表示の代わりに、報知手段によりメッセージ内容を報知する。
【0101】
例えば、白杖を特別属性として判定すると、利用者が視覚障害者であると判定する。この場合は、表示するのに変えて(又は同時に)スピーカによりメッセージを音声出力する。
【0102】
[8.変形例]
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。
【0103】
なお、上述した各実施形態は、説明の都合上処理を分けて説明しているが、可能な範囲で組み合わせて動作させても良い事は勿論である。
【0104】
また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、CPU等を制御するプログラム(コンピュータを機能させるプログラム)である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置(例えば、RAM)に蓄積され、その後、各種ROMやHDDの記憶装置に格納され、必要に応じてCPUによって読み出し、修正・書き込みが行われる。
【0105】
ここで、プログラムを格納する記録媒体としては、半導体媒体(例えば、ROMや、不揮発性のメモリカード等)、光記録媒体・光磁気記録媒体(例えば、DVD(Digital Versatile Disc)、MO(Magneto Optical Disc)、CD(Compact Disc)、BD等)、磁気記録媒体(例えば、磁気テープ、フレキシブルディスク等)等の何れであってもよい。また、ロードしたプログラムを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本発明の機能が実現される場合もある。
【0106】
また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバの記憶装置も本発明に含まれるのは勿論である。
【0107】
また、上述した実施形態における各装置の一部又は全部を典型的には集積回路であるLSI(Large Scale Integration)として実現してもよい。各装置の各機能ブロックは個別にチップ化してもよいし、一部又は全部を集積してチップ化してもよい。また、集積回路化の手法はLSIに限らず専用回路又は汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能であることは勿論である。
【符号の説明】
【0108】
1 :画像表示システム
10 :制御装置
110 :制御部
120 :認識部
130 :画像表示制御部
140 :記憶部
142 :表示位置テーブル
20 :認識装置
30~36 :画像表示装置