特許 7064107 映像表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-26

(45)【発行日】2022-05-10

(54)【発明の名称】映像表示システム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20220427BHJP

   G09G 5/00 20060101ALI20220427BHJP

   G09G 5/38 20060101ALI20220427BHJP

   G06Q 30/02 20120101ALI20220427BHJP

   G06F 3/0488 20220101ALI20220427BHJP

【ＦＩ】

G06F3/01 570

G09G5/00 550C

G09G5/38 A

G09G5/00 510Q

G06Q30/02 380

G06F3/0488

【請求項の数】 15

(21)【出願番号】P 2018092174

(22)【出願日】2018-05-11

(65)【公開番号】P2019197474

(43)【公開日】2019-11-14

【審査請求日】2021-02-08

(73)【特許権者】

【識別番号】000222118

【氏名又は名称】東洋インキＳＣホールディングス株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(74)【代理人】

【識別番号】100124936

【弁理士】

【氏名又は名称】秦 恵子

(73)【特許権者】

【識別番号】711004506

【氏名又は名称】トーヨーケム株式会社

(72)【発明者】

【氏名】丸山 健二郎

(72)【発明者】

【氏名】池上 智紀

(72)【発明者】

【氏名】秦野 望

【審査官】三吉 翔子

(56)【参考文献】

【文献】特開２００５－３０９５３７（ＪＰ，Ａ）

【文献】特開２０１５－００１８７９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／００３９２５９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３８

Ｇ０６Ｑ ３０／００

Ｇ０６Ｆ ３／０４８

(57)【特許請求の範囲】

【請求項1】

圧力を検出する複数の検出セルが行方向及び列方向にマトリックス状に配置されたセンサパネルと、
前記複数の検出セルで検出された圧力に基づいて前記センサパネルの上を移動している人の動きを特定する処理装置と、
前記処理装置で特定された前記人の動きに応じて所定の情報を表示する表示装置と、を備え、
前記処理装置は、前記人の動きを継続的に特定することで求めた前記人の移動距離を用いて前記人の運動量を算出し、
前記表示装置は、前記人の運動量に対応した情報を表示し、
前記処理装置は、複数の人の運動量を算出可能に構成されており、
前記表示装置は、前記複数の人の運動量と、前記複数の人の運動量に応じた順位を特定するための情報とを表示する、
映像表示システム。

【請求項2】

圧力を検出する複数の検出セルが行方向及び列方向にマトリックス状に配置されたセンサパネルと、
前記複数の検出セルで検出された圧力に基づいて前記センサパネルの上を移動している人の動きを特定する処理装置と、
前記処理装置で特定された前記人の動きに応じて所定の情報を表示する表示装置と、を備え、
前記処理装置は、前記人の動きを継続的に特定することで求めた前記人の移動距離を用いて前記人の運動量を算出し、
前記表示装置は、前記人の運動量に対応した情報を表示し、
前記処理装置は、複数の人の運動量を算出し、前記センサパネル上の領域ごとに運動量を積算可能に構成されており、
前記表示装置は、前記センサパネル上の領域ごとに積算された運動量と、当該運動量に応じた前記センサパネル上の領域ごとの順位を特定するための情報とを表示する、
映像表示システム。

【請求項3】

前記処理装置は、前記人が前記センサパネルの上を移動した際に前記人が前記検出セルを踏んだ回数を用いて前記人の運動量を算出し、
前記表示装置は、前記人の運動量に対応した情報を表示する、
請求項１または２に記載の映像表示システム。

【請求項4】

前記表示装置は、前記センサパネル上、前記センサパネルの近傍若しくは遠方の壁、及び前記センサパネルの近傍若しくは遠方に設けられたディスプレイの少なくとも一つに前記所定の情報を表示する、請求項１～３のいずれか一項に記載の映像表示システム。

【請求項5】

前記表示装置が前記人の動きに応じて前記所定の情報を表示する際に、所定の効果音または所定の音声情報を発生する音声発生装置をさらに備える、請求項１～４のいずれか一項に記載の映像表示システム。

【請求項6】

空間における前記人の動きを検出するセンサを更に備え、
前記処理装置は、前記複数の検出セルの検出結果に加えて、前記センサで検出した前記空間における前記人の動きを用いて、前記人の動きを特定する、
請求項１～５のいずれか一項に記載の映像表示システム。

【請求項7】

圧力を検出する複数の検出セルが行方向及び列方向にマトリックス状に配置されたセンサパネルと、
前記複数の検出セルで検出された圧力に基づいて前記センサパネルの上を移動している人の動きを特定する処理装置と、
前記処理装置で特定された前記人の動きに応じて所定の情報を表示する表示装置と、を備え、
前記処理装置は、前記人の動きとして前記人の移動方向を特定可能に構成されており、
前記処理装置は、
前記複数の検出セルが圧力を検出した場合、前記複数の検出セルが圧力を検出した第１の検出領域が人の第１の足に対応するか否かを判定する第１の処理と、
前記第１の処理において前記第１の検出領域が前記第１の足に対応すると判定された場合、前記第１の検出領域における前記圧力を検出した検出セルの中心点の経時的な移動方向に基づいて前記第１の足の接地方向を決定する第２の処理と、
前記第１の検出領域とは異なる領域であって、当該第１の検出領域を基準として所定の範囲内において前記複数の検出セルが圧力を検出した場合、前記複数の検出セルが圧力を検出した第２の検出領域が前記人の第２の足に対応するか否かを判定する第３の処理と、
前記第３の処理において前記第２の検出領域が前記第２の足に対応すると判定された場合、前記第２の検出領域における前記圧力を検出した検出セルの中心点の経時的な移動方向に基づいて前記第２の足の接地方向を決定する第４の処理と、
前記第１の足の接地方向および前記第２の足の接地方向を用いて前記人の移動方向を特定する第５の処理と、を実行することで前記人の移動方向を特定する、
映像表示システム。

【請求項8】

前記処理装置は、前記第５の処理において、前記第１の足の接地方向に対する前記第２の足の接地方向が所定の基準角度の範囲内である場合、前記人の移動方向が変化したと判定する、請求項７に記載の映像表示システム。

【請求項9】

前記処理装置は、
前記第５の処理の後、前記複数の検出セルが圧力を検出した第３の検出領域が人の前記第１の足に対応するか否かを判定する第６の処理と、
前記第６の処理において前記第３の検出領域が前記第１の足に対応すると判定された場合、前記第３の検出領域における前記圧力を検出した検出セルの中心点の経時的な移動方向に基づいて前記第１の足の接地方向を決定する第７の処理と、を実行し、
前記第４の処理で決定された前記第２の足の接地方向および前記第７の処理で決定された前記第１の足の接地方向を用いて前記人の移動方向を特定する、
請求項７または８に記載の映像表示システム。

【請求項10】

前記処理装置は、前記第２の処理において決定された前記第１の足の接地方向に対して、前記第４の処理において決定された前記第２の足の接地方向が略逆向きである場合、前記人が立ち止まったと判定する、請求項７に記載の映像表示システム。

【請求項11】

前記処理装置は、前記人が立ち止まったと判定された場合、前記第５の処理において、前記第１の足の接地方向と前記第２の足の接地方向を反転した方向と用いて、前記人が向いている方向を特定する、請求項１０に記載の映像表示システム。

【請求項12】

前記処理装置は、前記第１及び第２の検出領域における前記圧力を検出した検出セルの中心点の移動速度を用いて前記人の移動速度を求める、請求項７に記載の映像表示システム。

【請求項13】

前記処理装置は、前記複数の検出セルが圧力を検出した前記第１及び第２の検出領域の大きさが、人の足長に対応した所定の基準値の範囲内の場合、前記第１及び第２の検出領域が前記人の前記第１及び第２の足に対応すると判定する、請求項７～１２のいずれか一項に記載の映像表示システム。

【請求項14】

前記第１及び第２の検出領域をグルーピングし、当該グルーピングされた前記第１及び第２の検出領域を一人分としてカウントすることで、前記センサパネルの上に存在している人の数をカウントする、請求項７～１３のいずれか一項に記載の映像表示システム。

【請求項15】

前記第１及び第２の検出領域は、前記圧力を検出した検出セルの領域を拡張することで決定される、請求項７～１４のいずれか一項に記載の映像表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は映像表示システムに関し、特にセンサパネルを用いて人の動きを検出し、当該検出した人の動きに応じて所定の情報を表示する映像表示システムに関する。

【背景技術】

【0002】

近年、圧力を検出する複数の検出セルがマトリックス状に配置されたセンサパネルが様々な分野で用いられている。例えば、特許文献１には、感圧センサ装置を床に設置することで、感圧センサ装置の上を通過する人の数や移動方向などを把握する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２－７９１４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述したように、圧力を検出する複数の検出セルがマトリックス状に配置されたセンサパネルは、様々な分野において応用されている。また近年では、映像を表示する表示装置の技術も発展しており、センサパネルと表示装置とを用いることで、従来よりも利便性の高い映像表示システムを提供することが期待されている。

【0005】

本発明の目的は、利便性の高い映像表示システムを提供することである。

【課題を解決するための手段】

【0006】

本発明の一態様にかかる映像表示システムは、圧力を検出する複数の検出セルが行方向及び列方向にマトリックス状に配置されたセンサパネルと、前記複数の検出セルで検出された圧力に基づいて前記センサパネルの上を移動している人の動きを特定する処理装置と、前記処理装置で特定された前記人の動きに応じて所定の情報を表示する表示装置と、を備える。

【発明の効果】

【0007】

本発明により、利便性の高い映像表示システムを提供することができる。

【図面の簡単な説明】

【0008】

【図1】実施の形態にかかる映像表示システムを説明するための図である。

【図2】センサパネルが備える検出セルを示す断面図である。

【図3】図２に示す検出セルに圧力が印加された状態を示す断面図である。

【図4】センサパネルが備える検出セルの他の構成例を示す断面図である。

【図5】実施の形態にかかる映像表示システムの応用例を説明するための図である。

【図6】実施の形態にかかる映像表示システムの応用例を説明するための図である。

【図7】実施の形態にかかる映像表示システムの応用例を説明するための図である。

【図8】実施の形態にかかる映像表示システムの応用例を説明するための図である。

【図9】実施の形態にかかる映像表示システムの応用例を説明するための図である。

【図10】センサパネルを用いた移動方向特定方法を説明するための図である。

【図11】センサパネルを用いた移動方向特定方法を説明するための図である。

【図12】センサパネルを用いた移動方向特定方法を説明するためのフローチャートである。

【図13】センサパネルを用いた移動方向特定方法を説明するための図である。

【図14】センサパネルを用いた移動方向特定方法を説明するための図である。

【図15】センサパネルを用いた移動方向特定方法を説明するための図である。

【図16】センサパネルを用いた移動方向特定方法を説明するための図である。

【図17】センサパネルを用いた移動方向特定方法における事前処理を説明するための図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して本発明の実施の形態について説明する。

【0010】

＜映像表示システムの構成＞
図１は、実施の形態にかかる映像表示システムを説明するためのブロック図である。図１に示すように、本実施の形態にかかる映像表示システム１は、センサパネル５、処理装置８、及び表示装置９を備える。センサパネル５は、圧力を検出する複数の検出セル１０が行方向及び列方向にマトリックス状に配置されている。なお、行方向および列方向に設ける検出セル１０の数は任意に決定することができる。

【0011】

図２は、センサパネル５が備える検出セル１０を示す断面図である。図２に示すように、検出セル１０は、基板１１上に形成されている。基板１１は、プリント配線基板等のリジッド基板のほか、フィルム等のフレキシブル基板を用いて構成することができる。基板１１の上面には、互いに近接するように配置された下部電極１２、１３が設けられている。下部電極１２、１３の材料には、例えば銅やアルミニウムなどの金属材料や、カーボンブラックやグラファイトなどの炭素系材料を用いることができる。下部電極１２、１３は、例えば印刷工程を用いて基板１１に形成してもよい。また、例えば、下部電極１２、１３を印刷したフィルムを基板１１に貼り合わせて形成してもよい。下部電極１２には、駆動電圧が供給される。

【0012】

基板１１の上部にはフィルム１５が配置されている。基板１１とフィルム１５との間にはスペーサ１７が設けられている。スペーサ１７は、検出セル１０の行方向の両側（換言すると、下部電極１２、１３の両側）に各々配置されている。スペーサ１７を設けることで、基板１１とフィルム１５とを離間して配置することができる。また、フィルム１５の下面には上部電極１４が形成されている。上部電極１４は、下部電極１２、１３と対向するように配置されている。

【0013】

図３は、図２に示す検出セル１０に圧力が印加された状態を示す断面図である。図３に示すように、センサパネル５は、各々の検出セル１０の上面に応力Ｆ１が印加された際に、上部電極１４が下部電極１２、１３に接触することで圧力を検出するように構成されている。つまり、各々の検出セル１０の下部電極１２には駆動電圧が供給されており、フィルム１５が基板１１に近づく方向に変位して上部電極１４が下部電極１２、１３に接触して下部電極１２、１３が導通状態となり、下部電極１３に駆動電圧が印加されることを検出することで、圧力を検出するように構成されている。

【0014】

なお、図２、図３に示した各々の検出セル１０の構成は一例であり、本実施の形態では、例えば、圧電素子や感圧素子、静電容量素子を用いて検出セル１０を構成してもよい。つまり、本実施の形態では、圧力を検出する検出セル１０がマトリックス状に複数配置されていればよく、各々の検出セルが圧力を検出する方式については特に限定されることはない。

【0015】

図４は、検出セルの他の構成例を説明する断面図であり、静電容量素子を用いて検出セルを構成した場合を説明するための図である。図４に示す検出セル１０ａは、第１導電層１５０、誘電層１５１、第２導電層１５２、及び絶縁層１５３、１５４を備える。

【0016】

第１導電層１５０、及び第２導電層１５２は、電気を導通する導電体の膜で構成される。例えば、第１導電層１５０、及び第２導電層１５２は、導電性インキにより形成された導電層や金属層で構成されることが好ましい。

【0017】

誘電層１５１は、誘電体の膜で構成される。例えば、誘電層１５１は、絶縁性物質の膜で構成されても良い。誘電層１５１は弾性を有する弾性体であることが好ましく、例えば、気泡を含む樹脂層で構成されることが好ましい。また、気泡を有しない場合としては、天然ゴム、合成ゴム等の利用が考えられる。

【0018】

絶縁層１５３、１５４はそれぞれ、第１導電層１５０、及び第２導電層１５２を保護するために設けられている。例えば、絶縁層１５３、１５４は、絶縁性の膜で構成されることが好ましい。

【0019】

図４に示す検出セル１０ａは、第１導電層１５０と第２導電層１５２との間に誘電層１５１を備えるので、第１導電層１５０と第２導電層１５２との間に静電容量が発生する。すなわち、検出セル１０ａはコンデンサを構成している。ここで、コンデンサの静電容量は、第１導電層１５０と第２導電層１５２との距離（換言すると誘電層１５１の厚さ）に依存するので、検出セル１０ａが踏まれていない状態と踏まれている状態とで検出セル１０ａの静電容量が変化する。具体的には、検出セル１０ａの静電容量は誘電層１５１の厚さに反比例するので、検出セル１０ａが踏まれると誘電層１５１の厚さが減少し、検出セル１０ａの静電容量が上昇する。よって、検出セル１０ａの第１導電層１５０と第２導電層１５２との間の静電容量を測定することで、センサパネル５が踏まれたことを検出することができる。

【0020】

処理装置８は、センサパネル５の出力（つまり、センサパネル５で検出された圧力）に基づいて人の動きを特定する回路である。例えば、処理装置８は、プロセッサやメモリなどを備えており、プロセッサにおいてプログラムを実行することで、人の動きを特定する処理を実施することができる。また、処理装置８は、映像表示システム１の制御に必要な様々な処理を実施可能に構成されている。メモリには、プロセッサにおいてプログラムを実行することで、圧力のほか、圧力を検出したセルの位置及び検出した時間に基づき、人の動きを特定する処理、及び映像表示システム１の制御を実施するためのプログラムや所定のデータが格納されている。人の動き（移動方向）を特定するための処理の詳細については後述する。

【0021】

表示装置９は、処理装置８で特定された人の動きに応じて所定の情報を表示する。例えば、表示装置９は、センサパネル５の上に映像を投影するプロジェクタである。また、表示装置９は、センサパネル５の近傍に設けられたスクリーンや壁に映像を投影するプロジェクタであってもよいし、センサパネル５から遠方に設けられたスクリーンや壁に映像を投影するプロジェクタであってもよい。更に、表示装置９は、センサパネル５の近傍に設けられたディスプレイパネルであってもよいし、センサパネル５から遠方に設けられたディスプレイパネルであってもよい。また、これらのプロジェクタとディスプレイパネルとを組み合わせたものであってもよい。更に、表示装置９は、透明なディスプレイ表示装置であってもよく、この場合は、透明なディスプレイ表示装置がセンサパネル５と一体化されていてもよい。

【0022】

表示装置９が表示する所定の情報は、本実施の形態にかかる映像表示システム１を利用する利用状況に応じて任意に決定することができる。

【0023】

また、本実施の形態にかかる映像表示システムでは、空間における人の動き（空間情報）を検出するセンサを更に用いて人の動きを検出し、この検出した空間情報と、センサパネル５で検出した人の動きの情報とを用いて、人の動きを特定してもよい。このように空間情報を検出するセンサを更に用いることで、人の動きを精度よく特定することができる。空間における人の動きを検出するセンサには、例えば、カメラ、赤外線センサ、静電容量センサ等を用いることができる。

【0024】

次に、映像表示システム１の応用例について具体的に説明する。

【0025】

＜応用例１：軌跡表示＞
図５は、本実施の形態にかかる映像表示システムの応用例を説明するための図であり、センサパネル５の上を人が移動した際、表示装置９が人の移動の軌跡２１２、２１７をセンサパネル５上に表示している例を示している。

【0026】

センサパネル５の上を人が移動すると、人の足によってセンサパネル５が踏まれて、各々の検出セル１０（図１参照）が圧力を検出する。処理装置８は、各々の検出セル１０で検出された圧力に基づいて、センサパネル５の上を移動している人の動きを特定する。このとき処理装置８は、人の動きを継続的に特定することで、人の移動の軌跡を求めることができる。そして、表示装置９は、このようにして求めた軌跡に対応する情報をセンサパネル５上に表示する。なお、前記人は、複数人であってもよい。

【0027】

具体的に説明すると、図５に示すように、処理装置８は、人の足２１０、２１５（破線の足は過去の足跡を示す）を検出すると、この検出した足２１０、２１５を用いて、各々の人の移動方向を継続的に特定する。このように継続的に人の移動方向を特定することで、人の移動の軌跡を求めることができる。なお、足（実線）２１１、２１６は、各々の人の現在の足の位置を示している。そして、表示装置９は、各々の人が移動した軌跡２１２、２１７をセンサパネル５上に表示する。

【0028】

図５では、表示装置９が表示する軌跡に対応する情報として、実線の軌跡２１２、２１７を例示しているが、表示装置９が表示する軌跡２１２、２１７はどのような形状であってもよい。例えば、人が移動した後をキャラクターが追いかけるように軌跡を表示してもよい。また、センサパネル５上に表示する軌跡は、人が移動した全ての軌跡を表示するようにしてもよく、また人が移動した軌跡の一部のみを表示するようにしてもよい。また、人の移動速度に応じて表示する軌跡を変更してもよい。例えば、人の移動速度が速い場合には、人の後に表示されるキャラクターの数が多くなるように軌跡を表示し、人の移動速度が遅い場合には、人の後に表示されるキャラクターの数が少なくなるように軌跡を表示してもよい。

【0029】

またこのとき、表示装置９が表示する軌跡２１２、２１７に応じて、効果音を発生するようにしてもよい。効果音は音声発生装置（不図示）から出力される。例えば、人の足を検出したタイミングで効果音を発生させる（つまり、センサパネル５を踏む度に足音が鳴る）ようにしてもよい。このとき、人の移動速度に応じて効果音を変更してもよい。例えば、人の移動速度が速い場合には効果音として高い音を鳴らし、人の移動速度が遅い場合には効果音として低い音を鳴らすようにしてもよい。

【0030】

また、上述した応用例１では、空間における人の動き（空間情報）を検出するセンサ（カメラ、赤外線センサ、静電容量センサ等）を更に用いて人の動きを検出してもよい。例えば、取得した空間情報を用いて、キャラクターの数や動きを変化させたり、効果音を変更したり音量や音質を変更したりしてもよい。例えば、空間情報を取得することで、センサパネル５の上を動いている人が大人であるのか子供であるのかを検出したり、センサパネル５の上を動いている人の性別を検出したりすることができるので、このような情報に応じて、表示するキャラクターの種類や効果音を変更してもよい。

【0031】

なお、図５では、人の移動の軌跡をセンサパネル５上に表示している例を示したが、本実施の形態にかかる映像表示システムでは、プロジェクタを用いてセンサパネル５の近傍に設けられたスクリーンや壁に人の移動の軌跡を投影してもよい。また、センサパネル５の近傍に設けられたディスプレイパネルに人の移動の軌跡を表示してもよい。また、センサパネル５から遠方に設けられたスクリーンや壁に人の移動の軌跡を投影してもよく、センサパネル５から遠方に設けられたディスプレイパネルに人の移動の軌跡を表示してもよい。

【0032】

＜応用例２：運動量表示＞
図６は、本実施の形態にかかる映像表示システムの応用例を説明するための図であり、センサパネル５の上を人が移動した際、表示装置９が人の運動量に対応した情報をセンサパネル５に表示する例を示している。

【0033】

図６に示すように、センサパネル５の上を人が移動すると、人の足によってセンサパネル５が踏まれて、各々の検出セル１０が圧力を検出する。処理装置８は、各々の検出セル１０で検出された圧力に基づいて、センサパネル５の上を移動している人の動きを特定する。このとき処理装置８は、人の動きを継続的に特定することで求めた人の移動距離を用いて、人の運動量を算出することができる。また、処理装置８は、人がセンサパネル５の上を移動した際に人が検出セル１０を踏んだ回数（すなわち、人が検出セル１０を踏んだ回数の積算値）を用いて人の運動量を算出してもよい。また、処理装置８は、上述のようにして求めた人の移動距離と人が検出セル１０を踏んだ回数とを用いて、人の運動量を算出してもよい。表示装置９は、このようにして求めた運動量に対応した情報をセンサパネル５上に表示する。

【0034】

図６に示す例では、処理装置８は複数の人の運動量を算出している。そして、表示装置９は、複数の人のうち最も運動量が多い人を特定するための情報２２４をセンサパネル５上に表示している。ここで、符号２２０は、Ａさんの移動の軌跡を示しており、このときの移動距離はＡさんの運動量に対応している。足２２２はＡさんの現在の位置を示している。また、符号２２１は、Ｂさんの移動の軌跡を示しており、このときの移動距離はＢさんの運動量に対応している。足２２３はＢさんの現在の位置を示している。図６に示す例では、Ａさんの運動量（符号２２０に対応）のほうがＢさんの運動量（符号２２１に対応）よりも多いので、表示装置９は、Ａさんを特定するための情報２２４（図６に示す例では円状のマーク）を表示している。

【0035】

図６に示す例では、ＡさんとＢさんの２人が運動量を競い合うゲームを行っている例を示している。図６に示す例では、所定の時間内におけるＡさんとＢさんの運動量を測定し、その結果、Ａさんのほうが運動量が多いので、Ａさんが勝者であることを示す情報（円状のマーク）２２４をセンサパネル５に表示している。

【0036】

また、上述した応用例２では、空間における人の動き（空間情報）を検出するセンサ（カメラ、赤外線センサ、静電容量センサ等）を更に用いて人の動きを検出してもよい。例えば、取得した空間情報を用いて、人の上半身の運動量を求めて、この上半身の運動量をセンサパネル５から求めた運動量に加算してもよい。

【0037】

なお、図６では、人の運動量に対応した情報をセンサパネル５上に表示している例を示したが、本実施の形態にかかる映像表示システムでは、プロジェクタを用いてセンサパネル５の近傍に設けられたスクリーンや壁に運動量に対応した情報を投影してもよい。また、センサパネル５の近傍に設けられたディスプレイパネルに運動量に対応した情報を表示してもよい。また、センサパネル５から遠方に設けられたスクリーンや壁に運動量に対応した情報を投影してもよく、センサパネル５から遠方に設けられたディスプレイパネルに運動量に対応した情報を表示してもよい。

【0038】

例えば、運動量を競い合うゲームでは、図７に示すように、センサパネル５の近くに設置されたディスプレイパネルに各人の運動量をリアルタイムに表示するようにしてもよい。このように、ディスプレイパネルに各人の運動量をリアルタイムに表示することで、ゲームを実施している各人が現在の自分の運動量を把握することができ、ゲームの魅力を高めることができる。

【0039】

また、図６では、ＡさんとＢさんのうち最も運動量が多い人を特定するための情報２２４をセンサパネル５上に表示した例を示したが、例えば、表示装置９は、複数の人の運動量と、複数の人の運動量に応じた順位を特定するための情報とを表示するようにしてもよい。例えば、３人で運動量を競い合うゲームを行う場合は、表示装置９は、各人の運動量と、各人の運動量に応じた順位（この場合は、１位から３位まで）を特定するための情報とを表示するようにしてもよい。

【0040】

この場合も、表示装置９は、運動量や順位をセンサパネル５上に表示してもよく、プロジェクタを用いてセンサパネル５の近傍に設けられたスクリーンや壁に投影してもよく、センサパネル５の近傍に設けられたディスプレイパネルに表示してもよい。また、センサパネル５から遠方に設けられたスクリーンや壁に運動量や順位を投影してもよく、センサパネル５から遠方に設けられたディスプレイパネルに運動量や順位を表示してもよい。

【0041】

また、処理装置８は、複数の人の運動量を算出し、センサパネル５上の領域ごとに運動量を積算するようにしてもよい。そして、表示装置９は、センサパネル５上の領域ごとに積算された運動量と、当該運動量に応じたセンサパネル５上の領域ごとの順位を特定するための情報とを表示するようにしてもよい。

【0042】

例えば、センサパネル５上の領域を４つに分割し、この４つの領域の各々に人を配置し、４つの領域ごとに運動量を競い合うようにしてもよい。この場合、各々の領域に配置される人は１人であってもよく、複数人であってもよい。各々の領域に複数の人を配置した場合は、領域ごとのチーム対抗でゲームを行うことができる。

【0043】

この場合も、表示装置９は、センサパネル５上の領域ごとの運動量や順位をセンサパネル５上に表示してもよく、プロジェクタを用いてセンサパネル５の近傍に設けられたスクリーンや壁に投影してもよく、センサパネル５の近傍に設けられたディスプレイパネルに表示してもよい。また、センサパネル５から遠方に設けられたスクリーンや壁にセンサパネル５上の領域ごとの運動量や順位を投影してもよく、センサパネル５から遠方に設けられたディスプレイパネルにセンサパネル５上の領域ごとの運動量や順位を表示してもよい。

【0044】

＜応用例３：対象物と連動して表示＞
図８は、本実施の形態にかかる映像表示システムの応用例を説明するための図であり、センサパネル５の上に表示された対象物２２５と人の足２２６の移動とを連動させて表示する例を示している。

【0045】

具体的に説明すると、表示装置９は、センサパネル５上に対象物２２５の映像を表示する。そして、対象物２２５が表示されているセンサパネル５の座標と対応する位置に人が移動したことを処理装置８が検知した場合、表示装置９は、人の移動方向と対応する方向に対象物２２５の映像を移動させる。

【0046】

図８に示す例では、対象物２２５はボールであり、プレーヤの足２２６が対象物２２５の座標と対応する位置に移動した際に、表示装置９はプレーヤの足２２６の移動方向に対象物（ボール）２２５を移動させる。

【0047】

例えば、処理装置８は、対象物２２５の移動方向と移動速度の情報（対象物２２５の移動ベクトル）を保持している。また、処理装置８は、センサパネル５の出力を用いて、プレーヤの足２２６の移動方向と移動速度の情報（足２２６の移動ベクトル）を算出している。そして、処理装置８は、対象物２２５の移動ベクトルと足２２６の移動ベクトルとを合成することで、対象物２２５の移動方向と移動速度を求めることができる。このとき処理装置８は、対象物２２５の近くでプレーヤの足２２６がタイミングよく踏み込まれた場合に、対象物２２５の移動ベクトルと足２２６の移動ベクトルとを合成するようにしてもよい。表示装置９は、処理装置８で求められた対象物２２５の移動方向と移動速度に応じて、対象物２２５の表示位置を移動させる。

【0048】

また、表示装置９が対象物２２５の映像を移動させる際に、所定の効果音を鳴らすようにしてもよい。図８に示す例では、対象物２２５がボールであるので、ボールを蹴る音を効果音として鳴らしてもよい。

【0049】

例えば、図８に示す例では、２人のプレーヤが対象物（ボール）２２５を蹴り合って、勝敗を決めるような対戦型のゲーム（サッカーやエアホッケーのようなゲーム）としてもよい。

【0050】

＜応用例４：人の移動方向に連動させて広告を表示＞
図９は、本実施の形態にかかる映像表示システムの応用例を説明するための図であり、人の移動方向に広告等の所定の情報を表示する例を示している。

【0051】

図９に示すように、センサパネル５の上を人が移動すると、人の足によってセンサパネル５が踏まれて、各々の検出セル１０が圧力を検出する。処理装置８は、各々の検出セル１０で検出された圧力に基づいて、センサパネル５の上を移動している人の移動方向２３１、２３６を特定する（移動方向２３１は通行人Ａの移動方向であり、移動方向２３６は通行人Ｂの移動方向である）。このとき処理装置８は、人の移動方向を継続的に特定することで、人の現在の位置をリルタイムに把握することができる。

【0052】

そして、表示装置９は、通行人Ａの現在の位置２３０から移動方向２３１に向かって所定の距離（符号２３２で示す）離れた位置に広告などの所定の情報２３３を表示する。同様に、表示装置９は、通行人Ｂの現在の位置２３５から移動方向２３６に向かって所定の距離（符号２３７で示す）離れた位置に広告などの所定の情報２３８を表示する。

【0053】

ここで、所定の距離２３２、２３７は、通行人Ａ、Ｂがセンサパネル５に表示されている情報２３３、２３８を視認することができる程度の距離である。例えば、所定の距離２３２、２３７が離れすぎている場合は、通行人Ａ、Ｂが情報２３３、２３８を視認することが困難になる。一方、所定の距離２３２、２３７が近すぎる場合は、通行人Ａ、Ｂが情報２３３、２３８を見るために歩行中にうつむく必要があり、歩行に危険が伴うことになる。したがって、所定の距離２３２、２３７は、このような点を考慮して、適切な距離に設定する必要がある。

【0054】

また、表示装置９は、通行人Ａ、Ｂの移動に連動して、つまり通行人Ａ、Ｂに追従するように情報２３３、２３８を移動させる。このとき、表示装置９は、各々の通行人Ａ、Ｂの移動速度と同一の速度で各々の情報２３３、２３８を移動させることが好ましい。

【0055】

図９に示す例では、各々の通行人Ａ、Ｂの移動方向２３１、２３６を求め、この移動方向２３１、２３６に向かって所定の距離離れた位置に所定の情報を表示している。よって、各々の通行人Ａ、Ｂが視認することができる位置に、適切に情報２３３、２３８を表示することができる。図９に示す例では、通行人Ａ、Ｂの移動方向が任意の方向であり、特定の方向ではない。本実施の形態では、このように通行人Ａ、Ｂの移動方向が定まっていない場所などにおいて、各々の通行人の移動方向に応じて適切に情報を表示することができる。

【0056】

なお、図９に示す例では、所定の情報２３３、２３８として広告を表示した場合を示したが、所定の情報２３３、２３８は、例えばナビゲーション情報であってもよい。すなわち、通行人Ａ、Ｂを所定の場所に導くための情報であってもよい。

【0057】

また、本実施の形態では、情報２３３、２３８を表示する際に、情報２３３、２３８と関連する音声情報を流すようにしてもよい。例えば、情報２３３、２３８が広告である場合は、広告を表示する際に、当該広告と関連する音声情報を流してもよい。また、例えば、情報２３３、２３８がナビゲーション情報である場合は、ナビゲーション情報を表示する際に、当該ナビゲーション情報と関連する音声情報（音声ガイド）を流してもよい。

【0058】

また、本実施の形態では、人の運動量に応じて情報２３３、２３８を変化させるようにしてもよい。人の運動量については、上述の応用例２で説明した場合と同様の方法で算出することができる。

【0059】

また、上述した応用例４では、空間における人の動き（空間情報）を検出するセンサ（カメラ、赤外線センサ、静電容量センサ等）を更に用いて人の動きを検出してもよい。例えば、取得した空間情報を用いて、人の視線の方向を求めて、この視線の方向に広告等の所定の情報を表示するようにしてもよい。

【0060】

なお、図９では、広告等の所定の情報をセンサパネル５上に表示している例を示したが、本実施の形態にかかる映像表示システムでは、プロジェクタを用いてセンサパネル５の近傍に設けられたスクリーンや壁に広告等の所定の情報を投影してもよい。また、センサパネル５の近傍に設けられたディスプレイパネルに広告等の所定の情報を表示してもよい。このとき表示装置９は、人の移動方向に追従するように所定の情報を表示するようにしてもよい。また、例えば、空間における人の動き（空間情報）を検出するセンサを用いて取得した人の視線の方向が壁の方向を向いている場合は、壁に広告等の所定の情報を表示するようにしてもよい。

【0061】

表示装置９は、センサパネル５から遠方に設けられたスクリーンや壁に所定の情報を投影してもよく、センサパネル５から遠方に設けられたディスプレイパネルに所定の情報を表示してもよい。一例を挙げると、歩道を歩いている人の移動方向をセンサパネル５を用いて検出し、当該人の移動方向の前方に建っているビルのディスプレイ（遠方に設けられている）に、所定の情報として広告を表示してもよい。

【0062】

＜その他の応用例＞
本実施の形態では、例えばセンサパネル５の上を人が移動した際に、人が最も多く踏んだエリアを特定し、このエリアに特定の対象物を表示するようにしてもよい。例えば、人が最も多く踏んだエリアに虫や動物が集まるように映像を表示してもよい。この場合は、例えば処理装置８は、人の移動方向を特定するとともに、各々の検出セル１０が踏まれた回数をカウントしておき、踏まれた数が所定の数よりも多い検出セル１０を含むエリアに特定の対象物を表示する。

【0063】

なお、本実施の形態にかかる映像表示システムは、センサパネルの上を移動している人の移動方向を特定し、この特定された人の移動方向に応じて所定の情報を表示する映像表示システムであれば、上述した応用例以外にも適用することができる。

【0064】

以上で説明した本実施の形態にかかる映像表示システムは様々な分野に利用することができるので、利便性の高い映像表示システムを提供することができる。

【0065】

次に、センサパネル５を用いて人の動きを特定する方法について説明する。以下では、人の動きとして人の移動方向を特定する方法について説明する。

【0066】

＜足を判定するためのアルゴリズム＞
図１０は、本実施の形態にかかる移動方向特定方法を説明するための図であり、検出領域が人の足に対応するか否かを判定する処理（アルゴリズム）を説明するための図である。図１０の上図に示すように、人の足によってセンサパネル５が踏まれると、検出セル１０は圧力を検出する。本願の図面では、圧力を検出した検出セル１０をハッチングで示している。例えば、人の足によってセンサパネル５が踏まれて検出領域２１が検出されると、処理装置８は検出領域２１が人の足に対応するか否かを判定する。具体的には、処理装置８は、人の足に対応するか否かを判定するための基準値と検出領域２１とを比較し、検出領域２１が基準値の範囲内の場合、検出領域２１が人の足に対応すると判定する。図１０の下図では、検出領域２１が人の足に対応すると判定された領域を領域２４で示している。

【0067】

ここで、人の足か否かを判定するための基準値は、例えば、人の足のサイズ（人の足長であり、靴の長さを含む）であり、処理装置８は、検出領域２１の最も長い箇所の長さ（長手方向の長さ）が、人の足長の基準値の範囲内の場合、検出領域２１が人の足に対応すると判定する。具体的には、足長の基準値は、最小値と最大値とを有し、検出領域２１の長さが、足長の基準値の最小値以上で且つ足長の基準値の最大値以下の場合に、検出領域２１が人の足に対応すると判定する。例えば、足長の基準値は、大人の足長を考慮して決定してもよく、また大人の足長に加えて子供の足長も考慮して決定してもよい。

【0068】

また、本実施の形態では、人の足か否かを判定するための基準値として、更に人の足幅（靴の幅を含む）を用いてもよい。人の足長に加えて、人の足幅を用いることで、より正確に人の足か否かを判定することができる。

【0069】

また、本実施の形態では、人の足か否かを判定するための基準値として、更に人の足の面積（靴の面積を含む）を用いてもよい。人の足長と足幅に加えて、人の足の面積を用いることで、より正確に人の足か否かを判定することができる。なお、本実施の形態では、人の足長と人の足の面積とを用いて、人の足か否かを判定してもよい。

【0070】

上述した人の足か否かを判定するための基準値は、例えば処理装置８が備えるメモリに予め格納されている。

【0071】

図１０に示す検出領域２１は連続した領域となっているが、例えば図１０に示す検出領域２２のように、検出領域２２が複数の領域に分かれる場合もある。例えばハイヒールを履いてセンサパネル５を踏んだ場合は、踵部分とつま先部分とで検出領域２２が分かれる。このような場合は、図１０の下図に示すように、検出領域２２のうちの一方の領域の中心点２６と他方の領域の中心点２７との距離を求め、この距離が所定の基準値の範囲内か否かで人の足に対応するか否かを判定することができる。ここで、検出領域２２のうち面積が小さい方の領域（中心点２６を含む領域）が踵部分に対応し、面積が大きい方の領域（中心点２７を含む領域）がつま先部分に対応している。つまり、図１０の検出領域２２のように、検出領域２２が複数の領域に分かれている場合は、踵部分の中心点２６とつま先部分の中心点２７との距離を用いて、人の足か否かを判定することができる。図１０の下図では、領域２８が人の足に対応すると判定された領域を示している。検出領域２２の場合、人の足か否かを判定するための基準値は、踵部分の中心点とつま先部分の中心点との距離となる。このような基準値は、処理装置８が備えるメモリに予め格納されている。

【0072】

＜足の接地方向を決定するためのアルゴリズム＞
次に、図１１を用いて人の足の接地方向を決定するためのアルゴリズムについて説明する。一般的に、人が歩くときは、踵から地面に着地し、その後、足全体が地面に接地し、その後、踵が上がり、つま先が地面から離れる。本実施の形態では、このような人の足の一連の動作を追跡することで、足の接地方向を決定している。以下、足の接地方向を決定するためのアルゴリズムについて具体的に説明する。

【0073】

図１１（ａ）に示すように、センサパネル５に足の踵が着地すると、検出セル１０は圧力を検出する。このとき圧力を検出している検出セル１０の中心点は、中心点３１（足の踵の位置に対応）である。その後、図１１（ｂ）に示すように、更に足がセンサパネル５に接地すると、検出セル１０が圧力を検出する領域が広くなる。このとき圧力を検出している検出セル１０の中心点は、中心点３２である。その後、図１１（ｃ）に示すように、足全体がセンサパネル５に接地すると、検出セル１０が圧力を検出する領域が更に広くなる。このとき圧力を検出している検出セル１０の中心点は、中心点３２である。その後、図１１（ｄ）に示すように、足の踵が上がると、つま先のみがセンサパネル５に接地するので、検出セル１０はつま先の圧力を検出する。このとき圧力を検出している検出セル１０の中心点は、中心点３２（つま先の位置に対応）である。

【0074】

本実施の形態では、図１１（ａ）～（ｄ）の各々において圧力を検出した検出セル１０の中心点３２の経時的な移動方向に基づいて足の接地方向を決定している。つまり、図１１（ａ）の中心点３１（足の踵の位置に対応）に対する図１１（ｂ）～（ｄ）の中心点３２の経時的な移動方向（矢印３４で示す）を求めることで、人の足の接地方向を決定している。

【0075】

また、本実施の形態では、圧力を検出した検出セル１０の中心点３２の移動速度を用いて人の移動速度を求めてもよい。つまり、人の移動速度が速い場合は、圧力を検出した検出セル１０の中心点３２の移動速度も速くなる。逆に、人の移動速度が遅い場合は、圧力を検出した検出セル１０の中心点３２の移動速度も遅くなる。本実施の形態では、このように、圧力を検出した検出セル１０の中心点３２の移動速度を求めることで、人の移動速度を求めることができる。

【0076】

＜人の移動方向を特定するためのアルゴリズム＞
次に、人の移動方向を特定するためのアルゴリズムについて説明する。図１２は、本実施の形態にかかる移動方向特定方法を説明するためのフローチャートである。図１３は、本実施の形態にかかる移動方向特定方法を説明するための図である。

【0077】

人の移動方向を特定する際は、まず、図１２に示すように、検出セル１０が圧力を検出したか否かを判定する（ステップＳ１）。検出セル１０が圧力を検出しない場合は（ステップＳ１：Ｎｏ）、ステップＳ１の動作を繰り返す。一方、図１３（ａ）に示すように、人の足によってセンサパネル５が踏まれると、検出セル１０は圧力を検出する。検出セル１０が圧力を検出した場合は（ステップＳ１：Ｙｅｓ）、圧力を検出した検出領域４０（ハッチングで示す領域。以下、同様）が人の足に対応するか否かを判定する（ステップＳ２）。圧力を検出した検出領域４０が人の足に対応しない場合は（ステップＳ２：Ｎｏ）、ステップＳ１からの動作を繰り返す。

【0078】

図１３（ａ）に示す場合は、圧力を検出した検出領域４０が人の足（図１３に示す例では左足）に対応するので（ステップＳ２：Ｙｅｓ）、処理装置８は、圧力を検出した検出領域４０が人の足の領域４３に対応すると判定する。その後、処理装置８は、圧力を検出した検出セルの中心点４１、４２の経時的な移動方向に基づいて足の接地方向４４を決定する（ステップＳ３）。つまり、図１３（ａ）において中心点４１は踵の位置に対応しており、中心点４２は足の中心の位置に対応している。よって、足の踵の位置（中心点４１）から足の中心の位置（中心点４２）への経時的な移動方向を求めることで、足の接地方向４４を決定することができる。なお、図１３では、足の中心の位置（中心点４２）を用いて足の接地方向４４を決定している場合を示しているが、本実施の形態では、図１１で説明したように、足のつま先における中心点３２を用いて、足の接地方向を決定してもよい。

【0079】

その後、再度、検出セル１０が圧力を検出したか否かを判定する（ステップＳ４）。検出セル１０が圧力を検出しない場合は（ステップＳ４：Ｎｏ）、ステップＳ１の処理に戻る。一方、検出セル１０が圧力を検出した場合は（ステップＳ４：Ｙｅｓ）、この圧力の検出が同一人の他方の足によるものか否かを判定する。具体的には、処理装置８は、図１３（ｂ）の検出領域４０とは異なる領域であって、検出領域４０を基準として所定の範囲内において検出セル１０が圧力を検出したか否かを判定する。つまり、同一人による足跡は所定の範囲内に収まるため、検出領域４０を基準として所定の範囲内において検出セル１０が圧力を検出したか否かを判定することで、この圧力の検出が同一人によるものか否かを判定することができる。

【0080】

図１３（ｂ）に示す場合は、検出領域４５は、検出領域４０を基準として所定の範囲内にあるため、次に、処理装置８は、検出領域４５が人の足に対応するか否かを判定する（ステップＳ５）。図１３（ｂ）に示す場合は、圧力を検出した検出領域４５が人の足（図１３に示す例では右足）に対応するので（ステップＳ５：Ｙｅｓ）、処理装置８は、圧力を検出した検出領域４５が人の足の領域４８に対応すると判定する。その後、処理装置８は、圧力を検出した検出セルの中心点４６、４７の経時的な移動方向に基づいて足の接地方向４９を決定する（ステップＳ６）。つまり、図１３（ｂ）において中心点４６は踵の位置に対応しており、中心点４７は足の中心の位置に対応している。よって、足の踵の位置（中心点４６）から足の中心の位置（中心点４７）への経時的な移動方向を求めることで、足の接地方向４９を決定することができる。

【0081】

その後、ステップＳ３で求めた足（左足）の移動方向４４と、ステップＳ６で求めた足（右足）の移動方向４９と、を用いて人の移動方向ｄ１を特定する（ステップＳ７）。具体的には、移動方向４４と移動方向４９とを合成することで、人の移動方向ｄ１を特定することができる。以降、図１２のステップＳ１～Ｓ７の動作を繰り返すことで、人の移動方向をリアルタイムに特定することができる。

【0082】

図１３（ｃ）に示すように、その後、人の足がセンサパネル５を踏むと、検出セル１０は圧力を検出する。この場合、圧力を検出した検出領域５０は、人の足（図１３（ｃ）に示す例では左足）に対応するので、処理装置８は、圧力を検出した検出領域５０が人の足の領域５３に対応すると判定する。その後、処理装置８は、圧力を検出した検出セルの中心点５１、５２の経時的な移動方向に基づいて足の接地方向５４を決定する。つまり、図１３（ｃ）において中心点５１は踵の位置に対応しており、中心点５２は足の中心の位置に対応している。よって、足の踵の位置（中心点５１）から足の中心の位置（中心点５２）への経時的な移動方向を求めることで、足の接地方向５４を決定することができる。その後、検出領域４５の接地方向４９と検出領域５０の接地方向５４とを用いて、人の移動方向ｄ２を特定する。具体的には、移動方向４９と移動方向５４とを合成することで、人の移動方向ｄ２を特定することができる。

【0083】

更に、図１３（ｄ）に示すように、その後、人の足がセンサパネル５を踏むと、検出セル１０は圧力を検出する。この場合、圧力を検出した検出領域５５は、人の足（図１３（ｄ）に示す例では右足）に対応するので、処理装置８は、圧力を検出した検出領域５５が人の足の領域５８に対応すると判定する。その後、処理装置８は、圧力を検出した検出セルの中心点５６、５７の経時的な移動方向に基づいて足の接地方向５９を決定する。つまり、図１３（ｄ）において中心点５６は踵の位置に対応しており、中心点５７は足の中心の位置に対応している。よって、足の踵の位置（中心点５６）から足の中心の位置（中心点５７）への経時的な移動方向を求めることで、足の接地方向５９を決定することができる。その後、検出領域５０の接地方向５４と検出領域５５の接地方向５９とを用いて、人の移動方向ｄ３を特定する。具体的には、移動方向５４と移動方向５９とを合成することで、人の移動方向ｄ３を特定することができる。

【0084】

以上で説明したように、本実施の形態にかかる発明では、人の移動方向を特定する際に、人の一方の足の接地方向４４（図１３参照）と他方の足の接地方向４９とを用いて人の移動方向ｄ１を特定している。このように、本実施の形態かかる発明では、複数の足の接地方向を用いて人の移動方向を特定しているので、人の移動方向を正確に特定することができる。

【0085】

なお、上記では人の２つの足の接地方向４４、４９を用いて人の移動方向ｄ１を特定する場合について説明したが、本実施の形態にかかる発明では、人の移動方向を特定する際に３つ以上の足の接地方向を用いてもよい。例えば、図１３に示した例において、検出領域４０における足の接地方向４４、検出領域４５における足の接地方向４９、及び検出領域５０における足の接地方向５４（３歩分の足の接地方向）を用いて、人の移動方向を特定してもよい。

【0086】

＜人の移動方向の変化を検出するためのアルゴリズム＞
次に、人の移動方向の変化を検出するためのアルゴリズムについて、図１４を用いて説明する。なお、各々の足の接地方向を決定するアルゴリズムについては、図１３で説明した場合と基本的には同様である。

【0087】

図１４（ａ）に示すように、人の足によってセンサパネル５が踏まれると、検出セル１０は圧力を検出する。検出セル１０が圧力を検出した場合、圧力を検出した検出領域６０が人の足に対応するか否かを判定する。図１４（ａ）に示す場合は、圧力を検出した検出領域６０が人の足（図１４に示す例では左足）に対応するので、処理装置８は、圧力を検出した検出領域６０が人の足の領域６３に対応すると判定する。その後、処理装置８は、圧力を検出した検出セルの中心点６１、６２の経時的な移動方向に基づいて足の接地方向６４を決定する。つまり、図１４（ａ）において中心点６１は踵の位置に対応しており、中心点６２は足の中心の位置に対応している。よって、足の踵の位置（中心点６１）から足の中心の位置（中心点６２）への経時的な移動方向を求めることで、足の接地方向６４を決定することができる。

【0088】

次に、人の足によってセンサパネル５が踏まれると、処理装置８は、圧力を検出した検出領域６５が人の足に対応するか否かを判定する。図１４（ａ）に示す場合は、圧力を検出した検出領域６５が人の足（図１４に示す例では右足）に対応するので、処理装置８は、圧力を検出した検出領域６５が人の足の領域６８に対応すると判定する。その後、処理装置８は、圧力を検出した検出セルの中心点６６、６７の経時的な移動方向に基づいて足の接地方向６９を決定する。つまり、図１４（ａ）において中心点６６は踵の位置に対応しており、中心点６７は足の中心の位置に対応している。よって、足の踵の位置（中心点６６）から足の中心の位置（中心点６７）への経時的な移動方向を求めることで、足の接地方向６９を決定することができる。

【0089】

処理装置８は、検出領域６０における足の接地方向６４と検出領域６５における足の接地方向６９とを用いて、人の移動方向ｄ４を特定する。具体的には、移動方向６４と移動方向６９とを合成することで、人の移動方向ｄ４を特定することができる。

【0090】

その後、図１４（ｂ）に示すように、人の足によってセンサパネル５が踏まれると、処理装置８は、圧力を検出した検出領域７０が人の足に対応するか否かを判定する。図１４（ｂ）に示す場合は、圧力を検出した検出領域７０が人の足（図１４に示す例では左足）に対応するので、処理装置８は、圧力を検出した検出領域７０が人の足の領域７３に対応すると判定する。その後、処理装置８は、圧力を検出した検出セルの中心点７１、７２の経時的な移動方向に基づいて足の接地方向７４を決定する。つまり、図１４（ｂ）において中心点７１は踵の位置に対応しており、中心点７２は足の中心の位置に対応している。よって、足の踵の位置（中心点７１）から足の中心の位置（中心点７２）への経時的な移動方向を求めることで、足の接地方向７４を決定することができる。

【0091】

ここで、検出領域６５における足の接地方向６９と検出領域７０における足の接地方向７４とを比較すると、検出領域７０における足の接地方向７４は、検出領域６５における足の接地方向６９に対して角度αだけ方向が変化している。この場合、処理装置８は、検出領域６５における足の接地方向６９に対する、検出領域７０における足の接地方向７４の角度αが所定の基準角度の範囲内であるので、人の移動方向が変化したと判定する。なお、所定の基準角度とは、人の移動方向の変化を検出するための基準角度であり、任意に決定することができる。例えば、人の歩行状態を考慮すると、所定の基準角度は、５度～８０度、及び－５度～－８０度とすることができる。足の接地方向の変化を示す角度αが５度～８０度の範囲内である場合は、人の移動方向が進行方向左側に変化したと判定することができる（図１４（ｂ）参照）。一方、足の接地方向の変化を示す角度αが－５度～－８０度の範囲内である場合は、人の移動方向が進行方向右側に変化したと判定することができる。

【0092】

その後、図１４（ｃ）に示すように、人の足によってセンサパネル５が踏まれると、処理装置８は、圧力を検出した検出領域７５が人の足に対応するか否かを判定する。図１４（ｃ）に示す場合は、圧力を検出した検出領域７５が人の足（図１４に示す例では右足）に対応するので、処理装置８は、圧力を検出した検出領域７５が人の足の領域７８に対応すると判定する。その後、処理装置８は、圧力を検出した検出セルの中心点７６、７７の経時的な移動方向に基づいて足の接地方向７９を決定する。つまり、図１４（ｃ）において中心点７６は踵の位置に対応しており、中心点７７は足の中心の位置に対応している。よって、足の踵の位置（中心点７６）から足の中心の位置（中心点７７）への経時的な移動方向を求めることで、足の接地方向７９を決定することができる。

【0093】

処理装置８は、検出領域７０における足の接地方向７４と検出領域７５における足の接地方向７９とを用いて、移動方向が変化した後の人の移動方向ｄ５を特定する。具体的には、移動方向７４と移動方向７９とを合成することで、移動方向が変化した後の人の移動方向ｄ５を特定することができる。

【0094】

以上で説明した処理により、人の移動方向の変化を検出することができる。

【0095】

＜立ち止まっている人の向きを検出するためのアルゴリズム＞
次に、立ち止まっている人の向きを検出するためのアルゴリズムについて、図１５を用いて説明する。図１５（ａ）に示すように、人の左足の踵によってセンサパネル５が踏まれると、検出セル１０は圧力を検出する。このとき圧力を検出している検出セル１０の中心点は、中心点８１（左足の踵の位置に対応）である。その後、図１５（ｂ）に示すように、人の左足の全体がセンサパネル５に接地すると、検出セル１０が圧力を検出する領域が広くなる。このとき圧力を検出している検出セル１０の中心点は、中心点８２である。処理装置８は、圧力を検出した検出セルの中心点８１、８２の経時的な移動方向に基づいて左足の接地方向８４を決定する。

【0096】

その後、図１５（ｃ）に示すように、人の右足の踵によってセンサパネル５が踏まれると、検出セル１０は圧力を検出する。このとき圧力を検出している検出セル１０の中心点は、中心点８６（右足の踵の位置に対応）である。その後、図１５（ｄ）に示すように、人の右足の全体がセンサパネル５に接地すると、検出セル１０が圧力を検出する領域が広くなる。このとき圧力を検出している検出セル１０の中心点は、中心点８７である。処理装置８は、圧力を検出した検出セルの中心点８６、８７の経時的な移動方向に基づいて右足の接地方向８９を決定する。また、処理装置８は、左足の接地方向８４と右足の接地方向８９とを用いて、人の移動方向ｄ６を特定する。

【0097】

ここで、人が立ち止まってその場で足踏みをする場合は、片足を上げた後、この上げた片足のつま先から着地することが多い。このような場合は、図１５（ｅ）に示すように、人が左足を上げて左足がセンサパネル５から離れた後、図１５（ｆ）に示すように、人の左足のつま先によってセンサパネル５が踏まれて検出セル１０が圧力を検出する。このとき圧力を検出している検出セル１０の中心点は、中心点９１（左足のつま先の位置に対応）である。その後、図１５（ｇ）に示すように、人の左足の全体がセンサパネル５に接地すると、検出セル１０が圧力を検出する領域が広くなる。このとき圧力を検出している検出セル１０の中心点は、中心点９２である。処理装置８は、圧力を検出した検出セルの中心点９１、９２の経時的な移動方向に基づいて左足の接地方向９４を決定する。

【0098】

また、処理装置８は、右足の接地方向８９と左足の接地方向９４とを比較し、右足の接地方向８９に対して左足の接地方向９４が略逆向きである場合、人が立ち止まったと判定する。ここで、略逆向きとは、踵からつま先の順に接地した一方の足の接地方向に対して、つま先から踵の順に設置した他方の足の接地方向が、人の足の構造を考慮して略逆を向いている場合を意味している。例えば、略逆向きの範囲は、一方の足の接地方向を０度とした場合、他方の足の接地方向の範囲が９０度～２７０度とすることができる。

【0099】

その後、処理装置８は、右足の接地方向８９と、左足の接地方向９４を反転した方向と、を用いて、人が向いている方向ｄ７を特定する。

【0100】

図１５に示した例では、人が立ち止まってその場で足踏みをする場合は、片足を上げた後、この上げた片足のつま先から着地することが多いという性質を利用して、人が立ち止まっている状態を検出している。よって、人が立ち止まっているか否かを正確に判定することができる。また、人が立ち止まっている場合には、つま先から着地した足の接地方向を反転させて、人が向いている方向を特定している。よって、立ち止まっている人の向きを正確に特定することができる。

【0101】

＜センサパネルの上の人を区別するためのアルゴリズム＞
次に、センサパネル５の上に存在する人を区別するためのアルゴリズム（人数をカウントするためのアルゴリズムにも対応）について、図１６を用いて説明する。図１６（ａ）に示すように、人の足によってセンサパネル５が踏まれると、検出セル１０は圧力を検出する。検出セル１０が圧力を検出した場合、圧力を検出した検出領域１００が人の足に対応するか否かを判定する。図１６（ａ）に示す場合は、圧力を検出した検出領域１００が人の足に対応するので、処理装置８は、圧力を検出した検出領域１００が人の足の領域１０３に対応すると判定する。また、処理装置８は、圧力を検出した検出セルの中心点１０１、１０２の経時的な移動方向に基づいて足の接地方向１０４を決定する。つまり、図１６（ａ）において中心点１０１は踵の位置に対応しており、中心点１０２は足の中心の位置に対応している。よって、足の踵の位置（中心点１０１）から足の中心の位置（中心点１０２）への経時的な移動方向を求めることで、足の接地方向１０４を決定することができる。図１６（ａ）に示す例では、他に圧力を検出した検出領域がないので、処理装置８は、センサパネル５の上に存在する人を１人としてカウントする。

【0102】

その後、人の足によってセンサパネル５が踏まれると、処理装置８は、圧力を検出した検出領域１０５が人の足に対応するか否かを判定する。図１６（ｂ）に示す場合は、圧力を検出した検出領域１０５が人の足に対応するので、処理装置８は、圧力を検出した検出領域１０５が人の足の領域１０８に対応すると判定する。その後、処理装置８は、圧力を検出した検出セルの中心点１０６、１０７の経時的な移動方向に基づいて足の接地方向１０９を決定する。つまり、図１６（ｂ）において中心点１０６は踵の位置に対応しており、中心点１０７は足の中心の位置に対応している。よって、足の踵の位置（中心点１０６）から足の中心の位置（中心点１０７）への経時的な移動方向を求めることで、足の接地方向１０９を決定することができる。

【0103】

処理装置８は、圧力を検出した検出領域１００と圧力を検出した検出領域１０５とが同一人の足によるものか否かを判定する。つまり、同一人による足跡は所定の範囲内に収まるため、検出領域１００を基準として検出領域１０５が所定の範囲内であるか否かを判定する。図１６（ｂ）に示す場合は、検出領域１００を基準として検出領域１０５が所定の範囲内であるため、処理装置８は、検出領域１００と検出領域１０５とが同一人の足によるものであると判定する。処理装置８は、検出領域１００と検出領域１０５とをグルーピングし、グルーピングされた検出領域１００、１０５を一人分としてカウントすることで、センサパネル５の上に存在する人の数を把握することができる。図１６（ｂ）に示す例では、検出領域１００、１０５以外に圧力を検出した検出領域がないので、処理装置８は、センサパネル５の上に存在する人を１人としてカウントする。

【0104】

なお、図１６（ｃ）に示すように、検出領域１００と検出領域１１０とが所定の範囲内にある場合であっても、検出領域１００と検出領域１１０とが同一人の足によるものではない場合がある。このような場合、処理装置８は、検出領域１１０が人の足の領域１１３に対応すると判定した後、圧力を検出した検出セルの中心点１１１、１１２の経時的な移動方向に基づいて足の接地方向１１４を決定する。そして、検出領域１００の足の接地方向１０４と検出領域１１０の足の接地方向１１４とに基づいて、検出領域１００と検出領域１１０とが同一人の足によるものか否かを判定する。

【0105】

例えば、処理装置８は、２つの検出領域の足の接地方向が所定の範囲内（例えば、０度～９０度の範囲内）の場合に、同一人の足によるものであると判定することができる。図１６（ｂ）に示す場合は、検出領域１００の接地方向１０４と検出領域１０５の接地方向１０９とが所定の範囲内（平行なので０度）であるので、処理装置８は、検出領域１００と検出領域１０５とが同一人の足によるものであると判定する。一方、図１６（ｃ）に示す場合は、検出領域１００の足の接地方向１０４と検出領域１１０の足の接地方向１１４とが、所定の範囲内にないので（つまり、９０度よりも大きい）、処理装置８は、検出領域１００と検出領域１１０とが同一人の足によるものではないと判定する。よって、図１６（ｂ）に示す場合は、センサパネル５の上に存在する人数を１人とカウントし、図１６（ｃ）に示す場合は、センサパネル５の上に存在する人数を２人とカウントする。

【0106】

また、図１６（ｄ）に示すように、グルーピングされた検出領域１００、１０５の他に新たに検出領域１１５が検出された場合、処理装置８は、圧力を検出した検出領域１１５が人の足に対応するか否かを判定する。図１６（ｄ）に示す場合は、圧力を検出した検出領域１１５が人の足に対応するので、処理装置８は、圧力を検出した検出領域１１５が人の足の領域１１８に対応すると判定する。また、処理装置８は、圧力を検出した検出セルの中心点１１６、１１７の経時的な移動方向に基づいて足の接地方向１１９を決定する。図１６（ｄ）に示す例では、検出領域１００、１０５と検出領域１１５とが離れており、また検出領域１００、１０５の接地方向１０４、１０９と検出領域１１５の接地方向１１９とが所定の範囲内にないので、検出領域１００、１０５と検出領域１１５とが異なる人物によるものであると判断し、センサパネル５の上に存在する人数を２人とカウントする。このような処理を実施することで、センサパネルの上に存在する人を区別することができる。

【0107】

＜検出領域の事前処理＞
図１７は、本実施の形態にかかる移動方向特定方法における事前処理を説明するための図である。図１７に示すように、センサパネル５には、複数の検出セル１０が行方向及び列方向にマトリックス状に配置されている。各々の検出セル１０は、センサピッチ以上の解像度で圧力を検出することができない。このため、図１７では、各々の検出セル１０の１つ当たりの解像度を擬似的に拡張することで、検出領域を拡張している。

【0108】

つまり、図１７に示す事前処理では、図１７の上図に示す各々の検出セル１０で検出した検出領域１２１、１２２を、図１７の下図に示すように拡張している。具体的には、各々の検出セル１０で検出した検出領域を、同心円状１２３に拡張している。そして、拡張された各々の検出領域を用いて、人の足に対応する領域１２４、１２５を特定している。

【0109】

このように検出領域を拡張することで、人の足に対応する領域の判定処理を高精度で行うことができる。また、検出領域を拡張しない場合はセンサピッチに応じた解像度となるため、検出結果は離散的な検出結果となるが、図１７に示すように、各々の検出領域を拡張することで、より精密な検出結果が得られるようになる。また、各々の検出領域を拡張することで、人の足のサイズに比べて各々の検出セル１０のピッチが大きい場合であっても、足の接地方向や人の移動方向を判定することができる。よって、人の足の大きさと同等の領域を検出対象とすることができるようになる。

【0110】

以上、本発明を上記実施形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。

【符号の説明】

【0111】

１ 映像表示システム
５ センサパネル
８ 処理装置
９ 表示装置
１０ 検出セル
１１ 基板
１２、１３ 下部電極
１４ 上部電極
１５ フィルム
１７ スペーサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】