特許 6711799 機器制御装置、機器制御方法及び機器制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6711799

(24)【登録日】2020年6月1日

(45)【発行日】2020年6月17日

(54)【発明の名称】機器制御装置、機器制御方法及び機器制御システム

(51)【国際特許分類】

   H04Q 9/00 20060101AFI20200608BHJP

   H04M 11/00 20060101ALI20200608BHJP

   G06F 3/01 20060101ALI20200608BHJP

【ＦＩ】

   H04Q9/00 301D

   H04Q9/00 311A

   H04Q9/00 311L

   H04M11/00 301

   G06F3/01 570

【請求項の数】13

【全頁数】19

(21)【出願番号】特願2017-183398(P2017-183398)

(22)【出願日】2017年9月25日

(65)【公開番号】特開2019-62270(P2019-62270A)

(43)【公開日】2019年4月18日

【審査請求日】2019年3月8日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100124084

【弁理士】

【氏名又は名称】黒岩 久人

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】高木 豊典

【審査官】 山田 倍司

(56)【参考文献】

【文献】 特開２００４−３０３２５１（ＪＰ，Ａ）

【文献】 特開２０１３−０８０４１３（ＪＰ，Ａ）

【文献】 特表２０１１−５０５６１８（ＪＰ，Ａ）

【文献】 特開２０１４−０４８９３７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０３５９６５１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６３Ｆ ９／２４

１３／００ −１３／９８

Ｇ０６Ｆ ３／０１

３／０４８− ３／０４８９

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０８Ｃ １３／００ −２５／０４

Ｈ０３Ｊ ９／００ − ９／０６

Ｈ０４Ｍ １／００

１／２４ − ３／００

３／１６ − ３／２０

３／３８ − ３／５８

７／００ − ７／１６

１１／００ −１１／１０

９９／００

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｈ０４Ｑ ９／００ − ９／１６

(57)【特許請求の範囲】

【請求項1】

ユーザを撮像することによって得られた画像から前記ユーザの動作を検出する検出部と、
前記ユーザの特徴情報を取得する取得部と、
前記取得部が取得した前記特徴情報に基づいて、機器の制御を前記ユーザに許可するか否かを判定する判定部と、
前記判定部が前記機器の制御を前記ユーザに許可する場合に、前記検出部が検出した前記動作に基づいて前記機器の制御を行う機器制御部と、
を有し、
前記取得部は、前記機器が設置された建物内に設置された近距離通信可能な装置と近距離通信をしているデバイスを前記ユーザが所持しているか否かを前記特徴情報として取得し、
前記判定部は、前記ユーザが前記デバイスを所持している場合に、前記機器の制御を前記ユーザに許可する機器制御装置。

【請求項2】

前記取得部は、前記ユーザの体の少なくとも一部の大きさを前記特徴情報として取得し、
前記判定部は、前記大きさが所定の範囲内である場合に、前記機器の制御を前記ユーザに許可する、
請求項１に記載の機器制御装置。

【請求項3】

前記取得部は、前記ユーザの声の特徴を示す情報を前記特徴情報として取得し、
前記判定部は、前記声の特徴を示す情報が所定の条件を満たす場合に、前記機器の制御を前記ユーザに許可する、
請求項１又は２に記載の機器制御装置。

【請求項4】

前記取得部は、前記ユーザの顔の特徴を示す情報を前記特徴情報として取得し、
前記判定部は、前記顔の特徴を示す情報が所定の条件を満たす場合に、前記機器の制御を前記ユーザに許可する、
請求項１から３のいずれか一項に記載の機器制御装置。

【請求項5】

前記取得部は、前記ユーザの体温を前記特徴情報として取得し、
前記判定部は、前記体温が所定の範囲内である場合に、前記機器の制御を前記ユーザに許可する、
請求項１から４のいずれか一項に記載の機器制御装置。

【請求項6】

前記取得部は、前記ユーザの位置を前記特徴情報として取得し、
前記判定部は、前記位置が所定の範囲内である場合に、前記機器の制御を前記ユーザに許可する、
請求項１から５のいずれか一項に記載の機器制御装置。

【請求項7】

前記取得部は、前記ユーザによって前記動作が行われた時間帯を前記特徴情報として取得し、
前記判定部は、前記時間帯が所定の範囲内である場合に、前記機器の制御を前記ユーザに許可する、
請求項１から６のいずれか一項に記載の機器制御装置。

【請求項8】

前記取得部は、前記ユーザの過去の動作を前記特徴情報として取得し、
前記判定部は、前記過去の動作が所定の条件を満たす場合に、前記機器の制御を前記ユーザに許可する、
請求項１から７のいずれか一項に記載の機器制御装置。

【請求項9】

前記検出部が複数の前記ユーザによる前記動作を検出した場合に、前記判定部は、前記取得部が取得した複数の前記ユーザの前記特徴情報に基づいて複数の前記ユーザのうち１人を選択し、選択した１人の前記ユーザに前記機器の制御を許可する、
請求項１から８のいずれか一項に記載の機器制御装置。

【請求項10】

前記画像中に複数の前記ユーザが存在する場合に、複数の前記ユーザのうち第１のユーザの前記特徴情報に基づいて、前記機器の制御を前記第１のユーザとは異なる第２のユーザに許可する、
請求項１から９のいずれか一項に記載の機器制御装置。

【請求項11】

前記検出部は、前記ユーザの第１の動作と、前記第１の動作の後に行われる前記ユーザの第２の動作とを前記動作として検出し、
前記機器制御部は、前記第１の動作によって選択された前記機器に対して、前記第２の動作に対応する前記制御を行う、
請求項１から１０のいずれか一項に記載の機器制御装置。

【請求項12】

ユーザを撮像することによって得られた画像から前記ユーザの動作を検出するステップと、
前記ユーザの特徴情報を取得するステップと、
前記取得するステップで取得された前記特徴情報に基づいて、機器の制御を前記ユーザに許可するか否かを判定するステップと、
前記判定するステップで前記機器の制御が前記ユーザに許可される場合に、前記検出するステップで検出された前記動作に基づいて前記機器の制御を行うステップと、
を有し、
前記取得するステップでは、前記機器が設置された建物内に設置された近距離通信可能な装置と近距離通信をしているデバイスを前記ユーザが所持しているか否かを前記特徴情報として取得し、
前記判定するステップでは、前記ユーザが前記デバイスを所持している場合に、前記機器の制御を前記ユーザに許可する機器制御方法。

【請求項13】

機器と、前記機器を制御する機器制御装置とを備え、
前記機器制御装置は、
ユーザを撮像することによって得られた画像から前記ユーザの動作を検出する検出部と、
前記ユーザの特徴情報を取得する取得部と、
前記取得部が取得した前記特徴情報に基づいて、前記機器の制御を前記ユーザに許可するか否かを判定する判定部と、
前記判定部が前記機器の制御を前記ユーザに許可する場合に、前記検出部が検出した前記動作に基づいて前記機器の制御を行う機器制御部と、
を有し、
前記取得部は、前記機器が設置された建物内に設置された近距離通信可能な装置と近距離通信をしているデバイスを前記ユーザが所持しているか否かを前記特徴情報として取得し、
前記判定部は、前記ユーザが前記デバイスを所持している場合に、前記機器の制御を前記ユーザに許可し、
前記機器は、前記機器制御部による前記制御に従って作動する、機器制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの動作に基づいて機器を制御する機器制御装置、機器制御方法及び機器制御システムに関する。

【背景技術】

【0002】

ユーザの動作（ジェスチャ）を検知することによって、住宅内に設置された様々な機器への指示を行う機器制御装置が開発されている。ここでユーザの動作とは、機器の操作部に対して直接操作を行うことではなく、機器の操作部から同一又は離れた空間でユーザが行う様々な動作をいう。機器制御装置はユーザが所定の動作を行ったことを検知すると、該動作に基づいて照明、空調機器、ＡＶ（Audio Visual）機器等の機器をオン又はオフにし、あるいは調節することができる。

【0003】

特許文献１には、ユーザ端末において、ユーザが行った動作を検知し、該動作に関連付けられた相手との通信を開始する技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５８２００５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

住宅には、様々なユーザが存在し得る。特に子供は、手を上げる、走る、跳ねる等の多彩な動きを行うことが多い。このように様々なユーザが存在する状況において、ユーザの動作に基づいて機器の制御を行う機器制御装置には、機器への指示が意図されていない動作を機器への指示として検出する等、動作の誤検出が発生しやすいという問題がある。

【0006】

しかしながら、特許文献１に記載の技術では、ユーザとユーザ端末とが一対一の関係にあることが前提となっているため、様々なユーザの動作を検知し得る状況は想定されておらず、動作の誤検出への対策は行われていない。

【0007】

本発明は上述の点に鑑みてなされたものであり、ユーザの動作に基づいて機器の制御を行う際に、動作の誤検出を抑制可能な機器制御装置、機器制御方法及び機器制御システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の第１の態様の機器制御装置は、ユーザを撮像することによって得られた画像から前記ユーザの動作を検出する検出部と、前記ユーザの特徴情報を取得する取得部と、前記取得部が取得した前記特徴情報に基づいて、機器の制御を前記ユーザに許可するか否かを判定する判定部と、前記判定部が前記機器の制御を前記ユーザに許可する場合に、前記検出部が検出した前記動作に基づいて前記機器の制御を行う機器制御部と、を有する。

【0009】

前記取得部は、前記ユーザの体の少なくとも一部の大きさを前記特徴情報として取得し、前記判定部は、前記大きさが所定の範囲内である場合に、前記機器の制御を前記ユーザに許可してもよい。

【0010】

前記取得部は、前記ユーザの声の特徴を示す情報を前記特徴情報として取得し、前記判定部は、前記声の特徴を示す情報が所定の条件を満たす場合に、前記機器の制御を前記ユーザに許可してもよい。

【0011】

前記取得部は、前記ユーザの顔の特徴を示す情報を前記特徴情報として取得し、前記判定部は、前記顔の特徴を示す情報が所定の条件を満たす場合に、前記機器の制御を前記ユーザに許可してもよい。

【0012】

前記取得部は、前記ユーザの体温を前記特徴情報として取得し、前記判定部は、前記体温が所定の範囲内である場合に、前記機器の制御を前記ユーザに許可してもよい。

【0013】

前記取得部は、前記ユーザが所定のデバイスを所持しているか否かを前記特徴情報として取得し、前記判定部は、前記ユーザが前記所定のデバイスを所持している場合に、前記機器の制御を前記ユーザに許可してもよい。

【0014】

前記取得部は、前記ユーザの位置を前記特徴情報として取得し、前記判定部は、前記位置が所定の範囲内である場合に、前記機器の制御を前記ユーザに許可してもよい。

【0015】

前記取得部は、前記ユーザによって前記動作が行われた時間帯を前記特徴情報として取得し、前記判定部は、前記時間帯が所定の範囲内である場合に、前記機器の制御を前記ユーザに許可してもよい。

【0016】

前記取得部は、前記ユーザの過去の動作を前記特徴情報として取得し、前記判定部は、前記過去の動作が所定の条件を満たす場合に、前記機器の制御を前記ユーザに許可してもよい。

【0017】

前記検出部が複数の前記ユーザによる前記動作を検出した場合に、前記判定部は、前記取得部が取得した複数の前記ユーザの前記特徴情報に基づいて複数の前記ユーザのうち１人を選択し、選択した１人の前記ユーザに前記機器の制御を許可してもよい。

【0018】

前記画像中に複数の前記ユーザが存在する場合に、複数の前記ユーザのうち第１のユーザの前記特徴情報に基づいて、前記機器の制御を前記第１のユーザとは異なる第２のユーザに許可してもよい。

【0019】

前記検出部は、前記ユーザの第１の動作と、前記第１の動作の後に行われる前記ユーザの第２の動作とを前記動作として検出し、前記機器制御部は、前記第１の動作によって選択された前記機器に対して、前記第２の動作に対応する前記制御を行ってもよい。

【0020】

本発明の第２の態様の機器制御方法は、ユーザを撮像することによって得られた画像から前記ユーザの動作を検出するステップと、前記ユーザの特徴情報を取得するステップと、前記取得するステップで取得された前記特徴情報に基づいて、機器の制御を前記ユーザに許可するか否かを判定するステップと、前記判定するステップで前記機器の制御が前記ユーザに許可される場合に、前記検出するステップで検出された前記動作に基づいて前記機器の制御を行う機器制御部と、を有する。

【0021】

本発明の第３の態様の機器制御システムは、機器と、前記機器を制御する機器制御装置とを備え、前記機器制御装置は、ユーザを撮像することによって得られた画像から前記ユーザの動作を検出する検出部と、前記ユーザの特徴情報を取得する取得部と、前記取得部が取得した前記特徴情報に基づいて、前記機器の制御を前記ユーザに許可するか否かを判定する判定部と、前記判定部が前記機器の制御を前記ユーザに許可する場合に、前記検出部が検出した前記動作に基づいて前記機器の制御を行う機器制御部と、を有し、前記機器は、前記機器制御部による前記制御に従って作動する。

【発明の効果】

【0022】

本発明によれば、ユーザの動作に基づいて機器の制御を行う際に、動作の誤検出を抑制できる。

【図面の簡単な説明】

【0023】

【図1】第１の実施形態に係る機器制御システムの模式図である。

【図2】第１の実施形態に係る制御サーバが検出するユーザの動作を示す模式図である。

【図3】第１の実施形態に係る制御サーバで用いられる制御データベースを示す模式図である。

【図4】第１の実施形態に係る機器制御システムのブロック図である。

【図5】第１の実施形態に係る機器制御方法のフローチャートを示す図である。

【図6】第１の実施形態に係るユーザ判定処理のフローチャートを示す図である。

【図7】第２の実施形態に係る機器制御システムの模式図である。

【図8】第３の実施形態に係る機器制御システムのブロック図である。

【発明を実施するための形態】

【0024】

（第１の実施形態）
図１は、本実施形態に係る機器制御システムＳの模式図である。機器制御システムＳは、機器制御装置としての制御サーバ１と、様々な情報を取得する１つ又は複数のセンサ装置２と、制御サーバ１によって制御される１つ又は複数の機器３と、通信を仲介するゲートウェイ４と、を含む。機器制御システムＳは、その他のサーバ、端末等の機器を含んでもよい。

【0025】

機器３は、制御サーバ１からの制御信号を受けることによって、オン、オフ、調節等の制御がなされる被制御機器である。機器３として、照明、空調機器、ＡＶ機器等、任意の機器を用いることができる。機器３は、制御サーバ１による制御だけでなく、ユーザによる操作によって作動してもよい。機器３は、通信モジュールを有しており、有線通信又は無線通信によってゲートウェイ４を介して制御サーバ１と通信する。

【0026】

センサ装置２は、画像、音声、温度等の情報を測定して取得する。センサ装置２は、情報の取得に必要な各種のセンサを有する。センサ装置２は機器３に内蔵されてもよく、あるいは独立して設置されてもよい。センサ装置２は、通信モジュールを有しており、有線通信又は無線通信によってゲートウェイ４を介して制御サーバ１と通信する。

【0027】

ゲートウェイ４は、センサ装置２、機器３及び制御サーバ１の間で授受される信号に対してプロトコル変換等の処理を行って通信可能にする中継装置である。ゲートウェイ４は、有線接続又は無線接続によってセンサ装置２及び機器３のそれぞれに接続され、またローカルエリアネットワーク、インターネット等の任意のネットワークＮを介して制御サーバ１に接続される。

【0028】

制御サーバ１は、センサ装置２、機器３及びゲートウェイ４が設置されている建物の外部において、有線通信又は無線通信によってネットワークＮに接続される。制御サーバ１は、単一のコンピュータ、又はコンピュータ資源の集合であるクラウドによって構成される。制御サーバ１は、センサ装置２が測定した情報を示す信号を、ゲートウェイ４を介して受信する。次に制御サーバ１は、センサ装置２からの情報に基づいて、制御対象の機器３及び制御内容を判定する。そして制御サーバ１は、制御内容を示す信号を、ゲートウェイ４を介して機器３へ送信する。

【0029】

［ユーザの動作の説明］
図２（ａ）、図２（ｂ）は、本実施形態に係る制御サーバ１が検出するユーザの動作を示す模式図である。ユーザの動作は、特定動作及び調整動作を含む。特定動作（第１の動作）は制御対象の機器３を指定する動作であり、調整動作（第２の動作）は制御内容を指定する動作である。

【0030】

図２（ａ）の例では、特定動作は制御対象の機器３に向けて指を差す行為であり、調整動作は特定動作の後に手を開く行為（すなわち手をパーの形にすること）である。これにより、制御サーバ１は、指差し方向（すなわち指の延長線上）に位置する機器３を制御対象として選択し、手を開く行為に対応する制御内容（例えば機器３をオンにすること）を決定する。

【0031】

調整動作は、特定動作の後に手の形状を変化させたり、手を動かしたりする行為である。図２（ｂ）の例では、特定動作はユーザが特定のソファ上に寝る行為であり、調整動作は特定動作の後に手を握る行為（すなわち手をグーの形にすること）である。これにより、制御サーバ１は、ソファに関連付けられた機器３（例えばソファの上方に位置する照明）を制御対象として選択し、手を握る行為に対応する制御内容（例えば機器３をオフにすること）を決定する。

【0032】

図２（ａ）、図２（ｂ）に示したユーザの動作は一例であり、制御サーバ１はユーザを撮像して得られた画像から判定可能な所定の動作を検出するように構成される。ユーザの動作として、特定動作及び調整動作の２つの動作に限らず、制御対象及び制御内容を同時に指定する１つの動作を用いてもよく、あるいは３つ以上の動作を組み合わせて用いてもよい。

【0033】

［制御データベースＤの説明］
図３は、本実施形態に係る制御サーバ１で用いられる制御データベースＤを示す模式図である。制御データベースＤは、ユーザの動作から制御対象の機器３及び制御内容を決定するための情報である。制御データベースＤは、機器番号Ｄ１、位置情報Ｄ２、特定動作Ｄ３及び調整動作Ｄ４を関連付けて記憶する。

【0034】

機器番号Ｄ１は、機器３を識別するための番号である。機器番号Ｄ１は、例えば登録された機器３の通し番号でもよく、機器３に予め付与されたＭＡＣ（Media Access Control）アドレス等でもよい。

【0035】

位置情報Ｄ２は、機器３の位置を示す情報であり、例えば建物の所定の点を基準とした３次元座標Ｘ、Ｙ、Ｚで表される。機器３の位置は、ユーザによって指差しの動作が行われた際に、指差し方向に位置する機器３を特定するために使用される。機器３の位置は、例えばセンサ装置２によって機器３を撮像して得られた画像から制御サーバ１が推定する。あるいは、ユーザが携帯端末のアプリケーション等を用いて各機器３の位置を制御サーバ１に設定してもよい。この場合には、例えばユーザはアプリケーション上で座標情報を入力する、あるいはアプリケーションに表示された建物内のマップにマークをつけることによって、機器３の位置を制御サーバ１に設定する。本実施形態では３次元座標を用いているが、高さ方向の座標を除いて２次元座標を用いてもよい。この場合には、高さを区別せずに水平方向の位置によって機器３が特定される。

【0036】

特定動作Ｄ３は、制御対象の機器３を指定する動作を示す情報である。特定動作Ｄ３として、例えば図２（ａ）に示した指を差すこと、図２（ｂ）に示した特定の場所で特定の動作をすること等を用いることができる。１つの機器３（機器番号Ｄ１）に対して、複数の特定動作Ｄ３が設定されてもよい。

【0037】

調整動作Ｄ４は、制御内容を指定する動作を示す情報である。調整動作Ｄ４として、例えば図２（ａ）に示した手を開くこと、図２（ｂ）に示した手を握ることのほか、手を特定の形状にして特定の方向に動かすこと等を用いることができる。調整動作Ｄ４が指定する制御内容として、オン、オフ、調節等、機器３が実行可能ないずれかの作動を用いることができる。１つの機器３（機器番号Ｄ１）に対して、複数の調整動作Ｄ４が設定されてもよい。

【0038】

各機器３に対する特定動作Ｄ３及び調整動作Ｄ４は、予め制御サーバ１に設定されてもよい。あるいはユーザが携帯端末のアプリケーション等を用いて各機器３に対する任意の特定動作Ｄ３及び調整動作Ｄ４を制御サーバ１に設定してもよい。

【0039】

図３に示した制御データベースＤは一例であり、制御データベースＤの内容及び形式は、本実施形態に係る機器制御方法で利用可能である限り任意に設定される。図３において、制御データベースＤは視認性のために文字列の表で表されているが、制御サーバ１が解釈可能な任意のデータ形式（ファイル形式）で表されてもよく、例えばバイナリデータ又はテキストデータでよい。制御データベースＤは制御サーバ１の内部に記憶されてもよく、制御サーバ１の外部の記憶装置に記憶されてもよい。

【0040】

［機器制御システムＳの構成］
図４は、本実施形態に係る機器制御システムＳのブロック図である。図４において、矢印は主なデータの流れを示しており、図４に示したもの以外のデータの流れがあってよい。図４において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図４に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。

【0041】

センサ装置２は、画像センサ２１と、距離センサ２２と、音声センサ２３と、温度センサ２４と、を有する。画像センサ２１は、撮像した画像を示す情報を出力する撮像素子を有するカメラである。距離センサ２２は、例えば赤外線や超音波を被写体（ユーザ）に照射することによって測定した距離を示す情報を出力するセンサである。距離センサ２２は、複数の方向に対して距離の測定を行い、いずれの方向への距離であるかを特定できるように構成されることが望ましい。距離センサ２２を省略し、制御サーバ１は画像センサ２１によって撮像された画像からユーザへの距離を算出してもよい。この場合には、制御サーバ１は、複数の画像センサ２１によって複数の方向から撮像された画像から、ユーザの位置を推定する。

【0042】

音声センサ２３は、周囲から取得した音声を示す情報を出力するマイクロフォンである。音声センサ２３は、例えば複数の指向性マイクロフォンを搭載し、いずれの方向からの音声であるかを特定できるように構成されることが望ましい。温度センサ２４は、周囲から取得した温度を示す情報を出力するセンサである。温度センサ２４は、例えば複数の放射温度計を搭載し、いずれの方向の温度であるかを特定できるように構成されることが望ましい。センサ２１〜２４からのアナログ信号のデジタルデータへの変換は、各センサ内で行われてもよく、制御サーバ１によって行われてもよい。

【0043】

制御サーバ１は、制御部１１と、通信部１２と、記憶部１３と、を有する。制御部１１は、動作検出部１１１と、特徴情報取得部１１２と、ユーザ判定部１１３と、機器制御部１１４とを有する。

【0044】

通信部１２は、ゲートウェイ４を介してセンサ装置２及び機器３との間で通信をするための通信インターフェースである。通信部１２は、センサ装置２及び機器３から受信した通信信号に所定の処理を行ってデータを取得し、取得したデータを制御部１１に入力する。また、通信部１２は、制御部１１から入力されたデータに所定の処理を行って通信信号を生成し、生成した通信信号をセンサ装置２及び機器３に送信する。

【0045】

記憶部１３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブ等を含む記憶媒体である。記憶部１３は、制御部１１が実行するプログラムを予め記憶している。

【0046】

制御部１１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサであり、記憶部１３に記憶されたプログラムを実行することにより、動作検出部１１１、特徴情報取得部１１２、ユーザ判定部１１３及び機器制御部１１４として機能する。制御部１１の機能の少なくとも一部は、電気回路によって実行されてもよい。また、制御部１１の機能の少なくとも一部は、ネットワーク経由で実行されるプログラムによって実行されてもよい。

【0047】

本実施形態に係る機器制御システムＳは、図４に示す具体的な構成に限定されない。例えば制御サーバ１は、１つの装置に限られず、２つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されてもよい。

【0048】

動作検出部１１１は、センサ装置２によって撮像された画像が示すユーザの動作に基づいて、制御対象の機器３及び制御内容を決定する。具体的には、まず動作検出部１１１は、通信部１２を介してセンサ装置２からの情報を受信する。動作検出部１１１は、受信した情報からセンサ装置２の画像センサ２１によって撮像された画像を取得する。動作検出部１１１は、取得した画像に対して３次元認識の画像解析技術を適用し、ユーザの動作及び位置を検出する。３次元認識の画像解析技術として、公知の技術を用いることができる。制御データベースＤに含まれるいずれかの特定動作（すなわち特定動作Ｄ３）に合致する動作が検出されるまで、動作検出部１１１は動作の検出を繰り返す。

【0049】

指差しの特定動作が検出された場合に、動作検出部１１１は、制御データベースＤにおける各機器３の位置情報Ｄ２から、検出されたユーザの位置を起点とした指の延長線上に位置する機器３（すなわち機器番号Ｄ１）を制御対象として決定する。その他の特定動作（図３におけるソファに寝ること等）が検出された場合に、動作検出部１１１は、制御データベースＤにおいて該特定動作に関連付けられている機器３を制御対象として決定する。

【0050】

制御対象が決定された後、動作検出部１１１は、次のフレーム（あるいは所定時間後）の画像を取得して、同様に３次元認識の画像解析技術を適用し、ユーザの動作を検出する。制御データベースＤに含まれるいずれかの調整動作（すなわち調整動作Ｄ４）に合致する動作が検出されるまで、動作検出部１１１は動作の検出を繰り返す。特定動作が検出された後、所定時間経過しても調整動作が検出されない場合には、動作検出部１１１は特定動作の検出に戻る。調整動作が検出された場合に、動作検出部１１１は、制御データベースＤにおいて該調整動作が指定する内容（オン、オフ、調節等）を制御内容として決定する。

【0051】

動作の誤検出を抑制するために、動作検出部１１１は、同一の動作が所定時間継続された場合に、該動作に合致する特定動作又は調整動作を検出してもよい。

【0052】

動作検出部１１１がユーザの動作に関連付けられた制御対象及び制御内容を決定した場合に、特徴情報取得部１１２は、センサ装置２からの画像、距離、音声及び温度を、通信部１２を介して受信してユーザの特徴情報として取得する。

【0053】

ユーザ判定部１１３は、特徴情報取得部１１２が取得した特徴情報に基づいて、動作検出部１１１が決定した制御対象及び制御内容の実行を、動作を行ったユーザに許可するか否か判定する。具体的には、ユーザ判定部１１３は、特徴情報から抽出したユーザの顔、声、体の大きさ、体温及び過去の動きのパラメータを用いて、制御の許可又は拒否を判定する。

【0054】

ユーザの顔を用いた判定を行うために、記憶部１３には、動作による制御を許可するユーザの顔情報が予め記憶される。記憶部１３に記憶される顔情報は、顔画像でもよく、顔画像から算出された特徴量でもよい。ユーザ判定部１１３は、人物認識技術を用いて、特徴情報取得部１１２が取得した特徴情報が示す画像から、動作検出部１１１が動作を検出したユーザの顔領域を特定し、記憶部１３に予め登録された各ユーザの顔情報と比較する。人物認識技術として、公知の技術を用いることができる。そしてユーザ判定部１１３は、画像中の顔領域が記憶部１３に予め登録されたいずれかのユーザの顔情報に合致する場合に制御を許可し、そうでない場合に制御を拒否する。

【0055】

別の方法として、ユーザ判定部１１３は、人物認識技術によって、画像中の顔領域から年齢を推定し、推定した年齢が所定の範囲内（例えば所定値以上）である場合に制御を許可し、そうでない場合に制御を拒否してもよい。人物認識技術として、公知の技術を用いることができる。

【0056】

ユーザの声を用いた判定を行うために、記憶部１３には、動作による制御を許可するユーザの声情報が予め記憶される。記憶部１３に記憶される声情報は、音声データでもよく、声から算出された特徴量（声紋）でもよい。ユーザ判定部１１３は、特徴情報が示す複数の方向の音声のうち、動作検出部１１１が動作を検出したユーザが位置する方向の音声を、ユーザの声と推定する。次にユーザ判定部１１３は、音声分析技術を用いて、推定したユーザの声を、記憶部１３に予め登録された各ユーザの声情報と比較する。音声分析技術として、公知の技術を用いることができる。そしてユーザ判定部１１３は、推定したユーザの声が記憶部１３に予め登録されたいずれかのユーザの声情報に合致する場合に制御を許可し、そうでない場合に制御を拒否する。

【0057】

別の方法として、ユーザ判定部１１３は、音声分析技術によって、音声から年齢を推定し、推定した年齢が所定の範囲内（例えば所定値以上）である場合に制御を許可し、そうでない場合に制御を拒否してもよい。音声分析技術として、公知の技術を用いることができる。

【0058】

ユーザの体の大きさを用いた判定を行うために、ユーザ判定部１１３は、人体検出技術を用いて、特徴情報取得部１１２が取得した特徴情報が示す画像から、動作検出部１１１が動作を検出したユーザの人体領域を特定し、さらにセンサ装置２から特定した人体領域までの距離を特徴情報取得部１１２が取得した特徴情報が示す距離から特定する。人体検出技術として、公知の技術を用いることができる。

【0059】

具体的には、ユーザ判定部１１３は、特徴情報が示す複数の方向の距離のうち、動作検出部１１１が動作を検出したユーザが位置する方向の距離を、人体領域までの距離として特定する。そしてユーザ判定部１１３は、特定した人体領域の画像中の大きさと、特定した距離とから、３次元空間におけるユーザの実際の大きさを推定する。ユーザの大きさとして、ユーザの体全体の大きさ（例えば身長）、あるいはユーザの体の一部（例えば手の平）の大きさを用いることができる。ユーザ判定部１１３は、推定したユーザの大きさ（例えば身長又は手の平の大きさ）が所定の範囲内（例えば所定値以上）である場合に制御を許可し、そうでない場合に制御を拒否する。

【0060】

ユーザの体温を用いた判定を行うために、ユーザ判定部１１３は、特徴情報取得部１１２が取得した特徴情報が示す温度から、動作検出部１１１が動作を検出したユーザの体温（皮膚温）を推定する。具体的には、ユーザ判定部１１３は、特徴情報が示す複数の方向の温度のうち、動作検出部１１１が動作を検出したユーザが位置する方向の温度を、ユーザの体温と推定する。そしてユーザ判定部１１３は、推定したユーザの体温が所定の範囲内（例えば所定値以下）である場合に制御を許可し、そうでない場合に制御を拒否する。

【0061】

ユーザの過去の動きを用いた判定を行うために、記憶部１３には、特徴情報取得部１１２が取得した特徴情報が示す画像中のユーザの過去の所定時間内の動き（移動）が記憶される。ユーザの動きとして、上述の人体検出技術を用いて検出された人体の時系列の位置を用いることができる。ユーザ判定部１１３は、動作検出部１１１が動作を検出したユーザの過去の所定時間内の動きを記憶部１３から取得し、動きの速さ及び方向を算出する。そしてユーザ判定部１１３は、算出したユーザの動きの速さ及び方向が所定の条件（例えば速さが所定値以下、かつ方向が水平方向）を満たす場合に制御を許可し、そうでない場合に制御を拒否する。

【0062】

ユーザが座ったり立ったりすることによって、ユーザの見かけの身長は変化する。ユーザ判定部１１３は、ユーザの身長を適切に判定するために、ユーザの過去の動きを用いてもよい。この場合には、ユーザ判定部１１３は、動作検出部１１１が動作を検出したユーザの過去の所定時間内の動きを記憶部１３から取得し、該動き（例えば同じ位置で上下方向に動いたこと）からユーザが座ったこと又は立ったことを判定する。そしてユーザ判定部１１３は、ユーザが座っていると判定する場合には、画像から推定した見かけの身長を大きく（例えば１．５倍に）補正する。

【0063】

ユーザ判定部１１３は、上述のユーザの顔、声、体の大きさ、体温及び過去の動きのパラメータの全てが条件を満たす場合に制御の許可を判定してもよく、それらのパラメータのうち一部が条件を満たす場合に制御の許可を判定してもよい。制御の許可の判定のためにより多くの条件を用いるほど、誤検出を抑止する精度が向上するため好ましい。

【0064】

機器制御部１１４は、ユーザ判定部１１３がユーザによる制御を許可することを判定した場合に、動作検出部１１１によって決定された制御内容に従って制御を行うための制御信号を生成し、通信部１２を介して動作検出部１１１によって決定された制御対象の機器３に送信する。

【0065】

機器３は、ゲートウェイ４を介して制御サーバ１から受信した制御信号に従って、オン、オフ、調節等の所定の作動を行う。

【0066】

このように、本実施形態に係る制御サーバ１は、動作（ジェスチャ）を行ったユーザの特徴情報に基づいて、動作による機器３の制御を許可するか否か判定するため、例えば子どもの動作によって意図しない制御が行われることを抑制することができる。

【0067】

センサ装置２から制御サーバ１へ画像を常時送信すると通信負荷が大きいため、センサ装置２は、画像から所定の動作（特定動作及び調整動作）に近い動作を検出した場合にのみ、制御サーバ１への画像の送信を開始してもよい。この場合には、センサ装置２は動作検知ソフトウェアを実行するコンピュータとして構成され、特定動作及び調整動作に近い動作を予め登録する。センサ装置２は、該動作検知ソフトウェアを用いて、画像センサ２１が撮像した画像から予め登録された動作を検知した場合に、制御サーバ１への画像の送信を開始する。これにより、センサ装置２から制御サーバ１へ送信されるデータの通信量を低減することができる。

【0068】

［機器制御方法のフローチャート］
図５は、本実施形態に係る機器制御方法のフローチャートを示す図である。図５のフローチャートは、例えばユーザが制御サーバ１に対して所定の開始操作を行うことによって開始される。

【0069】

まず動作検出部１１１は、センサ装置２によって撮像された画像からユーザの動作（すなわち上述の特定動作及び調整動作）を検出し、検出した動作に基づいて制御対象の機器３及び制御内容を決定する（Ｓ１）。

【0070】

ステップＳ１で動作検出部１１１が動作を検出しない場合に（Ｓ２のＮＯ）、制御サーバ１はステップＳ１に戻って処理を繰り返す。ステップＳ１で動作検出部１１１が動作を検出した場合に（Ｓ２のＹＥＳ）、制御サーバ１は図６で後述するユーザ判定処理を実行する（Ｓ３）。

【0071】

ステップＳ３のユーザ判定処理で制御が許可された場合に（Ｓ４のＹＥＳ）、機器制御部１１４は、Ｓ１で動作に基づいて決定された制御内容に従って制御を行うための制御信号を生成し、Ｓ１で動作に基づいて決定された制御対象の機器３に通信部１２を介して送信する（Ｓ５）。ステップＳ３のユーザ判定処理で制御が拒否された場合に（Ｓ４のＮＯ）、制御サーバ１はステップＳ５を行わずに次に進む。

【0072】

所定の終了条件（例えばユーザが制御サーバ１に対して所定の終了操作を行うこと）が満たされない場合に（Ｓ６のＮＯ）、制御サーバ１はステップＳ１に戻って処理を繰り返す。所定の終了条件が満たされる場合に（Ｓ６のＹＥＳ）、制御サーバ１は処理を終了する。

【0073】

［ユーザ判定処理のフローチャート］
図６は、本実施形態に係るユーザ判定処理のフローチャートを示す図である。図６のフローチャートは、図５の機器制御方法のステップＳ３で実行される。

【0074】

特徴情報取得部１１２は、センサ装置２からの画像、距離、音声及び温度を、通信部１２を介して受信してユーザの特徴情報として取得する（Ｓ３１）。ユーザ判定部１１３は、ステップＳ３１で特徴情報取得部１１２が取得した特徴情報から抽出したユーザの顔、声、体の大きさ、体温及び過去の動きのパラメータがそれぞれ所定の条件を満たすか否かを判定する（Ｓ３２）。

【0075】

ステップＳ３２で特徴情報から抽出したユーザの顔、声、体の大きさ、体温及び過去の動きのパラメータのうち少なくとも１つが所定の条件を満たすとユーザ判定部１１３が判定した場合に（Ｓ３３のＹＥＳ）、ユーザ判定部１１３は、ユーザに対して制御を許可することを判定する（Ｓ３４）。

【0076】

ステップＳ３２で特徴情報から抽出したユーザの顔、声、体の大きさ、体温及び過去の動きのパラメータがいずれも所定の条件を満たさないとユーザ判定部１１３が判定した場合に（Ｓ３３のＮＯ）、ユーザ判定部１１３は、ユーザに対して制御を拒否することを判定する（Ｓ３５）。

【0077】

ステップＳ３２において、ユーザ判定部１１３はユーザの特徴情報から抽出される顔、声、体の大きさ、体温及び過去の動きのパラメータのうち少なくとも１つが条件を満たす場合に制御を許可するが、該パラメータの全てが条件を満たす場合に制御を許可してもよい。これらに限られず、制御の許可に必要な条件は制御サーバ１に任意に設定される。

【0078】

ステップＳ３４で制御の許可が判定された後、又はステップＳ３５で制御の拒否が判定された後、制御サーバ１は図５のフローチャートに戻る。

【0079】

［第１の実施形態の効果］
子供は、手を上げる、走る、跳ねる等の多彩な動きを行うことが多い。本実施形態に係る制御サーバ１は、子供と大人を区別可能なユーザの特徴情報を用いて、ユーザの動作による制御の可否を判定する。

【0080】

子供の顔と大人の顔とはしわ等によって区別できることから、制御サーバ１はユーザの顔によって子供及び大人を区別する。また、子供の声は大人の声よりも高い傾向があることから、制御サーバ１はユーザの声によって子供及び大人を区別する。また、子供の体は大人の体よりも小さい傾向があることから、制御サーバ１はユーザの体の大きさ（例えば身長や手の平の大きさ）によって子供及び大人を区別する。また、子供の体温（皮膚温）は大人の体温よりも高い傾向があることから、制御サーバ１はユーザの体温によって子供及び大人を区別する。また、子供は走ったり跳ねたりする傾向があることから、制御サーバ１はユーザの過去の動き（速さ及び方向）によって子供及び大人を区別する。

【0081】

そして制御サーバ１は、大人と推定されるユーザが行った動作による機器の制御を許可し、子供と推定されるユーザが行った動作による機器の制御を拒否する。このような構成により、子供が行う様々な動作を機器の制御の動作として誤検出することを抑制できる。

【0082】

また、制御サーバ１は、子供と大人の区別に限らず、顔や声が登録済のユーザか否かを判別することによって、未登録のユーザが行った動作を誤検出して機器の制御を行うことを抑制できる。

【0083】

［第１の実施形態の変形例］
上述の機器制御方法では、制御サーバ１は常に動作の検出を行っているが、特定の開始音声を検出したことをトリガとして動作の検出を開始してもよい。この場合には、センサ装置２は、マイクロフォン等の音声センサを備える。まず制御サーバ１は、開始音声が検出される前には動作の検出を行わず、開始音声の検出を開始する。制御サーバ１は、センサ装置２の音声センサから取得した音声から、所定の開始音声を検出する。開始音声は、例えば「ＯＫ」、「Ｈｉ」等の制御サーバ１に記憶された音声である。また、開始音声は、ユーザが制御サーバ１に予め録音した音声でもよい。

【0084】

例えば制御サーバ１は、センサ装置２の音声センサから取得した音声に対して音声認識技術を適用し、該音声に開始音声に対応する言語が含まれている場合に、開始音声を検出してもよい。音声認識技術として、公知の技術を用いることができる。また、制御サーバ１は、センサ装置２の音声センサから取得した音声の周波数スペクトルに、予め録音された開始音声の周波数スペクトルの所定の割合以上が含まれている場合に、開始音声を検出してもよい。所定の割合は、開始音声と一致していると考えられる程度の割合であり、例えば９０％である。また、制御サーバ１は、センサ装置２の音声センサから取得した音声の周波数スペクトルのパターンと、予め録音された開始音声の周波数スペクトルのパターンとの相関度が所定値以上である場合に、開始音声を検出してもよい。

【0085】

そして制御サーバ１は、開始音声を検出した場合に、動作の検出を開始して上述の機器制御方法を行う。制御サーバ１は、開始音声が検出された時点から所定の時間が経過した場合に、動作の検出を停止し、再び開始音声の検出を行う。

【0086】

このような構成により、制御サーバ１は、開始音声を検出した後の所定期間のみ、画像からの動作の検出を行う。そのため、制御サーバ１の処理負荷及び通信負荷を軽減することができる。

【0087】

（第２の実施形態）
第１の実施形態において制御サーバ１は建物の外部に配置され、ネットワークＮを介してセンサ装置２及び機器３と通信する。そのため、ネットワークＮの通信状況によっては動作の検出及び機器の制御の実行に時間が掛かるおそれがある。また、センサ装置２から制御サーバ１へ画像を常時送信すると通信負荷が大きい。それに対して、本実施形態では、建物の外部に配置された制御サーバ１−１に加えて、建物内に制御サーバ１−２を設ける。建物内に制御サーバ１−２を設けることによって、動作の検出及び機器の制御の実行に掛かる時間を短縮できる。これにより、直接機器のスイッチやリモコンに触れて操作を行うことと比較して、時間を掛けずに手間を削減できるため、ユーザにとっての利便性が向上する。

【0088】

図７は、本実施形態に係る機器制御システムＳの模式図である。機器制御システムＳは、第１の実施形態と同様のセンサ装置２、機器３及びゲートウェイ４に加えて、建物外においてネットワークＮに接続されている制御サーバ１−１、及び建物内においてゲートウェイ４とネットワークＮとの間に接続されている制御サーバ１−２を含む。制御サーバ１−１及び制御サーバ１−２は、それぞれ図４の制御サーバ１と同様の構成を有する。

【0089】

本実施形態では、建物内の制御サーバ１−２及び建物外の制御サーバ１−１の間で処理やデータを調整することによって、動作検出の速度及び精度のバランスをとる。例えば建物内の制御サーバ１−２において計算量の小さい動作検出処理を行い、建物外の制御サーバ１−１において計算量の大きい動作検出処理を行う。あるいは例えば建物内の制御サーバ１−２の記憶部１３に少ない量の制御データベースＤを記憶し、建物外の制御サーバ１−１の記憶部１３に多い量の制御データベースＤを記憶する。

【0090】

まず建物内の制御サーバ１−２は、センサ装置２からの情報に基づいて動作の検出を行う。そして制御サーバ１−２が動作を検出できなかった場合に、制御サーバ１−２は建物外の制御サーバ１−１にセンサ装置２からの情報を転送し、制御サーバ１−１は、センサ装置２からの情報に基づいて動作の検出を行う。制御サーバ１−２及び制御サーバ１−１のどちらか一方は、検出した動作に基づいて機器３の制御を行う。

【0091】

［第２の実施形態の効果］
一般的に、建物内の制御サーバ１−２はネットワークＮを介さないため通信負荷が掛からないが、設置スペースや設置コストによって機器構成に制約がある。一方、建物外の制御サーバ１−１は高度な機器構成を備えることができるため高速に処理を行えるが、通信負荷が掛かる。そこで本実施形態に係る機器制御システムＳは、建物内の制御サーバ１−２で簡易的な動作検出を行い、建物外の制御サーバ１−１で複雑な動作検出を行う。このような構成によって、動作検出の精度を維持しつつも動作検出の速度を向上できる。

【0092】

（第３の実施形態）
本実施形態は、ユーザの顔、声、体の大きさ、体温及び過去の動き等のユーザ自身の情報に加えて、ユーザのいる場所、ユーザが所持するデバイス及びユーザが動作を行った時間等のユーザをとりまく環境の情報を用いて、ユーザによる制御の可否を判定する。それ以外の構成及び処理は、第１の実施形態と同様である。

【0093】

図８は、本実施形態に係る機器制御システムＳのブロック図である。センサ装置２は、第１の実施形態と同様の画像センサ２１、距離センサ２２、音声センサ２３及び温度センサ２４に加えて、位置測定部２５及び近距離通信部２６を有する。

【0094】

位置測定部２５は、ユーザの位置を測定する。ユーザの位置は、例えばユーザのいる部屋を示す情報である。位置測定部２５は、センサ装置２自身の位置及び建物の部屋割を示すマップを予め記憶する。そして位置測定部２５は、画像センサ２１が撮像した画像及び距離センサ２２が測定した距離から、センサ装置２自身の位置を基準としたユーザの位置を推定することによって、ユーザがマップ上のどの部屋にいるかを特定する。あるいは位置測定部２５は、複数の画像センサ２１によって複数の方向から撮像された画像から、ユーザの位置を推定してもよい。位置測定部２５は、ユーザの位置を示す情報を出力する。

【0095】

近距離通信部２６は、ユーザの所持するデバイスとの間で近距離通信を行うためのアンテナ等を有する通信インターフェースである。近距離通信は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）である。ユーザの所持するデバイスは、例えば近距離通信機能を有する腕時計である。近距離通信部２６は、ユーザの所持するデバイスを識別する情報を予め記憶する。近距離通信部２６は、ユーザの所持するデバイスに対して近距離通信を試行し、近距離通信の可否を示す情報を出力する。

【0096】

特徴情報取得部１１２は、センサ装置２から、画像、距離、音声及び温度に加えて、ユーザの位置及び近距離通信の可否を、特徴情報として取得する。また、特徴情報取得部１１２は、動作検出部１１１が動作を検出した時間を、特徴情報として取得する。

【0097】

ユーザ判定部１１３は、第１の実施形態と同様のユーザの顔、声、体の大きさ、体温及び過去の動きのパラメータに加えて、特徴情報から抽出したユーザの位置、近距離通信の可否、及びユーザが動作を行った時間のパラメータを用いて、制御の許可又は拒否を判定する。

【0098】

ユーザの位置を用いた判定を行うために、記憶部１３には、建物内の位置（例えば部屋）ごとの判定基準が予め記憶される。そしてユーザ判定部１１３は、記憶部１３に記憶された位置ごとの判定基準に従って、特徴情報取得部１１２が取得した特徴情報が示すユーザの位置に対応する判定基準を設定する。例えばユーザ判定部１１３は、居間では身長が小さいユーザによる制御を許可し、書斎では身長が小さいユーザによる制御を拒否する。このような構成により、例えば子供の動作による制御の可否を部屋ごとに設定することができる。

【0099】

ユーザが所持するデバイスを用いた判定を行うために、ユーザ判定部１１３は、特徴情報取得部１１２が取得した特徴情報が示す近距離通信の可否から、動作を行ったユーザがデバイスを所持しているか否かを判定する。具体的には、ユーザ判定部１１３は、近距離通信が可能な場合にユーザがデバイスを所持していると判定し、そうでない場合にデバイスを所持していないと判定する。そしてユーザ判定部１１３は、ユーザがデバイスを所持していると判定した場合に制御を許可し、そうでない場合に制御を拒否する。このような構成により、特定のデバイスを身に着けているユーザに動作による制御を許可することができる。

【0100】

ユーザが動作を行った時間を用いた判定を行うために、記憶部１３には、時間帯ごとの判定基準が予め記憶される。そしてユーザ判定部１１３は、記憶部１３に記憶された時間帯ごとの判定基準に従って、特徴情報取得部１１２が取得した特徴情報が示すユーザが動作を行った時間に対応する判定基準を設定する。例えばユーザ判定部１１３は、昼間には身長が小さいユーザによる制御を許可し、夜間には身長が小さいユーザによる制御を拒否する。このような構成により、例えば子供の動作による制御の可否を時間帯ごとに設定することができる。

【0101】

ユーザ判定部１１３は、ユーザのいる場所、ユーザが所持するデバイス及びユーザが動作を行った時間等のユーザをとりまく環境の情報のみに用いて制御の可否を判定してもよく、環境の情報をユーザの顔、声、体の大きさ、体温及び過去の動き等のユーザ自身の情報と組み合わせて制御の可否を判定してもよい。

【0102】

［第３の実施形態の効果］
本実施形態では、ユーザをとりまく環境に基づいて動作による制御の可否を判定することによって、第１の実施形態と同様の効果を奏する。さらに、顔や身長のようなユーザ自身の情報に、位置や時間のような環境の情報を組み合わせることによって、より細かい制御可否の判定を行うことができる。

【0103】

（第４の実施形態）
本実施形態は、複数のユーザの動作が同時に検出された場合に、ユーザの特徴情報に基づいて優先度を決定し、該優先度に従っていずれかのユーザの動作による制御を行う。これにより、例えば大人と子供が同時に動作を行った場合に、大人の動作を優先して制御を許可することができる。なお、ここでの同時とは、実質的に同時であることを含む。

【0104】

複数のユーザの動作が同時に行われた場合に、動作検出部１１１は、それぞれのユーザの動作及び位置を検出する。そして動作検出部１１１は、それぞれのユーザの動作に関連付けられた制御対象及び制御内容を決定する。

【0105】

特徴情報取得部１１２は、通信部１２を介してセンサ装置２からの情報を受信し、該情報が示す画像、距離、音声及び温度を、特徴情報として取得する。特徴情報には複数の方向の距離、音声及び温度の一又は複数の情報が含まれており、画像中のいずれのユーザに係る情報であるか特定可能である。

【0106】

ユーザ判定部１１３は、特徴情報取得部１１２が取得した複数のユーザの特徴情報に基づいて、動作検出部１１１が決定した制御対象及び制御内容の実行をいずれのユーザに許可するか判定する。具体的には、ユーザ判定部１１３は、複数のユーザのそれぞれについて特徴情報から顔、声、体の大きさ、体温及び過去の動きのパラメータを抽出し、それらが条件を満たすか否かに基づいて優先度を決定する。各パラメータに適用する条件は、第１の実施形態と同様である。優先度は、例えば条件を満たすパラメータが多いほど高く、少ないほど低く設定される。また、パラメータの種類ごとに優先度への貢献が異なるように（例えば顔の条件を満たす場合には体温の条件を満たす場合よりも優先度が高いように）設定されてもよい。ここに示した優先度は一例であり、ユーザによって任意に優先度が設定されてもよい。

【0107】

そしてユーザ判定部１１３は、複数のユーザのうち最も優先度が高い１人のユーザを選択し、選択した１人のユーザの動作による制御を許可し、他のユーザの動作による制御を拒否する。

【0108】

［第４の実施形態の効果］
本実施形態では、複数のユーザによる動作が同時に行われた場合であっても、特徴情報に基づいて決定された優先度に従っていずれかのユーザを選択することによって、機器の制御を円滑に行うことができる。

【0109】

（第５の実施形態）
第１の実施形態は動作を行ったユーザ自身の特徴情報に基づいて動作による制御の可否を判定するのに対して、本実施形態は動作を行った第１のユーザの近傍にいる第２のユーザの特徴情報に基づいて該動作による制御の可否を判定する。これにより、いわゆるペアレンタルコントロールのように、例えば子供単独の動作による制御を拒否し、大人が同伴している子供の動作による制御を許可することができる。

【0110】

動作検出部１１１は、センサ装置２が撮像する画像中に第１のユーザ及び第２のユーザが存在する場合に、第１のユーザの動作及び位置を検出し、第１のユーザの動作に関連付けられた制御対象及び制御内容を決定する。特徴情報取得部１１２は、センサ装置２からの画像、距離、音声及び温度を、通信部１２を介して受信して特徴情報として取得する。特徴情報には複数の方向の距離、音声及び温度の一又は複数の情報が含まれており、第１のユーザの近傍にいる第２のユーザに係る情報を特定可能である。

【0111】

ユーザ判定部１１３は、特徴情報取得部１１２が取得した特徴情報のうち、第１のユーザの近傍にいる第２のユーザの特徴情報に基づいて、動作検出部１１１が決定した制御対象及び制御内容の実行を第１のユーザに許可するか否かを判定する。すなわち、ユーザ判定部１１３は、動作を行った第１のユーザではなく、その近傍に位置する第２のユーザの顔、声、体の大きさ、体温及び過去の動きのパラメータを抽出し、一又は複数のパラメータが条件を満たすか否かを判定する。各パラメータに適用する条件は、第１の実施形態と同様である。そしてユーザ判定部１１３は、第２のユーザのパラメータが条件を満たす場合に、第１のユーザの動作による制御を許可する。

【0112】

［第５の実施形態の効果］
本実施形態では、動作を行った第１のユーザの近傍に位置する第２のユーザの特徴情報に基づいて制御の可否を判定するため、第１のユーザ自身が条件を満たしていなくとも動作による制御を許可することができる。

【0113】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。

【0114】

制御サーバ１の制御部１１（プロセッサ）は、図５、６に示す機器制御方法に含まれる各ステップ（工程）の主体となる。すなわち、制御部１１は、図５、６に示す機器制御方法を実行するための機器制御プログラムを記憶部１３から読み出し、該機器制御プログラムを実行して制御サーバ１の各部を制御することによって、図５、６に示す機器制御方法を実行する。図５、６に示す機器制御方法に含まれるステップは一部省略されてもよく、ステップ間の順番が変更されてもよく、複数のステップが並行して行われてもよい。

【符号の説明】

【0115】

Ｓ 機器制御システム
１ 制御サーバ
１１１ 動作検出部
１１２ 特徴情報取得部
１１３ ユーザ判定部
１１４ 機器制御部
３ 機器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】