特開 2021-182323 ジェスチャーリモコン及びジェスチャーによる被制御機器の操作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-182323(P2021-182323A)

(43)【公開日】2021年11月25日

(54)【発明の名称】ジェスチャーリモコン及びジェスチャーによる被制御機器の操作方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20211029BHJP

【ＦＩ】

   G06F3/01 570

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

【全頁数】11

(21)【出願番号】特願2020-88172(P2020-88172)

(22)【出願日】2020年5月20日

(71)【出願人】

【識別番号】520177046

【氏名又は名称】Ｓｔａｍｐ株式会社

(74)【代理人】

【識別番号】100084375

【弁理士】

【氏名又は名称】板谷 康夫

(74)【代理人】

【識別番号】100125221

【弁理士】

【氏名又は名称】水田 愼一

(74)【代理人】

【識別番号】100142077

【弁理士】

【氏名又は名称】板谷 真之

(74)【代理人】

【識別番号】100143199

【弁理士】

【氏名又は名称】磯邉 毅

(72)【発明者】

【氏名】村本 章憲

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA62

5E555BA19

5E555BB06

5E555BB19

5E555BC01

5E555CA41

5E555CA42

5E555CB66

5E555CC01

5E555EA25

5E555FA00

(57)【要約】

【課題】カメラ位置を意識せずして任意に複数の機器を操作制御できる、ジェスチャーリモコン及びジェスチャーによる被制御機器の操作方法を提供する。
【解決手段】ジェスチャーリモコン１は、全周囲を撮像するカメラ３と、カメラによる撮像データをもとにジェスチャー動作を解析し、人物の特定部位におけるジェスチャー動作に応じて被制御機器５の特定及びその動作を特定するコントローラ２と、コントローラからの出力に基づき、特定された被制御機器に対する動作信号を赤外線信号により出力する赤外線送信機４と、を備え、カメラ及び赤外線送信機は、居室内の天井に設けられ、赤外線送信機は居室内の全周囲に向けて赤外線信号を出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

全周囲を撮像するカメラと、
前記カメラによる撮像データをもとにジェスチャー動作を解析し、人物の特定部位におけるジェスチャー動作に応じて被制御機器の特定及びその動作を特定するデータベースを参照して被制御機器の特定及びその動作を特定するコントローラと、
前記コントローラからの出力に基づき、特定された被制御機器に対する動作信号を赤外線信号により出力する赤外線送信機と、を備え、
前記カメラ及び前記赤外線送信機は、居室内の天井に設けられ、前記赤外線送信機は居室内の全周囲に向けて赤外線信号を出力し得るように構成したことを特徴とするジェスチャーリモコン。

【請求項2】

前記コントローラは、居室内の天井に設けられ、ネットワークに接続されたエッジコンピュータにより構成され、前記エッジコンピュータは、ネットワーク又はＷｉ−Ｆｉを介してユーザのスマホと接続され、前記スマホから被制御機器の動作情報を閲覧可能、かつ被制御機器を制御可能とした、請求項１に記載のジェスチャーリモコン。

【請求項3】

前記エッジコンピュータ、前記カメラ及び前記赤外線送信機は、居室内の天井に装着される照明器具に設けられ、
前記エッジコンピュータの基板上に、前記カメラ及び前記赤外線送信機が設けられ、前記カメラ及び前記赤外線送信機は、前記基板に回路接続されている、請求項１又は請求項２に記載のジェスチャーリモコン。

【請求項4】

被写体までの距離情報を取得可能な深度センサをさらに備え、
前記深度センサは、居室内の天井に設けられており、
前記コントローラは、前記深度センサによる検出データを受信し、該検出データをもとに人物の特定部位を特定し、前記カメラによる撮像データをもとに行うジェスチャー動作解析に供する、ことを特徴とする請求項１乃至請求項３のいずれか一項に記載のジェスチャーリモコン。

【請求項5】

前記コントローラは、被制御機器を選択し、かつ指令開始のトリガーとなるジェスチャー動作と、被制御機器の動作内容を決定するジェスチャー動作と、を前記データベースに事前登録するアプリケーションプログラムを有している、ことを特徴とする請求項１乃至請求項４のいずれか一項に記載のジェスチャーリモコン。

【請求項6】

居室内の天井に設けられ全周囲を撮像するカメラによる撮像データをもとに人物の特定部位におけるジェスチャー動作をコントローラにより解析する解析ステップと、
前記解析ステップにより解析されたジェスチャー動作について、ジェスチャー動作に応じて被制御機器の特定及びその動作を特定するデータベースを参照することにより、ジェスチャー動作に応じた被制御機器の特定及びその動作をコントローラにより特定する特定ステップと、
前記特定ステップにより特定された被制御機器に対する動作信号を、居室内の天井に設けられた赤外線送信機で赤外線信号により居室内の全周囲に向けて出力する出力ステップと、を備えたことを特徴とするジェスチャーによる被制御機器の操作方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、操作者のジェスチャーにより被制御機器を遠隔操作するジェスチャーリモコン及びジェスチャーによる被制御機器の操作方法に関する。

【背景技術】

【0002】

この種のジェスチャーリモコンとして、ジェスチャー動作をカメラにより撮影したカメラ信号からジェスチャーを検出し、検出したジェスチャーに対応して機器を動作させるものが知られている（例えば、特許文献１，２参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特公２０１４−１９７２５２号公報

【特許文献2】国際公開ＷＯ２０１８／１５０５６９Ａ１公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

これらジェスチャーリモコンにおいて、ジェスチャー動作の認識性を上げるため、特許文献１に示されるものでは、操作対象のメニュー等を表示する表示部に操作者の視線が向いていることをカメラ信号から検出することにより、操作者が意図しない機器が操作されることを防止している。

【0005】

特許文献２に示されるものでは、プロジェクタの操作に用いる場合に、プロジェクタからスクリーンなどへ投写された映像の中に人物の映像があると、映像中の人物を誤検出する虞があるので、ジェスチャー認識のためのカメラとは別に熱画像センサを用いて人物を検出し、人物の誤検出を防止している。
ところが、いずれも、操作者はカメラ位置を意識してジェスチャー動作を行う必要があり、また、任意に複数の機器を操作制御できるものではない。

【0006】

本発明は、上記課題を解決するものであり、カメラ位置を意識せずして任意に複数の機器を操作制御できる、ジェスチャーリモコン及びジェスチャーによる被制御機器の操作方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、全周囲を撮像するカメラと、
前記カメラによる撮像データをもとにジェスチャー動作を解析し、人物の特定部位におけるジェスチャー動作に応じて被制御機器の特定及びその動作を特定するデータベースを参照して被制御機器の特定及びその動作を特定するコントローラと、
前記コントローラからの出力に基づき、特定された被制御機器に対する動作信号を赤外線信号により出力する赤外線送信機と、を備え、
前記カメラ及び前記赤外線送信機は、居室内の天井に設けられ、前記赤外線送信機は居室内の全周囲に向けて赤外線信号を出力し得るように構成したことを特徴とするジェスチャーリモコンである。

【0008】

また、本発明は、居室内の天井に設けられ全周囲を撮像するカメラによる撮像データをもとに人物の特定部位におけるジェスチャー動作をコントローラにより解析する解析ステップと、
前記解析ステップにより解析されたジェスチャー動作について、ジェスチャー動作に応じて被制御機器の特定及びその動作を特定するデータベースを参照することにより、ジェスチャー動作に応じた被制御機器の特定及びその動作をコントローラにより特定する特定ステップと、
前記特定ステップにより特定された被制御機器に対する動作信号を、居室内の天井に設けられた赤外線送信機で赤外線信号により居室内の全周囲に向けて出力する出力ステップと、を備えたことを特徴とするジェスチャーによる被制御機器の操作方法である。

【発明の効果】

【0009】

本発明によれば、ユーザは居室内に居てカメラを意識することなく、容易に任意の複数の機器の制御指示を出すことができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態によるジェスチャーリモコンの構成を示すブロック図である。

【図2】同ジェスチャーリモコンの制御動作のフローチャートである。

【図3】同ジェスチャーリモコンのリモコンデータ設定のフローチャートである。

【図4】同ジェスチャーリモコンのジェスチャー認識動作のフローチャートである。

【図5】同ジェスチャーリモコンのアプリケーション構成を示す図である。

【図6】同ジェスチャーリモコンのジェスチャー動作認識の原理を示す図である。

【図7】（Ａ）は同ジェスチャーリモコンが組み込まれた照明器具を下方から見た図、（Ｂ）は同照明器具を側方から見た概念図である。

【発明の実施の形態】

【0011】

（一実施形態の構成）
本発明の実施形態について図面を参照して説明する。図１は、本実施形態によるジェスチャーリモコンの構成を示すブロック図である。本実施形態のジェスチャーリモコン１は、操作者（ユーザ）のジェスチャー動作に応じて被制御機器の特定及びその動作を特定するコントローラ２と、ジェスチャー動作を撮像するカメラ３と、特定された被制御機器５に対する動作信号を赤外線信号により出力する赤外線送信機４と、を備えている。

【0012】

コントローラ２は、カメラ３による撮像データ（カメラ画像）をもとに、データベース（図５の２４）を参照して人物の特定部位の動作に応じてジェスチャー動作を解析し、被制御機器５の特定及びその動作を特定する。カメラ３及び赤外線送信機４は、居室内の天井に設けられ、カメラ３は、居室内全周囲を撮像し、赤外線送信機４はコントローラ２からの出力に基づき居室内の全周囲に向けて赤外線信号を出力し得るように構成されている。

【0013】

コントローラ２による、人物の特定部位の動作に応じてジェスチャー動作の解析及び被制御機器５とその動作の特定は、例えば、人物に共通の特徴量を予め人物モデルとしてデータベースに用意しておき、撮像データから特徴量を抽出し比較することにより行う。人物の特定部位としては、腕、手及び指を用い、腕の画像により操作を行う人物を認識し、かつ被制御機器５を特定し、手及び指のジェスチャーにより被制御機器５の動作（操作内容）を認識する。

【0014】

被制御機器５は、例えば、居室内に設置されたテレビ５１、掃除機５２、エアコン５３等である。これら被制御機器５の各々は、赤外線送信機４から出力される赤外線信号を受信して復号化する赤外線受信機を備えている。ユーザは、ジェスチャー動作により被制御機器５を特定し、例えばテレビ５１のオン・オフ・音量調整や、テレビ５１に内蔵のレコーダの録画予約等を行うことができる。被制御機器５の特定は、ユーザが操作しようとする被制御機器５を見る人物の姿勢のカメラ画像、又は被制御機器５の方向を指し示す腕、手のカメラ画像を解析することにより行う。

【0015】

本実施形態のジェスチャーリモコン１によれば、居室内全周囲を撮像するカメラ３及び居室内の全周囲に向けて赤外線信号を出力する赤外線送信機４が居室内の天井に設けられていて、居室内を見下ろす形で撮影でき、かつ赤外線信号を出力できるので、ユーザは居室内においてカメラ３の位置を意識することなく、つまりカメラ３を向かずとも、ジェスチャー動作をするだけで、容易に任意の被制御機器５に対して制御指示を出すことができる。ここに、ユーザは居室内の何処にいても、また、何らのリモコン端末を用いることなく、任意の被制御機器５をリモコン制御できる。

【0016】

本実施形態において、コントローラ２は、居室内の天井に設けられ、ネットワークに接続されたエッジコンピュータにより構成することができる。このエッジコンピュータは、ＣＰＵ、メモリ、レジスタ、ＩＯ等から成り、カメラ画像等よりジェスチャー動作の解析等を処理し、また、各種学習の機能を持つアプリケーションプログラム及びデータベースを格納している。コントローラ２は、ネットワーク又はＷｉ−Ｆｉ等を介してユーザの携帯端末であるスマートフォン（以下、スマホという）６と接続され、スマホ６から被制御機器５の動作情報を閲覧可能、かつ被制御機器５を制御可能に構成する。これにより、スマホ６から被制御機器５の状況閲覧及び制御が可能となる。

【0017】

本実施形態においては、ジェスチャーリモコン１は居室内の天井に装着される照明器具７に一体的に設けられている。具体的には、コントローラ２を構成するエッジコンピュータが照明器具７内に設けられ、カメラ３及び赤外線送信機４がエッジコンピュータの基板２０（図７Ａ）上に搭載され、回路接続されている。照明器具７は、天井に設けられた引っ掛けシーリング又はローゼットに取り付けられ、コンセント及びプラグ接続により電源が供給される。エッジコンピュータには照明器具７から電源が供給されるようにする。これにより、ジェスチャーリモコン１の構成は、簡単かつ施工容易となる。ジェスチャーリモコン１を照明器具７に一体的に設けられない場合、カメラ３、赤外線送信機４及び各種センサは、コントローラ２とＵＳＢ等を用いた有線接続される。

【0018】

照明器具７が、コントローラ２により点灯制御されるように構成されていることで、照明器具７の点灯をもジェスチャー動作により制御することができる。なお、コントローラ２、カメラ３及び赤外線送信機４は、照明器具７に内蔵又は一体的に設けられていることが望ましいが（その具体構成例は後述）、必ずしもそれに限られず、照明器具７とは別体に設けられても良い。

【0019】

本実施形態において、ジェスチャーリモコン１は、被写体（ユーザ）である人物までの距離情報を取得可能な深度センサ８をさらに備えている。深度センサ８は、カメラ３だけでは取得が難しい、人物のボーン支点の移動距離の検出に有効である。深度センサ８は、居室内の天井に設けられており、コントローラ２は、深度センサ８による検出データを受信し、この検出データをもとに人物の特定部位を特定し、カメラ３による撮像データをもとに行うジェスチャー動作解析に供する。これにより、人物の部位特定が容易となる。

【0020】

本実施形態において、コントローラ２は、被制御機器５を選択し、かつ指令開始のトリガーとなるジェスチャー動作と、被制御機器５の動作内容を決定するジェスチャー動作と、をデータベースに事前登録するアプリケーションプログラムを有している、これにより、ユーザによるジェスチャーリモコン１の使い勝手を良くしている。

【0021】

本実施形態において、ジェスチャーリモコン１は、温度／湿度センサ９と、照度センサ１０とを備え、各センサ出力はコントローラ２に入力されている。これら各種センサにより取得したデータは、スマホ６からも参照可能とし、また、エアコン５３を最適な温度設定でプログラム動作させるための学習データとなる。さらに、コントローラ２は、スマートスピーカ１１及び冷蔵庫１２とＷｉ−Ｆｉ等を介して接続され、さらにゲートウェイ１３を介してネットワーク上のクラウド１４と接続され、さらにクラウド１４を介して前述のスマホ６、ユーザのパーソナルコンピュータ（ＰＣ）１５、スマートウォッチ１６が接続されている。スマートスピーカ１１は、音楽、天気予報、オンラインラジオの音声を出力するものであり、ユーザのジェスチャー動作により、オン・オフ・音量調整等をすることができる。

【0022】

（一実施形態の動作）
図２は、本実施形態によるジェスチャーリモコン１の制御動作を示すフローチャートである。ユーザがジェスチャーリモコン１を起動すると（Ｓ１）、ジェスチャーリモコン１はスマホ６と接続し（Ｓ２）、ジェスチャーリモコン１をＷｉ−Ｆｉに接続し（Ｓ３）、ジェスチャーリモコン１のリモコンデータの設定を行う（Ｓ４）。

【0023】

その後、ジェスチャーリモコン１は、動作指示の入力状態つまりユーザのジェスチャー認識状態となる（Ｓ５）。ここに、コントローラ２は、カメラ３による撮像データを解析して、動作開始のトリガーとなるアクションが起きたかを判定し、動作開始のトリガーが判定されれば、それに続くユーザのジェスチャー動作から、動作指示つまり被制御機器５の特定及び動作内容を判定する。

【0024】

コントローラ２は、動作指示に応じたコマンド（制御データ）を赤外線送信機４に送信し（Ｓ６）、そのコマンドに応じて赤外線送信機４は被制御機器５を駆動する（Ｓ７）。その後、コントローラ２は、被制御機器５の動作状態（オン・オフ等）を含む各種計測データをクラウド１４に送信し（Ｓ８）、被制御機器５の動作情報をスマホ６等の画面に表示させる（Ｓ９）。

【0025】

上記Ｓ５からＳ７のステップは、本発明のジェスチャーによる被制御機器５の操作方法に関する。ステップＳ５は、カメラ３による撮像データをもとに人物の特定部位におけるジェスチャー動作をコントローラ２により解析する解析ステップと、この解析ステップにより解析されたジェスチャー動作に応じた被制御機器５の特定及びその動作をコントローラ２により特定する特定ステップと、に相当する。この特定ステップにおいては、コントローラ２は、ジェスチャー動作に応じて被制御機器５の特定及びその動作を特定するデータベース（図５の２４）を参照することにより、被制御機器５の特定及びその動作の特定を行う。ステップＳ６，Ｓ７は、特定された被制御機器５に対する動作信号を、居室内の天井に設けられた赤外線送信機４で赤外線信号により居室内の全周囲に向けて出力する出力ステップに相当する。

【0026】

図３は、リモコンデータの設定（Ｓ４）のフローチャートである。リモコンデータ設定は、ジェスチャーリモコン１の動作を開始するトリガーの決定（Ｓ４１）と、被制御機器５の設定（Ｓ４２）と、ジェスチャーの決定（Ｓ４３）とから成る。トリガーの決定（Ｓ４１）は、所定のジェスチャー、例えば腕・手指の形状をトリガーとして登録し、また、被制御機器５の在る方向を指で指す動作を被制御機器５の特定として登録する。被制御機器５の設定（Ｓ４２）は、プリセットされている被制御機器の中から選択するか、若しくはジェスチャーリモコン１の赤外線送信機４と被制御機器５の赤外線受信機とを対応付けする。ジェスチャーの決定（Ｓ４３）は、事前に登録してあるジェスチャーデータのプリセットから選択するか、若しくはユーザ自身がカメラ３を用いて撮像し登録する。

【0027】

図４は、ジェスチャー認識動作・動作指示入力（Ｓ５）の詳細フローチャートである。ジェスチャーリモコン１は、カメラ３により居室内を撮影し続け（Ｓ５１）、カメラ画像解析によりトリガーとなるジェスチャー動作（アクション）が有ったかを判定し（Ｓ５２）、アクションが有れば、腕・手・指の変化を算出し（Ｓ５３）、アクションの変化が事前登録された動きと一致するかを判定し（Ｓ５４）、この判定がＹＥＳであれば、制御データの送信を行う（Ｓ６）。この判定がＮＯであれば、処理は元に戻る。

【0028】

動作指示のトリガーとなるアクションは、その他の動作指示とは異なり、特定の手指の形、例えばピース又は開いた手指を２秒間認識することで判定することが好ましい。これにより、比較的安価なエッジコンピュータを用いて画像解析の処理を迅速に、かつ精度良く行うことが可能となる。

【0029】

図５は、ジェスチャーリモコン１のアプリケーション２１の構成を示す。アプリケーション２１は、常時稼働であり、カメラアプリ２２、深度センサアプリ２３、登録アクションＤＢ２４（データベース）、腕の位置角度の変化計算アプリ２５、手指の位置角度の変化計算アプリ２６、人物認識アプリ（ＹＯＬＯ等）２７、画像データを定期的に消去するデータスイーパーアプリ２８等を備える。

【0030】

図６は、ジェスチャーリモコン１のジェスチャー動作認識の原理を示す。図６において、例１は、被制御機器５、例えばエアコンをつける場合であり、右手を閉じた状態（グー）から親指、人差し指、中指を開くジェスチャー動作をすると、エアコンをＯＮできる。例２は、テレピの音量を変える場合であり、右手でドアノブを掴むような動作をして、右に捻ると音量を上げ、左に捻ると音量を下げる動作になる。例３は、電話を架ける場合であり、親指と人差し指を上に伸ばして左右に振る。電話の架け先番号選択は、スマホ６の電話帳のプリセット宛先に対応した番号を、伸ばした指の数で示すことで行える。

【0031】

ジェスチャー動作とそれによる被制御機器５の操作との対応は、ユーザの腕、手、指の形状・変化の組み合わせにより設定可能であり、デフォルト設定のほか、ユーザにより任意に登録アクションＤＢ２４に登録可能とする。

【0032】

図７(Ａ)(Ｂ)は、ジェスチャーリモコン１が組み込まれた照明器具７を下方及び側方から見た図である。ジェスチャーリモコン１は、照明器具７に組み込まれ、コントローラ２は、照明器具７のリング状のＬＥＤライト７０の中央に配置されている。カメラ３、深度センサ８、赤外線送信機４、温度／湿度センサ９、及び照度センサ１０は、コントローラ２を構成するエッジコンピュータの基板２０上に搭載されている。

【0033】

カメラ３と深度センサ８は、居室内を見下ろす形で全周囲（３６０度）を撮像やセンシング可能に設けられている。赤外線送信機４は、個々の赤外線送信機の出力角度範囲が比較的狭いことから、カメラ３と深度センサ８の周りに複数個配置され、居室内を見下ろす形で全周囲に出力されるようにしている。照明器具７にシーリングカバー７１が装着される場合は、シーリングカバー７１が、カメラ３による撮影や赤外線送信機４の赤外線信号出力に障害にならないように、例えばシーリングカバーに開口を設けることが望ましい。

【0034】

（他の実施形態）
上記実施形態は、ジェスチャーリモコン１が照明器具７に組み込まれ一体的に構成されたものを示したが、ジェスチャーリモコン１は、照明器具７に組み込まれることなく、別体型であってもよい。また、ジェスチャーリモコン１が、コントローラ２、カメラ３、赤外線送信機４、深度センサ８等と一体に構成されているものを示したが、一体でなく別体に構成されてもよい。別体の場合、カメラ３その他は、大量のデータ送信のため、コントローラ２にＵＳＢ等での有線接続とすることが望ましい。

【0035】

また、撮像画像の解析精度向上のため外付けカメラとしてもよく、その場合は、外付けカメラ側にデータ送信のためのエッジデバイスを備えて、これを子機とし、コントローラ２を親機とした構成としてもよい。これにより、子機にて処理して軽くしたデータをＷｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を用いて親機に無線伝送することが可能となる。

【0036】

また、各種センサにより取得したデータは、スマホ６からも参照可能とし、スマホ６から条件設定して被制御機器５をプログラム動作させるようにしてもよい。さらには、センサ取得データを学習材料としてコントローラ２が学習するスマートコントローラとしてもよい。

【符号の説明】

【0037】

１ ジェスチャーリモコン
２ コントローラ
２０ エッジコンピュータの基板
２１ アプリケーション
２４ 登録アクションＤＢ（データベース）
３ カメラ
４ 赤外線送信機
５ 被制御機器
５１ テレビ
５２ 掃除機
５３ エアコン
６ スマートフォン（スマホ）
７ 照明器具
７０ ＬＥＤライト
７１ シーリングカバー
８ 深度センサ
９ 温度／湿度センサ
１０ 照度センサ
１１ スマートスピーカ
１２ 冷蔵庫
１３ ゲートウェイ
１４ クラウド
１５ パーソナルコンピュータ（ＰＣ）
１６ スマートウォッチ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】