特開 2024-115970 操作指令判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024115970

(43)【公開日】2024-08-27

(54)【発明の名称】操作指令判定装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240820BHJP

   G01J 1/42 20060101ALI20240820BHJP

   G06F 3/0346 20130101ALI20240820BHJP

【ＦＩ】

G06F3/01 570

G01J1/42 B

G06F3/0346 421

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2023021912

(22)【出願日】2023-02-15

(71)【出願人】

【識別番号】000125370

【氏名又は名称】学校法人東京理科大学

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】岡村 総一郎

(72)【発明者】

【氏名】橋爪 洋一郎

(72)【発明者】

【氏名】中嶋 宇史

【テーマコード（参考）】

2G065

5B087

5E555

【Ｆターム（参考）】

2G065AA12

2G065AB02

2G065BA13

2G065BB08

2G065BB46

2G065BC14

2G065BC33

2G065DA20

5B087AA02

5B087AB02

5B087DD10

5E555AA11

5E555BA01

5E555BA15

5E555BA16

5E555BB01

5E555BC02

5E555CA41

5E555CB66

5E555CC01

5E555DA31

5E555EA19

5E555FA00

(57)【要約】

【課題】簡易な構成で、操作者の動作に応じた操作指令を精度よく判定することができるようにする。
【解決手段】操作指令判定装置は、操作対象機器に対する操作指令に応じた動作を行う操作者から照射される赤外線を、レンズあるいはマスクを通して検出する赤外線センサと、前記赤外線センサの出力信号を増幅する増幅回路と、前記増幅回路の出力信号の波形に基づいて、複数種類の操作指令の何れであるかを判定する判定モデルを用いて、前記操作者の動作に応じた操作指令を判定する判定部と、前記判定部によって判定された操作指令を、前記操作対象機器に対して出力する出力部と、を含み、前記操作指令に対応する前記操作者の動作方向と直交する方向の中心軸に対して、前記レンズの形状あるいは前記マスクの遮光性が、非対称性を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

操作対象機器に対する操作指令に応じた動作を行う操作者から照射される赤外線を、レンズあるいはマスクを通して検出する赤外線センサと、
前記赤外線センサの出力信号を増幅する増幅回路と、
前記増幅回路の出力信号の波形に基づいて、複数種類の操作指令の何れであるかを判定する判定モデルを用いて、前記操作者の動作に応じた操作指令を判定する判定部と、
前記判定部によって判定された操作指令を、前記操作対象機器に対して出力する出力部と、
を含み、
前記操作指令に対応する前記操作者の動作方向と直交する方向の中心軸に対して、前記レンズの形状あるいは前記マスクの遮光性が、非対称性を有する
操作指令判定装置。

【請求項2】

前記動作方向は、複数の動作方向であって、
前記複数の動作方向の各々に対して、前記動作方向と直交する方向の中心軸に対して、前記レンズの形状あるいは前記マスクの遮光性が、非対称性を有する請求項１記載の操作指令判定装置。

【請求項3】

前記赤外線センサは、焦電型の赤外線センサである請求項１又は２記載の操作指令判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、操作指令判定装置に関する。

【背景技術】

【0002】

従来より、対象が放射する赤外線を検出することにより、前記対象の移動方向を検出する方向検出部と、前記対象の移動方向毎に設定された操作を操作情報として記憶する記憶部と、前記記憶部が記憶する操作情報を参照し、前記方向検出部が検出した前記対象の移動方向に対応する操作を検出する操作検出部と、前記操作検出部が検出した操作に応じた機能を実行する機能実行部とを備えることを特徴とする可搬型操作検出装置がある（例えば、特許文献１参照）。

【0003】

また、対象物から発せられる赤外線を検出して、前記対象物の動きに応じた検出信号を出力する焦電センサと、前記検出信号に基づいて、前記対象物がどのような動きをしたかを判定するジェスチャ判定部と、前記ジェスチャ判定部が、前記対象物が第１の動きをしたと判定したとき、電灯を点灯または消灯させるよう第１のスイッチを制御するオン・オフ制御部と、前記ジェスチャ判定部が、前記対象物が前記第１の動きとは異なる第２の動きをしたと判定したとき、前記電灯の照度を調整する調光制御部と、を備えることを特徴とする電灯制御装置がある（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４－７４７９４号公報

【特許文献2】特開２０１４－２３８９５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来技術では、複数の赤外線センサを用いて、反応の違いからジェスチャを判別している。しかしながら、１つの赤外線センサを用いて、ジェスチャを判別することは考慮されておらず、１つの赤外線センサを用いて、ジェスチャを精度よく判別することに改善の余地がある。

【0006】

本発明は、上記の事情に鑑みてなされたもので、簡易な構成で、操作者の動作に応じた操作指令を精度よく判定することができる操作指令判定装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の目的を達成するために本発明に係る操作指令判定装置は、操作対象機器に対する操作指令に応じた動作を行う操作者から照射される赤外線を、レンズあるいはマスクを通して検出する赤外線センサと、前記赤外線センサの出力信号を増幅する増幅回路と、前記増幅回路の出力信号の波形に基づいて、複数種類の操作指令の何れであるかを判定する判定モデルを用いて、前記操作者の動作に応じた操作指令を判定する判定部と、前記判定部によって判定された操作指令を、前記操作対象機器に対して出力する出力部と、を含み、前記操作指令に対応する前記操作者の動作方向と直交する方向の中心軸に対して、前記レンズの形状あるいは前記マスクの遮光性が、非対称性を有する。

【0008】

本発明によれば、赤外線センサによって、操作対象機器に対する操作指令に応じた動作を行う操作者から照射される赤外線を、レンズあるいはマスクを通して検出する。ここで、操作指令に対応する前記操作者の動作方向と直交する方向の中心軸に対して、前記レンズの形状あるいは前記マスクの遮光性が、非対称性を有している。

【0009】

増幅回路によって、前記赤外線センサの出力信号を増幅する。そして、判定部によって、前記増幅回路の出力信号の波形に基づいて、複数種類の操作指令の何れであるかを判定する判定モデルを用いて、前記操作者の動作に応じた操作指令を判定する。出力部によって、前記判定部によって判定された操作指令を、前記操作対象機器に対して出力する。

【0010】

このように、操作指令に対応する前記操作者の動作方向と直交する方向の中心軸に対して、前記レンズの形状あるいは前記マスクの遮光性が、非対称性を有しており、赤外線センサによって、操作対象機器に対する操作指令に応じた動作を行う操作者から照射される赤外線を、レンズあるいはマスクを通して検出することにより、簡易な構成で、操作者の動作に応じた操作指令を精度よく判定することができる。

【0011】

本発明に係る前記動作方向は、複数の動作方向であって、前記複数の動作方向の各々に対して、前記動作方向と直交する方向の中心軸に対して、前記レンズの形状あるいは前記マスクの遮光性が、非対称性を有することができる。これにより、複数種類の操作指令に対応する前記操作者の動作方向が、複数の動作方向であっても、簡易な構成で、操作者の動作に応じた操作指令を精度よく判定することができる。

【0012】

本発明に係る前記赤外線センサは、焦電型の赤外線センサであることができる。

【発明の効果】

【0013】

以上説明したように、本発明の操作指令判定装置によれば、簡易な構成で、操作者の動作に応じた操作指令を精度よく判定することができる、という効果が得られる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施の形態に係る操作システムを示すブロック図である。

【図2】本発明の実施の形態に係る操作指令判定装置を示すブロック図である。

【図3】本発明の実施の形態に係る操作指令判定装置における操作指令判定処理ルーチンの内容を示すフローチャートである。

【図4】焦電センサの前を人が通過した場合の温度変化と出力電圧の変化の模式図である。

【図5】（Ａ）手を「左から右」に振る動作を示すイメージ図、及び（Ｂ）手を「右から左」に振る動作を示すイメージ図である。

【図6】（Ａ）手を「左から右」に振る動作に対する対称型の焦電センサの出力を示すグラフ、及び（Ｂ）手を「右から左」に振る動作に対する対称型の焦電センサの出力を示すグラフである。

【図7】左半面の一部をマジックで塗りつぶしたフレネルレンズを示す図である。

【図8】（Ａ）手を「左から右」に振る動作に対する非対称型の焦電センサの出力を示すグラフ、及び（Ｂ）手を「右から左」に振る動作に対する非対称型の焦電センサの出力を示すグラフである。

【図9】実験結果を示すグラフである。

【図10】フレネルレンズの変形例を示す図である。

【発明を実施するための形態】

【0015】

以下、図面を参照して、本発明の実施の形態について説明する。

【0016】

＜操作システムのシステム構成＞
図１に示すように、本発明の実施の形態に係る操作システム１００は、操作指令判定装置１０と、操作対象となる照明器具２０及び音響機器２２とを備え、操作指令判定装置１０と、照明器具２０と、音響機器２２とは、例えば、無線通信で接続されている。

【0017】

照明器具２０には、操作指令として、複数種類の操作指令があり、例えば、照明オン、照明オフなどがある。

【0018】

音響機器２２には、操作指令として、複数種類の操作指令があり、例えば、音響再生開始、再生停止などがある。

【0019】

操作指令判定装置１０は、レンズ１２と、赤外線センサ１４と、増幅回路１６と、情報処理装置１８とを備えている。

【0020】

赤外線センサ１４は、操作対象機器に対する操作指令に応じた動作を行う操作者から照射される赤外線を、レンズ１２を通して検出する。

【0021】

赤外線センサ１４は、一例として、焦電型の赤外線センサである。また、操作指令に対応する操作者の動作方向と直交する方向の中心軸に対して、レンズ１２の形状が、非対称性を有する。例えば、照明器具２０及び音響機器２２に対する複数種類の操作指令に対応する操作者の動作方向が、左右方向である場合、レンズ１２の形状が、上下方向の中心軸に対して左右に非対称性を有している。

【0022】

増幅回路１６は、赤外線センサ１４の出力信号を増幅して、情報処理装置１８へ出力する。

【0023】

情報処理装置１８は、ＣＰＵと、ＲＡＭと、後述する各種処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この情報処理装置１８は、機能的には図２に示すように、入力部３０と、学習部３１と、モデル記憶部３２と、判定部３４と、出力部３６とを備えている。

【0024】

入力部３０は、判定モデルの学習時に、増幅回路１６の出力信号の波形と、複数種類の操作指令の何れであるかを示す情報との組み合わせを、学習用データとして複数受け付ける。ここで、複数種類の操作指令は、照明器具２０に対する複数種類の操作指令、及び音響機器２２に対する複数種類の操作指令を含む。

【0025】

入力部３０は、操作指令を行う際に、増幅回路１６の出力信号の波形を、入力として受け付ける。

【0026】

学習部３１は、複数の学習用データに基づいて、増幅回路１６の出力信号の波形を入力とし、複数種類の操作指令の何れであるかを判定する判定モデルを学習する。判定モデルは、例えば、増幅回路１６の出力信号の波形を入力とし、複数種類の操作指令の何れであるかの判定結果を出力とする機械学習システムである。

【0027】

モデル記憶部３２は、学習部３１によって予め学習された判定モデルを記憶している。

【0028】

判定部３４は、入力部３０により受け付けた、増幅回路１６の出力信号の波形を、判定モデルに入力して、操作者の動作に応じた操作指令を判定する。

【0029】

出力部３６は、判定部３４によって判定された操作指令を、操作対象機器に対して出力する。

【0030】

＜操作システム１００の動作＞
次に、本実施の形態に係る操作システム１００の動作について説明する。

【0031】

＜判定モデルの学習＞
まず、判定モデルを学習させる際には、操作指令毎に、操作指令判定装置１０において、情報処理装置１８の入力部３０により、当該操作指令に応じた動作を行う操作者から照射される赤外線を赤外線センサ１４によって検出したときの、増幅回路１６の出力信号の波形と、複数種類の操作指令の何れであるかを示す情報との組み合わせを、学習用データとして複数受け付ける。

【0032】

そして、情報処理装置１８の学習部３１は、複数の学習用データに基づいて、判定モデルを学習し、学習済みの判定モデルを、モデル記憶部３２に格納する。

【0033】

＜操作対象機器の操作＞
次に、操作者の動作により操作対象機器である照明器具２０又は音響機器２２を操作する際には、操作指令判定装置１０の情報処理装置１８により、図３に示す操作指令判定処理ルーチンを繰り返し実行する。

【0034】

まず、ステップＳ１００において、入力部３０は、増幅回路１６の出力信号の波形を取得する。

【0035】

ステップＳ１０２では、判定部３４は、入力部３０により受け付けた、増幅回路１６の出力信号の波形を、判定モデルに入力して、操作者の動作に応じた操作指令を判定する。

【0036】

ステップＳ１０４では、判定部３４は、上記ステップＳ１０２で判定された操作指令があるか否かを判定する。上記ステップＳ１０２で判定された操作指令がない場合には、操作指令判定処理ルーチンを終了する。一方、上記ステップＳ１０２で判定された操作指令がある場合には、ステップＳ１０６へ移行する。

【0037】

ステップＳ１０６では、出力部３６は、判定部３４によって判定された操作指令を、無線通信を介して、操作対象機器である照明器具２０又は音響機器２２に対して出力する。具体的には、判定部３４によって判定された操作指令が、照明器具２０に対する操作指令である場合には、当該操作指令を、照明器具２０に対して出力する。また、判定部３４によって判定された操作指令が、音響機器２２に対する操作指令である場合には、当該操作指令を、音響機器２２に対して出力する。そして、操作対象機器である照明器具２０又は音響機器２２は、操作指令に応じた動作を行う。

【0038】

以上説明したように、本発明の実施の形態に係る操作システムによれば、操作指令に対応する操作者の動作方向と直交する方向の中心軸に対して、レンズの形状が、非対称性を有しており、赤外線センサによって、操作対象機器に対する操作指令に応じた動作を行う操作者から照射される赤外線を、レンズを通して検出することにより、簡易な構成で、操作者の動作に応じた操作指令を精度よく判定することができる。

【0039】

＜実施例＞
上記の実施の形態で説明した操作指令判定装置１０の実施例について説明する。

【0040】

まず、赤外線センサ１４である焦電センサの基本動作について説明する。体温３６～３７℃の人間は、波長約１５μｍを中心とする赤外線を常に放出している。焦電センサは、赤外線が照射されることで温度が上昇し、表面電荷量も変化するので、それが電圧変化として現れる。例えば、焦電センサの前を人が通過した場合の温度変化と出力電圧の変化の模式図を図４に示す。人が通過することで、焦電センサは赤外線を受け一度温度が上昇するが、人が通り過ぎると元の温度に戻る。これに伴い、例えば温度上昇中は基準値よりも高い電圧が出力され、下降中は逆に低い電圧となり、最後は基準値に戻る。

【0041】

次に、操作者の動作に対する対称型の焦電センサの出力について説明する。焦電センサには、赤外線を集光するためのフレネルレンズがよく装着される。このフレネルレンズは、一般に空間に対して対称型となっている。そのような対称型のフレネルレンズと焦電センサを用いた操作システムに対し、例えば図５に示すように手を「左から右」と「右から左」に振る動作を与えたとする。このとき、焦電センサの温度は、どちらの動作ケースでも上記図４と同様に一度上昇して下降する。そのため、出力波形も同じとなる。実際に対称型のフレネルレンズと焦電センサを用いて測定した波形を図６に示す。これより、２つの動作に関する違いは見出し難いことが分かる。ちなみに、温度上昇中よりも下降中の方が、電圧変化が小さいように見えるが、これは自然放冷に伴う温度下降が上昇に比べて緩慢なことに由来する。また、基準値からの変化部分の面積は同じである。

【0042】

次に、操作者の動作に対する非対称型の焦電センサの出力について説明する。赤外線センサに非対称性を持たせるには様々な方法が考えられるが、例えば図７に示すようにフレネルレンズの左半面の一部（図７のドット領域を参照）をマジックで塗りつぶすことで、マスクの遮光性を非対称にすることができる。このレンズを用いると、手を「左から右」に振った場合、温度上昇が２回に分かれて起こるため、基準値よりも高い電圧が２回に分かれて現れる。逆に手を「右から左」に振った場合は、温度下降が２回に分かれるため、基準値よりも低い電圧が２回に分かれて現れる。実際の測定波形を図８に示す。これを見ると、目論見通りの波形が得られ、２つの動作の違いが一目で判別できることが分かる。

【0043】

次に、機械学習による判定について説明する。対称型のフレネルレンズと焦電センサの組み合わせ、及び非対称型のフレネルレンズ及び焦電センサの組み合わせにより得られた波形を用い、機械学習により２種類の動作（手を「左から右」に振る動作と「右から左」に振る動作）の判定を行った結果を図９に示す。対称型のフレネルレンズと焦電センサの組み合わせでは、正答率は５０～５５％となっており、ランダムな判定での正答率が５０％になることを考えると、これはほぼ識別出来ていないことを意味している。これに対し、非対称型のフレネルレンズと焦電センサの組み合わせでは、少ない学習回数でも正答率９０％を越えており、明らかに優位である。このように、非対称型のフレネルレンズと焦電センサの組み合わせを用いることにより、対称型のフレネルレンズと焦電センサの組み合わせに比べて、機械学習による判定における正答率が向上することがわかった。

【0044】

＜変形例＞
上記の実施の形態では、動作方向が左右方向である場合を例に説明したが、これに限定されるものではない。動作方向が、上下方向あるいは斜め４５度の方向であってもよく、センサの形状又はマスクの遮光性の非対称性をそれに合わせることで、個々の動作には容易に対応できる。

【0045】

また、動作方向が、複数の動作方向であってもよい。この場合、複数の動作方向の各々に対して、当該動作方向と直交する方向の中心軸に対して、レンズの集光性あるいはマスクの遮光性が、非対称性を有していればよい。例えば、左右、上下、斜めに手を振る動作を判定する場合や、空中に例えば「Ｚ」を描くような動作も判定する場合には、フレネルレンズを図１０のように４つの領域に分け、それぞれに異なる形状のマスク（図１０のドット領域を参照）を施すことで、複数の動作方向の各々に対して、マスクの遮光性を非対称にすることができる。

【符号の説明】

【0046】

１０ 操作指令判定装置
１２ レンズ
１４ 赤外線センサ
１６ 増幅回路
１８ 情報処理装置
２０ 照明器具
２２ 音響機器
３０ 入力部
３１ 学習部
３２ モデル記憶部
３４ 判定部
３６ 出力部
１００ 操作システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】