【解決手段】操作判定装置1は、操作対象を触って操作する直接的操作の受け付けより前に、直接的操作と同じ機能の実行を指示可能な間接的操作の判定が否定されていた場合、間接的操作の操作データ(間接的操作データS
操作対象を触って操作する直接的操作の受け付けより前に、前記直接的操作と同じ機能の実行を指示可能な間接的操作の判定が否定されていた場合、前記間接的操作の操作データを用いて判定の基準となる教師データの最適化を行う判定部を備えた操作判定装置。
操作対象を触って操作する直接的操作の受け付けより前に、前記直接的操作と同じ機能の実行を指示可能な間接的操作の判定が否定されていた場合、前記間接的操作の操作データを用いて判定の基準となる教師データの最適化を行う判定部、及び通信を行う通信部を備えた複数の操作判定装置と、
前記複数の操作判定装置と前記通信部を介して接続され、前記複数の操作判定装置から取得した複数の最適化された前記教師データに基づいて最適化データを生成し、前記通信部を介して前記複数の操作判定装置に出力して前記最適化データに基づく前記教師データの最適化を実行させるクラウドと、
を備えた操作判定学習システム。
操作対象を触って操作する直接的操作の受け付けより前に、前記直接的操作と同じ機能の実行を指示可能な間接的操作の判定が否定されていた場合、前記間接的操作の操作データを用いて判定の基準となる教師データの最適化を行う、
操作判定学習方法。
【発明を実施するための形態】
【0012】
(実施の形態の要約)
実施の形態に係る操作判定装置は、操作対象を触って操作する直接的操作の受け付けより前に、直接的操作と同じ機能の実行を指示可能な間接的操作の判定が否定されていた場合、間接的操作の操作データを用いて判定の基準となる教師データの最適化を行う判定部を備えて概略構成されている。
【0013】
この操作判定装置は、間接的操作の判定が否定された後に直接的操作がなされた場合、操作者が間接的操作が認識されなかったので直接操作を行った可能性が高く、この間接的操作の操作データを用いて教師データを最適化して学習することで、この構成を採用しない場合と比べて、学習効果を高めることができる。
【0014】
[第1の実施の形態]
(操作判定装置1の概要)
図1(a)は、第1の実施の形態に係る操作判定装置が判定する間接的操作の一例を説明するための概略図であり、
図1(b)は、操作判定装置のブロック図の一例であり、
図1(c)は、操作判定装置が含まれる車両通信システムの一例を示すブロック図である。
図2は、第1の実施の形態に係る電子キーの軌跡の一例を示すグラフである。
図2は、横軸が時間tであり、縦軸が電子キー100の位置Yである。
図2の縦軸(Y軸)は、地面を基準として上を正としている。
【0015】
なお、以下に記載する実施の形態に係る各図において、図形間の比率は、実際の比率とは異なる場合がある。また
図1(b)、
図1(c)、では、主な信号や情報の流れを矢印で示している。さらに数値範囲を示す「A〜B」は、A以上B以下の意味で用いるものとする。
【0016】
この操作判定装置1は、例えば、
図1(a)〜
図1(c)に示すように、車両7に搭載されている。本実施の形態では、例えば、車両7のスライドドア71を開ける直接的操作及び間接的操作の一例について説明する。
【0017】
操作判定装置1は、例えば、
図1(a)〜
図1(c)に示すように、操作対象を触って操作する直接的操作の受け付けより前に、直接的操作と同じ機能の実行を指示可能な間接的操作の判定が否定されていた場合、間接的操作の操作データ(間接的操作データS
1)を用いて判定の基準となる教師データ140の最適化を行う判定部としての制御部14を備えて概略構成されている。
【0018】
この操作判定装置1は、操作対象を触って操作する直接的操作の受け付けより前に、直接的操作と同じ機能の実行を指示可能な間接的操作の判定が否定されていた場合、間接的操作の操作データ(間接的操作データS
1)を用いて判定の基準となる教師データ140の最適化を行うことを含む操作判定学習方法を実施するものである。なおこの操作判定学習方法は、本実施の形態の操作判定装置1とは異なる電子機器によって実施されても良い。
【0019】
直接的操作とは、例えば、
図1(a)に示すドアハンドル72a又はタッチスイッチ72bに対する直接的な操作を示している。操作者9は、例えば、スライドドア71を開閉する際、ドアハンドル72aを引いてスライドドア71を引いたり押したりする操作、又はタッチスイッチ72bに対してタッチ操作を行う。車両7は、例えば、操作者9が携帯する電子キー100との認証が成立していた場合、スライドドア71の開閉を許可する。
【0020】
間接的操作とは、一例として、
図1(a)に示すように、操作者9が膝を曲げて屈伸することである。操作者9が屈伸を行うことにより、操作者9が携帯する電子キー100が上下に移動する。制御部14は、この電子キー100の軌跡101に基づいて間接的操作が行われたと判定した場合、スライドドア71を開閉させる指示信号S
3を出力する。なお間接的操作は、上述の例に限定されない。
【0021】
操作者9は、例えば、荷物などのため、ドアハンドル72a及びタッチスイッチ72bに対する操作ができない、つまり直接的操作ができない場合、屈伸などの予め定められた間接的操作を行うことにより、スライドドア71に直接触ることなく開閉することができる。
【0022】
操作判定装置1は、主に、この間接的操作を判定すると共に、学習によって間接的操作の判定精度を向上させるように概略構成されている。この操作判定装置1は、例えば、
図1(b)に示すように、間接的操作部10と、通信部12と、をさらに備えている。
【0023】
(間接的操作部10の構成)
間接的操作部10は、間接的操作に伴う操作データを取得するように概略構成されている。本実施の形態の間接的操作部10は、電子キー100によって測定された縦軸(Y軸)方向の軌跡101に基づく間接的操作データS
1を生成するように構成されている。
【0024】
図2は、電子キー100が測定した軌跡101の一例である。Y
1は、屈伸前の電子キー100のY軸方向の位置である。Y
2は、屈伸した際の電子キー100のY軸方向の位置である。
【0025】
本実施の形態では、一例として、
図2に示す電子キー100の軌跡101を間接的操作データS
1とする。この軌跡101は、例えば、電子キー100に搭載された加速度センサから得られる。間接的操作部10は、間接的操作データS
1を生成して制御部14に出力するように構成されている。
【0026】
(通信部12の構成)
通信部12は、例えば、外部と相互に信号やデータなどの交換を可能とするものである。操作判定装置1は、一例として、
図1(c)に示すように、直接的操作部72、車両制御部77及び被制御装置78と共に車両LAN(Local Area Network)76を介して通信を行う車両通信システム75を構成している。
【0027】
車両LAN76は、例えば、有線や無線によって相互に信号やデータなどの交換を可能とするCAN(Controller Area Network)やLIN(Local Interconnect Network)といった車両用ネットワークである。
【0028】
車両制御部77は、例えば、車両7の電子機器を制御するマイクロコンピュータである。車両制御部77は、例えば、指示信号S
3又は後述する直接的操作信号S
2が入力した場合、被制御装置78を制御する制御信号S
4を生成して出力する。
【0029】
被制御装置78は、直接的操作及び間接的操作によって操作可能な電子機器である。本実施の形態では、直接的操作及び間接的操作によってスライドドア71を開閉することができる。従って被制御装置78は、例えば、制御信号S
4に基づいてスライドドア71を開閉する駆動装置である。
【0030】
直接的操作部72は、上述したドアハンドル72a及びタッチスイッチ72bである。直接的操作部72は、例えば、ドアハンドル72a又はタッチスイッチ72bが操作されると、操作がなされたことを示す直接的操作信号S
2を生成して出力する。
【0031】
(制御部14の構成)
制御部14は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うCPU(Central Processing Unit)、半導体メモリであるRAM(Random Access Memory)及びROM(Read Only Memory)などから構成されるマイクロコンピュータである。このROMには、例えば、制御部14が動作するためのプログラムと、教師データ140と、が格納されている。RAMは、例えば、一時的に演算結果などを格納する記憶領域として用いられる。また制御部14は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて動作を行う。
【0032】
制御部14は、教師データ140と、操作者が携帯する携帯機(電子キー100)の移動に関する操作データ(間接的操作データS
1)と、が許容範囲内で一致する場合、間接的操作がなされたと判定する。
【0033】
教師データ140は、例えば、屈伸に伴う電子キー100の軌跡101のグラフをテンプレート化したものである。制御部14は、教師データ140と間接的操作データS
1の形状を比較し、その形状のずれが予め定められた許容範囲内である場合、屈伸、つまり間接的操作がなされたと判定する。
【0034】
教師データ140の最適化とは、この形状のずれを最適なものとして操作者が行った間接的操作の判定精度を向上させる処理である。制御部14は、間接的操作データS
1が教師データ140の許容範囲からずれており、間接的操作が行われたと判定しなかったにも関わらず、予め定められた期間内に、間接的操作と同じ指示を行うことができる直接的操作が行われた場合、操作をやり直したと判定して当該間接的操作データS
1によって間接的操作が判定できるように学習する。そして制御部14は、この最適化による学習によって教師データ140を更新する。なお予め定められた期間とは、一例として、2〜20秒である。
【0035】
ここで変形例として制御部14は、教師データ140を操作者ごとに有し、操作者ごとに最適化を行っても良い。つまり制御部14は、操作者ごとに最適化された教師データ140を有する。この操作者の識別は、例えば、電子キー100の認証時に行われる。
【0036】
以下に本実施の形態の操作判定装置1の動作の一例について
図3のフローチャートに従って説明する。
【0037】
(動作)
操作判定装置1の制御部14は、ドアハンドル72a又はタッチスイッチ72b(直接的操作部72)に対する直接的操作がなされるか監視する。制御部14は、ステップ1の「Yes」が成立する、つまり通信部12を介して直接的操作信号S
2が入力すると、予め定められた期間内に間接的操作の判定が行われたか確認する。
【0038】
制御部14は、間接的操作の判定が否定された、つまり間接的操作データS
1と教師データ140を比較して間接的操作がなされていないとしていた場合(Step2:Yes)、当該間接的操作データS
1を用いて教師データ140を最適化し(Step3)、教師データ140を更新する。
【0039】
ここでステップ2において制御部14は、間接的操作の判定自体がなされていない場合(Step2:No)、ステップ1に処理を進める。
【0040】
(第1の実施の形態の効果)
本実施の形態に係る操作判定装置1は、学習効果を高めることができる。具体的には、操作者が直接的操作を行い、その前に間接的操作が判定されなかった、つまり判定の結果、間接的操作が否定されていた場合は、間接的操作が認識されなかったので直接的操作を行ったと考えられる。そこで操作判定装置1は、この間接的操作時に得られた間接的操作データS
1を正解データとして教師データ140の最適化を行う。従って操作判定装置1は、判定されなかった間接的操作の操作データを用いて教師データを更新しない場合と比べて、学習効果を高めることができる。
【0041】
操作判定装置1は、間接的操作が認識されなかった後に直接的操作を行って操作をやり直す度に教師データ140の最適化が行われるので、この構成を採用しない場合と比べて、実験やシミュレーションなどを行って教師データ140を開発する手間やコストが低減される。
【0042】
[第2の実施の形態]
第2の実施の形態は、間接的操作がジェスチャである点で第1の実施の形態と異なっている。
【0043】
図4は、第2の実施の形態に係る操作判定装置が判定するジェスチャの一例を示す概略図である。なお以下に記載する実施の形態において、第1の実施の形態と同じ機能及び構成を有する部分は、第1の実施の形態と同じ符号を付し、その説明は省略するものとする。
【0044】
本実施の形態の制御部14は、教師データ140と、操作者が行ったジェスチャの操作データ(間接的操作データS
1)と、が許容範囲内で一致する場合、間接的操作がなされたと判定する。
【0045】
図4は、例えば、操作者の手90によって円を描くジェスチャを示している。このジェスチャは、例えば、回転方向に応じて被制御装置78である空調装置の設定温度を上げたり下げたりすることができる。
図4の紙面において時計回りに円を描くジェスチャは、設定温度を上げるジェスチャである。そして反時計回りに円を描くジェスチャは、設定温度を下げるジェスチャである。
【0046】
またジェスチャと同じ指示を可能とする直接的操作を受け付ける直接的操作部72は、例えば、
図4に示すように、被制御装置78である空調装置のダイヤルを含んで概略構成されている。このダイヤルは、ジェスチャの方向と同様に、時計回りに回転させると設定温度が上がり、反時計回りに回転させると設定温度が下がる。なおジェスチャによって操作される被制御装置78や機能は、上述の例に限定されず、空調装置の風量、音声再生装置の音量などであっても良い。
【0047】
本実施の形態の間接的操作を受け付ける間接的操作部10は、例えば、
図4に示すカメラ102を含んで概略構成されている。このカメラ102は、被制御装置78の近傍に設けられている。またカメラ102は、例えば、CCD(Charge Coupled Device)イメージセンサ及びCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの固体撮像素子を有して構成されている。
【0048】
間接的操作部10は、例えば、カメラ102で周期的に撮像した画像に対して画像処理を行ってジェスチャの軌跡103を抽出し、抽出した軌跡103を間接的操作データS
1として制御部14に出力する。なお変形例として間接的操作部10は、周期的に撮像した画像のデータ、二値化処理を行った画像のデータなどを間接的操作データS
1として出力するように構成されても良い。この場合は、例えば、制御部14が軌跡103の抽出を行う。
【0049】
以下に本実施の形態の操作判定装置1の動作の一例について第1の実施の形態において用いた
図3のフローチャートに従って説明する。
【0050】
(動作)
操作判定装置1の制御部14は、ダイヤル(直接的操作部72)に対する直接的操作がなされるか監視する。制御部14は、ステップ1の「Yes」が成立する、つまり通信部12を介してダイヤルが操作されたことを示す直接的操作信号S
2が入力すると、予め定められた期間内にジェスチャによる間接的操作の判定が行われたか確認する。
【0051】
制御部14は、ジェスチャによる間接的操作の判定が否定された、つまり間接的操作データS
1と教師データ140を比較して軌跡103がジェスチャと判定されなかった場合(Step2:Yes)、当該間接的操作データS
1を用いて教師データ140を最適化し(Step3)、教師データ140を更新する。
【0052】
ここでステップ2において制御部14は、間接的操作の判定自体がなされていない場合(Step2:No)、ステップ1に処理を進める。
【0053】
(第2の実施の形態の効果)
本実施の形態に係る操作判定装置1は、操作者が直接的操作(ダイヤルに対する操作)を行い、その前に間接的操作(ジェスチャによる操作)が判定されなかった場合、ジェスチャの間接的操作データS
1を正解データとして教師データ140を最適化するので、この構成を採用しない場合と比べて、ジェスチャの判定精度が向上する。
【0054】
[第3の実施の形態]
第3の実施の形態は、複数の操作判定装置において最適化された教師データを収集して、さらに最適化された教師データを複数の操作判定装置に送信する点で他の実施の形態と異なっている。
【0055】
図5は、第3の実施の形態に係る操作判定学習システムの一例を示す概略図である。操作判定学習システム8は、例えば、
図5に示すように、車両7に搭載された複数の操作判定装置1がクラウド80と無線で接続されている。
【0056】
操作判定装置1は、間接的操作部10と、通信部12と、制御部14と、を備えて概略構成されている。
【0057】
またクラウド80は、複数の操作判定装置1と通信部12を介して接続され、複数の操作判定装置1から取得した複数の最適化された教師データ140に基づいて最適化データS
5を生成し、通信部12を介して複数の操作判定装置1に出力して最適化データS
5に基づく教師データ140の最適化を実行させるように概略構成されている。
【0058】
このクラウド80は、例えば、クラウドサーバなどの最適化処理を実行する少なくとも1つのコンピュータとネットワークにより接続されたクラウドコンピューティングシステムである。クラウド80は、複数の車両7に搭載された操作判定装置1によって最適化された教師データ140を収集し、収集した教師データ140に基づいて最適化した最適化データS
5を生成する。
【0059】
この最適化データS
5の生成と送信は、例えば、最適化された教師データ140が予め定められた数に到達した場合、予め定められた期間が到来した場合、又は最適化データS
5の作成が指示された場合などによって実施される。本実施の形態では、一例として、予め定められた期間ごとに最適化データS
5が生成され、送信される。
【0060】
この最適化データS
5は、各操作判定装置1に出力される。操作判定装置1は、取得した最適化データS
5を新たな教師データ140として間接的操作の判定を行う。
【0061】
以下に本実施の形態の操作判定学習システム8の動作の一例について
図6のフローチャートに従って説明する。
【0062】
(動作)
まず操作判定装置1は、操作対象を触って操作する直接的操作の受け付けより前に、直接的操作と同じ機能の実行を指示可能な間接的操作の判定が否定されていた場合、間接的操作の操作データ(間接的操作データS
1)を用いて判定の基準となる教師データ140の最適化を行う。そして操作判定装置1は、接続されたクラウド80に最適化された教師データ140を出力する。
【0063】
操作判定学習システム8のクラウド80は、複数の操作判定装置1から取得した最適化された教師データ140を蓄積する(Step10)。
【0064】
次にクラウド80は、予め定められた期間が到来すると、蓄積されていた、最適化された教師データ140に基づいて最適化データS
5を生成する(Step11)。
【0065】
次にクラウド80は、接続された複数の操作判定装置1に最適化データS
5を出力する(Step12)。操作判定装置1は、受信した最適化データS
5に基づいて自身の教師データ140を更新する。
【0066】
(第3の実施の形態の効果)
本実施の形態の操作判定学習システム8は、操作判定装置1によって最適化された教師データ140を蓄積し、この蓄積された最適化された教師データ140からさらに最適化された最適化データS
5を生成し、各操作判定装置1に送信する。操作判定装置1は、自身のみならず他の操作判定装置1の最適化された教師データ140も用いて生成された最適化データS
5によって教師データ140を更新することで、間接的操作の判定精度をさらに向上させることができる。
【0067】
従って操作判定学習システム8は、実験やシミュレーションなどを行って人や時間をかけて最適化データを開発する場合と比べて、操作判定装置1ごとに学習して判定精度の向上した教師データ140を用いて最適化データS
5を生成するので、開発コストを削減することができる。また操作判定学習システム8は、販売後に実際に使用する操作者の正解データを用いて最適化された教師データ140を取得するので、学習精度が向上する。
【0068】
以上述べた少なくとも1つの実施の形態の操作判定装置1及び操作判定学習システム8によれば、学習効果を高めることが可能となる。
【0069】
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。