特許 7513210 操作検出装置及び操作検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-01

(45)【発行日】2024-07-09

(54)【発明の名称】操作検出装置及び操作検出方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240702BHJP

【ＦＩ】

G06F3/01 510

G06F3/01 570

【請求項の数】 9

(21)【出願番号】P 2023525312

(86)(22)【出願日】2021-06-04

(86)【国際出願番号】 JP2021021381

(87)【国際公開番号】W WO2022254693

(87)【国際公開日】2022-12-08

【審査請求日】2023-11-27

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】岡本 雅己

【審査官】星野 裕

(56)【参考文献】

【文献】特開２０１８－８１６９７（ＪＰ，Ａ）

【文献】特開２０１３－２３２２０８（ＪＰ，Ａ）

【文献】国際公開第２０１４／１４７７８５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

操作者の動作を検出する動作検出部と、
前記動作検出部により検出された前記操作者の動作に基づいて、前記操作者が所定操作を実行した確度を所定時間ごとに推定し、前記動作の変化に対する前記確度を取得する確度推定部と、
前記所定操作を実行する際に、前記操作者が操作する操作対象又は前記操作対象に付随する物体から発生する所定音を検出する音検出部と、
前記確度推定部により推定された前記確度が所定値以上である間に、前記音検出部で前記所定音が検出された場合は、前記操作者が前記所定操作を実行したと判定し、
前記確度が前記所定値以上である間に、前記音検出部により前記所定音が検出されなかった場合は、前記所定操作が所定手順で実行されなかったと判定する操作判定部と、を備える、操作検出装置。

【請求項2】

前記操作判定部が、前記所定操作が実行されなかったと判定した場合に、前記所定操作が実行されなかったことを出力する判定結果出力部を備える、請求項１に記載の操作検出装置。

【請求項3】

前記判定結果出力部の出力を受け取り、前記操作者に、前記所定操作が実行されなかったことを通知する表示装置を備える、請求項２に記載の操作検出装置。

【請求項4】

前記所定音は、前記操作者の前記所定操作に起因して発生する音である、請求項１～３のいずれか一項に記載の操作検出装置。

【請求項5】

前記確度推定部は、前記動作検出部にて検出された前記操作者の前記動作から前記確度を推定するための機械学習を行った学習済みモデルを用いて前記確度を推定する、請求項１～４のいずれか一項に記載の操作検出装置。

【請求項6】

前記学習済みモデルは、前記動作検出部にて検出された前記操作者の前記動作のデータを含む入力データを入力層に入力すると、前記確度のデータを含む出力データが出力層からの出力されるニューラルネットワークであり、
前記確度推定部は、過去に前記ニューラルネットワークに入力した入力データ、及び過去に前記ニューラルネットワークから出力された出力データを教師データとして前記ニューラルネットワークを学習させる機械学習部を備え、前記機械学習部により前記ニューラルネットワークを学習させる、請求項５に記載の操作検出装置。

【請求項7】

操作者の動作を検出し、
検出された前記操作者の動作に基づいて、前記操作者が所定操作を実行した確度を所定時間ごとに推定して前記動作の変化に対する前記確度を取得し、
前記所定操作を実行する際に、前記操作者が操作する操作対象又は前記操作対象に付随する物体から発生する所定音を検出し、
前記確度が所定値以上である間に、前記所定音が検出された場合は、前記操作者が前記所定操作を実行したと判定し、
前記確度が前記所定値以上である間に、前記所定音が検出されなかった場合は、前記所定操作が所定手順で実行されなかったと判定する、操作検出方法。

【請求項8】

前記動作検出部は、前記操作者を含む画像と、前記操作者の筋電位の値とを取得し、取得した前記画像及び前記筋電位の値から前記操作者の動作を検出する、請求項１～６のいずれか一項に記載の操作検出装置。

【請求項9】

操作者を含む画像と、前記操作者の筋電位の値とを取得し、取得した前記画像及び前記筋電位の値から前記操作者の動作を検出する動作検出部と、
前記動作検出部により検出された前記操作者の動作に基づいて、前記操作者が所定操作を実行した確度を推定する確度推定部と、
前記所定操作を実行する際に、前記操作者が操作する操作対象又は前記操作対象に付随する物体から発生する所定音を検出する音検出部と、
前記確度推定部により推定された前記確度が所定値以上であり、且つ、前記音検出部で前記所定音が検出された場合に、前記操作者が前記所定操作を実行したと判定する操作判定部と、を備える、操作検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、操作者の操作を検出する検出装置及び検出方法に関するものである。

【背景技術】

【0002】

ユーザーインターフェースとなる部品（ＵＩ部品）を、ユーザー（操作者）が操作を行う操作平面に表示し、ユーザーの指が操作平面に接触したタッチ位置を検出し、操作平面に接触している指を含む、ユーザーの手の形状を取得し、取得した手の形状から、操作平面に手を投影したときの投影領域を認識し、検出したタッチ位置と、ＵＩ部品が表示された位置とから、ＵＩ部品へのユーザーの操作を検出し、認識した投影領域と、検出したユーザーの操作とに応じて、ＵＩ部品への操作内容を判定する技術が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１６２１２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記従来技術では、ＵＩ部品への操作者の操作を検出するときに、検出した操作者のタッチ位置を用いる。そのため、タッチ位置を検出することができない場合には、ＵＩ部品に対する操作者の操作が検出できず、ＵＩ部品に対する操作者の操作内容を適切に判定することができないという問題がある。

【0005】

本発明が解決しようとする課題は、操作者のタッチ位置を検出することができない場合に、操作者の操作の検出精度を高めることができる操作検出装置及び操作検出方法を提供することである。

【課題を解決するための手段】

【0006】

本発明は、操作者を含む画像を取得し、取得した前記画像から前記操作者の動作を検出し、検出された前記操作者の動作に基づいて、前記操作者が所定操作を実行した確度を所定時間ごとに推定して前記動作の変化に対する前記確度を取得し、前記所定操作を実行する際に、前記操作者が操作する操作対象又は前記操作対象に付随する物体から発生する所定音を検出し、前記確度が所定値以上である間に、前記所定音が検出された場合は、前記操作者が前記所定操作を実行したと判定し、前記確度が前記所定値以上である間に、前記音検出部により前記所定音が検出されなかった場合は、前記所定操作が所定手順で実行されなかったと判定することによって上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、操作者のタッチ位置を検出することができない場合に、操作者の操作の検出精度を高めることができる。

【図面の簡単な説明】

【0008】

【図1】本発明に係る操作検出装置を含む操作検出システムの実施形態の一つを示すブロック図である。

【図2】図１の撮像装置、筋電位測定装置、集音装置、及び表示装置と、操作者との位置関係の一例を示す斜視図である。

【図3】図１の確度推定部にて用いる学習済みモデルの一例を示す説明図である。

【図4】所定手順の一例を示す説明図である。

【図5】図４に示す所定手順において、ステップの進行度に対する所定操作の実行確度と、ステップの進行度に対する所定音の発生確度とを示すグラフである。

【図6】所定手順の別の例を示す説明図である。

【図7】図１の操作検出システムにおける情報処理の手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明に係る操作検出装置及び操作検出方法の実施形態を図面に基づいて説明する。

【0010】

［操作検出システム］
図１は、本発明に係る操作検出システム１を示すブロック図である。操作検出システム１は、ある装置に対する操作者の操作を検出する装置であり、たとえば、車両の乗員（ドライバーを含む。以下同じ。）による車載機器の操作を検出し、当該操作に付随した機能を発現させる場合、車両の組立て工場において、組立て作業に従事する作業員の作業が、予め決められた手順に従って行われたか否かを検出する場合、車両の販売店（以下、「ディーラー」とも言う。）において、車両の整備に従事する整備士の整備がマニュアルに従って行われたか否かを確認する場合などに用いることができる。操作検出システム１により操作を検出される操作者（以下、単に「操作者」とも言う。）は特に限定されず、車両の乗員、工場の作業員、ディーラーの整備士などが挙げられる。

【0011】

図１に示すように、操作検出システム１は、撮像装置１１、筋電位測定装置１２、集音装置１３、表示装置１４、及び操作検出装置１５を備える。操作検出システム１を構成する機器は、有線又は無線ＬＡＮなどの公知の手段により、互いにデータの授受が可能な状態で接続されている。撮像装置１１、筋電位測定装置１２、集音装置１３、及び表示装置１４の数は、それぞれ、少なくとも１以上であれば特に限定されない。また、撮像装置１１、筋電位測定装置１２、集音装置１３、及び表示装置１４は、操作検出装置１５と共に設けられている必要はなく、操作検出装置１５から離れた場所に設置されていてもよい。たとえば、撮像装置１１、集音装置１３、及び表示装置１４を、組立て工場の組立てラインの近くに設置し、操作検出装置１５を、組立てラインから離れた中央制御室、又は組立て工場から離れた遠隔地のサーバーに設けてもよい。

【0012】

撮像装置１１は、操作者の周囲に存在する対象物の画像データを取得するための装置であり、たとえば、ＣＣＤなどの撮像素子を備えるカメラ、超音波カメラ、赤外線カメラなどのカメラである。対象物には、操作者に加えて、操作者の周囲に存在する物体が含まれる。たとえば、車両の乗員の周囲にあるスイッチやタッチパネル、作業員が組立てているパーツや使用している工具、ディーラーの整備士が整備する車両などが、対象物に含まれる。また、撮像装置１１は、車両のダッシュボード、ルーフ、及び座席、組立て工場の組立てライン、作業台、及び作業員が使用する道具の近傍、並びにディーラーのリフトなど、操作者の動作を検出することができる位置に設置される。

【0013】

筋電位測定装置１２は、操作者の筋電位を測定するための装置であり、たとえば筋電計である。筋電位測定装置１２の種類は特に限定されず、たとえば、針電極を備える筋電計、表面電極を備える筋電計、又はワイヤー電極を備える筋電計のいずれであってもよい。筋電位測定装置１２は、たとえば、粘着性のパッド又は面ファスナーにより操作者の身体に取り付けられ、取り付けられた操作者の身体と接する部分の筋電位を測定する。筋電位測定装置１２を取付ける操作者の部位としては、車両の乗員の腕、作業員の上腕及び／又は前腕、ディーラーの整備士の脚などが挙げられる。

【0014】

集音装置１３は、周囲の音を音声データとして取得するための装置であり、たとえば、スタンドマイク、接話型マイク、ガンマイクなどのマイクロフォンである。マイクロフォンは、無指向性であってもよく、指向性を有していてもよい。また、通信方式は、有線及び無線のいずれでもよい。集音装置１３により取得される音には、操作者の声及び操作者の周囲の人の声に加えて、操作者の操作に起因する音が含まれる。操作者の操作に起因する音としては、車両の乗員が操作したスイッチから発生する音、車両の乗員がタッチパネルに触れた時にスピーカーから発生する音、作業員が複数のパーツを嵌合した時に発生する、パーツ同士がかみ合った音、ディーラーの整備士が使用する工具の作動音などが挙げられる。また、集音装置１３は、車両のダッシュボード、ルーフ、及び座席、組立て工場の組立てライン、作業台、及び作業員が使用する道具など、操作者の周囲の音を検出することができる位置に設置され、撮像装置１１又は筋電位測定装置１２と共に設置されていてもよい。

【0015】

表示装置１４は、操作検出装置１５にて検出された操作を操作者に通知するための装置である。表示装置１４は、たとえば、液晶ディスプレイ、プロジェクターなどであり、スピーカーを備えていてもよい。表示装置１４は、車両のダッシュボード、組立て工場の作業員の作業場所など、操作者の近くであって、操作者に必要な情報を通知することができる位置に設置されるが、操作者の操作を監視する監督者が存在する場合は、監督者の近くに設置される。この場合、監督者が操作者から離れた場所にいるとすると、表示装置１４は、操作者から離れた位置に設置されることになる。また、表示装置１４は、ウェアラブル端末として操作者に取付けられていてもよい。さらに、撮像装置１１、筋電位測定装置１２、集音装置１３、表示装置１４、及び操作検出装置１５を一つのウェアラブル端末に統合し、操作者に取付けてもよい。また、表示装置１４に代えて警報音を発するスピーカーのみとしてもよい。

【0016】

撮像装置１１、筋電位測定装置１２、集音装置１３、及び表示装置１４と、操作者との位置関係の一例を図２に示す。図２では、操作者ＯＰは、組立て工場において組立て作業に従事する作業員であり、作業台ＷＢの上で部品Ｐを組立てているものとする。操作者ＯＰの上方には撮像装置１１が設置されており、作業台ＷＢ上で操作者ＯＰが行う部品Ｐの組立ての様子を、画像データとして取得する。操作者ＯＰの右前腕には筋電位測定装置１２が取付けられており、計測した筋電位の値から、操作者ＯＰが部品Ｐを組立てるときの筋肉の動きを取得し、操作者ＯＰの動作を検出する。また、操作者ＯＰの右上腕には集音装置１３が取付けられており、操作者ＯＰが部品Ｐを組立てる際に発生する、パーツ同士がかみ合った音などを検出する。検出された操作を操作者ＯＰに通知する表示装置１４は、たとえば操作者ＯＰの正面に、液晶ディスプレイ１４ａとして設置される。又は、操作者ＯＰの耳に取付けられるイヤホン１４ｂとして設けられてもよい。

【0017】

図１に戻り、操作検出装置１５は、操作者が、ある操作を実行したか否かを判定するための装置である。当該判定に用いる画像データ、筋電位のデータ、及び音声データは、それぞれ、所定の時間間隔で、撮像装置１１、筋電位測定装置１２、及び集音装置１３から取得される。操作検出装置１５は、プロセッサ１６を用いて、取得したデータの処理、操作が適切に実行されたか否かの判定、及び当該判定の結果の出力といった機能を実現する。プロセッサ１６は、プログラムが格納されたＲＯＭ（Read Only Memory）１６２と、ＲＯＭ１６２に格納されたプログラムを実行することで、操作検出装置１５として機能するための動作回路であるＣＰＵ（Central Processing Unit）１６１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１６３とを備える。

【0018】

［操作検出部］
本実施形態の操作検出装置１５で用いるプログラムは、取得したデータの処理、操作が適切に実行されたか否かの判定、及び当該判定の結果の出力などの機能を操作検出装置１５にて実現するための機能ブロックである操作検出部２を含む。操作検出部２は、撮像装置１１から画像データを取得し、筋電位測定装置１２から筋電位の値を取得し、集音装置１３から音声データを取得し、取得したデータに基づいて操作者が実行する操作を推定し、推定した操作が適切に実行されたか否かを判定し、当該判定結果を出力する機能を有する。操作検出部２は、図１に示すように、動作検出部２１、確度推定部２２、音検出部２３、操作判定部２４、及び判定結果出力部２５を備える。図１には、各部を便宜的に抽出して示す。

【0019】

図１に示す操作検出装置１５は上記の機能ブロックを全て備えるが、単一の操作検出装置１５が全ての機能ブロックを備える必要はなく、上記の機能ブロックのうち一部のものを、操作検出システム１に含まれる他の機器、又は図示しない別の情報処理装置に設けてもよい。たとえば、図１の操作検出システム１において、判定結果出力部２５を表示装置１４に設けてもよい。この場合には、表示装置１４のＣＰＵ、ＲＯＭ、及びＲＡＭを用いて判定結果出力部２５の機能が実行されることになる。

【0020】

また、各機能ブロックの処理の全てを単一の装置にて実行する必要はなく、データが授受できる状態で接続された複数の装置をまたいで、各機能ブロックの機能を実現してもよい。たとえば、図１の操作検出システム１において、動作検出部２１にて実行される処理のうち、一部の処理を撮像装置１１又は筋電位測定装置１２にて実行し、残りの処理を操作検出装置１５にて実行するようにしてもよい。この場合には、撮像装置１１又は筋電位測定装置１２のＣＰＵ、ＲＯＭ、及びＲＡＭを用いて、動作検出部２１の機能を実現するための処理の一部が行われることになる。また、ほかの例として、音検出部２３にて実行される処理のうち、一部の処理を集音装置１３にて実行し、残りの処理を操作検出装置１５にて実行するようにしてもよい。

【0021】

以下、操作検出部２の各機能ブロックが果たす機能について説明する。

【0022】

動作検出部２１は、操作者の動作を検出する機能を有する。動作検出部２１は、たとえば、操作者を含む画像データを撮像装置１１から取得し、取得した画像データから操作者の動作を検出する。動作検出部２１は、撮像装置１１から取得した画像データについてパターンマッチングなどの解析を行い、画像データに含まれる対象物を分類する。次に、分類された対象物から操作者を選択し、画像データから抽出された操作者に関するデータを取得する。そして、操作者に関するデータから、操作者の身体の各部位とその位置関係を認識し、認識した各部位の位置関係から操作者の動作を検出する。

【0023】

また、これに代えて又はこれに加えて、動作検出部２１は、測定した筋電位の値を筋電位測定装置１２から取得し、取得した筋電位の値から操作者の動作を検出してもよい。たとえば、工場の組立てラインで作業に従事する作業員の腕に筋電位測定装置１２を取付け、作業員の腕の上腕部及び前腕部の各筋肉の電位を測定する。そして、測定した各筋肉の電位から、どの筋肉が収縮しているのか、つまり、作業員の腕がどのように動いているのかを動作として検出する。

【0024】

確度推定部２２は、動作検出部２１により検出された操作者の動作に基づいて、操作者が所定操作を実行した確度を推定する機能を有する。所定操作は特に限定されず、操作者が操作対象に対して何らかの入力を行うためのあらゆる操作が含まれる。具体的には、車両の乗員が、車両の窓ガラスを上下させるスイッチを押込む操作、車両の乗員が、タッチパネルに触れてナビゲーション装置の地図の表示を変更する操作、組立て工場の作業員が、センサーに接続されたカプラーと、電子制御装置（ＥＣＵ）に接続されたカプラーとを嵌合する操作、組立て工場の作業員が、工具を用いてボルトを締めて、エンジンブロックにエキゾーストマニホールドを取り付ける操作、ディーラーの整備士が、エンジンにスパークプラグを嵌める操作、ディーラーの整備士が、トルクレンチを用いてボルトを締める操作などを挙げることができる。

【0025】

確度推定部２２は、所定操作が実行された確度を推定する際に、動作検出部２１により検出された操作者の動作に基づいて、操作者が実行しようとしている操作を推定する。ここで、操作者の動作と、操作者が実行しようとしている操作との対応関係は、操作ごとに予め求められており、たとえばデータベース１７のようなデータベースに格納されている。確度推定部２２は、必要に応じて、データベース１７から操作と動作の対応関係を取得することができる。確度推定部２２は、データベース１７から取得した対応関係に基づき、操作者の動作から、操作者が実行しようとしている操作を推定する。

【0026】

一例として、動作検出部２１により、車両の助手席に座っている乗員が、ハンカチで顔の汗を拭う動作をした後に、助手席側のドアに設置されたスイッチに手を延ばす動作が検出された場合には、確度推定部２２は、データベース１７から取得した、動作と操作の対応関係から、助手席側のドアに設置されたスイッチに手を延ばす動作に対応する操作を検索する。当該動作に対応する操作として、助手席側のドアのハンドルを引いてドアを開ける操作と、車両の窓ガラスを上下させるスイッチを押込む操作とが該当したとすると、確度推定部２２は、車両が走行中であり、乗員がハンカチで顔の汗を拭う動作をしていたことから、乗員の当該動作は、車両の窓ガラスを上下させるスイッチを押込む操作に対応すると推定する。

【0027】

また別の例として、動作検出部２１により、工場の組立てラインで作業している作業員が、嵌合していないカプラーを左手に持った状態で、別のカプラーに右手を延ばす動作が検出された場合には、確度推定部２２は、データベース１７から取得した、動作と操作の対応関係から、カプラーに手を延ばす動作に対応する操作を検索する。当該動作に対応する操作として、すでに嵌合された一対カプラーから一方のカプラーを抜取る操作と、センサーに接続されたカプラーと、電子制御装置に接続されたカプラーとを嵌合する操作とが該当したとすると、確度推定部２２は、作業員が、嵌合していないカプラーを左手に持っていることから、作業員の当該動作は、センサーに接続されたカプラーと、電子制御装置に接続されたカプラーとを嵌合する操作に対応すると推定する。

【0028】

確度推定部２２は、上記のようにして推定した操作が、所定操作に該当するか否かを判定する。そして、推定した操作が所定操作に該当すると判定した場合は、所定操作が実行された確率である確度を推定する。当該確度は、所定操作ごとに、操作者の動作に対する関数として予め定められており、たとえばデータベース１７のようなデータベースに格納されている。確度推定部２２は、必要に応じて、データベース１７から、検出された動作に対して所定操作が行われた確度を取得することができる。たとえば、タッチパネルに触れて装置の表示を変更する操作である場合は、乗員の手がタッチパネルに触れる動作を検出した時に確度が最も高くなり、乗員の手がタッチパネルから離れるほど確度が低くなる。また、スイッチを押込む操作である場合は、動作として、乗員の手がスイッチに触れる動作を検出した時に確度が最も高くなり、乗員の手がスイッチから離れるほど確度が低くなる。

【0029】

別の例として、２つのカプラーを嵌合する操作である場合は、動作として、かみ合ったカプラーの移動が止まり、作業員の手が静止する動作を検出した時に確度が最も高くなり、カプラー同士の距離が大きくなるほど確度が低くなる。また、トルクレンチのような工具を用いてボルトを締める操作である場合は、動作として、トルクレンチの移動が止まり、作業員の手が静止する動作を検出した時に確度が最も高くなり、トルクレンチが回転している間、及びトルクレンチが静止した後では確度が低くなる。さらに、エンジンにスパークプラグを嵌める操作である場合は、動作として、スパークプラグの回転が止まり、整備士の手が静止する動作を検出した時に確度が最も高くなり、手が動いている間、及び整備士の身体がエンジンから離れた後では確度が低くなる。

【0030】

このような確度の推定は、動作検出部２１における操作者の動作を検出と並行して行われ、操作者の動作が変化するごとに、確度推定部２２にて確度が推定される。確度推定部２２における確度の推定は、所定時間ごとに行うことができ、当該所定時間は、ＣＰＵ１６１の計算能力に応じて適宜の時間を設定することができる。

【0031】

また、確度推定部２２は、動作検出部２１にて検出された操作者の動作から確度を推定するための機械学習を行った学習済みモデルを用いて確度を推定することができる。学習済みモデルとは、ある入力データに対して適切な出力データが得られるように、予め機械学習により学習されたモデルであり、少なくとも、入力データから出力データを得るまでの演算を行うプログラムと、当該演算に用いられる重み付け係数（パラメータ）とを備える。本実施形態の学習済みモデルは、動作検出部２１にて検出された操作者の動作が入力データとして入力されると、当該入力データに基づいて、操作者の動作に対応する操作と、その操作を実行した確度とを含む出力データが出力されるようにコンピュータ（特に、プロセッサ１６のＣＰＵ１６１）を機能させる。このような学習済みモデルを用いることで、予め設定されていない操作についても、操作が実行された確度を推定することができる。

【0032】

本実施形態の学習済みモデルは特に限定されないが、たとえば、図３に示すようなニューラルネットワーク３である。ニューラルネットワーク３は、入力層３１、中間層３２、及び出力層３３を備え、各層には少なくとも一つのニューロンが含まれている。入力層３１には、動作検出部２１にて検出された操作者の動作のデータを含む入力データ３４が入力され、入力されたデータを中間層３２に出力する。中間層３２は、入力層３１から入力されたデータから、動作のデータを抽出する。次に、抽出した動作のデータにおける動作を、操作と対応付ける。そして、当該操作が所定操作である場合に、動作に対して所定操作が実行された確度を推定する。出力層３３は、中間層３２から入力されたデータを、確度のデータを含む出力データ３５として出力する。

【0033】

中間層３２では、車両の乗員が、ドアに設置されたスイッチに手を延ばす動作、車両の乗員が、車載機器の操作者インターフェースに手を延ばす動作、工場の作業員が、左手にカプラーを持った状態で、別のカプラーに右手を延ばす動作、工場の作業員が、トルクレンチを右手で把持し、作業台の上にあるエンジンブロックのボルトにトルクレンチを嵌める動作などの動作が、どの操作と対応しているのかを示す対応関係が、機械学習により確立されている。当該対応関係には、検出した動作における操作者の身体の各部位の位置関係に加えて、操作者の使用している道具、操作者の周囲の環境などの複数の要因が関連づけられ、検出した動作に対して適切な操作が出力されるように、パラメータが設定されている。たとえば、乗員の乗車する車両が走行中であること、作業員がカプラーを左右それぞれの手で把持していることなどは、動作から操作を推定する際のパラメータとして考慮される。

【0034】

また、上述した中間層３２の対応関係は、予め機械学習により学習されていてもよいが、過去にニューラルネットワーク３に入力した入力データ３４、及び過去にニューラルネットワーク３から出力された出力データ３５を含む教師データ３６により新たに学習させてもよいし、予め機械学習により学習された学習済みモデルをさらに学習させてもよい。当該学習は、確度推定部２２が備える機械学習部２２ａより実行される。教師データ３６は、たとえば、図１に示すデータベース１７のようなデータベースに格納されており、必要に応じて取得することができる。過去の入力データ３４と出力データ３５との組み合わせを用いて学習することで、確度推定部２２において、動作に基づいた確度の推定がより正確になる。

【0035】

図１に戻り、音検出部２３は、所定操作を実行する際に発生する所定音を検出する機能を有する。所定音は特に限定されず、所定操作において操作者が操作する操作対象、及び当該操作対象に付随する物体から発生するあらゆる音が含まれる。具体的には、所定操作がスイッチを押込む操作である場合は、スイッチを押込んだ時に発生するスイッチの作動音である。所定操作が、タッチパネルの操作である場合は、タッチパネルに触れた時にスピーカーから発生する音である。所定操作が、カプラー同士を嵌合する操作である場合は、カプラーの嵌合部がかみ合った時に発生する音である。所定操作が、規定されたトルクに達した時に音と振動が発生するプリセット型のトルクレンチを用いてボルトを締める操作である場合は、トルクレンチが規定のトルクに達した時に発生する音である。所定操作に対応する所定音は、データベース１７のようなデータベースに、波形データなどのデータとして格納されており、必要に応じて取得することができる。

【0036】

音検出部２３は、集音装置１３から取得した音声データに、上記のような所定音が含まれているか否かを判定する。具体的には、音検出部２３は、集音装置１３から取得した音声データに対して、ロードノイズ、エンジン音、工場内の騒音及び人の話し声などのノイズを低減させる処理を行う。そして、ノイズ低減などの必要な前処理がされた音声データから、データベース１７から取得した所定音と同じ音を、周波数解析などを行うことで検出する。所定音と同じ音が、前処理された音声データから検出された場合には、音検出部２３は、所定音が検出されたことを操作判定部２４に出力する。なお、所定操作と所定音との対応関係は必ずしも１対１の対応関係ではなく、一つの所定操作に対して複数の所定音が設定されていてもよい。

【0037】

操作判定部２４は、確度推定部２２にて推定された確度と、音検出部２３にて所定音が検出されたタイミングとを組み合わせて、所定操作が実行されたか否か、つまり所定操作が所定手順で実行されたか否かを判定する機能を有する。所定手順とは、所定操作に対して予め設定された操作の手順のことである。具体的には、操作判定部２４は、確度推定部２２により推定された確度が所定値以上であり、且つ、音検出部２３で所定音が検出された場合に、所定操作が所定手順で実行されたと判定する。一方、確度推定部２２にて推定された確度が所定値以上である間に、音検出部２３により所定音が検出されなかった場合は、所定操作が所定手順で実行されなかったと判定する。当該所定値は、たとえば８０％以上であり、所定操作が適切に実行されたか否かを判定することができる範囲内で、適宜の値を設定することができる。

【0038】

一例として、図４を用いて、所定操作が車両のスイッチを押込む操作である場合について説明する。図４に示すスイッチＳＷは、装置のＯＮとＯＦＦを切り替えるものであり、図４の横方向において左側に位置する時はＯＦＦの状態であり、右側に位置するときはＯＮの状態である。操作者の手の指ＦでスイッチＳＷを押し込むことで、スイッチＳＷをＯＦＦの状態からＯＮの状態に切り替えることができる。この場合の所定手順は、たとえば図４に示すように、ステップ１）乗員が手の指ＦでスイッチＳＷに触れ、ステップ２）乗員が指ＦでスイッチＳＷをＯＮの方向に押込み、ステップ３）スイッチＳＷがカチッという作動音Ｓを発生させるまで押込む動作を続け、ステップ４）作動音Ｓが発生したらスイッチＳＷから指Ｆを離すという４つのステップからなる手順である。操作判定部２４は、所定の時間間隔で確度推定部２２から確度を取得し、検出された動作の変化と共に、確度が所定値以上になるタイミングを把握する。

【0039】

ステップの進行度に対して操作が実行された確度をプロットすると、たとえば図５の上部に示すようなグラフが得られる。この所定手順では、ステップ３）にて確度が所定値以上になるものとする。操作判定部２４は、乗員がステップ３）の手順を行っている間、つまり、確度が所定値以上である間に、所定音であるスイッチの作動音Ｓが検出されたか否かを判定する。ステップの進行度に対して所定音が発生する確度をプロットすると、たとえば図５の下部に示すようなグラフが得られる。操作が実行された確度が所定値以上の間、つまりステップ３）の間において、所定音であるスイッチの作動音Ｓが検出される確度が高くなっている。音検出部２３は、特にステップ３）が実行されている間に、周波数解析などの方法を用いて、集音装置１３にて取得された音声データを解析し、スイッチの作動音Ｓを検出する。

【0040】

乗員がステップ３）の手順を行っている間に、音検出部２３から所定音を検出した旨の出力を受け取った場合は、操作判定部２４は、車両のスイッチを押込む操作が、所定手順に従って実行されたと判定する。これに対して、乗員がステップ３）の手順を行っている間に音検出部２３の出力を受け取らず、乗員がステップ４）の手順に進んだ場合は、操作判定部２４は、車両のスイッチを押込む操作が、所定手順に従って実行されなかったと判定する。つまり、ステップ３）にてスイッチの作動音が検出されなかったため、スイッチが適切に作動する位置まで押込まれず、乗員のスイッチ入力操作が適切に実行されなかったと判定される。

【0041】

また別の例として、図６を用いて、所定操作が、作業員が２つのカプラーを嵌合する操作である場合ついて説明する。図６では、作業員の左手に把持されたカプラーＣ１と、作業員の左手に把持されたカプラーＣ２とを嵌合し、カプラーＣ１とカプラーＣ２の嵌合部が適切に嵌合すると、作動音が発生するものとする。この場合の所定手順は、たとえば図６に示すように、ステップ１）作業員が左手と右手のそれぞれでカプラーＣ１、Ｃ２を把持し、ステップ２）カプラーＣ１をカプラーＣ２と組み合わせ、ステップ３）カプラーの嵌合部Ｚがかみ合い、カチッという作動音Ｓを発生させるまでカプラーＣ１、Ｃ２を互いに押込み、ステップ４）作動音Ｓが発生したらカプラーＣ１、Ｃ２から手を離すという４つのステップからなる手順である。

【0042】

上述の例と同様に、操作判定部２４は、確度推定部２２から確度を取得し、確度が所定値以上になるタイミングを把握する。この所定手順では、ステップ３）にて確度が所定値以上になるものとする。操作判定部２４は、作業員がステップ３）の手順を行っている間、つまり、確度が所定値以上である間に、所定音である、カプラーの嵌合部Ｚがかみ合った時の作動音Ｓが検出されたか否かを判定する。作業員がステップ３）の手順を行っている間に、音検出部２３から所定音を検出した旨の出力を受け取った場合は、操作判定部２４は、カプラーＣ１、Ｃ２を嵌合させる作業員の操作が、所定手順に従って実行されたと判定する。これに対して、作業員がステップ３）の手順を行っている間に音検出部２３の出力を受け取らず、作業員がステップ４）の手順に進んだ場合は、操作判定部２４は、カプラーＣ１、Ｃ２を嵌合させる作業員の操作が、所定手順に従って実行されなかったと判定する。つまり、ステップ３）にて嵌合部の作動音Ｓが検出されなかったため、カプラー同士が適切にかみ合う位置まで押込まれず、カプラーＣ１とカプラーＣ２とが適切に嵌合されなかったと判定される。

【0043】

なお、所定手順と所定操作との対応関係は、１対１の対応関係に限られず、一つの所定操作に対して複数の所定手順が設定されていてもよい。

【0044】

図１に戻り、判定結果出力部２５は、操作判定部２４における判定結果を外部の機器に出力する機能を有し、特に、操作判定部２４にて所定操作が所定手順で実行されなかったと判定した場合に、所定操作が実行されなかったことを出力する機能を有する。判定結果出力部２５は、所定操作が適切に実行されなかった旨の判定結果を表示装置１４に出力し、当該判定結果を表示装置１４に表示させることで、操作者に、所定操作が適切に実行されなかったことを通知することができる。たとえば、操作者がバスを運転しており、バスの運行を制御している監督者が、操作者が運転するバスから離れた位置にある運行管理室にいる場合であれば、表示装置１４は運行管理室に設けられ、当該表示装置１４に、判定結果出力部２５から判定結果が出力される。これにより、監督者は、操作者から離れた位置にてバスの操作状況を監視することができ、バスを運転する操作者が、ベンチレータやエアコンを作動させてバス内の温度を適切に制御しているかを確認することができる。

【0045】

［操作検出システムにおける処理］
図７を参照して、操作検出装置１５が情報を処理する際の手順を説明する。図７は、本実施形態の操作検出システム１における情報の処理を示すフローチャートの一例である。以下に説明する処理は、操作検出装置１５のプロセッサ１６により所定の時間間隔で実行される。

【0046】

まず、ステップＳ１にて、動作検出部２１の機能により、操作者の動作を検出する。車両の乗員が車載機器の操作者インターフェースを操作する場合では、たとえば、車両のダッシュボードに設置された撮像装置１１にて取得された画像データから、乗員の動作を検出する。

【0047】

続くステップＳ２にて、確度推定部２２の機能により、データベース１７に格納されている、操作と動作の対応関係を用いて、操作者が実行しようとしている操作を推定する。車両の乗員が車載機器の操作者インターフェースを操作する場合では、画像データを用いて動作検出部２１にて検出された動作に基づいて、操作と動作の対応関係から、乗員の操作を推定する。

【0048】

続くステップＳ３にて、確度推定部２２の機能により、推定した操作が所定操作に該当するか否かを判定し、推定した操作が所定操作に該当すると判定した場合には、所定操作が実行された確度を推定する。当該推定には、データベース１７に格納された、動作と確度の関数を用いる。車両の乗員が車載機器の操作者インターフェースを操作する場合では、画像データを用いて動作検出部２１にて検出された動作に基づいて、動作と確度の関数から、操作者インターフェースの操作が実行された確度を推定する。

【0049】

続くステップＳ４にて、音検出部２３の機能により、集音装置１３を用いて所定音を検出する。車両の乗員が車載機器の操作者インターフェースを操作する場合では、集音装置１３により、操作者インターフェースを操作した時に、車両のスピーカーから発生する作動音を検出する。

【0050】

続くステップＳ５にて、操作判定部２４の機能により、確度推定部２２により推定された確度が所定値以上ある間に、音検出部２３にて所定音が検出されたか否か判定する。確度推定部２２により推定された確度が所定値以上である間に、音検出部２３にて所定音が検出されたと判定された場合は、操作者が所定操作を実行したと判定し、ルーチンの実行を停止して操作検出の処理を終了する。これに対して、確度が所定値以上である間に、音検出部２３により所定音が検出されなかった場合は、所定操作が所定手順で実行されなかったと判定し、ステップＳ６に進む。車両の乗員が車載機器の操作者インターフェースを操作する場合では、操作者インターフェースを操作した確度が所定値以上である間に、車両のスピーカーから発生する作動音が検出されたときは、操作者インターフェースの操作が適切に実行されたと判定する。これに対して、操作者インターフェースを操作した確度が所定値以上である間に、車両のスピーカーから発生する作動音が検出されなかったときは、操作者インターフェースの操作が所定手順で実行されなかったと判定する。

【0051】

ステップＳ６では、判定結果出力部２５の機能により、所定操作が適切に実行されなかったことを、表示装置１４に出力する。そして、表示装置１４では、判定結果出力部２５の出力を受け取り、操作者に、所定操作が適切に実行されなかったことを通知する。車両の乗員が車載機器の操作者インターフェースを操作する場合では、操作者インターフェースに、適切に操作が実行されなかった旨の表示がなされる。当該表示後、ルーチンの実行を停止して操作検出の処理を終了する。

【0052】

また別の例として、車両の乗員が、サンルーフを開ける又はベンチレータを作動させる場合では、たとえば、ステップＳ１にて、車両後部の窓ガラスに設置された撮像装置１１にて取得された画像データから、乗員の動作を検出する。続くステップＳ２にて、画像データを用いて動作検出部２１にて検出された動作に基づいて、操作と動作の対応関係から、乗員の操作を推定する。続くステップＳ３にて、画像データを用いて動作検出部２１にて検出された動作に基づいて、動作と確度の関数から、サンルーフ又はベンチレータの操作が実行された確度を推定する。続くステップＳ４にて、サンルーフの開閉機構が作動した音、又はベンチレータが開いた音を検出する。続くステップＳ５にて、サンルーフ又はベンチレータを操作した確度が所定値以上である間に、サンルーフの開閉機構が作動した音、又はベンチレータが開いた音が検出されたか否かを判定する。これらの音が検出されたときは、サンルーフ又はベンチレータの操作が適切に実行されたと判定し、操作検出の処理を終了する。これに対して、これらの音が検出されなかったときは、サンルーフ又はベンチレータの操作が所定手順で実行されなかったと判定し、ステップＳ６に進む。そして、ステップＳ６にて、サンルーフ又はベンチレータの操作が適切に実行されなかったことを、表示装置１４に出力する。

【0053】

さらに別の例として、工場にて組立て作業に従事する作業員が工具を用いてボルトを締める場合では、たとえば、ステップＳ１にて、作業員に取付けられた筋電位測定装置１２にて取得された筋電位の値から、作業員の動作を検出する。続くステップＳ２にて、筋電位の値を用いて動作検出部２１にて検出された動作に基づいて、操作と動作の対応関係から、乗員の操作を推定する。続くステップＳ３にて、筋電位の値を用いて動作検出部２１にて検出された動作に基づいて、動作と確度の関数から、ボルトを締める操作が実行された確度を推定する。続くステップＳ４にて、ボルトを締め終わった時に工具から発生する音を検出する。続くステップＳ５にて、ボルトを締める操作を実行した確度が所定値以上である間に、工具から発生する音が検出されたか否かを判定する。工具から発生した音が検出されたときは、ボルトが適切に締められたと判定し、操作検出の処理を終了する。これに対して、工具から発生した音が検出されなかったときは、ボルトが適切に締められなかったと判定し、ステップＳ６に進む。そして、ステップＳ６にて、ボルトが適切に締められなかったことを、表示装置１４に出力する。

【0054】

さらに別の例として、工場にて組立て作業に従事する作業員が２つのカプラーを嵌合する場合では、たとえば、ステップＳ１にて、ウェアラブル端末として作業員に取付けられた撮像装置１１にて画像データを取得し、作業員の動作を検出する。続くステップＳ２にて、画像データを用いて動作検出部２１にて検出された動作に基づいて、操作と動作の対応関係から、作業員の操作を推定する。続くステップＳ３にて、画像データを用いて動作検出部２１にて検出された動作に基づいて、動作と確度の関数から、作業員がカプラーを化合した確度を推定する。続くステップＳ４にて、カプラーが嵌合された時に嵌合部から発生する音を検出する。続くステップＳ５にて、カプラーを嵌合する操作を実行した確度が所定値以上である間に、嵌合部から発生する音が検出されたか否かを判定する。嵌合部から発生した音が検出されたときは、カプラーが適切に嵌合されたと判定し、操作検出の処理を終了する。これに対して、嵌合部から発生した音が検出されなかったときは、カプラーが適切に嵌合されなかったと判定し、ステップＳ６に進む。そして、ステップＳ６にて、カプラーが適切に嵌合されなかったことを、表示装置１４に出力する。

【0055】

［本発明の実施態様］
以上のとおり、本実施形態の操作検出装置１５によれば、操作者の動作を検出する動作検出部２１と、前記動作検出部２１により検出された前記操作者の動作に基づいて、前記操作者が所定操作を実行した確度を推定する確度推定部２２と、前記所定操作を実行する際に発生する所定音を検出する音検出部２３と、前記確度推定部２２により推定された前記確度が所定値以上であり、且つ、前記音検出部２３で前記所定音が検出された場合に、前記操作者が前記所定操作を実行したと判定する操作判定部２４と、を備える、操作検出装置が提供される。これにより、操作者のタッチ位置を検出せずに、操作者の操作を検出することができる。また、適切に操作が実行されたか否かを画像のみから判定することが難しい場合でも、操作が適切に完了したか否かを判定することができる。

【0056】

また、本実施形態の操作検出装置１５によれば、前記確度推定部２２は、所定時間ごとに前記確度を推定する。これにより、より正確な確度を推定することができる。

【0057】

また、本実施形態の操作検出装置１５によれば、前記動作検出部２１は、前記操作者を含む画像を取得し、取得した前記画像から前記操作者の動作を検出する。これにより、操作者に機器を取付けることなく、操作者の動作を検出することができる。

【0058】

また、本実施形態の操作検出装置１５によれば、前記操作判定部２４は、前記確度が前記所定値以上である間に、前記音検出部２３により前記所定音が検出されなかった場合は、前記所定操作が所定手順で実行されなかったと判定する。これにより、操作が所定の手順に従って実行されなかったことを、操作検出装置１５が認識することができる。

【0059】

また、本実施形態の操作検出装置１５によれば、前記操作判定部２４が、前記所定操作が実行されなかったと判定した場合に、前記所定操作が実行されなかったことを出力する判定結果出力部２５を備える。これにより、操作者に、操作が所定の手順に従って実行されなかったことを通知することができる。

【0060】

また、本実施形態の操作検出装置１５によれば、前記判定結果出力部２５の出力を受け取り、前記操作者に、前記所定操作が実行されなかったことを通知する表示装置１４を備える。これにより、操作者に、操作が所定の手順に従って実行されなかったことを通知することができる。

【0061】

また、本実施形態の操作検出装置１５によれば、前記所定音は、前記操作者の前記所定操作に起因して発生する音である。これにより、音検出部２３にて検出すべき音を絞込むことができ、より正確に所定音を検出することができる。

【0062】

また、本実施形態の操作検出装置１５によれば、前記確度推定部２２は、前記動作検出部２１にて検出された前記操作者の前記動作から前記確度を推定するための機械学習を行った学習済みモデルを用いて前記確度を推定する。これにより、予め設定されていなかった操作に対する確度を推定することができる。

【0063】

また、本実施形態の操作検出装置１５によれば、前記学習済みモデルは、前記動作検出部２１にて検出された前記操作者の前記動作のデータを含む入力データ３４を入力層３１に入力すると、前記確度のデータを含む出力データ３５が出力層３３からの出力されるニューラルネットワーク３であり、前記確度推定部２２は、過去に前記ニューラルネットワーク３に入力した入力データ３４、及び過去に前記ニューラルネットワーク３から出力された出力データ３５を教師データ３６として前記ニューラルネットワーク３を学習させる機械学習部を備え、前記機械学習部により前記ニューラルネットワーク３を学習させる。これにより、予め設定されていなかった操作に対する確度を、より正確に推定することができる。

【0064】

また、本実施形態の操作検出方法によれば、操作者の動作を検出し、検出された前記操作者の動作に基づいて、前記操作者が所定操作を実行した確度を推定し、前記所定操作を実行する際に発生する所定音を検出し、前記確度が所定値以上であり、且つ、前記所定音が検出された場合に、前記操作者が前記所定操作を実行したと判定する。これにより、操作者のタッチ位置を検出せずに、操作者の操作を検出することができる。また、適切に操作が実行されたか否かを画像のみから判定することが難しい場合でも、操作が適切に完了したか否かを判定することができる。

【符号の説明】

【0065】

１…操作検出システム
１１…撮像装置
１２…筋電位測定装置
１３…集音装置
１４…表示装置
１４ａ…液晶ディスプレイ
１４ｂ…イヤホン
１５…操作検出装置
１６…プロセッサ
１６１…ＣＰＵ
１６２…ＲＯＭ
１６３…ＲＡＭ
１７…データベース
２…操作検出部
２１…動作検出部
２２…確度推定部
２２ａ…機械学習部
２３…音検出部
２４…操作判定部
２５…判定結果出力部
３…ニューラルネットワーク
３１…入力層
３２…中間層
３３…出力層
３４…入力データ
３５…出力データ
３６…教師データ
Ｃ１、Ｃ２…カプラー
Ｆ…指
ＯＰ…操作者
Ｐ…部品
Ｓ…作動音
ＳＷ…スイッチ
ＷＢ…作業台
Ｚ…嵌合部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】