特開 2022-118923 操作認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022118923

(43)【公開日】2022-08-16

(54)【発明の名称】操作認識装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20220808BHJP

   G06T 7/20 20170101ALI20220808BHJP

【ＦＩ】

G06F3/01 570

G06T7/20 300A

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2021015756

(22)【出願日】2021-02-03

(71)【出願人】

【識別番号】000231512

【氏名又は名称】日本精機株式会社

(72)【発明者】

【氏名】原 瑛

【テーマコード（参考）】

5E555

5L096

【Ｆターム（参考）】

5E555AA54

5E555BA01

5E555BB01

5E555BC01

5E555CA42

5E555CB66

5E555CC01

5E555EA22

5E555FA00

5L096FA69

5L096FA70

(57)【要約】

【課題】 画像のコントラストが小さい場合であっても、手の動作による操作を判定することができる操作認識装置を提供する。
【解決手段】 投射部５は、画像を投影する。撮像部３ａは、画像が投影された手を撮像し、撮像データを出力する。操作判定部３ｂは、撮像データに基づいて手の動作による操作を判定する。撮像部３ａは、手及び顔を撮像すると共に、手及び顔を関連付けた手形状情報を記憶する記憶部２ｃを更に備える。操作判定部３ｂは、手形状情報に基づいて手の指先位置を推測する。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像を投影する投射部と、前記画像が投影された手を撮像し、撮像データを出力する撮像部と、前記撮像データに基づいて手の動作による操作を判定する操作判定部と、を備えた操作認識装置であって、
前記撮像部は、前記手及び顔を撮像すると共に、
前記手及び顔を関連付けた手形状情報を記憶する記憶部を更に備え、
前記操作判定部は、前記手形状情報に基づいて前記手の指先位置を推測することを特徴とする操作認識装置。

【請求項2】

前記記憶部に記憶された前記手形状情報は、左手と右手の画像データを含むことを特徴とする請求項１に記載の操作認識装置。

【請求項3】

前記記憶部に記憶された前記手形状情報は、前記手を開いた状態と、前記手を握った状態の画像データを含むことを特徴とする請求項１または請求項２に記載の操作認識装置。

【請求項4】

前記記憶部に記憶された前記手形状情報は、前記手の甲と、前記手のひらの画像データを含むことを特徴とする請求項１乃至請求項３の何れかに記載の操作認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像データに基づいて、手の動作による操作を認識する操作認識装置に関するものである。

【背景技術】

【0002】

従来より、手の動作による操作を認識する操作認識装置が種々提案されており、例えば特許文献１に開示されている。斯かる操作認識装置は、画像が投影された領域における手のジェスチャをカメラで撮像して、そのジェスチャを認識するものである。カメラで撮像された画像は、画像データの色閾値にて手領域が判定され、手によるジェスチャが認識される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６－１８２７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、ジェスチャする手（例えば右手）の背景が体の一部（例えば左手）であった場合は、手領域を誤判定する虞があった。つまり、画像データの中の手領域と背景領域の色が似ている場合は、画像のコントラストに基づいて手領域を判定することが困難であり、手領域が誤判定されて、手によるジェスチャが認識できないという問題があった。

【課題を解決するための手段】

【0005】

本発明は、画像を投影する投射部５と、前記画像が投影された手を撮像し、撮像データを出力する撮像部３ａと、前記撮像データに基づいて手の動作による操作を判定する操作判定部３ｂと、を備えた操作認識装置１であって、前記撮像部３ａは、前記手及び顔を撮像すると共に、前記手及び前記顔を関連付けた手形状情報を記憶する記憶部２ｃを更に備え、前記操作判定部３ｂは、前記手形状情報に基づいて前記手の指先位置を推測することを特徴とする。

【0006】

また、本発明は、前記記憶部２ｃに記憶された前記手形状情報は、左手と右手の画像データを含むことを特徴とする。

【0007】

また、本発明は、前記記憶部２ｃに記憶された前記手形状情報は、前記手を開いた状態と、前記手を握った状態の画像データを含むことを特徴とする。

【0008】

また、本津明は、前記記憶部２ｃに記憶された前記手形状情報は、前記手の甲と、前記手のひらの画像データを含むことを特徴とする。

【発明の効果】

【0009】

手形状情報に基づいて指先の位置を推測することができるため、画像のコントラストが小さい場合であっても、手の動作による操作を判定することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態を示すブロック図。

【図2】同上実施形態のフロー図。

【図3】同上実施形態の手画像の図。

【図4】同上実施形態のタッチ操作補助画像の図。

【図5】同上実施形態のタッチ操作の説明図。

【発明を実施するための形態】

【0011】

以下、添付の図面に基づいて、本発明を操作認識装置１に適用した一実施形態について説明する。操作認識装置１は、ＤＭＳ（Driver Monitoring System）２，手認識部３，表示制御部４，投射部５，制御部６を備えている。

【0012】

ＤＭＳ２は、撮像カメラ２ａ，判定部２ｂ，記憶部２ｃを有している。ＤＭＳ２の撮像カメラ２ａは、車両ドライバーの顔や手を撮像し、画像データを判定部２ｂに出力する。ＤＭＳ２の判定部２ｂは、撮像カメラ２ａが出力した画像データに基づいて、車両ドライバーを特定する。ＤＭＳ２の記憶部２ｃには、車両ドライバーの顔のデータ，手の形状データ等が記憶されている。

【0013】

手認識部３は、撮像カメラ３ａ及び操作判定部３ｂを有している。手認識部３の撮像カメラ３ａは、ステレオカメラからなり、車両ドライバーの手を撮像し、画像データを操作判定部３ｂに出力する。操作判定部３ｂは、撮像カメラ３ａから出力された画像データに基づいて、車両ドライバーの操作を判定する。

【0014】

表示制御部４は、制御部６からの制御信号に基づいて、投射部５に画像データを出力する。投射部５は、車室内に設置されたプロジェクターからなるものであり、車両ドライバーの手に画像を投影する。

【0015】

図２は、車両ドライバーの個人情報を登録するフロー図である。ステップＳ０１では、ＤＭＳ２の撮像カメラ２ａにて車両ドライバーを撮像し、その車両ドライバーの顔を認識する。ステップＳ０２では、ステップＳ０１で認識されたドライバーの顔が記憶部２ｃに登録されているか否か判断し、既に記憶部２ｃに登録されている場合はステップＳ０７に進み、記憶部２ｃに登録されていない場合はステップＳ０３に進む。

【0016】

ステップＳ０３では、車両ドライバーの顔画像を記憶部２ｃに登録する。ステップＳ０４では、ＤＭＳ２の撮像カメラ２ａにて車両ドライバーの手を撮像する。ステップＳ０５では、ステップＳ４で撮像された車両ドライバーの手の画像に基づいて、後述するタッチ操作補助画像を生成する。

【0017】

ステップＳ６では、ステップＳ０３で記憶部２ｃに登録された車両ドライバーの顔画像と、ステップＳ０４で撮像された車両ドライバーの手画像と、ステップＳ０５で生成されたタッチ操作補助画像とを関連付けたドライバー個別情報を記憶部２ｃに登録する。ステップＳ０７では、記憶部２ｃに登録された個人設定を読み込む。

【0018】

図３は、ステップＳ０４で撮像された車両ドライバーの手画像の例である。ステップＳ０４では、左手と右手、握った状態と開いた状態、手のひら側と手の甲側を夫々組合せた少なくとも８個の画像を撮像することが望ましいが、これに限定されるものではない。

【0019】

図４は、タッチ操作補助画像の例を示すものである。指の長さは車両ドライバーによって異なるが、本実施形態では、車両ドライバー個別情報に基づいて、指先位置を推定することができる。つまり、画像データのみでは画像のコントラストが小さいために指先位置の認識ができない場合であっても、手の動作による操作を判定することができる。

【0020】

制御部６は、表示制御部４を介して、車両ドライバーの一方の手（例えば左手）に、音声認識やステアリングスイッチによりエンターテイメントやエアコンの調整機能を表示する画像を投射部５に投射させる。車両ドライバーは、一方の手（例えば左手）に投射された画像を他方の手（例えば右手）でタッチ／スワイプすることにより、エンターテイメントやエアコンの操作を行う。制御部６は、手認識部３の撮像カメラ３ａで車両ドライバーの両手を撮像し、手認識部３の操作判定部３ｂにて車両ドライバーの操作を認識する。

【0021】

図５（ａ），図５（ｂ）は、車両ドライバーの両手を撮像した画像の例である。図５（ａ）のように、車両ドライバーの左手の手のひらに右手人差し指が画像上で重なっている場合は、コントラストが小さいために、画像データだけでは、右手人差し指の指先位置を判定することは困難であるが、図５（ｂ）のように、タッチ操作補助画像に基づいて、右手人差し指の指先位置を推測することにより、操作認識装置１が、右手による操作を認識することができる。

【0022】

なお、本発明は、本実施形態に限定されるものではなく、種々の変形が可能である。例えば、本実施形態は、撮像カメラ２ａ及び撮像カメラ３ａを備えているが、車両ドライバーの顔と手を撮像できれば、撮像カメラは１個であっても良い。

【符号の説明】

【0023】

１ 操作認識装置
２ ＤＭＳ
２ｂ 判定部
２ｃ 記憶部
３ 手認識部
３ａ 撮像部
３ｂ 操作判定部
４ 表示制御部
５ 投射部
６ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】