ホーム > 特許ランキング > 株式会社東海理化電機製作所
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024175301
(43)【公開日】2024-12-18
(54)【発明の名称】操作者判定装置及び操作者判定方法
(51)【国際特許分類】
B60R 11/04 20060101AFI20241211BHJP
G06V 20/59 20220101ALI20241211BHJP
G06T 7/00 20170101ALI20241211BHJP
【ＦＩ】
B60R11/04
G06V20/59
G06T7/00 660Z
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2023092976
(22)【出願日】2023-06-06
(71)【出願人】
【識別番号】000003551
【氏名又は名称】株式会社東海理化電機製作所
(74)【代理人】
【識別番号】110002583
【氏名又は名称】弁理士法人平田国際特許事務所
(72)【発明者】
【氏名】廣田 哲也
(72)【発明者】
【氏名】都築 宏昭
【テーマコード（参考）】
3D020
5L096
【Ｆターム（参考）】
3D020BA09
3D020BA20
3D020BB01
3D020BC03
3D020BE03
5L096AA06
5L096AA09
5L096BA04
5L096CA04
5L096CA05
5L096EA26
5L096FA32
5L096FA66
5L096FA69
(57)【要約】
【課題】操作者の判定精度を向上させることができる操作者判定装置及び操作者判定方法を提供する。
【解決手段】操作者判定装置１は、画像１０１を取得する取得部と、取得した画像１０１に基づいて複数の骨格座標１２０を算出する骨格座標算出部１２と、複数の骨格座標１２０に基づいて手指画像９００の基準座標１４０を算出する基準座標算出部１４と、基準座標１４０から予め定められた距離α、離れた座標値を有する画素１０２を画像１０１から探索し、基準座標１４０と繋がる腕部画像９１０の画素１０２が存在した場合、この腕部画像９１０の画素１０２の座標を基準座標１４０として更新し、この探索を予め定められた回数繰り返す基準座標更新部１６と、更新された更新基準座標１６０に基づいて操作装置を操作する乗員９が運転席８０及び助手席８１のいずれに着座しているのかを判定する制御部２０と、を備えて概略構成されている。
【選択図】図４
【解決手段】操作者判定装置１は、画像１０１を取得する取得部と、取得した画像１０１に基づいて複数の骨格座標１２０を算出する骨格座標算出部１２と、複数の骨格座標１２０に基づいて手指画像９００の基準座標１４０を算出する基準座標算出部１４と、基準座標１４０から予め定められた距離α、離れた座標値を有する画素１０２を画像１０１から探索し、基準座標１４０と繋がる腕部画像９１０の画素１０２が存在した場合、この腕部画像９１０の画素１０２の座標を基準座標１４０として更新し、この探索を予め定められた回数繰り返す基準座標更新部１６と、更新された更新基準座標１６０に基づいて操作装置を操作する乗員９が運転席８０及び助手席８１のいずれに着座しているのかを判定する制御部２０と、を備えて概略構成されている。
【選択図】図４
【特許請求の範囲】
【請求項1】
車両の運転席及び助手席に着座して操作装置を操作する乗員を撮像対象とし、前記車両の前後方向の座標値を含む複数の画素から構成された画像を取得する取得部と、
取得した前記画像に基づいて前記乗員の手指画像から複数の骨格座標を算出する骨格座標算出部と、
算出した前記複数の骨格座標に基づいて前記手指画像の基準座標を算出する基準座標算出部と、
算出した前記基準座標の前記前後方向の座標値から予め定められた距離、離れた座標値を有する画素を前記画像から探索し、前記離れた座標値を有すると共に前記手指画像の前記基準座標と繋がる腕部画像の画素が存在した場合、前記腕部画像の画素の座標を前記基準座標として更新し、この探索を予め定められた回数繰り返す基準座標更新部と、
前記予め定められた回数繰り返して更新された更新基準座標に基づいて前記操作装置を操作する前記乗員が前記運転席及び前記助手席のいずれに着座しているのかを判定する判定部と、
を備えた操作者判定装置。
取得した前記画像に基づいて前記乗員の手指画像から複数の骨格座標を算出する骨格座標算出部と、
算出した前記複数の骨格座標に基づいて前記手指画像の基準座標を算出する基準座標算出部と、
算出した前記基準座標の前記前後方向の座標値から予め定められた距離、離れた座標値を有する画素を前記画像から探索し、前記離れた座標値を有すると共に前記手指画像の前記基準座標と繋がる腕部画像の画素が存在した場合、前記腕部画像の画素の座標を前記基準座標として更新し、この探索を予め定められた回数繰り返す基準座標更新部と、
前記予め定められた回数繰り返して更新された更新基準座標に基づいて前記操作装置を操作する前記乗員が前記運転席及び前記助手席のいずれに着座しているのかを判定する判定部と、
を備えた操作者判定装置。
【請求項2】
前記判定部は、前記更新基準座標が前記運転席側に位置するか、前記助手席側に位置するかに基づいて前記操作装置を操作する前記乗員が前記運転席及び前記助手席のいずれに着座しているのかを判定する、
請求項１に記載の操作者判定装置。
請求項１に記載の操作者判定装置。
【請求項3】
前記取得部は、前記画像、及び前記操作装置を操作する前記乗員を撮像した前記前後方向の座標値を含まない撮像画像を取得し、
前記骨格座標算出部は、前記画像及び前記撮像画像に基づいて前記複数の骨格座標を算出する、
請求項１又は２に記載の操作者判定装置。
前記骨格座標算出部は、前記画像及び前記撮像画像に基づいて前記複数の骨格座標を算出する、
請求項１又は２に記載の操作者判定装置。
【請求項4】
車両の運転席及び助手席に着座して操作装置を操作する乗員を撮像対象とし、前記車両の前後方向の座標値を含む複数の画素から構成された画像を取得し、
取得した前記画像に基づいて前記乗員の手指画像から複数の骨格座標を算出し、
算出した前記複数の骨格座標に基づいて前記手指画像の基準座標を算出し、
算出した前記基準座標の前記前後方向の座標値から予め定められた距離、離れた座標値を有する画素を前記画像から探索し、前記離れた座標値を有すると共に前記手指画像の前記基準座標と繋がる腕部画像の画素が存在した場合、前記腕部画像の画素の座標を前記基準座標として更新し、この探索を予め定められた回数繰り返し、
前記予め定められた回数繰り返して更新された更新基準座標に基づいて前記操作装置を操作する前記乗員が前記運転席及び前記助手席のいずれに着座しているのかを判定する、
操作者判定方法。
取得した前記画像に基づいて前記乗員の手指画像から複数の骨格座標を算出し、
算出した前記複数の骨格座標に基づいて前記手指画像の基準座標を算出し、
算出した前記基準座標の前記前後方向の座標値から予め定められた距離、離れた座標値を有する画素を前記画像から探索し、前記離れた座標値を有すると共に前記手指画像の前記基準座標と繋がる腕部画像の画素が存在した場合、前記腕部画像の画素の座標を前記基準座標として更新し、この探索を予め定められた回数繰り返し、
前記予め定められた回数繰り返して更新された更新基準座標に基づいて前記操作装置を操作する前記乗員が前記運転席及び前記助手席のいずれに着座しているのかを判定する、
操作者判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、操作者判定装置及び操作者判定方法に関する。
【背景技術】
【0002】
従来の技術として、操作者がタッチパネルを操作した場合、タッチパネルに接触した形状を検出する接触形状検出部と、操作者がタッチパネルを操作した場合、タッチパネルに近接した操作者の身体の形状を検出する近接形状検出部と、接触形状検出部により検出された形状及び近接形状検出部により検出された形状から、タッチパネルを操作した操作者が助手席に着座しているか否かを判断する操作主体判断部と、を備えた入力操作装置が知られている（例えば、特許文献１参照。）。
【0003】
この入力操作装置は、専用検知器など新たなハードウェアを追加すること無く、操作者を判別することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１２－３２８７９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の入力操作装置は、操作者がタッチパネルに対して指を立てるように操作した場合、タッチパネルに近接する身体の形状を検出し難く、精度が低い問題がある。
【0006】
従って本発明の目的は、操作者の判定精度を向上させることができる操作者判定装置及び操作者判定方法を提供することにある。
【課題を解決するための手段】
【0007】
本発明の一態様は、車両の運転席及び助手席に着座して操作装置を操作する乗員を撮像対象とし、車両の前後方向の座標値を含む複数の画素から構成された画像を取得する取得部と、取得した画像に基づいて乗員の手指画像から複数の骨格座標を算出する骨格座標算出部と、算出した複数の骨格座標に基づいて手指画像の基準座標を算出する基準座標算出部と、算出した基準座標の前後方向の座標値から予め定められた距離、離れた座標値を有する画素を画像から探索し、離れた座標値を有すると共に手指画像の基準座標と繋がる腕部画像の画素が存在した場合、腕部画像の画素の座標を基準座標として更新し、この探索を予め定められた回数繰り返す基準座標更新部と、予め定められた回数繰り返して更新された更新基準座標に基づいて操作装置を操作する乗員が運転席及び助手席のいずれに着座しているのかを判定する判定部と、を備えた操作者判定装置を提供する。
【0008】
本発明の他の態様は、車両の運転席及び助手席に着座して操作装置を操作する乗員を撮像対象とし、車両の前後方向の座標値を含む複数の画素から構成された画像を取得し、取得した画像に基づいて乗員の手指画像から複数の骨格座標を算出し、算出した複数の骨格座標に基づいて手指画像の基準座標を算出し、算出した基準座標の前後方向の座標値から予め定められた距離、離れた座標値を有する画素を画像から探索し、離れた座標値を有すると共に手指画像の基準座標と繋がる腕部画像の画素が存在した場合、腕部画像の画素の座標を基準座標として更新し、この探索を予め定められた回数繰り返し、予め定められた回数繰り返して更新された更新基準座標に基づいて操作装置を操作する乗員が運転席及び助手席のいずれに着座しているのかを判定する、操作者判定方法を提供する。
【発明の効果】
【0009】
本発明によれば、操作者の判定精度を向上させることができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
（実施の形態の要約）
実施の形態に係る操作者判定装置は、車両の運転席及び助手席に着座して操作装置を操作する乗員を撮像対象とし、車両の前後方向の座標値を含む複数の画素から構成された画像を取得する取得部と、取得した画像に基づいて乗員の手指画像から複数の骨格座標を算出する骨格座標算出部と、算出した複数の骨格座標に基づいて手指画像の基準座標を算出する基準座標算出部と、算出した基準座標の前後方向の座標値から予め定められた距離、離れた座標値を有する画素を画像から探索し、離れた座標値を有すると共に手指画像の基準座標と繋がる腕部画像の画素が存在した場合、腕部画像の画素の座標を基準座標として更新し、この探索を予め定められた回数繰り返す基準座標更新部と、予め定められた回数繰り返して更新された更新基準座標に基づいて操作装置を操作する乗員が運転席及び助手席のいずれに着座しているのかを判定する判定部と、を備えて概略構成されている。
実施の形態に係る操作者判定装置は、車両の運転席及び助手席に着座して操作装置を操作する乗員を撮像対象とし、車両の前後方向の座標値を含む複数の画素から構成された画像を取得する取得部と、取得した画像に基づいて乗員の手指画像から複数の骨格座標を算出する骨格座標算出部と、算出した複数の骨格座標に基づいて手指画像の基準座標を算出する基準座標算出部と、算出した基準座標の前後方向の座標値から予め定められた距離、離れた座標値を有する画素を画像から探索し、離れた座標値を有すると共に手指画像の基準座標と繋がる腕部画像の画素が存在した場合、腕部画像の画素の座標を基準座標として更新し、この探索を予め定められた回数繰り返す基準座標更新部と、予め定められた回数繰り返して更新された更新基準座標に基づいて操作装置を操作する乗員が運転席及び助手席のいずれに着座しているのかを判定する判定部と、を備えて概略構成されている。
【0012】
他の実施の形態に係る操作者判定方法は、車両の運転席及び助手席に着座して操作装置を操作する乗員を撮像対象とし、車両の前後方向の座標値を含む複数の画素から構成された画像を取得し、取得した画像に基づいて乗員の手指画像から複数の骨格座標を算出し、算出した複数の骨格座標に基づいて手指画像の基準座標を算出し、算出した基準座標の前後方向の座標値から予め定められた距離、離れた座標値を有する画素を画像から探索し、離れた座標値を有すると共に手指画像の基準座標と繋がる腕部画像の画素が存在した場合、腕部画像の画素の座標を基準座標として更新し、この探索を予め定められた回数繰り返し、予め定められた回数繰り返して更新された更新基準座標に基づいて操作装置を操作する乗員が運転席及び助手席のいずれに着座しているのかを判定する、ことを含んでいる。
【0013】
この操作者判定装置及び操作者判定方法は、基準座標を更新して操作者の肩部に近い位置を更新基準座標とするので、この構成を採用しない場合と比べて、操作者が運転席に着座しているのか、助手席に着座しているのかを判定し易く、判定精度を向上させることができる。
【0014】
[実施の形態]
（操作者判定装置１の概要）
図１（ａ）は、実施の形態に係る操作者判定装置が配置された車両の一例を示す図であり、図１（ｂ）は、運転席及び助手席に着座する乗員と撮像部の位置関係の一例を示す図である。図２（ａ）は、実施の形態に係る操作者判定装置のブロック図の一例であり、図２（ｂ）は、操作者判定装置を含む車両制御システムのブロック図の一例である。図３（ａ）は、実施の形態に係る操作者判定装置のカメラ座標系と画像に定められた画像座標系の一例について説明するための図であり、図３（ｂ）は、画素の一例について説明するための図である。図４（ａ）は、実施の形態に係る操作者判定装置が算出した複数の骨格座標の一例であり、図４（ｂ）は、基準座標の更新の一例を説明するための図である。図４（ａ）は、画像１０１の一部を図示している。図４（ｂ）は、一例として、画像１０１のうち、ｘ座標がｘｎ～ｘｎ＋１４の範囲、ｙ座標がｙｍ～ｙｍ＋９の範囲を図示している。このｎ及びｍは、正の整数である。また図４（ｂ）は、手指画像９００、腕部画像９１０、肩部画像９２０及び身体画像９３０を点線で示している。
（操作者判定装置１の概要）
図１（ａ）は、実施の形態に係る操作者判定装置が配置された車両の一例を示す図であり、図１（ｂ）は、運転席及び助手席に着座する乗員と撮像部の位置関係の一例を示す図である。図２（ａ）は、実施の形態に係る操作者判定装置のブロック図の一例であり、図２（ｂ）は、操作者判定装置を含む車両制御システムのブロック図の一例である。図３（ａ）は、実施の形態に係る操作者判定装置のカメラ座標系と画像に定められた画像座標系の一例について説明するための図であり、図３（ｂ）は、画素の一例について説明するための図である。図４（ａ）は、実施の形態に係る操作者判定装置が算出した複数の骨格座標の一例であり、図４（ｂ）は、基準座標の更新の一例を説明するための図である。図４（ａ）は、画像１０１の一部を図示している。図４（ｂ）は、一例として、画像１０１のうち、ｘ座標がｘｎ～ｘｎ＋１４の範囲、ｙ座標がｙｍ～ｙｍ＋９の範囲を図示している。このｎ及びｍは、正の整数である。また図４（ｂ）は、手指画像９００、腕部画像９１０、肩部画像９２０及び身体画像９３０を点線で示している。
【0015】
なお以下に記載する実施の形態に係る各図において、図形間の比率や形状は、実際の比率や形状とは異なる場合がある。また図２（ａ）、図２（ｂ）及び図５（ａ）では、主な信号や情報の流れを矢印で示している。さらに数値範囲を示す「Ａ～Ｂ」は、Ａ以上Ｂ以下の意味で用いるものとする。またさらに以下に示す車両８は、右側に運転席８０を有する所謂右ハンドル車であるが左側に運転席８０を有する左ハンドル車であっても良い。
【0016】
操作者判定装置１は、図１（ａ）～図４（ｂ）に示すように、車両８の運転席８０及び助手席８１に着座して操作装置を操作する乗員９を撮像対象とし、車両８の前後方向の座標値を含む複数の画素１０２から構成された画像１０１を取得する取得部としての撮像部１０と、取得した画像１０１に基づいて乗員９の手指画像９００から複数の骨格座標１２０を算出する骨格座標算出部１２と、算出した複数の骨格座標１２０に基づいて手指画像９００の基準座標１４０を算出する基準座標算出部１４と、算出した基準座標１４０の前後方向の座標値から予め定められた距離α、離れた座標値を有する画素１０２を画像１０１から探索し、離れた座標値を有すると共に手指画像９００の基準座標１４０と繋がる腕部画像９１０の画素１０２が存在した場合、腕部画像９１０の画素１０２の座標を基準座標１４０として更新し、この探索を予め定められた回数繰り返す基準座標更新部１６と、予め定められた回数繰り返して更新された更新基準座標１６０に基づいて操作装置を操作する乗員９が運転席８０及び助手席８１のいずれに着座しているのかを判定する判定部としての制御部２０と、を備えて概略構成されている。
【0017】
制御部２０は、更新基準座標１６０が運転席８０側に位置するか、助手席８１側に位置するかに基づいて操作装置を操作する乗員９が運転席８０及び助手席８１のいずれに着座しているのかを判定する。
【0018】
本実施の形態の操作装置は、一例として、運転席８０と助手席８１の間の正面に位置するセンターコンソール８２に配置されたタッチパネル７２である。このタッチパネル７２は、図２（ｂ）に示すナビゲーション装置７３の地図画像や目的地の設定画像などを表示すると共に、これらに対する入力を受け付けるように構成されている。このナビゲーション装置７３は、一例として、車両８が走行している場合、運転席８０に着座する乗員９が操作できないようにしたり、操作可能な項目を制限したりする。操作者判定装置１は、タッチパネル７２を操作する乗員９が運転席８０に着座しているのか、助手席８１に着座しているのかを判定し、判定した結果をナビゲーション装置７３に出力するように構成されている。
【0019】
なおナビゲーション装置７３以外の車載装置７４が走行中に、運転席８０に着座する乗員９の操作を制限する場合、操作者判定装置１は、一例として、車載装置７４に対して判定した結果を出力する。
【0020】
このナビゲーション装置７３及び車載装置７４は、一例として、図２（ｂ）に示すように、操作者判定装置１と共に車両制御システム７を構成している。この車両制御システム７は、一例として、操作者判定装置１と、車両制御装置７０と、車速センサ７１と、タッチパネル７２と、ナビゲーション装置７３と、車載装置７４と、車両ＬＡＮ（Local Area Network）７５と、を備えて概略構成されている。
【0021】
車両制御装置７０は、例えば、車両８を総合的に制御すると共に、運転支援機能や自動運転機能などを制御するマイクロコンピュータである。車速センサ７１は、車両８の速度を測定する。ナビゲーション装置７３は、車速センサ７１の測定結果に基づいて車両８が走行中であり、またタッチパネル７２を介して操作がなされた場合、トリガ信号Ｓ６を、車両ＬＡＮ７５を介して操作者判定装置１に出力する。操作者判定装置１は、トリガ信号Ｓ６に基づいて操作者が運転席８０及び助手席８１のいずれに着座した乗員９であるのかを判定する。
【0022】
なおナビゲーション装置７３は、タッチパネル７２が操作面７２０から離れた位置で操作者を検出可能な場合、走行中であり、かつタッチパネル７２に操作がなされようとする前にトリガ信号Ｓ６を出力するように構成されても良い。
【0023】
車両ＬＡＮ７５は、一例として、有線及び無線によって相互に信号や情報などの交換を可能とするＣＡＮ（Controller Area Network）やＬＩＮ（Local Interconnect Network）といった車両用ネットワークである。
【0024】
（撮像部１０の構成）
本実施の形態の取得部は、撮像部１０である。撮像部１０は、一例として、ステレオカメラ、ＴＯＦ（Time of Flight）カメラなどの深度カメラである。この深度カメラは、赤外線を出力してから対象物で反射して戻るまでの時間に基づいて対象物までの距離を測定することができる。
本実施の形態の取得部は、撮像部１０である。撮像部１０は、一例として、ステレオカメラ、ＴＯＦ（Time of Flight）カメラなどの深度カメラである。この深度カメラは、赤外線を出力してから対象物で反射して戻るまでの時間に基づいて対象物までの距離を測定することができる。
【0025】
本実施の形態の撮像部１０は、一例として、ＴＯＦカメラである。撮像部１０により撮像された画像１０１は、図３（ｂ）に示すように、対象物までの距離の情報を含む複数の画素１０２により構成されている。具体的には、画像１０１は、一例として、８０×６０、４８０×３６０、１０２４×１０２４などの画素１０２により構成されている。撮像部１０は、制御部２０に電気的に接続され、取得した画像１０１の情報である画像情報Ｓ１を出力する。
【0026】
乗員９の手指９０から肩部９２までの長さの平均は、一例として、７０ｃｍ前後である。しかし乗員９からタッチパネル７２までの距離は、一例として、座席の位置によるものの３０～５０ｃｍ程度となる。従って撮像部１０は、ミリ単位で対象物までの距離を測定する必要がなく、一例として、センチメートル単位で対象物までの距離を測定する。
【0027】
撮像部１０は、図１（ａ）及び図１（ｂ）に示すように、タッチパネル７２の上側に配置されている。なお撮像部１０は、タッチパネル７２の近傍であって、運転席８０及び助手席８１に着座してタッチパネル７２を操作する乗員９を撮像可能であり、かつタッチパネル７２を基準として手指９０から肩部９２までの距離が増加するような領域に配置される。
【0028】
そこで撮像部１０は、一例として、図１（ａ）において斜線で示す配置領域１００、つまり運転席８０と助手席８１の間であって、タッチパネル７２の上側とインストルメントパネル８３を結ぶ領域とタッチパネル７２を囲む周囲領域７２１と、に配置されることが好ましいがこれに限定されない。
【0029】
撮像部１０は、図３（ａ）に示すように、焦点Ｏにおいてカメラ座標系であるＸＹＺ座標系を有する。この焦点Ｏには、撮像部１０の撮像素子が配置されている。このＸＹＺ座標系は、一例として、図３（ａ）の紙面において、左から右方向にＸ軸、下から上方向にＹ軸、手前から奥方向にＺ軸を有している。つまりＸ軸が車両８の右から左側方向の座標軸、Ｙ軸が車両８の下から上側方向の座標軸である。このＺ軸は、図１（ｂ）に示すように、撮像部１０の光軸１１０の方向となり、車両８の前方から後方に向かう座標軸となっている。つまりＺ軸は、タッチパネル７２を基準として手指９０から肩部９２までの距離が増加するような座標軸となっている。
【0030】
一方撮像された画像１０１は、図３（ａ）に示すように、ＸＹ座標系に対して座標変換を行なった画像座標系であるｘｙ座標系が設定されている。このｘｙ座標系は、一例として、画像１０１の左上が原点であり、左から右方向がｘ軸、上から下方向がｙ軸である。
【0031】
このｚ軸は、Ｚ軸と同様の光軸１１０の方向の座標軸であり、タッチパネル７２の操作面７２０が原点となるように撮像部１０のＺ軸を座標変換した座標軸であるがこれに限定されない。なおｚ軸は、撮像部１０がタッチパネル７２の近傍に配置されることから座標変換せずにＺ軸に一致する座標軸であっても良い。
【0032】
画素１０２は、図３（ｂ）に示すように、ｘｙ平面における座標値と、車両８の前後方向、つまり奥行き方向であるｚ軸方向の座標値と、の情報を有している。図３（ｂ）では、ｘ軸が座標値ｘ１～座標値ｘ３、ｙ軸が座標値ｙ１～座標値ｙ３に対応する画素１０２と、画素１０２ごとのｚ軸の座標値ｚａ～ｚｉと、を示している。なお座標値は、一例として、タッチパネル７２の操作面７２０からの距離である。
【0033】
ｘｙ軸の座標値は、一例として、図３（ｂ）に示すように、画素１０２に応じて定められている。つまり画像１０１の左上の画素１０２の座標値は、一例として、（ｘ１、ｙ１）である。つまりｘ軸方向に画素１０２が増えるとｘ２、ｘ３などとｘの座標値が増え、ｙ軸方向に増えるとｙ２、ｙ３などとｙの座標値が増える。
【0034】
（骨格座標算出部１２の構成）
骨格座標算出部１２は、図４（ａ）に示すように、撮像部１０から取得した画像情報Ｓ１に基づく画像１０１を解析して乗員９の手指９０の画像である手指画像９００から骨格の座標を算出するように構成されている。なお図４（ａ）は、乗員９の手指画像９００、腕部画像９１０、肩部画像９２０、及び身体画像９３０の一部を含む画像１０１の一部を示している。また骨格座標算出部１２は、骨格点を算出するように構成されても良い。骨格座標算出部１２は、一例として、予め定められた骨格点が画像１０１の手指画像９００のどの位置に相当するか算出して画像１０１における骨格点を定める。
骨格座標算出部１２は、図４（ａ）に示すように、撮像部１０から取得した画像情報Ｓ１に基づく画像１０１を解析して乗員９の手指９０の画像である手指画像９００から骨格の座標を算出するように構成されている。なお図４（ａ）は、乗員９の手指画像９００、腕部画像９１０、肩部画像９２０、及び身体画像９３０の一部を含む画像１０１の一部を示している。また骨格座標算出部１２は、骨格点を算出するように構成されても良い。骨格座標算出部１２は、一例として、予め定められた骨格点が画像１０１の手指画像９００のどの位置に相当するか算出して画像１０１における骨格点を定める。
【0035】
図４（ａ）に示す丸は、骨格座標１２０が算出された位置を示している。この骨格座標１２０は、ｘｙｚ成分を有している。骨格座標算出部１２は、制御部２０に電気的に接続され、骨格座標１２０の情報である骨格座標情報Ｓ２を出力する。
【0036】
なお骨格座標算出部１２は、手指９０がタッチパネル７２に近いことから運転席８０と助手席８１の間の領域に限定して骨格座標１２０を算出する。
【0037】
（基準座標算出部１４の構成）
基準座標算出部１４は、一例として、複数の骨格座標１２０を平均して基準座標１４０を算出する。基準座標算出部１４は、骨格座標算出部１２から取得した骨格座標情報Ｓ２に基づいて基準座標１４０を算出する。図４（ｂ）では、一例として、座標（ｘｎ＋９、ｙｍ＋８、ｔ）を基準座標１４０としている。この「ｔ」は、ｚ軸の座標値、つまりタッチパネル７２からの距離を示している。基準座標算出部１４は、制御部２０に電気的に接続され、算出した基準座標１４０の情報を基準座標情報Ｓ３として出力する。
基準座標算出部１４は、一例として、複数の骨格座標１２０を平均して基準座標１４０を算出する。基準座標算出部１４は、骨格座標算出部１２から取得した骨格座標情報Ｓ２に基づいて基準座標１４０を算出する。図４（ｂ）では、一例として、座標（ｘｎ＋９、ｙｍ＋８、ｔ）を基準座標１４０としている。この「ｔ」は、ｚ軸の座標値、つまりタッチパネル７２からの距離を示している。基準座標算出部１４は、制御部２０に電気的に接続され、算出した基準座標１４０の情報を基準座標情報Ｓ３として出力する。
【0038】
なお基準座標算出部１４は、複数の骨格座標１２０を含む矩形を設定し、この矩形に含まれる全ての座標値の平均に基づいて基準座標１４０を算出しても良いし、この矩形の重心を基準座標１４０としても良い。また基準座標算出部１４は、骨格座標算出部１２が算出した骨格点の座標の平均を基準座標１４０としても良い。
【0039】
（基準座標更新部１６の構成）
基準座標更新部１６は、撮像部１０から出力された画像情報Ｓ１、及び基準座標算出部１４から出力された基準座標情報Ｓ３を取得する。基準座標更新部１６は、基準座標１４０のｚ軸の座標値から予め定められた距離α、離れた座標値を有する画素１０２を画像１０１から探索し、離れた座標値を有すると共に手指９０の手指画像９００と繋がる腕部９１の腕部画像９１０の画素１０２が存在した場合、当該腕部画像９１０の画素１０２の座標を基準座標１４０として更新し、この探索を予め定められた回数繰り返す。
基準座標更新部１６は、撮像部１０から出力された画像情報Ｓ１、及び基準座標算出部１４から出力された基準座標情報Ｓ３を取得する。基準座標更新部１６は、基準座標１４０のｚ軸の座標値から予め定められた距離α、離れた座標値を有する画素１０２を画像１０１から探索し、離れた座標値を有すると共に手指９０の手指画像９００と繋がる腕部９１の腕部画像９１０の画素１０２が存在した場合、当該腕部画像９１０の画素１０２の座標を基準座標１４０として更新し、この探索を予め定められた回数繰り返す。
【0040】
上述したように、乗員９からタッチパネル７２までの距離は、一例として、座席の位置によるものの３０～５０ｃｍ程度となる。従って基準座標更新部１６は、一例として、３０～５０ｃｍ程度、乗員９の身体９３に近づくように基準座標１４０を更新する。
【0041】
予め定められた距離αは、基準座標１４０から肩部９２までの長さと、予め定められた回数に応じて定められる。予め定められた距離αは、一例として、３～２０ｃｍであり、５～１０ｃｍである方がより好ましい。予め定められた距離αが１０ｃｍである場合、予め定められた回数は、一例として、３～５回となる。
【0042】
基準座標更新部１６は、基準座標１４０から離れた距離αに腕部画像９１０の画素１０２が存在する場合、当該画素１０２に基づいて基準座標１４０を更新する。図４（ｂ）では、予め定められた距離αを１０ｃｍ、予め定められた回数を４回とした一例を示している。
【0043】
・基準座標１４０の更新について
図４（ｂ）では、基準座標１４０から距離α離れた座標（ｘｎ＋６、ｙｍ＋６、ｔ＋α）、座標（ｘｎ＋７、ｙｍ＋６、ｔ＋α）を有する画素１０２が存在する一例を示している。これらの座標は、基準座標１４０から４近傍又は８近傍でｚ座標がｔより増加し、連続する画素１０２のうち、ｚ座標がｚ＋αであるものである。ここでは、一例として、８近傍で連続する画素１０２を探索するものとする。なおｚ座標は、例えば、ｚ＋αに許容範囲内で近い座標も選択されるものとする。
図４（ｂ）では、基準座標１４０から距離α離れた座標（ｘｎ＋６、ｙｍ＋６、ｔ＋α）、座標（ｘｎ＋７、ｙｍ＋６、ｔ＋α）を有する画素１０２が存在する一例を示している。これらの座標は、基準座標１４０から４近傍又は８近傍でｚ座標がｔより増加し、連続する画素１０２のうち、ｚ座標がｚ＋αであるものである。ここでは、一例として、８近傍で連続する画素１０２を探索するものとする。なおｚ座標は、例えば、ｚ＋αに許容範囲内で近い座標も選択されるものとする。
【0044】
基準座標更新部１６は、連続する画素１０２が複数ある場合、一例として、平均を取って更新した基準座標１４０とするがこれに限定されず、画像１０１の腕部画像９１０の中心に近い座標であっても良い。ここでは、更新された基準座標１４０は、座標（ｘｎ＋７、ｙｍ＋６、ｔ＋α）であるものとする。
【0045】
基準座標更新部１６は、さらに更新した基準座標１４０である座標（ｘｎ＋７、ｙｍ＋６、ｔ＋α）から距離α、離れた位置に連続する画素１０２があるか探索する。図４（ｂ）では、更新された座標（ｘｎ＋７、ｙｍ＋６、ｔ＋α）から距離α、離れた座標（ｘｎ＋５、ｙｍ＋５、ｔ＋２α）及び座標（ｘｎ＋６、ｙｍ＋５、ｔ＋２α）を有する画素１０２が存在する一例を示している。これらの座標は、更新された基準座標１４０から８近傍でｚ座標がｔ＋αより増加し、連続する画素１０２のうち、ｚ座標がｚ＋２αであるものである。
【0046】
基準座標更新部１６は、これらの座標の平均を算出し、更新した基準座標１４０を一例として座標（ｘｎ＋５、ｙｍ＋５、ｔ＋２α）とする。
【0047】
基準座標更新部１６は、２回の探索で更新した基準座標１４０である座標（ｘｎ＋５、ｙｍ＋５、ｔ＋２α）から距離α、離れた位置に連続する画素１０２があるか探索する。図４（ｂ）では、２回更新された座標（ｘｎ＋５、ｙｍ＋５、ｔ＋２α）から距離、α離れた座標（ｘｎ＋３、ｙｍ＋３、ｔ＋３α）及び座標（ｘｎ＋４、ｙｍ＋３、ｔ＋３α）を有する画素１０２が存在する一例を示している。これらの座標は、２回更新された基準座標１４０から８近傍でｚ座標がｔ＋２αより増加し、連続する画素１０２のうち、ｚ座標がｚ＋３αであるものである。
【0048】
基準座標更新部１６は、これらの座標の平均を算出し、３回更新した更新基準座標１６０を一例として座標（ｘｎ＋３、ｙｍ＋３、ｔ＋３α）とする。
【0049】
基準座標更新部１６は、３回の探索で更新した基準座標１４０である座標（ｘｎ＋３、ｙｍ＋３、ｔ＋３α）から距離α、離れた位置に連続する画素１０２があるか探索する。図４（ｂ）では、３回更新された座標（ｘｎ＋３、ｙｍ＋３、ｔ＋３α）から距離、α離れた座標（ｘｎ＋１、ｙｍ＋１、ｔ＋４α）及び座標（ｘｎ＋２、ｙｍ＋１、ｔ＋４α）を有する画素１０２が存在する一例を示している。これらの座標は、３回更新された基準座標１４０から８近傍でｚ座標がｔ＋３αより増加し、連続する画素１０２のうち、ｚ座標がｚ＋３αであるものである。
【0050】
基準座標更新部１６は、これらの座標の平均を算出し、４回更新した更新基準座標１６０を一例として座標（ｘｎ＋１、ｙｍ＋１、ｔ＋４α）とする。基準座標更新部１６は、予め定められた回数更新した更新基準座標１６０を座標（ｘｎ＋１、ｙｍ＋１、ｔ＋４α）とする更新基準座標情報Ｓ４を制御部２０に出力する。
【0051】
【0052】
（制御部２０の構成）
制御部２０は、例えば、記憶されたプログラム２００に従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部２０が動作するためのプログラム２００が格納されている。ＲＡＭは、例えば、一時的に演算結果などを格納する記憶領域として用いられる。また制御部２０は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて動作を行う。
制御部２０は、例えば、記憶されたプログラム２００に従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部２０が動作するためのプログラム２００が格納されている。ＲＡＭは、例えば、一時的に演算結果などを格納する記憶領域として用いられる。また制御部２０は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて動作を行う。
【0053】
制御部２０は、ナビゲーション装置７３からトリガ信号Ｓ６が入力した場合、撮像部１０、骨格座標算出部１２、基準座標算出部１４及び基準座標更新部１６を制御して操作者を判定する。
【0054】
また制御部２０は、タッチパネル７２を操作する乗員９が運転席８０及び助手席８１のいずれに着座しているかを判定するための判定しきい値２０１を有している。この判定しきい値２０１は、一例として、図３（ａ）に示すように、運転席領域１０１ａに関している。制御部２０は、更新基準座標１６０が運転席領域１０１ａに存在する場合、操作者が運転席８０に着座する乗員９であると判定する。また制御部２０は、更新基準座標１６０が運転席領域１０１ａ以外に存在する場合、操作者が助手席８１に着座する乗員９であると判定する。
【0055】
運転席領域１０１ａは、画像１０１における乗員９の腕部画像９１０の付け根部分、つまり肩部画像９２０と、肩部画像９２０と繋がる身体画像９３０と、を含む領域である。
【0056】
なお変形例として制御部２０は、画像１０１において、運転席８０と助手席８１の間を分ける境界に関する判定しきい値２０１を有し、更新基準座標１６０がこの境界から運転席８０側なら運転席８０に着座する乗員９が操作者であると判定しても良い。制御部２０は、画像１０１において、更新基準座標１６０がこの境界から助手席８１側なら助手席８１に着座する乗員９が操作者であると判定する。
【0057】
制御部２０は、タッチパネル７２を操作する操作者が運転席８０に着座する乗員９であると判定した場合、判定した結果の情報である判定情報Ｓ５を、車両ＬＡＮ７５を介してナビゲーション装置７３に送信する。ナビゲーション装置７３は、判定情報Ｓ５に基づいて車両８が走行している場合に運転席８０に着座する乗員９に許される項目を表示する。
【0058】
・変形例について
図５（ａ）は、変形例に係る操作者判定装置のブロック図の一例であり、図５（ｂ）は、第１の撮像装置が撮像した画像と第２の撮像装置が撮像した撮像画像の一例について説明するための図である。図５（ａ）は、操作者判定装置１として取得部１１のみを図示している。
図５（ａ）は、変形例に係る操作者判定装置のブロック図の一例であり、図５（ｂ）は、第１の撮像装置が撮像した画像と第２の撮像装置が撮像した撮像画像の一例について説明するための図である。図５（ａ）は、操作者判定装置１として取得部１１のみを図示している。
【0059】
変形例としての操作者判定装置１の取得部１１は、図５（ａ）及び図５（ｂ）に示すように、画像１０１、及び操作装置を操作する乗員９を撮像した前後方向の座標値を含まない撮像画像４０を取得するように構成されても良い。骨格座標算出部１２は、画像１０１及び撮像画像４０に基づいて複数の骨格座標１２０を算出する。
【0060】
この変形例において取得部１１は、一例として、図５（ａ）に示すように、第１の撮像装置３及び第２の撮像装置４と電気的に接続されている。第１の撮像装置３は、一例として、ステレオカメラ、ＴＯＦカメラなどの深度カメラ、ＬＩＤＥＲ（Light Detection And Ranging）装置などである。第１の撮像装置３は、ｚ軸方向の座標値を有する画像１０１を撮像する。また第２の撮像装置４は、一例として、ｚ軸方向の座標値を持たないＲＧＢ画像である撮像画像４０を撮像する。
【0061】
骨格座標算出部１２は、取得部１１を介して第１の撮像装置３から撮像情報Ｓ７に基づく画像１０１を取得すると共に、第２の撮像装置４から撮像情報Ｓ８に基づく撮像画像４０を取得する。骨格座標算出部１２は、同時に撮像された、ｚ軸方向の座標値を有する画像１０１をＲＧＢ画像である撮像画像４０で補うことにより、手指画像９００、腕部画像９１０、肩部画像９２０及び身体画像９３０とｚ軸方向の座標値とを適合させて精度が高い骨格座標１２０を算出することができる。
【0062】
（動作）
以下に本実施の形態に係る操作者判定装置１の動作の一例について図６のフローチャートに従って説明する。
以下に本実施の形態に係る操作者判定装置１の動作の一例について図６のフローチャートに従って説明する。
【0063】
操作者判定装置１の制御部２０は、ステップ１の「Ｙｅｓ」が成立する、つまりナビゲーション装置７３からトリガ信号Ｓ６が入力すると（Ｓｔｅｐ１：Ｙｅｓ）、撮像部１０から画像１０１を取得し（Ｓｔｅｐ２）、骨格座標算出部１２に出力する。
【0064】
骨格座標算出部１２は、取得した画像１０１の乗員９の手指画像９００から複数の骨格座標１２０を算出する（Ｓｔｅｐ３）。骨格座標算出部１２は、算出した複数の骨格座標１２０の情報を含む骨格座標情報Ｓ２を基準座標算出部１４に出力する。
【0065】
基準座標算出部１４は、骨格座標情報Ｓ２に基づいて複数の骨格座標１２０から手指画像９００の基準座標１４０を算出する（Ｓｔｅｐ４）。基準座標算出部１４は、算出した基準座標１４０の情報である基準座標情報Ｓ３を基準座標更新部１６に出力する。
【0066】
基準座標更新部１６は、画像情報Ｓ１及び基準座標情報Ｓ３に基づいて基準座標１４０のｚ方向の座標値から予め定められた距離α、離れた座標値を有する画素１０２を画像１０１から探索する。そして基準座標更新部１６は、離れた座標値を有すると共に手指画像９００の基準座標１４０と繋がる腕部画像９１０の画素１０２が存在した場合、腕部画像９１０の画素１０２の座標を基準座標１４０として更新し、この探索を予め定められた回数繰り返して更新基準座標１６０を算出する（Ｓｔｅｐ５）。基準座標更新部１６は、更新基準座標１６０の情報である更新基準座標情報Ｓ４を制御部２０に出力する。なお探索は、腕部画像９１０のみならず、少なくとも肩部画像９２０まで行われる。さらに基準座標更新部１６は、一例として、更新した基準座標１４０が肩部画像９２０や身体画像９３０に到達した場合、回数内であっても処理を停止する。
【0067】
制御部２０は、更新基準座標情報Ｓ４に基づく更新基準座標１６０に基づいてタッチパネル７２を介してナビゲーション装置７３を操作する乗員９が運転席８０及び助手席８１のいずれに着座しているのかを判定する。制御部２０は、更新基準座標１６０が運転席領域１０１ａに位置する場合、つまり操作者が運転席８０に着座する乗員９であると判定した場合（Ｓｔｅｐ６：Ｙｅｓ）、判定結果を示す判定情報Ｓ５を、車両ＬＡＮ７５を介してナビゲーション装置７３に出力し（Ｓｔｅｐ７）、判定動作を終了する。
【0068】
ここでステップ６において制御部２０は、更新基準座標１６０が運転席領域１０１ａ以外の位置である場合（Ｓｔｅｐ６：Ｎｏ）、判定情報Ｓ５を出力せずに判定動作を終了する。
【0069】
なお制御部２０は、助手席８１に着座する乗員９の腕部９１の付け根部分を含む助手席領域を画像１０１に設定し、更新基準座標１６０が助手席領域に位置する場合、助手席８１に着座する乗員９が操作者であるとする判定結果を出力するように構成されても良い。
【0070】
（実施の形態の効果）
本実施の形態に係る操作者判定装置１は、判定精度を向上させることができる。具体的には、操作者判定装置１は、基準座標１４０を更新して操作者の肩部画像９２０に近い位置を更新基準座標１６０とするので、運転席と助手席の中央を基準として判定する場合と比べて、更新基準座標１６０が座席に近く、操作者が運転席８０に着座しているのか否かを判定し易い。従って操作者判定装置１は、判定精度を向上させることができる。そして操作者判定装置１は、操作者の判定精度が高いので、運転席８０に着座する乗員９の操作を適切に制限すると共に、助手席８１に着座する乗員９の操作を適切に受け付けることができる。
本実施の形態に係る操作者判定装置１は、判定精度を向上させることができる。具体的には、操作者判定装置１は、基準座標１４０を更新して操作者の肩部画像９２０に近い位置を更新基準座標１６０とするので、運転席と助手席の中央を基準として判定する場合と比べて、更新基準座標１６０が座席に近く、操作者が運転席８０に着座しているのか否かを判定し易い。従って操作者判定装置１は、判定精度を向上させることができる。そして操作者判定装置１は、操作者の判定精度が高いので、運転席８０に着座する乗員９の操作を適切に制限すると共に、助手席８１に着座する乗員９の操作を適切に受け付けることができる。
【0071】
操作者判定装置１は、奥行き方向の距離を有する画像１０１の手指画像９００から骨格座標１２０及び基準座標１４０を算出し、この基準座標１４０を基準として距離α、離れた距離に基準座標１４０を更新し、この更新を繰り返すことによって腕部画像９１０の付け根近くに更新基準座標１６０を更新することができる。従って操作者判定装置１は、この構成を採用しない場合と比べて、精度良く基準座標１４０を定めることで操作者の判定精度を向上させることができる。
【0072】
ここで他の実施の形態に係る操作者判定方法は、車両８の運転席８０及び助手席８１に着座して操作装置を操作する乗員９を撮像対象とし、車両８の前後方向の座標値を含む複数の画素１０２から構成された画像１０１を取得し、取得した画像１０１に基づいて乗員９の手指画像９００から複数の骨格座標１２０を算出し、算出した複数の骨格座標１２０に基づいて手指画像９００の基準座標１４０を算出し、算出した基準座標１４０の前後方向の座標値から予め定められた距離α、離れた座標値を有する画素１０２を画像１０１から探索し、離れた座標値を有すると共に手指画像９００の基準座標１４０と繋がる腕部画像９１０の画素１０２が存在した場合、腕部画像９１０の画素１０２の座標を基準座標１４０として更新し、この探索を予め定められた回数繰り返し、予め定められた回数繰り返して更新された更新基準座標１６０に基づいて操作装置を操作する乗員９が運転席８０及び助手席８１のいずれに着座しているのかを判定する、ことを含んでいる。
【0073】
この操作者判定方法は、この操作者判定方法を実行させるプログラムやこのプログラムを記録したコンピュータで読み取り可能な記録媒体として提供されても良い。
【0074】
以上述べた操作者判定装置１及び操作者判定方法によれば、操作者の判定精度を向上させることができる。
【0075】
上述の実施の形態及び変形例に係る操作者判定装置１及び操作者判定方法は、例えば、用途に応じて、その一部が、コンピュータが実行するプログラム、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field Programmable Gate Array）などによって実現されても良い。例えば、骨格座標算出部１２、基準座標算出部１４及び基準座標更新部１６の少なくとも１つは、制御部２０が実行するプログラム２００、ＡＳＩＣ及びＦＰＧＡなどによって実現されても良い。
【0076】
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0077】
１…操作者判定装置、８…車両、９…乗員、１０…撮像部、１１…取得部、１２…骨格座標算出部、１４…基準座標算出部、１６…基準座標更新部、２０…制御部、４０…撮像画像、７２…タッチパネル、７３…ナビゲーション装置、８０…運転席、８１…助手席、９０…手指、９１…腕部、９２…肩部、９３…身体、１０１…画像、１０２…画素、１２０…骨格座標、１４０…基準座標、１６０…更新基準座標、２００…プログラム、９００…手指画像、９１０…腕部画像、９２０…肩部画像、９３０…身体画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】