ホーム > 特許ランキング > 株式会社東海理化電機製作所
知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社東海理化電機製作所の特許一覧 ▶ ＮＥＣソリューションイノベータ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-04
(45)【発行日】2022-04-12
(54)【発明の名称】処理装置、及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220405BHJP
G08G 1/16 20060101ALI20220405BHJP
【ＦＩ】
G06T7/00 C
G06T7/00 660B
G08G1/16 F
【請求項の数】
10
(21)【出願番号】P 2018066466
(22)【出願日】2018-03-30
(65)【公開番号】P2019179287
(43)【公開日】2019-10-17
【審査請求日】2020-11-12
(73)【特許権者】
【識別番号】000003551
【氏名又は名称】株式会社東海理化電機製作所
(73)【特許権者】
【識別番号】000232092
【氏名又は名称】ＮＥＣソリューションイノベータ株式会社
(74)【代理人】
【識別番号】110002583
【氏名又は名称】特許業務法人平田国際特許事務所
(72)【発明者】
【氏名】名和 佑記
(72)【発明者】
【氏名】井東 道昌
(72)【発明者】
【氏名】多田 圭吾
(72)【発明者】
【氏名】関原 忠
(72)【発明者】
【氏名】気屋村 純一
(72)【発明者】
【氏名】榊原 将城
(72)【発明者】
【氏名】深谷 安利
【審査官】佐藤 実
(56)【参考文献】
【文献】特開２０１２－１２７８１１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０８Ｇ １／１６
(57)【特許請求の範囲】
【請求項1】
車両の乗員を含む撮像領域を撮像対象とし、与えられた２次元座標系の座標に対応する画素ごとに前記撮像対象までの距離情報を割り当てた距離画像を取得する取得部と、前記取得部で取得した前記距離画像の前記２次元座標系の前記画素の座標とこの座標の前記距離情報とを３次元空間上の点に変換して３次元画素群を作成し、前記３次元画素群の第１の座標系を、前記乗員を原点とする第２の座標系に変換し、変換された前記第２の座標系における前記３次元画素群から抽出され、前記乗員の頭部が存在する可能性の高い画素群である高尤度領域に対して、前記乗員の頭部を特定し、その特定された前記乗員の頭部における頭部中心位置を求める位置検出処理を実行する制御部と、
を有し、
前記制御部は、前記乗員の頭部の重心の座標を特定し、特定された前記重心の座標を前記頭部中心位置の初期値とし、
前記重心の座標及び前記重心の座標の周囲に設定された複数の座標との間の距離のばらつきを示す評価値が最小となる座標を前記頭部中心位置の座標として更新する探索処理を実行する、
処理装置。
【請求項2】
前記制御部は、前記第２の座標系において前記原点から前記車両の右方向を正、左方向を負とする第１の軸、前記車両の前方向を正とする第２の軸、及び前記車両の上方向を正とする第３の軸とした場合、
予め規定された頭部モデルに応じて予め規定された横幅に基づいて、抽出した前記高尤度領域を前記第２の軸の方向に分割して最も画素群が多い第１の領域を抽出し、
前記横幅に基づいて前記第１の領域を前記第１の軸の方向に分割して最も画素群が多い第２の領域を抽出し、
さらに抽出した前記第２の領域において前記第３の軸の正方向に沿って最も高い部分を前記乗員の頭頂部とし、
前記頭部モデルを前記乗員の頭頂部に対し適合させることで前記乗員の頭部領域を特定し、
前記頭部領域の重心の座標を前記乗員の頭部の前記重心の座標として特定する、
請求項１に記載の処理装置。
【請求項3】
前記制御部は、前記頭部中心位置の座標を、規定された距離変更して、前記評価値が最小となる座標を新たに前記頭部中心位置の座標として探索することを、前記探索処理として実行する、請求項１又は２に記載の処理装置。
【請求項4】
前記制御部は、前記頭部中心位置の座標が変更されない場合、前記規定された距離を、予め定められた距離よりも短い距離とする、請求項３に記載の処理装置。
【請求項5】
前記制御部は、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値との差分が所定の閾値以上か否かにより、前記位置検出処理を続行するかどうかを判断する、請求項１から４までのいずれか１項に記載の処理装置。
【請求項6】
車両の乗員を含む撮像領域を撮像対象とし、与えられた２次元座標系の座標に対応する画素ごとに前記撮像対象までの距離情報を割り当てた距離画像を取得する取得ステップと、前記取得ステップで取得した前記距離画像の前記２次元座標系の前記画素の座標とこの座標の前記距離情報とを３次元空間上の点に変換して３次元画素群を作成し、前記３次元画素群の第１の座標系を、前記乗員を原点とする第２の座標系に変換し、変換された前記第２の座標系における前記３次元画素群から抽出され、前記乗員の頭部が存在する可能性の高い画素群である高尤度領域に対して、前記乗員の頭部を特定し、その特定された前記乗員の頭部における頭部中心位置を求める位置検出処理を実行する制御ステップと、
を有し、
前記制御ステップは、前記乗員の頭部の重心の座標を特定し、特定された前記重心の座標を前記頭部中心位置の初期値とし、
前記重心の座標及び前記重心の座標の周囲に設定された複数の座標との間の距離のばらつきを示す評価値が最小となる座標を前記頭部中心位置の座標として更新する探索処理を実行する、ことをコンピュータに実行させるためのプログラム。
【請求項7】
前記制御ステップは、前記第２の座標系において前記原点から前記車両の右方向を正、左方向を負とする第１の軸、前記車両の前方向を正とする第２の軸、及び前記車両の上方向を正とする第３の軸とした場合、
予め規定された頭部モデルに応じて予め規定された横幅に基づいて、抽出した前記高尤度領域を前記第２の軸の方向に分割して最も画素群が多い第１の領域を抽出し、
前記横幅に基づいて前記第１の領域を前記第１の軸の方向に分割して最も画素群が多い第２の領域を抽出し、
さらに抽出した前記第２の領域において前記第３の軸の正方向に沿って最も高い部分を前記乗員の頭頂部とし、
前記頭部モデルを前記乗員の頭頂部に対し適合させることで前記乗員の頭部領域を特定し、
前記頭部領域の重心の座標を前記乗員の頭部の前記重心の座標として特定する、請求項６に記載のプログラム。
【請求項8】
前記制御ステップは、前記頭部中心位置の座標を、規定された距離変更して、前記評価値が最小となる座標を新たに前記頭部中心位置の座標として探索することを、前記探索処理として実行する、請求項７に記載のプログラム。
【請求項9】
前記制御ステップは、前記頭部中心位置の座標が変更されない場合、前記規定された距離を、予め定められた距離よりも短い距離とする、請求項８に記載のプログラム。
【請求項10】
前記制御ステップは、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値との差分が所定の閾値以上か否かにより、前記位置検出処理を続行するかどうかを判断する、請求項６から９までのいずれか１項に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、処理装置、及びプログラムに関し、特に、撮像画像に基づいて検出処理を行なう処理装置、及びプログラムに関する。
【背景技術】
【0002】
従来、車両の乗員が映り込んだ画像を撮像し、その撮像した画像を画像処理することで、検出の対象を特定する技術がある。この種の技術において、運転者の体調や覚醒度を推定することを目的として、運転者の頭部を、検出の対象とすることが求められている。運転者の頭部を検出するために、予め学習された識別器を撮像した画像に照合する技術が提案されている（例えば、特許文献１参照）。
【0003】
特許文献１の処理装置は、運転者及び同乗者から操作可能に設けられた車載装置の操作部を操作する操作者の検出対象を撮像する撮像部と、前記撮像部から出力された画像データに基づいて微分処理を行って水平方向微分画像及び垂直方向微分画像を作成する微分処理部と、前記操作部を座標原点とする第１の極座標系を設定し、前記水平方向微分画像及び前記垂直方向微分画像に基づいて第１の角度方向微分及び第１の動径方向微分を算出する算出部と、算出された前記第１の角度方向微分、前記第１の動径方向微分、及び第１の条件に基づいて第１の２値画像を作成する２値画像作成部と、前記第１の２値画像に基づいて第１の間隔を有して略平行な直線となる第１及び第２の直線を抽出する抽出部と、抽出された前記第１及び第２の直線に基づいて前記操作者を判別する判別部と、を備えて操作者判別装置を構成している。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００９－２９４８４３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献１の技術では、頭部の表面に関する情報は得られるものの、頭部の位置、例えば、頭部中心位置に関する情報は得られないという課題がある。
【0006】
したがって、本発明の目的は、乗員の頭部を検出する技術において、乗員の頭部中心位置に関する情報を取得する技術を提供することにある。
【課題を解決するための手段】
【0007】
［１］上記目的を達成するため、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得部と、前記距離画像を構成する画素群であって、前記車両の車室内空間における座標系と前記距離画像における座標系との対応関係に従って抽出され、前記乗員の頭部が存在する可能性の高い画素群である高尤度領域に対して、前記乗員の頭部を特定し、その特定された乗員の頭部における頭部中心位置を求める位置検出処理を実行する制御部と、を有する処理装置を提供する。
［２］前記制御部は、前記乗員の頭部として検出した各画素との距離のばらつきが最も小さくなる特定の座標を探索する探索処理を実行し、その探索処理の結果、特定された特定の座標を前記頭部中心位置とする、上記［１］に記載の処理装置であってもよい。
［３］また、前記制御部は、前記乗員の頭部として検出した各画素と、頭部中心に対応する座標及び頭部中心の周囲に設定された複数の座標との間の距離のばらつきを示す評価値が最小となる座標を前記特定の座標として探索することを、前記探索処理として実行する、上記［１］又は［２］に記載の処理装置であってもよい。
［４］また、前記制御部は、前記頭部中心に対応する座標を、規定された距離変更して、前記評価値が最小となる座標を特定の座標として探索することを、前記探索処理として実行する、上記［３］に記載の処理装置であってもよい。
［５］また、前記制御部は、前記特定の座標が変更されない場合、前記規定された距離を、予め定められた距離よりも短い距離とする、上記［４］に記載の処理装置であってもよい。
［６］また、前記制御部は、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値との差分が所定の閾値以上か否かにより、前記位置検出処理を続行するかどうかを判断する、上記［３］から［５］までのいずれか１に記載の処理装置であってもよい。
［７］上記目的を達成するため、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得ステップと、前記距離画像を構成する画素群であって、前記車両の車室内空間における座標系と前記距離画像における座標系との対応関係に従って抽出され、前記乗員の頭部が存在する可能性の高い画素群である高尤度領域に対して、前記乗員の頭部を特定し、その特定された乗員の頭部における頭部中心位置を求める位置検出処理を実行する制御ステップと、をコンピュータに実行させるためのプログラムを提供する。
［８］前記制御ステップは、前記乗員の頭部として検出した各画素との距離のばらつきが最も小さくなる特定の座標を探索する探索処理を実行し、その探索処理の結果、特定された特定の座標を前記頭部中心位置とする、上記［７］に記載のプログラムであってもよい。
［９］また、前記制御ステップは、前記乗員の頭部として検出した各画素と、頭部中心に対応する座標及び頭部中心の周囲に設定された複数の座標との間の距離のばらつきを示す評価値が最小となる座標を前記特定の座標として探索することを、前記探索処理として実行する、上記［７］又は［８］に記載のプログラムであってもよい。
［１０］また、前記制御ステップは、前記頭部中心に対応する座標を、規定された距離変更して、前記評価値が最小となる座標を特定の座標として探索することを、前記探索処理として実行する、上記［９］に記載のプログラムであってもよい。
［１１］また、前記制御ステップは、前記特定の座標が変更されない場合、前記規定された距離を、予め定められた距離よりも短い距離とする、上記［１０］に記載のプログラムであってもよい。
［１２］また、前記制御ステップは、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値との差分が所定の閾値以上か否かにより、前記位置検出処理を続行するかどうかを判断する、上記［９］から［１１］までのいずれか１に記載のプログラムであってもよい。
［２］前記制御部は、前記乗員の頭部として検出した各画素との距離のばらつきが最も小さくなる特定の座標を探索する探索処理を実行し、その探索処理の結果、特定された特定の座標を前記頭部中心位置とする、上記［１］に記載の処理装置であってもよい。
［３］また、前記制御部は、前記乗員の頭部として検出した各画素と、頭部中心に対応する座標及び頭部中心の周囲に設定された複数の座標との間の距離のばらつきを示す評価値が最小となる座標を前記特定の座標として探索することを、前記探索処理として実行する、上記［１］又は［２］に記載の処理装置であってもよい。
［４］また、前記制御部は、前記頭部中心に対応する座標を、規定された距離変更して、前記評価値が最小となる座標を特定の座標として探索することを、前記探索処理として実行する、上記［３］に記載の処理装置であってもよい。
［５］また、前記制御部は、前記特定の座標が変更されない場合、前記規定された距離を、予め定められた距離よりも短い距離とする、上記［４］に記載の処理装置であってもよい。
［６］また、前記制御部は、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値との差分が所定の閾値以上か否かにより、前記位置検出処理を続行するかどうかを判断する、上記［３］から［５］までのいずれか１に記載の処理装置であってもよい。
［７］上記目的を達成するため、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得ステップと、前記距離画像を構成する画素群であって、前記車両の車室内空間における座標系と前記距離画像における座標系との対応関係に従って抽出され、前記乗員の頭部が存在する可能性の高い画素群である高尤度領域に対して、前記乗員の頭部を特定し、その特定された乗員の頭部における頭部中心位置を求める位置検出処理を実行する制御ステップと、をコンピュータに実行させるためのプログラムを提供する。
［８］前記制御ステップは、前記乗員の頭部として検出した各画素との距離のばらつきが最も小さくなる特定の座標を探索する探索処理を実行し、その探索処理の結果、特定された特定の座標を前記頭部中心位置とする、上記［７］に記載のプログラムであってもよい。
［９］また、前記制御ステップは、前記乗員の頭部として検出した各画素と、頭部中心に対応する座標及び頭部中心の周囲に設定された複数の座標との間の距離のばらつきを示す評価値が最小となる座標を前記特定の座標として探索することを、前記探索処理として実行する、上記［７］又は［８］に記載のプログラムであってもよい。
［１０］また、前記制御ステップは、前記頭部中心に対応する座標を、規定された距離変更して、前記評価値が最小となる座標を特定の座標として探索することを、前記探索処理として実行する、上記［９］に記載のプログラムであってもよい。
［１１］また、前記制御ステップは、前記特定の座標が変更されない場合、前記規定された距離を、予め定められた距離よりも短い距離とする、上記［１０］に記載のプログラムであってもよい。
［１２］また、前記制御ステップは、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値との差分が所定の閾値以上か否かにより、前記位置検出処理を続行するかどうかを判断する、上記［９］から［１１］までのいずれか１に記載のプログラムであってもよい。
【発明の効果】
【0008】
本発明の処理装置、及びプログラムによれば、乗員の頭部を検出する技術において、乗員の頭部中心位置に関する情報を取得することができる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
（本発明の実施の形態）
本発明の実施の形態に係る処理装置１は、車両８の乗員５を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得部としてのＴＯＦカメラ１０と、距離画像を構成する画素群であって、車両８の車室内空間における座標系と距離画像における座標系との対応関係に従って抽出され、乗員５の頭部が存在する可能性の高い画素群である高尤度領域に対して、乗員５の頭部５０を特定し、その特定された乗員の頭部における頭部中心位置Ｃを求める位置検出処理を実行する制御部と、を有して構成されている。
本発明の実施の形態に係る処理装置１は、車両８の乗員５を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得部としてのＴＯＦカメラ１０と、距離画像を構成する画素群であって、車両８の車室内空間における座標系と距離画像における座標系との対応関係に従って抽出され、乗員５の頭部が存在する可能性の高い画素群である高尤度領域に対して、乗員５の頭部５０を特定し、その特定された乗員の頭部における頭部中心位置Ｃを求める位置検出処理を実行する制御部と、を有して構成されている。
【0011】
なお、画素群とは、ＴＯＦカメラ１０により撮像された画素に対応する点の集合であって、車両８の車室内空間における座標系、ＴＯＦカメラ１０における座標系等により位置が表示される３次元空間の点の集合である。また、高尤度領域とは、検出対象が存在する可能性の高い領域である。具体的には、例えば、領域内の画素群数が多く、あるいは、画素群密度が高い領域である。
【0012】
（ＴＯＦカメラ１０）
取得部としては撮像対象の３次元認識が可能なものであれば使用可能であるが、本実施の形態では、取得部としてＴＯＦ（Time Of Flight）カメラ１０を使用する。ＴＯＦカメラ１０は、光源の光が測定対象物に当たって戻るまでの時間を画素毎に検出し、奥行き方向の距離に相当する位置情報を含む立体的な画像を撮影できる。ＴＯＦカメラ１０は、赤外光等を発光後、その光が物体に反射して戻ってきた反射光を受光し、発光から受光までの時間を測定して、画素ごとに撮像対象物までの距離を検出する。
取得部としては撮像対象の３次元認識が可能なものであれば使用可能であるが、本実施の形態では、取得部としてＴＯＦ（Time Of Flight）カメラ１０を使用する。ＴＯＦカメラ１０は、光源の光が測定対象物に当たって戻るまでの時間を画素毎に検出し、奥行き方向の距離に相当する位置情報を含む立体的な画像を撮影できる。ＴＯＦカメラ１０は、赤外光等を発光後、その光が物体に反射して戻ってきた反射光を受光し、発光から受光までの時間を測定して、画素ごとに撮像対象物までの距離を検出する。
【0013】
ＴＯＦカメラ１０は、例えば、図１に示すように、ルームミラー付近に取り付け、車両８の乗員５を含む撮像領域を撮像対象とする。ＴＯＦカメラ１０による撮像画像は、座標（ｕ，ｖ）と、この座標（ｕ，ｖ）における奥行情報としての画素値ｄ（ｕ，ｖ）を含む。取得された画素値ｄ（ｕ，ｖ）（ｕ＝０、１、…Ｕ－１，ｖ＝０、１、…Ｖ－１）は、撮像対象としての物体（ここで言う物体は、運転者や車載機器など）までの距離を意味する。なお、実施形態における符号Ｕは、撮像画像における横幅［ｐｉｘｅｌ］を意味し、符号Ｖは、撮像画像における縦幅［ｐｉｘｅｌ］を意味する。つまり、ＴＯＦカメラ１０で撮像された画像における各画素に、３次元空間における距離情報を割り当てることで距離画像が生成される。
【0014】
（距離画像から得られるカメラ座標系）
距離画像における座標値ｕ，ｖと、座標（ｕ，ｖ）における画素値ｄ（ｕ，ｖ）は、以下の式を用いて３次元空間上の点（ｘ，ｙ，ｚ）に変換することで、図１に示すカメラ座標系（ｘ，ｙ，ｚ）における３次元画素群を作成することができる。
なお、（ｃｘ、ｃｙ）は、画像中心座標、ｆは、レンズ焦点距離である。
距離画像における座標値ｕ，ｖと、座標（ｕ，ｖ）における画素値ｄ（ｕ，ｖ）は、以下の式を用いて３次元空間上の点（ｘ，ｙ，ｚ）に変換することで、図１に示すカメラ座標系（ｘ，ｙ，ｚ）における３次元画素群を作成することができる。
【数1】
【0015】
（車両座標系）
カメラ座標系（ｘ，ｙ，ｚ）は、検出対象であるドライバ（例えば腰骨の位置）を原点とする車両座標系（ｗ，ｌ，ｈ）に変換することができる。変換方法は、一般的な座標回転変換、平行移動変換、スケール変換の組み合わせである。変換後の座標軸は、ドライバ右方向をｗ軸、前方をｌ軸（エル軸）、上方をｈ軸とし、原点はドライバの腰骨位置とする。
カメラ座標系（ｘ，ｙ，ｚ）は、検出対象であるドライバ（例えば腰骨の位置）を原点とする車両座標系（ｗ，ｌ，ｈ）に変換することができる。変換方法は、一般的な座標回転変換、平行移動変換、スケール変換の組み合わせである。変換後の座標軸は、ドライバ右方向をｗ軸、前方をｌ軸（エル軸）、上方をｈ軸とし、原点はドライバの腰骨位置とする。
【0016】
（制御部２０）
制御部２０は、座標変換、頭頂部特定処理、頭部特定処理等を行なうための、例えばマイクロコンピュータを備えている。制御部２０は、図１に示すように、ＴＯＦカメラ１０と接続されている。制御部２０は、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）２１、半導体メモリであるＲＡＭ（Random Access Memory）２２及びＲＯＭ（Read Only Memory）２３を備えている。
制御部２０は、座標変換、頭頂部特定処理、頭部特定処理等を行なうための、例えばマイクロコンピュータを備えている。制御部２０は、図１に示すように、ＴＯＦカメラ１０と接続されている。制御部２０は、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）２１、半導体メモリであるＲＡＭ（Random Access Memory）２２及びＲＯＭ（Read Only Memory）２３を備えている。
【0017】
【0018】
（Ｓｔｅｐ１）
取得部としてのＴＯＦカメラ１０は、車両８の乗員５を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する。この距離画像は、所定の時間間隔で撮像されたフレームの１フレームとして取得することができる。取得された距離画像は、以下の処理における入力（３次元画素群）として機能する。距離画像は、上記説明したカメラ座標系、車両座標系へ変換される。これにより、図３（ａ）に示すように、検出エリアに含まれる３次元画素群２０１を抽出できる。以下の処理においては、車両座標系（ｗ，ｌ，ｈ）の３次元画素群で演算、処理等が実行される。
取得部としてのＴＯＦカメラ１０は、車両８の乗員５を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する。この距離画像は、所定の時間間隔で撮像されたフレームの１フレームとして取得することができる。取得された距離画像は、以下の処理における入力（３次元画素群）として機能する。距離画像は、上記説明したカメラ座標系、車両座標系へ変換される。これにより、図３（ａ）に示すように、検出エリアに含まれる３次元画素群２０１を抽出できる。以下の処理においては、車両座標系（ｗ，ｌ，ｈ）の３次元画素群で演算、処理等が実行される。
【0019】
（Ｓｔｅｐ２）
制御部２０は、頭頂部の抽出として、まず、図３（ｂ）に示すように、検出エリア内の画素群２０２を抽出する。検出エリアを定義し、その空間に含まれる画素群を抽出することで、領域を絞り込む。検出エリアは、着座時に頭部５０が存在すると考えられる、車室内上方の空間とする。例えば、ドライバ腰骨位置２０３を原点とし、－５１０＜ｗ＜３６０、－２８０＜ｌ＜７００、４３０＜ｈ＜７５０の範囲である。単位はｍｍである（以下、同じ）。
制御部２０は、頭頂部の抽出として、まず、図３（ｂ）に示すように、検出エリア内の画素群２０２を抽出する。検出エリアを定義し、その空間に含まれる画素群を抽出することで、領域を絞り込む。検出エリアは、着座時に頭部５０が存在すると考えられる、車室内上方の空間とする。例えば、ドライバ腰骨位置２０３を原点とし、－５１０＜ｗ＜３６０、－２８０＜ｌ＜７００、４３０＜ｈ＜７５０の範囲である。単位はｍｍである（以下、同じ）。
【0020】
頭部５０が含まれる領域を抽出するために、Ｓｔｅｐ１で抽出した画素群をw軸方向から見た時、図４（ａ）に示すように、最も画素群密度が高くなる領域は高尤度領域として頭部５０と胴体部分７０が含まれていると考えられる（頭部５０の下方には胴体部分７０が存在すると考える）。ここでは、頭部モデル定義（図５）の横幅Ｄをもとにl軸の方向に分割し（図４（ｂ））、ｌｈ平面上で最も画素群が多い領域２０４を抽出する（図４（ｃ））。
【0021】
（Ｓｔｅｐ３）
頭頂部が含まれる領域を抽出するために、Ｓｔｅｐ２で抽出した画素群の領域２０４（図６（ａ））をｌ軸方向から見た時、最も画素群密度が高くなる領域は高尤度領域として頭頂部が含まれていると考えられる。ここでは、頭部モデル定義の横幅Ｄをもとにw軸の方向に分割し（図６（ｂ））、ｗｈ平面上で最も画素群が多い領域２０５を抽出する（図６（ｃ））。
頭頂部が含まれる領域を抽出するために、Ｓｔｅｐ２で抽出した画素群の領域２０４（図６（ａ））をｌ軸方向から見た時、最も画素群密度が高くなる領域は高尤度領域として頭頂部が含まれていると考えられる。ここでは、頭部モデル定義の横幅Ｄをもとにw軸の方向に分割し（図６（ｂ））、ｗｈ平面上で最も画素群が多い領域２０５を抽出する（図６（ｃ））。
【0022】
（Ｓｔｅｐ４）
制御部２０は、頭頂部位置を算出する、頭頂部特定処理を実行する。Ｓｔｅｐ３で抽出した画素群のうち、図７に示すように、ｈ軸において最も高い部分が頭頂部６０であると考えられる。なお、ｈ方向において抽出した画素群２０５（図６（ｃ））の大きい値の何点かの平均により、頭頂部６０を抽出してもよい。抽出された頭頂部６０の座標を、（ｗｔ，ｌｔ，ｈｔ）とする。
制御部２０は、頭頂部位置を算出する、頭頂部特定処理を実行する。Ｓｔｅｐ３で抽出した画素群のうち、図７に示すように、ｈ軸において最も高い部分が頭頂部６０であると考えられる。なお、ｈ方向において抽出した画素群２０５（図６（ｃ））の大きい値の何点かの平均により、頭頂部６０を抽出してもよい。抽出された頭頂部６０の座標を、（ｗｔ，ｌｔ，ｈｔ）とする。
【0023】
（Ｓｔｅｐ５）
制御部２０は、頭部領域を抽出する。頭頂部の抽出処理で抽出した頭頂部６０および頭部モデル定義（図５）から頭部５０を抽出する。頭頂部６０の座標（ｗｔ，ｌｔ，ｈｔ）を基準とし、図８（ａ）～（ｄ）のように画素群を抽出することで、頭部領域２０６を得る。頭部領域２０６は、ｗｔ－ｗ１＜ｗ＜ｗｔ＋ｗ１、ｌｔ－ｌ１＜ｌ＜ｌｔ＋ｌ１、ｈｔ－ｈ１＜ｈ＜ｈｔの範囲である。頭部モデル定義例(図５)を適合させると、ｗ１＝１７６／２、ｌ１＝１７６／２、ｈ１＝１４６である。なお、ｈ１は、ＴＯＦカメラの特性による頭髪部分の情報欠落を想定し、頭部モデル定義の高さＨから６０だけマイナスして、ｈ１＝２０６－６０＝１４６としている。
制御部２０は、頭部領域を抽出する。頭頂部の抽出処理で抽出した頭頂部６０および頭部モデル定義（図５）から頭部５０を抽出する。頭頂部６０の座標（ｗｔ，ｌｔ，ｈｔ）を基準とし、図８（ａ）～（ｄ）のように画素群を抽出することで、頭部領域２０６を得る。頭部領域２０６は、ｗｔ－ｗ１＜ｗ＜ｗｔ＋ｗ１、ｌｔ－ｌ１＜ｌ＜ｌｔ＋ｌ１、ｈｔ－ｈ１＜ｈ＜ｈｔの範囲である。頭部モデル定義例(図５)を適合させると、ｗ１＝１７６／２、ｌ１＝１７６／２、ｈ１＝１４６である。なお、ｈ１は、ＴＯＦカメラの特性による頭髪部分の情報欠落を想定し、頭部モデル定義の高さＨから６０だけマイナスして、ｈ１＝２０６－６０＝１４６としている。
【0024】
（Ｓｔｅｐ６）
制御部２０は、頭部位置を算出する、頭部特定処理を実行する。Ｓｔｅｐ５で抽出した領域２０６において、図９で示すように、上記のｗ、ｌ、ｈの範囲で規定される領域に含まれる頭部領域２０６の画素群の重心を求めることにより、頭部位置として重心位置Ｇ（ｗg，ｌg，ｈg）を出力することができる。
制御部２０は、頭部位置を算出する、頭部特定処理を実行する。Ｓｔｅｐ５で抽出した領域２０６において、図９で示すように、上記のｗ、ｌ、ｈの範囲で規定される領域に含まれる頭部領域２０６の画素群の重心を求めることにより、頭部位置として重心位置Ｇ（ｗg，ｌg，ｈg）を出力することができる。
【0025】
（Ｓｔｅｐ７）
制御部２０は、初期化を行なう。制御部２０は、頭部中心位置Ｃの初期値を、Ｓｔｅｐ６で出力した重心位置Ｇとする。すなわち、頭部中心位置Ｃの空間上の座標を（ｗg，ｌg，ｈg）とする。また、ｓを座標の更新ステップ幅とする。ｓの初期値は例えば１［ｍｍ］とする。
制御部２０は、初期化を行なう。制御部２０は、頭部中心位置Ｃの初期値を、Ｓｔｅｐ６で出力した重心位置Ｇとする。すなわち、頭部中心位置Ｃの空間上の座標を（ｗg，ｌg，ｈg）とする。また、ｓを座標の更新ステップ幅とする。ｓの初期値は例えば１［ｍｍ］とする。
【0026】
（Ｓｔｅｐ８）
制御部２０は、（ｗｃ，ｌｃ，ｈｃ）及び、この点（ｗｃ，ｌｃ，ｈｃ）に３次元方向に隣接する周囲の２６点（（ｗｃ±ｓ，ｌｃ，ｈｃ）、（ｗｃ，ｌｃ±ｓ，ｈｃ）、（ｗｃ，ｌｃ，ｈｃ±ｓ）、（ｗｃ±ｓ，ｌｃ±ｓ，ｈｃ）、（ｗｃ±ｓ，ｌｃ，ｈｃ±ｓ）、（ｗｃ，ｌｃ±ｓ，ｈｃ±ｓ）、（ｗｃ±ｓ，ｌｃ±ｓ，ｈｃ±ｓ））について、以下の評価関数の値（分散）を算出する。
ここで、ｎは、頭部領域に含まれる点の数、ｐｋは頭部領域に含まれる点（ｐ＝０，１，…，ｎ－１）、ｄ（ａ，ｂ）は、点ａ，ｂ間のユークリッド距離とする。
制御部２０は、（ｗｃ，ｌｃ，ｈｃ）及び、この点（ｗｃ，ｌｃ，ｈｃ）に３次元方向に隣接する周囲の２６点（（ｗｃ±ｓ，ｌｃ，ｈｃ）、（ｗｃ，ｌｃ±ｓ，ｈｃ）、（ｗｃ，ｌｃ，ｈｃ±ｓ）、（ｗｃ±ｓ，ｌｃ±ｓ，ｈｃ）、（ｗｃ±ｓ，ｌｃ，ｈｃ±ｓ）、（ｗｃ，ｌｃ±ｓ，ｈｃ±ｓ）、（ｗｃ±ｓ，ｌｃ±ｓ，ｈｃ±ｓ））について、以下の評価関数の値（分散）を算出する。
【0027】
（Ｓｔｅｐ９）
制御部２０は、Ｓｔｅｐ８で算出した２７点のうち、最も評価値の小さい座標を頭部中心位置Ｃとして更新する。この評価値は、頭部中心に対応する座標及び頭部中心の周囲に設定された複数の座標との間の距離のばらつきを示す値である。
制御部２０は、Ｓｔｅｐ８で算出した２７点のうち、最も評価値の小さい座標を頭部中心位置Ｃとして更新する。この評価値は、頭部中心に対応する座標及び頭部中心の周囲に設定された複数の座標との間の距離のばらつきを示す値である。
【0028】
（Ｓｔｅｐ１０）
制御部２０は、頭部中心位置Ｃが変化したか（更新されたか）どうかを判断する。頭部中心位置Ｃが変化した場合は、Ｓｔｅｐ１１へ進み（Ｓｔｅｐ１０：Ｙｅｓ）、頭部中心位置Ｃが変化しない場合は、Ｓｔｅｐ１２へ進む（Ｓｔｅｐ１０：Ｎｏ）。
制御部２０は、頭部中心位置Ｃが変化したか（更新されたか）どうかを判断する。頭部中心位置Ｃが変化した場合は、Ｓｔｅｐ１１へ進み（Ｓｔｅｐ１０：Ｙｅｓ）、頭部中心位置Ｃが変化しない場合は、Ｓｔｅｐ１２へ進む（Ｓｔｅｐ１０：Ｎｏ）。
【0029】
（Ｓｔｅｐ１１）
制御部２０は、頭部中心位置Ｃの初期位置と更新後の位置の距離差が閾値未満かどうかを判断する。閾値未満の場合は、Ｓｔｅｐ１３へ進み（Ｓｔｅｐ１１：Ｙｅｓ）、閾値未満でない場合は、Ｓｔｅｐ１４へ進む（Ｓｔｅｐ１１：Ｎｏ）。
制御部２０は、頭部中心位置Ｃの初期位置と更新後の位置の距離差が閾値未満かどうかを判断する。閾値未満の場合は、Ｓｔｅｐ１３へ進み（Ｓｔｅｐ１１：Ｙｅｓ）、閾値未満でない場合は、Ｓｔｅｐ１４へ進む（Ｓｔｅｐ１１：Ｎｏ）。
【0030】
（Ｓｔｅｐ１２）
制御部２０は、座標のステップ幅ｓをより小さい値（例えば１／１０）に更新して、Ｓｔｅｐ８へ戻って探索処理を繰り返して実行する。
制御部２０は、座標のステップ幅ｓをより小さい値（例えば１／１０）に更新して、Ｓｔｅｐ８へ戻って探索処理を繰り返して実行する。
【0031】
（Ｓｔｅｐ１３）
制御部２０は、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値を比較し、その差分が閾値未満かどうかを判断する。閾値未満の場合は、Ｓｔｅｐ１５へ進み（Ｓｔｅｐ１３：Ｙｅｓ）、閾値未満でない場合は、Ｓｔｅｐ８へ戻って探索処理を繰り返して実行する。
制御部２０は、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値を比較し、その差分が閾値未満かどうかを判断する。閾値未満の場合は、Ｓｔｅｐ１５へ進み（Ｓｔｅｐ１３：Ｙｅｓ）、閾値未満でない場合は、Ｓｔｅｐ８へ戻って探索処理を繰り返して実行する。
【0032】
（Ｓｔｅｐ１４）
制御部２０は、頭部中心位置Ｃを更新前に戻す。すなわち、特定の座標が変更されない場合、規定された距離を、予め定められた距離よりも短い距離とする。
制御部２０は、頭部中心位置Ｃを更新前に戻す。すなわち、特定の座標が変更されない場合、規定された距離を、予め定められた距離よりも短い距離とする。
【0033】
（Ｓｔｅｐ１５）
制御部２０は、頭部位置として頭部中心位置Ｃを出力して処理を終了する。上記示した一連の動作により、図１１（ａ）に示す頭部領域における画素群の初期位置（重心位置Ｇ）が、図１１（ｂ）に示す頭部中心位置Ｃに補正される。なお、領域２０７は、図９における領域２０６の中の重心位置Ｇの周囲領域を示したものである。
制御部２０は、頭部位置として頭部中心位置Ｃを出力して処理を終了する。上記示した一連の動作により、図１１（ａ）に示す頭部領域における画素群の初期位置（重心位置Ｇ）が、図１１（ｂ）に示す頭部中心位置Ｃに補正される。なお、領域２０７は、図９における領域２０６の中の重心位置Ｇの周囲領域を示したものである。
【0034】
上記の処理実行は、上記示した一連の動作として繰り返して実行することができる。
【0035】
（プログラムとしての実施形態）
コンピュータに、処理装置１で示した、車両８の乗員５を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得ステップと、距離画像を構成する画素群であって、車両８の車室内空間における座標系と距離画像における座標系との対応関係に従って抽出され、乗員５の頭部５０が存在する可能性の高い画素群である高尤度領域に対して、乗員５の頭部５０を特定し、その特定された乗員の頭部５０における頭部中心位置Ｃを求める位置検出処理を実行する制御ステップと、を、コンピュータに実行させるためのプログラムも、本発明の実施の形態の一つである。
コンピュータに、処理装置１で示した、車両８の乗員５を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得ステップと、距離画像を構成する画素群であって、車両８の車室内空間における座標系と距離画像における座標系との対応関係に従って抽出され、乗員５の頭部５０が存在する可能性の高い画素群である高尤度領域に対して、乗員５の頭部５０を特定し、その特定された乗員の頭部５０における頭部中心位置Ｃを求める位置検出処理を実行する制御ステップと、を、コンピュータに実行させるためのプログラムも、本発明の実施の形態の一つである。
【0036】
処理装置１の動作で説明したＳｔｅｐ１が距離画像を取得する取得ステップの一例であり、Ｓｔｅｐ７からＳｔｅｐ１５が位置検出処理を実行する制御ステップの一例であり、図２、図１０で示したフローチャートを実行する処理制御を、コンピュータに実行させるためのプログラムの実施形態とすることができる。
【0037】
また、上記のようなプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の実施の形態の一つである。
【0038】
（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。
（１）本発明の実施の形態に係る処理装置は、車両８の乗員５を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得部としてのＴＯＦカメラ１０と、距離画像を構成する画素群であって、車両８の車室内空間における座標系と距離画像における座標系との対応関係に従って抽出され、乗員５の頭部が存在する可能性の高い画素群である高尤度領域に対して、乗員５の頭部５０を特定し、その特定された乗員の頭部における頭部中心位置Ｃを求める位置検出処理を実行する制御部と、を有して構成されている。ＴＯＦカメラから得られる距離画像の各画素を３次元空間上に変換した画素群（３次元画素群）をもとに検出される頭部位置は顔表面に偏るが、頭部を球体で近似することで検出位置を頭部中心に補正することが可能となる。
（２）物体表面の情報から、物体中心位置を検出することが可能となる。すなわち、顔を撮影する方向によらず、常に頭部中心付近の位置を頭部位置として検出可能となる。
（３）以上により、車両の乗員の頭部を検出する技術において、乗員の頭部中心位置に関する情報を取得する処理装置、及びプログラムを提供することが可能になる。
本発明の実施の形態によれば、以下のような効果を有する。
（１）本発明の実施の形態に係る処理装置は、車両８の乗員５を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得部としてのＴＯＦカメラ１０と、距離画像を構成する画素群であって、車両８の車室内空間における座標系と距離画像における座標系との対応関係に従って抽出され、乗員５の頭部が存在する可能性の高い画素群である高尤度領域に対して、乗員５の頭部５０を特定し、その特定された乗員の頭部における頭部中心位置Ｃを求める位置検出処理を実行する制御部と、を有して構成されている。ＴＯＦカメラから得られる距離画像の各画素を３次元空間上に変換した画素群（３次元画素群）をもとに検出される頭部位置は顔表面に偏るが、頭部を球体で近似することで検出位置を頭部中心に補正することが可能となる。
（２）物体表面の情報から、物体中心位置を検出することが可能となる。すなわち、顔を撮影する方向によらず、常に頭部中心付近の位置を頭部位置として検出可能となる。
（３）以上により、車両の乗員の頭部を検出する技術において、乗員の頭部中心位置に関する情報を取得する処理装置、及びプログラムを提供することが可能になる。
【0039】
以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0040】
１…処理装置、５…乗員、８…車両、１０…ＴＯＦカメラ、２０…制御部、５０…頭部、６０…頭頂部、７０…胴体部分、２０１、２０２、２０４、２０５、２０６、２０７…領域、２０３…ドライバ腰骨位置、Ｃ…頭部中心位置、Ｇ…重心位置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
