知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-21
(45)【発行日】2024-11-29
(54)【発明の名称】位置検出装置、体格検出システム、および、位置検出方法
(51)【国際特許分類】
G01S 13/86 20060101AFI20241122BHJP
G01B 11/00 20060101ALI20241122BHJP
【ＦＩ】
G01S13/86
G01B11/00 H
【請求項の数】
7
(21)【出願番号】P 2023520572
(86)(22)【出願日】2021-05-10
(86)【国際出願番号】 JP2021017626
(87)【国際公開番号】W WO2022239048
(87)【国際公開日】2022-11-17
【審査請求日】2023-05-08
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】林 弥生
(72)【発明者】
【氏名】武井 匠
【審査官】藤脇 昌也
(56)【参考文献】
【文献】国際公開第２０１７／２２２０７２（ＷＯ，Ａ１）
【文献】特開２０２０－０４４１５３（ＪＰ，Ａ）
【文献】特開２０１７－１８１２０９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／２２４８５８（ＵＳ，Ａ１）
【文献】国際公開第２０１６／２３０７５（ＷＯ，Ａ１）
【文献】中国特許出願公開第１０８７１０３６７（ＣＮ，Ａ）
【文献】国際公開第２０２０／２１７８７８（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１６／３４９０５１（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１８／３１３９５６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１９／２６５７１４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｓ ７／００ － ７／５１
１３／００ － １３／９５
１７／００ － １７／９５
Ｇ０１Ｂ １１／００ － １１／３０
Ｇ０６Ｔ １／００ － １９／２０
(57)【特許請求の範囲】
【請求項1】
カメラが撮像した撮像画像に基づいて、当該撮像画像における、人の体の部位に対応する対象特徴点を検出する特徴点検出部と、前記特徴点検出部が検出した前記対象特徴点の前記撮像画像上の位置に基づき、前記カメラと前記対象特徴点を結ぶ直線の前記カメラの撮像軸に対する角度を示す、特徴点位置角度を算出する角度算出部と、
測距センサが取得したセンサ情報に基づいて、前記測距センサから前記対象特徴点までの第１距離を検出する距離検出部と、
前記角度算出部が算出した前記特徴点位置角度と、前記距離検出部が検出した前記第１距離とに基づき、前記対象特徴点の三次元位置を特定する位置特定部
とを備えた位置検出装置。
【請求項2】
前記測距センサは電波センサであり、前記特徴点検出部は、前記対象特徴点を含む複数個の特徴点を検出し、
前記特徴点検出部が検出した前記複数個の特徴点に基づいて、前記カメラから前記対象特徴点までの第２距離を推定する距離推定部を備え、
前記位置特定部は、前記距離検出部が検出した前記第１距離と、前記距離推定部が推定した前記第２距離とに基づいて、前記電波センサから前記対象特徴点までの判定後距離を判定し、前記角度算出部が算出した前記特徴点位置角度と前記判定後距離とに基づき、前記対象特徴点の前記三次元位置を特定する
ことを特徴とする請求項１記載の位置検出装置。
【請求項3】
前記撮像画像に基づいて前記人が着用している装着物を検出する装着物検出部を備え、前記位置特定部は、前記装着物検出部が前記装着物を検出した場合は、前記特徴点位置角度と前記第１距離とに基づき前記対象特徴点の前記三次元位置を特定し、
前記装着物検出部が前記装着物を検出しなかった場合は、前記特徴点位置角度と前記判定後距離とに基づき前記対象特徴点の前記三次元位置を特定する
ことを特徴とする請求項２記載の位置検出装置。
【請求項4】
前記距離推定部は、前記特徴点検出部が検出した前記複数個の特徴点のうちの距離算出用特徴点間の距離である特徴点間距離と基準特徴点間距離とに基づき、前記カメラから前記対象特徴点までの前記第２距離を推定し、前記基準特徴点間距離は、前記特徴点間距離と、前記距離検出部が検出した前記第１距離とに基づいて設定されている
ことを特徴とする請求項２記載の位置検出装置。
【請求項5】
前記特徴点検出部は、前記測距センサと三次元空間における横方向の位置、高さ方向の位置、奥行方向の位置、および、設置傾きのうちの少なくとも一つが同じに設置され、かつ、前記対象特徴点が存在すると想定される実空間を撮像可能な向きに設置されている前記カメラ、が撮像した前記撮像画像に基づいて前記対象特徴点を検出し、前記距離検出部は、前記カメラと三次元空間における横方向の位置、高さ方向の位置、奥行方向の位置、および、設置傾きのうちの少なくとも一つが同じに設置され、かつ、前記対象特徴点が存在すると想定される実空間をセンシング可能な向きに設置されている前記測距センサ、がセンシングした前記センサ情報に基づいて前記第１距離を検出する
ことを特徴とする請求項１記載の位置検出装置。
【請求項6】
請求項１から請求項５のうちのいずれか１項記載の位置検出装置と、前記位置特定部が特定した前記対象特徴点の前記三次元位置に関する位置情報を取得する位置情報取得部と、
前記位置情報取得部が取得した前記位置情報に基づき、前記人の体格を判定する体格判定部を備え、
前記体格判定部は、前記位置特定部が特定した前記対象特徴点の前記三次元位置が、前記人が正規着座状態である場合に前記対象特徴点が存在すると想定される実空間上の基準特徴点領域内にある場合に、前記人の体格を判定する
ことを特徴とする体格検出システム。
【請求項7】
特徴点検出部が、カメラが撮像した撮像画像に基づいて、当該撮像画像における、人の体の部位に対応する対象特徴点を検出するステップと、角度算出部が、前記特徴点検出部が検出した前記対象特徴点の前記撮像画像上の位置に基づき、前記カメラと前記対象特徴点を結ぶ直線の前記カメラの撮像軸に対する角度を示す、特徴点位置角度を算出するステップと、
距離検出部が、測距センサが取得したセンサ情報に基づいて、前記測距センサから前記対象特徴点までの第１距離を検出するステップと、
位置特定部が、前記角度算出部が算出した前記特徴点位置角度と、前記距離検出部が検出した前記第１距離とに基づき、前記対象特徴点の三次元位置を特定するステップ
とを備えた位置検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、位置検出装置、体格検出システム、および、位置検知方法に関する。
【背景技術】
【0002】
従来、人を含む領域が撮像された画像における特徴点を検出し、当該検出された特徴点に基づき、人の三次元位置を特定する技術が知られている。
例えば、特許文献１には、車両において、乗員の顔に対応する領域が撮像された画像における顔に対する領域中の特徴点を抽出し、当該抽出された特徴点に基づく特徴点間距離と基準特徴点間距離とに基づいて、乗員の頭部の三次元位置を推定する方法が開示されている。当該方法では、基準特徴点間距離の値を、複数人の人間に対する実測値の統計値に基づいて設定された値、乗員が搭乗した際に当該乗員の頭部の位置を所定の位置に誘導して算出した値、または、乗員の頭部の位置が所定の位置にある蓋然性が高いタイミングで算出した値としている。
例えば、特許文献１には、車両において、乗員の顔に対応する領域が撮像された画像における顔に対する領域中の特徴点を抽出し、当該抽出された特徴点に基づく特徴点間距離と基準特徴点間距離とに基づいて、乗員の頭部の三次元位置を推定する方法が開示されている。当該方法では、基準特徴点間距離の値を、複数人の人間に対する実測値の統計値に基づいて設定された値、乗員が搭乗した際に当該乗員の頭部の位置を所定の位置に誘導して算出した値、または、乗員の頭部の位置が所定の位置にある蓋然性が高いタイミングで算出した値としている。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第２０１９／１６３１２４号
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に開示されているような従来技術における人の三次元位置の推定方法では、当該三次元位置を推定するのに基準特徴点間距離が必須であり、当該基準特徴点間距離が適切に設定されていない場合、人の三次元位置を誤推定する可能性があるという課題があった。
【0005】
本開示は、上記のような課題を解決するためになされたものであり、基準特徴点間距離を必須として人の三次元位置を推定する従来技術よりも高精度に人の三次元位置を特定できる位置検出装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の位置検出装置は、カメラが撮像した撮像画像に基づいて、当該撮像画像における、人の体の部位に対応する対象特徴点を検出する特徴点検出部と、特徴点検出部が検出した対象特徴点の撮像画像上の位置に基づき、カメラと対象特徴点を結ぶ直線のカメラの撮像軸に対する角度を示す、特徴点位置角度を算出する角度算出部と、測距センサが取得したセンサ情報に基づいて、測距センサから対象特徴点までの第１距離を検出する距離検出部と、角度算出部が算出した特徴点位置角度と、距離検出部が検出した第１距離とに基づき、対象特徴点の三次元位置を特定する位置特定部とを備える。
【発明の効果】
【0007】
本開示によれば、位置検出装置は、上記のように構成したので、基準特徴点間距離を必須として人の三次元位置を推定する従来技術よりも高精度に人の三次元位置を特定できる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１に係る位置検出装置の構成例を示す図である。
【図2】実施の形態１において、車両に搭載されるカメラの設置位置および向きの一例と、車両に搭載される測距センサの設置位置および向きの一例を示す図である。
【図3】実施の形態１において、車両に搭載されるカメラの設置位置および向きのその他の一例と、車両に搭載される測距センサの設置位置および向きのその他の一例を示す図である。
【図4】実施の形態１において、角度算出部が算出する特徴点位置角度、および、角度算出部による特徴点位置角度の算出方法の一例を説明するための図であって、図４Ａは、水平方向に対するカメラの撮像画角および特徴点位置角度の一例を説明するための図であり、図４Ｂは、鉛直方向に対するカメラの撮像画角および特徴点位置角度の一例を説明するための図であり、図４Ｃは、カメラが撮像した撮像画像を示す図である。
【図5】実施の形態１において、位置特定部による、対象特徴点の三次元位置の特定方法の一例について説明するための図であって、図５Ａは、車室内を上部から見た、カメラの撮像状況および測距センサの動体検出状況を示す図であり、図５Ｂは、車室内を左側面から見た、カメラの撮像状況および測距センサの動体検出状況を示す図である。
【図6】実施の形態１に係る位置検出装置の動作について説明するためのフローチャートである。
【図8】実施の形態２に係る位置検出装置の構成例を示す図である。
【図9】実施の形態２において、位置特定部が判定後距離を判定する方法の一例について説明するための図であって、図９Ａは、電波センサの検出結果と距離分解能の関係性について示す図であり、図９Ｂ、図９Ｃ、および、図９Ｄは、第２距離を用いて位置特定部が判定した判定後距離を示す図である。
【図10】実施の形態２に係る位置検出装置の動作について説明するためのフローチャートである。
【図11】実施の形態３に係る位置検出装置の構成例を示す図である。
【図12】実施の形態３に係る位置検出装置の動作について説明するためのフローチャートである。
【図13】実施の形態４に係る位置検出装置の構成例を示す図である。
【図15】実施の形態４に係る位置検出装置の動作について説明するためのフローチャートである。
【図16】実施の形態１～実施の形態４に係る体格検出システムにおいて、乗員が正規着座状態であると判定した場合に体格判定を行うようにした場合の体格検出装置の動作について説明するためのフローチャートである。
【発明を実施するための形態】
【0009】
以下、本開示を実施するための形態について、添付の図面に従って説明する。
【0010】
実施の形態１．
実施の形態１に係る位置検出装置は、カメラが撮像した撮像画像と測距センサがセンシングした情報とに基づいて、人の三次元位置を特定する。実施の形態１において、人の位置は、予め決められた、人の体の部位の位置であらわされる。人の体の部位は、当該部位に対応付けられている特徴点であらわされる。すなわち、人の三次元位置は、人の体の部位に対応する特徴点の三次元位置であらわされる。実施の形態１では、一例として、人の位置は当該人の頭の位置で示される。人の頭のどの点を当該人の頭の位置に対応する特徴点とするかは、予め決まっている。
実施の形態１において、人の位置をあらわす当該人の体の部位に対応付けられている特徴点を、「対象特徴点」という。
また、以下の実施の形態１では、一例として、位置検出装置が三次元位置を特定する対象となる人は、車両の運転席または助手席に着座している乗員とする。以下の実施の形態１において、運転席または助手席の乗員を、単に「乗員」ともいう。
実施の形態１に係る位置検出装置は、カメラが撮像した撮像画像と測距センサがセンシングした情報とに基づいて、人の三次元位置を特定する。実施の形態１において、人の位置は、予め決められた、人の体の部位の位置であらわされる。人の体の部位は、当該部位に対応付けられている特徴点であらわされる。すなわち、人の三次元位置は、人の体の部位に対応する特徴点の三次元位置であらわされる。実施の形態１では、一例として、人の位置は当該人の頭の位置で示される。人の頭のどの点を当該人の頭の位置に対応する特徴点とするかは、予め決まっている。
実施の形態１において、人の位置をあらわす当該人の体の部位に対応付けられている特徴点を、「対象特徴点」という。
また、以下の実施の形態１では、一例として、位置検出装置が三次元位置を特定する対象となる人は、車両の運転席または助手席に着座している乗員とする。以下の実施の形態１において、運転席または助手席の乗員を、単に「乗員」ともいう。
【0011】
図１は、実施の形態１に係る位置検出装置１の構成例を示す図である。
位置検出装置１は、車両１０００に搭載され、カメラ２、測距センサ３、および、体格検出装置４に接続される。
カメラ２は、車両１０００に搭載された可視光カメラまたは赤外線カメラにより構成されている。カメラ２は、例えば、いわゆる「ドライバーモニタリングシステム（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ，ＤＭＳ）」と共用のものであってもよい。カメラ２は、車両１０００の運転席または助手席のうちの少なくとも一方（以下「前部座席」という。）に着座している乗員を含む範囲を撮像可能な撮像画角を有している。なお、撮像画角の単位は度である。
カメラ２は、撮像した画像（以下「撮像画像」という。）を、位置検出装置１に出力する。
位置検出装置１は、車両１０００に搭載され、カメラ２、測距センサ３、および、体格検出装置４に接続される。
カメラ２は、車両１０００に搭載された可視光カメラまたは赤外線カメラにより構成されている。カメラ２は、例えば、いわゆる「ドライバーモニタリングシステム（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ，ＤＭＳ）」と共用のものであってもよい。カメラ２は、車両１０００の運転席または助手席のうちの少なくとも一方（以下「前部座席」という。）に着座している乗員を含む範囲を撮像可能な撮像画角を有している。なお、撮像画角の単位は度である。
カメラ２は、撮像した画像（以下「撮像画像」という。）を、位置検出装置１に出力する。
【0012】
測距センサ３は、例えば、車両１０００に搭載されたＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサ、電波センサ、または、超音波センサ等、動体までの距離が測定可能な測距センサにより構成されている。測距センサ３は、車室内に存在する動体までの距離に関する情報（以下「センサ情報」という。）を取得する。測距センサ３は、取得したセンサ情報を位置検出装置１に出力する。
【0013】
ここで、図２は、実施の形態１において、車両１０００に搭載されるカメラ２の設置位置および向きの一例と、車両１０００に搭載される測距センサ３の設置位置および向きの一例を示す図である。
なお、図２は、車両１０００を当該車両１０００の進行方向に対して左側から見た図とし、前部座席を５０１、後部座席を５０２で示している。
図２に示すように、カメラ２は、例えば、ダッシュボードに、前部座席に着座している乗員が存在すると想定される実空間、すなわち、対象特徴点が存在すると想定される実空間を撮像可能な向きで設置される。
実施の形態１において、カメラ２の位置は、レンズ表面と撮像軸とが交わる点であらわされるものとする。実施の形態１において、撮像軸とは、撮像部、すなわち、カメラ２における光学系の光軸のことをいう。
図２では、カメラ２の位置を、便宜上、２ａに示す位置としている。
なお、図２は、車両１０００を当該車両１０００の進行方向に対して左側から見た図とし、前部座席を５０１、後部座席を５０２で示している。
図２に示すように、カメラ２は、例えば、ダッシュボードに、前部座席に着座している乗員が存在すると想定される実空間、すなわち、対象特徴点が存在すると想定される実空間を撮像可能な向きで設置される。
実施の形態１において、カメラ２の位置は、レンズ表面と撮像軸とが交わる点であらわされるものとする。実施の形態１において、撮像軸とは、撮像部、すなわち、カメラ２における光学系の光軸のことをいう。
図２では、カメラ２の位置を、便宜上、２ａに示す位置としている。
【0014】
また、測距センサ３は、例えば、オーバーヘッドコンソールに、前部座席に着座している乗員が存在すると想定される実空間、すなわち、対象特徴点が存在すると想定される実空間をセンシング可能な向きで設置される。測距センサ３は、オーバーヘッドコンソールに設置されることで、マルチパスノイズの影響を抑えることができ、より高い精度で乗員（図２において２０１で示す）を検出することができる。
実施の形態１において、測距センサ３の位置は、当該測距センサ３のセンシング範囲との関係で決まる当該測距センサ３の中心であらわされるものとする。
図２では、測距センサ３の位置を、便宜上、３ａに示す位置としている。
実施の形態１において、測距センサ３の位置は、当該測距センサ３のセンシング範囲との関係で決まる当該測距センサ３の中心であらわされるものとする。
図２では、測距センサ３の位置を、便宜上、３ａに示す位置としている。
【0015】
カメラ２と測距センサ３とは、それぞれ、カメラ２の撮像範囲（図２においてＦ１０１にて示す）と、測距センサ３のセンシング範囲（図２においてＦ１０２にて示す）とが重なるように設置される。なお、図２では、カメラ２の撮像範囲と測距センサ３のセンシング範囲とが重なる領域をＦ１０３で示している。
実施の形態１において、カメラ２の三次元空間における座標系と測距センサ３の三次元空間における座標系は、同じ座標系であらわされる。つまり、カメラ２の座標系におけるＸ軸、Ｙ軸、および、Ｚ軸と、測距センサ３の座標系におけるＸ軸、Ｙ軸、および、Ｚ軸とは共通である。実施の形態１では、カメラ２および測距センサ３で共通の、三次元空間における座標系において、カメラ２の位置の座標を（０，０，０）とする。
実施の形態１において、カメラ２の三次元空間における座標系と測距センサ３の三次元空間における座標系は、同じ座標系であらわされる。つまり、カメラ２の座標系におけるＸ軸、Ｙ軸、および、Ｚ軸と、測距センサ３の座標系におけるＸ軸、Ｙ軸、および、Ｚ軸とは共通である。実施の形態１では、カメラ２および測距センサ３で共通の、三次元空間における座標系において、カメラ２の位置の座標を（０，０，０）とする。
【0016】
以下の実施の形態１では、一例として、カメラ２および測距センサ３は、それぞれ、図３に示すような位置に設置されているものとする。
図３は、図２同様、車両１０００を当該車両１０００の進行方向に対して左側から見た図とし、前部座席を５０１、後部座席を５０２で示している。また、図３において、乗員を２０１で示している。また、便宜上、図３では、カメラ２の位置を２ａに示す位置とし、測距センサ３の位置を３ａに示す位置としている。
図３において、測距センサ３は、乗員の体の部位のうち当該乗員の頭が最も測距センサ３に近い位置となるよう設置されている。また、カメラ２はダッシュボード上に設置されている。
カメラ２と測距センサ３とは、左右、上下、および、前後方向の設置軸と、左右および前後方向の設置座標とが互いに等しい。カメラ２と測距センサ３とは、上下方向の設置座標が異なる。具体的には、測距センサ３が、カメラ２よりもα［ｍ］だけ上部になるよう設置されている。
図３は、図２同様、車両１０００を当該車両１０００の進行方向に対して左側から見た図とし、前部座席を５０１、後部座席を５０２で示している。また、図３において、乗員を２０１で示している。また、便宜上、図３では、カメラ２の位置を２ａに示す位置とし、測距センサ３の位置を３ａに示す位置としている。
図３において、測距センサ３は、乗員の体の部位のうち当該乗員の頭が最も測距センサ３に近い位置となるよう設置されている。また、カメラ２はダッシュボード上に設置されている。
カメラ２と測距センサ３とは、左右、上下、および、前後方向の設置軸と、左右および前後方向の設置座標とが互いに等しい。カメラ２と測距センサ３とは、上下方向の設置座標が異なる。具体的には、測距センサ３が、カメラ２よりもα［ｍ］だけ上部になるよう設置されている。
【0017】
カメラ２および測距センサ３は、それぞれ、互いの向きが一致し、かつ、互いの位置が一致するように設置されることで、位置検出装置１において対象特徴点の三次元位置を特定する際の処理の演算量を減らすことができる。すなわち、カメラ２および測距センサ３が、互いの向きが一致し、かつ、互いの位置が一致するように設置されているとき、カメラ２および測距センサ３は、位置検出装置１において対象特徴点の三次元位置を特定する際の処理の演算量を最小限にできる最適な位置に設置されていると言える。位置検出装置１の詳細については後述する。
なお、実施の形態１において、カメラ２および測距センサ３が互いの位置が一致するように設置されるとは、カメラ２と測距センサ３とが、互いに、三次元空間における横方向（Ｘ軸方向）の位置、高さ方向（Ｙ軸方向）の位置、奥行方向（Ｚ軸方向）の位置、および、設置傾きの全てが一致するように設置されることをいう。
ここで、上述の、位置検出装置１において対象特徴点の三次元位置を特定する際の処理の演算量を最小限にできる、カメラ２および測距センサ３の最適な設置位置において、カメラ２の位置と測距センサ３の位置は、完全に一致している必要はなく、予め決められている許容範囲内で略一致していればよい。また、上述の、位置検出装置１において対象特徴点の三次元位置を特定する際の処理の演算量を最小限にできる、カメラ２および測距センサ３の最適な設置位置において、カメラ２の向きと測距センサ３の向きは、完全に一致している必要はなく、予め決められている許容範囲内で略一致していればよい。
なお、図２および図３では、カメラ２の位置と測距センサ３の位置とは一致していない。
実施の形態１において、カメラ２と測距センサ３とは、互いに、三次元空間における横方向（Ｘ軸方向）の位置、高さ方向（Ｙ軸方向）の位置、奥行方向（Ｚ軸方向）の位置、および、設置傾きのうちの少なくとも一つが同じに設置されていればよい。
なお、実施の形態１において、カメラ２および測距センサ３が互いの位置が一致するように設置されるとは、カメラ２と測距センサ３とが、互いに、三次元空間における横方向（Ｘ軸方向）の位置、高さ方向（Ｙ軸方向）の位置、奥行方向（Ｚ軸方向）の位置、および、設置傾きの全てが一致するように設置されることをいう。
ここで、上述の、位置検出装置１において対象特徴点の三次元位置を特定する際の処理の演算量を最小限にできる、カメラ２および測距センサ３の最適な設置位置において、カメラ２の位置と測距センサ３の位置は、完全に一致している必要はなく、予め決められている許容範囲内で略一致していればよい。また、上述の、位置検出装置１において対象特徴点の三次元位置を特定する際の処理の演算量を最小限にできる、カメラ２および測距センサ３の最適な設置位置において、カメラ２の向きと測距センサ３の向きは、完全に一致している必要はなく、予め決められている許容範囲内で略一致していればよい。
なお、図２および図３では、カメラ２の位置と測距センサ３の位置とは一致していない。
実施の形態１において、カメラ２と測距センサ３とは、互いに、三次元空間における横方向（Ｘ軸方向）の位置、高さ方向（Ｙ軸方向）の位置、奥行方向（Ｚ軸方向）の位置、および、設置傾きのうちの少なくとも一つが同じに設置されていればよい。
【0018】
位置検出装置１は、カメラ２が撮像した撮像画像と測距センサ３が取得したセンサ情報とに基づいて、対象特徴点の三次元位置を特定する。すなわち、位置検出装置１が対象特徴点の三次元位置を特定することで、乗員の三次元位置が特定される。
位置検出装置１は、対象特徴点の三次元位置を特定すると、当該対象特徴点の三次元位置に関する情報（以下「位置情報」という。）を、体格検出装置４に出力する。
位置検出装置１は、対象特徴点の三次元位置を特定すると、当該対象特徴点の三次元位置に関する情報（以下「位置情報」という。）を、体格検出装置４に出力する。
【0019】
体格検出装置４は、車両１０００に搭載され、位置検出装置１から出力された位置情報に基づき、乗員の体格を判定する。
体格検出装置４は、位置情報取得部４１および体格判定部４２を備える。
位置情報取得部４１は、位置検出装置１から位置情報を取得する。
体格判定部４２は、位置情報取得部４１が取得した位置情報に基づき、乗員の体格を判定する。
体格判定部４２は、人の位置を示す情報から当該人の体格を判定する周知の技術を用いて乗員の体格を判定すればよいため、体格判定部４２が乗員の体格を判定する方法の詳細な説明を省略する。
位置検出装置１と体格検出装置４とで、体格検出システム１００が構成される。
体格検出装置４は、位置情報取得部４１および体格判定部４２を備える。
位置情報取得部４１は、位置検出装置１から位置情報を取得する。
体格判定部４２は、位置情報取得部４１が取得した位置情報に基づき、乗員の体格を判定する。
体格判定部４２は、人の位置を示す情報から当該人の体格を判定する周知の技術を用いて乗員の体格を判定すればよいため、体格判定部４２が乗員の体格を判定する方法の詳細な説明を省略する。
位置検出装置１と体格検出装置４とで、体格検出システム１００が構成される。
【0020】
体格検出装置４が判定した乗員の体格に関する情報は、車両１０００に搭載されている衝突安全装置５に出力される。
衝突安全装置５は、体格検出装置４が判定した乗員の体格にあわせて、車両１０００に搭載されているエアバッグ（図示省略）またはシートベルト・プリテンショナ（図示省略）等の制御を行う。
エアバッグまたはシートベルト・プリテンショナ等は、乗員の体格を考慮して制御される必要がある。例えば、エアバッグは、当該エアバッグの作動時に、乗員の体格に対応した乗員と当該エアバッグとの距離に基づき、当該エアバッグの爆発力で乗員を傷つけることがないよう、制御される必要がある。また、例えば、シートベルト・プリテンショナは、当該シートベルト・プリテンショナ作動時に、シートベルトが乗員の首を絞めることがないよう、乗員の体格に応じた首の位置を考慮して制御される必要がある。そのため、衝突安全装置５が、エアバッグまたはシートベルト・プリテンショナ等の制御機能を適切に作動させるよう、体格検出装置４は、乗員の体格を適切に判定することが求められる。すなわち、位置検出装置１は、乗員の体格の判定のもととなる乗員の位置を精度よく特定することが求められる。実施の形態１に係る位置検出装置１は、乗員の位置を高精度に特定することを可能とする。
なお、衝突安全装置５は、位置検出装置１が出力した乗員の位置情報を取得して、エアバッグまたはシートベルト・プリテンショナ等の制御を行ってもよい。
衝突安全装置５は、体格検出装置４が判定した乗員の体格にあわせて、車両１０００に搭載されているエアバッグ（図示省略）またはシートベルト・プリテンショナ（図示省略）等の制御を行う。
エアバッグまたはシートベルト・プリテンショナ等は、乗員の体格を考慮して制御される必要がある。例えば、エアバッグは、当該エアバッグの作動時に、乗員の体格に対応した乗員と当該エアバッグとの距離に基づき、当該エアバッグの爆発力で乗員を傷つけることがないよう、制御される必要がある。また、例えば、シートベルト・プリテンショナは、当該シートベルト・プリテンショナ作動時に、シートベルトが乗員の首を絞めることがないよう、乗員の体格に応じた首の位置を考慮して制御される必要がある。そのため、衝突安全装置５が、エアバッグまたはシートベルト・プリテンショナ等の制御機能を適切に作動させるよう、体格検出装置４は、乗員の体格を適切に判定することが求められる。すなわち、位置検出装置１は、乗員の体格の判定のもととなる乗員の位置を精度よく特定することが求められる。実施の形態１に係る位置検出装置１は、乗員の位置を高精度に特定することを可能とする。
なお、衝突安全装置５は、位置検出装置１が出力した乗員の位置情報を取得して、エアバッグまたはシートベルト・プリテンショナ等の制御を行ってもよい。
【0021】
実施の形態１に係る位置検出装置１について説明する。
図１に示すように位置検出装置１は、特徴点検出部１１、角度算出部１２、距離検出部１３、および、位置特定部１４を備える。
図１に示すように位置検出装置１は、特徴点検出部１１、角度算出部１２、距離検出部１３、および、位置特定部１４を備える。
【0022】
特徴点検出部１１は、カメラ２から撮像画像を取得し、カメラ２が撮像した撮像画像に基づいて、当該撮像画像における対象特徴点を検出する。ここでは、特徴点検出部１１は、撮像画像における、乗員の頭に対応する対象特徴点を検出する。
なお、特徴点検出部１１は、複数個の特徴点を検出することができる。例えば、特徴点検出部１１は、目および鼻といった顔のパーツを示す特徴点をあわせて検出してもよいし、首および肩といった体のパーツを示す特徴点をあわせて検出してもよい。
特徴点検出部１１は、撮像画像から人の特徴点を検出する周知の技術を用いて撮像画像における特徴点を検出すればよいため、特徴点検出部１１が特徴点を検出する方法の詳細な説明は省略する。撮像画像における特徴点は、撮像画像上の座標であらわされる。
特徴点検出部１１は、検出した対象特徴点に関する情報（以下「対象特徴点情報」という。）を、角度算出部１２に出力する。
なお、特徴点検出部１１は、複数個の特徴点を検出することができる。例えば、特徴点検出部１１は、目および鼻といった顔のパーツを示す特徴点をあわせて検出してもよいし、首および肩といった体のパーツを示す特徴点をあわせて検出してもよい。
特徴点検出部１１は、撮像画像から人の特徴点を検出する周知の技術を用いて撮像画像における特徴点を検出すればよいため、特徴点検出部１１が特徴点を検出する方法の詳細な説明は省略する。撮像画像における特徴点は、撮像画像上の座標であらわされる。
特徴点検出部１１は、検出した対象特徴点に関する情報（以下「対象特徴点情報」という。）を、角度算出部１２に出力する。
【0023】
角度算出部１２は、特徴点検出部１１が検出した対象特徴点の撮像画像上の位置に基づき、カメラ２と対象特徴点を結ぶ直線のカメラ２の撮像軸に対する角度を示す「特徴点位置角度」を算出する。
より詳細には、角度算出部１２は、カメラ２の撮像軸の方向に対する、カメラ２から対象特徴点の三次元位置に向かう方向の角度を示す特徴点位置角度を算出する。
より詳細には、角度算出部１２は、カメラ２の撮像軸の方向に対する、カメラ２から対象特徴点の三次元位置に向かう方向の角度を示す特徴点位置角度を算出する。
【0024】
ここで、上述の特徴点検出部１１が検出する対象特徴点、および、角度算出部１２が算出する特徴点位置角度について、図面を用いて説明する。
図４は、実施の形態１において、角度算出部１２が算出する特徴点位置角度θｃｘ，θｃｙ、および、角度算出部１２による特徴点位置角度θｃｘ，θｃｙの算出方法の一例を説明するための図である。
図４において、乗員は２０１で示し、乗員の頭位置、すなわち、乗員の頭に対応する特徴点の位置を２０２で示している。
図４Ａは、水平方向に対するカメラ２の撮像画角θｘおよび特徴点位置角度θｃｘの一例を説明するための図であり、図４Ｂは、鉛直方向に対するカメラ２の撮像画角θｙおよび特徴点位置角度θｃｙの一例を説明するための図であり、図４Ｃは、カメラ２が撮像した撮像画像を示す図である。
図４は、実施の形態１において、角度算出部１２が算出する特徴点位置角度θｃｘ，θｃｙ、および、角度算出部１２による特徴点位置角度θｃｘ，θｃｙの算出方法の一例を説明するための図である。
図４において、乗員は２０１で示し、乗員の頭位置、すなわち、乗員の頭に対応する特徴点の位置を２０２で示している。
図４Ａは、水平方向に対するカメラ２の撮像画角θｘおよび特徴点位置角度θｃｘの一例を説明するための図であり、図４Ｂは、鉛直方向に対するカメラ２の撮像画角θｙおよび特徴点位置角度θｃｙの一例を説明するための図であり、図４Ｃは、カメラ２が撮像した撮像画像を示す図である。
【0025】
上述のとおり、カメラ２は、撮像画角θｘ，θｙを有している。
ここで、図４Ａに示すように、θｘは、水平方向（図４中、ｘ軸およびｚ軸により規定される仮想的な平面に沿う方向）に対する撮像画角である。
図４Ａの左側の図に示すように、θｃｘは水平方向に対する特徴点位置角度である。なお、θｃｘのわかりやすさのため、図４Ａの左側の図を示したが、ここでは、例えば、図４Ａの右側の図のように、特徴点位置角度θｃｘ＝０［度］とする。つまり、カメラ２と対象特徴点を結ぶ直線と、カメラ２の撮像軸（図４においてＩＡで示す）との水平方向の向きが一致しているものとする。
図４Ｂに示すように、θｙは、鉛直方向（図４中、ｙ軸およびｚ軸により規定される仮想的な平面に沿う方向）に対する撮像画角である。
図４Ｂに示すように、θｃｙは鉛直方向に対する特徴点位置角度である。
なお、特徴点位置角度θｃｘ，θｃｙの単位は度である。
ここで、図４Ａに示すように、θｘは、水平方向（図４中、ｘ軸およびｚ軸により規定される仮想的な平面に沿う方向）に対する撮像画角である。
図４Ａの左側の図に示すように、θｃｘは水平方向に対する特徴点位置角度である。なお、θｃｘのわかりやすさのため、図４Ａの左側の図を示したが、ここでは、例えば、図４Ａの右側の図のように、特徴点位置角度θｃｘ＝０［度］とする。つまり、カメラ２と対象特徴点を結ぶ直線と、カメラ２の撮像軸（図４においてＩＡで示す）との水平方向の向きが一致しているものとする。
図４Ｂに示すように、θｙは、鉛直方向（図４中、ｙ軸およびｚ軸により規定される仮想的な平面に沿う方向）に対する撮像画角である。
図４Ｂに示すように、θｃｙは鉛直方向に対する特徴点位置角度である。
なお、特徴点位置角度θｃｘ，θｃｙの単位は度である。
【0026】
特徴点位置角度θｃｘ，θｃｙが図４Ａの右側の図および図４Ｂに示すような角度となる位置に対象特徴点がある場合、当該対象特徴点が撮像された撮像画像は、図４Ｃにおいて２１で示す撮像画像のようになる。
特徴点検出部１１は、図４Ｃにおいて２１で示すような撮像画像上で、対象特徴点を検出する。ここでは、特徴点検出部１１が検出した対象特徴点は、例えば、座標（Ｘｃ，Ｙｃ）であらわされるとする。
特徴点検出部１１は、図４Ｃにおいて２１で示すような撮像画像上で、対象特徴点を検出する。ここでは、特徴点検出部１１が検出した対象特徴点は、例えば、座標（Ｘｃ，Ｙｃ）であらわされるとする。
【0027】
角度算出部１２は、特徴点検出部１１が検出した、座標（Ｘｃ，Ｙｃ）であらわされる対象特徴点の撮像画像上の位置に基づき、カメラ２の撮像軸に対する特徴点位置角度θｃｘ，θｃｙを算出する。特徴点位置角度θｃｘ，θｃｙを算出する際、角度算出部１２は、図４Ｃに示すように、撮像画像において、カメラ２の撮像軸に対応する位置の座標、すなわち、撮像画像における中心部の位置座標が（０，０）に設定されているとする。
具体的には、角度算出部１２には撮像画角θｘ，θｙの値と、撮像画像における第１軸方向（図４におけるｘ軸方向）に対する解像度の値（図４Ｃにおいてｍで示す）と、撮像画像における第２軸方向（図４におけるｙ軸方向）に対する解像度の値（図４Ｃにおいてｎで示す）とが予め記憶されている。なお、解像度の単位はピクセル（ｐｘ）である。
具体的には、角度算出部１２には撮像画角θｘ，θｙの値と、撮像画像における第１軸方向（図４におけるｘ軸方向）に対する解像度の値（図４Ｃにおいてｍで示す）と、撮像画像における第２軸方向（図４におけるｙ軸方向）に対する解像度の値（図４Ｃにおいてｎで示す）とが予め記憶されている。なお、解像度の単位はピクセル（ｐｘ）である。
【0028】
角度算出部１２は、特徴点検出部１１により検出された対象特徴点の位置の座標（Ｘｃ，Ｙｃ）に基づいて、以下の式（１）および式（２）により、特徴点位置角度θｃｘ，θｃｙを算出する。
Ｘｃ：ｔａｎθｃｘ＝（ｍ／２）：ｔａｎ（θｘ／２） ・・・（１）
Ｙｃ：ｔａｎθｃｙ＝（ｎ／２）：ｔａｎ（θｙ／２） ・・・（２）
対象特徴点の三次元位置座標は、以下の式（３）の直線上にあると言える。
なお、ここでは、撮像画像上の座標（Ｘｃ，Ｙｃ）＝（０，Ｙｃ）であり、特徴点位置角度θｃｘ＝０（度）である。
Ｘｃ：ｔａｎθｃｘ＝（ｍ／２）：ｔａｎ（θｘ／２） ・・・（１）
Ｙｃ：ｔａｎθｃｙ＝（ｎ／２）：ｔａｎ（θｙ／２） ・・・（２）
対象特徴点の三次元位置座標は、以下の式（３）の直線上にあると言える。
【0029】
角度算出部１２は、算出した特徴点位置角度に関する情報、より詳細には、算出した特徴点位置角度から求まる上記式（３）の情報を、位置特定部１４に出力する。
【0030】
距離検出部１３は、測距センサ３からセンサ情報を取得し、取得したセンサ情報に基づき、乗員を検出する。具体的には、距離検出部１３は、センサ情報に基づき、測距センサ３から対象特徴点までの距離（以下「第１距離」という。）を検出する。なお、距離検出部１３は、センサ情報から動体を検出する周知の技術を用いて乗員を検出すればよいため、距離検出部１３が乗員を検出する方法の詳細な説明は省略する。
距離検出部１３は、検出した第１距離に関する情報（以下「センサ距離情報」という。）を、位置特定部１４に出力する。
距離検出部１３は、検出した第１距離に関する情報（以下「センサ距離情報」という。）を、位置特定部１４に出力する。
【0031】
位置特定部１４は、角度算出部１２が算出した特徴点位置角度に関する情報、言い換えれば、上記式（３）の情報と、距離検出部１３が検出した第１距離とに基づき、対象特徴点の三次元位置を特定する。
【0032】
ここで、図５は、実施の形態１において、位置特定部１４による、対象特徴点の三次元位置の特定方法の一例について説明するための図である。図５Ａは、車室内を上部から見た、カメラ２の撮像状況および測距センサ３の動体検出状況を示す図であり、図５Ｂは、車室内を左側面から見た、カメラ２の撮像状況および測距センサ３の動体検出状況を示す図である。なお、カメラ２および測距センサ３は、図３に示した設置位置に設置されている。図５Ｂの２ａおよび３ａは、それぞれ、カメラ２の位置および測距センサ３の位置を示し、図５ＢのＩＡは、カメラ２の撮像軸を示す。また、図５では、前部座席５０１、および、後部座席５０２を簡略化して示している。
また、カメラ２と対象特徴点との位置関係は、図４Ａの右側の図および図５Ｂに示した位置関係とする。
また、カメラ２と対象特徴点との位置関係は、図４Ａの右側の図および図５Ｂに示した位置関係とする。
【0033】
今、測距センサ３は、当該測距センサ３から見て、乗員の体の部位のうち、乗員の頭の位置が最も近くなるように設置されているので、図５において２０２で示す点が、乗員の頭部を示す点、言い換えれば、対象特徴点である。距離検出部１３は、図５において２０２で示す点を、対象特徴点として検出する。そして、距離検出部１３は、測距センサ３から対象特徴点までの距離を検出する。ここでは、距離検出部１３が検出した対象特徴点までの第１距離は、例えば、Ｄ［ｍ］であったとする。
【0034】
位置特定部１４には、角度算出部１２から、上記式（３）の情報が出力される。
また、位置特定部１４には、距離検出部１３から、第１距離に関するセンサ距離情報が出力される。ここでは、位置特定部１４には、第１距離＝Ｄ［ｍ］の情報が出力される。
また、位置特定部１４には、距離検出部１３から、第１距離に関するセンサ距離情報が出力される。ここでは、位置特定部１４には、第１距離＝Ｄ［ｍ］の情報が出力される。
【0035】
距離検出部１３が検出した第１距離はＤ［ｍ］であるため、対象特徴点は、測距センサ３の位置を中心とし、半径Ｄ［ｍ］の球上にあることになる。すなわち、中心を（Ｘ０，Ｙ０，Ｚ０）とすると、対象特徴点の三次元位置の座標（Ｘ，Ｙ，Ｚ）は、（Ｘ－Ｘ０）^２＋（Ｙ－Ｙ０）^２＋（Ｚ―Ｚ０）＾２＝Ｄ^２とあらわされる。
ここで、実施の形態１では、カメラ２および測距センサ３で共通の、三次元空間における座標系において、カメラ２の位置の座標を（０，０，０）としているので、測距センサ３の位置の座標は（０，α，０）となる。
そうすると、座標（Ｘ，Ｙ，Ｚ）であらわされる対象特徴点の三次元位置は、Ｘ^２＋（Ｙ－α）^２＋Ｚ＾２＝Ｄ^２の球上にあることになる。
ここで、実施の形態１では、カメラ２および測距センサ３で共通の、三次元空間における座標系において、カメラ２の位置の座標を（０，０，０）としているので、測距センサ３の位置の座標は（０，α，０）となる。
そうすると、座標（Ｘ，Ｙ，Ｚ）であらわされる対象特徴点の三次元位置は、Ｘ^２＋（Ｙ－α）^２＋Ｚ＾２＝Ｄ^２の球上にあることになる。
【0036】
位置特定部１４は、上記式（３）であらわされる直線と、Ｘ^２＋（Ｙ－α）^２＋Ｚ＾２＝Ｄ^２の球の交点を求めることで、対象特徴点の三次元位置の座標（Ｘ，Ｙ，Ｚ）を算出することができる。この対象特徴点の三次元位置の座標（Ｘ，Ｙ，Ｚ）は、乗員の三次元位置を示す座標となる。
測距センサ３が複数の受信素子を有するセンサである場合、距離検出部１３は、物体までの距離だけでなく、当該物体が存在する方向（角度）も検出できるようになる。そのため、カメラ２が撮像した特徴点の角度方向にある物体までの距離を測距センサで検出できる。
この場合、位置特定部１４は、上記式（３）であらわされる直線と、距離検出部１３が検出した、特徴点の角度方向にある物体までの距離を示す線分を含む直線の２直線の交点から、対象特徴点の三次元位置の座標（Ｘ，Ｙ，Ｚ）を算出すればよい。具体的には、位置特定部１４は、上記２直線の交点までの距離であって、かつ、距離検出部１３によって検出されている距離を、対象特徴点までの距離とし、対象特徴点の三次元位置の座標（Ｘ，Ｙ，Ｚ）を算出すればよい。
よって、測距センサ３が複数の受信素子を有するセンサである場合、対象特徴点（ここでは乗員の頭部）が最も近くなるように測距センサ３が設置されていなくても、対象特徴点の三次元位置の座標（Ｘ，Ｙ，Ｚ）を算出できる。
測距センサ３が複数の受信素子を有するセンサである場合、距離検出部１３は、物体までの距離だけでなく、当該物体が存在する方向（角度）も検出できるようになる。そのため、カメラ２が撮像した特徴点の角度方向にある物体までの距離を測距センサで検出できる。
この場合、位置特定部１４は、上記式（３）であらわされる直線と、距離検出部１３が検出した、特徴点の角度方向にある物体までの距離を示す線分を含む直線の２直線の交点から、対象特徴点の三次元位置の座標（Ｘ，Ｙ，Ｚ）を算出すればよい。具体的には、位置特定部１４は、上記２直線の交点までの距離であって、かつ、距離検出部１３によって検出されている距離を、対象特徴点までの距離とし、対象特徴点の三次元位置の座標（Ｘ，Ｙ，Ｚ）を算出すればよい。
よって、測距センサ３が複数の受信素子を有するセンサである場合、対象特徴点（ここでは乗員の頭部）が最も近くなるように測距センサ３が設置されていなくても、対象特徴点の三次元位置の座標（Ｘ，Ｙ，Ｚ）を算出できる。
【0037】
また、ここでは、対象特徴点とカメラ２と測距センサ３との位置関係が、図３、図４、および、図５に示すような位置関係にある場合に、位置特定部１４が当該対象特徴点の三次元位置を算出する方法を説明したが、これは一例に過ぎない。
対象特徴点とカメラ２と測距センサ３との位置関係が上述の例のような位置関係以外の位置関係である場合も、位置特定部１４は、カメラ２の位置と対象特徴点とを通る直線の式と、測距センサ３の位置を中心とし第１距離を半径とする球面の式とから、同様に、対象特徴点の三次元位置を算出することができる。
対象特徴点とカメラ２と測距センサ３との位置関係が上述の例のような位置関係以外の位置関係である場合も、位置特定部１４は、カメラ２の位置と対象特徴点とを通る直線の式と、測距センサ３の位置を中心とし第１距離を半径とする球面の式とから、同様に、対象特徴点の三次元位置を算出することができる。
【0038】
位置特定部１４は、特定した乗員の三次元位置に関する位置情報を、体格検出装置４に出力する。
【0039】
実施の形態１に係る位置検出装置１の動作について説明する。
図６は、実施の形態１に係る位置検出装置１の動作について説明するためのフローチャートである。
図６は、実施の形態１に係る位置検出装置１の動作について説明するためのフローチャートである。
【0040】
特徴点検出部１１は、カメラ２から撮像画像を取得し、カメラ２が撮像した撮像画像に基づいて、当該撮像画像において、対象特徴点を検出する（ステップＳＴ１）。
特徴点検出部１１は、対象特徴点情報を、角度算出部１２に出力する。
特徴点検出部１１は、対象特徴点情報を、角度算出部１２に出力する。
【0041】
角度算出部１２は、ステップＳＴ１にて特徴点検出部１１が検出した対象特徴点の撮像画像上の位置に基づき、特徴点位置角度を算出する（ステップＳＴ２）。
角度算出部１２は、算出した特徴点位置角度に関する情報を、位置特定部１４に出力する。
角度算出部１２は、算出した特徴点位置角度に関する情報を、位置特定部１４に出力する。
【0042】
距離検出部１３は、測距センサ３からセンサ情報を取得し、取得したセンサ情報に基づき、乗員を検出する。具体的には、距離検出部１３は、センサ情報に基づき、第１距離を検出する（ステップＳＴ３）。
距離検出部１３は、センサ距離情報を、位置特定部１４に出力する。
距離検出部１３は、センサ距離情報を、位置特定部１４に出力する。
【0043】
位置特定部１４は、ステップＳＴ２にて角度算出部１２が算出した特徴点位置角度に関する情報と、ステップＳＴ３にて距離検出部１３が検出した第１距離とに基づき、対象特徴点の三次元位置を特定する（ステップＳＴ４）。
位置特定部１４は、特定した対象乗員の三次元位置に関する位置情報を、体格検出装置４に出力する。
位置特定部１４は、特定した対象乗員の三次元位置に関する位置情報を、体格検出装置４に出力する。
【0044】
なお、図６に示すフローチャートでは、位置検出装置１は、ステップＳＴ１、ステップＳＴ２、ステップＳＴ３の順で処理を行うものとしているが、これは一例に過ぎない。
例えば、位置検出装置１は、ステップＳＴ３、ステップＳＴ１、ステップＳＴ２の順で処理を行ってもよいし、ステップＳＴ１～ステップＳＴ２の処理とステップＳＴ３の処理とを並行して行ってもよい。
例えば、位置検出装置１は、ステップＳＴ３、ステップＳＴ１、ステップＳＴ２の順で処理を行ってもよいし、ステップＳＴ１～ステップＳＴ２の処理とステップＳＴ３の処理とを並行して行ってもよい。
【0045】
このように、位置検出装置１は、測距センサ３によるセンサ情報を用いることで、カメラ２が撮像した撮像画像からでは直接計測できない対象特徴点の三次元位置、言い換えれば、乗員の三次元位置を、高精度に特定することができる。
【0046】
上述したような従来技術における人の三次元位置の推定方法では、当該三次元位置を推定するのに基準特徴点間距離が必須であり、当該基準特徴点間距離が適切に設定されていない場合、人の三次元位置の推定を誤る可能性があった。
例えば、基準特徴点間距離の値が複数人の人に対する実測値の統計値に基づいて設定されていた場合、個人差を考慮できていないため、人の三次元位置の特定を誤る可能性がある。また、例えば、個人差を考慮して、乗員が搭乗した際に基準特徴点間距離の値を設定するようにしたとしても、当該基準特徴点間距離の値が設定されていない間は、人の三次元位置を特定することができない。また、乗員の頭部の位置を所定の位置に誘導して基準特徴点間距離の値を設定するようにした場合には、乗員にとって煩わしさが生じる。
これに対し、実施の形態１に係る位置検出装置１は、上述のとおり、測距センサ３によるセンサ情報を用いることで、カメラ２が撮像した撮像画像からでは直接計測できない対象特徴点の三次元位置、言い換えれば、乗員の三次元位置を、高精度に特定することができる。つまり、位置検出装置１は、基準特徴点間距離を必須として人の三次元位置を推定する従来技術よりも高精度に人の三次元位置を特定できる。
例えば、基準特徴点間距離の値が複数人の人に対する実測値の統計値に基づいて設定されていた場合、個人差を考慮できていないため、人の三次元位置の特定を誤る可能性がある。また、例えば、個人差を考慮して、乗員が搭乗した際に基準特徴点間距離の値を設定するようにしたとしても、当該基準特徴点間距離の値が設定されていない間は、人の三次元位置を特定することができない。また、乗員の頭部の位置を所定の位置に誘導して基準特徴点間距離の値を設定するようにした場合には、乗員にとって煩わしさが生じる。
これに対し、実施の形態１に係る位置検出装置１は、上述のとおり、測距センサ３によるセンサ情報を用いることで、カメラ２が撮像した撮像画像からでは直接計測できない対象特徴点の三次元位置、言い換えれば、乗員の三次元位置を、高精度に特定することができる。つまり、位置検出装置１は、基準特徴点間距離を必須として人の三次元位置を推定する従来技術よりも高精度に人の三次元位置を特定できる。
【0047】
なお、位置検出装置１は、例えば、測距センサ３を電波センサとし、電波センサから取得したセンサ情報を用いて対象特徴点の三次元位置を検出するようにすると、電波センサ以外の種類の測距センサ３から取得したセンサ情報を用いて対象特徴点の三次元位置を検出する場合と比べ、位置検出装置１は、より高精度に乗員の三次元位置を把握することができる。電波センサは、分厚い上着、帽子、または、手荷物等、乗員の前に遮蔽物がある場合でも、遮蔽物を透過して乗員を検出でき、高精度に乗員の前後位置を検出できるためである。
【0048】
図７Ａ，図７Ｂは、実施の形態１に係る位置検出装置１のハードウェア構成の一例を示す図である。
実施の形態１において、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４の機能は、処理回路９１により実現される。すなわち、位置検出装置１は、カメラ２が撮像した撮像画像と測距センサ３が取得したセンサ情報とから人の三次元位置を検出する制御を行うための処理回路９１を備える。
処理回路９１は、図７Ａに示すように専用のハードウェアであっても、図７Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ９４であってもよい。
実施の形態１において、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４の機能は、処理回路９１により実現される。すなわち、位置検出装置１は、カメラ２が撮像した撮像画像と測距センサ３が取得したセンサ情報とから人の三次元位置を検出する制御を行うための処理回路９１を備える。
処理回路９１は、図７Ａに示すように専用のハードウェアであっても、図７Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ９４であってもよい。
【0049】
処理回路９１が専用のハードウェアである場合、処理回路９１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
【0050】
処理回路がプロセッサ９４の場合、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ９５に記憶される。プロセッサ９４は、メモリ９５に記憶されたプログラムを読み出して実行することにより、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４の機能を実行する。すなわち、位置検出装置１は、プロセッサ９４により実行されるときに、上述の図６のステップＳＴ１～ステップＳＴ４が結果的に実行されることになるプログラムを格納するためのメモリ９５を備える。また、メモリ９５に記憶されたプログラムは、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ９５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。
【0051】
なお、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、特徴点検出部１１と距離検出部１３については専用のハードウェアとしての処理回路９１でその機能を実現し、角度算出部１２と、位置特定部１４についてはプロセッサ９４がメモリ９５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
【0052】
また、位置検出装置１は、カメラ２、測距センサ３、体格検出装置４、または、衝突安全装置５等の装置と、有線通信または無線通信を行う入力インタフェース装置９２および出力インタフェース装置９３を備える。
【0053】
なお、以上の実施の形態１では、乗員の位置は、当該乗員の頭の位置で示されるものとしたが、これは一例に過ぎない。乗員の位置は、当該乗員の体の複数の部位で示されてもよい。すなわち、対象特徴点が複数存在してもよい。位置検出装置１は、複数の対象特徴点の三次元位置を検出することもできる。
この場合、位置検出装置１において、距離検出部１３は、複数の対象特徴点の第１距離をそれぞれ検出する。例えば、車両１０００には、送信アンテナから放射された電波の反射波を受信し、互いの車両１０００の幅方向での位置が異なる複数の受信アンテナ素子を有する受信アンテナを備えた測距センサ３が設置されているものとし、距離検出部１３は、当該測距センサ３から取得したセンサ情報に基づいて、複数の対象特徴点の第１距離をそれぞれ検出すればよい。より詳細には、例えば、距離検出部１３は、カメラ２から撮像画像を取得するようにし、撮像画像に基づいて、各対象特徴点が存在する方向を特定し、測距センサ３において、複数アンテナによる受信波を解析することで反射波の到来方向を求めることができるため、各対象特徴点が存在する方向の動体までの距離を各対象特徴点までの距離と見なすことができる。
この場合、位置検出装置１において、距離検出部１３は、複数の対象特徴点の第１距離をそれぞれ検出する。例えば、車両１０００には、送信アンテナから放射された電波の反射波を受信し、互いの車両１０００の幅方向での位置が異なる複数の受信アンテナ素子を有する受信アンテナを備えた測距センサ３が設置されているものとし、距離検出部１３は、当該測距センサ３から取得したセンサ情報に基づいて、複数の対象特徴点の第１距離をそれぞれ検出すればよい。より詳細には、例えば、距離検出部１３は、カメラ２から撮像画像を取得するようにし、撮像画像に基づいて、各対象特徴点が存在する方向を特定し、測距センサ３において、複数アンテナによる受信波を解析することで反射波の到来方向を求めることができるため、各対象特徴点が存在する方向の動体までの距離を各対象特徴点までの距離と見なすことができる。
【0054】
また、以上の実施の形態１では、一例として、三次元位置を特定する対象となる乗員は、車両１０００の運転席または助手席に着座している乗員としたが、これは一例に過ぎない。三次元位置を特定する対象となる乗員は、後部座席の乗員としてもよい。位置検出装置１は、後部座席の乗員の三次元位置を特定することもできる。すなわち、位置検出装置１は、後部座席の乗員の位置を示す体の部位に対応する対象特徴点の三次元位置を特定することもできる。
【0055】
また、以上の実施の形態１では、カメラ２および測距センサ３は、車室内に１つずつ設置されていたが、これは一例に過ぎない。カメラ２は車室内に複数設置されてもよいし、測距センサ３は車室内に複数設置されてもよい。
カメラ２の撮像範囲と測距センサ３のセンシング範囲とが重なるように、カメラ２と測距センサ３とが設置されていればよい。
カメラ２の撮像範囲と測距センサ３のセンシング範囲とが重なるように、カメラ２と測距センサ３とが設置されていればよい。
【0056】
また、以上の実施の形態１では、位置検出装置１は、車両１０００に搭載される車載装置とし、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４とは、車載装置に備えられるものとした。これに限らず、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４のうち、一部を車両の車載装置に搭載されるものとし、その他を当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで位置検知システムを構成するようにしてもよい。
また、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４が、全て、サーバに備えられてもよい。
また、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４が、全て、サーバに備えられてもよい。
【0057】
また、以上の実施の形態１では、体格検出装置４は、車両１０００に搭載される車載装置とし、位置情報取得部４１と体格判定部４２とは、車載装置に備えられるものとしたが、これは一例に過ぎない。位置情報取得部４１と体格判定部４２のうち、一部が車載装置に備えられ、その他がサーバに備えられてもよいし、位置情報取得部４１と体格判定部４２とがサーバに備えられてもよい。
また、衝突安全装置５がサーバに備えられてもよい。
また、衝突安全装置５がサーバに備えられてもよい。
【0058】
また、以上の実施の形態１では、位置検出装置１が三次元位置を検出する対象となる人は、車両１０００の乗員としたが、これは一例に過ぎない。位置検出装置１は、種々の乗り物において、乗員の三次元位置を検出することができる。また、位置検出装置１は、例えば、居室に存在する人等、乗り物の乗員に限らず、実空間に存在する人の三次元位置を検出することができる。
【0059】
以上のように、実施の形態１によれば、位置検出装置１は、カメラ２が撮像した撮像画像に基づいて、当該撮像画像における、人の体の部位に対応する対象特徴点を検出する特徴点検出部１１と、特徴点検出部１１が検出した対象特徴点の撮像画像上の位置に基づき、カメラ２と対象特徴点を結ぶ直線のカメラ２の撮像軸に対する角度を示す、特徴点位置角度を算出する角度算出部１２と、測距センサ３が取得したセンサ情報に基づいて、測距センサ３から対象特徴点までの第１距離を検出する距離検出部１３と、角度算出部１２が算出した特徴点位置角度と、距離検出部１３が検出した第１距離とに基づき、対象特徴点の三次元位置を特定する位置特定部１４とを備えた。そのため、位置検出装置１は、基準特徴点間距離を必須として人の三次元位置を推定する従来技術よりも高精度に人の三次元位置を特定できる。
【0060】
実施の形態２．
実施の形態２では、測距センサを電波センサとし、撮像画像に基づいて推定した人までの距離も考慮することで、より高精度に人の三次元位置を特定する実施の形態について説明する。
実施の形態２では、測距センサを電波センサとし、撮像画像に基づいて推定した人までの距離も考慮することで、より高精度に人の三次元位置を特定する実施の形態について説明する。
【0061】
以下の実施の形態２においても、実施の形態１同様、一例として、三次元位置を特定する対象となる人は、車両の運転席または助手席に着座している乗員とし、当該乗員の位置は当該乗員の頭の位置で示されるものとする。また、カメラおよび測距センサは、それぞれ、実施の形態１において図３を用いて説明したような位置に設置されているものとする。
ただし、実施の形態２では、測距センサは、電波センサであることを前提とする。電波センサは、遮蔽物を透過して乗員を検出でき、高精度に乗員の前後位置を検出できる。
電波センサは距離分解能の間隔で検出される。例えば、距離分解能が２［ｃｍ］の場合、電波センサから乗員の位置が１０［ｃｍ］であっても１０．５［ｃｍ］、１１［ｃｍ］であっても同一の値で検出される。この距離分解能は利用帯域幅に反比例するものであり、例えば、６０ＧＨｚ帯の電波センサの場合、利用帯域幅は７ＧＨｚで、距離分解能は約２．１４ｃｍとなる。
ただし、実施の形態２では、測距センサは、電波センサであることを前提とする。電波センサは、遮蔽物を透過して乗員を検出でき、高精度に乗員の前後位置を検出できる。
電波センサは距離分解能の間隔で検出される。例えば、距離分解能が２［ｃｍ］の場合、電波センサから乗員の位置が１０［ｃｍ］であっても１０．５［ｃｍ］、１１［ｃｍ］であっても同一の値で検出される。この距離分解能は利用帯域幅に反比例するものであり、例えば、６０ＧＨｚ帯の電波センサの場合、利用帯域幅は７ＧＨｚで、距離分解能は約２．１４ｃｍとなる。
【0062】
図８は、実施の形態２に係る位置検出装置１ａの構成例を示す図である。
図８に示す位置検出装置１ａの構成例について、実施の形態１において図１を用いて説明した実施の形態１に係る位置検出装置１と同様の構成については、同じ符号を付して重複した説明を省略する。
実施の形態２に係る位置検出装置１ａは、図１を用いて説明した実施の形態１に係る位置検出装置１とは、距離推定部１５を備えた点が異なる。
また、実施の形態２に係る位置検出装置１ａにおいて、位置特定部１４ａの具体的な動作が、実施の形態１に係る位置検出装置１における位置特定部１４の具体的な動作とは異なる。
図８に示す位置検出装置１ａの構成例について、実施の形態１において図１を用いて説明した実施の形態１に係る位置検出装置１と同様の構成については、同じ符号を付して重複した説明を省略する。
実施の形態２に係る位置検出装置１ａは、図１を用いて説明した実施の形態１に係る位置検出装置１とは、距離推定部１５を備えた点が異なる。
また、実施の形態２に係る位置検出装置１ａにおいて、位置特定部１４ａの具体的な動作が、実施の形態１に係る位置検出装置１における位置特定部１４の具体的な動作とは異なる。
【0063】
距離推定部１５は、特徴点検出部１１が検出した複数個の特徴点に基づいて、カメラ２から対象特徴点までの距離（以下「第２距離」という。）を推定する。
なお、実施の形態２において、特徴点検出部１１は、複数個の特徴点を検出する。特徴点検出部１１は、検出した複数個の特徴点に関する情報を、距離推定部１５に出力する。
距離推定部１５は、例えば、国際公開２０１９／１６３１２４号に開示されている技術に代表される周知の技術を用いて、撮像画像から検出された複数個の特徴点に基づいて、対象特徴点までの第２距離を推定すればよい。
例えば、距離推定部１５は、複数個の特徴点のうちの任意の２個の特徴点（例えば、乗員の右眼に対応する特徴点と乗員の左眼に対応する特徴点。以下「距離算出用特徴点」という。）間の距離（以下「特徴点間距離」という。）を算出する。なお、特徴点間距離は撮像画像における距離であり、特徴点間距離の単位はピクセル（ｐｘ）である。距離推定部１５は、乗員の顔向きを考慮して特徴点間距離を算出することもできる（例えば、国際公開２０１９／１６３１２４号参照）。
なお、実施の形態２において、特徴点検出部１１は、複数個の特徴点を検出する。特徴点検出部１１は、検出した複数個の特徴点に関する情報を、距離推定部１５に出力する。
距離推定部１５は、例えば、国際公開２０１９／１６３１２４号に開示されている技術に代表される周知の技術を用いて、撮像画像から検出された複数個の特徴点に基づいて、対象特徴点までの第２距離を推定すればよい。
例えば、距離推定部１５は、複数個の特徴点のうちの任意の２個の特徴点（例えば、乗員の右眼に対応する特徴点と乗員の左眼に対応する特徴点。以下「距離算出用特徴点」という。）間の距離（以下「特徴点間距離」という。）を算出する。なお、特徴点間距離は撮像画像における距離であり、特徴点間距離の単位はピクセル（ｐｘ）である。距離推定部１５は、乗員の顔向きを考慮して特徴点間距離を算出することもできる（例えば、国際公開２０１９／１６３１２４号参照）。
【0064】
距離推定部１５は、例えば、角度算出部１２により算出された特徴点位置角度と、特徴点間距離と、距離推定部１５に予め記憶されている基準特徴点間距離（以下「第１基準特徴点間距離」という。）とを用いて、実空間における乗員の対象特徴点の三次元位置を推定し、上記第２距離を推定する。なお、第１基準特徴点間距離の値は、例えば、複数の人に対する実測値の統計値に基づき設定されたものである。具体的には、例えば、複数の人の各々について、距離算出用特徴点に対応する部位間の幅（例えば、両眼間の幅）を実際に測定する。距離推定部１５には、当該測定された幅の平均値が第１基準特徴点間距離の値として予め記憶されている。
距離推定部１５は、推定した第２距離に関する情報（以下「カメラ距離情報」という。）を、位置特定部１４ａに出力する。
距離推定部１５は、推定した第２距離に関する情報（以下「カメラ距離情報」という。）を、位置特定部１４ａに出力する。
【0065】
位置特定部１４ａは、距離検出部１３が検出した第１距離と、距離推定部１５が推定した第２距離とに基づいて、対象特徴点までの距離（以下「判定後距離」という。）を判定する。
実施の形態２において、判定後距離は、第１距離と第２距離とから電波センサの距離分解能を考慮して判定された、より確からしい対象特徴点までの距離である。
実施の形態２において、判定後距離は、第１距離と第２距離とから電波センサの距離分解能を考慮して判定された、より確からしい対象特徴点までの距離である。
【0066】
ここで、図９は、実施の形態２において、位置特定部１４ａが判定後距離を判定する方法の一例について説明するための図である。図９Ａは、電波センサの検出結果と距離分解能の関係性について示す図であり、図９Ｂ、図９Ｃ、および、図９Ｄは、第２距離を用いて位置特定部１４ａが判定した判定後距離を示す図である。
なお、図９では、電波センサの距離分解能は「２ω」とする。また、図９において、電波センサの検出結果であるセンサ情報に基づき距離検出部１３が検出する第１距離の値をＤｒ［ｍ］とする。図９では、第１距離を「電波センサの検出結果」と示している。また、図９において、カメラ２の撮像画像に基づき距離推定部１５が推定した第２距離の値をＤｃ［ｍ］とする。図９では、第２距離を「カメラの推定結果」と示している。
なお、図９では、電波センサの距離分解能は「２ω」とする。また、図９において、電波センサの検出結果であるセンサ情報に基づき距離検出部１３が検出する第１距離の値をＤｒ［ｍ］とする。図９では、第１距離を「電波センサの検出結果」と示している。また、図９において、カメラ２の撮像画像に基づき距離推定部１５が推定した第２距離の値をＤｃ［ｍ］とする。図９では、第２距離を「カメラの推定結果」と示している。
【0067】
図９Ａに示すように、電波センサで検出する第１距離が距離分解能（＝２ω）の中間値とすると、対象特徴点までの実際の距離の値は、「第１距離から距離分解能の半分を減算した値」～「第１距離から距離分解能の半分を加算した値」の間のいずれかの値となる。すなわち、電波センサで検出する第１距離が距離分解能（＝２ω）の中間値とすると、対象特徴点までの実際の距離の値は、Ｄｒ－ω～Ｄｒ＋ω［ｍ］の間のいずれかの値となる。位置特定部１４ａは、第１距離と第２距離とに基づき、電波センサの距離分解能を考慮したＤｒ－ω～Ｄｒ＋ω［ｍ］の間で、判定後距離を判定する。
【0068】
図９Ｂに示すように、第２距離の値が第１距離から距離分解能の半分を減算した値より小さい場合、ここでは、Ｄｃ［ｍ］がＤｒ－ω［ｍ］よりも小さい場合、位置特定部１４ａは、判定後距離の値を「第１距離から距離分解能の半分を減算した値」と判定する。すなわち、位置特定部１４ａは、判定後距離の値を、Ｄｒ－ω［ｍ］と判定する。
【0069】
図９Ｃに示すように、第２距離の値が第１距離から距離分解能の半分を加算した値より大きい場合、ここでは、Ｄｃ［ｍ］がＤｒ＋ω［ｍ］よりも大きい場合、位置特定部１４ａは、判定後距離の値を「第１距離から距離分解能の半分を加算した値」と判定する。すなわち、位置特定部１４ａは、判定後距離の値をＤｒ＋ω［ｍ］と判定する。
【0070】
図９Ｄに示すように、第２距離の値が、第１距離から距離分解能の半分を減算した値以上であり、かつ、第１距離から距離分解能の半分を加算した値以下である場合、ここでは、Ｄｃ［ｍ］がＤｒ－ω～Ｄｒ＋ω［ｍ］の範囲内の場合、位置特定部１４ａは、判定後距離の値を「第２距離の値」とする。すなわち、位置特定部１４ａは、判定後距離の値を、Ｄｃ［ｍ］と判定する。
【0071】
位置特定部１４ａが行う、第１距離と第２距離とに基づいて判定後距離を判定する、図９を用いて説明したような処理を、「距離判定処理」という。
【0072】
位置特定部１４ａは、判定後距離を判定すると、角度算出部１２が算出した特徴点位置角度と判定後距離とに基づき、乗員の三次元位置を特定する。
位置特定部１４ａによる乗員の三次元位置を特定する具体的な方法は、実施の形態１にて説明済であるため、重複した説明を省略する。実施の形態１では、位置特定部１４ａは、第１距離と特徴点位置角度とに基づいて乗員の三次元位置を特定していたが、実施の形態２では、位置特定部１４ａは、第１距離を判定後距離に置き換えて乗員の三次元位置を特定する。
位置特定部１４ａによる乗員の三次元位置を特定する具体的な方法は、実施の形態１にて説明済であるため、重複した説明を省略する。実施の形態１では、位置特定部１４ａは、第１距離と特徴点位置角度とに基づいて乗員の三次元位置を特定していたが、実施の形態２では、位置特定部１４ａは、第１距離を判定後距離に置き換えて乗員の三次元位置を特定する。
【0073】
実施の形態２に係る位置検出装置１ａの動作について説明する。
図１０は、実施の形態２に係る位置検出装置１ａの動作について説明するためのフローチャートである。
図１０のフローチャートにおいて、ステップＳＴ１１～ステップＳＴ１２、ステップＳＴ１４の具体的な処理内容は、それぞれ、実施の形態１において説明済みの、図６のステップＳＴ１～ステップＳＴ３の具体的な処理内容と同様であるため、重複した説明を省略する。
図１０は、実施の形態２に係る位置検出装置１ａの動作について説明するためのフローチャートである。
図１０のフローチャートにおいて、ステップＳＴ１１～ステップＳＴ１２、ステップＳＴ１４の具体的な処理内容は、それぞれ、実施の形態１において説明済みの、図６のステップＳＴ１～ステップＳＴ３の具体的な処理内容と同様であるため、重複した説明を省略する。
【0074】
距離推定部１５は、ステップＳＴ１１にて特徴点検出部１１が検出した複数個の特徴点に基づいて第２距離を推定する（ステップＳＴ１３）。
距離推定部１５はカメラ距離情報を、位置特定部１４ａに出力する。
距離推定部１５はカメラ距離情報を、位置特定部１４ａに出力する。
【0075】
位置特定部１４ａは、ステップＳＴ１４にて距離検出部１３が検出した第１距離と、ステップＳＴ１３にて距離推定部１５が推定した第２距離とに基づいて「距離判定処理」を実行し、判定後距離を判定する。
具体的には、まず、位置特定部１４ａは、第２距離の値が第１距離から距離分解能の半分を減算した値より小さいか否かを判定する（ステップＳＴ１５）。
第２距離の値が第１距離から距離分解能の半分を減算した値より小さい場合（ステップＳＴ１５の“ＹＥＳ”の場合）、位置特定部１４ａは、判定後距離の値を「第１距離から距離分解能の半分を減算した値」と判定する（ステップＳＴ１６）。そして、位置検出装置１ａの動作は、ステップＳＴ２０の処理に進む。
具体的には、まず、位置特定部１４ａは、第２距離の値が第１距離から距離分解能の半分を減算した値より小さいか否かを判定する（ステップＳＴ１５）。
第２距離の値が第１距離から距離分解能の半分を減算した値より小さい場合（ステップＳＴ１５の“ＹＥＳ”の場合）、位置特定部１４ａは、判定後距離の値を「第１距離から距離分解能の半分を減算した値」と判定する（ステップＳＴ１６）。そして、位置検出装置１ａの動作は、ステップＳＴ２０の処理に進む。
【0076】
第２距離の値が第１距離から距離分解能の半分を減算した値以上である場合（ステップＳＴ１５の“ＮＯ”の場合）、位置特定部１４ａは、第２距離の値が第１距離から距離分解能の半分を加算した値より大きいか否かを判定する（ステップＳＴ１７）。
第２距離の値が第１距離から距離分解能の半分を加算した値より大きい場合（ステップＳＴ１７の“ＹＥＳ”の場合）、位置特定部１４ａは、判定後距離の値を「第１距離から距離分解能の半分を加算した値」と判定する（ステップＳＴ１８）。そして、位置検出装置１ａの動作は、ステップＳＴ２０の処理に進む。
第２距離の値が第１距離から距離分解能の半分を加算した値より大きい場合（ステップＳＴ１７の“ＹＥＳ”の場合）、位置特定部１４ａは、判定後距離の値を「第１距離から距離分解能の半分を加算した値」と判定する（ステップＳＴ１８）。そして、位置検出装置１ａの動作は、ステップＳＴ２０の処理に進む。
【0077】
第２距離の値が第１距離から距離分解能の半分を加算した値以下である場合（ステップＳＴ１７の“ＮＯ”の場合）、言い換えれば、第２距離の値が第１距離から距離分解能の半分を減算した値以上であり、かつ、第１距離から距離分解能の半分を加算した値以下である場合、位置特定部１４ａは、判定後距離の値を「第２距離の値」とする（ステップＳＴ１９）。そして、位置検出装置１ａの動作は、ステップＳＴ２０の処理に進む。
【0078】
以上のステップＳＴ１５～ステップＳＴ１９までの処理が、位置特定部１４ａが行う「距離判定処理」である。
【0079】
ステップＳＴ２０において、位置特定部１４ａは、ステップＳＴ１２にて角度算出部１２が算出した特徴点位置角度と、ステップＳＴ１６、ステップＳＴ１８、または、ステップＳＴ１９にて判定した判定後距離とに基づき、対象特徴点の三次元位置を特定する。
【0080】
なお、図１０に示すフローチャートでは、位置検出装置１ａは、ステップＳＴ１１、ステップＳＴ１２、ステップＳＴ１３、ステップＳＴ１４の順で処理を行うものとしているが、これは一例に過ぎない。
例えば、位置検出装置１ａは、ステップＳＴ１４、ステップＳＴ１１、ステップＳＴ１２、ステップＳＴ１３の順で処理を行ってもよいし、ステップＳＴ１１～ステップＳＴ１３の処理とステップＳＴ１４の処理とを並行して行ってもよい。
例えば、位置検出装置１ａは、ステップＳＴ１４、ステップＳＴ１１、ステップＳＴ１２、ステップＳＴ１３の順で処理を行ってもよいし、ステップＳＴ１１～ステップＳＴ１３の処理とステップＳＴ１４の処理とを並行して行ってもよい。
【0081】
このように、位置検出装置１ａは、電波センサの距離分解能以上の精度で、より確からしい対象特徴点までの距離（判定後距離）を判定できる。そのため、位置検出装置１ａは、電波センサの距離分解能を考慮しない場合と比べ、より高精度に対象特徴点の三次元位置、言い換えれば、乗員の三次元位置を、特定することができる。
【0082】
実施の形態２に係る位置検出装置１ａのハードウェア構成は、図７Ａおよび図７Ｂを用いて説明した、実施の形態１に係る位置検出装置１のハードウェア構成と同様であるため、図示を省略する。
実施の形態２において、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ａと、距離推定部１５の機能は、処理回路９１により実現される。すなわち、位置検出装置１ａは、カメラ２が撮像した撮像画像と電波センサが取得したセンサ情報とから人の三次元位置を検出する制御を行うための処理回路９１を備える。
処理回路９１は、メモリ９５に記憶されたプログラムを読み出して実行することにより、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ａと、距離推定部１５の機能を実行する。すなわち、位置検出装置１ａは、処理回路９１により実行されるときに、上述の図１０のステップＳＴ１１～ステップＳＴ２０が結果的に実行されることになるプログラムを格納するためのメモリ９５を備える。また、メモリ９５に記憶されたプログラムは、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ａと、距離推定部１５の処理の手順または方法をコンピュータに実行させるものであるとも言える。
また、位置検出装置１ａは、カメラ２、電波センサ、体格検出装置４、または、衝突安全装置５等の装置と、有線通信または無線通信を行う入力インタフェース装置９２および出力インタフェース装置９３を備える。
実施の形態２において、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ａと、距離推定部１５の機能は、処理回路９１により実現される。すなわち、位置検出装置１ａは、カメラ２が撮像した撮像画像と電波センサが取得したセンサ情報とから人の三次元位置を検出する制御を行うための処理回路９１を備える。
処理回路９１は、メモリ９５に記憶されたプログラムを読み出して実行することにより、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ａと、距離推定部１５の機能を実行する。すなわち、位置検出装置１ａは、処理回路９１により実行されるときに、上述の図１０のステップＳＴ１１～ステップＳＴ２０が結果的に実行されることになるプログラムを格納するためのメモリ９５を備える。また、メモリ９５に記憶されたプログラムは、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ａと、距離推定部１５の処理の手順または方法をコンピュータに実行させるものであるとも言える。
また、位置検出装置１ａは、カメラ２、電波センサ、体格検出装置４、または、衝突安全装置５等の装置と、有線通信または無線通信を行う入力インタフェース装置９２および出力インタフェース装置９３を備える。
【0083】
なお、以上の実施の形態２において、位置検出装置１ａは、実施の形態１に係る位置検出装置１同様、複数の対象特徴点の三次元位置を検出することもできる。
【0084】
また、実施の形態２において、位置検出装置１ａは、後部座席の乗員の三次元位置を特定することもできる。
【0085】
また、以上の実施の形態２において、例えば、カメラ２は車室内に複数設置されてもよいし、測距センサ３は車室内に複数設置されてもよい。
【0086】
また、以上の実施の形態２において、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ａと、距離推定部１５のうち、一部を車両の車載装置に搭載されるものとし、その他を当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで位置検知システムを構成するようにしてもよい。
また、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ａと、距離推定部１５が、全て、サーバに備えられてもよい。
また、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ａと、距離推定部１５が、全て、サーバに備えられてもよい。
【0087】
また、以上の実施の形態２において、位置情報取得部４１と体格判定部４２のうち、一部が車載装置に備えられ、その他がサーバに備えられてもよいし、位置情報取得部４１と体格判定部４２とがサーバに備えられてもよい。また、衝突安全装置５がサーバに備えられてもよい。
【0088】
また、以上の実施の形態２において、位置検出装置１ａは、種々の乗り物において、乗員の三次元位置を検出することができる。また、位置検出装置１ａは、例えば、居室に存在する人等、乗り物の乗員に限らず、実空間に存在する人の三次元位置を検出することができる。
【0089】
以上のように、実施の形態２によれば、測距センサ３は電波センサとし、位置検出装置１ａにおいて、特徴点検出部１１は、対象特徴点を含む複数個の特徴点を検出し、位置検出装置１ａは、特徴点検出部１１が検出した複数個の特徴点に基づいて、カメラ２から対象特徴点までの第２距離を推定する距離推定部１５を備え、位置特定部１４ａは、距離検出部１３が検出した第１距離と、距離推定部１５が推定した第２距離とに基づいて、電波センサから対象特徴点までの判定後距離を判定し、角度算出部１２が算出した特徴点位置角度と判定後距離とに基づき、対象特徴点の三次元位置を特定するように構成した。そのため、位置検出装置１ａは、電波センサの距離分解能を考慮しない場合と比べ、より高精度に人の三次元位置を特定することができる。
【0090】
実施の形態３．
実施の形態２では、測距センサを電波センサとし、撮像画像に基づいて推定されたカメラから人までの距離も考慮することで、より高精度に人の三次元位置を特定するようにしていた。
実施の形態３では、さらに、人が装着物を装着しているか否かに応じて、撮像画像に基づいて推定されたカメラから人までの距離を考慮するか否かを判定する実施の形態について説明する。
実施の形態２では、測距センサを電波センサとし、撮像画像に基づいて推定されたカメラから人までの距離も考慮することで、より高精度に人の三次元位置を特定するようにしていた。
実施の形態３では、さらに、人が装着物を装着しているか否かに応じて、撮像画像に基づいて推定されたカメラから人までの距離を考慮するか否かを判定する実施の形態について説明する。
【0091】
以下の実施の形態３においても、実施の形態２同様、一例として、三次元位置を特定する対象となる人は、車両の運転席または助手席に着座している乗員とし、当該乗員の位置は当該乗員の頭の位置で示されるものとする。また、カメラおよび測距センサは、それぞれ、実施の形態１において図３を用いて説明したような位置に設置されているものとする。また、実施の形態３でも、実施の形態２同様、測距センサは、電波センサであることを前提とする。
【0092】
図１１は、実施の形態３に係る位置検出装置１ｂの構成例を示す図である。
図１１に示す位置検出装置１ｂの構成例について、実施の形態２において図８を用いて説明した実施の形態２に係る位置検出装置１ａと同様の構成については、同じ符号を付して重複した説明を省略する。
実施の形態３に係る位置検出装置１ｂは、図８を用いて説明した実施の形態２に係る位置検出装置１ａとは、装着物検出部１６を備えた点が異なる。
また、実施の形態３に係る位置検出装置１ｂにおいて、位置特定部１４ｂの具体的な動作が、実施の形態２に係る位置検出装置１ａにおける位置特定部１４ａの具体的な動作とは異なる。
図１１に示す位置検出装置１ｂの構成例について、実施の形態２において図８を用いて説明した実施の形態２に係る位置検出装置１ａと同様の構成については、同じ符号を付して重複した説明を省略する。
実施の形態３に係る位置検出装置１ｂは、図８を用いて説明した実施の形態２に係る位置検出装置１ａとは、装着物検出部１６を備えた点が異なる。
また、実施の形態３に係る位置検出装置１ｂにおいて、位置特定部１４ｂの具体的な動作が、実施の形態２に係る位置検出装置１ａにおける位置特定部１４ａの具体的な動作とは異なる。
【0093】
装着物検出部１６は、カメラ２から撮像画像を取得し、取得した撮像画像に基づいて、乗員が着用している装着物を検出する。実施の形態３において、装着物とは、例えば、サングラスまたはマスク等、乗員の体の部位を示す特徴点を遮蔽するものを想定している。
装着物検出部１６は、既知の画像認識技術等、周知の技術を用いて、乗員が着用している装着物を検出すればよい。
装着物検出部１６は、乗員が着用している装着物を検出したか否かの情報（以下「装着物検出情報」という。）を、位置特定部１４ｂに出力する。
装着物検出部１６は、既知の画像認識技術等、周知の技術を用いて、乗員が着用している装着物を検出すればよい。
装着物検出部１６は、乗員が着用している装着物を検出したか否かの情報（以下「装着物検出情報」という。）を、位置特定部１４ｂに出力する。
【0094】
位置特定部１４ｂは、装着物検出部１６から出力された装着物検出情報に基づき、装着物検出部１６が、乗員が着用している装着物を検出した場合は、角度算出部１２が算出した特徴点位置角度と距離検出部１３が検出した第１距離とに基づき対象特徴点の三次元位置を特定する。
なお、位置特定部１４ｂが特徴点位置角度と第１距離とに基づき対象特徴点の三次元位置を特定する具体的な方法は、実施の形態１にて、位置特定部１４が特徴点位置角度と第１距離とに基づき対象特徴点の三次元位置を特定する具体的な方法と同様であるため、重複した説明を省略する。
なお、位置特定部１４ｂが特徴点位置角度と第１距離とに基づき対象特徴点の三次元位置を特定する具体的な方法は、実施の形態１にて、位置特定部１４が特徴点位置角度と第１距離とに基づき対象特徴点の三次元位置を特定する具体的な方法と同様であるため、重複した説明を省略する。
【0095】
一方、位置特定部１４ｂは、装着物検出部１６が、乗員が着用している装着物を検出しなかった場合は、「距離判定処理」を実行し、距離検出部１３が検出した第１距離と、距離推定部１５が推定した第２距離とに基づいて判定後距離を判定する。「距離判定処理」の詳細については、実施の形態２において説明済であるため、重複した説明を省略する。そして、位置特定部１４ｂは、角度算出部１２が算出した特徴点位置角度と判定後距離とに基づき対象特徴点の三次元位置を特定する。
なお、位置特定部１４ｂが特徴点位置角度と判定後距離とに基づき対象特徴点の三次元位置を特定する具体的な方法は、実施の形態２にて、位置特定部１４ａが特徴点位置角度と判定後距離とに基づき対象特徴点の三次元位置を特定する具体的な方法と同様であるため、重複した説明を省略する。
なお、位置特定部１４ｂが特徴点位置角度と判定後距離とに基づき対象特徴点の三次元位置を特定する具体的な方法は、実施の形態２にて、位置特定部１４ａが特徴点位置角度と判定後距離とに基づき対象特徴点の三次元位置を特定する具体的な方法と同様であるため、重複した説明を省略する。
【0096】
実施の形態２に係る位置検出装置１ａの位置特定部１４ａは、距離検出部１３が検出した第１距離に対して、一律、「距離判定処理」を実行して判定後距離を判定し、当該判定後距離と特徴点位置角度とから、対象特徴点の三次元位置を特定していた。
しかし、乗員が装着物を装着している場合、特徴点検出部１１において検出される特徴点の数が減る。その結果、距離推定部１５が推定する第２距離の誤差が大きくなる。そうすると、位置検出装置１ａにおいて「距離判定処理」が適切に実行されなくなり、第１距離の値より判定後距離の値の方が、確からしさが劣る値となってしまう可能性がある。
そこで、実施の形態３では、位置特定部１４ｂは、乗員が着用している装着物が検出されなかった場合、言い換えれば、乗員が装着物を着用していない場合に限って、「距離判定処理」を実行する。
しかし、乗員が装着物を装着している場合、特徴点検出部１１において検出される特徴点の数が減る。その結果、距離推定部１５が推定する第２距離の誤差が大きくなる。そうすると、位置検出装置１ａにおいて「距離判定処理」が適切に実行されなくなり、第１距離の値より判定後距離の値の方が、確からしさが劣る値となってしまう可能性がある。
そこで、実施の形態３では、位置特定部１４ｂは、乗員が着用している装着物が検出されなかった場合、言い換えれば、乗員が装着物を着用していない場合に限って、「距離判定処理」を実行する。
【0097】
実施の形態３に係る位置検出装置１ｂの動作について説明する。
図１２は、実施の形態３に係る位置検出装置１ｂの動作について説明するためのフローチャートである。
図１２のフローチャートにおいて、ステップＳＴ１１１～ステップＳＴ１１４の具体的な処理内容は、それぞれ、実施の形態２において説明済みの、図１０のステップＳＴ１１～ステップＳＴ１４の具体的な処理内容と同様であるため、重複した説明を省略する。
図１２は、実施の形態３に係る位置検出装置１ｂの動作について説明するためのフローチャートである。
図１２のフローチャートにおいて、ステップＳＴ１１１～ステップＳＴ１１４の具体的な処理内容は、それぞれ、実施の形態２において説明済みの、図１０のステップＳＴ１１～ステップＳＴ１４の具体的な処理内容と同様であるため、重複した説明を省略する。
【0098】
装着物検出部１６は、カメラ２から撮像画像を取得し、取得した撮像画像に基づいて、乗員が着用している装着物を検出する（ステップＳＴ１１５）。
装着物検出部１６は、装着物検出情報を、位置特定部１４ｂに出力する。
装着物検出部１６は、装着物検出情報を、位置特定部１４ｂに出力する。
【0099】
位置特定部１４ｂは、ステップＳＴ１１５にて装着物検出部１６から出力された装着物検出情報に基づき、装着物検出部１６が、乗員が着用している装着物を検出したか否かを判定する（ステップＳＴ１１６）。
装着物検出部１６が、乗員が着用している装着物を検出した場合（ステップＳＴ１１６の“ＹＥＳ”の場合）、位置特定部１４ｂは、ステップＳＴ１１２にて角度算出部１２が算出した特徴点位置角度と、ステップＳＴ１１４にて距離検出部１３が検出した第１距離とに基づき、対象特徴点の三次元位置を特定する（ステップＳＴ１１８）。
装着物検出部１６が、乗員が着用している装着物を検出した場合（ステップＳＴ１１６の“ＹＥＳ”の場合）、位置特定部１４ｂは、ステップＳＴ１１２にて角度算出部１２が算出した特徴点位置角度と、ステップＳＴ１１４にて距離検出部１３が検出した第１距離とに基づき、対象特徴点の三次元位置を特定する（ステップＳＴ１１８）。
【0100】
一方、装着物検出部１６が、乗員が着用している装着物を検出しなかった場合（ステップＳＴ１１６の“ＮＯ”の場合）、位置特定部１４ｂは、「距離判定処理」を実行し、判定後距離を判定する（ステップＳＴ１１７。図１０のステップＳＴ１５～ステップＳＴ１９参照）。そして、位置特定部１４ｂは、ステップＳＴ１１２にて角度算出部１２が算出した特徴点位置角度と、ステップＳＴ１１７にて判定した判定後距離とに基づき、対象特徴点の三次元位置を特定する（ステップＳＴ１１８）。
【0101】
なお、図１２に示すフローチャートでは、位置検出装置１ｂは、ステップＳＴ１１１、ステップＳＴ１１２、ステップＳＴ１１３、ステップＳＴ１１４、ステップＳＴ１１５の順で処理を行うものとしているが、これは一例に過ぎない。
例えば、位置検出装置１ｂは、ステップＳＴ１１１～ステップＳＴ１１３の処理と、ステップＳＴ１１４の処理と、ステップＳＴ１１５の処理とを並行して行ってもよい。また、位置検出装置１ｂは、例えば、ステップＳＴ１１１～ステップＳＴ１１３の処理よりも前にステップＳＴ１１４の処理またはステップＳＴ１１５の処理を行ってもよい。また、位置検出装置１ｂは、ステップＳＴ１１４の処理よりも前にステップＳＴ１１５の処理を行ってもよい。
例えば、位置検出装置１ｂは、ステップＳＴ１１１～ステップＳＴ１１３の処理と、ステップＳＴ１１４の処理と、ステップＳＴ１１５の処理とを並行して行ってもよい。また、位置検出装置１ｂは、例えば、ステップＳＴ１１１～ステップＳＴ１１３の処理よりも前にステップＳＴ１１４の処理またはステップＳＴ１１５の処理を行ってもよい。また、位置検出装置１ｂは、ステップＳＴ１１４の処理よりも前にステップＳＴ１１５の処理を行ってもよい。
【0102】
このように、位置検出装置１ｂは、撮像画像から推定した、カメラ２から対象特徴点までの距離（第２距離）を用いて、電波センサの距離分解能以上の精度で、より確からしい対象特徴点までの距離（判定後距離）を判定できる。ただし、位置検出装置１ｂは、乗員が装着物を装着しており、第２距離に誤差が生じる可能性が高いと想定される場合は、判定後距離の判定は行わない。
そのため、位置検出装置１ｂは、乗員が装着物を装着していることを考慮しない場合と比べ、より高精度に対象特徴点の三次元位置、言い換えれば、乗員の三次元位置を特定することができる。
そのため、位置検出装置１ｂは、乗員が装着物を装着していることを考慮しない場合と比べ、より高精度に対象特徴点の三次元位置、言い換えれば、乗員の三次元位置を特定することができる。
【0103】
実施の形態３に係る位置検出装置１ｂのハードウェア構成は、図７Ａおよび図７Ｂを用いて説明した、実施の形態１に係る位置検出装置１のハードウェア構成と同様であるため、図示を省略する。
実施の形態３において、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ｂと、距離推定部１５と、装着物検出部１６の機能は、処理回路９１により実現される。すなわち、位置検出装置１ｂは、カメラ２が撮像した撮像画像と電波センサが取得したセンサ情報とから人の三次元位置を検出する制御を行うための処理回路９１を備える。
処理回路９１は、メモリ９５に記憶されたプログラムを読み出して実行することにより、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ｂと、距離推定部１５と、装着物検出部１６の機能を実行する。すなわち、位置検出装置１ｂは、処理回路９１により実行されるときに、上述の図１２のステップＳＴ１１１～ステップＳＴ１１８が結果的に実行されることになるプログラムを格納するためのメモリ９５を備える。また、メモリ９５に記憶されたプログラムは、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ｂと、距離推定部１５と、装着物検出部１６の処理の手順または方法をコンピュータに実行させるものであるとも言える。
また、位置検出装置１ｂは、カメラ２、電波センサ、体格検出装置４、または、衝突安全装置５等の装置と、有線通信または無線通信を行う入力インタフェース装置９２および出力インタフェース装置９３を備える。
実施の形態３において、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ｂと、距離推定部１５と、装着物検出部１６の機能は、処理回路９１により実現される。すなわち、位置検出装置１ｂは、カメラ２が撮像した撮像画像と電波センサが取得したセンサ情報とから人の三次元位置を検出する制御を行うための処理回路９１を備える。
処理回路９１は、メモリ９５に記憶されたプログラムを読み出して実行することにより、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ｂと、距離推定部１５と、装着物検出部１６の機能を実行する。すなわち、位置検出装置１ｂは、処理回路９１により実行されるときに、上述の図１２のステップＳＴ１１１～ステップＳＴ１１８が結果的に実行されることになるプログラムを格納するためのメモリ９５を備える。また、メモリ９５に記憶されたプログラムは、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ｂと、距離推定部１５と、装着物検出部１６の処理の手順または方法をコンピュータに実行させるものであるとも言える。
また、位置検出装置１ｂは、カメラ２、電波センサ、体格検出装置４、または、衝突安全装置５等の装置と、有線通信または無線通信を行う入力インタフェース装置９２および出力インタフェース装置９３を備える。
【0104】
なお、以上の実施の形態３において、位置検出装置１ｂは、実施の形態２に係る位置検出装置１ａ同様、複数の対象特徴点の三次元位置を検出することもできる。
【0105】
また、実施の形態３において、位置検出装置１ｂは、後部座席の乗員の三次元位置を特定することもできる。
【0106】
また、以上の実施の形態３において、例えば、カメラ２は車室内に複数設置されてもよいし、測距センサ３は車室内に複数設置されてもよい。
【0107】
また、以上の実施の形態３において、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ｂと、距離推定部１５と、装着物検出部１６のうち、一部を車両の車載装置に搭載されるものとし、その他を当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで位置検知システムを構成するようにしてもよい。
また、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ｂと、距離推定部１５と、装着物検出部１６が、全て、サーバに備えられてもよい。
また、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ｂと、距離推定部１５と、装着物検出部１６が、全て、サーバに備えられてもよい。
【0108】
また、以上の実施の形態３において、位置情報取得部４１と体格判定部４２のうち、一部が車載装置に備えられ、その他がサーバに備えられてもよいし、位置情報取得部４１と体格判定部４２とがサーバに備えられてもよい。また、衝突安全装置５がサーバに備えられてもよい。
【0109】
また、以上の実施の形態３において、位置検出装置１ｂは、種々の乗り物において、乗員の三次元位置を検出することができる。また、位置検出装置１ｂは、例えば、居室に存在する人等、乗り物の乗員に限らず、実空間に存在する人の三次元位置を検出することができる。
【0110】
以上のように、実施の形態３によれば、位置検出装置１ｂは、撮像画像に基づいて人が着用している装着物を検出する装着物検出部１６を備え、位置特定部１４ｂは、装着物検出部１６が装着物を検出した場合は、特徴点位置角度と第１距離とに基づき対象特徴点の三次元位置を特定し、装着物検出部１６が装着物を検出しなかった場合は、特徴点位置角度と判定後距離とに基づき対象特徴点の前記三次元位置を特定するように構成した。そのため、位置検出装置１ｂは、電波センサの距離分解能を考慮して人の三次元位置を特定するにあたり、人が装着物を装着しているか否かを考慮しない場合と比べ、より高精度に人の三次元位置を特定することができる。
【0111】
実施の形態４．
実施の形態４では、撮像画像に基づいてカメラから人までの距離を推定する際に用いる基準特徴点間距離を、センサ情報から検出した第１距離を用いて設定する実施の形態について説明する。
実施の形態４では、撮像画像に基づいてカメラから人までの距離を推定する際に用いる基準特徴点間距離を、センサ情報から検出した第１距離を用いて設定する実施の形態について説明する。
【0112】
以下の実施の形態４においても、実施の形態２同様、一例として、三次元位置を特定する対象となる人は、車両の運転席または助手席に着座している乗員とし、当該乗員の位置は当該乗員の頭の位置で示されるものとする。また、カメラおよび測距センサは、それぞれ、実施の形態１において図３を用いて説明したような位置に設置されているものとする。
また、実施の形態４でも、実施の形態２同様、測距センサは、電波センサであることを前提とする。
また、実施の形態４でも、実施の形態２同様、測距センサは、電波センサであることを前提とする。
【0113】
図１３は、実施の形態４に係る位置検出装置１ｃの構成例を示す図である。
図１３に示す位置検出装置１ｃの構成例について、実施の形態２において図８を用いて説明した実施の形態２に係る位置検出装置１ａと同様の構成については、同じ符号を付して重複した説明を省略する。
実施の形態４では、位置検出装置１ｃにおいて、距離推定部１５ａの具体的な動作が、実施の形態２に係る位置検出装置１ａにおける距離推定部１５の具体的な動作とは異なる。
図１３に示す位置検出装置１ｃの構成例について、実施の形態２において図８を用いて説明した実施の形態２に係る位置検出装置１ａと同様の構成については、同じ符号を付して重複した説明を省略する。
実施の形態４では、位置検出装置１ｃにおいて、距離推定部１５ａの具体的な動作が、実施の形態２に係る位置検出装置１ａにおける距離推定部１５の具体的な動作とは異なる。
【0114】
距離推定部１５ａは、特徴点検出部１１が検出した複数個の特徴点のうちの距離算出用特徴点間の距離である特徴点間距離と基準特徴点間距離（以下「第２基準特徴点間距離」とする）とに基づき、カメラ２から対象特徴点までの第２距離を推定する。実施の形態４において、第２基準特徴点間距離は、距離推定部１５ａが第２距離を推定するまでに、当該距離推定部１５ａによって、上記特徴点間距離と、距離検出部１３が検出した第１距離とに基づいて設定され、当該距離推定部１５ａに記憶されている。
【0115】
具体的には、距離推定部１５ａは、まず、特徴点検出部１１が検出した複数個の特徴点のうちの距離算出用特徴点間の距離である特徴点間距離と、距離検出部１３が検出した第１距離に基づいて第２基準特徴点間距離を設定する「基準特徴点間距離設定処理」を行う。距離推定部１５ａは、「基準特徴点間距離設定処理」を行って第２基準特徴点間距離を設定すると、設定した第２基準特徴点間距離を記憶する。
当該「基準特徴点間距離設定処理」は、距離推定部１５ａが第２距離を推定するまでに行われる。
そして、距離推定部１５ａは、「基準特徴点間距離設定処理」を行った後、特徴点検出部１１が検出した複数個の特徴点のうちの距離算出用特徴点間の距離である特徴点間距離と、記憶しておいた第２基準特徴点間距離とに基づき、カメラ２から対象特徴点までの第２距離を推定する。
当該「基準特徴点間距離設定処理」は、距離推定部１５ａが第２距離を推定するまでに行われる。
そして、距離推定部１５ａは、「基準特徴点間距離設定処理」を行った後、特徴点検出部１１が検出した複数個の特徴点のうちの距離算出用特徴点間の距離である特徴点間距離と、記憶しておいた第２基準特徴点間距離とに基づき、カメラ２から対象特徴点までの第２距離を推定する。
【0116】
ここで、図１４Ａおよび図１４Ｂは、実施の形態４において、距離推定部１５ａが第２基準特徴点間距離を設定し、設定した第２基準特徴点間距離を用いて第２距離を推定する方法の一例について説明するための図である。
ここでは、距離算出用特徴点は乗員の左眼に対応する特徴点および乗員の右眼に対応する特徴点とし、特徴点間距離は両眼間距離としている。
図１４Ａは、距離推定部１５ａが行う「基準特徴点間距離設定処理」の内容の一例を説明するための図であり、図１４Ｂは、距離推定部１５ａが、図１４Ａに示すように第２基準特徴点間距離を設定した後、当該第２基準特徴点間距離を用いて第２距離を推定する方法の一例について説明するための図である。
ここでは、距離算出用特徴点は乗員の左眼に対応する特徴点および乗員の右眼に対応する特徴点とし、特徴点間距離は両眼間距離としている。
図１４Ａは、距離推定部１５ａが行う「基準特徴点間距離設定処理」の内容の一例を説明するための図であり、図１４Ｂは、距離推定部１５ａが、図１４Ａに示すように第２基準特徴点間距離を設定した後、当該第２基準特徴点間距離を用いて第２距離を推定する方法の一例について説明するための図である。
【0117】
図１４Ａを用いて、距離推定部１５ａによる「基準特徴点間距離設定処理」について説明する。
例えば、図１４Ａに示すように、距離推定部１５ａは、撮像画像から、特徴点間距離、言い換えれば、両眼間距離を、５０［ｐｘ］と算出したとする。また、距離検出部１３は、センサ情報に基づき、第１距離を１［ｍ］と検出したとする。
この場合、乗員の実際の両眼間距離［ｍ］は、下記の式（４）であらわされる。
両眼間距離［ｍ］：第１距離［ｍ］＝両眼間距離［ｐｘ］：カメラ２の焦点距離［ｐｘ］ ・・・（４）
なお、カメラ２の焦点距離の値は、予め距離推定部１５ａに記憶されている。ここでは焦点距離＝ｆとする。
例えば、図１４Ａに示すように、距離推定部１５ａは、撮像画像から、特徴点間距離、言い換えれば、両眼間距離を、５０［ｐｘ］と算出したとする。また、距離検出部１３は、センサ情報に基づき、第１距離を１［ｍ］と検出したとする。
この場合、乗員の実際の両眼間距離［ｍ］は、下記の式（４）であらわされる。
両眼間距離［ｍ］：第１距離［ｍ］＝両眼間距離［ｐｘ］：カメラ２の焦点距離［ｐｘ］ ・・・（４）
なお、カメラ２の焦点距離の値は、予め距離推定部１５ａに記憶されている。ここでは焦点距離＝ｆとする。
【0118】
つまり、図１４Ａに示すような例の場合、両眼間距離［ｍ］は下記の式（５）の様に算出される。
両眼間距離［ｍ］：１［ｍ］＝５０［ｐｘ］：ｆ［ｐｘ］
両眼間距離［ｍ］×ｆ［ｐｘ］＝５０［ｐｘ］×１［ｍ］
両眼間距離［ｍ］＝５０／ｆ［ｍ］ ・・・（５）
両眼間距離［ｍ］：１［ｍ］＝５０［ｐｘ］：ｆ［ｐｘ］
両眼間距離［ｍ］×ｆ［ｐｘ］＝５０［ｐｘ］×１［ｍ］
両眼間距離［ｍ］＝５０／ｆ［ｍ］ ・・・（５）
【0119】
距離推定部１５ａは、この、算出した両眼間距離の値（５０／ｆ［ｍ］）を第２基準特徴点間距離の値とし、記憶する。
なお、距離推定部１５ａは、図１４Ａを用いて説明したような「基準特徴点間距離設定処理」を、例えば、車両１０００の走行中に１度、実行すればよい。
また、例えば、距離推定部１５ａは、「基準特徴点間距離設定処理」を予め設定された時間内で複数回実行し、各第２基準特徴点間距離の設定処理にて算出された第２基準特徴点間距離の値の平均を第２基準特徴点間距離の値に設定してもよいし、更新係数をかけて第２基準特徴点間距離の値を設定してもよい。
距離推定部１５ａは、基準特徴点間距離に更新係数をかけて、当該基準特徴点間距離を徐々に更新して、第２基準特徴点間距離の値を設定する。例えば、更新係数が０．２であるとすると、距離推定部１５ａは、基準特徴点間距離を２０％ずつ更新していく。具体例を挙げると、例えば、基準特徴点間距離が５０ｍｍ、第２基準特徴点間距離が４０ｍｍであったとする。この場合、距離推定部１５ａは、基準特徴点間距離と第２基準特徴点間距離との差１０ｍｍの２０％にあたる２ｍｍ分だけ基準特徴点間距離を更新して、更新後の基準特徴点間距離の値である４８ｍｍを第２基準特徴点間距離の値とする。距離推定部１５ａは、このような更新処理を繰り返し、段階的に第２基準特徴点間距離の値を設定する。
なお、距離推定部１５ａは、図１４Ａを用いて説明したような「基準特徴点間距離設定処理」を、例えば、車両１０００の走行中に１度、実行すればよい。
また、例えば、距離推定部１５ａは、「基準特徴点間距離設定処理」を予め設定された時間内で複数回実行し、各第２基準特徴点間距離の設定処理にて算出された第２基準特徴点間距離の値の平均を第２基準特徴点間距離の値に設定してもよいし、更新係数をかけて第２基準特徴点間距離の値を設定してもよい。
距離推定部１５ａは、基準特徴点間距離に更新係数をかけて、当該基準特徴点間距離を徐々に更新して、第２基準特徴点間距離の値を設定する。例えば、更新係数が０．２であるとすると、距離推定部１５ａは、基準特徴点間距離を２０％ずつ更新していく。具体例を挙げると、例えば、基準特徴点間距離が５０ｍｍ、第２基準特徴点間距離が４０ｍｍであったとする。この場合、距離推定部１５ａは、基準特徴点間距離と第２基準特徴点間距離との差１０ｍｍの２０％にあたる２ｍｍ分だけ基準特徴点間距離を更新して、更新後の基準特徴点間距離の値である４８ｍｍを第２基準特徴点間距離の値とする。距離推定部１５ａは、このような更新処理を繰り返し、段階的に第２基準特徴点間距離の値を設定する。
【0120】
次に、図１４Ｂを用いて、距離推定部１５ａが第２基準特徴点間距離を用いて第２距離を推定する方法の一例を説明する。なお、ここでは、第２基準特徴点間距離の値には、上述の例のとおり、「５０／ｆ［ｍ］」が設定されているとする。
距離推定部１５ａは、第２基準特徴点間距離を設定し、記憶すると、当該第２基準特徴点間距離と、特徴点間距離、ここでは両眼間距離とに基づいて、第２距離を推定する。
例えば、図１４Ｂに示すように、距離推定部１５ａは、撮像画像に基づいて、両眼間距離を６０［ｐｘ］と算出したとする。
ここで、求める第２距離をＤｃ１［ｍ］とすると、距離推定部１５ａは、上記式（４）および式（５）より、Ｄｃ１［ｍ］を、次の様に算出する。
５０／ｆ［ｍ］：Ｄｃ１［ｍ］＝６０［ｐｘ］：ｆ［ｐｘ］
Ｄｃ１［ｍ］×６０［ｐｘ］＝５０／ｆ［ｍ］×ｆ［ｐｘ］
Ｄｃ１［ｍ］＝５０／６０＝０．８３[ｍ]
このように、図１４Ｂに示す例の場合、距離推定部１５ａは、第２距離は０．８３［ｍ］と推定する。
距離推定部１５ａは、第２基準特徴点間距離を設定し、記憶すると、当該第２基準特徴点間距離と、特徴点間距離、ここでは両眼間距離とに基づいて、第２距離を推定する。
例えば、図１４Ｂに示すように、距離推定部１５ａは、撮像画像に基づいて、両眼間距離を６０［ｐｘ］と算出したとする。
ここで、求める第２距離をＤｃ１［ｍ］とすると、距離推定部１５ａは、上記式（４）および式（５）より、Ｄｃ１［ｍ］を、次の様に算出する。
５０／ｆ［ｍ］：Ｄｃ１［ｍ］＝６０［ｐｘ］：ｆ［ｐｘ］
Ｄｃ１［ｍ］×６０［ｐｘ］＝５０／ｆ［ｍ］×ｆ［ｐｘ］
Ｄｃ１［ｍ］＝５０／６０＝０．８３[ｍ]
このように、図１４Ｂに示す例の場合、距離推定部１５ａは、第２距離は０．８３［ｍ］と推定する。
【0121】
距離推定部１５ａは、推定した第２距離に関するカメラ距離情報を、位置特定部１４ａに出力する。
【0122】
実施の形態４に係る位置検出装置１ｃの動作について説明する。
図１５は、実施の形態４に係る位置検出装置１ｃの動作について説明するためのフローチャートである。
図１５のフローチャートにおいて、ステップＳＴ１１１１～ステップＳＴ１１１３、ステップＳＴ１１１７の具体的な処理内容は、それぞれ、実施の形態２において説明済みの、図１０のステップＳＴ１１～ステップＳＴ１２、ステップＳＴ１４、ステップＳＴ２０の具体的な処理内容と同様であるため、重複した説明を省略する。
また、図１５のフローチャートにおいて、ステップＳＴ１１１６の具体的な処理内容は、実施の形態２において説明済みの、図１０のステップＳＴ１５～ステップＳＴ１９の具体的な処理内容と同様であるため、重複した説明を省略する。
図１５は、実施の形態４に係る位置検出装置１ｃの動作について説明するためのフローチャートである。
図１５のフローチャートにおいて、ステップＳＴ１１１１～ステップＳＴ１１１３、ステップＳＴ１１１７の具体的な処理内容は、それぞれ、実施の形態２において説明済みの、図１０のステップＳＴ１１～ステップＳＴ１２、ステップＳＴ１４、ステップＳＴ２０の具体的な処理内容と同様であるため、重複した説明を省略する。
また、図１５のフローチャートにおいて、ステップＳＴ１１１６の具体的な処理内容は、実施の形態２において説明済みの、図１０のステップＳＴ１５～ステップＳＴ１９の具体的な処理内容と同様であるため、重複した説明を省略する。
【0123】
距離推定部１５ａは、ステップＳＴ１１１１にて特徴点検出部１１が検出した複数個の特徴点のうちの距離算出用特徴点間の距離である特徴点間距離と、ステップＳＴ１１１３にて距離検出部１３が検出した第１距離に基づいて第２基準特徴点間距離を設定する「基準特徴点間距離設定処理」を行い、第２基準特徴点間距離を設定する（ステップＳＴ１１１４）。そして、距離推定部１５ａは、設定した第２基準特徴点間距離を記憶する。
【0124】
距離推定部１５ａは、ステップＳＴ１１１４にて第２基準特徴点間距離を設定し、記憶すると、ステップＳＴ１１１１にて特徴点検出部１１が検出した複数個の特徴点のうちの距離算出用特徴点間の距離である特徴点間距離と、記憶しておいた第２基準特徴点間距離とに基づき、カメラ２から対象特徴点までの第２距離を推定する（ステップＳＴ１１１５）。
【0125】
なお、距離推定部１５ａが第２基準特徴点間距離を設定し、記憶した後は、位置検出装置１ｃは、ステップＳＴ１１１４の処理を省略することができる。
また、図１５に示すフローチャートでは、位置検出装置１ｃは、ステップＳＴ１１１１、ステップＳＴ１１１２、ステップＳＴ１１１３の順で処理を行うものとしているが、これは一例に過ぎない。
例えば、位置検出装置１ｃは、ステップＳＴ１１１３、ステップＳＴ１１１１、ステップＳＴ１１１２の順で処理を行ってもよいし、ステップＳＴ１１１１～ステップＳＴ１１１２の処理とステップＳＴ１１１３の処理とを並行して行ってもよい。
また、図１５に示すフローチャートでは、位置検出装置１ｃは、ステップＳＴ１１１１、ステップＳＴ１１１２、ステップＳＴ１１１３の順で処理を行うものとしているが、これは一例に過ぎない。
例えば、位置検出装置１ｃは、ステップＳＴ１１１３、ステップＳＴ１１１１、ステップＳＴ１１１２の順で処理を行ってもよいし、ステップＳＴ１１１１～ステップＳＴ１１１２の処理とステップＳＴ１１１３の処理とを並行して行ってもよい。
【0126】
このように、位置検出装置１ｃは、撮像画像に基づいてカメラ２から対象特徴点までの第２距離を推定する際に用いる第２基準特徴点間距離を、電波センサから取得したセンサ情報を利用して設定する。
仮に、第２基準特徴点間距離の値が、年齢または顔の形状等の個人差を考慮せずに設定された値であった場合、距離推定部１５ａが推定する第２距離には誤差が生じる可能性がある。これに対し、位置検出装置１ｃは、年齢または顔の形状等の個人差を考慮して、高精度に第２距離を推定することができる。
その結果、位置検出装置１ｃは、電波センサの距離分解能を考慮して乗員の三次元位置を特定するにあたり、より高精度に対象特徴点の三次元位置、言い換えれば、乗員の三次元位置を特定することができる。
仮に、第２基準特徴点間距離の値が、年齢または顔の形状等の個人差を考慮せずに設定された値であった場合、距離推定部１５ａが推定する第２距離には誤差が生じる可能性がある。これに対し、位置検出装置１ｃは、年齢または顔の形状等の個人差を考慮して、高精度に第２距離を推定することができる。
その結果、位置検出装置１ｃは、電波センサの距離分解能を考慮して乗員の三次元位置を特定するにあたり、より高精度に対象特徴点の三次元位置、言い換えれば、乗員の三次元位置を特定することができる。
【0127】
実施の形態４に係る位置検出装置１ｃのハードウェア構成は、図７Ａおよび図７Ｂを用いて説明した、実施の形態１に係る位置検出装置１のハードウェア構成と同様であるため、図示を省略する。
実施の形態４において、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ａと、距離推定部１５ａの機能は、処理回路９１により実現される。すなわち、位置検出装置１ｃは、カメラ２が撮像した撮像画像と電波センサが取得したセンサ情報とから人の三次元位置を検出する制御を行うための処理回路９１を備える。
処理回路９１は、メモリ９５に記憶されたプログラムを読み出して実行することにより、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ａと、距離推定部１５ａの機能を実行する。すなわち、位置検出装置１ｃは、処理回路９１により実行されるときに、上述の図１５のステップＳＴ１１１１～ステップＳＴ１１７が結果的に実行されることになるプログラムを格納するためのメモリ９５を備える。また、メモリ９５に記憶されたプログラムは、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ａと、距離推定部１５ａの処理の手順または方法をコンピュータに実行させるものであるとも言える。
また、位置検出装置１ｃは、カメラ２、電波センサ、体格検出装置４、または、衝突安全装置５等の装置と、有線通信または無線通信を行う入力インタフェース装置９２および出力インタフェース装置９３を備える。
実施の形態４において、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ａと、距離推定部１５ａの機能は、処理回路９１により実現される。すなわち、位置検出装置１ｃは、カメラ２が撮像した撮像画像と電波センサが取得したセンサ情報とから人の三次元位置を検出する制御を行うための処理回路９１を備える。
処理回路９１は、メモリ９５に記憶されたプログラムを読み出して実行することにより、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ａと、距離推定部１５ａの機能を実行する。すなわち、位置検出装置１ｃは、処理回路９１により実行されるときに、上述の図１５のステップＳＴ１１１１～ステップＳＴ１１７が結果的に実行されることになるプログラムを格納するためのメモリ９５を備える。また、メモリ９５に記憶されたプログラムは、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ａと、距離推定部１５ａの処理の手順または方法をコンピュータに実行させるものであるとも言える。
また、位置検出装置１ｃは、カメラ２、電波センサ、体格検出装置４、または、衝突安全装置５等の装置と、有線通信または無線通信を行う入力インタフェース装置９２および出力インタフェース装置９３を備える。
【0128】
なお、以上の実施の形態４において、位置検出装置１ｃは、実施の形態２に係る位置検出装置１ａ同様、複数の対象特徴点の三次元位置を検出することもできる。
【0129】
また、実施の形態４において、位置検出装置１ｃは、後部座席の乗員の三次元位置を特定することもできる。
【0130】
また、以上の実施の形態４において、例えば、カメラ２は車室内に複数設置されてもよいし、測距センサ３は車室内に複数設置されてもよい。
【0131】
また、以上の実施の形態４において、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ａと、距離推定部１５ａのうち、一部を車両の車載装置に搭載されるものとし、その他を当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで位置検知システムを構成するようにしてもよい。
また、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ａと、距離推定部１５ａが、全て、サーバに備えられてもよい。
また、特徴点検出部１１と、角度算出部１２と、距離検出部１３と、位置特定部１４ａと、距離推定部１５ａが、全て、サーバに備えられてもよい。
【0132】
また、以上の実施の形態４において、位置情報取得部４１と体格判定部４２のうち、一部が車載装置に備えられ、その他がサーバに備えられてもよいし、位置情報取得部４１と体格判定部４２とがサーバに備えられてもよい。また、衝突安全装置５がサーバに備えられてもよい。
【0133】
また、以上の実施の形態４において、位置検出装置１ｃは、種々の乗り物において、乗員の三次元位置を検出することができる。また、位置検出装置１ｃは、例えば、居室に存在する人等、乗り物の乗員に限らず、実空間に存在する人の三次元位置を検出することができる。
【0134】
以上のように、実施の形態４によれば、位置検出装置１ｃにおいて、距離推定部１５ａは、特徴点検出部１１が検出した複数個の特徴点のうちの距離算出用特徴点間の距離である特徴点間距離と基準特徴点間距離（第２基準特徴点間距離）とに基づき、カメラ２から対象特徴点までの第２距離を推定し、基準特徴点間距離は、特徴点間距離と、距離検出部１３が検出した第１距離とに基づいて設定されているように構成した。そのため、位置検出装置１ｃは、年齢または顔の形状等の個人差を考慮して、高精度に第２距離を推定することができる。その結果、位置検出装置１ｃは、電波センサの距離分解能を考慮して乗員の三次元位置を特定するにあたり、より高精度に乗員の三次元位置を特定することができる。
【0135】
以上の実施の形態１～実施の形態４に係る体格検出システム１００において、体格検出装置４は、乗員が正規着座状態であるか否かを判定し、乗員が正規着座状態であると判定した場合に、体格判定を行うようにしてもよい。
実施の形態１～実施の形態４において、「正規着座状態」とは、人の姿勢が崩れていない状態をいう。
以下、実施の形態１～実施の形態４において、乗員が正規着座状態であると判定した場合に体格判定を行うようにした体格検出装置４の詳細について、説明する。
実施の形態１～実施の形態４において、「正規着座状態」とは、人の姿勢が崩れていない状態をいう。
以下、実施の形態１～実施の形態４において、乗員が正規着座状態であると判定した場合に体格判定を行うようにした体格検出装置４の詳細について、説明する。
【0136】
体格検出装置４において、体格判定部４２は、位置検出装置１，１ａ，１ｂ，１ｃにおいて位置特定部１４，１４ａ，１４ｂが特定した対象特徴点の三次元位置が、基準特徴点領域内にあるか否かを判定する。なお、体格判定部４２は、位置特定部１４，１４ａ，１４ｂが特定した対象特徴点の三次元位置を、位置情報取得部４１が取得した位置情報から特定できる。
実施の形態１～実施の形態４において、「基準特徴点領域」は、乗員が正規着座状態である場合に対象特徴点が存在すると想定される実空間上の領域である。
当該基準特徴点領域には、予め、例えば、種々の異なる体格を有する複数の人が正規着座した状態で、当該複数の人の対象特徴点が存在する位置を全て含む領域が設定されており、体格判定部４２は当該基準特徴点領域に関する情報を記憶している。
実施の形態１～実施の形態４において、「基準特徴点領域」は、乗員が正規着座状態である場合に対象特徴点が存在すると想定される実空間上の領域である。
当該基準特徴点領域には、予め、例えば、種々の異なる体格を有する複数の人が正規着座した状態で、当該複数の人の対象特徴点が存在する位置を全て含む領域が設定されており、体格判定部４２は当該基準特徴点領域に関する情報を記憶している。
【0137】
体格判定部４２は、位置特定部１４，１４ａ，１４ｂが特定した対象特徴点の三次元位置が、基準特徴点領域内にあると判定した場合、乗員の体格を判定する。
一方、体格判定部４２は、位置特定部１４，１４ａ，１４ｂが特定した対象特徴点の三次元位置が、基準特徴点領域内にないと判定した場合、乗員の体格の判定を行わない。
一方、体格判定部４２は、位置特定部１４，１４ａ，１４ｂが特定した対象特徴点の三次元位置が、基準特徴点領域内にないと判定した場合、乗員の体格の判定を行わない。
【0138】
体格検出装置４にて乗員の体格を判定する場合、乗員が正規着座状態でないと、乗員の体格を誤判定してしまう可能性がある。
体格検出装置４は、乗員が正規着座状態であるか否かを判定し、乗員が正規着座状態であると判定した場合に乗員の体格判定を行うようにすることで、乗員の体格の誤判定を低減することができる。
体格検出装置４は、乗員が正規着座状態であるか否かを判定し、乗員が正規着座状態であると判定した場合に乗員の体格判定を行うようにすることで、乗員の体格の誤判定を低減することができる。
【0139】
図１６は、実施の形態１～実施の形態４に係る体格検出システム１００において、乗員が正規着座状態であると判定した場合に体格判定を行うようにした場合の体格検出装置４の動作について説明するためのフローチャートである。
【0140】
位置情報取得部４１は、位置検出装置１から位置情報を取得する（ステップＳＴ４０１）。
体格判定部４２は、ステップＳＴ４０１にて位置情報取得部４１が取得した位置情報に基づき、位置検出装置１，１ａ，１ｂ，１ｃにおいて位置特定部１４，１４ａ，１４ｂが特定した対象特徴点の三次元位置が、基準特徴点領域内にあるか否かを判定する（ステップＳＴ４０２）。
体格判定部４２は、ステップＳＴ４０１にて位置情報取得部４１が取得した位置情報に基づき、位置検出装置１，１ａ，１ｂ，１ｃにおいて位置特定部１４，１４ａ，１４ｂが特定した対象特徴点の三次元位置が、基準特徴点領域内にあるか否かを判定する（ステップＳＴ４０２）。
【0141】
ステップＳＴ４０２において、位置特定部１４，１４ａ，１４ｂが特定した対象特徴点の三次元位置が基準特徴点領域内にあると判定した場合（ステップＳＴ４０２の“ＹＥＳ”の場合）、体格判定部４２は、乗員の体格を判定する（ステップＳＴ４０３）。
【0142】
ステップＳＴ４０２において、位置特定部１４，１４ａ，１４ｂが特定した対象特徴点の三次元位置が基準特徴点領域内にないと判定した場合（ステップＳＴ４０２の“ＮＯ”の場合）、体格検出装置４の動作は、ステップＳＴ４０１の処理に戻る。
【0143】
このように、実施の形態１～実施の形態４に係る体格検出システム１００の体格検出装置４において、体格判定部４２は、位置検出装置１，１ａ，１ｂ，１ｃの位置特定部１４，１４ａ，１４ｂが特定した対象特徴点の三次元位置が、乗員が正規着座状態である場合に当該対象特徴点が存在すると想定される実空間上の基準特徴点領域内にある場合に、乗員の体格判定を行ってもよい。
これにより、体格検出システム１００において、体格検出装置４は、乗員の体格の誤判定を低減することができる。
これにより、体格検出システム１００において、体格検出装置４は、乗員の体格の誤判定を低減することができる。
【0144】
実施の形態１～実施の形態４に係る体格検出装置４のハードウェア構成の一例は、図７Ａおよび図７Ｂにて示した位置検出装置１，１ａ，１ｂ，１ｃのハードウェア構成の一例と同様であるため、図示を省略する。
実施の形態１～実施の形態４において、位置情報取得部４１と体格判定部４２の機能は、処理回路９１により実現される。すなわち、体格検出装置４は、位置検出装置１，１ａ，１ｂ，１ｃが特定した乗員の三次元位置に基づき、当該乗員の体格を判定するための処理回路９１を備える。
処理回路９１は、図７Ａに示すように専用のハードウェアであっても、図７Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ９４であってもよい。
実施の形態１～実施の形態４において、位置情報取得部４１と体格判定部４２の機能は、処理回路９１により実現される。すなわち、体格検出装置４は、位置検出装置１，１ａ，１ｂ，１ｃが特定した乗員の三次元位置に基づき、当該乗員の体格を判定するための処理回路９１を備える。
処理回路９１は、図７Ａに示すように専用のハードウェアであっても、図７Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ９４であってもよい。
【0145】
処理回路９１が専用のハードウェアである場合、処理回路９１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
【0146】
処理回路がプロセッサ９４の場合、位置情報取得部４１と体格判定部４２の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ９５に記憶される。プロセッサ９４は、メモリ９５に記憶されたプログラムを読み出して実行することにより、位置情報取得部４１と体格判定部４２の機能を実行する。すなわち、体格検出装置４は、プロセッサ９４により実行されるときに、上述の図１６のステップＳＴ１～ステップＳＴ４のような処理が結果的に実行されることになるプログラムを格納するためのメモリ９５を備える。また、メモリ９５に記憶されたプログラムは、位置情報取得部４１と体格判定部４２の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ９５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。
【0147】
なお、位置情報取得部４１と体格判定部４２の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、位置情報取得部４１については専用のハードウェアとしての処理回路９１でその機能を実現し、体格判定部４２についてはプロセッサ９４がメモリ９５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
【0148】
また、体格検出装置４は、位置検出装置１，１ａ，１ｂ，１ｃ、または、衝突安全装置５等の装置と、有線通信または無線通信を行う入力インタフェース装置９２および出力インタフェース装置９３を備える。
【0149】
なお、実施の形態１～実施の形態４において、体格検出装置４は、位置検出装置１，１ａ，１ｂ，１ｃが検出した人の三次元位置に関する位置情報に基づき、車両１０００の乗員に限らず、種々の乗り物の乗員、または、実空間上に存在する人の体格を判定することができる。
【0150】
なお、本開示は、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【0151】
本開示に係る位置検出装置は、どんな人に対しても個人認証処理を実行することなく、個々の人毎の三次元位置を特定することができる。
【符号の説明】
【0152】
１，１ａ，１ｂ，１ｃ 位置検出装置、２ カメラ、３ 測距センサ、４ 体格検出装置、５ 衝突安全装置、１１ 特徴点検出部、１２ 角度算出部、１３ 距離検出部、１４，１４ａ，１４ｂ 位置特定部、１５，１５ａ 距離推定部、１６ 装着物検出部、４１ 位置情報取得部、４２ 体格判定部、１００ 体格検出システム、１０００ 車両、９１ 処理回路、９２ 入力インタフェース装置、９３ 出力インタフェース装置、９４ プロセッサ、９５ メモリ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】