特許 7600765 身体情報取得装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】身体情報取得装置

(51)【国際特許分類】

   B60N 2/90 20180101AFI20241210BHJP

   B60R 21/015 20060101ALI20241210BHJP

   A47C 7/62 20060101ALI20241210BHJP

【ＦＩ】

B60N2/90

B60R21/015 311

A47C7/62 Z

【請求項の数】 4

(21)【出願番号】P 2021032579

(22)【出願日】2021-03-02

(65)【公開番号】P2022133723

(43)【公開日】2022-09-14

【審査請求日】2024-01-11

(73)【特許権者】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】田中 五大

(72)【発明者】

【氏名】戸松 義晃

(72)【発明者】

【氏名】渡邉 寛隆

(72)【発明者】

【氏名】早川 貴久

(72)【発明者】

【氏名】原 和道

【審査官】沼田 規好

(56)【参考文献】

【文献】特開２０１９－１８９１０１（ＪＰ，Ａ）

【文献】特開２０２１－０１４２２７（ＪＰ，Ａ）

【文献】特開２０２０－０５００７９（ＪＰ，Ａ）

【文献】特開２０１９－１５６１４６（ＪＰ，Ａ）

【文献】特開２０２０－１０４６８０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｎ ２／９０

Ｂ６０Ｒ ２１／０１５

Ａ４７Ｃ ７／６２

(57)【特許請求の範囲】

【請求項1】

撮影画像に含まれる人の骨格点を検出する骨格点検出部と、
前記骨格点の検出に基づいて前記人の身体情報を取得する身体情報取得部と、
前記撮影画像に映る前記人の撮像状態が予め定められた評価指標値に基づき特定される特定撮像状態に該当するか否かを判定する撮像状態判定部と、を備え、
前記身体情報取得部は、前記特定撮像状態に該当する場合には、前記骨格点の検出に基づいた前記身体情報の取得を実行しないものであり、
前記撮像状態判定部は、前記撮影画像の輝度を前記撮像状態の前記評価指標値として、前記撮影画像の輝度が所定の高輝度閾値以上である場合に前記特定撮像状態に該当すると判定するものであって、
前記撮像状態判定部は、前記撮影画像に映る前記人の撮像領域をトリミングすることにより、前記撮影画像の輝度に基づいた前記特定撮像状態の判定を実行する身体情報取得装置。

【請求項2】

撮影画像に含まれる人の骨格点を検出する骨格点検出部と、
前記骨格点の検出に基づいて前記人の身体情報を取得する身体情報取得部と、
前記撮影画像に映る前記人の撮像状態が予め定められた評価指標値に基づき特定される特定撮像状態に該当するか否かを判定する撮像状態判定部と、を備え、
前記身体情報取得部は、前記特定撮像状態に該当する場合には、前記骨格点の検出に基づいた前記身体情報の取得を実行しないものであり、
前記撮像状態判定部は、前記撮影画像の輝度を前記撮像状態の前記評価指標値として、前記撮影画像の輝度が所定の低輝度閾値以下である場合に前記特定撮像状態に該当すると判定するものであって、
前記撮像状態判定部は、前記撮影画像に映る前記人の撮像領域をトリミングすることにより、前記撮影画像の輝度に基づいた前記特定撮像状態の判定を実行する身体情報取得装置。

【請求項3】

請求項１又は請求項２に記載の身体情報取得装置において、
前記人の体動波形を生成する体動波形生成部を備え、
前記撮像状態判定部は、前記体動波形に表れる体の動きの大きさを前記撮像状態の前記評価指標値として、前記体の動きの大きさが所定の体動閾値以上である場合に前記特定撮像状態に該当すると判定すること、を特徴とする身体情報取得装置。

【請求項4】

請求項１～請求項３の何れか一項に記載の身体情報取得装置において、
前記身体情報取得部は、前記人の身体情報として、車両のシートに着座する乗員の体格情報を取得すること、を特徴とする身体情報取得装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、身体情報取得装置に関するものである。

【背景技術】

【0002】

従来、撮影画像に含まれる人の骨格点を検出することにより、その撮像された人の身体情報を取得する身体情報取得装置がある。例えば、特許文献１に記載の乗員情報判定装置は、車両の乗員を撮像することにより、その骨格点となる乗員の頭部を検出する。更に、この乗員情報判定装置は、その骨格点に基づく身体寸法として頭部の大きさを検出する。そして、これにより、その撮像された乗員の身体情報として、この乗員の体格及び姿勢を判定する構成になっている。

【0003】

また、この従来例においては、上記のような骨格点の検出と併せて、その車両のシートに着座する乗員のシート荷重が検出される。そして、例えば、カメラの視野が遮られた場合、或いは画角から乗員の体が外れた場合等、その撮影画像から骨格点の検出ができない場合には、シート荷重に基づいて、その乗員の体格及び姿勢が判定される構成となっている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１８９１０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、撮像可能であっても、その撮影画像に基づいた骨格点の検出精度が低下している可能性がある。そして、このような場合には、その対象となる人の身体情報を精度よく取得できないという問題がある。

【課題を解決するための手段】

【0006】

上記課題を解決する身体情報取得装置は、撮影画像に含まれる人の骨格点を検出する骨格点検出部と、前記骨格点の検出に基づいて前記人の身体情報を取得する身体情報取得部と、前記撮影画像に映る前記人の撮像状態が予め定められた評価指標値に基づき特定される特定撮像状態に該当するか否かを判定する撮像状態判定部と、を備え、前記身体情報取得部は、前記特定撮像状態に該当する場合には、前記骨格点の検出に基づいた前記身体情報の取得を実行しない。

【0007】

上記構成によれば、撮影画像に映る人の撮像状態を要因として骨格点の検出精度が低下するような状態を特定撮像状態に設定して、このような場合には、その画像解析による骨格点の検出を身体情報の取得に利用しないことができる。そして、これにより、誤判別の発生を回避して、精度よく、例えば、撮影画像に映る人の体格や姿勢等、その身体情報を取得することができる。

【0008】

上記課題を解決する身体情報取得装置は、前記人の体動波形を生成する体動波形生成部を備え、前記撮像状態判定部は、前記体動波形に表れる体の動きの大きさを前記撮像状態の前記評価指標値として、前記体の動きの大きさが所定の体動閾値以上である場合に前記特定撮像状態に該当すると判定することが好ましい。

【0009】

即ち、撮影画像に映る人の「体の動きの大きさ」が大きい場合には、その画像解析による骨格点の検出精度が低下する可能性がある。この点、上記構成によれば、人の体動波形から、その「体の動きの大きさ」が大きい状態が特定される。そして、この状態を特定撮像状態として、その画像解析による骨格点の検出を身体情報の取得に利用しないことにより、誤判別の発生を抑制することができる。

【0010】

更に、体動の発生を、例えば、前かがみや上体ひねり等、人が極端な姿勢をとることにより、そのカメラの画角から外れてしまうような、より大きな「体の動き」を前兆と捉えて、これに伴う判定精度の低下及び誤判別の発生を未然に回避することができる。そして、これにより、より精度よく、その人の身体情報を取得することができる。

【0011】

上記課題を解決する身体情報取得装置において、前記撮像状態判定部は、前記撮影画像の輝度を前記撮像状態の前記評価指標値として、前記撮影画像の輝度が所定の高輝度閾値以上である場合に前記特定撮像状態に該当すると判定することが好ましい。

【0012】

即ち、撮影画像の「輝度」が高い場合には、撮影画像が明るくなることで、その撮影画像に映る人の像が不鮮明になる可能性がある。そして、これにより、その画像解析による骨格点の検出精度が低下するおそれがある。

【0013】

この点、上記構成によれば、撮影画像の「輝度」を撮像状態の評価指標値として、その「輝度」が高すぎる状態が特定される。そして、このような状態を特定撮像状態として、その画像解析による骨格点の検出を身体情報の取得に利用しないことにより、その誤判別の発生を抑制することができる。

【0014】

上記課題を解決する身体情報取得装置において、前記撮像状態判定部は、前記撮影画像の輝度を前記撮像状態の前記評価指標値として、前記撮影画像の輝度が所定の低輝度閾値以下である場合に前記特定撮像状態に該当すると判定することが好ましい。

【0015】

即ち、撮影画像の「輝度」が低い場合には、撮影画像が暗くなることで、その撮影画像に映る人の像が不鮮明になる可能性がある。そして、これにより、その画像解析による骨格点の検出精度が低下するおそれがある。

【0016】

この点、上記構成によれば、撮影画像の「輝度」を撮像状態の評価指標値として、その「輝度」が低すぎる状態が特定される。そして、このような状態を特定撮像状態として、その画像解析による骨格点の検出を身体情報の取得に利用しないことにより、その誤判別の発生を抑制することができる。

【0017】

上記課題を解決する身体情報取得装置において、前記撮像状態判定部は、前記撮影画像に映る前記人の撮像領域をトリミングすることにより、前記撮影画像の輝度に基づいた前記特定撮像状態の判定を実行することが好ましい。

【0018】

上記構成によれば、撮影画像に映る人の撮像状態について、より精度よく、その撮影画像の「輝度」に基づいた撮像状態判定を実行することができる。
上記課題を解決する身体情報取得装置は、前記身体情報取得部は、前記人の身体情報として、車両のシートに着座する乗員の体格情報を取得することが好ましい。

【0019】

即ち、画像解析による骨格点の検出に基づいて乗員の体格情報を判定することにより、例えば、スライド位置やリクライニング位置、或いはリフト位置等、そのシート位置に依らず、精度よく、その乗員の体格を判定することができる。また、乗員の姿勢が変化した場合であっても、精度よく、その体格を判定することができる。更に、骨格点の検出精度が低下するような特定撮像状態にある場合には、その画像解析による骨格点の検出を身体情報の取得に利用しないことにより、誤判別の発生を回避することができる、そして、これにより、精度よく、その乗員の体格情報を取得することができる。

【発明の効果】

【0020】

本発明によれば、精度よく、人の身体情報を取得することができる。

【図面の簡単な説明】

【0021】

【図1】車両の概略構成図。

【図2】車両のシートに着座する乗員、及び、この乗員を撮影するカメラの説明図。

【図3】身体情報取得装置として機能する制御装置の概略構成を示すブロック図。

【図4】人の骨格点を示す説明図。

【図5】予め定められた評価指標値に基づく撮像状態判定の処理手順を示すフローチャート。

【図6】通常の撮像状態にある場合に実行する身体情報取得処理の態様を示すフローチャート。

【図7】骨格点の検出ができない場合に実行する身体情報取得処理の態様を示すフローチャート。

【図8】撮像状態の評価指標値に用いられる体動波形の説明図。

【図9】体動波形に示される体の動きの大きさに基づいた体動判定の説明図。

【図10】体動判定の処理手順、及び体の動きの大きさに基づき特定撮像状態に該当すると判定された場合に実行する身体情報取得処理の態様を示すフローチャート。

【図11】撮影画像におけるピクセル輝度値の分布及びその平均値の説明図。

【図12】ピクセル輝度値の平均値に示される撮影画像の輝度を撮像状態の評価指標値とした撮像状態判定の説明図。

【図13】白飛び判定及び黒写り判定の処理手順、並びに撮影画像の輝度に基づき特定撮像状態に該当すると判定された場合に実行する身体情報取得処理の態様を示すフローチャート。

【図14】撮影画像に映る人の撮像領域、及びそのトリミングの説明図。

【発明を実施するための形態】

【0022】

以下、身体情報取得装置の一実施形態を図面に従って説明する。
図１及び図２に示すように、本実施形態の車両１には、その車室２内を撮影するカメラ３が設けられている。具体的には、本実施形態の車両１は、その車室２内に前後二列のシート４を配置した所謂４ドアセダンとしての構成を有している。また、カメラ３には、例えば、赤外線カメラ等が用いられる。そして、本実施形態の車両１においては、その車室２の前方側（各図中、左側）から各シート４に着座する乗員５を撮像する位置、例えば、センターコンソール６やオーバーヘッドコンソール７等に、そのカメラ３が設置されている。

【0023】

また、図３に示すように、本実施形態の車両１において、カメラ３が映す車室２内の撮影画像Ｖｄは、制御装置１０に入力される。そして、この制御装置１０は、その撮影画像Ｖｄを解析する画像解析部１１と、この画像解析部１１と連携することにより、その画像解析の結果に基づいて、撮影画像Ｖｄに映る車室２内の人、つまりは、車両１の乗員５を認識する人認識部１２を備えている。

【0024】

更に、図３及び図４に示すように、本実施形態の制御装置１０は、これらの画像解析部１１及び人認識部１２と連携することにより、その画像解析の結果に基づいて、その撮影画像Ｖｄに含まれる人Ｈの骨格点ＳＰを検出する骨格点検出部１３を備えている。即ち、骨格点ＳＰは、関節や体表面上の点等、人Ｈの身体を特徴付ける固有の点であり、例えば、頭部、首、肩、腋、肘、手首、手先、腰、股関節、臀部、膝、足首等が該当する。更に、本実施形態の制御装置１０は、この骨格点検出部１３による骨格点ＳＰの検出に基づいて、その撮影画像Ｖｄに映る人Ｈ、つまりは車両１の乗員５についての身体情報ＩＢを取得する身体情報取得部１５を備えている。そして、本実施形態の制御装置１０は、これにより、身体情報取得装置２０としての機能を有するものとなっている。

【0025】

詳述すると、本実施形態の人認識部１２においては、機械学習により生成された推論モデルを用いることにより、その人Ｈの認識処理が実行される。そして、骨格点検出部１３においてもまた、機械学習により生成された推論モデルを用いることにより、その骨格点ＳＰの検出処理が実行される。

【0026】

また、本実施形態の身体情報取得部１５は、撮影画像Ｖｄに映る人Ｈの身体情報として、その車両１の乗員５である人Ｈの体格を判定する体格判定部２１を備えている。具体的には、この体格判定部２１は、車両１のシート４に着座する乗員５が、「大人」であるか、又は、女性等「小柄な大人」に該当するか、或いは、「子供」であるかを判定する。更に、本実施形態の制御装置１０は、この身体情報取得部１５において取得した乗員５の身体情報ＩＢを、図示しない上位の制御装置に出力する。そして、本実施形態の車両１においては、これにより、その身体情報ＩＢに含まれる乗員５の体格情報Ｉｐｈに基づいて、例えば、エアバッグの展開制御等が実行される構成となっている。

【0027】

尚、本実施形態の身体情報取得部１５は、撮影画像Ｖｄに映る人Ｈの身体情報ＩＢとして、その車両１の乗員５である人Ｈの姿勢を判定する姿勢判定部２２を備えている。本実施形態の制御装置１０は、この姿勢判定部２２が実行する姿勢判定の結果に基づき取得した乗員５の姿勢情報Ｉｐｏについてもまた、この乗員５の身体情報ＩＢとして、図示しない上位の制御装置に出力する。そして、本実施形態の車両１においては、この乗員５の姿勢情報Ｉｐｏに基づいて、例えば、エアバッグの展開制御、或いは自動運転制御の許可判定等が実行される構成となっている。

【0028】

また、図１～図３に示すように、本実施形態の車両１は、各シート４の下方に設けられた荷重センサ２５を備えている。尚、この荷重センサ２５は、例えば、そのシートクッション下方の四隅、或いは、その車幅方向内側の隅に位置する２つの角部に配置される。そして、本実施形態の制御装置１０は、この荷重センサ２５の出力信号に基づいて、そのシート４に着座する乗員５のシート荷重ＷＳを検出するシート荷重検出部２６を備えている。

【0029】

更に、本実施形態の制御装置１０においては、このシート荷重検出部２６において検出されるシート荷重ＷＳもまた、その身体情報取得部１５が実行する身体情報ＩＢの取得に利用される。そして、本実施形態の制御装置１０は、これにより、より精度よく、その乗員５の身体情報ＩＢを取得することが可能になっている。

【0030】

（身体情報の取得制御）
次に、本実施形態の制御装置１０が実行する身体情報ＩＢの取得制御、詳しくは、乗員５の体格判定について説明する。

【0031】

図３に示すように、本実施形態の制御装置１０は、骨格点ＳＰの検出に基づき人Ｈの身体情報ＩＢを取得する際、その撮影画像Ｖｄに映る人Ｈの撮像状態ＶＳを判定する撮像状態判定部２７を備えている。具体的には、本実施形態の制御装置１０においては、身体情報ＩＢを取得する人Ｈの撮影画像Ｖｄについて、予め、その撮像状態ＶＳを評価するための評価指標値が設定されている。そして、本実施形態の撮像状態判定部２７は、その撮影画像Ｖｄに映る乗員５の撮像状態ＶＳが、この予め定められた撮像状態ＶＳの評価指標値に基づき特定される特定撮像状態に該当するか否かを判定する構成になっている。

【0032】

また、本実施形態の制御装置１０においては、この撮像状態判定部２７による判定結果が、身体情報取得部１５に入力される。そして、本実施形態の身体情報取得部１５は、この撮像状態ＶＳの判定結果に基づいて、その撮影画像Ｖｄに映る乗員５の身体情報ＩＢを取得する際の処理手順、詳しくは、体格判定部２１による体格判定の処理手順を変更する構成になっている。

【0033】

即ち、図５のフローチャートに示すように、本実施形態の制御装置１０は、車室２内の撮影画像Ｖｄを取得すると（ステップ１０１）、画像解析を実行することにより、その撮影画像Ｖｄに含まれる乗員５の骨格点ＳＰを検出する（ステップ１０２）。次に、制御装置１０は、上記ステップ１０２における骨格点ＳＰの検出処理が正しく行われたか否かを判定する（ステップ１０３）。尚、本実施形態の制御装置１０において、骨格点ＳＰの検出処理が正しく行わない状況には、例えば、カメラ３の視野が遮られた場合、或いはカメラ３の画角から乗員５の体が外れた場合等、その撮影画像Ｖｄから乗員５の骨格点ＳＰが検出できない状況が該当する。更に、制御装置１０は、乗員の骨格点ＳＰが検出できていると判定した場合（ステップ１０３：ＹＥＳ）には、ステップ１０１において取得した撮影画像Ｖｄに映る乗員５の撮像状態ＶＳについて、その評価指標値Ｖｅｉを取得する（ステップ１０４）。そして、本実施形態の制御装置１０は、このステップ１０４において取得した評価指標値Ｖｅｉに基づいて、その撮影画像Ｖｄに映る乗員５の撮像状態ＶＳが特定撮像状態ＶＳ１に該当するか否かの判定処理を実行する（ステップ１０５）。

【0034】

次に、本実施形態の制御装置１０は、上記ステップ１０５における撮像状態判定の結果が、特定撮像状態ＶＳ１に該当しないことを示す場合（ステップ１０６：ＮＯ）には、通常の撮像状態ＶＳ０に対応した身体情報ＩＢの取得処理を実行する（ステップ１０７）。そして、制御装置１０は、上記ステップ１０５における撮像状態判定の結果が、特定撮像状態ＶＳ１に該当することを示す場合（ステップ１０６：ＹＥＳ）には、その特定撮像状態ＶＳ１に対応した身体情報ＩＢの取得処理を実行する（ステップ１０８）。

【0035】

また、本実施形態の制御装置１０は、上記ステップ１０３において、乗員の骨格点ＳＰが検出できていないと判定した場合（ステップ１０３：ＮＯ）、上記ステップ１０４～ステップ１０８の処理を実行しない。そして、この場合、その骨格点ＳＰの非検出状態ＶＳ２にある場合に対応した身体情報ＩＢの取得処理を実行する（ステップ１０９）。

【0036】

具体的には、本実施形態の制御装置１０は、上記ステップ１０７の通常時身体情報取得処理として、上記ステップ１０２において実行した骨格点ＳＰの検出に基づいた身体情報ＩＢの取得処理を実行する。更に、制御装置１０は、上記ステップ１０８の特定時身体情報取得処理として、上記ステップ１０２における骨格点ＳＰの検出に依らない身体情報ＩＢの取得処理を実行する。つまり、上記ステップ１０６において特定撮像状態ＶＳ１に該当すると判定した場合（ステップ１０６：ＹＥＳ）には、その骨格点ＳＰの検出に基づいた身体情報ＩＢの取得処理を実行しない。そして、本実施形態の制御装置１０は、上記ステップ１０９の非検出時身体情報取得処理においてもまた、その骨格点ＳＰの検出に依らない身体情報ＩＢの取得処理を実行する。

【0037】

詳述すると、図３及び図６のフローチャートに示すように、本実施形態の制御装置１０において、身体情報取得部１５は、通常の撮像状態ＶＳ０にある場合（ステップ２０１：ＹＥＳ）、骨格点検出部１３から乗員５の骨格点ＳＰを取得する（ステップ２０２）。また、身体情報取得部１５は、シート荷重検出部２６から、その撮影画像Ｖｄに映る乗員５のシート荷重ＷＳを取得する（ステップ２０３）。更に、身体情報取得部１５は、上記ステップ２０１において取得した骨格点ＳＰ及び上記ステップ２０１において取得した乗員５のシート荷重ＷＳに基づいて、その身体情報ＩＢを取得する乗員５の特徴量ＦＶを算出する（ステップ２０４）。そして、本実施形態の身体情報取得部１５は、このステップ２０３において算出した乗員５の特徴量ＦＶに基づいて、その身体情報ＩＢの取得処理を実行する（ステップ２０５）。

【0038】

具体的には、本実施形態の身体情報取得部１５は、例えば、撮影画像Ｖｄから検出される乗員５の頭部や肩等、その骨格点ＳＰの位置に基づいた特徴量ＦＶを算出する。また、身体情報取得部１５は、例えば、乗員５の肩幅等、その複数の骨格点ＳＰに示される身体寸法に基づいた特徴量ＦＶを算出する。更に、本実施形態の身体情報取得部１５は、乗員５のシート荷重ＷＳに基づいた特徴量ＦＶを算出する。そして、本実施形態の身体情報取得部１５においては、これらの特徴量ＦＶを機械学習により生成された推論モデルに対して入力することにより、その体格判定部２１による乗員５の体格判定が実行される。

【0039】

さらに詳述すると、本実施形態の制御装置１０は、図５に示す上記ステップ１０１～ステップ１０９の処理を周期的に実行する。即ち、本実施形態の制御装置１０においては、その骨格点検出部１３による骨格点ＳＰの検出、身体情報取得部１５による身体情報ＩＢの取得、及び撮像状態判定部２７による撮像状態ＶＳの判定が周期的に実行される。

【0040】

また、図３に示すように、本実施形態の制御装置１０において、身体情報取得部１５は、前回の周期において取得した人Ｈの身体情報ＩＢを、その身体情報ＩＢの前回値ＩＢｂとして保持する前回値保持部２８を備えている。そして、本実施形態の身体情報取得部１５は、その非検出時身体情報取得処理（図５参照、ステップ１０９）として、この身体情報ＩＢの前回値ＩＢｂを今回の周期において取得した身体情報ＩＢとする構成になっている。

【0041】

詳述すると、図７のフローチャートに示すように、本実施形態の身体情報取得部１５は、骨格点ＳＰの非検出状態ＶＳ２にある場合（ステップ３０１：ＹＥＳ）には、先ず、その非検出状態ＶＳ２が所定時間以上継続しているか否かを判定する（ステップ３０２）。更に、身体情報取得部１５は、この骨格点ＳＰの非検出状態ＶＳ２が所定時間以上継続していないと判定した場合（ステップ３０２：ＮＯ）、その前回値保持部２８から身体情報ＩＢの前回値ＩＢｂを読み出す（ステップ３０３）。そして、本実施形態の身体情報取得部１５は、この前回値ＩＢｂを今回の周期における乗員５の身体情報ＩＢとして取得する（ステップ３０４）。

【0042】

具体的には、本実施形態の身体情報取得部１５においては、骨格点ＳＰの非検出状態ＶＳ２にある場合、その体格判定部２１が、前回の周期において実行した体格判定の結果、つまりは、体格情報Ｉｐｈの前回値Ｉｐｈｂを前回値保持部２８から取得する。そして、本実施形態の体格判定部２１は、この前回値Ｉｐｈｂを今回の周期において取得した乗員５の体格情報Ｉｐｈとすることで、前回の周期において実行した体格判定の結果を今回の周期における体格判定に引き継ぐ構成になっている。

【0043】

尚、本実施形態の身体情報取得部１５は、上記ステップ３０２において骨格点ＳＰの非検出状態ＶＳ２が所定時間以上継続していると判定した場合（ステップ３０２：ＹＥＳ）、上記ステップ３０３及びステップ３０４の処理を実行しない。そして、撮影画像Ｖｄに映るシート４上には、身体情報ＩＢを取得する乗員５がいない、つまりは、そのシート４が空席であると推定する構成になっている（ステップ３０５）。

【0044】

さらに詳述すると、本実施形態の制御装置１０においては、撮像状態ＶＳの評価指標値Ｖｅｉとして、その車室２の撮影画像Ｖｄに映る乗員５の「体の動きの大きさ」が設定されている。そして、本実施形態の撮像状態判定部２７は、この乗員５の「体の動きの大きさ」に基づいて、その撮像状態ＶＳの判定処理を実行する構成になっている（図５参照、ステップ１０４及びステップ１０５）。

【0045】

具体的には、図３に示すように、本実施形態の撮像状態判定部２７には、撮影画像Ｖｄに映る人Ｈの体動波形αを生成する体動波形生成部３１が設けられている。そして、本実施形態の撮像状態判定部２７は、この体動波形αに表れる「体の動きの大きさ」を、撮像状態ＶＳの評価指標値Ｖｅｉとして、その特定撮像状態ＶＳ１に該当するか否かの判定を実行する体動判定部３２を備えている。

【0046】

図３及び図８に示すように、本実施形態の体動波形生成部３１は、その記憶領域３１ｍに、上記骨格点検出部１３が周期的に検出する骨格点ＳＰの時系列データＤｔＳＰを保持する。また、体動波形生成部３１は、その記憶領域３１ｍに、上記シート荷重検出部２６が周期的に検出するシート荷重ＷＳの時系列データＤｔＷＳを保持する。そして、本実施形態の体動波形生成部３１は、これらの時系列データＤｔＳＰ，ＤｔＷＳに基づいて、その車室２内の撮影画像Ｖｄに映る乗員５の体動波形αを生成する。

【0047】

図８に示すように、本実施形態の体動波形生成部３１において、骨格点ＳＰの時系列データＤｔＳＰは、例えば、乗員５が映る撮影画像Ｖｄ中のＸ座標ＳＰｘ及びＹ座標ＳＰｙに表される。また、本実施形態の体動波形生成部３１は、この骨格点ＳＰの時系列データＤｔＳＰの周波数解析を行う。具体的には、フィルタ処理の実行により、骨格点ＳＰの時系列データＤｔＳＰに含まれる体動周波数成分αｘ，αｙを抽出する。更に、体動波形生成部３１は、シート荷重ＷＳの時系列データＤｔＷＳについても、同様のフィルタ処理を実行する。そして、本実施形態の体動波形生成部３１は、これにより、その乗員５の体動波形αを生成する構成となっている。

【0048】

また、図３及び図９に示すように、本実施形態の体動判定部３２は、この体動波形生成部３１が出力する体動波形αの振幅Ａを取得する。具体的には、本実施形態の体動判定部３２は、乗員５の体動波形αをデジタル処理することにより、その振幅Ａを取得する。更に、体動判定部３２は、この振幅Ａを所定の体動閾値Ａｔｈと比較する。そして、本実施形態の体動判定部３２は、その体動波形αの振幅Ａが体動閾値Ａｔｈ以上である場合に、その撮影画像Ｖｄに映る乗員５の撮像状態ＶＳが、上記特定撮像状態ＶＳ１に該当する体動発生状態ＶＳ１ａであると判定する構成になっている。

【0049】

即ち、図１０のフローチャートに示すように、本実施形態の撮像状態判定部２７は、乗員５の骨格点ＳＰ及びシート荷重ＷＳの各時系列データＤｔＳＰ，ＤｔＷＳを読み出す（ステップ４０１及びステップ４０２）。そして、撮像状態判定部２７は、これらの各時系列データＤｔＳＰ，ＤｔＷＳに基づいて、乗員５の体動波形αを生成する（ステップ４０３）。

【0050】

尚、本実施形態の制御装置１０においては、骨格点ＳＰの時系列データＤｔＳＰに基づいた乗員５の体動波形αが優先される。そして、シート荷重ＷＳの時系列データＤｔＷＳに基づいた乗員５の体動波形αは、その補完的な位置づけとなっている。

【0051】

更に、撮像状態判定部２７は、上記ステップ４０３において生成した体動波形αの振幅Ａが体動閾値Ａｔｈ以上であるか否かを判定する（ステップ４０４）。そして、撮像状態判定部２７は、その体動波形αの振幅Ａが体動閾値Ａｔｈ以上である場合（Ａ≧Ａｔｈ、ステップ４０４：ＹＥＳ）に、乗員５の撮像状態ＶＳについて、その乗員５に大きな体動が生じた体動発生状態ＶＳ１ａであると判定する（ステップ４０５）。

【0052】

即ち、体動波形αの振幅Ａは、そのまま、撮影画像Ｖｄに映る乗員５の「体の動きの大きさ」を示している。そして、この体動波形αに示される「体の動きの大きさ」が大きい状態、つまり体動発生状態ＶＳ１ａにある場合には、その画像解析による骨格点ＳＰの検出精度が低下する可能性がある。

【0053】

この点を踏まえ、本実施形態の制御装置１０においては、その撮像状態判定部２７に設けられた体動波形生成部３１及び体動判定部３２によって、撮影画像Ｖｄに映る乗員５の撮像状態ＶＳが、このような体動発生状態ＶＳ１ａにあることが検知される。そして、本実施形態の制御装置１０は、この撮像状態判定部２７による撮像状態判定の結果に基づいて、その骨格点ＳＰの検出に依らない特定時身体情報取得処理（図５参照、ステップ１０８）を実行する構成になっている。

【0054】

詳述すると、本実施形態の制御装置１０において、身体情報取得部１５は、このような体動発生状態ＶＳ１ａにある場合、前回の周期において取得した人Ｈの身体情報ＩＢ、つまりは身体情報ＩＢの前回値ＩＢｂを読み出す（ステップ４０６）。更に、本実施形態の身体情報取得部１５は、この前回値ＩＢｂを今回の周期における乗員５の身体情報ＩＢとする（ステップ４０７）。そして、本実施形態の制御装置１０は、これにより、その前回の周期において取得した乗員５の身体情報ＩＢを今回の周期に引き継ぐことで、その乗員５の体動を要因とした誤判別の発生を回避する構成になっている。

【0055】

具体的には、本実施形態の身体情報取得部１５においては、体動発生状態ＶＳ１ａにある場合、その体格判定部２１が、前回の周期において実行した体格判定の結果、つまりは、体格情報Ｉｐｈの前回値Ｉｐｈｂを前回値保持部２８から取得する。そして、本実施形態の体格判定部２１は、この前回値Ｉｐｈｂを今回の周期において取得した乗員５の体格情報Ｉｐｈとすることで、その前回の周期における判定結果を今回の周期に引き継ぐ構成となっている。

【0056】

尚、本実施形態の撮像状態判定部２７は、上記ステップ４０４において、体動波形αの振幅Ａが体動閾値Ａｔｈより小さいと判定した場合（Ａ＜Ａｔｈ、ステップ４０４：ＮＯ）、上記ステップ４０５～ステップ４０７の処理を実行しない。更に、撮像状態判定部２７は、この場合、撮影画像Ｖｄに映る乗員５に「大きな体動はない」と判定する（体動なし、ステップ４０８）。そして、本実施形態の制御装置１０は、これにより、撮影画像Ｖｄに映る乗員５の撮像状態ＶＳが通常の撮像状態ＶＳ０にあると判定されることで、その通常時身体情報取得処理が実行される構成になっている（図５参照、ステップ１０７）。

【0057】

また、本実施形態の制御装置１０においては、上記のような人Ｈの「体の動きの大きさ」とともに、その撮像状態ＶＳの評価指標値Ｖｅｉとして、撮影画像Ｖｄの「輝度」が取得される。そして、本実施形態の撮像状態判定部２７は、この撮影画像Ｖｄの「輝度」に基づいて、その撮像状態ＶＳの判定処理を実行する構成になっている（図５参照、ステップ１０４及びステップ１０５）。

【0058】

即ち、撮影画像Ｖｄの「輝度」が高い場合には、撮影画像Ｖｄが明るくなることで、その撮影画像Ｖｄに映る人Ｈの像が不鮮明になる可能性がある。特に、赤外線カメラを用いた場合等、その撮影画像Ｖｄがモノクロ画像である場合には、この撮影画像Ｖｄに含まれる人Ｈの像が全体的に白色で表示される所謂「白飛び」状態となることで、その傾向が、より顕著に現れやすい。そして、これにより、その画像解析による骨格点ＳＰの検出精度が低下するおそれがある。

【0059】

また、撮影画像Ｖｄの「輝度」が低い場合にも、撮影画像Ｖｄが暗くなることで、その撮影画像Ｖｄに映る人Ｈの像が不鮮明になる可能性がある。更に、この場合についてもまた、そのモノクロの撮影画像Ｖｄに含まれる人Ｈの像が全体的に黒色で表示される所謂「黒写り」状態となる。そして、これにより、その画像解析による骨格点ＳＰの検出精度が低下するおそれがある。

【0060】

この点を踏まえ、本実施形態の撮像状態判定部２７は、撮影画像Ｖｄの「輝度」に基づいた撮像状態ＶＳの判定処理を実行する。そして、撮影画像Ｖｄの「輝度」が「高すぎる場合」又は「低すぎる場合」には、骨格点ＳＰの検出に基づいた身体情報ＩＢの取得を行わないことで、その誤判別による精度の低下を回避する構成になっている。

【0061】

詳述すると、図３に示すように、本実施形態の撮像状態判定部２７には、撮影画像Ｖｄを構成するピクセル毎のピクセル輝度値Ｌを検出するピクセル輝度値検出部３３が設けられている。更に、本実施形態の制御装置１０においては、このピクセル輝度値Ｌを用いて、その撮影画像Ｖｄの「輝度」が表現される。そして、本実施形態の撮像状態判定部２７は、このピクセル輝度値Ｌに表される撮影画像Ｖｄの「輝度」を撮像状態ＶＳの評価指標値Ｖｅｉとして、その特定撮像状態ＶＳ１に該当するか否かの判定を実行する白飛び判定部３４及び黒写り判定部３５を備えている。

【0062】

図１１及び図１２に示すように、本実施形態のピクセル輝度値検出部３３は、撮影画像Ｖｄの「輝度」を示す値として、そのピクセル輝度値Ｌの平均値Ｌａｖを演算する。尚、図１１は、横軸をピクセル輝度値Ｌ、縦軸をピクセル数ｎとして、その撮影画像Ｖｄにおけるピクセル輝度値Ｌの分布を示すグラフである。また、本実施形態の撮像状態判定部２７において、白飛び判定部３４は、このピクセル輝度値検出部３３が出力するピクセル輝度値Ｌの平均値Ｌａｖを所定の高輝度閾値ＬｔｈＨと比較する。そして、この白飛び判定部３４は、そのピクセル輝度値Ｌの平均値Ｌａｖが高輝度閾値ＬｔｈＨ以上である場合に、その撮影画像Ｖｄに映る乗員５の撮像状態ＶＳが、上記特定撮像状態ＶＳ１に該当する白飛び状態ＶＳ１ｂであると判定する。

【0063】

また、黒写り判定部３５は、そのピクセル輝度値Ｌの平均値Ｌａｖを所定の低輝度閾値ＬｔｈＬと比較する。そして、この黒写り判定部３５は、そのピクセル輝度値Ｌの平均値Ｌａｖが低輝度閾値ＬｔｈＬ以下である場合に、その撮影画像Ｖｄに映る乗員５の撮像状態ＶＳが、上記特定撮像状態ＶＳ１に該当する黒写り状態ＶＳ１ｃであると判定する構成になっている。

【0064】

さらに詳述すると、図３及び図１３のフローチャートに示すように、本実施形態の撮像状態判定部２７は、車室２内の撮影画像Ｖｄを取得すると（ステップ５０１）、この撮影画像Ｖｄに映る人Ｈ、つまりは乗員５の撮像領域γをトリミングする（ステップ５０２）。

【0065】

図１４に示すように、本実施形態の撮像状態判定部２７において、この乗員５の撮像領域γを切り出すトリミング処理は、乗員５の上半身、少なくとも頭部と胴体部を含むかたちで行われる。

【0066】

更に、図３及び図１３のフローチャートに示すように、本実施形態の撮像状態判定部２７においては、そのピクセル輝度値検出部３３が、この乗員５の撮像領域γにおけるピクセル輝度値Ｌを検出し、及び、その平均値Ｌａｖを演算する。そして、本実施形態の撮像状態判定部２７は、これにより、その乗員５が映る撮影画像Ｖｄの「輝度」を取得する（ステップ５０３）。

【0067】

次に、本実施形態の撮像状態判定部２７においては、その白飛び判定部３４が、上記ステップ５０３において撮影画像Ｖｄの「輝度」として演算されたピクセル輝度値Ｌの平均値Ｌａｖを高輝度閾値ＬｔｈＨと比較する（ステップ５０４）。そして、白飛び判定部３４は、ピクセル輝度値Ｌの平均値Ｌａｖが高輝度閾値ＬｔｈＨ以上である場合（Ｌａｖ≧ＬｔｈＨ、ステップ５０４：ＹＥＳ）に、その撮影画像Ｖｄに映る乗員５の撮像状態ＶＳを白飛び状態ＶＳ１ｂと判定する（ステップ５０５）。

【0068】

更に、上記ステップ５０４において、高輝度閾値ＬｔｈＨよりも小さいと判定された場合（Ｌａｖ＜ＬｔｈＨ、ステップ５０４：ＮＯ）には、黒写り判定部３５が、そのピクセル輝度値Ｌの平均値Ｌａｖを低輝度閾値ＬｔｈＬと比較する（ステップ５０６）。そして、黒写り判定部３５は、そのピクセル輝度値Ｌの平均値Ｌａｖが低輝度閾値ＬｔｈＬ以下である場合（Ｌａｖ≦ＬｔｈＬ、ステップ５０６：ＹＥＳ）に、その撮影画像Ｖｄに映る乗員５の撮像状態ＶＳを黒写り状態ＶＳ１ｂと判定する（ステップ５０７）。

【0069】

また、本実施形態の制御装置１０においては、このような白飛び状態ＶＳ１ｂ又は黒写り状態ＶＳ１ｃとなることにより特定撮像状態ＶＳ１に該当すると判定された場合、身体情報取得部１５が乗員５のシート荷重ＷＳを取得する（ステップ５０８）。そして、本実施形態の身体情報取得部１５は、このシート荷重ＷＳに基づいて、その撮影画像Ｖｄに映る乗員５について、身体情報ＩＢの取得を実行する構成になっている（ステップ５０９）。

【0070】

具体的には、本実施形態の身体情報取得部１５においては、この場合、その体格判定部２１が、シート荷重ＷＳを所定の閾値と比較することにより、乗員５の体格判定を実行する。そして、本実施形態の身体情報取得部１５は、これにより、その乗員５の体格情報Ｉｐｈを取得する構成となっている。

【0071】

尚、本実施形態の撮像状態判定部２７は、そのピクセル輝度値Ｌの平均値Ｌａｖが低輝度閾値ＬｔｈＬと高輝度閾値ＬｔｈＨとの間にある場合（ＬｔｈＬ＜Ｌａｖ＜ＬｔｈＨ、ステップ５０６：ＮＯ）、通常の撮像状態ＶＳ０にあると判定する（ステップ５１０）。そして、本実施形態の制御装置１０においては、これにより、その身体情報取得部１５において、通常時身体情報取得処理、つまりは骨格点ＳＰの検出に基づいた身体情報ＩＢの取得が実行される構成になっている（図５参照、ステップ１０７）。

【0072】

次に、本実施形態の作用について説明する。
身体情報取得装置２０としての機能を有する制御装置１０においては、車室２内の撮影画像Ｖｄに映る乗員５の撮像状態ＶＳが、予め定められた評価指標値Ｖｅｉに基づき特定される特定撮像状態ＶＳ１に該当するか否かを判定される。そして、このような特定撮像状態ＶＳ１に該当する場合には、その骨格点ＳＰの検出に基づいた乗員５に関する身体情報ＩＢの取得が実行されない。

【0073】

次に、本実施形態の効果について説明する。
（１）身体情報取得装置２０としての制御装置１０は、撮影画像Ｖｄに含まれる人Ｈの骨格点ＳＰを検出する骨格点検出部１３を備える。また、制御装置１０は、骨格点ＳＰの検出に基づいて人Ｈの身体情報ＩＢを取得する身体情報取得部１５を備える。更に、制御装置１０は、撮影画像Ｖｄに映る人Ｈの撮像状態ＶＳが予め定められた評価指標値Ｖｅｉに基づき特定される特定撮像状態ＶＳ１に該当するか否かを判定する撮像状態判定部２７を備える。そして、身体情報取得部１５は、特定撮像状態ＶＳ１に該当する場合には、その骨格点ＳＰの検出に基づいた身体情報ＩＢの取得を実行しない。

【0074】

上記構成によれば、撮影画像Ｖｄに映る人Ｈの撮像状態ＶＳを要因として骨格点ＳＰの検出精度が低下するような状態を特定撮像状態ＶＳ１に設定して、このような場合には、その画像解析による骨格点ＳＰの検出を身体情報ＩＢの取得に利用しないことができる。そして、これにより、誤判別の発生を回避して、精度よく、その人Ｈの身体情報ＩＢを取得することができる。

【0075】

（２）撮像状態判定部２７には、撮影画像Ｖｄに映る人Ｈの体動波形αを生成する体動波形生成部３１が設けられる。更に、撮像状態判定部２７は、この体動波形αに表れる「体の動きの大きさ」を、撮像状態ＶＳの評価指標値Ｖｅｉとして、その人Ｈの撮像状態ＶＳが特定撮像状態ＶＳ１に該当するか否かの判定を実行する体動判定部３２を備える。そして、体動判定部３２は、「体の動きの大きさ」を示す体動波形αの振幅Ａが体動閾値Ａｔｈ以上である場合（Ａ≧Ａｔｈ）に、その人Ｈの撮像状態ＶＳが特定撮像状態ＶＳ１に該当すると判定する。

【0076】

即ち、撮影画像Ｖｄに映る人Ｈの「体の動きの大きさ」が大きい場合には、その画像解析による骨格点ＳＰの検出精度が低下する可能性がある。この点、上記構成によれば、人Ｈの体動波形αから、その「体の動きの大きさ」が大きい体動発生状態ＶＳ１ａが特定される。そして、この体動発生状態ＶＳ１ａを特定撮像状態ＶＳ１として、その画像解析による骨格点ＳＰの検出を身体情報ＩＢの取得に利用しないことにより、誤判別の発生を抑制することができる。

【0077】

更に、体動発生状態ＶＳ１ａを、例えば、前かがみや上体ひねり等、人Ｈが極端な姿勢をとることで、そのカメラ３の画角から外れてしまうような、より大きな「体の動き」を前兆と捉えて、これに伴う判定精度の低下及び誤判別の発生を回避することができる。そして、これにより、より精度よく、その人Ｈの身体情報ＩＢを取得することができる。

【0078】

（３）撮像状態判定部２７には、撮影画像Ｖｄを構成するピクセル毎のピクセル輝度値Ｌを検出するピクセル輝度値検出部３３が設けられる。また、撮像状態判定部２７は、そのピクセル輝度値Ｌの平均値Ｌａｖに表される撮影画像Ｖｄの「輝度」を撮像状態ＶＳの評価指標値Ｖｅｉとして、その人Ｈの撮像状態ＶＳが特定撮像状態ＶＳ１に該当するか否かの判定を実行する白飛び判定部３４を備える。そして、白飛び判定部３４は、ピクセル輝度値Ｌの平均値Ｌａｖが所定の高輝度閾値ＬｔｈＨ以上である場合（Ｌａｖ≧ＬｔｈＨ）に、その人Ｈの特定撮像状態ＶＳ１に該当すると判定する。

【0079】

即ち、撮影画像Ｖｄの「輝度」が高い場合には、撮影画像Ｖｄが明るくなることで、その撮影画像Ｖｄに映る人Ｈの像が不鮮明になる可能性がある。そして、これにより、その画像解析による骨格点ＳＰの検出精度が低下するおそれがある。

【0080】

この点、上記構成によれば、ピクセル輝度値の平均値Ｌａｖに表される撮影画像Ｖｄの「輝度」を撮像状態ＶＳの評価指標値Ｖｅｉとして、その「輝度」が高すぎる白飛び状態ＶＳ１ｂが特定される。そして、この白飛び状態ＶＳ１ｂを特定撮像状態ＶＳ１として、その画像解析による骨格点ＳＰの検出を身体情報ＩＢの取得に利用しないことにより、その誤判別の発生を抑制することができる。

【0081】

（４）撮像状態判定部２７は、ピクセル輝度値Ｌの平均値Ｌａｖに表される撮影画像Ｖｄの「輝度」を撮像状態ＶＳの評価指標値Ｖｅｉとして、その撮像状態ＶＳが特定撮像状態ＶＳ１に該当するか否かの判定を実行する黒写り判定部３５を備える。そして、黒写り判定部３５は、ピクセル輝度値Ｌの平均値Ｌａｖが所定の低輝度閾値ＬｔｈＬ以下である場合（Ｌａｖ≦ＬｔｈＬ）に、その人Ｈの撮像状態ＶＳが特定撮像状態ＶＳ１に該当すると判定する。

【0082】

即ち、撮影画像Ｖｄの「輝度」が低い場合にも、撮影画像Ｖｄが暗くなることで、その撮影画像Ｖｄに映る人Ｈの像が不鮮明になる可能性がある。そして、これにより、その画像解析による骨格点ＳＰの検出精度が低下するおそれがある。

【0083】

この点、上記構成によれば、ピクセル輝度値の平均値Ｌａｖに表される撮影画像Ｖｄの「輝度」を撮像状態ＶＳの評価指標値Ｖｅｉとして、その「輝度」が低すぎる黒写り状態ＶＳ１ｃが特定される。そして、この黒写り状態ＶＳ１ｃを特定撮像状態ＶＳ１として、その画像解析による骨格点ＳＰの検出を身体情報ＩＢの取得に利用しないことにより、その誤判別の発生を抑制することができる。

【0084】

（５）撮像状態判定部２７は、撮影画像Ｖｄに映る人Ｈの撮像領域γをトリミングすることにより、その撮影画像Ｖｄの「輝度」に基づいた特定撮像状態ＶＳ１の判定を実行する。これにより、撮影画像Ｖｄに映る人Ｈの撮像状態ＶＳについて、より精度よく、その撮影画像Ｖｄの「輝度」に基づいた撮像状態判定を実行することができる。

【0085】

（６）身体情報取得部１５は、撮影画像Ｖｄに映る人Ｈの身体情報ＩＢとして、車両１のシート４に着座する乗員５の体格情報Ｉｐｈを取得する。
即ち、画像解析による骨格点ＳＰの検出に基づいて乗員５の体格情報Ｉｐｈを判定することにより、例えば、スライド位置やリクライニング位置、或いはリフト位置等、そのシート位置に依らず、精度よく、その乗員５の体格を判定することができる。また、乗員５の姿勢が変化した場合であっても、精度よく、その体格を判定することができる。更に、骨格点ＳＰの検出精度が低下するような特定撮像状態ＶＳ１にある場合には、その画像解析による骨格点ＳＰの検出を身体情報ＩＢの取得に利用しないことにより、誤判別の発生を回避することができる、そして、これにより、精度よく、その乗員５の体格情報Ｉｐｈを取得することができる。

【0086】

（７）体動波形生成部３１は、骨格点ＳＰの時系列データＤｔＳＰに基づいて、人Ｈの体動波形αを生成する。
上記構成によれば、画像解析による骨格点ＳＰの検出と併せて、その撮影画像Ｖｄに映る人Ｈの体動波形αを生成することができる。そして、これにより、新たな構成を追加することなく、人Ｈの体動波形αを生成することができる。

【0087】

（８）制御装置１０は、乗員５のシート荷重ＷＳを検出するシート荷重検出部２６を備える。そして、体動波形生成部３１は、そのシート荷重ＷＳの時系列データＤｔＷＳに基づいて、乗員５の体動波形を生成する。

【0088】

上記構成によれば、車両１の多くに採用されているシート４の荷重センサ２５を利用して、そのシート４に着座する人Ｈ、つまりは乗員５の体動波形αを生成することができる。そして、これにより、新たな構成の追加を抑えて、そのシート４に着座する乗員５の体動波形αを生成することができる。

【0089】

（９）制御装置１０は、骨格点検出部１３による骨格点ＳＰの検出、身体情報取得部１５による身体情報ＩＢの取得、及び撮像状態判定部２７による撮像状態ＶＳの判定を周期的に実行する。また、身体情報取得部１５は、前回の周期において取得した身体情報ＩＢを、その身体情報ＩＢの前回値ＩＢｂとして保持する前回値保持部２８を備える。そして、身体情報取得部１５は、体動波形αに表れる「体の動きの大きさ」に基づいて特定撮像状態ＶＳ１に該当すると判定された体動発生状態ＶＳ１ａにある場合には、その身体情報ＩＢの前回値ＩＢｂを今回の周期において取得した身体情報ＩＢとする。

【0090】

即ち、画像解析による骨格点ＳＰの検出精度が低下する前の判定結果を用いることで、誤判別の発生を回避することができる。そして、前回の「判定結果」である身体情報ＩＢの前回値ＩＢｂを保持する構成とすることで、その判定に用いる状態値の今回値と前回値が混在する状況を回避することができる。

【0091】

（１０）身体情報取得部１５は、撮影画像Ｖｄの「輝度」に基づいて特定撮像状態に該当すると判定された白飛び状態ＶＳ１ｂ又は黒写り状態ＶＳ１ｃにある場合には、シート荷重ＷＳに基づいて、乗員５の身体情報ＩＢを取得する。これにより、画像解析による骨格点ＳＰの検出精度が低下した状態でも、精度よく、その乗員５の身体情報ＩＢを取得することができる。

【0092】

（１１）身体情報取得部１５は、骨格点ＳＰの検出に基づき算出される特徴量ＦＶを機械学習により生成された推論モデルに入力することにより、人Ｈの身体情報ＩＢを取得する。これにより、精度よく、その画像解析による骨格点ＳＰの検出に基づいて人Ｈの身体情報ＩＢを取得することができる。

【0093】

（１２）身体情報取得部１５は、シート荷重ＷＳを特徴量ＦＶに用いる。これにより、より精度よく、その機械学習により生成された推論モデルに基づいて、人Ｈの身体情報ＩＢを取得することができる。

【0094】

なお、上記実施形態は、以下のように変更して実施することができる。上記実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

【0095】

・上記実施形態では、撮影画像Ｖｄに含まれる骨格点ＳＰの位置、複数の骨格点ＳＰに示される身体寸法、及び乗員５のシート荷重ＷＳに基づいて人Ｈの特徴量ＦＶを算出する。そして、その特徴量ＦＶを機械学習により生成された推論モデルに対して入力することにより、撮影画像Ｖｄに映る人Ｈの身体情報ＩＢ、詳しくは、その体格判定を実行することとした。しかし、これに限らず、統計的な手法やマップ演算を用いる等により、その画像解析による骨格点ＳＰの検出に基づいた身体情報ＩＢの取得を実行する構成に適用してもよい。

【0096】

・また、シート荷重ＷＳを検出するための荷重センサ２５を有しない構成に具体化してもよい。このような構成では、特定撮像状態ＶＳ１に該当することにより骨格点ＳＰの検出に基づいた身体情報ＩＢの取得を実行しない場合、例えば、前回の周期に取得した身体情報ＩＢの前回値ＩＢｂを今回の周期において取得した身体情報ＩＢとするとよい。そして、体動波形αの生成についてもまた、骨格点ＳＰの時系列データＤｔＳＰに基づいて行うとよい。

【0097】

・例えば、可視光カメラ等を用いる等、カメラ３の形式は、任意に変更してもよい。そして、その設置する位置についてもまた、任意に変更してもよい。
・また、身体情報ＩＢの取得に利用する骨格点ＳＰや身体寸法については、任意に設定してもよい。

【0098】

・上記実施形態では、車両１に設けられたカメラ３によって、車室２内の乗員５、詳しくは、そのシート４に着座する乗員５を撮影する。そして、その撮影画像Ｖｄに映る人Ｈとしての乗員５について、その画像解析による骨格点ＳＰの検出に基づいた身体情報ＩＢの取得を実行する構成に具体化した。しかし、これに限らず、例えば、乗り合い車両等、立位姿勢で乗車する車両１の乗員５について、その身体情報ＩＢを取得する構成としてもよい。そして、例えば、路上や建物の室内について、その撮影画像Ｖｄに映る人Ｈの身体情報ＩＢを取得する構成に適用してもよい。

【0099】

・上記実施形態では、特定撮像状態ＶＳ１に該当する撮像状態ＶＳとして、体動波形αに表れる「体の動きの大きさ」に基づいた体動発生状態ＶＳ１ａ、撮影画像Ｖｄの「輝度」に基づいた白飛び状態ＶＳ１ｂ及び黒写り状態ＶＳ１ｃが特定されることとした。しかし、これに限らず、「体の動きの大きさ」に基づいた撮像状態判定、又は撮影画像Ｖｄの「輝度」に基づいた撮像状態判定の何れか一方を行う構成としてもよい。また、撮影画像Ｖｄの「輝度」に基づく撮像状態判定についてもまた、白飛び状態ＶＳ１ｂ又は黒写り状態ＶＳ１ｃの何れか一方のみについて、その該当判定を行う構成としてもよい。更に、白飛び状態ＶＳ１ｂ又は黒写り状態ＶＳ１ｃの何れか一方の該当判定を体動発生状態ＶＳ１ａの該当判定と組み合わせる構成であってもよい。そして、これらの体動発生状態ＶＳ１ａ、白飛び状態ＶＳ１ｂ及び黒写り状態ＶＳ１ｃの該当判定と、他の撮像状態ＶＳの評価指標値Ｖｅｉに基づいた特定撮像状態ＶＳ１の該当判定とを組み合わせる構成としてもよい。

【0100】

・上記実施形態では、乗員５の撮像領域γを切り出すトリミング処理は、乗員５の上半身、少なくとも頭部と胴体部を含むかたちで行われることとしたが、その撮像領域γの設定範囲は任意に変更してもよい。例えば、そのトリミングする撮像領域γを楕円形状とする等、撮像領域γの切り出し形状を変更してもよい。また、複数の撮像領域γを切り出す構成としてもよい。そして、乗員５の撮像領域γをトリミングすることなく、撮影画像Ｖｄの全体的な「輝度」に基づいて、その撮像状態判定を行う構成であってもよい。

【0101】

・上記実施形態では、ピクセル輝度値の平均値Ｌａｖを、その撮影画像Ｖｄの「輝度」に表す値に用いることとしたが、ピクセル輝度値の中央値や分布のピーク値を用いる構成としてもよい。

【0102】

次に、上記実施形態及び変更例から把握できる技術的思想について記載する。
（イ）前記体動波形生成部は、前記骨格点の時系列データに基づいて、前記体動波形を生成すること、を特徴とする。

【0103】

上記構成によれば、画像解析による骨格点の検出と併せて、その撮影画像に映る人の体動波形を生成することができる。そして、これにより、新たな構成を追加することなく、人の体動波形を生成することができる。

【0104】

（ロ）前記乗員のシート荷重を検出するシート荷重検出部を備え、前記体動波形生成部は、前記シート荷重の時系列データに基づいて、前記体動波形を生成すること、を特徴とする。

【0105】

上記構成によれば、車両の多くに採用されているシートの荷重センサを利用して、そのシートに着座する人、つまりは乗員の体動波形を生成することができる。そして、これにより、新たな構成の追加を抑えて、そのシートに着座する乗員の体動波形を生成することができる。

【0106】

（ハ）前記撮影画像を構成するピクセル毎のピクセル輝度値を検出するピクセル輝度値検出部を備え、前記撮像状態判定部は、前記ピクセル輝度値の平均値、中間値、又はピーク値の何れかを前記撮影画像の輝度とすること、を特徴とする。これにより、定量的に、その撮影画像の「輝度」を撮像状態の評価指標値とした特定撮像状態の該当判定を行うことができる。

【0107】

（ニ）前記骨格点の検出、前記身体情報の取得、及び前記撮像状態の判定は周期的に実行されるものであって、前記身体情報取得部は、前回の周期において取得した前記身体情報を該身体情報の前回値として保持する前回値保持部を備え、前記特定撮像状態に該当する場合には、前回の周期において取得した前記身体情報の前回値を今回の周期において取得した前記身体情報とすること、を特徴とする。

【0108】

即ち、画像解析による骨格点の検出精度が低下する前の判定結果を用いることで、誤判別の発生を回避することができる。そして、前回の「判定結果」である身体情報の前回値を保持する構成とすることで、その判定に用いる状態値の今回値と前回値が混在する状況を回避することができる。

【0109】

（ホ）前記乗員のシート荷重を検出するシート荷重検出部を備え、前記身体情報取得部は、前記特定撮像状態に該当する場合には、前記シート荷重に基づいて、前記人の身体情報を取得すること、を特徴とする。これにより、画像解析による骨格点の検出精度が低下した状態でも、精度よく、その乗員の身体情報を取得することができる。

【0110】

（ヘ）前記身体情報取得部は、前記撮影画像の輝度に基づいて前記特定撮像状態に該当すると判定された場合には、前記シートの荷重に基づいて前記人の身体情報を取得し、前記体の動きの大きさに基づき前記特定撮像状態に該当すると判定された場合には、前記前回の周期において取得した前記身体情報の前回値を今回の周期において取得した前記身体情報とすること、を特徴とする。

【0111】

即ち、体の動きの大きさに基づき特定撮像状態に該当すると判定された場合には、シートの荷重に基づいた人の身体情報の取得についても同様に、その精度が低下する可能性がある。従って、このような場合には、画像解析による骨格点の検出精度が低下する前の判定結果を用いることにより、誤判別の発生を回避して、精度よく、その身体情報を取得することができる。

【0112】

（ト）前記身体情報取得部は、前記骨格点の検出に基づき算出される特徴量を機械学習により生成された推論モデルに入力することにより、前記人の身体情報を取得すること、を特徴とする。これにより、精度よく、その画像解析による骨格点の検出に基づいて人の身体情報を取得することができる。

【0113】

（チ）前記身体情報取得部は、前記シート荷重を前記特徴量に用いること、を特徴とする。これにより、より精度よく、その機械学習により生成された推論モデルに基づいて、人の身体情報を取得することができる。

【符号の説明】

【0114】

１０…制御装置
１３…骨格点検出部
１５…身体情報取得部
２０…身体情報取得装置
２７…撮像状態判定部
Ｖｄ…撮影画像
Ｈ…人
ＳＰ…骨格点
ＩＢ…身体情報
Ｖｅｉ…評価指標値
ＶＳ…撮像状態
ＶＳ１…特定撮像状態

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】