特許 6982767 検知装置、学習装置、検知方法、学習方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6982767

(24)【登録日】2021年11月25日

(45)【発行日】2021年12月17日

(54)【発明の名称】検知装置、学習装置、検知方法、学習方法、およびプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20211206BHJP

   G06T 7/00 20170101ALI20211206BHJP

   G06T 7/70 20170101ALI20211206BHJP

【ＦＩ】

   G06T1/00 340B

   G06T1/00 330Z

   G06T7/00 350B

   G06T7/00 660Z

   G06T7/70 B

【請求項の数】12

【全頁数】22

(21)【出願番号】特願2017-70739(P2017-70739)

(22)【出願日】2017年3月31日

(65)【公開番号】特開2018-173757(P2018-173757A)

(43)【公開日】2018年11月8日

【審査請求日】2020年3月5日

【前置審査】

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002952

【氏名又は名称】特許業務法人鷲田国際特許事務所

(72)【発明者】

【氏名】乘冨 修蔵

(72)【発明者】

【氏名】新 浩治

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２００３−１４１５１３（ＪＰ，Ａ）

【文献】 国際公開第２０１６／１６４７９３（ＷＯ，Ａ１）

【文献】 特開２０１３−１４９２０５（ＪＰ，Ａ）

【文献】 特開２０１０−０６７０５８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／９０

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

撮像装置から取得した車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記第１の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第２の領域画像とを切り出す画像切り出し部と、
前記第１の領域画像の特徴量と前記第２の領域画像の特徴量とに基づき、前記乗員の身体の第１の部位の向きを検知する検知部と、
を備え、
前記第１の部位は、顔または頭部であり、
前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも１つであり、
前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である検知装置。

【請求項2】

第１のデータ提供装置から取得した１つの車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記第１の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第２の領域画像とを切り出す画像切り出し部と、
第２のデータ提供装置から取得した前記乗員の前記身体の、前記第１の部位を含まない第２の部位の向きと、前記第１の領域画像の特徴量との相関関係、および、第２のデータ提供装置から取得した前記第２の部位の向きと、前記第２の領域画像の特徴量との相関関係を学習させた学習モデルを生成する学習モデル生成部と、
を備え、
前記第１の部位は、顔または頭部であり、
前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも１つであり、
前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である学習装置。

【請求項3】

検知装置に実行させる検知方法であって、
撮像装置から取得した１つの車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記第１の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第２の領域画像とを切り出すステップと、
前記第１の領域画像の特徴量と前記第２の領域画像の特徴量とに基づき、前記乗員の身体の第１の部位の向きを検知するステップと、
を備え、
前記第１の部位は、顔または頭部であり、
前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも１つであり、
前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である検知方法。

【請求項4】

学習装置に実行させる学習方法であって、
第１のデータ提供装置から取得した車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記第１の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第２の領域画像とを切り出すステップと、
第２のデータ提供装置から取得した前記乗員の前記身体の、前記第１の部位を含まない第２の部位の向きと、前記第１の領域画像の特徴量との相関関係、および、第２のデータ提供装置から取得した前記第２の部位の向きと、前記第２の領域画像の特徴量との相関関係を学習させた学習モデルを生成するステップと、
を備え、
前記第１の部位は、顔または頭部であり、
前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも１つであり、
前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である、学習方法。

【請求項5】

検知装置が備えるコンピュータによって実行されるプログラムであって、前記コンピュータに、
撮像装置から取得した１つの車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記第１の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第２の領域画像とを切り出す処理と、
前記第１の領域画像の特徴量と前記第２の領域画像の特徴量とに基づき、前記乗員の身体の第１の部位の向きを検知する処理と、
を実行させ、
前記第１の部位は、顔または頭部であり、
前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも１つであり、
前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である、プログラム。

【請求項6】

学習装置が備えるコンピュータによって実行されるプログラムであって、前記コンピュータに、
第１のデータ提供装置から取得した１つの車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記第１の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第２の領域画像とを切り出す処理と、
第２のデータ提供装置から取得した前記乗員の前記身体の、前記第１の部位を含まない第２の部位の向きと、前記第１の領域画像の特徴量との相関関係、および、第２のデータ提供装置から取得した前記第２の部位の向きと、前記第２の領域画像の特徴量との相関関係を学習させた学習モデルを生成する処理と、
を実行させ、
前記第１の部位は、顔または頭部であり、
前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも１つであり、
前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である、プログラム。

【請求項7】

撮像装置から取得した１つの車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記乗員の前記身体の、前記第１の部位を含まない第２の部位の少なくとも一部が映りこんだ第２の領域画像とを切り出す画像切り出し部と、
前記第１の領域画像の特徴量と前記第２の領域画像の特徴量とに基づき、前記乗員の前記身体の前記第１の部位の向きを検知する検知部と、
を備え、
前記第１の部位は、顔または頭部であり、
前記第２の部位は、肩、胸、または上半身であり、
前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記第２の領域画像における前記第２の部位の面積である、検知装置。

【請求項8】

第１のデータ提供装置から取得した１つの車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記乗員の前記身体の、前記第１の部位を含まない第２の部位の少なくとも一部が映りこんだ第２の領域画像とを切り出す画像切り出し部と、
第２のデータ提供装置から取得した前記第２の部位の向きと、前記第１の領域画像の特徴量との相関関係、および、第２のデータ提供装置から取得した前記第２の部位の向きと、前記第２の領域画像の特徴量との相関関係を学習させた学習モデルを生成する学習モデル生成部と、
を備え、
前記第１の部位は、顔または頭部であり、
前記第２の部位は、肩、胸、または上半身であり、
前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記第２の領域画像における前記第２の部位の面積である、学習装置。

【請求項9】

検知装置に実行させる検知方法であって、
撮像装置から取得した１つの車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記乗員の前記身体の、前記第１の部位を含まない第２の部位の少なくとも一部が映りこんだ第２の領域画像とを切り出すステップと、
前記第１の領域画像の特徴量と前記第２の領域画像の特徴量とに基づき、前記乗員の身体の第１の部位の向きを検知するステップと、
を備え、
前記第１の部位は、顔または頭部であり、
前記第２の部位は、肩、胸、または上半身であり、
前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記第２の領域画像における前記第２の部位の面積である、検知方法。

【請求項10】

学習装置に実行させる学習方法であって、
第１のデータ提供装置から取得した１つの車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記乗員の前記身体の、前記第１の部位を含まない第２の部位の少なくとも一部が映りこんだ第２の領域画像とを切り出すステップと、
第２のデータ提供装置から取得した前記第２の部位の向きと、前記第１の領域画像の特徴量との相関関係、および、第２のデータ提供装置から取得した前記第２の部位の向きと、前記第２の領域画像の特徴量との相関関係を学習させた学習モデルを生成するステップと、
を備え、
前記第１の部位は、顔または頭部であり、
前記第２の部位は、肩、胸、または上半身であり、
前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記第２の領域画像における前記第２の部位の面積である、学習方法。

【請求項11】

検知装置が備えるコンピュータによって実行されるプログラムであって、前記コンピュータに、
撮像装置から取得した１つの車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記乗員の前記身体の、前記第１の部位を含まない第２の部位の少なくとも一部が映りこんだ第２の領域画像とを切り出す処理と、
前記第１の領域画像の特徴量と前記第２の領域画像の特徴量とに基づき、前記乗員の身体の第１の部位の向きを検知する処理と、
を実行させ、
前記第１の部位は、顔または頭部であり、
前記第２の部位は、肩、胸、または上半身であり、
前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記第２の領域画像における前記第２の部位の面積である、プログラム。

【請求項12】

学習装置が備えるコンピュータによって実行されるプログラムであって、前記コンピュータに、
第１のデータ提供装置から取得した１つの車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記乗員の前記身体の、前記第１の部位を含まない第２の部位の少なくとも一部が映りこんだ第２の領域画像とを切り出す処理と、
第２のデータ提供装置から取得した前記第２の部位の向きと、前記第１の領域画像の特徴量との相関関係、および、第２のデータ提供装置から取得した前記第２の部位の向きと、前記第２の領域画像の特徴量との相関関係を学習させた学習モデルを生成する処理と、
を実行させ、
前記第１の部位は、顔または頭部であり、
前記第２の部位は、肩、胸、または上半身であり、
前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、
前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記第２の領域画像における前記第２の部位の面積である、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検知装置、学習装置、検知方法、学習方法、およびプログラムに関する。

【0002】

近年、撮像装置が撮像した画像に基づいて車両内の乗員の状態を推定する技術が注目されている。特に乗員の顔向きは、乗員の脇見を検知する際の重要な要素であり、様々な研究が行われている。

【0003】

例えば、脇見状態にある可能性がある運転者の顔の主要な要素が認識できるか否かを判定することにより、運転者の顔向き角度が正面を中心とする所定角度範囲（検知範囲）内に含まれるか否かを判定する技術が提案されている（特許文献１）。特許文献１においては、検知範囲外であると判定された場合、直前の顔領域の動きを示す角速度と運転者の顔向き角度が所定角度範囲を超えてからの経過時間とから、顔向き角度が推定される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６−５７８３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に提案されている技術においては、検知範囲内と検知範囲外とで処理内容を切り替える必要があるという課題がある。さらに、顔向きが検知範囲内から急激な顔向き変化を経て検知範囲外に変化する等の場合、画像フレーム間における顔向き変化が大きいため、正確な角速度を算出することができないという課題がある。したがって、特許文献１に提案されている技術においては、顔向きを安定して算出することができないという課題がある。

【0006】

本発明の目的は、振り返り動作を行う乗員の身体の部位の向きを精度良く検知することができる検知装置、学習装置、検知方法、学習方法、およびプログラムを提供することである。

【課題を解決するための手段】

【0007】

本開示の一態様に係る検知装置は、撮像装置から取得した車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記第１の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第２の領域画像とを切り出す画像切り出し部と、前記第１の領域画像の特徴量と前記第２の領域画像の特徴量とに基づき、前記乗員の身体の第１の部位の向きを検知する検知部と、を備え、前記第１の部位は、顔または頭部であり、前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも１つであり、前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である構成を採る。

【0008】

本開示の一態様に係る学習装置は、第１のデータ提供装置から取得した１つの車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記第１の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第２の領域画像とを切り出す画像切り出し部と、第２のデータ提供装置から取得した前記乗員の前記身体の、前記第１の部位を含まない第２の部位の向きと、前記第１の領域画像の特徴量との相関関係、および、第２のデータ提供装置から取得した前記第２の部位の向きと、前記第２の領域画像の特徴量との相関関係を学習させた学習モデルを生成する学習モデル生成部と、を備え、前記第１の部位は、顔または頭部であり、前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも１つであり、前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である構成を採る。
また、本開示の一態様に係る検知方法は、検知装置に実行させる検知方法であって、撮像装置から取得した１つの車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記第１の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第２の領域画像とを切り出すステップと、前記第１の領域画像の特徴量と前記第２の領域画像の特徴量とに基づき、前記乗員の身体の第１の部位の向きを検知するステップと、を備え、前記第１の部位は、顔または頭部であり、前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも１つであり、前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である構成を採る。
また、本開示の一態様に係る学習方法は、学習装置に実行させる学習方法であって、第１のデータ提供装置から取得した車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記第１の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第２の領域画像とを切り出すステップと、第２のデータ提供装置から取得した前記乗員の前記身体の、前記第１の部位を含まない第２の部位の向きと、前記第１の領域画像の特徴量との相関関係、および、第２のデータ提供装置から取得した前記第２の部位の向きと、前記第２の領域画像の特徴量との相関関係を学習させた学習モデルを生成するステップと、を備え、前記第１の部位は、顔または頭部であり、前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも１つであり、前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である構成を採る。
また、本開示の一態様に係るプログラムは、検知装置が備えるコンピュータによって実行されるプログラムであって、前記コンピュータに、撮像装置から取得した１つの車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記第１の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第２の領域画像とを切り出す処理と、前記第１の領域画像の特徴量と前記第２の領域画像の特徴量とに基づき、前記乗員の身体の第１の部位の向きを検知する処理と、を実行させ、前記第１の部位は、顔または頭部であり、前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも１つであり、前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である構成を採る。
また、本開示の一態様に係るプログラムは、学習装置が備えるコンピュータによって実行されるプログラムであって、前記コンピュータに、第１のデータ提供装置から取得した１つの車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記第１の部位の周辺にある車室内領域の少なくとも一部が映りこんだ第２の領域画像とを切り出す処理と、第２のデータ提供装置から取得した前記乗員の前記身体の、前記第１の部位を含まない第２の部位の向きと、前記第１の領域画像の特徴量との相関関係、および、第２のデータ提供装置から取得した前記第２の部位の向きと、前記第２の領域画像の特徴量との相関関係を学習させた学習モデルを生成する処理と、を実行させ、前記第１の部位は、顔または頭部であり、前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記車室内領域は、座席、ヘッドレスト、車窓、およびピラーの少なくとも１つであり、前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記車室内領域の露出部分の面積である構成を採る。
また、本開示の一態様に係る検知装置は、撮像装置から取得した１つの車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記乗員の前記身体の、前記第１の部位を含まない第２の部位の少なくとも一部が映りこんだ第２の領域画像とを切り出す画像切り出し部と、前記第１の領域画像の特徴量と前記第２の領域画像の特徴量とに基づき、前記乗員の前記身体の前記第１の部位の向きを検知する検知部と、を備え、前記第１の部位は、顔または頭部であり、前記第２の部位は、肩、胸、または上半身であり、前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記第２の領域画像における前記第２の部位の面積である構成を採る。
また、本開示の一態様に係る学習装置は、第１のデータ提供装置から取得した１つの車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記乗員の前記身体の、前記第１の部位を含まない第２の部位の少なくとも一部が映りこんだ第２の領域画像とを切り出す画像切り出し部と、第２のデータ提供装置から取得した前記第２の部位の向きと、前記第１の領域画像の特徴量との相関関係、および、第２のデータ提供装置から取得した前記第２の部位の向きと、前記第２の領域画像の特徴量との相関関係を学習させた学習モデルを生成する学習モデル生成部と、を備え、前記第１の部位は、顔または頭部であり、前記第２の部位は、肩、胸、または上半身であり、前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記第２の領域画像における前記第２の部位の面積である構成を採る。
また、本開示の一態様に係る検知方法は、検知装置に実行させる検知方法であって、撮像装置から取得した１つの車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記乗員の前記身体の、前記第１の部位を含まない第２の部位の少なくとも一部が映りこんだ第２の領域画像とを切り出すステップと、前記第１の領域画像の特徴量と前記第２の領域画像の特徴量とに基づき、前記乗員の身体の第１の部位の向きを検知するステップと、を備え、前記第１の部位は、顔または頭部であり、前記第２の部位は、肩、胸、または上半身であり、前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記第２の領域画像における前記第２の部位の面積である構成を採る。
また、本開示の一態様に係る学習方法は、学習装置に実行させる学習方法であって、第１のデータ提供装置から取得した１つの車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記乗員の前記身体の、前記第１の部位を含まない第２の部位の少なくとも一部が映りこんだ第２の領域画像とを切り出すステップと、第２のデータ提供装置から取得した前記第２の部位の向きと、前記第１の領域画像の特徴量との相関関係、および、第２のデータ提供装置から取得した前記第２の部位の向きと、前記第２の領域画像の特徴量との相関関係を学習させた学習モデルを生成するステップと、を備え、前記第１の部位は、顔または頭部であり、前記第２の部位は、肩、胸、または上半身であり、前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記第２の領域画像における前記第２の部位の面積である構成を採る。
また、本開示の一態様に係るプログラムは、検知装置が備えるコンピュータによって実行されるプログラムであって、前記コンピュータに、撮像装置から取得した１つの車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記乗員の前記身体の、前記第１の部位を含まない第２の部位の少なくとも一部が映りこんだ第２の領域画像とを切り出す処理と、前記第１の領域画像の特徴量と前記第２の領域画像の特徴量とに基づき、前記乗員の身体の第１の部位の向きを検知する処理と、を実行させ、前記第１の部位は、顔または頭部であり、前記第２の部位は、肩、胸、または上半身であり、前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記第２の領域画像における前記第２の部位の面積である構成を採る。
また、本開示の一態様に係るプログラムは、学習装置が備えるコンピュータによって実行されるプログラムであって、前記コンピュータに、第１のデータ提供装置から取得した１つの車室内画像から、乗員の身体の第１の部位の少なくとも一部が映りこんだ第１の領域画像と、前記乗員の前記身体の、前記第１の部位を含まない第２の部位の少なくとも一部が映りこんだ第２の領域画像とを切り出す処理と、第２のデータ提供装置から取得した前記第２の部位の向きと、前記第１の領域画像の特徴量との相関関係、および、第２のデータ提供装置から取得した前記第２の部位の向きと、前記第２の領域画像の特徴量との相関関係を学習させた学習モデルを生成する処理と、を実行させ、前記第１の部位は、顔または頭部であり、前記第２の部位は、肩、胸、または上半身であり、前記第１の領域画像の前記特徴量は、前記第１の領域画像に含まれる前記乗員の顔部位の位置関係であり、前記第１の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さと、前記第２の領域画像の前記特徴量と前記第１の部位の向きとの相関の強さとは、互いに補完関係にあり、前記第２の領域画像の前記特徴量は、前記第２の領域画像における前記第２の部位の面積である構成を採る。

【発明の効果】

【0009】

本開示によれば、振り返り動作を行う乗員の身体の部位の向きを精度良く検知することができる。

【図面の簡単な説明】

【0010】

【図1】本開示に係る向き検知装置の構成図である。

【図2】本開示に係る向き検知装置の動作フローを示すフローチャートである。

【図3A】顔向きの一例を示す説明図である。

【図3B】顔向きの一例を示す説明図である。

【図3C】顔向きの一例を示す説明図である。

【図4】第１の領域および第２の領域の一例を示す説明図である。

【図5】第１の領域および第２の領域の一例を示す説明図である。

【図6A】第１の領域画像および第２の領域画像の一例を示す説明図である。

【図6B】第１の領域画像および第２の領域画像の一例を示す説明図である。

【図6C】第１の領域画像および第２の領域画像の一例を示す説明図である。

【図7】本開示に係る向き学習装置の構成図である。

【図8】本開示に係る向き学習装置の動作フローを示すフローチャートである。

【図9】コンピュータのハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0011】

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

【0012】

（向き検知システム１００の構成および動作）
図１は、本開示に係る向き検知システム１００の構成図である。向き検知システム１００は、撮像装置１１０、向き検知装置（検知装置）１２０、および向き出力装置１３０を備える。

【0013】

撮像装置１１０は、車室内画像を撮像する。ここで、車室内画像は、第１の領域と第２の領域とを含む領域を撮像した画像である。第１の領域は、車両の乗員（例えば、運転手）の体の第１の部位の少なくとも一部を含む領域である。第２の領域は、第１の部位の周辺にある車室内領域または第２の部位の少なくとも一部を含む領域である。乗員の身体の第１の部位は、例えば、顔、頭部である。また、車室内領域は、例えば、座席、ヘッドレスト、車窓、およびピラーの少なくとも１つである。第２の部位は、例えば、肩、胸および上半身の少なくとも１つである。

【0014】

一例において、撮像装置１１０は、太陽光等の外部光源からの光や電磁波、音波等の反射を検知する受動型（パッシブ）検知器を備える。受動型検知器は、例えば、可視光を受光可能なＣＣＤイメージセンサ、ＭＯＳイメージセンサである。

【0015】

向き検知装置１２０は、撮像装置１１０が撮像した車室内画像に基づいて、乗員の身体の第１の部位の向きを検知する。向き検知装置１２０は、画像取得部１２１、切り出し位置決定部１２２、画像切り出し部１２３、学習モデル記憶部１２４、および向き検知部（検知部）１２５を備える。

【0016】

画像取得部１２１は、撮像装置１１０が撮像した車室内画像を取得し、切り出し位置決定部１２２および画像切り出し部１２３に出力する。

【0017】

切り出し位置決定部１２２は、画像取得部１２１から出力された車室内画像において、第１の領域と第２の領域とを決定する。

【0018】

一例において、切り出し位置決定部１２２は、車室内画像から体の第１の部位に対応する領域を決定し、当該領域を第１の領域と決定する。第１の領域の形状は、例えば、矩形である。第１の部位に対応する領域は、例えば、Ｈａａｒ−ｌｉｋｅ特徴量やＧａｂｏｒ特徴量等を用いる顔判定技術等の任意の公知の部位判定技術を用いて決定される。他の一例において、切り出し位置決定部１２２は、車室内画像の所定の部分に対応する領域を第１の領域と決定する。

【0019】

一例において、切り出し位置決定部１２２は、第１の領域に基づいて、第２の領域を決定する。例えば、第２の領域の中心は、第１の領域の中心と一致する。一例において、第２の領域は、第１の領域よりも上下左右に所定のピクセル数だけ大きい矩形の領域である。この場合、第２の領域は、第１の領域を含む。他の一例において、第２の領域は、第１の領域よりも上下左右に所定のピクセル数だけ大きい矩形の領域から、第１の領域を除いた領域である。

【0020】

画像切り出し部１２３は、切り出し位置決定部１２２が決定する第１の領域と第２の領域に基づいて、画像取得部１２１から出力された車室内画像から、第１の領域画像と第２の領域画像を切り出す。画像切り出し部１２３は、切り出した第１の領域画像および第２の領域画像を、向き検知部１２５へ出力する。

【0021】

第１の領域および第２の領域は、画像切り出し部１２３が切り出した第１の領域画像および第２の領域画像の特徴量が第２の部位の向きと相関関係にあるものである限り、特に限定されない。相関関係については、図６Ａから図６Ｃを参照して後述する。領域画像の特徴量は、例えば、目、鼻、口等の顔部位の位置関係、車室内領域の露出部分の面積であり、または、領域画像内における濃淡の変化や勾配方向等を算出して数値化した量である。ここで、車室内領域の露出部分とは、領域画像内の車室内領域において乗員の陰になっていない部分のことである。

【0022】

学習モデル記憶部１２４は、第１の領域画像および第２の領域画像の特徴量と第２の部位の向きとの相関関係を学習させた学習モデルを記憶する。一例において、学習モデル記憶部１２４は、不揮発性記憶装置である。一例において、学習モデル記憶部１２４は、図７を参照して後述される学習モデル生成部２３２が予め生成した学習モデルを記憶する。

【0023】

向き検知部１２５は、画像切り出し部１２３から出力された第１の領域画像および第２の領域画像の特徴量に基づいて、第１の部位の向きを検知する。

【0024】

一例において、向き検知部１２５は、学習モデル記憶部１２４から取得した学習モデルを用いて、第１の領域画像および第２の領域画像の特徴量から第１の部位の向きを検知する。例えば、第１の部位の向きは、ロール（roll）角、ピッチ（pitch）角、ヨー（yaw）角等の角度で表される。

【0025】

他の一例において、向き検知部１２５は、第１の領域画像および第２の領域画像の特徴量と第１の部位の向きとの相関関係を記述する、予め作成されたテーブルを参照して、第１の領域画像および第２の領域画像の特徴量から第１の部位の向きを検知する。

【0026】

向き出力装置１３０は、向き検知部１２５が検知した第１の部位の向きに応じた出力を行う。一例において、向き出力装置１３０は、スピーカを備え、第１の部位の向きを表すヨー角が、所定の時間に亘って所定の範囲外にある場合、スピーカから乗員に対して脇見を注意する旨の音声を出力する。

【0027】

図２は、本開示に係る向き検知装置１２０の動作フローを示すフローチャートである。図３Ａ、図３Ｂ、および図３Ｃは、顔向きの一例を示す説明図である。図４および図５は、第１の領域Ｒ１および第２の領域Ｒ２の一例を示す説明図である。図６Ａから図６Ｃは、第１の領域画像Ｉ１−１，Ｉ２−１，Ｉ３−１および第２の領域画像Ｉ１−２，Ｉ２−２，Ｉ３−２の一例を示す説明図である。

【0028】

図２に示される処理は、例えば車両のエンジンが起動されることに伴い、向き検知装置１２０のＣＰＵがＲＯＭに格納されているプログラムを読み出して定期的に実行することにより実現される。

【0029】

なお、以下においては、第１の部位として、顔または頭部を例にとって説明する。さらに、乗員Ｐの顔（第１の部位）が正面を向いているときの顔向き方向を基準とし、乗員Ｐが右を向いている場合の顔向き方向を正方向とするヨー角（以下、顔向き角度と呼ぶ）によって顔（第１の部位）の向きが表される場合を例にとって説明する。

【0030】

ステップＳ１１において、向き検知装置１２０は、撮像装置１１０から車室内画像を取得する（画像取得部１２１としての処理）。車室内画像は、例えば、図３Ａ、図３Ｂ、および図３Ｃにそれぞれ示される、車室内画像Ｉ１，Ｉ２，Ｉ３である。車室内画像Ｉ１，Ｉ２，Ｉ３において、乗員Ｐの顔向き角度は、それぞれ、−４５度、０度、１２０度である。

【0031】

ステップＳ１２において、向き検知装置１２０は、第１の領域Ｒ１と第２の領域Ｒ２とを決定する（切り出し位置決定部１２２としての処理）。

【0032】

一例において、第１の領域Ｒ１は、乗員Ｐの顔が存在する位置に基づいて決定される。また、一例において、第１の領域Ｒ１は、少なくとも乗員Ｐの頭部を含む。なお、第１の領域Ｒ１における乗員Ｐの頭部の大きさや位置は、常に一致するのが好ましいが、多少のずれは許容される。

【0033】

一例において、第１の領域Ｒ１の位置は、車室内画像Ｉ１，Ｉ２，Ｉ３の乗員Ｐの頭部の位置に追従するように決定される。また、一例において、第１の領域Ｒ１は、乗員Ｐの頭部が動くと想定される範囲に基づいて決定される。

【0034】

一例において、第１の領域Ｒ１には、乗員Ｐの顔全体が含まれる。また、一例において、第１の領域Ｒ１には、少なくとも、乗員Ｐの顔向きと強い相関関係にある、乗員Ｐの目、鼻、口等の顔部位が含まれる。この場合、第１の領域Ｒ１には、乗員Ｐの顔全体が含まれるとは限らない。

【0035】

一例において、第２の領域Ｒ２は、乗員Ｐが振り返った場合に車室内画像Ｉ１，Ｉ２，Ｉ３において見え方が変わる車室内領域の少なくとも一部を含む。そのような車室内領域は、例えば、座席、ヘッドレスト、車窓、ピラーである。

【0036】

図４に示される乗員Ｐが正面を見ているときと、図５に示される乗員Ｐが後ろを振り返っているときとで、座席の露出部分が異なる。例えば、図５に示されるように乗員Ｐが車室内で右後方を振り返っているとき、乗員Ｐは体を右側に振っている。したがって、車室内画像Ｉ２と比較して、車室内画像Ｉ３における座席の露出部分の面積が大きくなっている。

【0037】

一例において、第２の領域Ｒ２は、乗員Ｐが振り返った場合に車室内画像Ｉ１，Ｉ２，Ｉ３において見え方が変わる体の部位の少なくとも一部を含む。そのような体の部位は、例えば、乗員Ｐの上半身である。例えば、図３Ｃに示されるように、車室内で右後方を振り返るとき、乗員Ｐは肩を含む上半身を右方向に回転させる。したがって、肩等を含む上半身の見え方または面積が、図３Ｂに示されるように乗員Ｐが正面を向いている場合と異なる。

【0038】

図４および図５に示される例においては、第２の領域Ｒ２の中心位置は、第１の領域Ｒ１の中心位置と同一であり、かつ、第２の領域Ｒ２には、乗員Ｐの上半身および座席の少なくとも一部が含まれる。

【0039】

車室内画像Ｉ１，Ｉ２，Ｉ３における見え方は、車室内の内装等にも依存する。したがって、一例において、第２の領域Ｒ２として適切な領域が、実験的に決定されてもよい。

【0040】

図２に戻り、ステップＳ１３において、向き検知装置１２０は、第１の領域画像Ｉ１−１，Ｉ２−１，Ｉ３−１と第２の領域画像Ｉ１−２，Ｉ２−２，Ｉ３−２とを切り出す（画像切り出し部１２３としての処理）。図６Ａ、図６Ｂ、および図６Ｃは、それぞれ、乗員Ｐの顔向き角度が−４５度、０度、および１２０度のときの、第１の領域画像Ｉ１−１，Ｉ２−１，Ｉ３−１と、第２の領域画像Ｉ１−２，Ｉ２−２，Ｉ３−２を示している。

【0041】

ステップＳ１４において、向き検知装置１２０は、顔向き角度を検知する（向き検知部１２５としての処理）。一例において、向き検知部１２５は、学習モデル記憶部１２４から取得した学習モデルを用いて、第１の領域画像Ｉ１−１，Ｉ２−１，Ｉ３−１における乗員Ｐの顔部位の位置関係と第２の領域画像Ｉ１−２，Ｉ２−２，Ｉ３−２における座席の露出部分の面積とから、乗員Ｐの顔向き角度を検知する。

【0042】

図６Ａから図６Ｃに示されるように、第１の領域画像Ｉ１−１，Ｉ２−１，Ｉ３−１においては、乗員Ｐの顔向き角度が大きくなるにしたがって、乗員Ｐの顔部位がより見えなくなっている。一方、第２の領域画像Ｉ１−２，Ｉ２−２，Ｉ３−２においては、乗員Ｐの顔向き角度が大きくなるにしたがって、座席の露出部分の面積が大きくなっている。

【0043】

例えば、図６Ａから図６Ｂに示されるように顔向き角度が変化したとする。この間、第１の領域画像Ｉ１−１，Ｉ２−１においては、例えば、両目間の距離は乗員の顔向き角度が変化するにしたがい、徐々に狭くなる。すなわち、第１の領域画像の特徴量と乗員Ｐの顔向き角度とが、強い相関関係にあると言える。一方、第２の領域画像Ｉ１−２，Ｉ２−２においては、乗員の顔向き角度が変化しても座席の露出部分の面積はほとんど変わらず、第２の領域画像の特徴量と乗員Ｐの顔向き角度とは、弱い相関関係にあると言える。

【0044】

したがって、第１の領域画像の特徴量と乗員Ｐの顔向き角度との相関関係が学習モデルに十分に反映されている限り、向き検知装置１２０は、図６Ａから図６Ｂに示されるように変化する顔向き角度を良好に検知することができる。

【0045】

さらに、例えば、図６Ｂから図６Ｃに示されるように顔向き角度が変化したとする。この間、第２の領域画像Ｉ２−２，Ｉ３−２においては、例えば、座席の露出部分の面積は大きくなる。すなわち、第２の領域の特徴量と乗員Ｐの顔向き角度とが、強い相関関係にあると言える。一方、第１の領域画像Ｉ２−１，Ｉ３−１においては、乗員Ｐの顔部位が見えなくなる。例えば、乗員Ｐの顔部位が見えなくなり第１の領域画像に頭部として頭髪だけしか見えない場合、顔向き角度が変化しても第１の領域画像では特徴量に大きな差が生じない。すなわち、第１の領域画像の特徴量と乗員Ｐの顔向き角度とは、弱い相関関係にあると言える。

【0046】

したがって、第２の領域画像の特徴量と乗員Ｐの顔向き角度との相関関係が学習モデルに十分に反映されている限り、向き検知装置１２０は、図６Ｂから図６Ｃに示されるように変化する顔向き角度を良好に検知することができる。

【0047】

繰り返しとなるが、図６Ａから図６Ｂに遷移する場合には第１の領域画像の特徴量と乗員Ｐの顔向き角度とが強い相関にあり、第２の領域画像の特徴量と乗員Ｐの顔向き角度とは弱い相関にある。また、図６Ｂから図６Ｃに遷移する場合には第１の領域画像の特徴量と乗員Ｐの顔向き角度とが弱い相関にあり、第２の領域画像の特徴量と乗員Ｐの顔向き角度とは強い相関にある。したがって、第１の領域画像の特徴量と第２の領域画像の特徴量はお互いに補完し合う関係（補完関係）にあると言える。

【0048】

図７および図８を参照して後述するように、本開示に係る学習モデルには、乗員Ｐの顔部位の位置関係と乗員Ｐの顔向き角度との相関関係および座席の露出部分の面積と乗員Ｐの顔向き角度との相関関係のうちより強い相関関係が優先的に学習され、十分に反映される。すなわち、乗員Ｐの顔がよく見えている場合には、顔部位の位置関係と顔向き角度との相関関係が優先的に学習され、乗員Ｐの顔がよく見えていない場合には、座席の露出部分の面積と乗員Ｐの顔向き角度との相関関係が優先的に学習される。したがって、向き検知装置１２０は、乗員Ｐの向きに関わらず、同一の学習モデル、即ち同一の処理内容を用いて、顔向き角度を良好に検知することができる。

【0049】

このように、本開示に係る向き検知装置１２０は、撮像装置１１０から取得した車室内画像から、乗員Ｐの身体の第１の部位の少なくとも一部を含む第１の領域画像Ｉ１−１，Ｉ２−１，Ｉ３−１と、第１の部位の周辺にある車室内領域または、乗員Ｐの身体の第２の部位の少なくとも一部を含む第２の領域画像Ｉ１−２，Ｉ２−１，Ｉ３−２とを切り出す画像切り出し部１２３と、前記第１の領域画像Ｉ１−１，Ｉ２−１，Ｉ３−１および前記第２の領域画像Ｉ１−２，Ｉ２−１，Ｉ３−２の特徴量に基づき、乗員Ｐの身体の第１の部位の向きを検知する向き検知部１２５と、を備える構成を採る。

【0050】

本開示に係る向き検知装置１２０によれば、振り返り動作を行う乗員Ｐの体の部位の向きを精度良く検知することができる。

【0051】

さらに、本開示に係る向き検知装置１２０によれば、部位の動きを表す角速度を算出する必要がなく、部位の向きを安定して算出することができる。

【0052】

（向き学習システム２００の構成および動作）
図７は、本開示に係る向き学習システム２００の構成図である。向き学習システム２００は、車室内画像データ提供装置（第１のデータ提供装置）２１０、向きデータ提供装置（第２のデータ提供装置）２２０、向き学習装置（学習装置）２３０、および学習モデル記憶装置２４０を備える。

【0053】

車室内画像データ提供装置２１０は、学習モデル生成部２３２の学習に用いられる車室内画像を、車室内画像データとして向き学習装置２３０に提供する。一例において、車室内画像データ提供装置２１０は、車室内画像データを予め格納する格納部（図示せず）を備える。次いで、向き学習装置２３０の動作時に、車室内画像データ提供装置２１０は、格納部から取得した車室内画像データを、向き学習装置２３０に提供する。

【0054】

向きデータ提供装置２２０は、学習モデル生成部２３２の学習に用いられる第２の部位の向きを、向きデータとして向き学習装置２３０に提供する。一例において、向きデータ提供装置２２０は、向きデータを予め格納する格納部（図示せず）を備える。次いで、向き学習装置２３０の動作時に、向きデータ提供装置２２０は、格納部から取得した向きデータを、向き学習装置２３０に提供する。

【0055】

向きデータが示す第２の部位の向きは、車室内画像データが示す車室内画像に含まれる乗員の身体の第２の部位の実際の向きに対応する。例えば、図３Ａ、図３Ｂ、および図３Ｃで示される車室内画像Ｉ１，Ｉ２，Ｉ３が学習に用いられる場合、向きデータが示す顔向き角度−４５度、０度、１２０度は、それぞれ、車室内画像データが示す車室内画像Ｉ１，Ｉ２，Ｉ３に対応する。なお、図１に示される向き検知装置１２０が取得する車室内画像と向き学習装置２３０が取得する車室内画像とは、一般には異なる乗員を含む異なる車室内画像である。しかしながら、本明細書においては、向き検知装置１２０の説明に用いられた車室内画像Ｉ１，Ｉ２，Ｉ３を流用して、向き学習装置２３０を説明する。

【0056】

一例において、学習に用いられる車室内画像データおよび向きデータは、向き学習装置２３０の動作前に準備される。

【0057】

一例において、乗員は、ジャイロセンサ等の方向センサを、乗員の身体の第２の部位に装着する。次いで、撮像装置（図示せず）が当該乗員を含む車室内画像を撮像するのと同時に、方向センサが第２の部位の向きを測定する。次いで、取得された車室内画像を示す車室内画像データが作成され、車室内画像データ提供装置２１０の格納部に格納される。次いで、取得された第２の部位の向きを示す向きデータが作成され、向きデータ提供装置２２０の格納部に格納される。

【0058】

他の一例において、第２の部位の向きを既知の向きに向けた乗員を含む車室内画像を、撮像装置（図示せず）が撮像する。次いで、取得された車室内画像を示す車室内画像データが作成され、それぞれ、車室内画像データ提供装置２１０の格納部に格納される。次いで、既知の向きを示す向きデータが作成され、向きデータ提供装置２２０の格納部に格納される。

【0059】

向き学習装置２３０は、車室内画像データ提供装置２１０から提供される車室内画像と、向きデータ提供装置２２０から提供される第２の部位の向きとの相関関係を学習する。第２の部位は、例えば、顔である。向き学習装置２３０は、画像取得部１２１、切り出し位置決定部１２２、画像切り出し部１２３、向き取得部２３１、および学習モデル生成部２３２を備える。

【0060】

画像取得部１２１は、車室内画像の取得元が異なる点を除いて、図１に示される向き検知装置１２０が備えるものと同様であるので、説明を省略する。また、切り出し位置決定部１２２および画像切り出し部１２３は、図１に示される向き検知装置１２０が備えるものと同様であるので、説明を省略する。

【0061】

向き取得部２３１は、向きデータ提供装置２２０から第２の部位の向きを示すデータを取得し、学習モデル生成部２３２に第２の部位の向きを出力する。

【0062】

学習モデル生成部２３２は、向き取得部２３１から出力された第２の部位の向きと、画像切り出し部１２３から取得した前記第１の領域画像および前記第２の領域画像の特徴量との相関関係を学習させた学習モデルを生成する。一例において、学習モデルの生成手法は、ＣＮＮ（Convolutional Neural Network）である。

【0063】

学習モデル記憶装置２４０は、学習モデル生成部２３２が生成した学習モデルを記憶する。一例において、学習モデル記憶装置２４０が記憶する学習モデルの複製を、図１に示される学習モデル記憶部１２４が記憶する。学習モデルは事前に生成され、車両出荷時に向き検知装置の学習モデル記憶部に記憶される。

【0064】

図８は、本開示に係る向き学習装置２３０の動作フローを示すフローチャートである。この処理は、向き学習装置２３０のＣＰＵがＲＯＭに格納されているプログラムを読み出して実行することにより実現される。なお、以下の説明においては、第１の部位として、顔または頭部を、車室内領域として座席を、例にとって説明する。

【0065】

ステップＳ２１において、向き学習装置２３０は、車室内画像データ提供装置２１０から車室内画像を取得する（画像取得部１２１としての処理）。取得する車室内画像は、例えば、図３Ａ、図３Ｂ、および図３Ｃにそれぞれ示される、車室内画像Ｉ１，Ｉ２，Ｉ３である。

【0066】

ステップＳ２２において、向き学習装置２３０は、第１の領域Ｒ１と第２の領域Ｒ２とを決定する（切り出し位置決定部１２２としての処理）。ステップＳ２３において、向き検知装置１２０は、第１の領域画像Ｉ１−１，Ｉ２−１，Ｉ３−１と第２の領域画像Ｉ１−２，Ｉ２−２，Ｉ３−２とを切り出す（画像切り出し部１２３としての処理）。ステップＳ２２およびステップＳ２３の処理内容は、図２に示されるステップＳ１２およびステップＳ１３の処理内容と同様であるので、説明を省略する。特に、第１の領域および第２の領域は、それぞれ、向き検知装置１２０と向き学習装置２３０とで同様に決定される。

【0067】

ステップＳ２４において、向き学習装置２３０は、車室内画像に対応する顔向き角度を向きデータ提供装置２２０から取得する（向き取得部１２１としての処理）。取得する顔向き角度は、例えば、車室内画像Ｉ１，Ｉ２，Ｉ３における乗員Ｐの顔向き角度である、−４５度、０度、１２０度である。

【0068】

ステップＳ２５において、向き学習装置２３０は、第１の領域画像Ｉ１−１，Ｉ２−１，Ｉ３−１および第２の領域画像Ｉ１−２，Ｉ２−２，Ｉ３−２の特徴量と顔向き角度との相関関係を学習モデルに学習させる（学習モデル生成部２３２としての処理）。

【0069】

例えば、図６Ａから図６Ｂに示されるように顔向き角度が遷移したとする。この間、第１の領域画像Ｉ１−１，Ｉ２−１においては、乗員Ｐの顔部位が見えるので、乗員Ｐの顔部位の位置関係と乗員Ｐの顔向き角度とが、強い相関関係にある。一方、第２の領域画像Ｉ１−２，Ｉ２−２において、座席の露出部分の面積は大きく変化しない。したがって、生成された学習モデルにおいては、特徴量の１つである乗員Ｐの顔部位の位置関係と乗員Ｐの顔向き角度との相関関係が、優先的に学習され、十分に反映される。

【0070】

さらに、例えば、図６Ｂから図６Ｃに示されるように顔向き角度が遷移したとする。この間、第２の領域画像Ｉ２−２から第２の領域画像Ｉ３−２にかけて、座席の露出部分の面積が大きくなっているので、座席の露出部分の面積と乗員Ｐの顔向き角度とが、強い相関関係にある。一方、図６Ｃに示される第１の領域画像Ｉ３−１においては、乗員Ｐの顔部位が全く見えていない。したがって、生成された学習モデルにおいては、特徴量の１つである座席の露出部分の面積と乗員Ｐの顔向き角度との相関関係が、優先的に学習され、十分に反映される。

【0071】

図８に示されるフローチャートに従うと、図１に示される向き検知装置１２０の向き検知部１２５が顔向き検知に用いる学習モデルが生成される。

【0072】

このように、本開示に係る向き学習装置２３０は、第１のデータ提供装置（車室内画像データ提供装置２１０）から取得した車室内画像から、乗員Ｐの身体の第１の部位の少なくとも一部を含む第１の領域画像Ｉ１−１，Ｉ２−１，Ｉ３−１と、前記第１の部位の周辺にある車室内領域または乗員の身体の第２の部位の少なくとも一部を含む第２の領域画像像Ｉ１−２，Ｉ２−２，Ｉ３−２とを切り出す画像切り出し部１２３と、第２のデータ提供装置（向きデータ提供装置２２０）から取得した第２の部位の向きと、第１の領域画像Ｉ１−１，Ｉ２−１，Ｉ３−１および第２の領域画像Ｉ１−２，Ｉ１−２，Ｉ１−３の特徴量との相関関係を学習させた学習モデルを生成する学習モデル生成部２３２と、を備える構成を採る。

【0073】

本開示に係る向き学習装置２３０によれば、本開示に係る向き検知装置１２０が振り返り動作を行う乗員Ｐの体の部位の向きを精度良く検知することができる。

【0074】

さらに、本開示に係る向き学習装置２３０によれば、乗員Ｐの体の部位が車室内画像に含まれない場合であっても、向き検知装置１２０が部位の向きを精度良く検知することができる。

【0075】

さらに、本開示に係る向き学習装置２３０によれば、向き検知装置１２０が、部位の動きを表す角速度を算出する必要がなく、部位の向きを安定して算出することができる。

【0076】

（向き学習システム２００の変形例）
上述された向き学習システム２００においては、車室内画像データ提供装置２１０および向きデータ提供装置２２０が別体の構成要素である。これに代えて、車室内画像データ提供装置２１０および向きデータ提供装置２２０を一体の構成要素とする実施の形態も考えられる。この場合、第１のデータ提供装置および第２のデータ提供装置は、同一のデータ提供装置である。

【0077】

上述された向き学習システム２００においては、車室内画像データ提供装置２１０および向きデータ提供装置２２０は、それぞれ格納部が格納する車室内画像データおよび向きデータを提供する。これに代えて、車室内画像データ提供装置２１０は、図１に示される撮像装置１１０を流用し、向きデータ提供装置２２０は、乗員の身体の第１の部位に装着した方向センサとする実施の形態も考えられる。

【0078】

図９は、コンピュータのハードウェア構成の一例を示す図である。上述した各実施の形態および各変形例における各部の機能は、コンピュータ２１００が実行するプログラムにより実現される。

【0079】

図９に示すように、コンピュータ２１００は、入力ボタン、タッチパッド等の入力装置２１０１、ディスプレイ、スピーカ等の出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５を備える。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Solid State Drive）等の記憶装置２１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリ等の記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を備える。上述した各部は、バス２１０９により接続される。

【0080】

そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。

【0081】

そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。

【産業上の利用可能性】

【0082】

本開示に係る検知装置、学習装置、検知方法、学習方法およびプログラムは、車両に適用されるのに好適である。

【符号の説明】

【0083】

１００ 向き検知システム
１１０ 撮像装置
１２０ 向き検知装置
１２１ 画像取得部
１２２ 切り出し位置決定部
１２３ 画像切り出し部
１２４ 学習モデル記憶部
１２５ 向き検知部
１３０ 向き出力装置
２００ 向き学習システム
２１０ 車室内画像データ提供装置
２２０ 向きデータ提供装置
２３０ 向き学習装置
２３１ 向き取得部
２３２ 学習モデル生成部
２４０ 学習モデル記憶装置

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9】