特開 2024-129492 車両用運転支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024129492

(43)【公開日】2024-09-27

(54)【発明の名称】車両用運転支援システム

(51)【国際特許分類】

   G08G 1/04 20060101AFI20240919BHJP

   G06T 7/20 20170101ALI20240919BHJP

   G06T 7/246 20170101ALI20240919BHJP

   G06V 10/70 20220101ALI20240919BHJP

   G06V 20/59 20220101ALI20240919BHJP

【ＦＩ】

G08G1/04 C

G06T7/20 300Z

G06T7/246

G06V10/70

G06V20/59

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023038729

(22)【出願日】2023-03-13

(71)【出願人】

【識別番号】000241463

【氏名又は名称】豊田合成株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】橋本 龍司

(72)【発明者】

【氏名】徳山 雄生

(72)【発明者】

【氏名】田岡 巧

(72)【発明者】

【氏名】河村 知史

(72)【発明者】

【氏名】三上 優樹

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA06

5H181AA16

5H181CC04

5H181FF27

5H181FF32

5H181LL07

5H181LL08

5L096BA04

5L096CA04

5L096DA01

5L096DA02

5L096FA09

5L096FA60

5L096FA62

5L096FA69

5L096GA51

5L096HA02

5L096JA11

(57)【要約】

【課題】乗員の着座が完了している旨の判定である着座判定を正確に行う。
【解決手段】運転支援システムは、乗員１１を輸送する車両に搭載され、車両の運転者の運転を支援する。運転支援システムは、乗員１１の画像情報を検出するカメラと、制御部と、を備える。制御部は、カメラから取得した画像情報に基づいて乗員１１の頭部１１ａの所定点Ｐを検出し、所定点Ｐが位置していると乗員１１が着座していることを推定できる領域を着座領域Ｒとすると、着座領域Ｒに所定点Ｐが位置している場合に着座判定条件が成立しているとして、乗員１１の着座が完了している旨の判定である着座判定を行う。
【選択図】図２

【特許請求の範囲】

【請求項1】

乗員を輸送する車両に搭載され、前記車両の運転者の運転を支援する車両用運転支援システムであって、
前記乗員の画像情報を検出するカメラと、
制御部と、を備え、
前記制御部は、
前記カメラから取得した前記画像情報に基づいて前記乗員の上半身の所定点を検出し、
前記所定点が位置していると前記乗員が着座していることを推定できる領域を着座領域とすると、前記着座領域に前記所定点が位置している場合に着座判定条件が成立しているとして、前記乗員の着座が完了している旨の判定である着座判定を行う、車両用運転支援システム。

【請求項2】

前記制御部は、前記所定点の動作速度と、第１所定時間内での前記所定点の変位量平均値と、前記所定点の加速度と、第２所定時間内での前記所定点の動作速度平均値と、のうち少なくとも１つを検出し、検出した前記動作速度が所定速度未満であることと、検出した前記変位量平均値が第１平均値未満であることと、検出した前記加速度が所定加速度未満であることと、検出した前記動作速度平均値が第２平均値未満であることと、のうち少なくとも１つが成立し且つ前記着座判定条件が成立している場合に前記着座判定を行う、請求項１に記載の車両用運転支援システム。

【請求項3】

前記所定点は、少なくとも前記乗員の頭部に位置する、請求項１又は請求項２に記載の車両用運転支援システム。

【請求項4】

前記所定点が位置していると前記乗員が起立していることを推定できる領域を起立領域とすると、
前記制御部は、前記着座判定が行われた前記乗員の前記所定点が前記起立領域に位置している場合に起立判定条件が成立しているとして、前記乗員が着座している状態から起立した旨の判定である起立判定を行う、請求項１又は請求項２に記載の車両用運転支援システム。

【請求項5】

前記制御部は、着座している前記乗員の前記所定点の高さが高いほど、前記起立領域の下限高さが高くなるように前記起立領域を前記乗員ごとに設定する、請求項４に記載の車両用運転支援システム。

【請求項6】

前記制御部は、着座している前記乗員の前記所定点の高さが変化した後に前記所定点の高さが所定期間維持されたことを条件に、変化後の前記所定点の高さに基づいて前記起立領域を再設定する、請求項５に記載の車両用運転支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両用運転支援システムに関する。

【背景技術】

【0002】

乗員を輸送する車両に搭載されるとともに、車両の運転者の運転を支援する車両用運転支援システムが知られている。例えば、特許文献１に記載の車両用運転支援システムは、乗員の画像情報を検出するカメラを備えるとともに、カメラから取得した画像情報に基づいて各種の処理を行っている。また、車両用運転支援システムでは、乗員の着座が完了している旨の判定である着座判定を行うことが考えられる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１８５９８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

カメラによって乗員の全身の画像情報を検出する場合、乗員の体の一部が他の乗員や乗員が車両内に持ち込んだ手荷物などによって隠れることにより、カメラによる画像情報の検出を正確に行えないおそれがある。この場合、カメラから取得した画像情報に基づいて着座判定を行うと、着座判定を正確に行えないおそれがある。

【課題を解決するための手段】

【0005】

以下、上記課題を解決するための車両用運転支援システムの各態様を記載する。
［態様１］乗員を輸送する車両に搭載され、前記車両の運転者の運転を支援する車両用運転支援システムであって、前記乗員の画像情報を検出するカメラと、制御部と、を備え、前記制御部は、前記カメラから取得した前記画像情報に基づいて前記乗員の上半身の所定点を検出し、前記所定点が位置していると前記乗員が着座していることを推定できる領域を着座領域とすると、前記着座領域に前記所定点が位置している場合に着座判定条件が成立しているとして、前記乗員の着座が完了している旨の判定である着座判定を行う、車両用運転支援システム。

【0006】

上記構成によれば、上半身は、下半身よりも他の乗員や乗員が車両内に持ち込んだ手荷物などによって隠れにくい。そのため、カメラによって正確な乗員の画像情報を検出できるため、制御部は、正確な乗員の画像情報に基づいて所定点を検出できる。したがって、乗員の着座が完了している旨の判定である着座判定を正確に行うことができる。

【0007】

［態様２］前記制御部は、前記所定点の動作速度と、第１所定時間内での前記所定点の変位量平均値と、前記所定点の加速度と、第２所定時間内での前記所定点の動作速度平均値と、のうち少なくとも１つを検出し、検出した前記動作速度が所定速度未満であることと、検出した前記変位量平均値が第１平均値未満であることと、検出した前記加速度が所定加速度未満であることと、検出した前記動作速度平均値が第２平均値未満であることと、のうち少なくとも１つが成立し且つ前記着座判定条件が成立している場合に前記着座判定を行う、［態様１］に記載の車両用運転支援システム。

【0008】

上記構成によれば、所定点の動作速度、所定点の変位量平均値、所定点の加速度、及び所定点の動作速度平均値のいずれにもよらず着座判定条件が成立しているときに着座判定を行う場合よりも、着座判定をより正確に行うことができる。

【0009】

［態様３］前記所定点は、少なくとも前記乗員の頭部に位置する、［態様１］又は［態様２］に記載の車両用運転支援システム。
上記構成によれば、頭部は人の体のうちで比較的重い部位であるため、人が動く際には頭が動作方向に傾く傾向にある。そのため、頭部は、上半身の中でも最も人の動きと関連性が高い。こうした人の動きと関連性が高い頭部に所定点が少なくとも位置するため、所定点に基づく着座判定をより正確に行うことができる。

【0010】

［態様４］前記所定点が位置していると前記乗員が起立していることを推定できる領域を起立領域とすると、前記制御部は、前記着座判定が行われた前記乗員の前記所定点が前記起立領域に位置している場合に起立判定条件が成立しているとして、前記乗員が着座している状態から起立した旨の判定である起立判定を行う、［態様１］～［態様３］のいずれか一つに記載の車両用運転支援システム。

【0011】

上記構成によれば、着座していた乗員が起立したときに起立判定を正確に行うことができる。
［態様５］前記制御部は、着座している前記乗員の前記所定点の高さが高いほど、前記起立領域の下限高さが高くなるように前記起立領域を前記乗員ごとに設定する、［態様４］に記載の車両用運転支援システム。

【0012】

上記構成によれば、乗員の背の高さに応じて、乗員が起立したときの上半身の位置は異なる。乗員ごとに起立領域を設定することで、乗員の背の高さに合った起立領域を設定できる。したがって、起立判定をより正確に行うことができる。

【0013】

［態様６］前記制御部は、着座している前記乗員の前記所定点の高さが変化した後に前記所定点の高さが所定期間維持されたことを条件に、変化後の前記所定点の高さに基づいて前記起立領域を再設定する、［態様５］に記載の車両用運転支援システム。

【0014】

上記構成によれば、乗員の着座中に乗員の姿勢が変化すると所定点の高さが変化するおそれがあるが、そうした変化後の所定点の高さに基づいて起立領域を再設定することにより、乗員の起立領域に乗員の姿勢変化を反映させることができる。したがって、起立判定をより正確に行うことができる。

【発明の効果】

【0015】

この発明によれば、乗員の着座が完了している旨の判定である着座判定を正確に行うことができる。

【図面の簡単な説明】

【0016】

【図1】車両用運転支援システムを示す模式図である。

【図2】着座領域を示す模式図である。

【図3】着座領域を示す模式図である。

【図4】起立領域を示す模式図である。

【図5】制御部によって着座判定と未着座判定とが行われる条件を示す表である。

【図6】制御部によって起立判定と着座継続判定とが行われる条件を示す表である。

【発明を実施するための形態】

【0017】

以下、車両用運転支援システムを具体化した一実施形態を図面にしたがって説明する。
＜車両用運転支援システムの概要＞
図１および図２に示すように、車両用運転支援システム１０は、乗員１１を輸送する車両１２に搭載される。車両１２は、乗合型車両であってもよいし、自家用乗用車であってもよい。すなわち、車両用運転支援システム１０が搭載される車両１２としては、バス、電車、及び自家用車両等の各種車両を採用可能である。

【0018】

図１に示すように、車両用運転支援システム１０は、車両１２の運転者の運転を支援するものである。なお、本実施形態の車両１２は、車両１２に乗車する運転手の手動操作によって運転されるものである。すなわち、本実施形態の車両１２の運転者とは、車両１２に乗車するとともに手動操作によって車両１２を運転する運転手である。

【0019】

車両用運転支援システム１０は、カメラ１３を備える。カメラ１３としては、例えば、ＲＧＢカメラやＴＯＦ（Time Of Flight）カメラ等が挙げられる。カメラ１３は、１種類のカメラで構成されてもよいし、複数の種類のカメラで構成されてもよい。

【0020】

カメラ１３は、乗員１１の画像情報を検出する。具体的には、カメラ１３は、車両１２に乗車した乗員１１の画像情報を検出する。カメラ１３が検出する画像情報は、静止画であってもよいし、動画であってもよい。カメラ１３は、画像情報を繰り返し検出する。例えば、カメラ１３は、画像情報の検出を所定の周期で繰り返し行ってもよい。

【0021】

図１および図３に示すように、車両用運転支援システム１０は、カメラ１３を複数備えてもよい。複数のカメラ１３は、互いに異なる領域での画像情報を検出できる位置に配置されている。カメラ１３は、上記の領域にいる乗員１１のうち、一部の乗員１１の画像情報を取得してもよいし、全ての乗員１１の画像情報を取得してもよい。

【0022】

１台のカメラ１３によって複数の乗員１１の画像情報を取得する場合、複数のカメラ１３の各々が１人ずつの乗員１１の画像情報を取得する場合よりも、車両１２に搭載するカメラ１３の数を低減できる。これにより、カメラ１３の設置に係るコストを低減できる。

【0023】

なお、車両１２の幅方向を幅方向Ｘともいう。車両１２の高さ方向を高さ方向Ｙともいう。車両１２の奥行方向を奥行方向Ｚともいう。幅方向Ｘは、車両１２の左右方向と一致する。高さ方向Ｙは車両１２の上下方向と一致する。奥行方向Ｚは、車両１２の前後方向と一致する。本実施形態の車両１２は、複数の座席１５が奥行方向Ｚに並んだ座席列１５ａを有する。座席列１５ａは、車両１２内において、幅方向Ｘに互いに離れて２つ位置する。車両１２内において、２つの座席列１５ａの幅方向Ｘの間には、乗員１１が通行可能な通路１２ａが位置する。

【0024】

図１に示すように、車両用運転支援システム１０は、運転手通知部３０と、乗員通知部３１と、を備える。運転手通知部３０は、通知を運転手に行うものである。運転手通知部３０は、例えば、通知内容を画面表示することで運転手に通知を行う表示部である。表示部としては、例えば、運転席の付近に設けられたディスプレイが挙げられる。運転手は、画面表示を目視することによって運転手通知部３０による通知を認識できる。なお、運転手通知部３０は、表示部に限らない。例えば、運転手通知部３０は、音声によって通知を運転手に行うものや、ライトの点滅等で通知を運転手に行うものであってもよい。

【0025】

乗員通知部３１は、通知を乗員１１に行うものである。乗員通知部３１は、例えば、音声によって乗員１１に通知を行うものである。なお、乗員通知部３１は、音声によって乗員１１に通知を行うものに限らない。例えば、乗員通知部３１は、画面表示によって通知を乗員１１に行うものであってもよい。

【0026】

＜制御部＞
車両用運転支援システム１０は、制御部２０を備える。制御部２０は、例えば、プロセッサ２３と、記憶部２４と、を備える。記憶部２４は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）を含む。記憶部２４は、処理をプロセッサ２３に実行させるように構成されたプログラムコードまたは指令を格納している。記憶部２４、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。制御部２０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェア回路によって構成されていてもよい。処理回路である制御部２０は、コンピュータプログラムに従って動作する１つ以上のプロセッサ２３、ＡＳＩＣやＦＰＧＡ等の１つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。制御部２０は、車両用運転支援システム１０の専用のものであってもよいし、車両１２のＥＣＵ（Electronic Control Unit）と兼用してもよい。

【0027】

制御部２０は、カメラ１３、運転手通知部３０、および乗員通知部３１の各々と電気的に接続されている。制御部２０は、運転手通知部３０および乗員通知部３１を制御可能である。

【0028】

図１および図２に示すように、制御部２０は、カメラ１３から乗員１１の画像情報を取得する。制御部２０は、カメラ１３から取得した画像情報に基づいて乗員１１の上半身としての頭部１１ａの所定点Ｐを検出する。すなわち所定点Ｐは、乗員１１の頭部１１ａに位置する。具体的には、制御部２０は、取得した画像情報に基づいて、頭部１１ａの複数の特徴点を抽出する。複数の特徴点とは、例えば、乗員１１の眉、目、鼻、口、および輪郭などに位置する。制御部２０は、抽出した複数の特徴点から乗員１１の頭部１１ａの所定点Ｐを設定する。所定点Ｐとしては、例えば、頭部１１ａの中心を示す点、頭部１１ａの重心を示す点、および眉と眉との中間を示す点などが挙げられる。制御部２０は、乗員１１ごとに所定点Ｐを設定する。

【0029】

制御部２０は、例えば、学習済みモデルを用いて画像情報から頭部１１ａの所定点Ｐを判別する。学習済みモデルとは、例えば、画像情報に含まれる乗員１１ごとにラベルを付した学習データを用いて学習を行ったものである。学習済みモデルは、例えば、記憶部２４に記憶されているデータである。

【0030】

制御部２０は、カメラ１３から画像情報を繰り返し取得することにより、乗員１１の頭部１１ａの所定点Ｐを連続的に監視する。これにより、制御部２０は、所定点Ｐの移動を監視できる。なお、車両１２内での乗員１１の移動、立った状態の乗員１１が座席１５に座る動作、および座席１５に座った状態の乗員１１が起立する動作に伴って、頭部１１ａの位置は変位する。そのため、制御部２０は、所定点Ｐの移動を監視することで、乗員１１の動作を監視できる。

【0031】

制御部２０は、所定点Ｐの動作速度Ｓと、第１所定時間Ｔ１内での所定点Ｐの変位量平均値ＤＡと、所定点Ｐの加速度ＡＴと、第２所定時間Ｔ２内での所定点Ｐの動作速度平均値ＳＡと、のうち少なくとも１つを検出する。例えば、制御部２０は、一定時間前に取得した画像情報に基づく所定点Ｐの位置と、直近に取得した画像情報に基づく所定点Ｐの位置と、に基づいて所定点Ｐの動作速度Ｓを算出する。例えば、制御部２０は、第１所定時間Ｔ１内で画像情報を３回以上取得するとともに、連続する２回分の画像情報に基づく所定点Ｐの位置同士を比較することによって所定点Ｐの変位量を算出する。そして、例えば制御部２０は、上記の所定点Ｐの変位量の算出を第１所定時間Ｔ１内で取得した全ての画像情報について行うとともに、算出された全ての所定点Ｐの変位量の平均値を算出することで、第１所定時間Ｔ１内での所定点Ｐの変位量平均値ＤＡを算出する。例えば、制御部２０は、一定時間前に取得した画像情報に基づく所定点Ｐの位置と、直近に取得した画像情報に基づく所定点Ｐの位置と、に基づいて所定点Ｐの加速度ＡＴを算出する。例えば、制御部２０は、第２所定時間Ｔ２内で画像情報を３回以上取得するとともに、その３回以上取得された画像情報について上記の所定点Ｐの動作速度Ｓの算出方法と同様に所定点Ｐの動作速度Ｓを複数算出する。そして、例えば、制御部２０は、こうして算出された複数の動作速度Ｓの平均値を算出することによって、第２所定時間Ｔ２内での所定点Ｐの動作速度平均値ＳＡを算出する。なお、第１所定時間Ｔ１と第２所定時間Ｔ２とは、互いに同じ時間であってもよいし、異なる時間であってもよい。本実施形態における制御部２０は、第１所定時間Ｔ１内での所定点Ｐの変位量平均値ＤＡを検出する。

【0032】

図２および図３に示すように、所定点Ｐが位置していると乗員１１が着座していることを推定できる領域を着座領域Ｒとする。記憶部２４は、着座領域Ｒを記憶している。着座領域Ｒは、車両１２ごとに予め設定されている。着座領域Ｒとは、例えば、任意の一点を原点として座標で示したデータである。着座領域Ｒは、例えば、車両１２内の直方体状の領域である。着座領域Ｒ内での位置は、幅方向Ｘでの位置を示すＸ座標、高さ方向Ｙでの位置を示すＹ座標、および奥行方向Ｚでの位置を示すＺ座標によって示される。

【0033】

着座領域Ｒは、具体的には、車両１２内の座席１５を含む領域である。着座領域Ｒは、車両１２の複数の座席１５を含む領域であってもよい。着座領域Ｒは、座席列１５ａに含まれる一部の座席１５を含んでもよいし、座席列１５ａに含まれるすべての座席１５を含んでもよい。本実施形態の着座領域Ｒは、車両１２の通路１２ａを挟んで幅方向Ｘの両側に設定されている。着座領域Ｒは、Ｘ座標がＸａ未満であり、かつＹ座標がＹａ未満であり、かつＺ座標がＺａ未満である領域である。

【0034】

図４に示すように、制御部２０は、乗員１１が座席１５に着座している状態から起立したか否かを判断するための判断領域を設定する。判断領域は、例えば、任意の一点を原点として座標で示したデータである。判断領域は、例えば、車両１２内の直方体状の領域である。判断領域内での位置は、幅方向Ｘでの位置を示すＸ座標、高さ方向Ｙでの位置を示すＹ座標、および奥行方向Ｚでの位置を示すＺ座標によって示される。すなわち、判断領域内での高さはＹ座標によって示される。

【0035】

判断領域は、第１領域Ａ、第２領域Ｂ、第３領域Ｃ、および第４領域Ｄを含む。第１領域Ａは、Ｘ座標の値が値Ｘｂ未満であり、かつＹ座標の値が値Ｙｂ以上であり、かつＺ座標の値が値Ｚｂ未満である領域である。第２領域Ｂは、Ｘ座標の値が値Ｘｂ以上であり、かつＹ座標の値が値Ｙｂ以上であり、かつＺ座標の値が値Ｚｂ未満である領域である。第３領域Ｃは、Ｘ座標の値が値Ｘｂ未満であり、かつＹ座標の値が値Ｙｂ未満であり、かつＺ座標の値が値Ｚｂ未満である領域である。第４領域Ｄは、Ｘ座標の値が値Ｘｂ以上であり、かつＹ座標の値が値Ｙｂ未満であり、かつＺ座標の値が値Ｚｂ未満である領域である。

【0036】

第３領域Ｃは、車両１２内の座席１５を含む領域である。第３領域Ｃは、車両１２の複数の座席１５を含む領域であってもよい。第３領域Ｃは、座席列１５ａに含まれる一部の座席１５を含んでもよいし、座席列１５ａに含まれるすべての座席１５を含んでもよい。第１領域Ａ、第２領域Ｂ、および第４領域Ｄは、例えば、座席１５を含まない領域である。第１領域Ａは、第３領域Ｃよりも高さ方向Ｙの上方に位置する。第２領域Ｂは、第１領域Ａと幅方向Ｘに並んでいる。第４領域Ｄは、第３領域Ｃと幅方向Ｘに並んでいる。

【0037】

乗員１１が座席１５に着座した状態が継続されると、乗員１１に設定された所定点Ｐは第３領域Ｃおよび第４領域Ｄの少なくとも一方に位置した状態が継続される。言い換えると、第３領域Ｃおよび第４領域Ｄは、これら領域に所定点Ｐが位置していると乗員１１が座席１５に着座した状態が継続されていると推定できる領域である。なお、所定点Ｐが第４領域Ｄに位置する場合、所定点Ｐが設定された乗員１１は、頭部１１ａが座席１５から幅方向Ｘにずれた位置となるように座席１５に着座しながら上半身を傾けていることが推定される。

【0038】

座席１５に着座した状態の乗員１１が起立すると、乗員１１に設定された所定点Ｐは第１領域Ａおよび第２領域Ｂのいずれかに移動する。言い換えると、第１領域Ａおよび第２領域Ｂは、所定点Ｐが位置していると乗員１１が起立していることを推定できる領域である。すなわち、本実施形態において、第１領域Ａおよび第２領域Ｂは、起立領域に相当する。Ｙ座標の値が値Ｙｂとなる高さ方向Ｙでの位置が、起立領域の下限高さに相当する。座席１５に着座した状態の乗員１１が起立すると、その乗員１１に設定された所定点Ｐは、第３領域Ｃおよび第４領域Ｄのうちのいずれかの領域から第１領域Ａおよび第２領域Ｂのうちのいずれかの領域に移動する。

【0039】

制御部２０は、起立領域としての第１領域Ａおよび第２領域Ｂを乗員１１ごとに設定する。詳細には、例えば、座席１５に２人の乗員１１が着座していると仮定する。この２人の乗員１１のうち一方の乗員１１を第１乗員２１といい、他方の乗員１１を第２乗員２２という。第１乗員２１に設定された所定点Ｐを第１所定点Ｐ１という。第２乗員２２に設定された所定点Ｐを第２所定点Ｐ２という。第２乗員２２の背の高さは、第１乗員２１の背の高さよりも高いとする。この場合、座席１５に第１乗員２１及び第２乗員２２が座席１５に着座している状態において、第２所定点Ｐ２の高さは第１所定点Ｐ１の高さよりも高い。制御部２０は、第２所定点Ｐ２が設定された第２乗員２２に対して、下限高さであるＹ座標の値Ｙｂが値Ｙｂ２となるように、第１領域Ａおよび第２領域Ｂを設定する。制御部２０は、第１所定点Ｐ１が設定された第１乗員２１に対して、下限高さであるＹ座標の値Ｙｂが値Ｙｂ２よりも小さい値である値Ｙｂ１となるように、第１領域Ａおよび第２領域Ｂを設定する。こうして、制御部２０は、着座している乗員１１の所定点Ｐの高さが高いほど、第１領域Ａおよび第２領域Ｂの下限高さが高くなるように第１領域Ａおよび第２領域Ｂを乗員１１ごとに設定する。

【0040】

なお、本実施形態の制御部２０は、上記の第１領域Ａおよび第２領域Ｂの乗員１１ごとの設定に加えて、第３領域Ｃおよび第４領域Ｄを乗員１１ごとに設定する。詳細には、例えば、制御部２０は、第２所定点Ｐ２が設定された第２乗員２２に対して、Ｙ座標の値が値Ｙｂ２未満となるように第３領域Ｃおよび第４領域Ｄを設定する。制御部２０は、第１所定点Ｐ１が設定された第１乗員２１に対して、Ｙ座標の値が値Ｙｂ１未満となるように第３領域Ｃおよび第４領域Ｄを設定する。こうして、制御部２０は、着座している乗員１１の所定点Ｐの高さが高いほど、第３領域Ｃおよび第４領域Ｄの上限高さが高くなるように第３領域Ｃおよび第４領域Ｄを乗員１１ごとに設定する。

【0041】

本実施形態の制御部２０は、着座している乗員１１の頭部１１ａの所定点Ｐの高さが高いほど、第１領域Ａおよび第３領域Ｃの幅方向Ｘの大きさが大きくなるように、第１領域Ａおよび第３領域Ｃを乗員１１ごとに設定する。詳細には、例えば、制御部２０は、第２乗員２２に対して、Ｘ座標の値が値Ｘｂ２未満となるように第１領域Ａおよび第３領域Ｃを設定する。制御部２０は、第１乗員２１に対して、Ｘ座標の値が値Ｘｂ２よりも小さい値である値Ｘｂ１未満となるように第１領域Ａおよび第３領域Ｃを設定する。こうして、制御部２０は、着座している乗員１１の所定点Ｐの高さが高いほど、第１領域Ａおよび第３領域Ｃの幅方向Ｘの大きさが大きくなるように、第１領域Ａおよび第３領域Ｃを乗員１１ごとに設定する。

【0042】

本実施形態の制御部２０は、第２領域Ｂおよび第４領域Ｄを乗員１１ごとに設定する。詳細には、例えば、制御部２０は、第２乗員２２に対して、Ｘ座標の値が値Ｘｂ２以上となるように第２領域Ｂおよび第４領域Ｄを設定する。制御部２０は、第１乗員２１に対して、Ｘ座標の値が値Ｘｂ１以上となるように第２領域Ｂおよび第４領域Ｄを設定する。

【0043】

例えば、乗員１１に対して起立領域としての第１領域Ａおよび第２領域Ｂが上記の通り設定された後、着座した状態で乗員１１の姿勢が変化すると、乗員１１の所定点Ｐの高さが変化するおそれがある。そこで、制御部２０は、着座している乗員１１の所定点Ｐの高さが変化した後に所定点Ｐの高さが所定期間Ｔ３維持されたことを条件に、変化後の所定点Ｐの高さに基づいて起立領域としての第１領域Ａおよび第２領域Ｂを再設定する。詳細には、所定点Ｐが設定された乗員１１に対して、上記の変化後の所定点Ｐの高さが高いほど下限高さであるＹ座標の値Ｙｂが高くなるように、起立領域としての第１領域Ａおよび第２領域Ｂを再設定する。着座している乗員１１の所定点Ｐの高さが変化した後に所定点Ｐの高さが所定期間Ｔ３維持されたといった条件が成立する度に、制御部２０は上記の再設定を繰り返し行ってもよい。

【0044】

＜着座判定処理＞
図２及び図５に示すように、制御部２０は、着座判定処理を行う。着座判定処理において、制御部２０は、着座領域Ｒに所定点Ｐが位置している場合に着座判定条件が成立しているとして、乗員１１の着座が完了している旨の判定である着座判定を行う。また、制御部２０は、着座領域Ｒ外に所定点Ｐが位置している場合に着座判定条件が成立していないとして、乗員１１の着座が完了していない旨の判定である未着座判定を行う。着座判定条件が成立するとき、乗員１１の頭部１１ａは着座領域Ｒ内に位置することとなる。着座判定条件が成立していないとき、乗員１１の頭部１１ａは着座領域Ｒ外に位置することとなる。

【0045】

実施形態の制御部２０は、以下条件のうち少なくとも１つが成立することを着座判定の条件に含む。上記条件は、検出した所定点Ｐの動作速度Ｓが所定速度ＳＰ未満であること、検出した変位量平均値ＤＡが第１平均値Ａ１未満であること、検出した加速度ＡＴが所定加速度ＡＰ未満であること、検出した動作速度平均値ＳＡが第２平均値Ａ２未満であることである。すなわち、制御部２０は、動作速度Ｓ、変位量平均値ＤＡ、加速度ＡＴ、及び動作速度平均値ＳＡに関する上記の条件のうち、少なくとも１つが成立し且つ着座判定条件が成立している場合に着座判定を行う。

【0046】

なお、所定速度ＳＰは、着座領域Ｒに所定点Ｐが位置する状態で所定点Ｐの動作速度Ｓが所定速度ＳＰ未満であるときに、所定点Ｐが設定された乗員１１が座席１５への着座が完了したと判断できる速度である。座席１５に着座しようと乗員１１が移動するときの頭部１１ａなどの上半身の移動速度よりも、座席１５への着座が完了した状態の乗員１１の頭部１１ａなどの上半身の移動速度が低い傾向にある。そのため、上記のように所定速度ＳＰと所定点Ｐの動作速度Ｓとを比較することで乗員１１が座席１５に着座したか否かを判断できる。

【0047】

また、第１平均値Ａ１は、着座領域Ｒに所定点Ｐが位置する状態で所定点Ｐの変位量平均値ＤＡが第１平均値Ａ１未満であるときに、所定点Ｐが設定された乗員１１が座席１５への着座が完了したと判断できる値である。座席１５に着座しようと乗員１１が移動するときの頭部１１ａなどの上半身の変位量平均値ＤＡよりも、座席１５への着座が完了した状態の乗員１１の頭部１１ａなどの上半身の変位量平均値ＤＡが低い傾向にある。そのため、上記のように所定点Ｐの変位量平均値ＤＡと第１平均値Ａ１とを比較することで乗員１１が座席１５に着座したか否かを判断できる。

【0048】

また、所定加速度ＡＰは、着座領域Ｒに所定点Ｐが位置する状態で所定点Ｐの加速度ＡＴが所定加速度ＡＰ未満であるときに、所定点Ｐが設定された乗員１１が座席１５への着座が完了したと判断できる値である。座席１５に着座しようと乗員１１が移動するときの頭部１１ａなどの上半身の加速度ＡＴよりも、座席１５への着座が完了した状態の乗員１１の頭部１１ａなどの上半身の加速度ＡＴが低い傾向にある。そのため、上記のように所定点Ｐの加速度ＡＴと所定加速度ＡＰとを比較することで乗員１１が座席１５に着座したか否かを判断できる。

【0049】

また、第２平均値Ａ２は、着座領域Ｒに所定点Ｐが位置する状態で所定点Ｐの動作速度平均値ＳＡが第２平均値Ａ２未満であるときに、所定点Ｐが設定された乗員１１が座席１５への着座が完了したと判断できる値である。座席１５に着座しようと乗員１１が移動するときの頭部１１ａなどの上半身の動作速度平均値ＳＡよりも、座席１５への着座が完了した状態の乗員１１の頭部１１ａなどの上半身の動作速度平均値ＳＡが低い傾向にある。そのため、上記のように所定点Ｐの動作速度平均値ＳＡと第２平均値Ａ２とを比較することで乗員１１が座席１５に着座したか否かを判断できる。

【0050】

本実施形態における制御部２０は、検出した変位量平均値ＤＡが第１平均値Ａ１未満であることが成立し且つ着座判定条件が成立している場合に着座判定を行う。制御部２０は、検出した変位量平均値ＤＡが第１平均値Ａ１以上である場合には、着座判定条件が成立していても着座判定を行わずに未着座判定を行う。制御部２０は、着座判定条件が成立していない場合には、検出した変位量平均値ＤＡによらず未着座判定を行う。

【0051】

＜起立判定処理＞
図４及び図６に示すように、制御部２０は、起立判定処理を行う。制御部２０は、着座判定処理によって着座判定が行われた乗員１１を対象に起立判定処理を行う。そのため、起立判定処理は、座席１５に着座した状態の乗員１１を対象に行われる処理である。

【0052】

起立判定処理において、制御部２０は、着座判定が行われた乗員１１の所定点Ｐが起立領域に位置している場合に起立判定条件が成立しているとして、乗員１１が着座している状態から起立した旨の判定である起立判定を行う。詳細には、制御部２０は、着座判定が行われた乗員１１の所定点Ｐが起立領域としての第１領域Ａに位置している場合、乗員１１が場所移動する直前である旨の判定である移動直前判定を行う。制御部２０は、着座判定が行われた乗員１１の所定点Ｐが起立領域としての第２領域Ｂに位置している場合、乗員１１が場所移動している旨の判定である移動判定を行う。本実施形態において、移動直前判定及び移動判定が起立判定に相当する。

【0053】

起立判定処理において、制御部２０は、着座判定が行われた乗員１１の所定点Ｐが起立領域外である第３領域Ｃおよび第４領域Ｄのいずれかの領域に位置している場合に、起立判定条件が成立していないとして、着座継続判定を行う。着座継続判定とは、乗員１１が着座している状態が継続されている旨の判定である。

【0054】

＜運転手通知部による通知＞
本実施形態の制御部２０は、乗員１１に対して未着座判定が行われたときに、乗員１１が未着座である旨の通知を運転手通知部３０に行わせる。制御部２０は、対象となる乗員１１全員に対して着座判定がなされたときに、乗員１１が着座している旨の通知を運転手通知部３０に行わせる。これにより、例えば、車両１２が停車している状況下において、運転手通知部３０による着座している旨の通知を受けてから、運転手は車両１２を発車させることにより、乗員１１の姿勢が安定した状態で車両１２を発車させることができる。

【0055】

＜乗員通知部による通知＞
本実施形態の制御部２０は、乗員１１に対して起立判定が行われたときに、乗員１１に注意を促す内容の通知を乗員通知部３１に行わせる。ここで、例えば車両１２の走行中である状況下において、乗員１１が着座した状態から起立すると、乗員１１が転倒するおそれがある。こうした乗員１１が転倒するおそれのある状況にて、上記の乗員通知部３１による通知が行われることで、場所移動を行う乗員１１に注意を促すことができる。そのため、乗員１１の転倒を抑制できる。

【0056】

制御部２０は、移動直前判定を行った場合と、移動判定を行った場合とで、乗員通知部３１による通知の内容を異ならせてもよい。例えば、制御部２０は、移動判定を行った場合に、移動直前判定を行った場合よりも、強く注意喚起を促す内容の通知を行ってもよい。

【0057】

＜実施形態の作用＞
次に、実施形態の作用について説明する。
車両１２への乗員１１の乗車時など、乗員１１が座席１５に着座しようとするとき、乗員１１の座席１５への着座が完了するまでは、乗員１１に設定された所定点Ｐが着座領域Ｒ外に位置する。こうした場合、制御部２０は、着座判定条件が成立しないとして、着座判定を行わない。また、乗員１１の座席１５への着座完了の直前では、所定点Ｐが着座領域Ｒ内に位置するが、所定点Ｐの変位量平均値ＤＡが第１平均値Ａ１以上となる。こうした場合、着座判定条件が成立するが、制御部２０は着座判定を行わない。乗員１１の座席１５への着座が完了すると、所定点Ｐが着座領域Ｒ内に位置するとともに所定点Ｐの変位量平均値ＤＡが第１平均値Ａ１未満となる。この場合、制御部２０は、着座判定条件が成立しているとして、着座判定を行う。

【0058】

車両１２の走行している状況下などで、乗員１１の場所移動に際して、座席１５に着座していた乗員１１が座席１５から起立することがある。乗員１１の座席１５への着座が継続される間は、乗員１１の所定点Ｐは起立領域外に位置する。この場合、制御部２０は、起立判定条件が成立していないとして、起立判定を行わない。着座していた乗員１１が起立すると、乗員１１の所定点Ｐは起立領域に位置するようになる。この場合、制御部２０は、起立判定条件が成立しているとして、起立判定を行う。

【0059】

＜実施形態の効果＞
実施形態によれば、以下の効果を得ることができる。
（１）制御部２０は、カメラ１３から取得した画像情報に基づいて乗員１１の上半身としての頭部１１ａの所定点Ｐを検出する。所定点Ｐが位置していると乗員１１が着座していることを推定できる領域を着座領域Ｒとすると、制御部２０は、着座領域Ｒに所定点Ｐが位置している場合に着座判定条件が成立しているとして、乗員１１の着座が完了している旨の判定である着座判定を行う。上半身としての頭部１１ａは、下半身よりも他の乗員１１や乗員１１が車両１２内に持ち込んだ手荷物などによって隠れにくい。そのため、カメラ１３によって正確な乗員１１の画像情報を検出できるため、制御部２０は、正確な乗員１１の画像情報に基づいて所定点Ｐを検出できる。したがって、乗員１１の着座が完了している旨の判定である着座判定を正確に行うことができる。

【0060】

（２）制御部２０は、所定点Ｐの動作速度Ｓを検出し、検出した動作速度Ｓが所定速度ＳＰ未満であり且つ着座判定条件が成立している場合に着座判定を行う。そのため、所定点Ｐの動作速度Ｓ、所定点Ｐの変位量平均値ＤＡ、所定点Ｐの加速度ＡＴ、及び所定点Ｐの動作速度平均値ＳＡのいずれにもよらず着座判定条件が成立しているときに着座判定を行う場合よりも、着座判定をより正確に行うことができる。

【0061】

（３）所定点Ｐは、少なくとも乗員１１の頭部１１ａに位置する。頭部１１ａは人の体のうちで比較的重い部位であるため、人が動く際には頭部１１ａが動作方向に傾く傾向にある。そのため、頭部１１ａは、上半身の中でも最も人の動きと関連性が高い。こうした人の動きと関連性が高い頭部１１ａに所定点Ｐが少なくとも位置するため、所定点Ｐに基づく着座判定をより正確に行うことができる。

【0062】

（４）制御部２０は、着座判定が行われた乗員１１の所定点Ｐが起立領域に位置している場合に起立判定条件が成立しているとして、乗員１１が着座している状態から起立した旨の判定である起立判定を行う。したがって、着座していた乗員１１が起立したときに起立判定を正確に行うことができる。

【0063】

（５）制御部２０は、着座している乗員１１の所定点Ｐの高さが高いほど、起立領域の下限高さが高くなるように起立領域を乗員１１ごとに設定する。乗員１１の背の高さに応じて、乗員１１が起立したときの上半身としての頭部１１ａの位置は異なる。上記のように乗員１１ごとに起立領域を設定することで、乗員１１の背の高さに合った起立領域を設定できる。したがって、起立判定をより正確に行うことができる。

【0064】

（６）制御部２０は、着座している乗員１１の所定点Ｐの高さが変化した後に所定点Ｐの高さが所定期間Ｔ３維持されたことを条件に、変化後の所定点Ｐの高さに基づいて起立領域としての第１領域Ａおよび第２領域Ｂを再設定する。そのため、乗員１１の着座中に乗員１１の姿勢が変化すると所定点Ｐの高さが変化するおそれがあるが、そうした変化後の所定点Ｐの高さに基づいて第１領域Ａおよび第２領域Ｂを再設定できる。これにより、乗員１１の第１領域Ａおよび第２領域Ｂに乗員１１の姿勢変化を反映させることができる。したがって、起立判定をより正確に行うことができる。

【0065】

（７）制御部２０は、カメラ１３から取得した画像情報に基づいて乗員１１の上半身としての頭部１１ａの所定点Ｐを検出するとともに、所定点Ｐに基づいて着座判定を行う。そのため、例えば、カメラ１３から取得した画像情報に基づいて乗員１１の全身の画像データを検出するとともにその画像データに基づいて着座判定を行う場合よりも、必要な学習済みモデルを低減できる。したがって、学習済みモデルの用意に係る作業工数を低減できる。また、上記実施形態によれば、上記のように乗員１１の全身の画像データに基づいて着座判定を行う場合よりも、着座判定に係る処理速度を速めることができる。

【0066】

（８）制御部２０は、所定点Ｐの動作速度Ｓと、第１所定時間Ｔ１内での所定点Ｐの変位量平均値ＤＡと、所定点Ｐの加速度ＡＴと、第２所定時間Ｔ２内での所定点Ｐの動作速度平均値ＳＡと、のうち少なくとも所定点Ｐの変位量平均値ＤＡを検出する。制御部２０は、少なくとも変位量平均値ＤＡが第１平均値Ａ１未満であることが成立し且つ着座判定条件が成立している場合に着座判定を行う。仮に乗員１１の瞬間的な動き等により所定点Ｐは瞬間的に変位しうるが、検出された変位量平均値ＤＡに基づいて上記のように着座判定が行われるため、所定点Ｐの変位に係る値を平均化せずに用いて着座判定を行う場合と比較して着座判定の誤判定を抑制できる。

【0067】

＜変更例＞
実施形態は、以下のように変更して実施することができる。実施形態及び以下の変形例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

【0068】

・第３領域Ｃと第４領域Ｄとの境界を削除することで、第３領域Ｃおよび第４領域Ｄを１つの領域としてもよい。
・第１領域Ａと第２領域Ｂとの境界を削除することで、第１領域Ａおよび第２領域Ｂを１つの起立領域としてもよい。この場合、制御部２０は、着座判定が行われた乗員１１の所定点Ｐが起立領域に位置している場合に起立判定条件が成立するとして、乗員１１が着座している状態から起立した旨の判定である起立判定を行う。

【0069】

・制御部２０は、着座している乗員１１の所定点Ｐの高さが変化した際に、変化後の所定点Ｐの高さに基づいて起立領域を再設定することを省略してもよい。この場合の制御部２０は、例えば起立領域の設定後に所定点Ｐが変位しても、所定点Ｐの変化前と同じ起立領域を用いて起立判定を行う。

【0070】

・制御部２０は、起立領域を乗員１１ごとに異ならせなくてもよい。この場合、制御部２０は、予め設定された起立領域に基づいて、起立判定を行う。
・制御部２０は、起立判定処理の実行を省略してもよい。

【0071】

・所定点Ｐは、乗員１１の頭部１１ａのみに位置する形態に限らない。例えば、所定点Ｐは、乗員１１の肩などの頭部１１ａ以外の上半身に位置していてもよい。所定点Ｐは、上記の頭部１１ａ以外の部分と頭部１１ａとの各々に位置していてもよい。要するに、所定点Ｐは、乗員１１の上半身に位置していればよい。

【0072】

・制御部２０は、検出した動作速度Ｓが所定速度ＳＰ未満であることが成立し且つ着座判定条件が成立している場合に着座判定を行ってもよい。制御部２０は、検出した加速度ＡＴが所定加速度ＡＰ未満であることが成立し且つ着座判定条件が成立している場合に着座判定を行ってもよい。制御部２０は、検出した動作速度平均値ＳＡが第２平均値Ａ２未満であることが成立し且つ着座判定条件が成立している場合に着座判定を行ってもよい。制御部２０は、上記の動作速度Ｓに関する条件、加速度ＡＴに関する条件、動作速度平均値ＳＡに関する条件、及び変位量平均値ＤＡが第１平均値Ａ１未満であることといった４つの条件のうち、少なくとも２つ以上の条件が成立する場合に着座判定を行ってもよい。こうした場合、制御部２０は、動作速度Ｓ、加速度ＡＴ、動作速度平均値ＳＡ、及び変位量平均値ＤＡのうち、着座判定に用いられるパラメータを少なくとも検出する。

【0073】

・制御部２０は、所定点Ｐの動作速度Ｓ、加速度ＡＴ、動作速度平均値ＳＡ、及び変位量平均値ＤＡのいずれにもよらず着座判定条件が成立しているときに着座判定を行ってもよい。

【0074】

・車両１２の運転者は、車両１２に乗車するとともに手動操作によって車両１２を運転する運転手に限らない。例えば、車両１２の運転者は、車両１２に乗車しないとともに、遠隔操作によって車両１２を運転する操作者であってもよい。この場合、制御部２０によって着座判定が行われるときに、この着座判定が信号として制御部２０から操作者が操作する機器に発信されることで、操作者は着座判定が行われた旨を認識できる。また、例えば、車両１２の運転者は、遠隔操作によって車両１２を運転する操作装置であってもよい。この場合、制御部２０によって着座判定が行われるときに、この着座判定が信号として制御部２０から操作装置に発信されることで、操作装置は着座判定が行われたことを踏まえた制御を行える。なお、この変更例においては、車両用運転支援システム１０から運転手通知部３０および乗員通知部３１の少なくとも一方を省略してもよい。

【符号の説明】

【0075】

Ａ１…第１平均値
Ａ２…第２平均値
ＡＰ…所定加速度
ＡＴ…加速度
ＤＡ…変位量平均値
Ｐ…所定点
Ｒ…着座領域
Ｓ…動作速度
ＳＡ…動作速度平均値
ＳＰ…所定速度
Ｔ１…第１所定時間
Ｔ２…第２所定時間
１０…車両用運転支援システム
１１…乗員
１１ａ…頭部
１２…車両
１３…カメラ
２０…制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】