特許 7501516 車両の乗員検出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-10

(45)【発行日】2024-06-18

(54)【発明の名称】車両の乗員検出システム

(51)【国際特許分類】

   B60R 11/04 20060101AFI20240611BHJP

   G06T 7/00 20170101ALI20240611BHJP

【ＦＩ】

B60R11/04

G06T7/00 650Z

【請求項の数】 4

(21)【出願番号】P 2021209719

(22)【出願日】2021-12-23

(65)【公開番号】P2023094317

(43)【公開日】2023-07-05

【審査請求日】2023-11-23

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】大矢 健太郎

(72)【発明者】

【氏名】伊津野 貴裕

【審査官】久保田 信也

(56)【参考文献】

【文献】特開２０１６－１０７８１７（ＪＰ，Ａ）

【文献】特開２００９－２７９９７０（ＪＰ，Ａ）

【文献】特開平２－５１０５０（ＪＰ，Ａ）

【文献】特開２０００－２７２８６３（ＪＰ，Ａ）

【文献】特開平６－１１２７００（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／８９５８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｒ １１／０４

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

車内上側に設置され、車内フロアの予め定められた乗員検出領域を含む領域を撮影して撮影画像を取得するカメラと、
前記撮影画像における前記乗員検出領域の位置情報を記憶するメモリと、
前記乗員検出領域の位置情報を用いて前記撮影画像の中の前記乗員検出領域を抽出し、その領域に現れる乗員を検出するプロセッサと、を備える、車両の乗員検出システムであって、
前記プロセッサは、
車両ドアの閉鎖時にその下に位置して前記車両ドアの開放時に露出する、線状に延びる金属フレームを、前記車両ドアの開放時に前記カメラで撮影して得られる補正用画像を用いて、前記乗員検出領域の位置情報を補正する補正モードを実行し、
前記プロセッサは、前記補正モードにおいて、
前記補正用画像における前記金属フレームの実位置を検出し、
前記金属フレームの実位置と、前記メモリに予め記憶された、前記補正用画像における前記金属フレームの期待位置との差を、ズレ量として算出し、
前記乗員検出領域の位置情報に示される現在の前記撮影画像の前記乗員検出領域を、前記ズレ量だけ移動させた領域を、新たな前記撮影画像の前記乗員検出領域とするように、前記撮影画像の前記乗員検出領域の位置情報を更新する、
ことを特徴とする車両の乗員検出システム。

【請求項2】

請求項１に記載の車両の乗員検出システムにおいて、
前記プロセッサは、
前記補正用画像を解析することで前記車内に乗員がいるか否かを検出し、
前記車内に乗員がいないことを検出した際に、前記補正モードを実行する、
ことを特徴とする車両の乗員検出システム。

【請求項3】

請求項１または２に記載の車両の乗員検出システムにおいて、
前記プロセッサは、前記補正モードにおいて、
前記補正用画像における前記金属フレームと前記車内フロアの色差から、その画像における前記金属フレームの前記車内フロア側の外郭の実位置を検出し、
前記金属フレームの外郭の実位置と、前記メモリに予め記憶された、前記補正用画像における前記金属フレームの前記車内フロア側の外郭の期待位置との差を、前記ズレ量として算出する、
ことを特徴とする車両の乗員検出システム。

【請求項4】

請求項１または２に記載の車両の乗員検出システムにおいて、
前記プロセッサは、前記補正モードにおいて、
前記補正用画像における前記金属フレームと車体外部の色差から、その画像における前記金属フレームの前記車体外部側の外郭の実位置を検出し、
前記金属フレームの外郭の実位置と、前記メモリに予め記憶された、前記補正用画像における前記金属フレームの前記車体外部側の外郭の期待位置との差を、前記ズレ量として算出する、
ことを特徴とする車両の乗員検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の乗員検出システムに関し、特に、車内カメラの撮影画像における乗員検出領域を補正する機能を有するシステムに関する。

【背景技術】

【0002】

従来から、バス等の車両において、車内上側に設置されたカメラで車内を撮影し、そのカメラの撮影画像から、車内フロアの予め定められた乗員検出領域に乗員がいるか否かを検出する乗員検出システムが知られている。

【0003】

特許文献１には、バス車内に設定された観察領域をカメラで撮影した撮影画像から、観察領域で起立状態にある乗員を検出した際に、運転席前のディスプレイ装置に警報を表示する、車内事故防止システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－１０７８１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

乗員検出システムでは、車内上側に設置されたカメラが、車内フロアの予め定められた乗員検出領域を含む領域を撮影して撮影画像を取得し、プロセッサが、撮影画像における乗員検出領域の位置情報をメモリから読み出して、その位置情報を用いて撮影画像の中の乗員検出領域を抽出し、その領域に現れる乗員を検出する。

【0006】

カメラは、それが車体に設置される際、または、車両が走行した際などに所望の位置からずれる可能性があり、その場合には、撮影画像の中の乗員検出領域もずれるため、正確な乗員検出を行うことができなくなってしまう。よって、カメラが所望の位置からずれた場合であっても、撮影画像における乗員検出領域の位置情報を補正して、正確な乗員検出を行うことができるようにすることが望まれている。

【0007】

本発明の目的は、車両の乗員検出システムにおいて、カメラの撮影画像における乗員検出領域の位置を補正することができるようにすることにある。

【課題を解決するための手段】

【0008】

本発明に係る車両の乗員検出システムは、車内上側に設置され、車内フロアの予め定められた乗員検出領域を含む領域を撮影して撮影画像を取得するカメラと、前記撮影画像における前記乗員検出領域の位置情報を記憶するメモリと、前記乗員検出領域の位置情報を用いて前記撮影画像の中の前記乗員検出領域を抽出し、その領域に現れる乗員を検出するプロセッサと、を備える、車両の乗員検出システムであって、前記プロセッサは、車両ドアの閉鎖時にその下に位置して前記車両ドアの開放時に露出する、線状に延びる金属フレームを、前記車両ドアの開放時に前記カメラで撮影して得られる補正用画像を用いて、前記乗員検出領域の位置情報を補正する補正モードを実行し、前記プロセッサは、前記補正モードにおいて、前記補正用画像における前記金属フレームの実位置を検出し、前記金属フレームの実位置と、前記メモリに予め記憶された、前記補正用画像における前記金属フレームの期待位置との差を、ズレ量として算出し、前記乗員検出領域の位置情報に示される現在の前記撮影画像の前記乗員検出領域を前記ズレ量だけ移動させた領域を、新たな前記撮影画像の前記乗員検出領域とするように、前記撮影画像の前記乗員検出領域の位置情報を更新する、ことを特徴とする。

【0009】

本発明に係る車両の乗員検出システムにおいて、前記プロセッサは、前記補正用画像を解析することで前記車内に乗員がいるか否かを検出し、前記車内に乗員がいないことを検出した際に、前記補正モードを実行する、としてもよい。

【0010】

本発明に係る車両の乗員検出システムにおいて、前記プロセッサは、前記補正モードにおいて、前記補正用画像における前記金属フレームと前記車内フロアの色差から、その画像における前記金属フレームの前記車内フロア側の外郭の実位置を検出し、前記金属フレームの外郭の実位置と、前記メモリに予め記憶された、前記補正用画像における前記金属フレームの前記車内フロア側の外郭の期待位置との差を、前記ズレ量として算出する、としてもよい。

【0011】

本発明に係る車両の乗員検出システムにおいて、前記プロセッサは、前記補正モードにおいて、前記補正用画像における前記金属フレームと車体外部の色差から、その画像における前記金属フレームの前記車体外部側の外郭の実位置を検出し、前記金属フレームの外郭の実位置と、前記メモリに予め記憶された、前記補正用画像における前記金属フレームの前記車体外部側の外郭の期待位置との差を、前記ズレ量として算出する、としてもよい。

【発明の効果】

【0012】

本発明によれば、車内のデザイン変更等により変化する可能性が低く、かつ、周りとの色差や線状（線形状）から補正用画像での検出が容易である金属フレームをカメラにより撮影するので、補正用画像において金属フレームの位置を的確に捕捉することができる。従って、カメラの位置ズレにともなう補正用画像における金属フレームのズレ量を把握することができ、そのズレ量を撮影画像の乗員検出領域の位置に反映して、それを補正することができる。

【図面の簡単な説明】

【0013】

【図1】実施形態に係る車両の斜視図である。

【図2】ドアが開いた状態を示す車両の斜視図である。

【図3】車両の車室内を示す図である。

【図4】車両の乗降口付近を上から見た図である。

【図5】車両の乗員検出システムの機能ブロック図である。

【図6】補正指示ボタンが押下された際の処理の流れを示すフローチャートである。

【図7】撮影画像の一例を示す図である。

【図8】補正用画像の一例を示す図である。

【図9】補正用画像の別の一例を示す図である。

【発明を実施するための形態】

【0014】

以下、本発明の実施形態を図面に従って説明する。以下で述べる構成は、説明のための例示であって、車両の仕様等に合わせて適宜変更が可能である。全ての図面において同一の要素には同一の符号を付し、重複する説明を省略する。各図において、矢印ＦＲの向きが車両前方、矢印ＵＰの向きが車両上方、矢印ＲＷの向きが車両右方を表す。

【0015】

図１は、実施形態に係る車両１０の斜視図であり、図２は、車両１０のドア５０が開いた状態を示す斜視図であり、図３は、車両１０の車室内を示す図である。

【0016】

車両１０は、図１に示すように略直方体の形状を有し、自動運転可能な自動車である。具体的には、車両１０は、自動運転モード及び手動運転モードを含む複数の運転モードで運転することが可能となっている。車両１０は、図示しない回転電機を駆動源とする電気自動車である。車両１０には、回転電機に電力を供給するバッテリが搭載されている。なお、別の実施形態として、車両１０は、内燃機関を駆動源とする自動車であってもよい。

【0017】

車両１０は、不特定多数の乗員が乗り合うバスとして利用される。車両１０の車体側部には、乗降口５２が設けられている。乗降口５２は、車両前後方向の略中央にあり、車両走行時はドア５０により閉じられている。ドア５０は、スライドドアであり、図２に示すように、前方側ドア５０が前方に移動すると共に、後方側ドア５０が後方に移動することで、乗降口５２が開かれる。

【0018】

車両１０は、ドア５０外面に配置されたドアボタン５６と、車室内（図３参照）の乗降口５２近傍の壁に配置されたドアボタン５８を備える。ドア５０の閉状態において、ドアボタン５６，５８のいずれか１つが押下されることで、ドア５０が開くようになっている。また、ドア５０の開状態において、ドアボタン５６，５８のいずれか１つが押下されることで、ドア５０が閉まるようになっている。

【0019】

車両１０は、図２に示すように、乗降口５２の下部のステップ部分に、車両前後方向に線状に延びる金属フレーム１４を備える。金属フレーム１４は、アルミ製である。金属フレーム１４は、２つのドア５０の閉鎖時にそれらの下に位置して隠れた状態となり、２つのドア５０の開放時に露出状態となるものである。金属フレーム１４は、車両前後方向の中央に２つの穴（不図示、以下、係止穴と言う）を備える。車両１０は、２つドア５０が閉じられた際に各ドア５０の下から突出してくる係止棒（不図示）が金属フレーム１４の２つの係止穴のそれぞれに入り込むことで、２つのドア５０がロック状態となるように構成される。

【0020】

金属フレーム１４は、車内のデザイン変更等により変化する可能性が低い部分であり、、その周り（車内フロアや車体外部）との色差や特徴的な形状（線状）から、以降説明するカメラ２０で撮影して得られた撮像画像において検出することが容易な部分である。

【0021】

図３に示すように、車内フロア６０には、金属フレーム１４に隣接して、乗員の立ち乗り禁止領域１６が設けられる。図３および以下説明する図において、立ち乗り禁止領域１６の外郭が仮想線（一点鎖線）で示されている。立ち乗り禁止領域１６は、安全配慮の観点から、車両走行時に乗員が立ち入ることが禁止される領域である。以下に説明するように、カメラ２０により立ち乗り禁止領域１６を撮影して、その領域に乗員がいるか否かを検出する。以下、立ち乗り禁止領域１６を、乗員検出領域１６と言う。

【0022】

乗降口５２近くの天井には、カメラ２０が設置されている。カメラ２０は、乗員検出領域１６と金属フレーム１４を含む領域を撮影するものである。カメラ２０は、広角レンズ、魚眼レンズ等を用いた１８０度以上の範囲（例えば３６０度）を撮影可能なものであってよい。

【0023】

車内の天井には、照明１８が設置されている。照明１８からの照明光は、金属フレーム１４で反射されて、カメラ２０の撮像素子に入射するので、カメラ２０の撮影画像に金属フレーム１４が明確に現れることになる。

【0024】

図４は、車両の乗降口５２付近を上から見た図である。乗降口５２が開いた状態では、２つのドア５０はボディ７０の外側にある。乗員検出領域１６と金属フレーム１４の外郭は、いずれも矩形である。金属フレーム１４は、車内フロア６０と車体外部６２の間に位置する。以下に説明するように、補正モードにおいて、カメラ２０で金属フレーム１４を撮影して補正用画像を取得する。そして、補正用画像において、金属フレーム１４の車内フロア６０側の外郭の位置（１つの角（特徴点ＦＬＵ）の位置と外郭線ＦＩＬＩＮの傾き）を検出する。また、以下で説明する別の実施形態では、補正用画像において、金属フレーム１４の車体外部６２側の外郭の位置（１つの角（特徴点ＦＬＢ）の位置と外郭線ＦＯＬＩＮの傾き）を検出する。

【0025】

図５は、車両に搭載された乗員検出システム１２の機能ブロック図である。乗員検出システム１２は、コントローラ２４と、カメラ２０と、サイネージ３０と、ドア検出センサ３２と、補正指示ボタン３４とを備える。

【0026】

コントローラ２４は、ＣＰＵを有するプロセッサ２６と、メモリ２８とを備える。プロセッサ２６は、メモリ２８に記憶された制御プログラム、制御データ（いずれも不図示）に従って動作する。なお、プロセッサ２６は、ＣＰＵに代えて、またはそれと伴にＡＳＩＣ（Application Specific Integrated Circuit）等を含んでもよい。メモリ２８は、例えばＲＡＭ、ＲＯＭ、フラッシュメモリ等である。メモリ２８には、制御プログラム、制御データ、撮影画像３８、補正用画像４０、検出領域の位置情報４２（乗員検出領域の位置情報４２とも言う）、金属フレームの期待位置４６、金属フレームの実位置４７、およびズレ量４８が記憶される。

【0027】

補正用画像４０は、カメラ２０の撮影画像３８の内、補正モードに用いられる画像である。検出領域の位置情報４２、金属フレームの期待位置４６、金属フレームの実位置４７、およびズレ量４８は、いずれも、補正モードに用いられるデータである。検出領域の位置情報４２と金属フレームの期待位置４６は、車両１０の出荷検査前に、予めメモリ２８に記憶されるものである。金属フレームの実位置４７とズレ量４８は、補正モードの処理の中で、一時的にメモリ２８に記憶されるものである。

【0028】

サイネージ３０は、車内の乗降口５２付近の壁に配置されたディスプレイ装置である。サイネージ３０は、乗員検出領域１６に乗員がいることが検出された際に、その乗員に対して乗員検出領域１６から出ることを促す警告を表示するものである（図３には不図示）。

【0029】

ドア検出センサ３２は、車両のドア５０が開放されているか否かを検出するものである。

【0030】

補正指示ボタン３４は、車両１０の運転席の近くに設けられた押しボタンである。補正指示ボタン３４は、補正モードの実行指示を乗務員等から受け付けるものである。

【0031】

コントローラ２４には、カメラ２０、サイネージ３０、ドア検出センサ３２、および補正指示ボタン３４が電気的に接続されている。

【0032】

次に、乗員検出システム１２の乗員検出について説明する。車内上側に設置されたカメラ２０は、金属フレーム１４と乗員検出領域１６を含む領域を、予め定められた時間間隔で撮影し、撮影画像３８をコントローラ２４に出力する。コントローラ２４のプロセッサ２６は、カメラ２０から撮影画像３８を取得して、それをメモリ２８に記憶する。図７は、撮影画像３８の一例を示す図である。撮影画像３８は、ｘ方向とｙ方向に画素が並んで構成され、それぞれの画素の位置はｘｙ座標により特定される。撮影画像３８の左上画素の位置が、座標（０，０）となる。

【0033】

メモリ２８には、検出領域の位置情報４２が予め記憶されている。検出領域の位置情報４２は、撮影画像３８における乗員検出領域１６ｉの原点位置（Ｘｄ，Ｙｄ）（左上角の座標）、サイズ（ｄｗ，ｄｈ）（幅ｄｗと高さｄｈ（いずれも画素数））および傾きθｄ（領域１６ｉの上辺のｘ方向に対する傾き）を含む。

【0034】

プロセッサ２６は、検出領域の位置情報４２を用いて撮影画像３８の中の乗員検出領域１６ｉを抽出し、その領域を既存技術（パターンマッチング等）を用いて解析することで、その領域に現れる乗員を検出する。そして、プロセッサ２６は、乗員検出領域１６にいる乗員を検出した際には、サイネージ３０に警告を表示する制御を行う。

【0035】

次に、乗員検出システム１２の補正モードについて説明する。カメラ２０（図３参照）は、それが車体に設置される際、または、車両が走行した際などに所望の位置からずれることがある。その場合には、図８に示すように、撮影画像３８の中の乗員検出領域１６ｉも、検出領域の位置情報４２で示される乗員検出領域１６ｐｉからずれるため、正確な乗員検出を行うことができなくなってしまう。この実施形態では、カメラ２０が所望の位置からずれた場合であっても、補正モードを実行して、メモリ２８にある検出領域の位置情報４２を補正することで、正確な乗員検出を維持できるようにする。

【0036】

メモリ２８には、金属フレームの期待位置４６が予め記憶されている。金属フレームの期待位置４６は、撮影画像３８における金属フレーム１４ｉ（図７参照）の特徴点ｉＦＬＵの期待位置（Ｘｆｅ，Ｙｆｅ）（左上角の座標）および外郭線ｉＦＩＬＩＮの期待傾きθｆｅ（金属フレーム１４ｉの上辺のｘ方向に対する傾き）を含む。

【0037】

車両１０の出荷検査前に、検出領域の位置情報４２と金属フレームの期待位置４６がメモリ２８に記憶される。これらの情報は、カメラ２０が所望の位置に設置された際の撮影画像３８における乗員検出領域１６ｉと金属フレーム１４ｉの位置を示している。図７の撮影画像３８にはこれらの位置が示されている。

【0038】

図６は、補正指示ボタン３４が押下された際の処理の流れを示すフローチャートである。図６のＳ１００～Ｓ１０４が、補正モードの実行可否を判断する処理であり、Ｓ１０６～Ｓ１１４が補正モードの処理である。車両１０の検査員や乗務員は、車両１０の出荷検査時、および、車両１０が使用されている期間の予め定められた時間間隔で補正指示ボタン３４を押下して、図６のフローが実行されるようにする。ここでは、まず、車両１０の出荷検査時に、補正指示ボタン３４が押下された例について説明する。

【0039】

コントローラ２４のプロセッサ２６は、補正指示ボタン３４の押下を検出した際に、Ｓ１００から処理を開始する。Ｓ１００で、プロセッサ２６は、ドア検出センサ３２から検出信号を受け付けて、ドア５０が開状態になっているかを確認する。ドア５０が閉状態の場合には、カメラ２０の撮影画像３８に金属フレーム１４ｉが現れないので、ここでは、撮影画像３８に金属フレーム１４ｉが現れるようにするために、ドア５０の開状態を確認する。Ｓ１００がＮｏの場合（ドア閉状態の場合）は、ドア５０が開状態になるのを待つ。一方、Ｓ１００がＹｅｓの場合（ドア開状態の場合）は、Ｓ１０２に進む。

【0040】

Ｓ１０２で、プロセッサ２６は、カメラ２０の撮影画像３８を補正用画像４０として取得し、それをメモリ２８に記憶する。Ｓ１０４で、プロセッサ２６は、補正用画像４０を既存技術（パターンマッチング等）を用いて解析することで、車内に乗員がいるか否かを確認する。車内に乗員がいる場合には、乗員が金属フレーム１４を跨いだり、金属フレーム１４の近くにいたりすることで、補正用画像４０に金属フレーム１４ｉが明確に現れない可能性がある。ここでは、補正用画像４０に金属フレーム１４ｉが明確に現れるようにするために、車内に乗員がいないことを確認する。Ｓ１０４がＮｏの場合（車内に乗員がいる場合）は、Ｓ１０２とＳ１０４を繰り返し実行し、車内に乗員がいなくなるのを待つ。一方、Ｓ１０４がＹｅｓの場合（車内に乗員がいない場合）は、Ｓ１０６に進む。

【0041】

Ｓ１０６以降が、補正モードの処理である。Ｓ１０６で、プロセッサ２６は、補正用画像４０に対して画像処理を行う。具体的には、プロセッサ２６は、補正用画像４０をグレースケール画像に変換し、さらに、グレースケール画像に対してエッジ抽出処理を行う。図８には、カメラが所望の位置からずれている場合の補正用画像４０Ａの例が示されている。補正用画像４０Ａにおいて金属フレーム１４ｉとその周囲（車内フロア６０ｉと車体外部６２ｉ）の間には大きな色差があるため、エッジ抽出処理後の画像には、金属フレーム１４ｉの外郭がくっきり現れることになる。また、金属フレーム１４ｉは、線状を有しているため、エッジ抽出処理後の画像において金属フレーム１４ｉの位置を特定することも容易である。

【0042】

なお、図８および以降説明する図９において、金属フレーム１４ｉ（ハッチングを付した四角）は、補正用画像４０Ａ（４０Ｂ）に現れる金属フレームであり、金属フレーム１４ｐｉ（外郭が点線の四角）は、現在の金属フレームの期待位置４６が示す金属フレームであり、乗員検出領域１６ｉは、以下説明する補正の後の検出情報の位置情報４２が示す乗員検出領域であり、乗員検出領域１６ｐｉは、現在（補正前）の検出情報の位置情報４２が示す乗員検出領域である。また、乗員検出領域１６ｐｉの原点位置（Ｘｄ，Ｙｄ）を（Ｘｐｄ，Ｙｐｄ）と記し、乗員検出領域１６ｐｉの傾きθｄをθｐｄと記している。

【0043】

図６のＳ１０８で、プロセッサ２６は、Ｓ１０６のエッジ抽出処理後の画像から、補正用画像４０Ａにおける金属フレーム１４ｉの実位置を取得する。具体的には、プロセッサ２６は、補正用画像４０Ａにおける金属フレーム１４ｉの特徴点ｉＦＬＵの実位置（Ｘｆｒ，Ｙｆｒ）（左上角の座標）および外郭線ｉＦＩＬＩＮの実傾きθｆｒ（上辺のｘ方向に対する傾き）を取得する。プロセッサ２６は、これらを、金属フレームの実位置４７としてメモリ２８に記憶する。

【0044】

Ｓ１１０で、プロセッサ２６は、金属フレームの実位置４７と、メモリ２８に予め記憶された、金属フレームの期待位置４６との差を、ズレ量４８として算出する。具体的には、プロセッサ２６は、特徴点ｉＦＬＵの実位置（Ｘｆｒ，Ｙｆｒ）と期待位置（Ｘｆｅ，Ｙｆｅ）との差を、位置ズレ量（ΔＸｆ，ΔＹｆ）として算出する（ΔＸｆ＝Ｘｆｒ－Ｘｆｅ，ΔＹｆ＝Ｙｆｒ－Ｙｆｅ）。また、プロセッサ２６は、外郭線ｉＦＩＬＩＮの実傾きθｒと期待傾きθｅとの差を、傾きズレ量Δθｆとして算出する（Δθｆ＝θｆｒ－θｆｅ）。

【0045】

Ｓ１１２で、プロセッサ２６は、検出情報の位置情報４２が示す現在の乗員検出領域１６ｐｉを、Ｓ１１０で算出されたズレ量だけ移動させた領域１６ｉが、新たな乗員検出領域となるように、検出領域の位置情報４２を補正（更新）する。具体的には、プロセッサ２６は、現在の乗員検出領域１６ｐｉの原点位置（Ｘｐｄ，Ｙｐｄ）に、位置ズレ量（ΔＸｆ，ΔＹｆ）を加算したものを、補正後の乗員検出領域１６ｉの原点位置（Ｘｄ，Ｙｄ）とする（Ｘｄ＝Ｘｐｄ＋ΔＸｆ，Ｙｄ＝Ｙｐｄ＋ΔＹｆ）。また、プロセッサ２６は、現在の乗員検出領域１６ｐｉの傾きθｐｄに、傾きズレ量Δθｆを加算したものを、補正後の乗員検出領域１６ｉの傾きθｄとする（θｄ＝θｐｄ＋Δθｆ）。

【0046】

Ｓ１１４で、プロセッサ２６は、金属フレームの期待位置４６を更新する。具体的には、プロセッサ２６は、特徴点ｉＦＬＵの期待位置（Ｘｆｅ，Ｙｆｅ）を、その実位置（Ｘｆｒ，Ｙｆｒ）に更新する（Ｘｆｅ＝Ｘｆｒ，Ｙｆｅ＝Ｙｆｒ）。また、プロセッサ２６は、外郭線ｉＦＩＬＩＮの期待傾きθｆｅを、その実傾きθｆｒに更新する（θｆｅ＝θｆｒ）。

【0047】

以上が補正モードの処理である。以上説明した実施形態によれば、カメラ２０が所望の位置からずれた場合であっても、撮影画像３８における乗員検出領域の位置情報４２が補正されるので、正確な乗員検出を維持することができる。また、車内のデザイン変更等により変化する可能性が低く、かつ、周りとの色差や線状（線形状）から補正用画像４０での検出が容易である金属フレーム１４をカメラ２０により撮影するので、補正用画像４０において金属フレーム１４ｉの位置を的確に捕捉することができる。従って、カメラ２０の位置ズレにともなう補正用画像４０における金属フレーム１４ｉのズレ量４８を正確に把握することができ、そのズレ量４８を撮影画像の乗員検出領域の位置情報４２に反映するので、それを正確に補正することができる。

【0048】

図９には、車両１０が出荷された後、車両が使用されている際に、再び補正指示ボタン３４が押下されて補正モードが実行された時に取得された補正用画像４０Ｂが示されている。同図には、車両１０が使用されることで、カメラ２０の位置が出荷検査の時点（図８参照）からさらにずれた場合の補正用画像４０Ｂが示されている。

【0049】

前回の補正モードの実行により、コントローラ２４のメモリ２８には、出荷検査時のカメラ２０の位置に対応した、検出領域の位置情報４２（乗員検出領域１６ｐｉ）と金属フレームの期待位置４６（金属フレーム１４ｐｉ）が記憶されている。今回の補正モードでは、図６のＳ１１０で、出荷検査時のカメラ２０の位置に対応した、金属フレーム１４ｐｉの位置（Ｘｆｅ，Ｙｆｅ，θｆｅ）を基準に、ズレ量（ΔＸｆ，ΔＹｆ，Δθｆ）が算出されることになる。そして、Ｓ１１２で、出荷検査時のカメラ２０の位置に対応した、乗員検出領域１６ｐｉの位置（Ｘｐｄ，Ｙｐｄ，θｐｄ）に対してズレ量（ΔＸｆ，ΔＹｆ，Δθｆ）が加算されて、検出領域の位置情報４２が補正されることになる（乗員検出領域１６ｉのＸｄ，Ｙｄ，θｄが得られることになる）。そして、Ｓ１１４で、現在のカメラ２０の位置に対応した、金属フレーム１４ｉの位置（Ｘｆｒ，Ｙｆｒ，θｆｒ）に、金属フレームの期待位置４６（Ｘｆｅ，Ｙｆｅ，θｆｅ）が更新されることになる（Ｘｆｅ＝Ｘｆｒ，Ｙｆｅ＝Ｙｆｒ，θｆｅ＝θｆｒ）。このように、補正モードが実行されるごとに、現在のカメラ２０の位置に対応した、検出領域の位置情報４２と金属フレームの期待位置４６が得られることになる。

【0050】

以上説明した実施形態では、プロセッサ２６が、補正用画像４０における金属フレーム１４ｉの車内フロア６０ｉ側の外郭の位置（特徴点ｉＦＬＵ（左上角）の位置と外郭線ｉＦＩＬＩＮ（上辺）の傾き）を検出することで、ズレ量（ΔＸｆ，ΔＹｆ，Δθｆ）を算出した。しかし、別の実施形態として、プロセッサ２６が、補正用画像４０における金属フレーム１４ｉの車体外部６２ｉ側の外郭の位置（特徴点ｉＦＬＢ（左下角、図７参照）の位置と外郭線ｉＦＯＬＩＮ（下辺）の傾き）を検出することで、ズレ量（ΔＸｆ，ΔＹｆ，Δθｆ）を算出してもよい。この場合には、金属フレームの期待位置４６に関し、カメラ２０が所望の位置に設置された際の撮影画像３８における、特徴点ｉＦＬＢの位置を期待位置（Ｘｆｅ，Ｙｆｅ）とし、その撮影画像３８における、外郭線ｉＦＯＬＩＮの傾きを期待傾きθｆｅとして予めメモリ２８に記憶しておく。そして、プロセッサ２６は、補正用画像４０における金属フレーム１４ｉと車体外部６２ｉの色差から、その画像における金属フレーム１４ｉの車体外部６２ｉ側の外郭の実位置（特徴点ｉＦＬＢの実位置（Ｘｆｒ，Ｙｆｒ）、外郭線ｉＦＯＬＩＮの実傾きθｆｒ）を検出する（図６のＳ１０６，Ｓ１０８）。そして、プロセッサ２６は、その金属フレーム１４ｉの外郭の実位置と、メモリ２８に予め記憶された、補正用画像４０における金属フレーム１４ｐｉの車体外部６２ｉ側の外郭の期待位置（特徴点ｉＦＬＢの期待位置（Ｘｆｅ，Ｙｆｅ）、外郭線ｉＦＯＬＩＮの期待傾きθｆｅ）との差を、ズレ量（ΔＸｆ，ΔＹｆ，Δθｆ）として算出する（図６のＳ１１０）。以降の補正モードの処理は、上記した実施形態と同じである。この別の実施形態でも、検出領域の位置情報４２を正確に補正することができる。

【0051】

なお、以上説明した各実施形態において、図６のＳ１１０のズレ量（ΔＸｆ，ΔＹｆ，Δθｆ）が、予め定められた閾値ＸＴｈ，ＹＴｈ，θＴｈのそれぞれより小さい場合（ΔＸｆ＜ＸＴｈ、かつ、ΔＹｆ＜ＹＴｈ、かつ、Δθｆ＜θＴｈ）には、検出領域の位置情報４２の補正を行わない（Ｓ１１２，Ｓ１１４をスキップ）としてもよい。この場合は、条件（ΔＸｆ≧ＸＴｈ、または、ΔＹｆ≧ＹＴｈ、または、Δθｆ≧θＴｈ）が成立する場合に、検出領域の位置情報４２の補正が行われること（Ｓ１１２，Ｓ１１４の実行）になる。

【符号の説明】

【0052】

１０ 車両、１２ 乗員検出システム、１４，１４ｉ，１４ｐｉ 金属フレーム、１６，１６ｉ，１６ｐｉ 乗員検出領域（検出領域，立ち乗り禁止領域）、１８ 照明、２０ カメラ、２４ コントローラ、２６ プロセッサ、２８ メモリ、３０ サイネージ、３２ ドア検出センサ、３４ 補正指示ボタン、３８ 撮影画像、４０，４０Ａ，４０Ｂ 補正用画像、４２ 乗員検出領域の位置情報（検出領域の位置情報）、４６ 金属フレームの期待値、４７ 金属フレームの実位置、４８ ズレ量、５０ ドア（スライドドア）、５２ 乗降口、５６，５８ ドアボタン、６０，６０ｉ 車内フロア、６２，６２ｉ 車体外部、７０ ボディ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】