特開 2022-176764 乗客安全状況検出装置、および乗客安全状況検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022176764

(43)【公開日】2022-11-30

(54)【発明の名称】乗客安全状況検出装置、および乗客安全状況検出方法

(51)【国際特許分類】

   B60N 3/00 20060101AFI20221122BHJP

   G08G 1/127 20060101ALI20221122BHJP

   G08B 21/24 20060101ALI20221122BHJP

【ＦＩ】

B60N3/00 Z

G08G1/127 A

G08B21/24

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021083355

(22)【出願日】2021-05-17

(71)【出願人】

【識別番号】000005186

【氏名又は名称】株式会社フジクラ

(71)【出願人】

【識別番号】515261918

【氏名又は名称】朱 子達

(71)【出願人】

【識別番号】515261929

【氏名又は名称】山浦 真由子

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100126882

【弁理士】

【氏名又は名称】五十嵐 光永

(74)【代理人】

【識別番号】100160093

【弁理士】

【氏名又は名称】小室 敏雄

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(72)【発明者】

【氏名】唐澤 範之

(72)【発明者】

【氏名】朱 子達

(72)【発明者】

【氏名】山浦 真由子

【テーマコード（参考）】

3B088

5C086

5H181

【Ｆターム（参考）】

3B088CA15

5C086AA22

5C086BA22

5C086CA28

5C086CB36

5C086DA14

5C086DA33

5C086DA40

5C086FA02

5C086FA06

5C086FA11

5H181AA06

5H181AA21

5H181CC04

5H181MA29

(57)【要約】

【課題】運転者または監視人が目視で確認せずに、バス等の乗客が立っている領域を有する車両内の乗客の安全状況を検出することができる乗客安全状況検出装置、および乗客安全状況検出方法を提供することを目的とする。
【解決手段】乗客安全状況検出装置は、乗客が立てる領域を有する車両において、車両の天井近傍に設置され乗客情報を検出する検出部と、乗客情報を用いて乗客の頭部を検出し、頭部に基づいて車両に乗客が存在しているか否かを判別し、乗客が存在している場合に乗客の人数と乗客毎に頭部の位置を検出する人検出部と、検出された乗客毎に、乗客情報を用いて頭部の周囲の所定範囲内の領域を解析することで乗客の姿勢を検出する姿勢検出部と、検出された乗客毎に乗客の姿勢に基づいて、乗客が安全な状況であるか否かを判定する判定部と、判定された結果を報知する出力部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

乗客が立てる領域を有する車両において、前記車両の天井近傍に設置され、前記乗客に関する乗客情報を検出する検出部と、
前記乗客情報を用いて前記乗客の頭部を検出し、検出した前記頭部に基づいて前記車両に前記乗客が存在しているか否かを判別する人検出部と、
前記車両に前記乗客が存在している場合、検出された前記乗客毎に、前記乗客情報を用いて、検出された前記頭部の周囲の所定範囲内の領域を解析することで前記乗客の姿勢を検出する姿勢検出部と、
検出された前記乗客毎に、検出された前記乗客の姿勢に基づいて、前記乗客が安全な状況であるか否かを判定する判定部と、
判定された結果を報知する出力部と、
を備える乗客安全状況検出装置。

【請求項2】

前記検出部と、前記人検出部と、前記判定部と、前記出力部は、
前記車両に存在する全ての前記乗客が安全な状況であると判定されるまで、処理を繰り返す、
請求項１に記載の乗客安全状況検出装置。

【請求項3】

把持検出部、をさらに備え、
前記姿勢検出部は、前記乗客が立っている姿勢か着席しているか姿勢かを検出し、
前記把持検出部は、検出された前記乗客毎に、前記乗客が立っている姿勢の場合、検出された前記乗客の姿勢に基づいて、検出された前記頭部の周囲の所定範囲内の領域を解析することで前記乗客が前記車両内の把持部を把持しているか否かの把持状態を検出し、
前記判定部は、検出された前記乗客毎に、検出された前記乗客の把持状態も用いて、前記乗客が安全な状況であるか否かを判定する、
請求項１または請求項２に記載の乗客安全状況検出装置。

【請求項4】

前記出力部は複数であり、
前記判定部は、前記乗客が安全な状況ではないと判定した場合、安全な状況ではないと判定した前記乗客に最も近い位置の前記出力部に安全な状況ではないことを示す情報を報知させる、
請求項１から請求項３のいずれか１項に記載の乗客安全状況検出装置。

【請求項5】

前記検出部は複数個であり、
前記姿勢検出部は、第１の前記検出部が検出した第１の前記乗客情報と、第２の前記検出部が検出した第２の前記乗客情報において、同一の前記乗客を対応付け、第１の前記検出情報と第２の前記検出情報とに基づいて、前記乗客の姿勢を検出する、
請求項１から請求項４のいずれか１項に記載の乗客安全状況検出装置。

【請求項6】

前記人検出部は、前記乗客が存在している場合に、前記乗客の人数と、検出された前記乗客毎に前記頭部の位置を検出し、
前記姿勢検出部は、検出された前記乗客毎に、検出された前記頭部の位置の変化に基づいて、前記乗客が着席しているか立っているかを判定する、
請求項１から請求項５のいずれか１項に記載の乗客安全状況検出装置。

【請求項7】

前記検出部は、撮影装置または距離センサであり、
前記検出部が撮影装置の場合、前記乗客情報は画像であり、前記車両が走行中に立っている前記乗客が存在し得ない領域かつ前記乗客を俯瞰できる位置に前記検出部が設置され、
前記検出部が距離センサの場合、前記乗客情報は検出部からの距離情報であり、前記乗客を透過できる位置に前記検出部が設置されている、
請求項１から請求項６のいずれか１項に記載の乗客安全状況検出装置。

【請求項8】

乗客が立てる領域を有する車両において、前記車両の天井近傍に設置されている検出部が、前記乗客に関する乗客情報を検出し、
人検出部が、前記乗客情報を用いて前記乗客の頭部を検出し、検出した前記頭部に基づいて前記車両に前記乗客が存在しているか否かを判別し、前記乗客が存在している場合に、前記乗客の人数と、検出された前記乗客毎に前記頭部の位置を検出し、
姿勢検出部が、検出された前記乗客毎に、前記乗客情報を用いて、検出された前記頭部の周囲の所定範囲内の領域を解析することで前記乗客の姿勢を検出し、
判定部が、検出された前記乗客毎に、検出された前記乗客の姿勢に基づいて、前記乗客が安全な状況であるか否かを判定し、
出力部が、判定された結果を報知する、
乗客安全状況検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、乗客安全状況検出装置、および乗客安全状況検出方法に関する。

【背景技術】

【0002】

例えば子供からお年寄りまで広い年齢層が路線バスを利用する。路線バスでは、近年、乗客の転倒事故が多発している。このため、路線バスでは、転倒防止のために、「つり革、手すりにおつかまりください」等のアナウンスを車内で放送し、さらに運転者またはガイドなどの監視人が発車前に乗客が着席していることなどを確認している。

【0003】

また、近年、自動運転バスの実証実験が各地で行われている。また、近年、過疎化と、人手不足から、運転者が不足し、需要のある路線が縮小されたり廃止されたりするケースがある。このため、自動運転バスを使って、車内に運転者を配置しない運行が開始されようとしている。このような運転者が乗車していない自動運転バスでは、運転者または監視人が発車前に乗客が着席しているか、つり革につまっているか等を確認して出発することができない。このため、運転者が乗車していない自動運転バスでは、乗客の乗車時に交通系のＩＣカードから読み取った情報に基づいて、転倒リスクの高い乗客を認識し、その乗客を着席させるように誘導するシステムが提案されている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－３９３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の技術では、転倒リスクが高い乗客のみを着席するように誘導しているが、転倒リスクは着席していない全ての乗客にある。特許文献１に記載の技術では、車内の立っている全ての乗客を着席するように誘導することができない場合があるので、乗客の転倒防止を行えない場合がある。

【0006】

本発明は、上記の問題点に鑑みてなされたものであって、運転者または監視人が目視で確認せずに、バス等の乗客が立っている領域を有する車両内の乗客の安全状況を検出することができる乗客安全状況検出装置、および乗客安全状況検出方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明の一態様に係る乗客安全状況検出装置は、乗客が立てる領域を有する車両において、前記車両の天井近傍に設置され、前記乗客に関する乗客情報を検出する検出部と、前記乗客情報を用いて前記乗客の頭部を検出し、検出した前記頭部に基づいて前記車両に前記乗客が存在しているか否かを判別する人検出部と、前記車両に前記乗客が存在している場合、検出された前記乗客毎に、前記乗客情報を用いて、検出された前記頭部の周囲の所定範囲内の領域を解析することで前記乗客の姿勢を検出する姿勢検出部と、検出された前記乗客毎に、検出された前記乗客の姿勢に基づいて、前記乗客が安全な状況であるか否かを判定する判定部と、判定された結果を報知する出力部と、を備える。

【0008】

また、本発明の一態様に係る乗客安全状況検出装置において、前記検出部と、前記人検出部と、前記判定部と、前記出力部は、前記車両に存在する全ての前記乗客が安全な状況であると判定されるまで、処理を繰り返すようにしてもよい。

【0009】

また、本発明の一態様に係る乗客安全状況検出装置は、把持検出部、をさらに備え、前記姿勢検出部は、前記乗客が立っている姿勢か着席しているか姿勢かを検出し、前記把持検出部は、検出された前記乗客毎に、前記乗客が立っている姿勢の場合、検出された前記乗客の姿勢に基づいて、検出された前記頭部の周囲の所定範囲内の領域を解析することで前記乗客が前記車両内の把持部を把持しているか否かの把持状態を検出し、前記判定部は、検出された前記乗客毎に、検出された前記乗客の把持状態も用いて、前記乗客が安全な状況であるか否かを判定するようにしてもよい。

【0010】

また、本発明の一態様に係る乗客安全状況検出装置において、前記出力部は複数であり、前記判定部は、前記乗客が安全な状況ではないと判定した場合、安全な状況ではないと判定した前記乗客に最も近い位置の前記出力部に安全な状況ではないことを示す情報を報知させるようにしてもよい。

【0011】

また、本発明の一態様に係る乗客安全状況検出装置において、前記検出部は複数個であり、前記姿勢検出部は、第１の前記検出部が検出した第１の前記乗客情報と、第２の前記検出部が検出した第２の前記乗客情報において、同一の前記乗客を対応付け、第１の前記検出情報と第２の前記検出情報とに基づいて、前記乗客の姿勢を検出するようにしてもよい。

【0012】

また、本発明の一態様に係る乗客安全状況検出装置において、前記人検出部は、前記乗客が存在している場合に、前記乗客の人数と、検出された前記乗客毎に前記頭部の位置を検出し、前記姿勢検出部は、検出された前記乗客毎に、検出された前記頭部の位置の変化に基づいて、前記乗客が着席しているか立っているかを判定するようにしてもよい。

【0013】

また、本発明の一態様に係る乗客安全状況検出装置において、前記検出部は、撮影装置または距離センサであり、前記検出部が撮影装置の場合、前記乗客情報は画像であり、前記車両が走行中に立っている前記乗客が存在し得ない領域かつ前記乗客を俯瞰できる位置に前記検出部が設置され、前記検出部が距離センサの場合、前記乗客情報は検出部からの距離情報であり、前記乗客を透過できる位置に前記検出部が設置されているようにしてもよい。

【0014】

上記目的を達成するため、本発明の一態様に係る乗客安全状況検出方法は、乗客が立てる領域を有する車両において、前記車両の天井近傍に設置されている検出部が、前記乗客に関する乗客情報を検出し、人検出部が、前記乗客情報を用いて前記乗客の頭部を検出し、検出した前記頭部に基づいて前記車両に前記乗客が存在しているか否かを判別し、前記乗客が存在している場合に、前記乗客の人数と、検出された前記乗客毎に前記頭部の位置を検出し、姿勢検出部が、検出された前記乗客毎に、前記乗客情報を用いて、検出された前記頭部の周囲の所定範囲内の領域を解析することで前記乗客の姿勢を検出し、判定部が、検出された前記乗客毎に、検出された前記乗客の姿勢に基づいて、前記乗客が安全な状況であるか否かを判定し、出力部が、判定された結果を報知する。

【発明の効果】

【0015】

本発明によれば、運転者または監視人が目視で確認せずに、バス等の乗客が立っている領域を有する車両内の乗客の安全状況を検出することができる。

【図面の簡単な説明】

【0016】

【図1】実施形態に係る乗客安全状況検出装置の構成例を示すブロック図である。

【図2】実施形態に係る車両内の椅子、検出部、手すり、つり革の位置の例を示す図である。

【図3】実施形態に係る検出部の配置と個数の例を示す図である。

【図4】実施形態に係る第１検出部が撮影した画像例を示す図である。

【図5】実施形態に係る乗客安全状況検出装置が行う処理手順のフローチャートである。

【図6】実施形態に係る乗客安全状況検出装置が行う処理の概略を説明するための図である。

【図7】撮影された画像から抽出された頭部画像と手の画像例を示す図である。

【図8】実施形態に係るトラッキング処理例を示す図である。

【図9】実施形態に係る座席の位置（座標）例を示す図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。

【0018】

図１は、本実施形態に係る乗客安全状況検出装置１の構成例を示すブロック図である。図１のように、乗客安全状況検出装置１は、検出部１１、解析部１２、記憶部１３、および出力部１４を備えている。検出部１１は、第１検出部１１１、第２検出部１１２、および第３検出部１１３を備えている。解析部１２は、取得部１２１、人判定解析部１２２（人検出部）、人追跡部１２３、姿勢解析部１２４（姿勢検出部）、把持解析部１２５（姿勢検出部、把持検出部）、および判定部１２６を備えている。
なお、図１の構成例では、検出部１１が３つの撮影装置（第１検出部１１１～第３検出部１１３）を備える例であるが、撮影装置の数は３つに限らず、３つ以下であっても４つ以上であってもよい。

【0019】

乗客安全状況検出装置１は、乗客が立っている領域を有する車両（例えば路線バス、送迎バス、スクールバス、シャトルバス、貸し切りバス、バス型トラック、電車、船舶等）内の乗客の安全状況を検出する。なお、車両は、自動運転であってもよく、手動運転であってもよい。

【0020】

検出部１１は、撮影装置であり、乗客の頭部を含む乗客の画像（乗客に関する乗客情報）と車両内の画像を撮影可能な位置、例えば車両内の前方、中央、後方それぞれの天井または天井近傍に設置されている。検出部１１は、車両内を撮影し、撮影した画像を解析部１２に出力する。なお、画像は静止画であってもよく、連続した静止画であってもよく、動画であってもよい。検出部１１が撮影した画像には、車内の所定の領域の画像が含まれている。なお、検出部１１の取り付け位置については後述する。

【0021】

解析部１２は、撮影された画像に基づいて、車両内の乗客の安全状況を検出する。

【0022】

取得部１２１は、撮影された画像を取得し、取得した画像を人判定解析部１２２に出力する。

【0023】

人判定解析部１２２は、取得部１２１が出力する画像から頭部画像を抽出する。頭部画像は、例えば首から上の画像である。なお、人判定解析部１２２は、検出の際、検出の確からしさを周知の手法で算出し、頭部画像に紐付けて記憶するようにしてもよい。なお、人判定解析部１２２は、頭部画像の抽出をパターンマッチングの手法で行ってもよい。人判定解析部１２２は、頭部画像を抽出できた場合に車両内に人（乗客）が存在していると判定し、頭部画像を抽出できなかった場合に車両内に人（乗客）が存在していないと判定する。また、人判定解析部１２２は、車両内に人が存在している場合、存在している人の人数を検出し、さらに存在している乗客の頭部位置を検出する。なお、人判定解析部１２２は、人が存在しているか否かの判定を、教師付きの学習済みモデルを用いて抽出してもよい。モデルを機械学習させる場合は、車両内で撮影された画像をモデルに入力し、人の頭の画像範囲を教師データとして学習させる。頭部位置は、例えば車内の所定位置を原点とした座標であり、高さの座標も含む。人判定解析部１２２は、判定した判定結果と、検出した検出結果を姿勢解析部１２４に出力する。

【0024】

人追跡部１２３は、人判定解析部１２２が検出した頭部画像の位置を、周知の画像処理手法で追跡する。

【0025】

姿勢解析部１２４は、取得部１２１が出力する画像と、人判定解析部１２２が出力する判定結果と検出結果を取得する。姿勢解析部１２４は、車両内に人が存在している場合、取得した画像と検出結果に基づいて、取得した画像から人判定解析部１２２が頭部を検出した周囲の所定範囲内の領域の画像を抽出する。姿勢解析部１２４は、抽出した画像と、例えば教師付きの学習済みモデルを用いて、人判定解析部１２２が検出した人毎に姿勢を解析する。モデルを機械学習させる場合は、車両内で撮影された画像をモデルに入力し、人が立っている姿勢であるか、人が着席している姿勢であるか、立っている姿勢であるか、および乗車してから時刻毎に追跡した乗客の動き等を教師データとして学習させる。姿勢は、例えば、立っている状態、着席している状態である。また、学習では、複数の車種毎に、立っている状態、着席している状態の画像を用いる。このように、人判定解析部１２２が頭部を検出した周囲に限定して姿勢の解析を行う。なお、姿勢解析部１２４は、人追跡部１２３が検出した結果に基づいて、車内に存在している人毎に姿勢の変化を検出するようにしてもよい。あるいは、姿勢解析部１２４は、人判定解析部１２２が検出した頭部画像の位置、人追跡部１２３が追跡した追跡結果に基づいて、頭部の位置の変化を検出し、高さが所定値以上低くなった場合に着席したと判定するようにしてもよい。姿勢解析部１２４は、人判定解析部１２２が検出した人毎に解析した姿勢を示す情報を検出結果として把持解析部１２５に出力する。

【0026】

把持解析部１２５は、取得部１２１が出力する画像と、姿勢解析部１２４が出力する検出結果を取得する。把持解析部１２５は、立っている人毎に、記憶部１３が記憶する体格情報を参照して頭部画像の位置から手部（含む腕）の位置を推定して、画像から手部の画像を抽出する。なお、把持解析部１２５は、例えば教師付きの学習済みモデルを用いて、画像から手部の画像を抽出するようにしてもよい。なお、把持解析部１２５は、検出の際、検出の確からしさを周知の手法で算出し、手部の画像に紐付けて記憶するようにしてもよい。把持解析部１２５は、手部の画像を抽出できなかった場合、その乗客が把持部（手すりまたはつり革）を把持していることが確認できなかったため、乗客が把持部を把持していない状態であると判定する。把持解析部１２５は、手部の画像を抽出できた場合、立っている人毎に、抽出された手部の画像と、例えば教師付きの学習済みモデルを用いて、把持部を把持しているか否かの把持状態を解析する。なお、把持解析部１２５は、人追跡部１２３が検出した結果に基づいて、車内に存在している人毎に把持しているか否かの変化を検出するようにしてもよい。なお、手部の検出の際、例えば２人の乗客の手がクロスしている場合は、一方の乗客の手部の画像は他方の乗客の手部によって途切れている。このため、把持解析部１２５は、手部の画像検出の際、頭部から所定の範囲で、かつ頭部から連続している手部を、検出対象の乗客の手であると判定する。

【0027】

判定部１２６は、人判定解析部１２２が判定した判定結果と検出した検出結果と、姿勢解析部１２４が検出した検出結果と、把持解析部１２５が検出した検出結果に基づいて、車両内の人が安全な状況であるか否かを判定する。判定部１２６は、判定した結果を解析結果として出力部１４に出力する。なお、判定部１２６は、例えば把持部を有していない車両等において、把持解析部１２５が検出した結果を用いずに、人判定解析部１２２が判定した判定結果と検出した検出結果と、姿勢解析部１２４が検出した検出結果に基づいて、車両内の人が安全な状況であるか否かを判定するようにしてもよい。

【0028】

記憶部１３は、手部の検出の際に用いられる人の体格に関する体格情報（例えば頭部と手部との距離情報等）を記憶する。記憶部１３は、座席の位置、手すりの位置、つり革の位置を記憶する。記憶部１３は、例えばパターンマッチングの比較対象の画像を記憶する。記憶部１３は、解析部１２が解析に用いるプログラム、定数、しきい値等を記憶する。

【0029】

出力部１４は、解析部１２が出力する解析結果を出力する。出力部１４は、例えば画像表示装置、スピーカー、ブザー、ランプ等である。なお、出力結果は、車両内の乗客に向けて報知される。例えば、報知結果が安全な状況で無い場合、立っていて把持部を把持していなかった乗客は、この報知結果を確認することで把持部を把持する。なお、出力部１４は、車両内の複数箇所に設けられていてもよい。この場合、判定部１２６は、安全な状況でないと判定した乗客の頭部位置に最も近い位置に設置されている出力部１４に対して、安全な状況ではないことを示す情報を出力するように指示するようにしてもよい。

【0030】

＜車両内の椅子、検出部、手すり、つり革の位置の例＞
次に、車両内の椅子、検出部、手すり、つり革の位置の例を説明する。図２は、本実施形態に係る車両内の椅子、検出部、手すり、つり革の位置の例を示す図である。車両５００は、上述したように、例えばバスである。図２おいて、車両の長手方向がｘ軸方向であり、短手方向がｙ軸方向である。

【0031】

図２において、座席５０１が車両５００内の左右と後部に設置されている。手すり５１１は、車両５００の通路の左右に設置されている。つり革５２１は、車両５００の天井に設置されている。また、第１検出部１１１～第３検出部１１３は、車両の天井の長手方向（ｘ軸方向）設置されている。

【0032】

なお、図２の検出部１１の配置と個数は一例であり、これに限らない。
図３は、本実施形態に係る検出部１１の配置と個数の例を示す図である。符号ｇ１０１の領域のように、検出部１１は１つであってもよい。この場合、検出部１１は、例えば、車両の中央の天井または天井近傍に取り付けられている。符号ｇ１０２の領域のように、検出部１１は４つであってもよい。この場合、検出部１１は、例えば、車両の左右前後の天井付近に取り付けられている。

【0033】

検出部１１の取り付け位置は、頭部を撮影できる位置である。そして、検出部１１は、車両内の広さ、座席の位置、手すりの位置、つり革の位置、通路の広さ、乗車口、下車口、検出部１１の性能（画角、解像度等）等に応じた位置および個数であってもよい。また、検出部１１の取り付け位置は、撮影した画像において乗客が重ならない位置が好ましく、また検出部１１が乗客によって遮られない位置が好ましい。このため、検出部１１の取り付け位置は、符号ｇ１０２の領域のように乗客が立っていない位置が、より好適である。または、着席が義務付けられている例えば高速バスのような場合は、走行中に立っている乗客がいないため、検出部１１の取り付け位置は、符号ｇ１０１の領域のように車両内の中央の天井の近傍の一箇所でもよい。
このように、本実施形態における検出部１１の取り付け位置は、乗客が立てる領域を有する車両において、乗客が立って存在し得ない領域（座席、乗客が立ち入らない領域等）、かつ乗客を俯瞰できる位置である。

【0034】

＜検出部１１が撮影した画像の例＞
次に、検出部１１が撮影した画像の一例を説明する。
図４は、本実施形態に係る第１検出部１１１が撮影した画像例を示す図である。図４の例では、７人の乗客（ＨＵ１～７）が撮影された領域に乗車している。図４の例では、乗客ＨＵ１、３～５、および７は着席し、乗客ＨＵ２と６は立っている。また、図４の例では、乗客ＨＵ２は手すりを把持しているが、乗客ＨＵ７は手すりもつり革も把持していない。
本実施形態では、撮影された画像に基づいて、車両内に存在する乗客の人数と、乗客の姿勢と、立っている乗客の把持状態を検出することで、乗客の安全状況を判定する。

【0035】

＜処理の概略＞
次に、乗客安全状況検出装置１が行う処理手順を説明する。
図５は、本実施形態に係る乗客安全状況検出装置１が行う処理手順のフローチャートである。

【0036】

（ステップＳ１１）検出部１１は、車両内を撮影する。
（ステップＳ１２）取得部１２１は、撮影された画像を取得する。

【0037】

（ステップＳ１３）人判定解析部１２２は、取得された画像から頭部画像を抽出する。

【0038】

（ステップＳ１４）人判定解析部１２２は、頭部画像が抽出できたか否かに基づいて、車両内に人（乗客）が存在しているか否かを判定する。人判定解析部１２２は、頭部画像が抽出できた場合に、車両内に人（乗客）が存在していると判定した場合（ステップＳ１４；ＹＥＳ）、抽出できた頭部画像の個数から乗客の人数を検出し、抽出できた頭部画像に基づいて乗客毎の頭部の位置を検出する。処理後、人判定解析部１２２は、ステップＳ１５の処理に進める。人判定解析部１２２は、頭部画像が抽出できなかった場合に、車両内に人（乗客）が存在していないと判定した場合（ステップＳ１４；ＮＯ）、ステップＳ１９の処理に進める。

【0039】

（ステップＳ１５）姿勢解析部１２４は、取得された画像から、抽出された頭部画像の周囲の領域の画像を抽出する。

【0040】

（ステップＳ１６）姿勢解析部１２４は、検出された頭部画像に対応する乗客毎に、抽出した画像に基づいて、着席している姿勢であるか立っている姿勢であるかを判定する。姿勢解析部１２４は、検出された頭部画像に対応する乗客が、立っている姿勢であると判定した場合（ステップＳ１６；立っている）、ステップＳ１７の処理に進める。姿勢解析部１２４は、検出された頭部画像に対応する全ての乗客が、着席している姿勢であると判定した場合（ステップＳ１６；着席している）、ステップＳ１９の処理に進める。

【0041】

（ステップＳ１７）把持解析部１２５は、立っている乗客の画像に対応する乗客毎に、撮影された画像から手部の画像を抽出し、抽出した手部の画像に基づいて、乗客が把持部を把持しているか否かを解析する。なお、把持解析部１２５は、手部の画像を確認できない場合も、乗客が把持部を把持していないと判定する。

【0042】

（ステップＳ１８）把持解析部１２５は、立っている乗客が、把持部を把持しているか否かを判定する。把持解析部１２５は、立っている全ての乗客が、把持部を把持していると判定した場合（ステップＳ１８；ＹＥＳ）、ステップＳ１９の処理に進める。把持解析部１２５は、立っている乗客が、把持部を把持していないと判定した場合（ステップＳ１８；ＮＯ）、ステップＳ２０の処理に進める。

【0043】

（ステップＳ１９）判定部１２６は、乗客が乗っていない（ステップＳ１４；ＮＯ）、全ての乗客が着席している（ステップＳ１６；着席している）、および立っている全ての乗客が把持部を把持している（ステップＳ１８；ＹＥＳ）のうち１つである場合、乗客が安全な状況であると判定する。続けて、出力部１４は、乗客が安全な状況であることを示す情報を出力する。

【0044】

（ステップＳ２０）判定部１２６は、乗客の一部または全てが立っていて（ステップＳ１６；立っている）、かつ立っている乗客のうち１人でも把持部を把持していない場合（ステップＳ１８；ＮＯ）、乗客が安全な状況ではないと判定する。続けて、出力部１４は、乗客が安全な状況ではないことを示す情報を出力する。

【0045】

なお、乗客安全状況検出装置１は、上記の処理を乗客が乗っていない、全ての乗客が着席している、および立っている全ての乗客が把持部を把持している、のうち１つとなり、全ての乗客が安全な状況になるまで、ステップＳ１１～Ｓ２０の処理を繰り返す。

【0046】

また、乗客安全状況検出装置１は、例えば車両が停留所に停車して、乗車口のドアを開けたときから図５の処理を開始し、発車するまでの間、処理を繰り返す。また、乗客安全状況検出装置１は、図５の処理を車両の運行中にも行うようにしてもよい。

【0047】

＜処理の概略＞
次に、乗客安全状況検出装置１が行う処理の概略を説明する。
図６は、本実施形態に係る乗客安全状況検出装置１が行う処理の概略を説明するための図である。
第１検出部１１１は、車両内を撮影する。取得部１２１は、第１検出部１１１が撮影した画像ｇ２０１を取得する。画像ｇ２０１には、３人の乗客が撮影されている。

【0048】

次に、人判定解析部１２２は、画像ｇ２０１から乗客の頭部画像ｇ２０２～ｇ２０４を抽出する。

【0049】

次に、姿勢解析部１２４は、頭部画像ｇ２０２の周囲の領域の画像ｇ２０５を抽出する。姿勢解析部１２４は、頭部画像ｇ２０３の周囲の領域の画像ｇ２０６を抽出する。姿勢解析部１２４は、頭部画像ｇ２０４の周囲の領域の画像ｇ２０７を抽出する。

【0050】

次に、姿勢解析部１２４は、抽出した画像ｇ２０５に基づいて、乗客が立っていると判定する。次に、把持解析部１２５は、抽出した画像ｇ２０５または撮影された画像ｇ２０１から手の画像ｇ２０８を抽出し、抽出した画像に基づいて、乗客が把持部を把持していないと判定する。次に、判定部１２６は、立っている乗客が把持部を把持していないため、安全な状況ではないと判定する（ｇ２０９）。

【0051】

姿勢解析部１２４は、抽出した画像ｇ２０６に基づいて、乗客が着席していると判定する。次に、判定部１２６は、乗客が着席しているため、安全な状況であると判定する（ｇ２１０）。

【0052】

姿勢解析部１２４は、抽出した画像ｇ２０７に基づいて、乗客が立っていると判定する。次に、把持解析部１２５は、抽出した画像ｇ２０７または撮影された画像ｇ２０１から手の画像の抽出を抽出できなかったため、手が確認できなかったと判定する。次に、判定部１２６は、手を確認できなかったため（ｇ２１１）、立っている乗客が把持部を把持していないため、安全な状況ではないと判定する（ｇ２１２）。

【0053】

なお、図６の例では、１つの検出部１１が撮影した画像に基づいて判定する例を説明したが、これに限らない。例えば、第１検出部１１１が撮影した画像から抽出された画像ｇ２０７から手の画像が抽出できなくても、例えば第２検出部１１２が撮影した画像から抽出した画像から手の画像を抽出できる場合もある。このような場合、把持解析部１２５は、複数の検出部が撮影した画像に基づいて、把持状態を判定する。
同様に、１つの検出部が撮影した画像から乗客の姿勢を判定できない場合、姿勢解析部１２４は、複数の検出部が撮影した画像に基づいて、姿勢状態を判定する。
また、乗客安全状況検出装置１は、上述したように全ての乗客が安全な状況になるまで、このような処理を繰り返す。

【0054】

ここで、撮影された画像から抽出された頭部画像と手の画像例を説明する。
図７は、撮影された画像から抽出された頭部画像と手の画像例を示す図である。撮影された第１の画像ｇ３００は、乗客が４人であり、頭部画像ｇ３０１～ｇ３０４が検出され、手部の画像ｇ３１１が検出された例である。
第１の画像ｇ３００の例では、頭部画像ｇ３０１、ｇ３０２に対応する乗客は着席していると判定され、頭部画像ｇ３０３、ｇ３０４に対応する乗客は立っていると判定される。そして、把持解析部１２５は、頭部画像ｇ３０３に対応する乗客に対して、手部の画像が検出できなかったため安全な状況ではないと判定する。把持解析部１２５は、頭部画像ｇ３０４に対応する乗客に対して、手部の画像が検出でき、椅子の背もたれを把持しているため、安全な状況であると判定する。

【0055】

撮影された第２の画像ｇ３５０は、乗客が３人であり、頭部画像ｇ３５１～ｇ３５３が検出され、手部の画像ｇ３６１、ｇ３６２が検出された例である。
なお、頭部画像ｇ３５３のように、頭部画像には、顔全てが含まれていなくてもよく、頭部画像ｇ３０１～ｇ３０４、ｇ３５１、ｇ３５２のように顔全てが含まれていてもよい。
第２の画像ｇ３５０の例では、頭部画像ｇ３５１、ｇ３５２、ｇ３５３に対応する乗客は立っている判定される。そして、把持解析部１２５は、頭部画像ｇ３５１に対応する乗客に対して、手部の画像が検出でき、把持部（手すり）を把持しているため、安全な状況であると判定する。把持解析部１２５は、頭部画像ｇ３５２に対応する乗客に対して、手部の画像が検出できたが把持部を把持していないため安全な状況ではないと判定する。把持解析部１２５は、頭部画像ｇ３５３に対応する乗客に対して、手部の画像が検出できなかったため安全な状況ではないと判定する。

【0056】

＜トラッキング処理＞
上述した例では、乗客が静止している例を説明したが、実際には、乗車口から乗車した乗客は、車両内を移動して着席したり把持部を把持したりする。また、乗客は立っている状態から着席している状態に変化する場合もある。

【0057】

このため、乗客安全状況検出装置１は、車両に乗車してきた乗客に対して頭部位置の追跡（トラッキング）処理を行うようにしてもよい。
図８は、本実施形態に係るトラッキング処理例を示す図である。なお、図８では、説明を簡単にするために、車両内の乗客が１人の例を示している。人追跡部１２３は、１つの撮影部が撮影した画像において、検出された乗客毎に識別情報を付与する。例えば、第１検出部１１１が撮影した画像から検出された頭部画像が３つの場合、識別情報ＩＤは、Ｈ１（１）、Ｈ２（１）、Ｈ１（１）である。第２検出部１１２が撮影した画像から検出された頭部画像が２つの場合、識別情報ＩＤは、Ｈ１（２）、Ｈ２（２）である。

【0058】

人判定解析部１２２は、時刻ｔ１のとき、撮影された画像から人ＨＵ５の頭部画像を抽出する（ＨＵ５（ｔ１））。続けて、人追跡部１２３は、検出された人ＨＵ５に対応する頭部画像の位置（ｘ、ｙ、ｚ）を、時刻ｔ２、ｔ３にトラッキングし、トラッキングした位置情報を姿勢解析部１２４と把持解析部１２５に出力する。なお、車両の長手方向がｘ軸方向であり、車両の短手方向がｙ軸方向であり、車両の高さ方向がｚ軸方向である。

【0059】

時刻ｔ１、ｔ２のとき、判定部１２６は、乗客は立ったままであり、何も把持していないため、安全な状況ではないと判定する。
時刻ｔ３のとき、判定部１２６は、頭部位置のｚ軸方向の値が時刻ｔ１またはｔ２と比較して低くなったため、乗客は着席していると判定する。これにより、判定部１２６は、この乗客が安全な状況に変化したと判定する。

【0060】

このようにトラッキング処理を行うことの効果をさらに説明する。
例えば範囲Ｚ１が第１検出部１１１の撮影範囲であり、範囲Ｚ２が第２検出部１１２の撮影範囲であり、範囲Ｚ３が第３検出部１１３の撮影範囲である場合は、時刻ｔ２のとき、乗客ＨＵ５は範囲Ｚ１とＺ３にまたがって存在している。乗客ＨＵ５の姿勢や把持状態を判定するためには、ＨＵ５が同一人物であることを検出して、第１検出部１１１が撮影した画像と第２検出部１１２が撮影した画像を統合して姿勢や把持状態を判定する必要がある。または、客ＨＵ５の姿勢や把持状態を判定するためには、ＨＵ５が同一人物であることを検出して、第１検出部１１１が撮影した画像に対して姿勢や把持状態を判定し、第２検出部１１２が撮影した画像に対して姿勢や把持状態を判定し、判定結果を統合する必要がある。本実施形態では、このような統合に人追跡部１２３が検出したトラッキング情報を用いる。

【0061】

なお、トラッキングは、例えば乗客が第１の停留所から乗車し、第２の停留所で下車するまで行ってもよい。これにより、乗客毎の乗車区間を得ることが出来るので、例えば乗車区間毎の乗車料金の設定に利用することができる。

【0062】

＜座席の位置＞
上述した例では、姿勢解析部１２４が、撮影された画像に基づいて乗客の姿勢を判定する例を説明したが、これに限らない。姿勢解析部１２４は、頭部の位置（ｘ、ｙ）と座席の位置（ｘ、ｙ）を用いて乗客の姿勢を判定するようにしてもよい。
図９は、本実施形態に係る座席の位置（座標）例を示す図である。基準座標ｇ４００（０，０）の位置は、例えば乗車口付近である。
一人がけの座席の場合は、座席の所定位置（または範囲）に座標（ｇ４０１～ｇ４０７）を設定する。
数人が着席できる座席の場合は、例えば帯状に座標ｇ４０８、ｇ４０９を設定する。

【0063】

姿勢解析部１２４は、人判定解析部１２２によって抽出された頭部の座標と、座席の位置を比較することで、乗客が座席にいる、すなわち着席していると判定するようにしてもよい。

【0064】

以上のように、本実施形態では、撮影された画像から頭部画像を抽出することで、車両内に乗客が存在しているか否かの判定を行い、乗客の人数、乗客の位置を検出するようにした。また、本実施形態では、頭部画像が抽出された画像の周囲の領域の画像を抽出して、乗客毎の姿勢（立っているか、着席しているか）を判定するようにした。さらに、本実施形態では、立っている乗客に対して、手の画像を抽出し、抽出した画像に基づいて乗客が把持部を把持しているか否かを判定するようにした。そして、本実施形態では、乗客の有無と姿勢に基づいて、または乗客の有無と姿勢と把持状態に基づいて、乗客の安全状況を判定するようにした。すなわち、本実施形態では、撮影された画像から、まず乗客の頭部画像を抽出して頭部画像で乗客であると判定し、その後、乗客毎の姿勢（含む把持状態）を判定することで乗客の安全状態を判定するようにした。

【0065】

これにより、本実施形態によれば、運転者や監視人が目視で確認せずに、バスや電車等の車両内の乗客の安全状況を自動的に検出することができる。

【0066】

ここで、仮に撮影された画像から乗客の全身を検出して判定する場合を説明する。この場合は、車両内で撮影された画像に全身が映ることは少ない。
これに対して、本実施形態のように車両の天井など上から撮影することで、撮影された画像に頭部が含まれることが多いことが、実験により確認されている。このため、本実施形態では、頭部画像によって車両内に乗客が存在しているか否かの判定を行うことができ、乗客の人数、乗客の位置を検出することができる。

【0067】

また、検出部１１の位置と乗客との位置関係によって、例えば図６の画像ｇ２０７のように乗客の全身が撮影された画像に写っていない場合もあり得る。これに対して、本実施形態では、複数の検出部を有することで、異なる位置から撮影した画像を統合、または画像毎の評価を統合することで、１つの検出部で撮影した場合と比べて姿勢や把持状態を精度良く行うことができる。

【0068】

＜第１変形例＞
上述した実施例では、検出部が撮影した画像毎に判定や検出を行う例を説明したが、これに限らない。
人判定解析部１２２は、第１検出部１１１が撮影した画像に対して判定と検出を行い、第２検出部１１２が撮影した画像に対して判定と検出を行い、第３検出部１１３が撮影した画像に対して判定と検出を行って、判定結果を統合し検出結果を統合するようにしてもよい。または、人判定解析部１２２は、第１検出部１１１、第２検出部１１２、および第３検出部１１３が撮影した画像を統合して、統合した画像に対して、判定と検出を行うようにしてもよい。なお、人判定解析部１２２は、統合の際、頭部画像の一部しか撮影されていない場合、２つの撮影部それぞれが撮影した頭部画像に紐付けられている確からしさの値を比較し、より確からしい方に基づいて頭部を検出するようにしてもよい。

【0069】

姿勢解析部１２４は、第１検出部１１１が撮影した画像に対して判定と検出を行い、第２検出部１１２が撮影した画像に対して検出を行い、第３検出部１１３が撮影した画像に対して検出を行って、検出結果を統合するようにしてもよい。または、姿勢解析部１２４は、第１検出部１１１、第２検出部１１２、および第３検出部１１３が撮影した画像を統合して、統合した画像に対して、検出を行うようにしてもよい。なお、姿勢解析部１２４は、統合の際、１つの撮影部が撮影した画像に体の一部しか撮影されていない場合、２つの撮影部それぞれが撮影した頭部画像に紐付けられている確からしさの値を比較し、より確からしい方に基づいて姿勢を検出するようにしてもよい。

【0070】

把持解析部１２５は、第１検出部１１１が撮影した画像に対して判定と検出を行い、第２検出部１１２が撮影した画像に対して判定と検出を行い、第３検出部１１３が撮影した画像に対して判定と検出を行って、検出結果を統合するようにしてもよい。または、把持解析部１２５は、第１検出部１１１、第２検出部１１２、および第３検出部１１３が撮影した画像を統合して、統合した画像に対して検出を行うようにしてもよい。なお、把持解析部１２５は、統合の際、手部の画像の一部しか撮影されていない場合、手部の画像に紐付けられている確からしさの値を比較し、より確からしい方に基づいて把持されているか否かを判定する。例えば、把持解析部１２５は、例えば第１検出部１１１が撮影した画像から乗客の左手の画像が抽出でき、例えば第２検出部１１２が撮影した画像から乗客の右手の画像が抽出できた場合、この２つの撮影部が撮影した情報に基づいて左右どちらかの手が把持部を把持しているか否かを判定することで情報を統合するようにしてもよい。

【0071】

＜第２変形例＞
上述した例では、検出部１１が撮影装置であり、撮影された画像から頭部画像を抽出し、さらに撮影された画像から頭部の周囲の領域の画像を抽出して判定、検出する例を説明したが、これに限らない。検出部１１は、例えば光を用いた非接触型の距離検出装置であってもよい。この場合、検出部１１は、検出部１１からの距離を計測することで、頭部や肩や手など位置（乗客情報）、椅子の位置等を検出するようにしてもよい。この場合、検出部１１は、乗客の頭部等を透過可能な位置（例えば通路上と座席上）に取り付けられている。そして、人判定解析部１２２は、検出部１１が検出した距離情報に基づいて頭部を検出するようにしてもよい。人追跡部１２３は、検出部１１が検出した距離に基づいて、人判定解析部１２２が頭部の位置を追跡するようにしてもよい。姿勢解析部１２４は、検出部１１が検出した距離に基づいて、人判定解析部１２２が頭部を検出した周囲の領域を検出し、検出した結果に基づいて姿勢を判定するようにしてもよい。例えば、姿勢解析部１２４は、頭部までの距離に基づいて着席している姿勢か立っている姿勢かを判定するようにしてもよい。把持解析部１２５は、検出部１１が検出した距離に基づいて、姿勢解析部１２４が抽出した情報に基づいて、把持状態を判定するようにしてもよい。判定部１２６は、人判定解析部１２２、人追跡部１２３、姿勢解析部１２４、および把持解析部１２５の判定結果と検出結果に基づいて、乗客の安全状況を判定するようにしてもよい。

【0072】

以上のように、第２変形例では非接触型の検出装置を用いて乗客の頭部等を検出するようにした。この場合においても、画像を用いた場合と同様に、運転者や監視人が目視で確認せずに、バスや電車等の車両内の乗客の安全状況を自動的に検出することができる。

【0073】

＜第３変形例＞
上述した例では、走行中に乗客が立っている場合もあり得る路線バス等の例を説明した。第３変形例では、走行中に着席が義務付けられている例えば高速バスのような車両の例を説明する。この場合、解析部１２は、把持解析部１２５を備えていなくてもよい。

【0074】

このような場合、判定部１２６は、人判定解析部１２２が判定した判定結果と検出した検出結果と、姿勢解析部１２４が検出した検出結果に基づいて、車両内の人が安全な状況であるか否かを判定するようにしてもよい。

【0075】

第３変形例によれば、把持状態を検出せず、乗客の姿勢に基づいて乗客の安全状況を判定することができる。

【0076】

なお、本発明における解析部１２の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより解析部１２が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0077】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0078】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

【符号の説明】

【0079】

１…乗客安全状況検出装置、１１…検出部、１２…解析部、１３…記憶部、１４…出力部、１１１…第１検出部、１１２…第２検出部、１１３…第３検出部、１２１…取得部、１２２…人判定解析部、１２３…人追跡部、１２４…姿勢解析部、１２５…把持解析部、１２６…判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】