特許 7593205 車室内監視システム及び車両の運行管理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】車室内監視システム及び車両の運行管理システム

(51)【国際特許分類】

   G06T 7/55 20170101AFI20241126BHJP

   G06T 7/00 20170101ALI20241126BHJP

   G06V 20/59 20220101ALI20241126BHJP

   H04N 7/18 20060101ALI20241126BHJP

【ＦＩ】

G06T7/55

G06T7/00 350C

G06V20/59

H04N7/18 K

H04N7/18 D

【請求項の数】 7

(21)【出願番号】P 2021062657

(22)【出願日】2021-04-01

(65)【公開番号】P2022158041

(43)【公開日】2022-10-14

【審査請求日】2024-01-17

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】伊津野 貴裕

【審査官】菊池 伸郎

(56)【参考文献】

【文献】特開２０１２－１４６０２２（ＪＰ，Ａ）

【文献】特開２０１９－６２７２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／００２４３２６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／５５

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ２０／５９

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車室の天井の中央部から前記車室内の平面視画像を撮像する第一撮像器と、
前記天井の周縁部または前記車室の側面から前記車室内の側面視画像を撮像する第二撮像器と、
前記平面視画像及び前記側面視画像に含まれる人物及び荷物を認識する画像認識部と、
前記認識された人物及び荷物に基づいて、前記車室の混雑率を求める混雑推定部と、
を備え、
前記画像認識部は、前記平面視画像で前記認識された人物及び荷物の平面視区画を求めるとともに、前記側面視画像で前記認識された人物及び荷物の側面視区画を求め、
前記混雑推定部は、
人物及び荷物の前記平面視区画及び前記側面視区画に基づいて、人物及び荷物の体積を求める体積算出部と、
人物及び荷物の体積の総和と前記車室の容積との差異に基づいて、前記混雑率を求める混雑率算出部と、
を備える、
車室内監視システム。

【請求項2】

請求項１に記載の車室内監視システムであって、
前記混雑推定部は、奥行情報取得部及び座標変換部を備え、
前記奥行情報取得部は、人物及び荷物の前記平面視区画の、前記第一撮像器の光軸に沿った奥行情報を取得するとともに、人物及び荷物の前記側面視区画の、前記第二撮像器の光軸に沿った奥行情報を取得し、
前記座標変換部は、前記平面視区画及び前記側面視区画の平面座標及び奥行情報に基づくカメラ座標系上の３次元座標を、車室内空間の座標系であるワールド座標系上の３次元座標に変換し、
前記体積算出部は、前記ワールド座標系に変換された前記平面視区画及び前記側面視区画に基づいて、人物及び荷物の体積を求める、
車室内監視システム。

【請求項3】

請求項２に記載の車室内監視システムであって、
前記画像認識部は、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）アルゴリズムに基づいて求められた、人物及び荷物を囲む矩形領域であるバウンディングボックスを前記平面視区画及び前記側面視区画に設定する、
車室内監視システム。

【請求項4】

請求項３に記載の車室内監視システムであって、
前記混雑推定部は、近接荷物抽出部を備え、
前記近接荷物抽出部は、前記ワールド座標系の空間内で人物の体積に所定割合以上体積が重複する荷物である近接荷物を抽出し、
前記混雑率算出部は、抽出された近接荷物を、前記混雑率の算出対象から除外する、
車室内監視システム。

【請求項5】

請求項４に記載の車室内監視システムであって、
前記混雑推定部は、短身荷物探索部を備え、
前記短身荷物探索部は、前記混雑率算出部により求められた前記混雑率が所定の上限閾値を超過する場合に、前記混雑率の算出対象となった荷物の、前記ワールド座標系に変換された前記側面視区画における高さ成分に基づいて、所定の閾値高さ以下の荷物を探索する、
車室内監視システム。

【請求項6】

請求項５に記載の車室内監視システムであって、
前記混雑推定部は、前記所定の閾値高さ以下の荷物が探索された場合に、荷物の移動を促すアナウンスを前記車室内に出力させる、アナウンス制御部を備える、
車室内監視システム。

【請求項7】

請求項１から６の何れか一項に記載の車室内監視システムと、当該車室内監視システムと通信可能な運行スケジュール調整部を備える、車両の運行管理システムであって、
前記運行スケジュール調整部は、複数の車両のそれぞれに搭載された前記車室内監視システムの前記混雑推定部と通信可能となっており、それぞれの前記混雑推定部から受信した前記混雑率に基づいて、次に停車する予定の停留所を通過するような運行スケジュールの変更可否を判定する、
車両の運行管理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書では、車室内監視システム及び当該システムを含む車両の運行管理システムが開示される。

【背景技術】

【0002】

例えば特許文献１や特許文献２には、列車やバス等の乗合車両における乗車率を算出する監視システムが開示されている。このシステムでは、車両の上方に複数の監視カメラが設けられる。これらの監視カメラは等間隔に配置されており、それぞれ上方から真下を撮像するように設置されている。

【0003】

そして、各監視カメラにより撮像された映像データから人物が検出され、さらにその人物が占有している車両内の面積の割合（占有率）が算出される。それぞれの監視カメラの映像データに基づく占有率から、車両全体での占有率が求められる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－２５５２３号公報

【文献】特開２０１２－１４６０２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、例えば車室内にある荷物が、背の低い短身荷物である場合には、移動させて立位客の足の間に挟むなどすれば、車内の占有率の低下、言い換えると混雑緩和が期待できる。しかしながら、車室上方から見下ろすようにして車内を撮像する平面視画像には、乗客や荷物等の高さ情報が反映されない。

【0006】

そこで本明細書では、車室内の混雑緩和の余地の有無を判定可能な、車室内監視システム及び当該システムを含む車両の運行管理システムが開示される。

【課題を解決するための手段】

【0007】

本明細書では、車室内監視システムが開示される。このシステムは、第一撮像器、第二撮像器、画像認識部、及び混雑推定部を備える。第一撮像器は、車室の天井の中央部から車室内の平面視画像を撮像する。第二撮像器は、天井の周縁部または車室の側面から車室内の側面視画像を撮像する。画像認識部は、平面視画像及び側面視画像に含まれる人物及び荷物を認識する。混雑推定部は、認識された人物及び荷物に基づいて、車室の混雑率を求める。画像認識部は、平面視画像で認識された人物及び荷物の平面視区画を求めるとともに、側面視画像で認識された人物及び荷物の側面視区画を求める。混雑推定部は、体積算出部及び混雑率算出部を備える。体積算出部は、人物及び荷物の平面視区画及び側面視区画に基づいて、人物及び荷物の体積を求める。混雑率算出部は、人物及び荷物の体積の総和と車室の容積との差異に基づいて、混雑率を求める。

【0008】

上記構成によれば、人物及び荷物の平面視における占有面積に加えて、高さ情報が加味された体積ベースでの混雑率が求められる。この混雑率の算出過程で、特に荷物の側面視区画から高さ情報が得られることで、短身荷物の抽出が可能となる。

【0009】

また上記構成において、混雑推定部は、奥行情報取得部及び座標変換部を備えてもよい。奥行情報取得部は、人物及び荷物の平面視区画の、第一撮像器の光軸に沿った奥行情報を取得するとともに、人物及び荷物の側面視区画の、第二撮像器の光軸に沿った奥行情報を取得する。座標変換部は、平面視区画及び側面視区画の平面座標及び奥行情報に基づくカメラ座標系上の３次元座標を、車室内空間の座標系であるワールド座標系上の３次元座標に変換する。体積算出部は、ワールド座標系に変換された平面視区画及び側面視区画に基づいて、人物及び荷物の体積を求める。

【0010】

平面視画像及び側面視画像では、相対的に第一撮像器及び第二撮像器の近くにいる人物及び荷物は、相対的にこれらの撮像器から遠くにいる人物及び荷物よりも大きく写される。この第一／第二撮像器に対する距離に起因する、人物及び荷物の像の大小が、カメラ座標系をワールド座標系に変換することで解消される。

【0011】

また上記構成において、画像認識部は、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）アルゴリズムに基づいて求められた、人物及び荷物を囲む矩形領域であるバウンディングボックスを平面視区画及び側面視区画に設定してもよい。

【0012】

上記構成によれば、既存のアルゴリズムを用いて、人物及び荷物の体積を求めることができる。

【0013】

また上記構成において、混雑推定部は、近接荷物抽出部を備えてもよい。近接荷物抽出部は、ワールド座標系の空間内で人物の体積に所定割合以上体積が重複する荷物である近接荷物を抽出する。混雑率算出部は、抽出された近接荷物を、混雑率の算出対象から除外する。

【0014】

人物や荷物が、それらの輪郭により体積領域が求められる場合とは異なり、バウンディングボックスで囲まれる場合に、人物と荷物が近接していると、お互いの体積領域に重複が生じる。重複領域が多い荷物が混雑率の算出対象から除外されることで、混雑率が過度に高くなることを抑制可能となる。

【0015】

また上記構成において、混雑推定部は、短身荷物探索部を備えてもよい。短身荷物探索部は、混雑率算出部により求められた混雑率が所定の上限閾値を超過する場合に、混雑率の算出対象となった荷物の、ワールド座標系に変換された側面視区画における高さ成分に基づいて、所定の閾値高さ以下の荷物を探索する。

【0016】

上記構成によれば、立位客の両足間に移動可能な短身荷物の有無が判定可能となる。

【0017】

また上記構成において、混雑推定部は、所定の閾値高さ以下の荷物が探索された場合に、荷物の移動を促すアナウンスを車室内に出力させる、アナウンス制御部を備えてもよい。

【0018】

上記構成によれば、アナウンスの出力により、混雑緩和が促される。

【0019】

また本明細書では、上述の車室内監視システムと、当該車室内監視システムと通信可能な運行スケジュール調整部を備える、車両の運行管理システムが開示される。運行スケジュール調整部は、複数の車両のそれぞれに搭載された車室内監視システムの混雑推定部と通信可能となっている。また運行スケジュール調整部は、それぞれの混雑推定部から受信した混雑率に基づいて、次に停車する予定の停留所を通過するような運行スケジュールの変更可否を判定する。

【0020】

上記構成によれば、高い混雑率の車両に対して停車予定の停留所を通過させる等の、混雑率に応じた運行が可能となる。

【発明の効果】

【0021】

本明細書で開示される車室内監視システム及び当該システムを含む車両の運行管理システムによれば、車室内の混雑緩和の余地の有無が判定可能となる。

【図面の簡単な説明】

【0022】

【図1】本実施形態に係る車室内監視システム及び運行管理システムが搭載された、乗合車両利用システムの概略図である。

【図2】図１の乗合車両利用システムの機能ブロックが例示された図である。

【図3】混雑推定部を構成するサブユニットを例示する機能ブロック図である。

【図4】乗合車両の外観を例示する斜視図である。

【図5】乗合車両の車室を例示する透視図（パース）である。

【図6】乗合車両の車室内のカメラ配置を説明する図である。

【図7】本実施形態に係る車室内監視システムにより実行される、混雑率推定フロー（１／２）である。

【図8】本実施形態に係る車室内監視システムにより実行される、混雑率推定フロー（２／２）である。

【図9】側面視撮像画像を例示する図である。

【図10】側面視撮像画像に対してＳＳＤアルゴリズムに基づく画像認識を実行したときの例を示す図である。

【図11】平面視撮像画像を例示する図である。

【図12】平面視撮像画像に対してＳＳＤアルゴリズムに基づく画像認識を実行したときの例を示す図である。

【図13】平面視撮像画像から抽出されたバウンディングボックスと、正面視撮像画像から抽出されたバウンディングボックスの、車室内空間における傾きを説明する図である。

【図14】バウンディングボックスから体積を求める過程について説明する図である。

【図15】本実施形態に係る運行管理システムにより実行される、運行調整フローを例示する図である。

【図16】平面視撮像画像から認識された人物及び荷物と、正面視撮像画像から認識された人物及び荷物との対応付け過程の別例について説明する図（背面図）である。

【図17】平面視撮像画像から認識された人物及び荷物と、正面視撮像画像から認識された人物及び荷物との対応付け過程の別例について説明する図（平面図）である。

【図18】本実施形態の別例に係る車室内監視システム及び運行管理システムが搭載された、乗合車両利用システムの機能ブロック図である。

【図19】本実施形態の別例に係る運行管理システムにより実行される、運行調整フローを例示する図である。

【発明を実施するための形態】

【0023】

以下に、本発明の実施形態が図面を用いて説明される。以下で説明する形状、材料、個数、及び数値は、説明のための例示であって、車室内監視システム及び当該システムを備える車両の運行管理システムの仕様に応じて適宜変更することができる。また以下ではすべての図面において同等の要素には同一の符号が付される。

【0024】

＜全体構成＞
図１には、本実施形態に係る車室内監視システム及び車両の運行管理システムを含む、乗合車両利用システムの全体構成が例示される。また図２には、乗合車両利用システムの機能ブロックが例示される。乗合車両利用システムは、乗合車両１０、センターサーバ５０、及び携帯端末７０を含んで構成される。乗合車両１０、センターサーバ５０、及び携帯端末７０は、インターネット９５等の通信手段を用いて互いに通信可能となっている。

【0025】

以下に詳細に説明されるが、乗合車両１０は予め規定された路線を走行し、路線に沿って設けられた停留所で停車する。乗合車両１０には車室内監視システムが搭載される。図１、図２に例示されるように、車室内監視システムは天井中央カメラ１８、側方カメラ１９、車室内画像認識部３６、及び混雑推定部３７を含んで構成される。

【0026】

後述されるように、車室内監視システムにより、車室内の混雑率が算出される。この混雑率は、センターサーバ５０を経由して携帯端末７０の運行スケジュール表示部８２（図２参照）に送信される。携帯端末７０に混雑率が送信されることで、携帯端末７０のユーザは、乗車前に乗合車両１０への乗車可否を判断できる。

【0027】

またセンターサーバ５０では、運行スケジュール調整部６１が、受信した混雑率に基づいて、次に停車する予定の停留所を通過するような運行スケジュールの変更の可否を判定する。例えば運行スケジュール調整部６１は、高い混雑率の乗合車両１０に対して、次に停車する予定の停留所を通過させるように運行スケジュールを変更する。これにより混雑率の更なる増加が抑制される。

【0028】

車室内監視システムでは、乗合車両１０の車室内に設けられた天井中央カメラ１８により、車室内の平面視画像が撮像される。また当該システムでは、乗合車両１０の車室内に設けられた側方カメラ１９により車室内の側面視画像が撮像される。これらの平面視画像及び側面視画像に基づいて、人物（乗客）及び荷物の占有体積が求められる。さらに求められた人物及び荷物の占有体積の総和と、車室の容積との差異に基づいて、混雑率（体積混雑率）が求められる。

【0029】

加えて、本実施形態に係る車室内監視システムでは、比較的背の低い短身荷物が探索される。そして混雑率が高い場合に、立位客の両足の間への、短身荷物の移動を促すアナウンスが車室内に出力される。このような短身荷物の移動により、それまで短身荷物が占めていた車室内領域が空きスペースとなり、混雑緩和が図られる。

【0030】

＜携帯端末＞
携帯端末７０は、乗合車両１０の利用者であるユーザに所持される。携帯端末７０は、例えばスマートフォンであってよく、そのハードウェア構成として、データの入出力を制御する入出力コントローラ７１を備える。また携帯端末７０は、演算装置として、ＣＰＵ７２を備え、記憶部として、ＲＯＭ７５、ＲＡＭ７６、及びストレージデバイス７７を備える。ストレージデバイス７７は、例えばＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）であってよい。

【0031】

さらに携帯端末７０は、入力部７３及び表示部７４を備える。例えば入力部７３と表示部７４が一体化されたタッチパネルが携帯端末７０に設けられる。さらに携帯端末７０は測位部７８及び時計８０を備える。測位部７８は、例えばＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）における衛星からの測位信号を受信する受信機である。携帯端末７０の各種ハードウェア部品は内部バス７９に接続される。

【0032】

記憶装置であるＲＯＭ７５及びストレージデバイス７７の少なくとも一方にはプログラムが記憶され、このプログラムをＣＰＵ７２が実行することで、携帯端末７０には図２に例示されるバスアプリケーション８１が構成される。バスアプリケーション８１は、運行スケジュール表示部８２及び混雑率表示部８３を備える。

【0033】

運行スケジュール表示部８２は、乗合車両１０の運行スケジュールを表示する。例えば測位部７８が受信した携帯端末７０の現在位置に最も近い停留所の運行スケジュールが表示される。例えば時計８０から取得した現在時刻から１時間後までの運行スケジュールが表示される。また後述されるように、運行スケジュール表示部８２は、混雑率の高い乗合車両１０について、停留所を通過する旨のメッセージを表示する。

【0034】

混雑率表示部８３は、乗合車両１０の混雑率を表示する。例えば運行中の全ての乗合車両１０の混雑率が表示される。運行スケジュールと併せて混雑率が表示されることで、乗車予定の停留所における直近の乗合車両１０の混雑率や、その次に停車する乗合車両１０の混雑率をユーザが閲覧可能となり、混雑率に応じた乗合車両１０の乗車可否の判断が可能となる。

【0035】

＜センターサーバ＞
図１を参照して、センターサーバ５０は、例えば複数の乗合車両１０を使ったバス運行サービスを提供する管理会社に設置される。センターサーバ５０は、例えばコンピュータ（電子計算機）から構成される。図１を参照して、センターサーバ５０は、そのハードウェア構成として、データの入出力を制御する入出力コントローラ５１を備える。またセンターサーバ５０は、ＣＰＵ５２、入力部５３、表示部５４、ＲＯＭ５５、ＲＡＭ５６、及びハードディスクドライブ５７（ＨＤＤ）、時計５９を備える。なお、ハードディスクドライブ５７の代わりに、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置が用いられてもよい。これらの構成部品は内部バス５８に接続される。

【0036】

記憶装置であるＲＯＭ５５及びハードディスクドライブ５７の少なくとも一方には、運行管理を行うためのプログラムが記憶される。上記プログラムがセンターサーバ５０のＣＰＵ５２等により実行されることで、センターサーバ５０には、図２に例示されるような機能ブロックが形成される。

【0037】

すなわちセンターサーバ５０は、記憶部として、運行スケジュール記憶部６５及びダイナミックマップ記憶部６６を備える。またセンターサーバ５０は、機能部として、運行スケジュール調整部６１、運行スケジュール作成部６２、運行スケジュール提供部６３、及び運行ルート作成部６４を備える。

【0038】

ここで、運行スケジュール調整部６１、運行スケジュール作成部６２、運行スケジュール提供部６３、及び運行ルート作成部６４、運行スケジュール記憶部６５、及びダイナミックマップ記憶部６６の各部と、上述した乗合車両１０に搭載された車室内監視システムが、本実施形態に係る車両の運行管理システムに含まれる。

【0039】

ダイナミックマップ記憶部６６には、地図データであるダイナミックマップデータが記憶される。ダイナミックマップは、３次元地図であって、例えば車道の位置及び形状（３次元形状）が記憶される。車道の３次元形状とは、例えば勾配や幅員等が含まれる。また車道に引かれた車線、横断歩道、停止線等の位置もダイナミックマップに記憶される。加えて、道路周辺の停留所、建物、信号機等の構造物の位置及び形状（３次元形状）もダイナミックマップに記憶される。さらに、駐車場の位置及び形状もダイナミックマップに記憶される。

【0040】

例えばダイナミックマップでは、緯度及び経度を含む地理座標系が用いられる。乗合車両１０が自動運転走行する際には、運行ルート作成部６４がダイナミックマップ記憶部６６からダイナミックマップデータを抽出して、走行路線及び停留所位置を含む運行地図データを作成する。

【0041】

運行スケジュール作成部６２は、乗合車両１０の運行スケジュール（言い換えると運行ダイヤ）を作成する。例えば運行ルート作成部６４から運行地図データを受信すると、運行スケジュール作成部６２は、走行路線、乗合車両１０の定格速度、及び停留所での標準停車時間等に基づいて、各停留所の到着予定時刻及び出発予定時刻を含む運行スケジュールを作成する。作成された運行スケジュールは運行スケジュール提供部６３を介して乗合車両１０に送信される。

【0042】

運行スケジュール調整部６１は、複数の乗合車両１０のそれぞれに搭載された車室内監視システムと通信可能となっている。運行スケジュール調整部６１は、これらの車室内監視システムの混雑推定部３７から受信した混雑率に基づいて、それぞれの乗合車両１０が次に停車する予定の停留所を通過するような、運行スケジュールの変更の可否を判定する。

【0043】

例えば運行スケジュール調整部６１は、受信した混雑率Ａ％が上限閾値Ｂ％を超過する場合に、当該混雑率Ａ％を送信した乗合車両１０に対して、次に停車予定の停留所を通過するように、運行スケジュールを変更する。変更後の運行スケジュールは運行スケジュール提供部６３を介して、変更対象の乗合車両１０に送信される。

【0044】

＜乗合車両＞
図４－図６には、乗合車両１０の構造を説明する図が例示される。なお、図４－図６において、車体前後方向が記号ＦＲで表される軸で示され、車幅方向が記号ＲＷ（Ｒｉｇｈｔ Ｗｉｄｔｈ）で表される軸で示される。また、車高方向が記号ＵＰで表される軸で示される。

【0045】

図４には、乗合車両１０の前方及び左側面の外観を表す斜視図が例示される。乗合車両１０は乗合バスとして利用され、左側面には乗降口となる一対のドア４１，４１が設けられる。

【0046】

また、車両前方には車外表示器４１Ａが設けられる。車外表示器４１Ａはいわゆるデジタルサイネージとも呼ばれ、液晶ディスプレイまたはＬＥＤディスプレイから構成される。後述されるように、乗合車両１０の混雑率Ａ％が所定の上限閾値Ｂ％を超過するときには、その混雑率Ａ％が車外表示器４１Ａに表示される。また停車予定であった停留所を通過する旨のメッセージが車外表示器４１Ａに表示される。

【0047】

図５には乗合車両１０の車室４０内の様子が例示される。車室４０内には、その壁面に沿って、乗客用の座席４２が複数設けられる。また立位客の支持のため、天井には複数の吊り手４４が設けられる。また車室４０の側壁には手摺４６が設けられる。

【0048】

手摺４６は車室の側壁から上方に延びて天井面を伝うように設けられる。この手摺４６の天井部分の車幅方向中央部分に基準マーク４８が設けられる。基準マーク４８は後述されるワールド座標系における３次元座標系の原点位置を示すものである。

【0049】

基準マーク４８は、天井中央カメラ１８及び側方カメラ１９（図６参照）による撮像画像中の当該マークを、車室内画像認識部３６（図２参照）が認識可能な寸法となるように形成される。例えば、天井中央カメラ１８及び側方カメラ１９のうち低い方の撮像分解能でも撮像可能な寸法となるように、基準マーク４８の寸法が定められる。

【0050】

ドア４１，４１の上方には車内表示器４１Ｂが設けられる。車内表示器４１Ｂは、車外表示器４１Ａと同様に、液晶ディスプレイまたはＬＥＤディスプレイから構成される。後述されるように、混雑時には立位客の両足の間への短身荷物の移動を促すメッセージ文書が車内表示器４１Ｂに表示される。さらに、車室４０の天井には車内スピーカ４５が設けられる。後述されるように、混雑時には立位客の両足の間への短身荷物の移動を促すメッセージ音声が車内スピーカ４５から出力される。

【0051】

また、車室４０の天井の中央部には、天井中央カメラ１８（第一撮像器）が設けられる。例えば車室４０の車幅方向中央かつ車両前後方向中央に、天井中央カメラ１８が設けられる。例えば天井中央カメラ１８は、ＣＭＯＳセンサやＣＣＤセンサ等のイメージセンサを備える。

【0052】

例えば天井中央カメラ１８は、いわゆる３６０°カメラであってよく、車室４０の乗客用空間全体を撮像可能となっている。例えば天井中央カメラ１８は、車室４０の床４３全体を視野に含む。

【0053】

天井中央カメラ１８は、車室４０の平面視画像を撮像する。例えば後述される図１１のような、真上から車室４０を見下ろしたアングルの平面視画像が天井中央カメラ１８によって撮像される。後述されるように、この平面視画像から人物（乗客）及び荷物の画像領域が認識される。さらに認識された人物及び荷物の平面視区画が求められる。

【0054】

図６を参照して、車室４０には天井中央カメラ１８の他に側方カメラ１９（第二撮像器）が設けられる。側方カメラ１９は、車室４０の天井の周縁部または車室４０の側面から車室４０内の側面視画像を撮像する。例えば側方カメラ１９は、ＣＭＯＳセンサやＣＣＤセンサ等のイメージセンサを備える。

【0055】

なお以下では側面視とは、車幅方向（ＲＷ軸方向）に沿った視点には限定されない。要するに車室４０内を略水平方向に見る態様が側面視として捉えられる。幾何学的には、ＵＰ軸、ＲＷ軸、ＦＲ軸の３軸を用いて、ＵＰ軸との成す角よりも、ＲＷ軸及びＦＲ軸との成す角が小さくなるような、つまりＲＷ軸またはＦＲ軸側に傾いているような視線軸が広く側面視として捉えられる。したがって、側方カメラ１９は、その光軸がＦＲ軸及びＲＷ軸に対して傾斜しているものの、その傾斜角がＵＰ軸に対する傾斜角より小さいため、側方カメラ１９による撮像画像は側面視画像として扱われる。

【0056】

図６の例では、側方カメラ１９は、車室４０の前方に設けられ、側面視画像として正面視画像を撮像する。例えば後述される図９のような側面視画像が側方カメラ１９によって撮像される。後述されるように、この側面視画像から人物（乗客）及び荷物の画像領域が認識される。さらに認識された人物及び荷物の側面視区画が求められる。

【0057】

＜乗合車両の自動運転制御機構＞
図１、図２を参照して、乗合車両１０は、例えば自動運転機能を備える自動運転車両である。例えば米国の自動車技術会（ＳＡＥ）による基準に基づいて、乗合車両１０は、レベル０（運転者がすべての操作を行う）からレベル５（完全運転自動化）までの運行が可能となっている。例えば乗合車両１０の運行時には、自動運転のレベルは例えばレベル４またはレベル５に設定される。

【0058】

乗合車両１０は、予め規定された運行経路を自動運転で走行しながら、停留所にて停車して乗客が乗り降りする乗り合いバスとして利用される。乗合車両１０は、回転電機１７（モータ）を駆動源とし、図示しないバッテリを電源とする電動車両である。また乗合車両１０は、走行制御機構として、操舵機構１４Ｂ、ブレーキ機構１４Ａ、及び回転電機１７の出力を制御するインバータ１４Ｃを備える。

【0059】

さらに、乗合車両１０は、自車位置の取得や周辺状況の把握のための機構として、車外カメラ１１Ａ、ライダーユニット１１Ｂ、近接センサ１２、測位部１３、及び制御部２０を備える。

【0060】

例えば乗合車両１０には、その前面、後面、及び両側面に、センサユニット１１が設けられる。センサユニット１１は、車外カメラ１１Ａ及びライダーユニット１１Ｂを含んで構成される。

【0061】

ライダーユニット１１Ｂは、自動運転走行用のセンサユニットであり、自車周辺の物体と自車との距離を測定可能な測距部である。ライダーユニット１１Ｂでは、ライダー（ＬｉＤＡＲ、Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、すなわちレーザー光を用いて周辺物体との距離を測定する技術が用いられる。ライダーユニット１１Ｂは、赤外線のレーザー光を車外に向かって照射するエミッタと、その反射光を受光するレシーバ、ならびにエミッタ及びレシーバを回転させるモータを含んで構成される。

【0062】

例えば、エミッタは車外に向かって赤外線のレーザー光を照射する。エミッタから照射されたレーザー光が乗合車両１０の周辺の物体に当たると、その反射光がレシーバに受信される。エミッタの照射からレシーバの受光までに係る時間に基づいて、反射点とレシーバとの距離が求められる。またエミッタ及びレシーバがモータにより回動させられることで、水平方向及び鉛直方向にレーザー光線が走査され、これにより、乗合車両１０の周辺環境についての３次元点群データを得ることが出来る。

【0063】

車外カメラ１１Ａは、ライダーユニット１１Ｂと同様の視野を撮像する。車外カメラ１１Ａは、例えばＣＭＯＳセンサやＣＣＤセンサ等のイメージセンサを備える。近接センサ１２は、例えば赤外線センサであって、例えば平面視で乗合車両１０の四隅に設けられる。例えば乗合車両１０が乗車地に到着する際に、近接センサ１２が歩道の縁石等の突出物を検出する。この検出により、乗合車両１０を縁石に近接させて停車させる正着制御が可能となる。測位部１３は人工衛星によって測位を行うシステムであって、例えば携帯端末と同様のＧＮＳＳが用いられる。

【0064】

制御部２０は、例えば乗合車両１０の電子コントロールユニット（ＥＣＵ）であってよく、コンピュータ（電子計算機）から構成される。制御部２０は、そのハードウェア構成として、データの入出力を制御する入出力コントローラ２１を備える。また制御部２０は、演算装置として、ＣＰＵ２２、ＧＰＵ２３（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及びＤＬＡ２４（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｃｃｅｌｅｒａｔｏｒｓ）を備える。また制御部２０は、記憶部として、ＲＯＭ２５、ＲＡＭ２６、及びハードディスクドライブ２７（ＨＤＤ）を備える。なお、ハードディスクドライブ２７の代わりに、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置が用いられてもよい。これらの構成部品は内部バス２８に接続される。

【0065】

記憶装置であるＲＯＭ２５及びハードディスクドライブ２７の少なくとも一方には、乗合車両１０の自動運転制御を行うためのプログラムが記憶される。上記プログラムが制御部２０のＣＰＵ２２等により実行されることで、制御部２０には、図２に例示されるような機能ブロックが形成される。

【0066】

すなわち制御部２０は、自動運転制御を行うための機能ブロックとして、スキャンデータ解析部３０、自己位置推定部３１、及び自律走行制御部３３を備える。また制御部２０は、記憶部として、ダイナミックマップ記憶部３４及び運行スケジュール記憶部３５を備える。

【0067】

スキャンデータ解析部３０は、車外カメラ１１Ａが撮像した撮像画像を取得する。スキャンデータ解析部３０は、取得した撮像画像に対して、既知のディープラーニング手法を利用した画像認識を行う。この画像認識により、撮像画像内の物体検出とその属性（車両、通行人、構造物等）認識が行われる。

【0068】

またスキャンデータ解析部３０は、ライダーユニット１１Ｂから３次元点群データを取得する。さらにスキャンデータ解析部３０は、画像認識済みの撮像画像と３次元点群データの座標を重ね合わせた周辺データを作成する。周辺データにより、どのような属性の物体が、乗合車両１０からどれだけ離隔しているかを検出することが出来る。この周辺データは、自律走行制御部３３に送られる。

【0069】

自己位置推定部３１は、測位部１３から自己位置情報（緯度、経度）を取得する。例えば自己位置推定部３１は人工衛星から自己位置情報を取得する。このようにして得られた自己位置情報（自車位置情報）は、自律走行制御部３３に送られる。

【0070】

ダイナミックマップ記憶部３４には、センターサーバ５０の運行ルート作成部６４が作成した運行経路地図データが記憶される。この運行経路地図データにはダイナミックマップデータが含まれる。また運行スケジュール記憶部３５には、センターサーバ５０の運行スケジュール提供部６３が作成した運行スケジュールが記憶される。

【0071】

自律走行制御部３３は、ダイナミックマップ記憶部３４に記憶された運行経路地図データ、自己位置推定部３１から送信された自己位置情報（自車位置情報）、及び、スキャンデータ解析部３０から送信された周辺データに基づいて、乗合車両１０の走行制御を行う。また停留所に到着すると、乗合車両１０は運行スケジュールに沿った時間に亘って停車する。

【0072】

＜車室内監視システム＞
乗合車両１０には車室内監視システムが搭載される。当該システムのハードウェア構成として、天井中央カメラ１８（第一撮像器）、側方カメラ１９（第二撮像器）、及び制御部２０が含まれる。制御部２０の記憶装置であるＲＯＭ２５及びハードディスクドライブ２７の少なくとも一方には、車室内監視や混雑率推定を行うためのプログラムが記憶される。上記プログラムが制御部２０のＣＰＵ２２等により実行されることで、制御部２０には、図２に例示されるような機能ブロックが形成される。すなわち制御部２０は、車室内監視システムの一部として、車室内画像認識部３６及び混雑推定部３７を備える。

【0073】

車室内画像認識部３６は、天井中央カメラ１８が撮像した平面視画像及び側方カメラ１９が撮像した側面視画像から、人物（乗客）及び荷物の画像領域を認識する。例えば車室内画像認識部３６には、画像認識アルゴリズムとして、教師有り学習を用いたＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）が実装される。

【0074】

ＳＳＤアルゴリズムは既知の技術であるため、ここでは簡潔に説明される。ＳＳＤアルゴリズムでは、撮像画像内の位置推定及びクラス推定が行われる。つまり、画像内のどの位置に物体がいるのか、及びその物体の属性（クラス）は何か、という２種類の推定が同時並行で、つまり、ニューラルネットワークを用いた一回の演算で（Ｓｉｎｇｌｅ Ｓｈｏｔで）行われる。

【0075】

ＳＳＤアルゴリズムでは、人物及び荷物の検出に当たり、その人物及び荷物と外部との境界線を抽出する代わりに、図１０に例示されるような矩形領域の「バウンディングボックス」により、人物及び荷物の境界が画定される。例えばＳＳＤアルゴリズムでは、位置推定に当たり、画像上に大きさや形の異なる複数の（例えば１万個弱の）デフォルトボックスと呼ばれる矩形枠が当て嵌められ、そのいずれの枠が物体を過不足なく含められるかが演算される。さらに各バウンディングボックスには、当該ボックスに捉えられた物体の属性（クラス）が表示される。

【0076】

例えば図９の側面視画像に対してＳＳＤアルゴリズムによる画像認識処理を行った、図１０の例によれば、人物１００Ａ～１００Ｃに対してクラス「ｈｕｍａｎ」のバウンディングボックス１０４Ａ～１０４Ｃ（側面視区画）が設定される。さらに荷物１０２Ａ～１０２Ｃに対してクラス「ｂａｇｇａｇｅ」のバウンディングボックス１０６Ａ～１０６Ｃ（側面視区画）が設定される。

【0077】

また例えば図１１の平面視画像に対してＳＳＤアルゴリズムによる画像認識処理を行った、図１２の例によれば、人物１００Ａ～１００Ｃに対してクラス「ｈｕｍａｎ」のバウンディングボックス１０８Ａ～１０８Ｃ（平面視区画）が設定される。さらに荷物１０２Ａ～１０２Ｃに対してクラス「ｂａｇｇａｇｅ」のバウンディングボックス１１０Ａ～１１０Ｃ（平面視区画）が設定される。

【0078】

各バウンディングボックスには位置パラメータが与えられる。すなわち、ボックスの中心座標Ｃ［Ｃｘ，Ｃｙ］、ボックス幅Ｗ、及びボックス高さＨがバウンディングボックスの位置パラメータとして与えられる。なお、この位置パラメータは、画像平面上の座標系、つまりカメラ座標系上の値が用いられる。

【0079】

また例えばＳＳＤアルゴリズムの教師データは、人物画像を入力データとし、クラス「人物（Ｈｕｍａｎ）」及び人物を囲むバウンディングボックスの位置パラメータを出力データとする一対の教師データを複数備える。さらに教師データは、荷物画像を入力データとし、クラス「荷物（Ｂａｇｇａｇｅ）」及び荷物を囲むバウンディングボックスの位置パラメータを出力データとする一対の教師データを複数備える。

【0080】

なお、車室内画像認識部３６は、平面視画像の画像認識用のＳＳＤアルゴリズムが実装されたニューラルネットワークと、側面視画像の画像認識用のＳＳＤアルゴリズムが実装されたニューラルネットワークを備えてもよい。この場合、前者の教師データとして、平面視、つまり上から見たときの人物及び荷物の画像が入力データとして用いられ、後者の教師データとして、側面視、つまり横から見たときの人物及び荷物の画像が入力データとして用いられる。

【0081】

車室内画像認識部３６は、人物及び荷物を囲む矩形領域であるバウンディングボックスを、人物及び荷物の平面視区画及び側面視区画に設定する。設定されたバウンディングボックスは、混雑率の推定に用いられる。

【0082】

図２に戻り、混雑推定部３７は、車室内画像認識部３６により認識された人物及び荷物に基づいて、車室４０の混雑率を求める。混雑推定部３７は、図３に例示されるような複数のサブユニットを備える。すなわち混雑推定部３７は、歪曲／傾き補正部３７Ａ、奥行情報取得部３７Ｂ、座標変換部３７Ｃ、ボックス組合せ抽出部３７Ｄ、体積算出部３７Ｅ、近接荷物抽出部３７Ｆ、混雑率算出部３７Ｇ、短身荷物探索部３７Ｈ、及びアナウンス制御部３７Ｉを備える。

【0083】

歪曲／傾き補正部３７Ａは、いわゆるカメラキャリブレーションとして歪曲補正及び傾き補正を行う。例えば図１１には、天井中央カメラ１８により撮像された平面視画像が例示される。天井中央カメラ１８のレンズ特性等に起因して、この平面視画像には、樽状の歪みが生じる。この歪みは、天井中央カメラ１８のレンズ特性に基づくアフィン補正等の既知の歪曲補正処理により解消される。

【0084】

さらに歪曲／傾き補正部３７Ａは、傾き補正を行う。図１３に例示されるように、天井中央カメラ１８による撮像領域１２０及び側方カメラ１９による撮像領域１２２は、天井中央カメラ１８であれば真上からのアングルから傾き、側方カメラ１９であれば真横からのアングルとは異なる。

【0085】

例えば車室４０の床面に真円が描かれていた場合に、天井中央カメラ１８が図１３のようなアングルで撮像領域１２０を撮像した場合、床面の真円は撮像領域１２０では楕円として表示される。この楕円を真円に変形するような変換行列を用いることで、平面視画像に含まれる傾きが補正される。

【0086】

同様にして、車室床面に垂直に立てた壁に真円が描かれていた場合に、側方カメラ１９が図１３のようなアングルで撮像領域１２２を撮像した場合、壁の真円は撮像領域１２２では楕円として表示される。この楕円を真円に変形するような変換行列を用いることで、側面視画像に含まれる傾きが補正される。

【0087】

歪曲／傾き補正部３７Ａは、天井中央カメラ１８が撮像した平面視画像及び側方カメラ１９が撮像した側面視画像に対して歪曲補正及び傾き補正を行う。補正後の平面視画像及び側面視画像は車室内画像認識部３６（図２参照）に送信され、上述したＳＳＤアルゴリズムに基づく人物及び荷物の画像認識が実行される。

【0088】

奥行情報取得部３７Ｂは、車室内画像認識部３６により認識された、各バウンディングボックスの奥行情報を取得する。例えばこの奥行情報とは、撮像画像平面に直交する軸に沿った位置情報を指す。より具体的には、平面視画像から抽出されたバウンディングボックス（平面視区画）については、天井中央カメラ１８（第一撮像器）の光軸に沿った、当該カメラからの離隔距離が奥行情報に相当する。同様にして、側面視画像から抽出されたバウンディングボックス（側面視区画）については、側方カメラ１９（第二撮像器）の光軸に沿った、当該カメラからの離隔距離が奥行情報に相当する。

【0089】

このような奥行情報の取得は、例えば既知のステレオカメラ法が用いられる。例えば天井中央カメラ１８と側方カメラ１９とで車室４０内の同一点を撮像した場合に、三角測量の原理を用いて、天井中央カメラ１８及び側方カメラ１９から上記点までの距離を求めることが出来る。

【0090】

奥行情報取得部３７Ｂは、このようなステレオカメラ法を用いて、バウンディングボックス内の任意の点の奥行情報を取得する。例えば奥行情報取得部３７Ｂは、カメラ座標系の平面座標である、バウンディングボックスの中心点Ｃ［Ｃｘ，Ｃｙ］における奥行情報を取得して、これをバウンディングボックス全体の奥行情報とする。この奥行情報と、上述したバウンディングボックスの位置パラメータにより、各バウンディングボックスのカメラ座標系における３次元座標が得られる。

【0091】

座標変換部３７Ｃは、各バウンディングボックスのカメラ座標系における３次元座標を、車室内空間の座標系であるワールド座標系の３次元座標に変換する。

【0092】

現実空間をカメラで撮像するという行為を、座標系の変換との観点から捉えると、ワールド座標系における３次元空間が、カメラ座標系における２次元平面に変換（転写）されたと考えることが出来る。この変換時に捨象された奥行情報は、上述の通り奥行情報取得部３７Ｂにより取得され、その結果カメラ座標系における３次元座標が得られる。

【0093】

座標変換部３７Ｃでは、カメラの撮像時とは逆の変換を行うことで、バウンディングボックスの、カメラ座標系における３次元座標が、ワールド座標系の３次元座標に変換される。ここで、カメラ座標系における３次元座標とは、平面視区画及び側面視区画の平面座標に奥行情報を加えたものを指す。またこの座標系の変換は、情報処理工学分野等における既存の座標変換理論を用いて実行可能である。

【0094】

例えば図９の側面視画像を参照して、この画像では、側方カメラ１９から相対的に近い位置にいる人物１００Ａは、当該カメラから相対的に遠い位置にいる人物１００Ｃよりも大きくなる。このような遠近に基づく像の大小に基づいて、後述する体積混雑率を求めると、各人物の正確な体積から乖離した混雑率が算出されるおそれがある。そこで座標変換部３７Ｃにおいて、カメラ座標系をワールド座標系に変換することで、遠近に起因した像の大小が解消される。

【0095】

車室４０内の空間座標系であるワールド座標系では、例えば上述した基準マーク４８（図９参照）が原点として設定される。さらに図１４に例示されるように、側面視画像におけるバウンディングボックス１２６では、その中心点Ｃｓがワールド座標系における座標［Ｃ_ＦＲ，Ｃ_ＲＷ，Ｃ_ＵＰ］で示される。さらに幅ＷｓはＲＷ軸上の長さとして示され、さらに高さＨｓはＵＰ軸上の長さとして示される。

【0096】

また平面視画像におけるバウンディングボックス１２４では、その中心点Ｃｐがワールド座標系における座標［Ｃ_ＦＲ，Ｃ_ＲＷ，Ｃ_ＵＰ］で示され、幅ＷｐはＦＲ軸上の長さとして示され、高さＨｐはＲＷ軸上の長さとして示される。以降の演算には、ワールド座標系に変換後のバウンディングボックスの位置パラメータが用いられる。

【0097】

ボックス組合せ抽出部３７Ｄは、人物及び荷物の体積を求めるための、平面視画像におけるバウンディングボックスと、側面視画像におけるバウンディングボックスとのペアを抽出する。

【0098】

まずボックス組合せ抽出部３７Ｄは、複数のバウンディングボックスのうち、クラス「人物」のバウンディングボックスのみを抽出する。さらにボックス組合せ抽出部３７Ｄは、クラス抽出されたバウンディングボックスの位置パラメータを利用して、バウンディングボックスのペアを抽出する。

【0099】

例えば図１４を参照して、ボックス組合せ抽出部３７Ｄは、平面視画像のバウンディングボックス１２４の中心点ＣｐのＦＲ軸座標Ｃ_ＦＲを中心とした、Ｃ_ＦＲ－１／２Ｗ_ＰからＣ_ＦＲ＋１／２Ｗ_Ｐまでの範囲を設定する。さらにボックス組合せ抽出部３７Ｄは、中心点ＣｐのＲＷ軸座標Ｃ_ＲＷを中心とした、Ｃ_ＲＷ－１／２Ｈ_ＰからＣ_ＲＷ＋１／２Ｈ_Ｐまでの範囲を設定する。次にボックス組合せ抽出部３７Ｄは、これら２つの範囲条件を満たす中心点Ｃｓが含まれる、側面視画像内のバウンディングボックス１２６を抽出し、これらのバウンディングボックス１２４，１２６をペアとして抽出する。

【0100】

クラス「人物」のバウンディングボックスの対応付け（ペアリング）が完了すると、ボックス組合せ抽出部３７Ｄは、クラス「荷物」のバウンディングボックスを抽出して、上述の人物と同様の対応付け（ペアリング）を実行する。

【0101】

体積算出部３７Ｅは、ボックス組合せ抽出部３７Ｄによりペアとなった、平面視画像のバウンディングボックス（平面視区画）と、側面視画像のバウンディングボックス（側面視区画）から、人物及び荷物の体積を求める。なお、体積算出に当たり、ワールド座標系に変換後のバウンディングボックスが用いられる。

【0102】

ここで、ＳＳＤアルゴリズムによるバウンディングボックスの抽出精度や、天井中央カメラ１８及び側方カメラ１９の倍率の差等に起因して、図１４に例示されるように、平面視のバウンディングボックス１２４と側面視のバウンディングボックス１２６とで寸法が相違する場合がある。

【0103】

そこで体積算出部３７Ｅは、２種類の異なる方法で体積を求め、さらに平均化することでボックス体積を求めてもよい。例えば体積算出部３７Ｅは、平面視のバウンディングボックス１２４における幅Ｗｐと高さＨｐ、及び側面視のバウンディングボックス１２６における高さＨｓをそれぞれ掛けた第１体積Ｖ１を求める。次に体積算出部３７Ｅは、側面視のバウンディングボックス１２６における幅Ｗｓと高さＨｓ、及び平面視のバウンディングボックス１２４における幅Ｗｐをそれぞれ掛けた第２体積Ｖ２を求める。最後に体積算出部３７Ｅは第１体積Ｖ１と第２体積Ｖ２の和を２で割る。これによりボックス体積Ｖｂが得られる。さらにボックス体積Ｖｂの位置パラメータとして、中心点Ｃｖ［Ｃ_Ｖ＿ＦＲ，Ｃ_Ｖ＿ＲＷ，Ｃ_Ｖ＿ＵＰ］と、長さＬ_ＦＲ、幅Ｗ_ＲＷ、高さＨ_ＵＰが求められる。

【0104】

近接荷物抽出部３７Ｆは、人物に近接した荷物を、体積混雑率の算出対象から除外する。例えば近接荷物抽出部３７Ｆは、ワールド座標系の空間内で、人物の体積に所定割合（例えば３０％）以上体積が重複する荷物を抽出する。抽出された荷物（近接荷物）は、混雑率算出部３７Ｇにより、体積混雑率の算出対象から除外される。

【0105】

例えばＳＳＤアルゴリズムによる画像認識では、バウンディングボックスに応じた位置推定が行われ、人物及び荷物に加えて周辺の空間もバウンディングボックスに取り込まれることから、このような体積の重複が起こり得る。このような体積の重複を許容して体積混雑率を算出すると、体積混雑率が過度に高くなるおそれがある。このため、一般的に人物よりも体積の小さい荷物が、体積混雑率の算出対象から除外される。

【0106】

また、後述される、立位客の両足の間への短身荷物の移動を促すに際して、既に両足の間に移動されている短身荷物は、十分に人物と近接していることから、近接荷物の抽出プロセスを経て、体積混雑率の算出対象から除外される。後述されるように、体積混雑率の算出対象から、立位客の両足の間への移動対象となる短身荷物が抽出されるが、既に両足の間に移動されている短身荷物は、近接荷物の抽出プロセスの際に、予め抽出対象から除外される。

【0107】

混雑率算出部３７Ｇは、体積算出部３７Ｅによって算出され、また近接荷物であることを理由にした除外を免れた、ボックス体積の総和を求める。さらに混雑率算出部３７Ｇは、ボックス体積の総和ΣＶｂと車室４０の容積Ｖｃとの差異に基づいて、体積混雑率Ａ［％］を求める。例えば体積混雑率Ａは、（ΣＶｂ／Ｖｃ）×１００から求められる。

【0108】

短身荷物探索部３７Ｈは、体積混雑率Ａが上限閾値Ｂ［％］を超過する場合に、短身荷物を探索する。上限閾値Ｂは、例えば８０％以上１００％以下の値に設定される。短身荷物の探索には、側面視画像のバウンディングボックスが用いられる。具体的には、クラス「荷物」が与えられた、側面視画像中の（ワールド座標系に変換された）バウンディングボックスの高さ成分Ｈｓ（図１４参照）が参照される。短身荷物探索部３７Ｈは、この高さ成分Ｈｓが所定の閾値高さＨｔｈ以下である荷物（短身荷物）を抽出する。例えば閾値高さＨｔｈは、５０ｃｍに設定される。

【0109】

アナウンス制御部３７Ｉは、体積混雑率Ａが上限閾値Ｂ［％］を超過し、かつ、短身荷物が抽出された際に、立位客の両足の間に短身荷物を移動することを促すメッセージを車室内に出力させる。例えば車内スピーカ４５（図５参照）から音声メッセージが出力され、車内表示器４１Ｂからメッセージテキストが表示される。

【0110】

＜混雑率推定フロー＞
図７、図８には、本実施形態に係る車室内監視システムにより実行される、混雑率推定フローが例示される。混雑推定部３７の歪曲／傾き補正部３７Ａ（図３参照）は、側方カメラ１９から車室４０の側面視画像（図９参照）を取得する（Ｓ１０）。次に混雑推定部３７の歪曲／傾き補正部３７Ａは、上述した歪曲補正処理及び傾き補正処理を側面視画像に対して実行する（Ｓ１１）。補正後の側面視画像が車室内画像認識部３６に送信される。

【0111】

車室内画像認識部３６は、補正後の側面視画像内の人物及び荷物を囲むバウンディングボックス（側面視区画）を、上述のＳＳＤアルゴリズムを用いて認識する（Ｓ１２）。さらに奥行情報取得部３７Ｂは、上述のステレオカメラ法を用いて、各バウンディングボックスの奥行情報を取得する（Ｓ１３）。

【0112】

例えば上述したように、平面視画像中のバウンディングボックスの中心点について、天井中央カメラ１８からの離隔距離が奥行情報として得られる。この離隔距離はバウンディングボックスの全ての座標点における奥行情報として適用される。

【0113】

さらに座標変換部３７Ｃは、バウンディングボックスの中心点及び４頂点の、カメラ座標系における３次元座標（画像平面座標＋奥行情報）を、上述した変換処理により、車室内の空間座標系であるワールド座標系における３次元座標に変換する（Ｓ１４）。

【0114】

次に、混雑推定部３７は、天井中央カメラ１８から、平面視画像（図１１参照）を取得する（Ｓ１５）。さらに当該画像に対して、車室内画像認識部３６及び混雑推定部３７は、側面視画像と同様の画像処理を実行する。すなわち、歪曲／角度補正（Ｓ１６）、人物及び荷物を囲むバウンディングボックス（平面視区画）の画像認識（Ｓ１７）、バウンディングボックスの奥行情報取得（Ｓ１８）、及び、カメラ座標系からワールド座標系への変換（Ｓ１９）といった各種処理が、平面視画像に対して実行される。

【0115】

さらにボックス組合せ抽出部３７Ｄは、上述したように、ワールド座標に変換後のバウンディングボックスの位置パラメータに基づいて、側面視のバウンディングボックスと平面視のバウンディングボックスとのペアを求める（Ｓ２０）。

【0116】

次に体積算出部３７Ｅは、ペアとなった側面視のバウンディングボックスと平面視のバウンディングボックスの、ワールド座標系上の位置パラメータを用いて、上述したようにボックス体積を求める（Ｓ２１）。体積算出部３７Ｅは、ボックス組合せ抽出部３７Ｄにより抽出された人物及び荷物の全てのペアに対してボックス体積Ｖｂを求める。

【0117】

さらに近接荷物抽出部３７Ｆは、上述したように、人物と所定割合でボックス体積Ｖｂが重複する荷物を抽出し、当該荷物（近接荷物）を混雑率算定対象から除外する（Ｓ２２）。さらに混雑率算出部３７Ｇは、算定対象となったボックス体積Ｖｂの総和ΣＶｂを求める（Ｓ２３）。さらに混雑率算出部３７Ｇは、車室容積Ｖｃに対する、ボックス体積Ｖｂの総和ΣＶｂの割合である、体積混雑率Ａを求める（Ｓ２４）。

【0118】

短身荷物探索部３７Ｈは、ステップＳ２４で求められた体積混雑率Ａが上限閾値Ｂを超過しているか否かを判定する（Ｓ２５）。体積混雑率Ａが上限閾値Ｂ以下である場合には、体積混雑率Ａをセンターサーバ５０（図２参照）の運行スケジュール調整部６１に送信する（Ｓ２９）。さらにアナウンス制御部３７Ｉは、体積混雑率Ａを、車内表示器４１Ｂに表示させる（Ｓ３０）。

【0119】

一方、ステップＳ２５にて体積混雑率Ａが上限閾値Ｂを超過している場合、短身荷物探索部３７Ｈは、図１０を参照して、体積混雑率Ａの算出対象となった荷物の側面視画像のバウンディングボックス１０６Ａ～１０６Ｃから、（ワールド座標系に変換後の）位置パラメータを参照して、高さＨｓを抽出する。そして短身荷物探索部３７Ｈは、高さＨｓが、所定の閾値高さＨｔｈ以下である短身荷物があるか否かを判定する（Ｓ２６）。

【0120】

抽出された高さＨｓが、いずれも所定の閾値高さＨｔｈを超過する場合、短身荷物探索部３７Ｈは、ステップＳ２４にて求められた体積混雑率Ａを、センターサーバ５０（図２参照）の運行スケジュール調整部６１に送信する（Ｓ２９）。

【0121】

一方、ステップＳ２６にて、高さＨｓが、所定の閾値高さＨｔｈ以下である短身荷物が抽出されると、アナウンス制御部３７Ｉは、抽出された短身荷物の、立位客の両足の間への移動を促すメッセージを、車内表示器４１Ｂ（図５参照）及び車内スピーカ４５から出力させる（Ｓ２７）。さらに所定時間待機後（Ｓ２８）、フローはステップＳ１０まで戻り、アナウンス後の側面視画像及び平面視画像に基づいた体積混雑率が算出される。

【0122】

このように、本実施形態に係る車室内監視システムでは、体積混雑率Ａが上限閾値Ｂを超過する場合に、短身荷物が探索されるとともに当該荷物の、立位客の両足の間への移動が促される。これにより、移動前に短身荷物が占めていた領域が空きスペースとなって、混雑緩和が図られる。

【0123】

＜運行調整フロー＞
図１５には、混雑推定部３７（図２参照）から体積混雑率Ａを受信したときの、センターサーバ５０の運行スケジュール調整部６１による、運行調整フローが例示される。なお、各ステップにはその実行主体としてセンターサーバ５０を示す符号（Ｓ）が付される。

【0124】

運行スケジュール調整部６１は、混雑推定部３７の混雑率算出部３７Ｇから体積混雑率Ａを取得する（Ｓ３０）。次に運行スケジュール調整部６１は、取得した体積混雑率Ａが、所定の上限閾値Ｂを超過するか否かを判定する（Ｓ３２）。この上限閾値Ｂは、図８のステップＳ２５で用いられた上限閾値Ｂと同一の値であってよい。

【0125】

体積混雑率Ａ≦上限閾値Ｂである場合、運行スケジュール調整部６１は、既に設定された運行スケジュールをそのまま維持する。さらに運行スケジュール調整部６１は、体積混雑率Ａを携帯端末７０のバスアプリケーション８１に送信する（Ｓ３４）。

【0126】

一方、ステップＳ３２にて、体積混雑率Ａ＞上限閾値Ｂである場合、運行スケジュール調整部６１は、この体積混雑率Ａを送信した乗合車両１０の運行スケジュールを参照する。さらに運行スケジュール調整部６１は、当該乗合車両１０が次に停車予定の停留所を通過させるように、運行スケジュールを変更する（Ｓ３６）。変更後の運行スケジュールは、運行スケジュール提供部６３から対象の乗合車両１０に送信される。

【0127】

また運行スケジュール調整部６１は、体積混雑率Ａ及び変更後の運行スケジュールを、携帯端末７０のバスアプリケーション８１に送信する（Ｓ３８）。これにより携帯端末７０のユーザは、乗合車両１０が停留所を停まらずに通過することを、事前に知ることができる。

【0128】

＜奥行情報の取得方法の別例＞
上述の実施形態では、奥行情報取得部３７Ｂ（図３参照）は、天井中央カメラ１８及び側方カメラ１９を用いたステレオカメラ法により、バウンディングボックスの奥行情報を取得していたが、本実施形態に係る車室内監視システムは、この形態に限られない。

【0129】

例えば図１６及び図１７に例示されるように、車室４０の床４３が、複数の対象領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）に仮想的に区分けされる。図１６、図１７の例示では床４３が１０個の領域に分けられる。

【0130】

そして奥行情報取得部３７Ｂは、例えば側面視画像及び平面視画像において、人物及び荷物が床４３のどの領域にいるかを判定する。そして各領域に割り当てられた奥行情報が、それぞれの領域に居る人物及び荷物に割り当てられる。

【0131】

または、ステレオカメラ法に代わり、天井中央カメラ１８及び側方カメラ１９を、ＲＧＢ－Ｄカメラ等の３Ｄカメラが用いられてもよい。例えばＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式の３Ｄカメラでは、短パルスのレーザーが照射され、物体で反射して受光素子に戻るまでの時間に基づいて、カメラと物体との離隔距離（つまり奥行情報）が求められる。

【0132】

＜平面視画像と側面視画像との対応付けの別例＞
上述の実施形態では、ボックス組合せ抽出部３７Ｄ（図３参照）は、図１４のようにバウンディングボックスの位置パラメータを用いて、平面視画像のバウンディングボックスと側面視画像のバウンディングボックスの対応付け（ペアリング）を行っていた。しかしながら本実施形態に係る車室内監視システムは、この形態に限られない。

【0133】

例えばいわゆるオプティカルフロー法を用いたトラッキングが用いられてもよい。例えば人物（乗客）が乗合車両１０のドア４１，４１から乗車したときに、車室内画像認識部３６により人物及び荷物の画像認識が実行される。認識された人物及び荷物には固有のＩＤが付される。さらにボックス組合せ抽出部３７Ｄは、ＩＤが付された人物及び荷物の特徴点の動き（軌跡）を追跡する。これにより、平面視画像及び側面視画像上で同一の人物および荷物の軌跡を追うことが出来る。その結果ボックス組合せ抽出部３７Ｄは、ＩＤをキーとして、それぞれの人物及び荷物の対応付け（ペアリング）が実行可能となる。

【0134】

＜乗合車両利用システムの別例＞
図１８には、図２に例示された乗合車両利用システムの別例が示される。図１８では、図２ではセンターサーバ５０に設けられていた運行スケジュール調整部６１が、乗合車両１０内に設けられる。その他の構成は図２と同様である。

【0135】

図１９には、乗合車両１０に設けられた運行スケジュール調整部６１による、運行調整フローが例示される。このフローの各ステップは、処理内容としては図１５の各ステップと同様である。具体的には、図１５のステップＳ３０，Ｓ３２，Ｓ３４，Ｓ３６，Ｓ３８は、図１９のステップＳ１３０，Ｓ１３２，Ｓ１３４，Ｓ１３６，Ｓ１３８に対応している。ただし、各ステップの実行主体が、センターサーバ５０を示す符号（Ｓ）から、乗合車両１０を示す符号（Ｂ）に置き換えられている。また、ステップＳ１３４、Ｓ１３８では、混雑率及び変更後の運行スケジュールの送信先が、携帯端末７０のバスアプリケーション８１からセンターサーバ５０に置き換えられる。

【符号の説明】

【0136】

１０ 乗合車両、１８ 天井中央カメラ、１９ 側方カメラ、２０ 制御部、３６ 車室内画像認識部、３７ 混雑推定部、３７Ａ 傾き補正部、３７Ｂ 奥行情報取得部、３７Ｃ 座標変換部、３７Ｄ ボックス組合せ抽出部、３７Ｅ 体積算出部、３７Ｆ 近接荷物抽出部、３７Ｇ 混雑率算出部、３７Ｈ 短身荷物探索部、３７Ｉ アナウンス制御部、４０ 車室、４１Ａ 車外表示器、４１Ｂ 車内表示器、４５ 車内スピーカ、４８ 基準マーク、５０ センターサーバ、６１ 運行スケジュール調整部、６２ 運行スケジュール作成部、６３ 運行スケジュール提供部、６４ 運行ルート作成部、６５ 運行スケジュール記憶部、６６ ダイナミックマップ記憶部、７０ 携帯端末、８１ バスアプリケーション、８２ 運行スケジュール表示部、８３ 混雑率表示部、１０４Ａ～１０４Ｃ，１０６Ａ～１０６Ｃ，１０８Ａ～１０８Ｃ，１１０Ａ～１１０Ｃ バウンディングボックス。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】