特許 7683347 車室内監視システム及び乗合車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-19

(45)【発行日】2025-05-27

(54)【発明の名称】車室内監視システム及び乗合車両

(51)【国際特許分類】

   G08B 21/00 20060101AFI20250520BHJP

   G08G 1/127 20060101ALI20250520BHJP

   G06T 7/62 20170101ALI20250520BHJP

   G08B 25/00 20060101ALI20250520BHJP

   G06T 7/00 20170101ALN20250520BHJP

【ＦＩ】

G08B21/00 U

G08G1/127 A

G06T7/62

G08B25/00 510M

G06T7/00 660B

【請求項の数】 3

(21)【出願番号】P 2021105388

(22)【出願日】2021-06-25

(65)【公開番号】P2023003974

(43)【公開日】2023-01-17

【審査請求日】2024-01-25

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】齋藤 秀典

【審査官】弘田 智美

(56)【参考文献】

【文献】特開２０２０－００３９３５（ＪＰ，Ａ）

【文献】特開２０２０－００３９３６（ＪＰ，Ａ）

【文献】特開２０１５－０２３４５９（ＪＰ，Ａ）

【文献】特開２０１２－１４６０２２（ＪＰ，Ａ）

【文献】特開２０２０－１４４６３４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｂ ２１／００

Ｇ０８Ｇ １／１２７

Ｇ０６Ｔ ７／６２

Ｇ０８Ｂ ２５／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

乗合車両と、前記乗合車両の運行を管理する運行管理装置と、を備える車室内監視システムであって、
前記乗合車両は、
車室の天井に設けられた撮像器と、
前記撮像器による車室内画像に含まれる人物及び荷物を認識し、さらに認識された人物については座位及び立位のどちらかであるかを推定する画像認識部と、
認識された荷物及び人物の位置に基づいて、荷物に占有された荷物占有座席の発生有無及び座位の人物により複数の座席に跨って着座された重複着座席の発生有無を推定する座席状態推定部と、
を備え、
前記運行管理装置は、
認識された人物及び荷物に基づいて、前記車室における混雑率を求める、混雑率算出部と、
前記荷物占有座席及び前記重複着座席の少なくとも一方が発生有りと推定され、かつ、求められた前記混雑率が所定の混雑閾値を超過する場合に、警告の出力を前記乗合車両に指令する、警告可否判定部と、
を備え、
前記警告可否判定部は、前記混雑率が前記混雑閾値以下であるときには、前記乗合車両への乗車予約情報に応じて前記警告の出力の見合わせ有無を判定する予約状況確認処理を実行し、
前記乗合車両は、規定経路を走行し前記規定経路に沿って設けられた停留所にて停車可能であって、
前記乗車予約情報として、乗車希望者が乗車予定の停留所である乗車予定停留所と、着座予定の指定席とが設定され、前記運行管理装置は、前記乗車予約情報を記憶する記憶部を備え、
前記警告可否判定部は、前記予約状況確認処理として、前記乗合車両の次停車予定の停留所を前記乗車予定停留所とする停留所条件と、前記指定席が前記荷物占有座席及び前記重複着座席の少なくとも一方に該当する指定席条件との、両条件を満たす前記乗車予約情報が前記記憶部に記憶されていない場合には、前記乗合車両による前記警告の出力を見合わせる、
車室内監視システム。

【請求項2】

請求項１に記載の車室内監視システムであって、
前記画像認識部は、認識された人物及び荷物の占有面積を求め、
前記混雑率算出部は、認識された人物及び荷物の前記占有面積の総和と車室床面積とに基づいて、前記混雑率を求める、
車室内監視システム。

【請求項3】

車室の天井に設けられた撮像器と、
前記撮像器による車室内画像に含まれる人物及び荷物を認識し、さらに認識された人物については座位及び立位のどちらかであるかを推定する画像認識部と、
認識された荷物及び人物の位置に基づいて、荷物に占有された荷物占有座席の発生有無及び座位の人物により複数の座席に跨って着座された重複着座席の発生有無を推定する座席状態推定部と、
認識された人物及び荷物に基づいて、前記車室における混雑率を求める、混雑率算出部と、
前記荷物占有座席及び前記重複着座席の少なくとも一方が発生有りと推定され、かつ、求められた前記混雑率が所定の混雑閾値を超過する場合に、警告器に警告を出力させる、警告可否判定部と、
乗車予約情報を記憶する記憶部と、
を備え、規定経路を走行し前記規定経路に沿って設けられた停留所にて停車可能である、乗合車両であって、
前記警告可否判定部は、前記混雑率が前記混雑閾値以下であるときには、前記乗車予約情報に応じて前記警告の出力の見合わせ有無を判定する予約状況確認処理を実行し、
前記乗車予約情報として、乗車希望者が乗車予定の停留所である乗車予定停留所と、着座予定の指定席とが設定され、前記記憶部には、前記乗車予約情報が記憶され、
前記警告可否判定部は、前記予約状況確認処理として、次停車予定の停留所を前記乗車予定停留所とする停留所条件と、前記指定席が前記荷物占有座席及び前記重複着座席の少なくとも一方に該当する指定席条件との、両条件を満たす前記乗車予約情報が前記記憶部に記憶されていない場合には、前記警告の出力を見合わせる、
乗合車両。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書では、乗合車両、及び当該乗合車両の車室内を監視する車室内監視システムが開示される。

【背景技術】

【0002】

車室内監視システムとして、例えば特許文献１では、電車内の迷惑行為者を推定するシステムが開示される。このシステムでは、車内にカメラが設けられる。迷惑行為を受けた者（被害者）が通信端末によりシステムに通報すると、通報信号の発信位置周辺の画像がカメラにより撮影される。この撮像画像から、迷惑行為を受けた者の周囲に居合わせた人物に対して顔認識が実行され、システム内の顔データベースに格納される。

【0003】

また特許文献２では、大型荷物による座席の占有を発見した車内の通知者からの通知を車載ユニットが受けると、当該車載ユニットは、車室内のカメラにて座席の占有の有無を確認する。そして、カメラ画像から荷物による座席の占有が確認されると、車載ユニットは中止要求のメッセージを車内ディスプレイに表示させる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－２１５８７８号公報

【文献】特開２０２０－３９３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、空席に荷物を置く等の行為は、車内が十分に空いているときには許容され得る。このように、いわゆる車内マナーの許容度は、車内の混雑状況によって変化する。そこで本明細書では、車内の混雑状況に応じたマナー順守を要請することの可能な、車室内監視システム及び乗合車両が開示される。

【課題を解決するための手段】

【0006】

本明細書で開示される車室内監視システムは、乗合車両と、乗合車両の運行を管理する運行管理装置を備える。乗合車両は、撮像器、画像認識部、及び座席状態推定部を備える。撮像器は、車室の天井に設けられる。画像認識部は、撮像器による車室内画像に含まれる人物及び荷物を認識し、さらに認識された人物については座位及び立位のどちらかであるかを推定する。座席状態推定部は、認識された荷物及び人物の位置に基づいて、荷物に占有された荷物占有座席の発生有無及び座位の人物により複数の座席に跨って着座された重複着座席の発生有無を推定する。運行管理装置は、混雑率算出部及び警告可否判定部を備える。混雑率算出部は、認識された人物及び荷物に基づいて、車室における混雑率を求める。警告可否判定部は、荷物占有座席及び重複着座席の少なくとも一方が発生有りと推定され、かつ、求められた混雑率が所定の混雑閾値を超過する場合に、警告の出力を乗合車両に指令する。

【0007】

上記構成によれば、荷物占有座席及び重複着座席の少なくとも一方が発生した場合には、車内の混雑状況を踏まえて、警告の出力有無が決定される。

【0008】

また上記構成において、画像認識部は、認識された人物及び荷物の占有面積を求めてもよい。また混雑率算出部は、認識された人物及び荷物の占有面積の総和と車室床面積に基づいて、混雑率を求めてもよい。

【0009】

上記構成によれば、例えば人数や荷物の個数に基づいて混雑率を求める場合と比較して、人物の体格差や荷物の大小が反映された精度の高い混雑率の算出が可能となる。

【0010】

また上記構成において、警告可否判定部は、混雑率が混雑閾値以下であるときには、予約状況確認処理を実行してもよい。この予約状況確認処理では、乗合車両への乗車予約情報に応じて警告の出力の見合わせ有無が判定される。

【0011】

上記構成によれば、車内が空いているときには、乗車予約状況を踏まえて、警告の出力可否が決定される。

【0012】

また上記構成において、乗合車両は、規定経路を走行し規定経路に沿って設けられた停留所にて停車可能であってよい。この場合、乗車予約情報として、乗車希望者が乗車予定の停留所である乗車予定停留所と、着座予定の指定席とが設定される。運行管理装置は、乗車予約情報を記憶する記憶部を備える。警告可否判定部は、予約状況確認処理として、乗合車両の次停車予定の停留所を乗車予定停留所とする停留所条件と、着座予定の指定席が荷物占有座席及び重複着座席の少なくとも一方に該当する指定席条件との、両条件を満たす乗車予約情報が記憶部に記憶されていない場合には、乗合車両による警告の出力を見合わせる。

【0013】

上記構成によれば、荷物占有座席及び重複着座席の少なくとも一方が発生した場合であっても、車内が空いており、かつ、荷物占有座席及び重複着座席が、次停車予定の停留所で乗車する乗客の指定席には該当しない場合には、警告の出力が見合わせられる。

【0014】

また、本明細書で開示される乗合車両は、撮像器、画像認識部、座席状態推定部、混雑率算出部、及び警告可否判定部を備える。撮像器は、車室の天井に設けられる。画像認識部は、撮像器による車室内画像に含まれる人物及び荷物を認識し、さらに認識された人物については座位及び立位のどちらかであるかを推定する。座席状態推定部は、認識された荷物及び人物の位置に基づいて、荷物に占有された荷物占有座席の発生有無及び座位の人物により複数の座席に跨って着座された重複着座席の発生有無を推定する。混雑率算出部は、認識された人物及び荷物に基づいて、車室における混雑率を求める。警告可否判定部は、荷物占有座席及び重複着座席の少なくとも一方が発生有りと推定され、かつ、求められた混雑率が所定の混雑閾値を超過する場合に、警告器に警告を出力させる。

【発明の効果】

【0015】

本明細書で開示される車室内監視システム及び乗合車両によれば、車内の混雑状況に応じたマナー順守を要請することが可能となる。

【図面の簡単な説明】

【0016】

【図1】本実施形態に係る乗合車両により提供される交通サービスを例示する図である。

【図2】本実施形態に係る車室内監視システムのハードウェア構成を例示する図である。

【図3】本実施形態に係る車室内監視システムの機能ブロックを例示する図である。

【図4】運行スケジュールテーブルを例示する図である。

【図5】本実施形態に係る乗合車両の外観を例示する図である。

【図6】本実施形態に係る乗合車両の車室内を例示する図である。

【図7】車室内画像を例示する図である。

【図8】車室内画像に対してＳＳＤアルゴリズムに基づく画像認識を実行したときの例を示す図である。

【図9】荷物占有座席の推定処理を説明する図である。

【図10】重複着座席の推定処理を説明する図である。

【図11】警告可否判定フローを例示する図である。

【図12】規定経路を運行中の乗合車両における運行スケジュールを例示する図である。

【図13】本実施形態の別例に係る車室内監視システムの機能ブロックを例示する図である。

【発明を実施するための形態】

【0017】

以下に、本発明の実施形態が図面を用いて説明される。以下で説明する形状、材料、個数、及び数値は、説明のための例示であって、車室内監視システムの仕様に応じて適宜変更することができる。また以下ではすべての図面において同等の要素には同一の符号が付される。

【0018】

＜交通サービス＞
図１には、本実施形態に係る乗合車両１０及び運行管理装置５０により提供される交通サービスの概要が例示される。この交通サービスでは、運行経路である規定経路９０を乗合車両１０が走行し、不特定多数の利用者が輸送される。運行管理装置５０は、複数の乗合車両１０－１～１０－８の運行を管理する。また、運行管理の一環として、乗合車両１０及び運行管理装置５０により、本実施形態に係る車室内監視システムが構成される。

【0019】

図１に例示される交通サービスでは、規定経路９０は例えば循環経路である。乗合車両１０は、規定経路９０上を図示矢印のように一方通行にて循環運行する。さらに乗合車両１０は、規定経路９０に沿って設けられた停留所ＳＴ１～ＳＴ３にて停車可能となっている。

【0020】

また、規定経路９０と接続するようにして車庫９２が設けられる。図１では車庫９２に待機される乗合車両１０―５～１０－８が例示される。車庫９２との接続ポイントとして、規定経路９０には回収ポイントＰｏｕｔ及び投入ポイントＰｉｎが設けられる。

【0021】

また規定経路９０には、運行中の乗合車両１０－１～１０－４に各自の運行スケジュールを送る運行スケジュール更新ポイントＰｕが設けられる。スケジュール更新ポイントＰｕでは、運行管理装置５０から、当該ポイントを通過する乗合車両１０に対して、当該乗合車両１０の、運行スケジュール更新ポイントＰｕを起点とした一周分の運行スケジュールが提供される。

【0022】

後述されるように、本実施形態に係る車室内監視システムでは、運行中の乗合車両１０の車室内において、マナー違反が疑われる事象が検出される。具体的には、荷物が占有される座席である荷物占有座席の有無と、一人の乗客が複数の座席に跨って着座することで生じる重複着座席の有無が、乗合車両１０によって判定される。

【0023】

荷物占有座席及び重複着座席の少なくとも一方が発生有りと判定されると、運行管理装置５０は、荷物占有座席及び重複着座席の発生した乗合車両１０の混雑率と、乗車予約状況とに基づいて、荷物占有座席及び重複着座席の解消を促す警告の出力可否を決定する。

【0024】

具体的には、車室内が空いており、かつ、乗合車両１０の次停留所を乗車地とする乗客が着座予定の指定席が、荷物占有座席及び重複着座席のどちらにも該当しない場合には、警告の出力を見合わせる。つまり、荷物占有座席及び重複着座席が、実質的に他の乗客に迷惑を掛けない態様で発生している場合には警告の出力が控えられる。このように、本実施形態に係る車室内監視システムによれば、混雑率や予約状況等の乗車状況に応じて、柔軟に乗車マナーの順守を呼びかけることが出来る。

【0025】

＜車室内監視システムの全体構成＞
図２には、本実施形態に係る車室内監視システムのハードウェア構成が例示される。また図３には、車室内監視システムの機能ブロックが例示される。上述のように、車室内監視システムは、乗合車両１０及び運行管理装置５０を含んで構成される。乗合車両１０及び運行管理装置５０は、インターネット９５等の通信手段を用いて互いに通信可能となっている。

【0026】

＜運行管理装置＞
図１を参照して、運行管理装置５０は、例えば複数の乗合車両１０を使った交通サービスを提供する管理会社に設置される。運行管理装置５０は、例えばコンピュータ（電子計算機）から構成される。図２を参照して、運行管理装置５０は、そのハードウェア構成として、データの入出力を制御する入出力コントローラ５１を備える。また運行管理装置５０は、ＣＰＵ５２、入力部５３、表示部５４、ＲＯＭ５５、ＲＡＭ５６、及びハードディスクドライブ５７（ＨＤＤ）、時計５９を備える。なお、ハードディスクドライブ５７の代わりに、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置が用いられてもよい。これらの構成部品は内部バス５８に接続される。

【0027】

記憶装置であるＲＯＭ５５及びハードディスクドライブ５７の少なくとも一方には、運行管理を行うためのプログラムが記憶される。上記プログラムが運行管理装置５０のＣＰＵ５２等により実行されることで、運行管理装置５０には、図３に例示されるような機能ブロックが形成される。また当該プログラムが記憶されたＤＶＤ等の非一過性の記憶媒体をＣＰＵ５２が読み取って実行することによっても、運行管理装置５０には、図３に例示されるような機能ブロックが形成される。

【0028】

すなわち運行管理装置５０は、記憶部として、運行スケジュール記憶部６６及びダイナミックマップ記憶部６７を備える。また運行管理装置５０は、機能部として、運行スケジュール作成部６１、運行ルート作成部６２、乗降車予約設定部６３、混雑率算出部６４、及び警告可否判定部６５を備える。

【0029】

ダイナミックマップ記憶部６７には、地図データであるダイナミックマップデータが記憶される。ダイナミックマップは、３次元地図であって、例えば車道の位置及び形状（３次元形状）が記憶される。車道の３次元形状とは、例えば勾配や幅員等が含まれる。また車道に引かれた車線、横断歩道、停止線等の位置もダイナミックマップに記憶される。加えて、道路周辺の停留所、建物、信号機等の構造物の位置及び形状（３次元形状）もダイナミックマップに記憶される。さらに、駐車場の位置及び形状もダイナミックマップに記憶される。

【0030】

例えばダイナミックマップでは、緯度及び経度を含む地理座標系が用いられる。乗合車両１０が自動運転走行する際には、運行ルート作成部６２がダイナミックマップ記憶部６７からダイナミックマップデータを抽出して、走行路線及び停留所位置を含む運行地図データを作成する。

【0031】

運行スケジュール作成部６１は、乗合車両１０の運行スケジュール（言い換えると運行ダイヤ）を作成する。例えば運行ルート作成部６２から運行地図データを受信すると、運行スケジュール作成部６１は、走行路線、乗合車両１０の定格速度、及び停留所ＳＴ１～ＳＴ３での標準停車時間等に基づいて、各停留所ＳＴ１～ＳＴ３の到着予定時刻及び出発予定時刻を含む運行スケジュールを作成する。

【0032】

図４には、乗合車両１０に提供される、運行スケジュールテーブルが例示される。運行スケジュールテーブルには、各停留所ＳＴ１～ＳＴ３の到着予定時刻及び出発予定時刻の他に、運行スケジュール更新ポイントＰｕ（図１参照）の通過時刻、回収ポイントＰｏｕｔの通過予定時刻、投入ポイントＰｉｎの通過予定時刻も設定される。

【0033】

さらに運行スケジュールテーブルには、実際の各ポイントの通過・到着・出発時刻が記録される欄及び混雑率が入力される欄が設けられる。加えて運行スケジュールテーブルには、乗車予約及び降車予約の有無及び指定席番号が記録される欄が設けられる。

【0034】

上述のように、この運行スケジュールとして、運行スケジュール更新ポイントＰｕを起点とした、規定経路９０の一周分のスケジュールが作成される。作成された運行スケジュールは、乗合車両１０が運行スケジュール更新ポイントＰｕを通過したときに、当該乗合車両１０に提供される。提供された運行スケジュールは、乗合車両１０内の運行スケジュール記憶部３５に記憶される。

【0035】

図３を参照して、乗降車予約設定部６３は、乗車希望者の携帯端末（例えばスマートフォン）から入力された乗車予約情報を受け付け、運行スケジュール記憶部６６に記憶させる。乗車予約情報には、乗車希望者が乗車予定の停留所である乗車予定停留所、降車予定の停留所である降車予定停留所、及び着座予定の指定席番号が含まれる。

【0036】

例えば図４を参照して、この運行スケジュールには、停留所ＳＴ２にて乗車し、指定席４２Ｂに着座予定の乗車予約情報が設定されている。またこの運行スケジュールには、停留所ＳＴ３にて乗車し、指定席４２Ｄ，４２Ｅに着座予定の乗車予約情報と、指定席４２Ｂに着座する乗客が停留所ＳＴ３で降車する降車予約情報が設定されている。このように、乗降車予約設定部６３により設定された乗車予約情報は、運行スケジュール作成部６１を介して運行スケジュール記憶部６６に記憶される。

【0037】

混雑率算出部６４は、乗合車両１０の車室内画像認識部３６により認識された人物及び荷物に基づいて、車室４０（図６参照）の混雑率を求める。

【0038】

例えば混雑率算出部６４は、車室内画像認識部３６により認識された人物の数及び荷物の個数に基づいて、車室４０の混雑率を求める。例えば混雑率算出部６４は、２個の荷物を人物１人分と置き換えた上で車室４０内の総人数をカウントして、当該総人数と車室４０の定員とから、混雑率を求める。

【0039】

また別の混雑率算出方法として、混雑率算出部６４は、車室内画像認識部３６により認識された乗客（人物）及び荷物の、後述される図８の矩形枠であるバウンディングボックスの面積Ｓｂの総和ΣＳｂを求める。この総和ΣＳｂは、車室４０内の全乗客及び全荷物の占有面積の総和として扱われる。

【0040】

さらに混雑率算出部６４は、面積総和ΣＳｂと車室４０の床面積Ｓａに基づいて、車室４０における混雑率を求める。具体的に混雑率算出部６４は、車室床面積Ｓａに対する乗客及び荷物の占有総面積ΣＳｂの割合（ΣＳｂ／Ｓａ）×１００［％］を混雑率Ａとして求める。求められた混雑率Ａは警告可否判定部６５に送られる。

【0041】

警告可否判定部６５は、混雑率Ａと、乗車予約状況とに基づいて、荷物占有座席及び重複着座席の解消を促す警告の出力可否を決定する。この決定プロセスの詳細は後述される。すなわち、荷物占有座席及び重複着座席の少なくとも一方が発生有りと推定され、かつ、求められた混雑率Ａが所定の混雑閾値を超過する場合に、警告可否判定部６５は、警告器である車内スピーカ４５（図６参照）及び車内表示器４７Ｂに警告を出力させる。

【0042】

＜乗合車両＞
図５には、乗合車両１０の外観が例示され、図６には、乗合車両１０の車室４０内の様子が例示される。なお、図５、図６において、車体前後方向が記号ＦＲで表される軸で示され、車幅方向が記号ＲＷ（Ｒｉｇｈｔ Ｗｉｄｔｈ）で表される軸で示される。また、車高方向が記号ＵＰで表される軸で示される。

【0043】

図５を参照して、乗合車両１０は乗合バスとして利用され、左側面には乗降口となる一対のドア４１，４１が設けられる。また、車両前方には車外表示器４７Ａが設けられる。車外表示器４７Ａはいわゆるデジタルサイネージとも呼ばれ、液晶ディスプレイまたはＬＥＤディスプレイから構成される。

【0044】

図６を参照して、車室４０内には、その壁面に沿って、乗客用の座席が複数設けられる。例えば座席は、事前予約の可能な指定席４２Ａ～４２Ｆと、予約不可の自由席４９が設けられる。また立位客の支持のため、天井には複数の吊り手４４が設けられる。また車室４０の側壁には手摺４６が設けられる。

【0045】

ドア４１，４１の上方には車内表示器４７Ｂが設けられる。車内表示器４７Ｂは、車外表示器４７Ａと同様に、液晶ディスプレイまたはＬＥＤディスプレイから構成される。後述されるように、車内表示器４７Ｂは、荷物占有座席及び重複着座席の解消を促す警告メッセージを表示可能となっている。なおこの警告メッセージは、車室４０の天井に設けられた車内スピーカ４５から音声案内としても出力可能となっている。

【0046】

車室４０の天井の中央部には、撮像器である車内カメラ１８が設けられる。例えば車室４０の車幅方向中央かつ車両前後方向中央に、車内カメラ１８が設けられる。例えば車内カメラ１８は、ＣＭＯＳセンサやＣＣＤセンサ等のイメージセンサを備える。

【0047】

例えば車内カメラ１８は、いわゆる３６０°カメラであってよく、車室４０の乗客用空間全体を撮像可能となっている。例えば車内カメラ１８は、車室４０の床４３全体を視野に含む。

【0048】

車内カメラ１８により撮像される車室内画像は、例えば図７のような俯瞰視画像となる。このような車室内画像によれば、乗客１０１Ａ，１０１Ｂ及び荷物１０２Ａ，１０２Ｂの床４３上の占有面積を求めることが出来る。

【0049】

＜乗合車両の自動運転制御機構＞
図２、図３を参照して、乗合車両１０は、例えば自動運転機能を備える自動運転車両である。例えば交通サービスの提供に当たり、乗合車両１０が規定経路９０（図１参照）を走行する際には、米国の自動車技術会（ＳＡＥ）による基準に基づいて、乗合車両１０は、レベル４またはレベル５での自動運転が可能となっている。

【0050】

乗合車両１０は、規定経路９０を自動運転で走行しながら、停留所ＳＴ１～ＳＴ３にて停車して乗客が乗り降りする乗り合いバスとして利用される。例えば乗合車両１０は、回転電機１７（モータ）を駆動源とし、図示しないバッテリを電源とする電動車両である。また乗合車両１０は、走行制御機構として、ブレーキ機構１４Ａ、操舵機構１４Ｂ、及び回転電機１７の出力を制御するインバータ１４Ｃを備える。

【0051】

さらに、乗合車両１０は、自車位置の取得や周辺状況の把握のための機構として、車外カメラ１１Ａ、ライダーユニット１１Ｂ、近接センサ１２、測位部１３、時計１５、及び制御部２０を備える。例えば乗合車両１０には、その前面、後面、及び両側面に、センサユニットが設けられる。センサユニットは、車外カメラ１１Ａ及びライダーユニット１１Ｂを含んで構成される。

【0052】

ライダーユニット１１Ｂは、自動運転走行用のセンサユニットであり、自車周辺の物体と自車との距離を測定可能な測距部である。ライダーユニット１１Ｂでは、ライダー（ＬｉＤＡＲ、Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、すなわちレーザー光を用いて周辺物体との距離を測定する技術が用いられる。

【0053】

ライダーユニット１１Ｂは、例えばソリッドステート型のユニットであって、赤外線のレーザー光を車外に向かって照射するエミッタと、その反射光を受光するレシーバ、並びにレーザー光の照射角を制御するレンズ及びミラーが、半導体基板上に実装される。ライダーユニット１１Ｂにより、乗合車両１０の周辺環境についての３次元点群データを得ることが出来る。

【0054】

車外カメラ１１Ａは、ライダーユニット１１Ｂと同様の視野を撮像する。車外カメラ１１Ａは、例えばＣＭＯＳセンサやＣＣＤセンサ等のイメージセンサを備える。近接センサ１２は、例えば赤外線センサであって、例えば平面視で乗合車両１０の四隅に設けられる。例えば乗合車両１０が乗車地に到着する際に、近接センサ１２が歩道の縁石等の突出物を検出する。この検出により、乗合車両１０を縁石に近接させて停車させる正着制御が可能となる。測位部１３は人工衛星によって測位を行うシステムであって、例えば衛星測位システム（ｇｌｏｂａｌｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ）が用いられる。

【0055】

制御部２０は、例えば乗合車両１０の電子コントロールユニット（ＥＣＵ）であってよく、コンピュータ（電子計算機）から構成される。図２を参照して、制御部２０は、そのハードウェア構成として、データの入出力を制御する入出力コントローラ２１を備える。また制御部２０は、演算装置として、ＣＰＵ２２、ＧＰＵ２３（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及びＤＬＡ２４（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｃｃｅｌｅｒａｔｏｒｓ）を備える。また制御部２０は、記憶部として、ＲＯＭ２５、ＲＡＭ２６、及びハードディスクドライブ２７（ＨＤＤ）を備える。なお、ハードディスクドライブ２７の代わりに、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置が用いられてもよい。これらの構成部品は内部バス２８に接続される。

【0056】

記憶装置であるＲＯＭ２５及びハードディスクドライブ２７の少なくとも一方には、乗合車両１０の自動運転制御を行うためのプログラムが記憶される。上記プログラムが制御部２０のＣＰＵ２２等により実行されることで、制御部２０には、図３に例示されるような機能ブロックが形成される。または、また当該プログラムが記憶されたＤＶＤ等の非一過性の記憶媒体をＣＰＵ２２が読み取って実行することによっても、制御部２０には、図３に例示されるような機能ブロックが形成される。

【0057】

すなわち制御部２０は機能ブロックとして、スキャンデータ解析部３０、自己位置推定部３１、自律走行制御部３２、運行案内部３３、車室内画像認識部３６、及び座席状態推定部３７を備える。また制御部２０は記憶部として、ダイナミックマップ記憶部３４及び運行スケジュール記憶部３５を備える。

【0058】

スキャンデータ解析部３０は、車外カメラ１１Ａが撮像した撮像画像を取得する。スキャンデータ解析部３０は、取得した撮像画像に対して、既知のディープラーニング手法を利用した画像認識を行う。この画像認識により、撮像画像内の物体検出とその属性（車両、通行人、構造物等）認識が行われる。

【0059】

またスキャンデータ解析部３０は、ライダーユニット１１Ｂから３次元点群データを取得する。さらにスキャンデータ解析部３０は、画像認識済みの撮像画像と３次元点群データの座標を重ね合わせた周辺データを作成する。周辺データにより、どのような属性の物体が、乗合車両１０からどれだけ離隔しているかを検出することが出来る。この周辺データは、自律走行制御部３２に送られる。

【0060】

自己位置推定部３１は、測位部１３から自己位置情報（緯度、経度）を取得する。例えば自己位置推定部３１は人工衛星から自己位置情報を取得する。このようにして得られた自己位置情報（自車位置情報）は、自律走行制御部３２に送られる。

【0061】

ダイナミックマップ記憶部３４には、運行管理装置５０の運行ルート作成部６２が作成した運行経路地図データが記憶される。この運行経路地図データにはダイナミックマップデータが含まれる。また運行スケジュール記憶部３５には、運行管理装置５０の運行スケジュール作成部６１が作成した運行スケジュール（図４参照）が記憶される。

【0062】

自律走行制御部３２は、ダイナミックマップ記憶部３４に記憶された運行経路地図データ、自己位置推定部３１から送信された自己位置情報（自車位置情報）、及び、スキャンデータ解析部３０から送信された周辺データに基づいて、乗合車両１０の走行制御を行う。また停留所ＳＴ１～ＳＴ３に到着すると、乗合車両１０は運行スケジュールに設定された出発時刻まで停留所ＳＴ１～ＳＴ３に待機する。

【0063】

＜荷物占有座席及び重複着座席の推定＞
車室内画像認識部３６は、車内カメラ１８が撮像した車室内画像に含まれる、人物（乗客）及び荷物を認識し、さらに認識された人物については座位及び立位のどちらかであるかを推定する。例えば車室内画像認識部３６には、画像認識アルゴリズムとして、教師有り学習を用いたＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）が実装される。

【0064】

ＳＳＤアルゴリズムは既知の技術であるため、ここでは簡潔に説明される。ＳＳＤアルゴリズムでは、撮像画像内の位置推定及びクラス推定が行われる。つまり、画像内のどの位置に物体がいるのか、及びその物体の属性（クラス）は何か、という２種類の推定が同時並行で、つまり、ニューラルネットワークを用いた一回の演算で（Ｓｉｎｇｌｅ Ｓｈｏｔで）行われる。

【0065】

ＳＳＤアルゴリズムでは、人物及び荷物の検出に当たり、その人物及び荷物と外部との境界線を抽出する代わりに、図８に例示されるような矩形枠の「バウンディングボックス」により、人物及び荷物の境界が画定される。例えばＳＳＤアルゴリズムでは、位置推定に当たり、画像上に大きさや形の異なる複数の（例えば１万個弱の）デフォルトボックスと呼ばれる矩形枠が当て嵌められ、そのいずれの枠が物体を過不足なく含められるかが演算される。さらに各バウンディングボックスには、当該ボックスに捉えられた物体の属性（クラス）が表示される。

【0066】

車室内画像認識部３６は、物体の属性として、人物「ｈｕｍａｎ」及び荷物「ｂａｇｇａｇｅ」の値を付与する。さらに車室内画像認識部３６は、人物「ｈｕｍａｎ」の下位属性として、立位「ｓｔａｎｄｉｎｇ」及び着座「ｓｅａｔｅｄ」の値を付与する。つまり認識された人物については、座位および立位のどちらかであるかが推定される。

【0067】

例えば図８には、図７の車室内画像（俯瞰視画像）に対して、車室内画像認識部３６のＳＳＤアルゴリズムによる画像認識処理が行われた結果が示される。図８の例によれば、立位の人物１０１Ａに対して「ｈｕｍａｎ，ｓｔａｎｄｉｎｇ」の属性値が付与されたバウンディングボックス１１１Ａが設定される。また座位の人物１０１Ｂに対して、「ｈｕｍａｎ，ｓｅａｔｅｄ」の属性値が付与されたバウンディングボックス１１１Ｂが設定される。さらに荷物１０２Ａ，１０２Ｂに対してクラス「ｂａｇｇａｇｅ」の属性値が付与されたバウンディングボックス１１２Ａ，１１２Ｂが設定される。

【0068】

このような画像認識を可能とするため、例えばＳＳＤアルゴリズムを学習させる教師データは、立位の人物画像を入力データとし、クラス「人物，立位（ｈｕｍａｎ，ｓｔａｎｄｉｎｇ）」及び人物を囲むバウンディングボックスの位置パラメータを出力データとする一対の教師データセットを備える。またこの教師データは、座位の人物画像を入力データとし、クラス「人物，座位（ｈｕｍａｎ，ｓｅａｔｅｄ）」及び人物を囲むバウンディングボックスの位置パラメータを出力データとする一対の教師データセットを備える。さらに教師データは、荷物画像を入力データとし、クラス「荷物（Ｂａｇｇａｇｅ）」及び荷物を囲むバウンディングボックスの位置パラメータを出力データとする一対の教師データセットを備える。

【0069】

各バウンディングボックスには位置パラメータが与えられる。すなわち、撮像画像平面座標におけるボックスの中心座標Ｃ［Ｃｘ，Ｃｙ］、ボックス幅Ｗ、及びボックス高さＨがバウンディングボックスの位置パラメータとして与えられる。

【0070】

バウンディングボックスのボックス幅Ｗとボックス高さＨの積から、バウンディングボックスの面積Ｓｂを求めることが出来る。本明細書に係る車内監視システムでは、バウンディングボックスの面積Ｓｂが、人物または荷物の占有面積として利用される。つまり車室内画像認識部３６は、車内カメラ１８が撮像した車室内画像に含まれる、人物（乗客）及び荷物の画像領域を認識するとともに、認識された人物及び荷物の占有面積を求める。

【0071】

座席状態推定部３７は、荷物占有座席の有無及び重複着座席の発生有無を推定する。荷物占有座席とは、荷物に占有された座席を指す。重複着座席は、一人の座位の人物が複数の座席に跨って着座することで発生する。

【0072】

車内カメラ１８の画角及び倍率を固定値とすると、車内カメラ１８内の撮像画像における、座席の位置は固定される。例えば図９には、指定席４２Ａ～４２Ｆが含まれる撮像画像が示されているが、これらの指定席４２Ａ～４２Ｆのそれぞれの、撮像画像平面内の座席領域は固定された位置に定まる。

【0073】

座席状態推定部３７は、車室内画像認識部３６により認識された荷物１０２Ｂのバウンディングボックス１１２Ｂの位置パラメータ（ボックスの中心座標Ｃ［Ｃｘ，Ｃｙ］、ボックス幅Ｗ、及びボックス高さＨ）と、指定席４２Ａ～４２Ｆのそれぞれの画像平面内の座席領域の座標情報から、バウンディングボックス１１２Ｂとそれぞれの座席領域との重複面積を求める。

【0074】

例えば図９のように、座席状態推定部３７により、バウンディングボックス１１２Ｂと指定席４２Ｂの座席領域１４２Ｂとの重複面積Ｓoが求められる。さらにその重複面積Ｓoの、バウンディングボックス１１２Ｂの面積Ｓｂに対する割合である重複率Ｌ［％］が求められる。重複率Ｌが所定の重複閾値Ｌｔｈ以上である場合、例えば７０％以上である場合、座席状態推定部３７は、指定席４２Ｂは荷物１０２Ｂにより荷物占有座席になったと推定する。荷物占有座席と推定された指定席４２Ｂの情報（例えば指定席番号）は、運行管理装置５０の警告可否判定部６５に送信される。

【0075】

また、座席状態推定部３７は、重複着座席の有無を推定する。図１０を参照して、車室内画像認識部３６により認識された座位の人物１０１Ｂのバウンディングボックス１１１Ｂの位置パラメータ（ボックスの中心座標Ｃ［Ｃｘ，Ｃｙ］、ボックス幅Ｗ、及びボックス高さＨ）と、指定席４２Ａ～４２Ｆのそれぞれの画像平面内の座席領域の座標情報から、座席状態推定部３７は、バウンディングボックス１１１Ｂとそれぞれの座席領域との重複面積を求める。

【0076】

例えば図１０のように、バウンディングボックス１１１Ｂとその周辺の指定席４２Ｂ，４２Ｃの座席領域１４２Ｂ，１４２Ｃとの重複面積Ｓo＿Ｂ，Ｓo＿Ｃ，がそれぞれ求められる。さらにその重複面積Ｓo＿Ｂ，Ｓo＿Ｃの、バウンディングボックス１１２Ｂの面積Ｓｂに対する割合である重複率Ｌ＿Ｂ，Ｌ＿Ｃ［％］が求められる。

【0077】

そして、重複率Ｌ＿Ｂ，Ｌ＿Ｃのどちらも、所定の着座閾値Ｌｔｈｓ以上である場合、例えば３０％以上である場合、座席状態推定部３７は、指定席４２Ｂ，４２Ｃは重複着座席になったと推定する。重複着座席と推定された指定席４２Ｂ，４２Ｃの情報（例えば指定席番号）は、運行管理装置５０の警告可否判定部６５に送信される。

【0078】

＜警告可否判定フロー＞
図１１には、本実施形態に係る運行管理システムにおける、警告可否判定フローが例示される。なおこのフローでは、各ステップの実行主体が乗合車両１０（Ｖ）または運行管理装置５０（Ｓ）で示される。

【0079】

例えば、各停留所ＳＴ１～ＳＴ３から乗合車両１０が出発するタイミングで、図１１のフローが起動される。なお以下では、図１２に例示される運行スケジュールのように、乗合車両１０が停留所ＳＴ１を出発（７：２３）し、次停留予定の停留所ＳＴ２に向かう間に実行されるフローが説明される。

【0080】

まず、運行案内部３３（図３参照）は、図示しない記憶部における、荷物フラグ及び座席フラグの値を０に設定する（Ｓ１０）。後述されるように、これらのフラグの値に応じて、車内への警告メッセージの内容が設定される。

【0081】

次に、車室内画像認識部３６は、車内カメラ１８が撮像した車室内画像を取得し（Ｓ１２）、図８に例示されるような、車室画像内の人物（乗客）及び荷物の画像認識を行う（Ｓ１４）。さらに人物について車室内画像認識部３６は、立位及び座位のどちらかであるかを推定する。

【0082】

また、車室内画像認識部３６は、認識された荷物及び人物を囲むバウンディングボックスの位置パラメータ（ボックスの中心座標Ｃ［Ｃｘ，Ｃｙ］、ボックス幅Ｗ、及びボックス高さＨ）を、運行管理装置５０の混雑率算出部６４に送信する。

【0083】

次に座席状態推定部３７は、車室４０内の座席４２Ａ～４２Ｆ，４９を対象として、荷物占有座席の発生有無を、上述の重複閾値Ｌｔｈを用いて判定する（Ｓ１６）。荷物占有座席が発生したと推定された場合、運行案内部３３は荷物フラグの値を１に設定する（Ｓ１８）。また荷物占有座席の情報（座席番号等）が、運行管理装置５０の警告可否判定部６５に送信される。

【0084】

さらに座席状態推定部３７は、車室４０内の座席４２Ａ～４２Ｆ，４９を対象として、重複着座席の発生有無を、上述の着座閾値Ｌｔｈｓを用いて判定する（Ｓ１９）。重複着座席が発生したと推定された場合、運行案内部３３は座席フラグの値を１に設定する（Ｓ２２）。また重複着座席の情報（座席番号等）が、運行管理装置５０の警告可否判定部６５に送信される。

【0085】

ステップＳ１６に戻り、座席状態推定部３７により、荷物占有座席が発生していないと推定された場合には、ステップＳ１９と同様にして、重複着座席の発生有無が判定される（Ｓ２０）。座席状態推定部３７により、重複着座席が発生していないと推定された場合には、荷物占有座席も重複着座席も発生せず、車内マナーは良好に維持されているため、警告可否判定フローは終了する。一方、ステップＳ２０において重複着座席の発生有りと推定されると、上述のステップＳ２２に進み、座席フラグの値が１に設定される。

【0086】

運行管理装置５０の混雑率算出部６４には、車室内画像認識部３６から、認識された荷物及び人物を囲むバウンディングボックスの位置パラメータ（ボックスの中心座標Ｃ［Ｃｘ，Ｃｙ］、ボックス幅Ｗ、及びボックス高さＨ）が送信される。混雑率算出部６４は、人物及び荷物のバウンディングボックスの面積Ｓｂの総和ΣＳｂを求める（Ｓ２４）。

【0087】

混雑率算出部６４は、車室床面積Ｓａに対する面積総和ΣＳｂの割合である混雑率Ａ［％］を求める（Ｓ２６）。ここで図８を参照して、人物１０１Ａ，１０１Ｂのバウンディングボックス１１１Ａ，１１１Ｂと荷物１０２Ａ，１０２Ｂのバウンディングボックス１１２Ａ，１１２Ｂはその一部が重なり合う。したがって面積総和ΣＳｂは車室床面積Ｓａを超過して混雑率Ａは１００％を超過する値を取る場合がある。

【0088】

このような場合であっても、その原因がバウンディングボックスの一部重複にあることが明らかであることから、混雑率算出部６４は、混雑率Ａが１００％を超過してもそれをエラー値として扱わない。求められた混雑率Ａは、警告可否判定部６５に送信される。また、運行スケジュール記憶部６６に記憶された運行スケジュールにも、混雑率Ａが記録される。

【0089】

警告可否判定部６５は、混雑率Ａが所定の混雑閾値Ｋ１［％］を超過するか否かを判定する（Ｓ２８）。混雑閾値Ｋ１は、車室４０が混雑状態であるか否かを判定するための閾値であって、例えばＫ１＝７０［％］である。

【0090】

混雑率Ａ＞混雑閾値Ｋ１である場合、警告可否判定部６５は、乗合車両１０の運行案内部３３に対して、警告通知を送信する（Ｓ３０）。言い換えると警告可否判定部６５は、乗合車両１０に対して、警告を出力する旨を通知する。

【0091】

これを受けて運行案内部３３は、荷物フラグ及び座席フラグを参照する。そして、設定値が１であるフラグに応じた警告アナウンスを出力する（Ｓ３４）。例えば荷物フラグの設定値が１であるときには、運行案内部３３は、荷物を座席から膝上等に移動させる旨のメッセージを、警告器として機能する車内表示器４７Ｂ（図６参照）及び車内スピーカ４５から出力させる。また座席フラグの設定値が１であるときには、運行案内部３３は、座席を詰めて使用する旨のメッセージを、車内表示器４７Ｂ（図６参照）及び車内スピーカ４５から出力させる。

【0092】

ステップＳ２８に戻り、混雑率Ａ≦混雑閾値Ｋ１である場合、つまり車内が空いている平常状態である場合、警告可否判定部６５は、乗車予約情報に応じて警告の出力見合わせ有無を判定する、予約状況確認処理を実行する（Ｓ３２）。

【0093】

警告可否判定部６５は、運行スケジュール記憶部６６内に記憶された運行スケジュールを参照して、次停留所ＳＴ２を乗車予定停留所とする乗車予約が設定されているか否かを確認する（停留所条件）。さらにそのような乗車予約が設定されている場合、警告可否判定部６５は、当該乗車予約における着座予定の指定席が、荷物占有座席及び重複着座席の一方であるか否かを確認する（指定席条件）。

【0094】

次停留所ＳＴ２を乗車予定停留所とする乗車予約が設定されてない場合（停留所条件＝無効）には、荷物占有座席及び重複着座席を指定席とする乗車希望者は、次停車予定の停留所ＳＴ２にはいないことが明らかであり、また上述のように車内は空いていることから、警告可否判定部６５は、警告の出力を見合わせる。つまり、荷物占有座席及び重複着座席が許容される。

【0095】

また、次停留所ＳＴ２を乗車予定停留所とする乗車予約が設定されている場合であっても、荷物占有座席及び重複着座席を指定席とする乗車予定が設定されていない場合（指定席条件＝無効）には、警告可否判定部６５は、警告の出力を見合わせる。

【0096】

一方、停留所条件及び指定席条件の両条件を満たす場合、つまり、次停留所ＳＴ２を乗車予定停留所とする乗車予約が設定されている場合であって、かつ、荷物占有座席及び重複着座席を着座予定の指定席とする乗車予定が設定されている場合には、警告可否判定部６５は、警告の出力を運行案内部３３に対して通知する（Ｓ３０）。

【0097】

このように、本実施形態に係る警告可否判定フローでは、混雑時にはマナー違反とされる行為に対しても、混雑率や予約状況等の乗車状況に応じて、警告の発報を控えるなど、柔軟に乗車マナーの順守を呼びかけることが出来る。

【0098】

＜車室内監視システムの別例＞
図１３には、図３に例示された車室内監視システムの別例が示される。図１３では、図３では運行管理装置５０に設けられていた混雑率算出部６４及び警告可否判定部６５が、乗合車両１０の制御部２０内に設けられる。その他の構成は図３と同様である。

【0099】

図１３のような機能ブロックは、図３と同様に、乗合車両１０の自動運転制御を行うためのプログラムをＣＰＵ２２（図２参照）が実行することで、形成される。このプログラムは、記憶装置であるＲＯＭ２５及びハードディスクドライブ２７の少なくとも一方に記憶されるか、ＤＶＤ等の非一過性の記憶媒体に記憶される。

【0100】

このような構成において、図１１における警告可否判定フローは、乗合車両１０が単独で実行する。つまり、図１１における各ステップの実行主体が全て乗合車両１０を示す（Ｖ）に置き換えられる。

【符号の説明】

【0101】

１０ 乗合車両、１８ 車内カメラ（撮像器）、２０ 制御部、３３ 運行案内部、３５ 運行スケジュール記憶部、３６ 車室内画像認識部、３７ 座席状態推定部、４０ 車室、４２Ａ～４２Ｆ 座席（指定席）、４３ 車室の床、４５ 車内スピーカ（警告器）、４７Ｂ 車内表示器（警告器）、５０ 運行管理装置、６１ 運行スケジュール作成部、６２ 運行ルート作成部、６３ 乗降車予約設定部、６４ 混雑率算出部、６５ 警告可否判定部、６６ 運行スケジュール記憶部、６７ ダイナミックマップ記憶部、９０ 規定経路、１０１Ａ，１０１Ｂ 人物（乗客）、１０２Ａ，１０２Ｂ 荷物、１１１Ａ，１１１Ｂ，１１２Ａ，１１２Ｂ バウンディングボックス、１４２Ｂ，１４２Ｃ 座席領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】