特許 7544020 ドア開閉判定装置及びドア開閉判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-26

(45)【発行日】2024-09-03

(54)【発明の名称】ドア開閉判定装置及びドア開閉判定方法

(51)【国際特許分類】

   G08B 21/02 20060101AFI20240827BHJP

   G01B 11/00 20060101ALI20240827BHJP

   G08B 25/00 20060101ALI20240827BHJP

   G08B 21/00 20060101ALI20240827BHJP

【ＦＩ】

G08B21/02

G01B11/00 H

G08B25/00 510M

G08B21/00 R

【請求項の数】 6

(21)【出願番号】P 2021201457

(22)【出願日】2021-12-13

(65)【公開番号】P2023087207

(43)【公開日】2023-06-23

【審査請求日】2023-07-11

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】大矢 健太郎

(72)【発明者】

【氏名】伊津野 貴裕

【審査官】松永 謙一

(56)【参考文献】

【文献】特開平０７－１３７５３７（ＪＰ，Ａ）

【文献】特開平０５－３４０１６０（ＪＰ，Ａ）

【文献】特開２０１８－０１１９４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｂ ２１／００

Ｇ０８Ｂ ２１／０２

Ｇ０８Ｂ ２５／００

Ｇ０１Ｂ １１／００

(57)【特許請求の範囲】

【請求項1】

車両のドア及び車室内の前記ドアの周辺が撮像範囲に含まれる撮像器と、
前記撮像器による撮像画像を解析する解析器と、
を備える、ドア開閉判定装置であって、
前記解析器は、
前記撮像画像に含まれる乗員の重心位置を算出する重心算出部と、
前記重心位置が前記ドアの周辺に定められた立入禁止領域に含まれるか否かを判定する判定部と、
を備え、
さらに前記重心位置が前記立入禁止領域に含まれると前記判定部に判定されると、前記車室内に警告を発報する警告器を備え、
前記解析器は、前記撮像画像に含まれる乗員の各部位の相対位置を推定する姿勢推定を行う姿勢推定部を備え、
前記重心算出部は、前記撮像画像における画像平面上の原点から前記各部位までの距離に、前記部位ごとの重量比率を掛けた値の総和に基づいて、前記画像平面における前記重心位置を求め、
前記姿勢推定部は、前記撮像画像に含まれる乗員の身長情報を取得可能であって、
前記重心算出部は、身長が低いほど乗員の頭部の前記重量比率を増加させる、
ドア開閉判定装置。

【請求項2】

請求項１に記載の、ドア開閉判定装置であって、
前記原点は前記車室の床面上に視認可能に設けられ、
前記撮像器の視野及び倍率は固定される、
ドア開閉判定装置。

【請求項3】

請求項１または２に記載の、ドア開閉判定装置であって、
前記撮像器は、前記ドアが設けられた乗降口の上方に設けられる、
ドア開閉判定装置。

【請求項4】

車両のドア及び車室内の前記ドアの周辺を撮像器にて撮像する撮像ステップと、
前記撮像器による撮像画像を解析する解析ステップと、
を含む、ドア開閉判定方法であって、
前記解析ステップは、
前記撮像画像に含まれる乗員の重心位置を算出する重心算出ステップと、
前記重心位置が前記ドアの周辺に定められた立入禁止領域に含まれるか否かを判定する判定ステップと、
を含み、
さらに前記判定ステップにおいて前記重心位置が前記立入禁止領域に含まれると判定されると前記車室内に警告を発報する、警告ステップを含み、
前記解析ステップには、前記撮像画像に含まれる乗員の各部位の相対位置を推定する姿勢推定を行う姿勢推定ステップが含まれ、
前記重心算出ステップでは、前記撮像画像における画像平面上の原点から前記各部位までの距離に、前記部位ごとの重量比率を掛けた値の総和に基づいて、前記画像平面における前記重心位置が求められ、
前記姿勢推定ステップでは、前記撮像画像に含まれる乗員の身長情報を取得可能であって、
前記重心算出ステップでは、身長が低いほど乗員の頭部の前記重量比率が増加される、
ドア開閉判定方法。

【請求項5】

請求項４に記載の、ドア開閉判定方法であって、
前記原点は前記車室の床面上に視認可能に設けられ、
前記撮像器の視野及び倍率は固定される、
ドア開閉判定方法。

【請求項6】

請求項４または５に記載の、ドア開閉判定方法であって、
前記撮像器は、前記ドアが設けられた乗降口の上方に設けられる、
ドア開閉判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書では、車両ドアの開閉可否を判定する装置及び方法が開示される。

【背景技術】

【0002】

車両の円滑な運行を図るために、車両には種々のセンサや機器が設けられる。例えば特許文献１では、バス等の乗り合い車両において、車室内のドア領域を撮像するカメラが設けられる。このカメラによる撮像画像により、ドア領域における物体の存否が判定される。ドア領域に物体があると判定されると、移動を促す警告（メッセージ等）が車内に発報される。ドア領域に物体が無いと判定されると、ドア開閉が可能となる。

【0003】

また特許文献２では、車室内の乗員を撮像してその着座姿勢を画像認識し、認識結果に基づいてエアバッグの展開制御が行われる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２１－１８５７８号公報

【文献】特開２００７－１９８９２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、ドア近傍に物体が有る場合にドア開閉を禁止するのは、ドア開放時であれば閉動作時の挟まれを防止するためであり、ドア閉止時であれば開動作時の戸袋への引き込まれ及び車外への飛び出しを防止するためである。ここで、ドア近傍の立入禁止領域に乗員がいた場合であっても、その姿勢や態様によっては上記のような挟まれ、引き込まれ、及び車外への飛び出しのおそれのない場合がある。その一方で、ドア近傍の立入禁止領域に乗員がいない場合であっても、その姿勢や態様によっては上記のような挟まれ、引き込まれ、及び車外への飛び出しのおそれがある場合がある。

【0006】

そこで本明細書では、ドア開閉に関する警告の発報を、従来よりも適正に行うことの可能な、ドア開閉判定装置及び方法が開示される。

【課題を解決するための手段】

【0007】

本明細書で開示されるドア開閉判定装置は、撮像器及び解析器を備える。撮像器は、車両のドア及び車室内のドアの周辺が撮像範囲に含まれる。解析器は、撮像器による撮像画像を解析する。また解析器は、重心算出部及び判定部を備える。重心算出部は、撮像画像に含まれる乗員の重心位置を算出する。判定部は、重心位置がドアの周辺に定められた立入禁止領域に含まれるか否かを判定する。さらにドア開閉判定装置は警告器を備える。警告器は、重心位置が立入禁止領域に含まれると判定部に判定されると、車室内に警告を発報する。

【0008】

上記構成によれば、乗員の重心位置に基づいて、警告の発報有無が判定される。したがって例えば乗員の体の一部が立入禁止領域に含まれていても、その重心位置が立入禁止領域から外れていれば、警告の発報が免れる。その一方で、乗員が立入禁止領域から外れたところに居たとしても、その重心位置が立入禁止領域に含まれている場合、例えば乗降口側に傾いた不安定な姿勢を取る場合に、警告が発報される。

【0009】

また上記構成において、解析器は姿勢推定部を備えてもよい。姿勢推定部は、撮像画像に含まれる乗員の各部位の相対位置を推定する姿勢推定を行う。この場合において重心算出部は、撮像画像における画像平面上の原点から各部位までの距離に、部位ごとの重量比率を掛けた値の総和に基づいて、画像平面における重心位置を求める。

【0010】

上記構成によれば、乗員の重心位置を精度よく求めることが出来る。

【0011】

また上記構成において、原点は車室の床面上に視認可能に設けられてよい。さらに撮像器の視野及び倍率は固定されてよい。

【0012】

上記構成によれば、撮像器の視野及び倍率が固定されていることから、一度原点の位置を認識できれば、それ以降は例えば撮像画像において原点が乗員や荷物等で隠された場合であっても、原点位置を把握可能となる。

【0013】

また上記構成において撮像器は、ドアが設けられた乗降口の上方に設けられてよい。

【0014】

撮像器から見てドアと乗員が同じ側に配置されていると、撮像画像上では両者が重なり、撮像画像に基づいた乗員の重心が立入禁止領域に含まれ易くなる。撮像器が乗降口上方、つまりドアの直上に設けられることで、撮像器から見てドアと乗員が同じ側に配置されることが避けられる。

【0015】

また上記構成において、姿勢推定部は、撮像画像に含まれる乗員の身長情報を取得可能であってよい。この場合重心算出部は、身長が低いほど乗員の頭部の重量比率を増加させる。

【0016】

乗員の身長が低い程、身体に対する頭部の比率が高くなり、その分、重心は高い位置に置かれる。身長が低いほど乗員の頭部の重量比率を増加させる身長補正を行うことで、より正確に乗員の重心を算出可能となる。

【0017】

また、本明細書で開示されるドア開閉判定方法は、撮像ステップ及び解析ステップを含む。撮像ステップでは、車両のドア及び車室内のドアの周辺が撮像器にて撮像される。解析ステップでは、撮像器による撮像画像が解析される。また解析ステップは、重心算出ステップ及び判定ステップを含む。重心算出ステップでは、撮像画像に含まれる乗員の重心位置が算出される。判定ステップでは、重心位置がドアの周辺に定められた立入禁止領域に含まれるか否かが判定される。さらにドア開閉判定方法は警告ステップを含む。警告ステップでは、判定ステップにおいて重心位置が立入禁止領域に含まれると判定されると車室内に警告が発報される。

【0018】

また上記構成において、解析ステップには、撮像画像に含まれる乗員の各部位の相対位置を推定する姿勢推定を行う姿勢推定ステップが含まれてよい。この場合、重心算出ステップでは、撮像画像における画像平面上の原点から各部位までの距離に、部位ごとの重量比率を掛けた値の総和に基づいて、画像平面における重心位置が求められる。

【0019】

また上記構成において、原点は車室の床面上に視認可能に設けられてよい。また撮像器の視野及び倍率は固定されてよい。

【0020】

また上記構成において、撮像器は、ドアが設けられた乗降口の上方に設けられてよい。

【0021】

また上記構成において、姿勢推定ステップでは、撮像画像に含まれる乗員の身長情報が取得可能であってよい。この場合、重心算出ステップでは、身長が低いほど乗員の頭部の重量比率が増加される。

【発明の効果】

【0022】

本明細書で開示されるドア開閉判定装置及び方法によれば、ドア開閉に関する警告の発報を、従来よりも適正に行うことが可能となる。

【図面の簡単な説明】

【0023】

【図1】本実施形態に係るドア開閉判定装置を備える車両を例示する斜視図である。

【図2】車両のドアが開放されたときの様子を例示する斜視図である。

【図3】車室内を例示する図である。

【図4】乗降口カメラによる撮像画面（乗員無し）を例示する図である。

【図5】乗降口カメラによる撮像画面（乗員有り）を例示する図である。

【図6】天井中央カメラによる撮像画面（乗員有り）を例示する図である。

【図7】本実施形態に係るドア開閉判定装置のハードウェア構成を例示する図である。

【図8】本実施形態に係るドア開閉判定装置の機能ブロックを例示する図である。

【図9】姿勢推定プロセスを例示する図である。

【図10】重心算出プロセスを例示する図である。

【図11】本実施形態に係るドア開閉判定フローを例示するフローチャートである。

【発明を実施するための形態】

【0024】

＜車両構成＞
図１には、本実施形態に係るドア開閉判定装置を備える車両１０が開示される。なお後述されるように、本実施形態に係るドア開閉判定装置は、図７に例示されるように、乗降口カメラ２４（撮像器）、スピーカ２５（警告器）、車内監視ＥＣＵ４０（解析器）、及びドア開閉モータ４９を含んで構成される。

【0025】

なお、図１－図３において、車両前後方向が記号ＦＲで表される軸で示され、車両幅方向が記号ＲＷで表される軸で示され、鉛直方向が記号ＵＰで表される軸で示される。前後方向軸ＦＲは車両前方を正方向とする。幅方向軸ＲＷは右方向を正方向とする。また高さ軸ＵＰは上方向を正方向とする。これら３軸は互いに直交する。

【0026】

図１に例示される車両１０は、例えば、定員が２０名程度のいわゆるミニバスであり、乗合車両として利用される。例えば車両１０は、定められた路線を走行し、当該路線沿いに設けられた停留所に停車する。

【0027】

車両１０は、例えば図示しない回転電機を駆動源とする電気自動車（ＢＥＶ、Battery electric Vehicle）であってよい。または、車両１０は、内燃機関を駆動源としてもよい。また、車両１０は手動運転及び自動運転が切替可能となっている。

【0028】

車両１０の側面、つまりＲＷ軸に垂直な面（ＵＰ－ＦＲ面）には、両開き式のドア１２，１２が設けられる。ドア１２，１２は例えば上吊り型のアウトスライドドアであって、ドア１２，１２の上方には、図示しないレール機構が設けられる。ドア１２，１２を上吊り型とすることで、ドア１２，１２の下方に設けられたスロープ板３２（図２参照）との干渉が避けられる。

【0029】

図２に例示されるように、開放時にドア１２，１２は車幅方向外側に張り出され、さらに車両前後方向に移動される。このようにしてドア１２，１２が閉止位置から開放位置に移動することで乗降口１６が開放される。

【0030】

図３には、車室１４内のレイアウトが例示される。車室１４は、運転席エリア（図示せず）と乗客エリアとに大別される。図３には乗客エリアが図示される。乗客エリアには、複数の座席２１が設けられる。座席２１は、ドア１２，１２から離隔された場所に設けられる。例えばドア１２，１２が設けられた側面とは対向する側面と、車室１４の後端に座席２１が設けられる。

【0031】

乗客エリアのうち、座席２１が設けられていない領域は立ち乗り領域になる。当該立ち乗り領域において、車室１４の側壁及び天井壁には手摺２２が設けられ、また車室１４の天井壁には吊り手２３が設けられる。例えば手摺２２は、ドア１２，１２の両脇に設けられた側柱２６Ｂ，２６Ｃと、側柱２６Ｂ，２６Ｃに車幅方向に対向する側柱２６Ａ，２６Ｄに固定され、さらに天井面に沿って延設される。

【0032】

車室床２０のドア１２，１２周辺には、立入禁止領域２８が定められる。立入禁止領域２８は例えば車室床面上に塗色された矩形状の領域である。立入禁止領域２８の車幅方向寸法は、例えばドア１２，１２から２０ｃｍ以上５０ｃｍ以下の範囲に定められる。また立入禁止領域２８の車両前後方向寸法は、例えば側柱２６Ｂの前端から側柱２６Ｃの後端までの範囲に定められる。

【0033】

立入禁止領域２８は、ドア１２，１２開閉時の乗員保護の観点から設けられる。例えば上述のように、ドア開放時であれば閉動作時の挟まれを防止し、ドア閉止時であれば開動作時の戸袋への引き込まれ及び車外への飛び出しを防止するために、立入禁止領域２８が車室１４内のドア１２，１２の手前に区画される。

【0034】

後述されるように、本実施形態に係るドア開閉判定装置では、乗員の重心位置が立入禁止領域２８に含まれるか否かによって、警告の発報可否が判定される。したがって乗員の体の一部が立入禁止領域２８に含まれていても、警告が発報されない場合（重心が立入禁止領域２８外にある場合）があり、また反対に乗員の体が立入禁止領域２８に全く含まれていなくても、警告が発報される場合（重心が立入禁止領域２８内にある場合）がある。このような観点から、立入禁止領域２８は、乗員に対して立入を禁止するおおまかな目安を示す役割を有する。

【0035】

また後述される図９のように、車室床２０に設けられた立入禁止領域２８には、乗員６０Ａの重心位置を求める際に利用される、撮像画像における画像平面上の原点Ｏが設けられる。原点Ｏは乗降口カメラ２４に視認可能に設けられる。例えば立入禁止領域２８の車両前方側の角部が原点Ｏに設定される。

【0036】

＜撮像器＞
図３を参照して、車室１４には撮像器である乗降口カメラ２４が設けられる。乗降口カメラ２４はドア１２，１２が設けられた乗降口１６の上方、言い換えると天井壁の車幅方向側端に設けられる。例えば乗降口カメラ２４は、例えばその光軸が車室床面に対して垂直となるように位置決めされ、また立入禁止領域２８と対向するように設置される。

【0037】

乗降口カメラ２４は例えばＣＭＯＳやＣＣＤ等の撮像デバイスを含み、車室１４内の静止画及び動画の少なくとも一方を撮像可能となっている。例えば乗降口カメラ２４はドーム型の３６０度カメラ（全方位カメラ）であってよい。

【0038】

さらに、乗降口カメラ２４は、奥行方向の測定が可能な赤外線計測機能を備えた、いわゆるＲＧＢ－Ｄカメラであってよい。後述されるように、乗降口カメラ２４の奥行情報を用いて、撮像画面上の乗員の身長が求められる。求められた身長情報は、重心位置を算出する際の重量比率の調整に用いられる。

【0039】

乗降口カメラ２４は、車両１０のドア１２，１２及び車室１４内のドア１２，１２周辺を撮像範囲に含む。図４には、乗降口カメラ２４による撮像画像が例示される。この撮像画像に示されるように、乗降口カメラ２４の視野には立入禁止領域２８の全体が含まれる。

【0040】

図３を参照して、乗降口カメラ２４は乗降口１６近傍に設置されており、乗降口カメラ２４の光軸とドア１２，１２との車幅方向間隔は例えば１５ｃｍ未満に近接される。このように、乗降口カメラ２４がドア１２，１２に寄せられた形で配置されるので、乗降口カメラ２４とドア１２，１２との間に乗員が立つ、言い換えると、乗降口カメラ２４から見て、同じ側に乗員とドア１２，１２が配置されるといったことが起こりにくくなる。乗降口カメラ２４の撮像画像は、例えば図５のように、乗員６０Ａの左足は立入禁止領域２８に踏み込んでいるが、乗降口カメラ２４の光軸を挟んで、ドア１２，１２とは反対側に乗員６０Ａが立つような撮像画像となる。

【0041】

これに対して例えば図６には、乗降口カメラ２４の代わりに、天井の車幅方向中央に撮像器を置いたときの撮像画像が例示される。この撮像画面では、撮像器から見て乗員６０Ｂとドア１２，１２とが同じ側に配置され、画面上では、乗員６０Ｂの体の大部分が立入禁止領域２８及びドア１２，１２と重複する。

【0042】

後述されるように、本実施形態に係る姿勢推定フローでは、乗員６０Ｂの車室空間上の位置推定（３次元空間位置推定）は行われずに、専ら撮像画像平面上の座標点を用いて乗員６０Ｂの重心位置が求められる。そのため、図６のように乗員６０Ｂの大部分が立入禁止領域２８と画像上で重複する場合、乗員６０Ｂは立入禁止領域２８から外れた位置に立っているにも関わらず、乗員６０Ｂの重心位置が立入禁止領域２８内に含まれると判定される可能性が高くなる。

【0043】

このように、本実施形態に係るドア開閉判定装置の撮像器を、乗降口１６に設置された乗降口カメラ２４とすることで、乗員の重心位置が立入禁止領域２８に含まれるか否かの判定を高い精度で行うことが出来る。

【0044】

また乗降口カメラ２４は、視野及び倍率が固定されてよい。例えば乗降口カメラ２４は、図４に例示されるような、乗員がいない状態で立入禁止領域２８及びその周辺を撮像したときの倍率及び視野が維持される。このように乗降口カメラ２４の視野及び倍率が固定されることで、原点Ｏ及び立入禁止領域２８の撮像画像平面上の位置が固定される。したがって例えば乗客や荷物によって、撮像画像中に原点Ｏが写っていなかったり、立入禁止領域２８の一部が隠れる場合であっても、これらの位置を把握可能となる。

【0045】

＜解析器＞
図７には、本実施形態に係るドア開閉判定装置のハードウェア構成が例示される。当該装置は、乗降口カメラ２４（撮像器）、スピーカ２５（警告器）、車内監視ＥＣＵ４０（解析器）、及びドア開閉モータ４９を備える。

【0046】

解析器である車内監視ＥＣＵ４０は、乗降口カメラ２４による撮像画像を解析する。車内監視ＥＣＵ４０は、例えば車室１４内の運転席エリアと乗客エリアの境界部分に設置される。車内監視ＥＣＵ４０は、例えばコンピュータから構成される。車内監視ＥＣＵ４０は、演算装置のＣＰＵ４１と、記憶手段としてのシステムメモリ４２及びストレージデバイス４３を備える。ストレージデバイス４３は例えばハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）等の非一過性の記憶装置であってよい。また車内監視ＥＣＵ４０は、乗降口カメラ２４、スピーカ２５、ドア開閉モータ４９等の外部機器との情報の入出力を管理する入出力コントローラ４４を備える。

【0047】

さらに車内監視ＥＣＵ４０は、乗降口カメラ２４が撮像した撮像画像を処理する手段として、ＧＰＵ４５（Graphics Processing Unit）及びフレームメモリ４６を備える。さらに、車内監視ＥＣＵ４０は、ＧＰＵ４５により処理済みの画像を表示する表示部を備えてもよい。

【0048】

ＧＰＵ４５は、画像処理用の演算装置であって、後述する乗客寄り掛かり判定や荷物寄り掛かり判定を行う際に主に稼働される。フレームメモリ４６は、乗降口カメラ２４により撮像されＧＰＵ４５により演算処理された画像を記憶する記憶装置である。

【0049】

図８には、車内監視ＥＣＵ４０の機能ブロックが例示される。この機能ブロック図は、例えば車内監視ＥＣＵ４０のストレージデバイス４３に記憶されるか、または、ＤＶＤ等の、コンピュータが読み取り可能な非一過性の記憶媒体に記憶されたプログラムを、ＣＰＵ４１が実行することで構成される。

【0050】

車内監視ＥＣＵ４０は、処理機能部として、キーポイント推定部５１（姿勢推定部）、重心算出部５２、判定部５３、ドア制御部５４、及びドアフラグ設定部５７を備える。さらに車内監視ＥＣＵ４０は、記憶部として、学習済みモデル記憶部５５及び重量比率記憶部５６を備える。学習済みモデル記憶部５５には、キーポイント推定部５１による姿勢推定を行うための教師データが記憶される。重量比率記憶部５６には、重心算出部５２による重心算出を行うための重量比率が記憶される。

【0051】

キーポイント推定部５１（姿勢推定部）は、乗降口カメラ２４による撮像画像から乗員（人物）を認識し、さらにその乗員の姿勢を推定する。姿勢推定では乗員の腕や足等の各部位の相対位置が推定される。姿勢推定は既知の技術であることから、ここでは簡単に説明される。

【0052】

例えばキーポイント推定部５１の一部として、ツェ カオ（Ｚｈｅ Ｃａｏ）らの作成した、姿勢推定用のソフトウェアであるＯｐｅｎＰｏｓｅが利用される。このソフトウェアでは、撮像画像内の頭や首といった部位を示す「キーポイント」の位置が推定される。例えば図９に例示されるように、撮像画像中の乗員６０Ａの各部位に対応する、頭部Ｐ１、首部Ｐ２、右手Ｐ３、右肘Ｐ４、右肩Ｐ５、左手Ｐ６、左肘Ｐ７、左肩Ｐ８、右腰Ｐ９、右膝Ｐ１０、右足首Ｐ１１、左腰Ｐ１２、左膝Ｐ１３、及び左足首Ｐ１４の合計１４点のキーポイントが推定される。

【0053】

各キーポイントの推定に当たり、学習済みモデル記憶部５５には、キーポイント別に画像認識用のニューラルネットワークが実装される。例えばこのニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）から構成される。

【0054】

さらに学習済みモデル記憶部５５には、推定された各キーポイントを繋ぎ合わせるアルゴリズムが記憶される。

【0055】

キーポイント推定部５１（姿勢推定部）は、乗降口カメラ２４からドア１２，１２近傍の車内撮像画像を取得すると、図９に例示されるように、学習済みモデル記憶部５５から乗員６０Ａの各キーポイントＰ１～Ｐ１４を認識する。さらにキーポイント推定部５１は、これらのキーポイントを直線で結ぶ。さらに図１０に例示されるように、画像平面上の原点からキーポイントＰ１～Ｐ１４までの距離を示す座標点情報が、キーポイント推定部５１から重心算出部５２に送られる。

【0056】

重心算出部５２は、撮像画像に含まれキーポイントが推定された乗員の重心位置を求める。本実施形態に係る重心算出部５２が求める重心とは、いわゆる質量中心とは異なり、撮像画面上の姿勢中心が求められる。

【0057】

重心算出部５２は、重量比率記憶部５６に記憶された、各キーポイントの重量比率と、図１０に例示される、乗員６０Ａの各キーポイント座標から、重心Ｇの座標を求める。重量比率ｗｉ（ｉ＝１～１４）はキーポイントＰｉごと（体の部位ごと）に定められる。

【0058】

一例として、頭部のキーポイントＰ１に対して重量比率ｗ１＝０．１５が定められる。また首のキーポイントＰ２に対して重量比率ｗ２＝０．０５が定められる。手のキーポイントＰ３，Ｐ６に対して重量比率ｗ３＝０．０１、ｗ６＝０．０１が定められる。肘のキーポイントＰ４，Ｐ７に対して重量比率ｗ４＝０．０５、ｗ７＝０．０５が定められる。肩のキーポイントＰ５，Ｐ８に対して重量比率ｗ５＝０．０３、ｗ８＝０．０３が定められる。腰のキーポイントＰ９，Ｐ１２に対して重量比率ｗ９＝０．２５、ｗ１２＝０．２５が定められる。膝のキーポイントＰ１０，Ｐ１３に対して重量比率ｗ１０＝０．０５、ｗ１３＝０．０５が定められる。さらに足先のキーポイントＰ１１，Ｐ１４に対して重量比率ｗ１１＝０．０１、ｗ１４＝０．０１が定められる。これらの重量比率Ｐ１－Ｐ１４の総和は１．０となるように定められる。

【0059】

図１０を参照して、具体的には、座標平面上の横軸をｘ軸とし、縦軸をｙ軸とすると、重心Ｇの座標（ｘ_ｇ，ｙ_ｇ）は下記数式（１）に基づいて求められる。

【0060】

【数1】

【0061】

例えば図１０の例では、数式（１）を用いて、重心算出部５２は、乗員６０Ａの重心位置座標Ｇ（－8，６２）を求める。求められた重心位置は判定部５３に送られる。

【0062】

＜ドア開閉判定フロー＞
図１１には、本実施形態に係る、ドア開閉判定装置により実行される、ドア開閉判定フローが例示される。例えばこのフローは、車両１０が停留所に到着した時点から出発する時点まで、繰り返し実行される。また、図１１に例示される各ステップのうち、ステップＳ２２を除くステップは、いずれも解析器である車内監視ＥＣＵ４０によって実行されることから、ステップＳ１０－Ｓ２０を総称して「解析ステップ」と呼んでもよい。

【0063】

乗降口カメラ２４は例えば車両運行時、常時車室１４内を撮像する（撮像ステップ）。この撮像画像はキーポイント推定部５１（姿勢推定部）に送信される（Ｓ１０）キーポイント推定部５１は、上述したように、取得した撮像画像内のキーポイント推定を実行する（姿勢推定ステップ、Ｓ１２）。推定された各キーポイントＰ１－Ｐ１４の座標（画像平面座標）が重心算出部５２に送信される。

【0064】

重心算出部５２は、上述したような重心位置の算出を行う（重心算出ステップＳ１４）。算出された重心位置座標は、判定部５３に送信される。判定部５３は、重心位置座標が、立入禁止領域２８内に含まれるか否かを判定する（判定ステップ、Ｓ１６）。例えば判定部５３には、立入禁止領域２８の、撮像画像平面上の位置情報が記憶される。この位置情報に照らし、判定部５３は、重心位置座標が立入禁止領域２８内に含まれるか否かを判定する。

【0065】

判定部５３により、重心位置座標が立入禁止領域２８内に含まれると判定された場合、ドアフラグ設定部５７はドア開閉フラグを０に設定する（Ｓ２０）。ドア開閉フラグは、ドア開閉モータ４９の駆動可否を定める値であって、ドア開閉フラグが０に設定されると、ドア制御部５４はドア開閉モータ４９を停止状態とする。つまり乗降口１６が閉止されているときには閉止状態が維持され、乗降口１６が開放されているときには、開放状態が維持される。

【0066】

また、ドア制御部５４は、ドア開閉フラグの設定値０を受けて、警告器であるスピーカ２５に警告発報指令を送信する。当該指令を受けてスピーカ２５は車室１４内に警告を発報する（警告ステップ、Ｓ２２）。例えばスピーカ２５から、立入禁止領域から離れる旨のアナウンス音声が再生される。その後フローが起点まで戻る。

【0067】

一方、ステップＳ１６において、重心位置座標が立入禁止領域２８には含まれないと判定部５３により判定されると、ドアフラグ設定部５７はドア開閉フラグを１に設定する（Ｓ１８）。ドア開閉フラグの設定値１を受けて、ドア制御部５４は、ドア開閉モータ４９を駆動可能とする。

【0068】

例えばドア開閉フラグが１に設定されている状態で、車両１０の運転制御ＥＣＵ（図示せず）から、または遠隔のコントロールセンターから、車両１０が停留所前で停車した旨の信号を受信すると、ドア制御部５４は、ドア開閉モータ４９に開放指令を出力して、閉止状態のドア１２，１２を開放させる。またドア開閉フラグが１に設定されている状態で、車両１０の運転制御ＥＣＵ（図示せず）から、または遠隔のコントロールセンターから、停留所から車両１０が出発する旨の信号を受信すると、ドア制御部５４は、ドア開閉モータ４９に閉止指令を出力して、開放状態のドア１２，１２を閉止させる。

【0069】

このように、本実施形態に係るドア開閉判定装置では、乗員が単に立入禁止領域２８に進入したか否かを判定する代わりに、乗員の重心位置と立入禁止領域２８との位置関係に基づいて、ドア１２，１２の開閉可否が判定される。

【0070】

＜重量比率の調整＞
上述した実施形態では、各キーポイントの重量率が固定値であったが、本実施形態に係るドア開閉判定装置及び方法は、この形態に限定されない。

【0071】

例えば撮像画像内の乗客の身長に応じて、重量比率が変更されてよい。一般的に、身長が低くなるほど頭部の重量比率が相対的に高くなり、重心は高くなる。例えば子供は大人よりも重心が高い。このことから、重心算出部５２は、乗員の身長が低い程、頭部の重量比率を増加させるように、各重量比率を調整してもよい。

【0072】

上述のように、乗降口カメラ２４が奥行情報も取得可能なＧＲＢ－Ｄカメラである場合に、乗員の身長を取得可能となる。すなわち、乗降口カメラ２４の光軸は車室床２０に対して垂直に向けられているので、乗降口カメラ２４が取得した奥行情報は高さ情報として利用できる。例えば、乗降口カメラ２４の車室床２０からの取り付け高さＨから奥行値Ｄを引くことで、車室床２０からの高さ値を得ることが出来る。

【0073】

例えばキーポイント推定部５１（姿勢推定部）によって乗員６０Ａ（図９）の頭部のキーポイントＰ１が推定される。このキーポイントＰ１に対応する画素の高さ値が、乗員６０Ａの身長となる。

【0074】

この身長情報は重心算出部５２に送信される。重心算出部５２は、取得した身長情報に基づいて各重量比率を変更する。例えば重心算出部５２は、総和１．０を維持した状態で、頭部の重量比率を増加させる。このような身長に対する重量比率の調整を行うことで、より正確に乗員の重心を求めることが可能となる。

【符号の説明】

【0075】

１０ 車両、１２ ドア、１４ 車室、１６ 乗降口、２０ 車室床、２４ 乗降口カメラ（撮像器）、２５ スピーカ（警告器）、２８ 立入禁止領域、４０ 車内監視ＥＣＵ（解析器）、４９ ドア開閉モータ、５１ キーポイント推定部（姿勢推定部）、５２ 重心算出部、５３ 判定部、５４ ドア制御部、５５ 学習済みモデル記憶部、５６ 重量比率記憶部、５７ ドアフラグ設定部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】