特許 7473016 システム、情報処理装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-15

(45)【発行日】2024-04-23

(54)【発明の名称】システム、情報処理装置、方法、及びプログラム

(51)【国際特許分類】

   G08B 21/02 20060101AFI20240416BHJP

   G08B 25/00 20060101ALI20240416BHJP

【ＦＩ】

G08B21/02

G08B25/00 510M

【請求項の数】 12

(21)【出願番号】P 2022570980

(86)(22)【出願日】2020-12-25

(86)【国際出願番号】 JP2020048844

(87)【国際公開番号】W WO2022137541

(87)【国際公開日】2022-06-30

【審査請求日】2023-06-22

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】村山 光太郎

(72)【発明者】

【氏名】水越 康博

(72)【発明者】

【氏名】川合 諒

【審査官】石井 則之

(56)【参考文献】

【文献】特開２０１６－０６２４１４（ＪＰ，Ａ）

【文献】特開２０１９－１２５３４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｂ ２１／０２

Ｇ０８Ｂ ２５／００

(57)【特許請求の範囲】

【請求項1】

移動体の車室内を撮影するカメラから取得される車内映像を解析し、前記移動体に乗車する１以上の乗客のそれぞれの骨格情報を取得する骨格情報取得手段と、
前記乗客の骨格情報と、前記移動体内のポールの位置とに基づいて、前記乗客が前記ポールをつかんでいるか否かを判定するつかまり判定手段と、
前記乗客が前記ポールをつかんでいないと判断された場合、アラートを出力するアラート出力手段とを備え、
前記骨格情報は、前記乗客の手首の関節点の位置を示す情報、及び前記乗客の肘の関節点の位置を示す情報を含み、
前記つかまり判定手段は、前記車内映像において、前記肘の関節点と前記手首の関節点とを通る直線上で、かつ前記手首の関節点から、前記肘の関節点とは反対側に前記肘の関節点と前記手首の関節点との間の距離に所定の係数を乗算した距離だけ離れた点と、前記手首の関節点との間に前記ポールが存在する場合、前記乗客はポールをつかんでいると判定する、情報処理装置。

【請求項2】

移動体の車室内を撮影するカメラから取得される車内映像を解析し、前記移動体に乗車する１以上の乗客のそれぞれの骨格情報を取得する骨格情報取得手段と、
前記乗客の骨格情報と、前記移動体内のポールの位置とに基づいて、前記乗客が前記ポールをつかんでいるか否かを判定するつかまり判定手段と、
前記乗客が前記ポールをつかんでいないと判断された場合、アラートを出力するアラート出力手段とを備え、
前記骨格情報は、前記乗客の手首の関節点の位置を示す情報、及び前記乗客の肘の関節点の位置を示す情報を含み、
前記つかまり判定手段は、前記車内映像において、前記手首の関節点を基点として、前記肘の関節点とは反対側に、前記肘の関節点と前記手首の関節点との間の距離に所定の係数を乗算した距離だけ離れた点を通る扇形の領域に、前記ポールの一部が存在する場合、前記乗客はポールをつかんでいると判定する、情報処理装置。

【請求項3】

移動体の車室内を撮影するカメラから取得される車内映像を解析し、前記移動体に乗車する１以上の乗客のそれぞれの骨格情報を取得する骨格情報取得手段と、
前記乗客の骨格情報と、前記移動体内のポールの位置とに基づいて、前記乗客が前記ポールをつかんでいるか否かを判定するつかまり判定手段と、
前記乗客が前記ポールをつかんでいないと判断された場合、アラートを出力するアラート出力手段とを備え、
前記つかまり判定手段は、前記移動体の車室の床上における前記乗客の位置、及び前記ポールの位置を特定し、前記床上における前記乗客の位置と前記床上における前記ポールの位置との位置関係に基づいて、前記乗客がつかむことができるポールを抽出し、前記乗客が前記抽出したポールにつかんでいるか否かを判定する、情報処理装置。

【請求項4】

前記骨格情報取得手段は、前記車内映像に基づいて前記乗客の骨格構造を推定し、該推定した骨格構造に基づいて前記手首の関節点の位置を検出する請求項１又は２に記載の情報処理装置。

【請求項5】

前記アラート出力手段は、前記移動体から受信した車両情報に基づいて、所定の発報条件が満たされているか否かを判断し、前記つかまり判定手段が前記乗客がポールにつかんでいないと判断した場合で、かつ前記発報条件が満たされていると判断した場合、前記アラートを出力する請求項１から４何れか１項に記載の情報処理装置。

【請求項6】

車室内を撮影するカメラを有する移動体と、
請求項１から５何れか１項に記載の情報処理装置とを有するシステム。

【請求項7】

移動体の車室内を撮影するカメラから取得される車内映像を解析し、前記移動体に乗車する１以上の乗客のそれぞれの骨格情報であって、前記乗客の手首の関節点の位置を示す情報、及び前記乗客の肘の関節点の位置を示す情報を含む骨格情報を取得し、
前記乗客の骨格情報と、前記移動体内のポールの位置とに基づいて、前記車内映像において、前記肘の関節点と前記手首の関節点とを通る直線上で、かつ前記手首の関節点から、前記肘の関節点とは反対側に前記肘の関節点と前記手首の関節点との間の距離に所定の係数を乗算した距離だけ離れた点と、前記手首の関節点との間に前記ポールが存在するか否かに応じて、前記乗客が前記ポールをつかんでいるか否かを判定し、
前記乗客が前記ポールをつかんでいないと判断された場合、アラートを出力する情報処理方法。

【請求項8】

移動体の車室内を撮影するカメラから取得される車内映像を解析し、前記移動体に乗車する１以上の乗客のそれぞれの骨格情報であって、前記乗客の手首の関節点の位置を示す情報、及び前記乗客の肘の関節点の位置を示す情報を含む骨格情報を取得し、
前記乗客の骨格情報と、前記移動体内のポールの位置とに基づいて、前記手首の関節点を基点として、前記肘の関節点とは反対側に、前記肘の関節点と前記手首の関節点との間の距離に所定の係数を乗算した距離だけ離れた点を通る扇形の領域に、前記ポールの一部が存在するか否かに応じて、前記乗客が前記ポールをつかんでいるか否かを判定し、
前記乗客が前記ポールをつかんでいないと判断された場合、アラートを出力する情報処理方法。

【請求項9】

移動体の車室内を撮影するカメラから取得される車内映像を解析し、前記移動体に乗車する１以上の乗客のそれぞれの骨格情報を取得し、
前記乗客の骨格情報と、前記移動体内のポールの位置とに基づいて、前記移動体の車室の床上における前記乗客の位置、及び前記ポールの位置を特定し、前記床上における前記乗客の位置と前記床上における前記ポールの位置との位置関係に基づいて、前記乗客がつかむことができるポールを抽出し、前記乗客が前記抽出したポールにつかんでいるか否かを判定し、
前記乗客が前記ポールをつかんでいないと判断された場合、アラートを出力する情報処理方法。

【請求項10】

移動体の車室内を撮影するカメラから取得される車内映像を解析し、前記移動体に乗車する１以上の乗客のそれぞれの骨格情報であって、前記乗客の手首の関節点の位置を示す情報、及び前記乗客の肘の関節点の位置を示す情報を含む骨格情報を取得し、
前記乗客の骨格情報と、前記移動体内のポールの位置とに基づいて、前記車内映像において、前記肘の関節点と前記手首の関節点とを通る直線上で、かつ前記手首の関節点から、前記肘の関節点とは反対側に前記肘の関節点と前記手首の関節点との間の距離に所定の係数を乗算した距離だけ離れた点と、前記手首の関節点との間に前記ポールが存在するか否かに応じて、前記乗客が前記ポールをつかんでいるか否かを判定し、
前記乗客が前記ポールをつかんでいないと判断された場合、アラートを出力する処理をプロセッサに実行させるためのプログラム。

【請求項11】

移動体の車室内を撮影するカメラから取得される車内映像を解析し、前記移動体に乗車する１以上の乗客のそれぞれの骨格情報であって、前記乗客の手首の関節点の位置を示す情報、及び前記乗客の肘の関節点の位置を示す情報を含む骨格情報を取得し、
前記乗客の骨格情報と、前記移動体内のポールの位置とに基づいて、前記手首の関節点を基点として、前記肘の関節点とは反対側に、前記肘の関節点と前記手首の関節点との間の距離に所定の係数を乗算した距離だけ離れた点を通る扇形の領域に、前記ポールの一部が存在するか否かに応じて、前記乗客が前記ポールをつかんでいるか否かを判定し、
前記乗客が前記ポールをつかんでいないと判断された場合、アラートを出力する処理をプロセッサに実行させるためのプログラム。

【請求項12】

移動体の車室内を撮影するカメラから取得される車内映像を解析し、前記移動体に乗車する１以上の乗客のそれぞれの骨格情報を取得し、
前記乗客の骨格情報と、前記移動体内のポールの位置とに基づいて、前記移動体の車室の床上における前記乗客の位置、及び前記ポールの位置を特定し、前記床上における前記乗客の位置と前記床上における前記ポールの位置との位置関係に基づいて、前記乗客がつかむことができるポールを抽出し、前記乗客が前記抽出したポールにつかんでいるか否かを判定し、
前記乗客が前記ポールをつかんでいないと判断された場合、アラートを出力する処理をプロセッサに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、システム、情報処理装置、方法、及びコンピュータ可読媒体に関する。

【背景技術】

【0002】

関連技術として、特許文献１は、公共旅客輸送における車両内の乗客の転倒を防止する車内監視装置を開示する。特許文献１に記載の車内監視装置は、バスなどの、着席又は起立した状態の乗客を輸送する車両に搭載される。車両は、複数の車内カメラと、各種の車内センサとを有する。車内カメラは、車両内の座席、乗客、及び手荷物などの画像を撮影する。車内監視装置は、車内カメラの映像を用いて、乗客がバスに乗車してから乗車位置に移動するまで、乗客の動きを追跡する。

【0003】

特許文献１において、車内センサは、超音波センサ、圧力センサ、及び接触センサを含む。超音波センサは、乗客の車内での位置及び姿勢を検出するために用いられる。圧力センサは、座席の座面に設置され、乗客が座席に座っているかを検出するために用いられる。また、圧力センサ又は接触センサは、吊革及び手すりに設置され、乗客が手すり又はつり革につかまっているかを検出するために用いられる。

【0004】

車内監視装置は、車内カメラ、及び車内センサを用いて、車両における乗客の乗車状態を把握する。また、車内監視装置は、車外カメラ及び車両センサを用いて、車両の走行状態を把握する。車内監視装置は、乗客の乗車状態と、車両の走行状態とに基づいて、乗客が転倒する危険性を示す危険度を判定する。

【0005】

車内監視装置は、危険度に応じて、乗客の安全性に関する報知を行う。車内監視装置は、例えば、車内カメラを用いて撮影された画像を俯瞰映像に変換し、モニタに表示する。車内監視装置は、モニタの表示画面において、着席中の乗客、通路に立っている乗客、及び長時間移動していない乗客に、それぞれ異なる印しで表示する。また、車内監視装置は、通路に立っている乗客のうち、手すり又はつり革につかまっている乗客と、手すり又はつり革につかまっていない乗客とを、区別して表示する。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１６－０６２４１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

乗合バス事業において、運転手は、乗客が安定姿勢にあるか、つまり立っている乗客がポールなどにつかまっているか否かを目視確認している。現状の運転手による手動運転だけでなく、今後の自動運転時代も見据えた乗客見守りの１つの軸として、乗客の安定姿勢判定のニーズが高まる可能性がある。

【0008】

特許文献１に記載の車内監視装置は、モニタに各乗客の乗車状態を表示する。運転手は、モニタを参照することで、手すり又はつり革につかまっていない乗客などを把握することができる。しかしながら、特許文献１では、手すり及びつり革に接触センサなどのセンサが設置され、車内監視装置は、そのセンサを用いて乗客が手すり又はつり革につかまっているか否かを判断している。このため、特許文献１では、乗客がつかまることができる手すり又はつり革の全てにセンサが設置される必要がある。

【0009】

本開示は、上記事情に鑑み、乗客がつかまる可能性がある複数の箇所のそれぞれに接触センサなどのセンサを設置しなくても、乗客がポールをつかんでいるか否かを判定することができるシステム、情報処理装置、方法、及びコンピュータ可読媒体を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するために、本開示は、第１の態様として、情報処理装置を提供する。情報処理装置は、移動体の車室内を撮影するカメラから取得される車内映像を解析し、前記移動体に乗車する１以上の乗客のそれぞれの骨格情報を取得する骨格情報取得手段と、前記乗客の骨格情報と、前記移動体内のポールの位置とに基づいて、前記乗客が前記ポールをつかんでいるか否かを判定するつかまり判定手段と、前記乗客が前記ポールをつかんでいないと判断された場合、アラートを出力するアラート出力手段とを備える。

【0011】

本開示は、第２の態様として、システムを提供する。システムは、車室内を撮影するカメラを有する移動体と、移動体の乗客を監視する情報処理装置とを有する。情報処理装置は、前記カメラから取得される車内映像を解析し、前記移動体に乗車する１以上の乗客のそれぞれの骨格情報を取得する骨格情報取得手段と、前記乗客の骨格情報と、前記移動体内のポールの位置とに基づいて、前記乗客が前記ポールをつかんでいるか否かを判定するつかまり判定手段と、前記乗客が前記ポールをつかんでいないと判断された場合、アラートを出力するアラート出力手段とを有する。

【0012】

本開示は、第３の態様として、情報処理方法を提供する。情報処理方法は、移動体の車室内を撮影するカメラから取得される車内映像を解析し、前記移動体に乗車する１以上の乗客のそれぞれの骨格情報を取得し、前記乗客の骨格情報と、前記移動体内のポールの位置とに基づいて、前記乗客が前記ポールをつかんでいるか否かを判定し、前記乗客が前記ポールをつかんでいないと判断された場合、アラートを出力することを含む。

【0013】

本開示は、第４の態様として、コンピュータ可読媒体を提供する。コンピュータ可読媒体は、移動体の車室内を撮影するカメラから取得される車内映像を解析し、前記移動体に乗車する１以上の乗客のそれぞれの骨格情報を取得し、前記乗客の骨格情報と、前記移動体内のポールの位置とに基づいて、前記乗客が前記ポールをつかんでいるか否かを判定し、前記乗客が前記ポールをつかんでいないと判断された場合、アラートを出力する処理をプロセッサに実行させるためのプログラムを格納する。

【発明の効果】

【0014】

本開示に係るシステム、情報処理装置、方法、及びコンピュータ可読媒体は、乗客がつかまる可能性がある複数の箇所のそれぞれに接触センサなどのセンサを設置しなくても、乗客がポールをつかんでいるか否かを判定することができる。

【図面の簡単な説明】

【0015】

【図1】本開示に係るシステムを示すブロック図。

【図2】本開示の第１実施形態に係るシステムを示すブロック図。

【図3】移動体の構成例を示すブロック図。

【図4】情報処理装置の構成例を示すブロック図。

【図5】骨格情報取得部で検出される骨格構造の一例を示す模式図。

【図6】手首及び肘の関節点とポールの位置とに基づいて乗客がポールをつかんでいるか否かが判定される例を示す模式図。

【図7】手首及び肘の関節点とポールの位置とに基づいて乗客がポールをつかんでいるか否かが判定される別の例を示す模式図。

【図8】移動体内における乗客とポールとを模式的に示す模式図。

【図9】車内カメラが撮影する車内映像を模式的に示す模式図。

【図10】床上での乗客とポールとの位置関係を模式的に示す模式図。

【図11】ポールが床に接していない場合の車内映像を模式的に示す模式図。

【図12】情報処理装置における動作手順を示すフローチャート。

【図13】第２実施形態において用いられる移動体の構成を示すブロック図。

【図14】コンピュータ装置の構成例を示すブロック図。

【発明を実施するための形態】

【0016】

本開示の実施の形態の説明に先立って、本開示の概要を説明する。図１は、本開示に係るシステムを示す。システム１０は、移動体３０、及び情報処理装置５０を有する。移動体３０は、車室内を撮影するカメラ３１を有する。情報処理装置５０は、移動体３０に乗車する乗客を監視する。情報処理装置５０は、骨格情報取得手段５１、つかまり判定手段５２、及びアラート出力手段５３を有する。

【0017】

骨格情報取得手段５１は、カメラ３１から取得される車内映像を解析し、移動体３０に乗車する１以上の乗客のそれぞれの骨格情報を取得する。つかまり判定手段５２は、乗客の骨格情報と、移動体３０内のポールの位置とに基づいて、乗客がポールをつかんでいるか否かを判定する。アラート出力手段５３は、乗客が前記ポールをつかんでいないと判断された場合、アラートを出力する。

【0018】

本開示において、つかまり判定手段５２は、カメラ３１の映像から取得された乗客の骨格情報を用いて、乗客がポールをつかんでいるか否かを判定する。本開示では、乗客がポールをつかんでいるか否かの判定に、カメラ３１の映像が用いられる。このため、本開示は、乗客がつかまる可能性がある複数の箇所のそれぞれに接触センサなどのセンサを設置しなくても、乗客が安全な乗車姿勢であるか否かを判定できる。情報処理装置５０は、乗客がポールをつかんでいないと判定した場合にアラートを出力する。このようにすることで、情報処理装置５０は、移動体３０の安全な運行に寄与できる。

【0019】

以下、本開示の実施の形態を詳細に説明する。図２は、本開示の第１実施形態に係るシステムを示す。システム（乗客監視システム）１００は、情報処理装置１１０、遠隔監視装置１３０、及び移動体２００を有する。システム１００において、情報処理装置１１０及び遠隔監視装置１３０は、ネットワーク１５０を介して移動体２００と接続される。ネットワーク１５０は、例えば、ＬＴＥ（Long Term Evolution）などの通信回線規格を用いた無線通信網を含む。ネットワーク１５０は、ＷｉＦｉ（登録商標）又は第５世代移動通信システムなどの無線通信網を含んでいてもよい。システム１００は、図１に示されるシステム１０に対応する。

【0020】

移動体２００は、例えば乗り合いバスなどの乗客を乗せて走行する車両として構成される。移動体２００は、乗り合いバスには限定されず、例えば路面電車などの、乗客が立って乗車することが可能な車両であってもよい。移動体２００は、車室内を撮影する１以上の車内カメラ２０１を有する。図２では、移動体２００が、車両の前方及び後方から車室内を撮影する２つの車内カメラ２０１を有する例が示されている。移動体２００は、図１に示される移動体３０に対応する。車内カメラ２０１は、図１に示されるカメラ３１に対応する。

【0021】

情報処理装置１１０は、移動体２００の乗客を監視する装置である。情報処理装置１１０は、ネットワーク１５０を介して移動体２００から車内カメラ２０１の映像を受信する。情報処理装置１１０は、受信した車内カメラ２０１の映像を解析し、乗客が安全な乗車状態であるか否かを見守る。情報処理装置１１０は、乗客の見守りの結果を移動体２００に送信する。情報処理装置１１０は、図１に示される情報処理装置５０に対応する。

【0022】

遠隔監視装置１３０は、移動体２００の運行を遠隔で監視する装置である。情報処理装置１１０は、乗客の見守りの結果を移動体２００に送信するのに加えて、又はこれに代えて、乗客の見守りの結果を遠隔監視装置１３０に送信してもよい。なお、移動体２００の運行を遠隔で監視する必要がない場合、遠隔監視装置１３０は省略可能である。別の言い方をすると、システム１００は、遠隔監視装置１３０を有していなくてもよい。

【0023】

図３は、移動体２００の構成例を示す。移動体２００は、１以上の車内カメラ２０１、車両情報取得部２０２、通信装置２０３、及び表示装置２０４を有する。移動体２００において、これら構成要素は車内ＬＡＮ（Local Area Network）やＣＡＮ（Controller Area Network）などを介して相互に通信可能に構成される。

【0024】

車内カメラ２０１は、移動体２００の内部を撮影するカメラである。車内カメラ２０１は、特に乗客が乗車するエリアを撮影する。車内カメラ２０１は、例えば移動体２００の車室内の天井に配置される。車両情報取得部２０２は、移動体２００の各種情報を取得する。車両情報取得部２０２は、例えば移動体２００の車両センサから、車速、操舵角、アクセルペダルの開度、及びブレーキペダルの踏み込み量などの情報を取得する。また、車両情報取得部２０２は、方向指示器の作動状態、及びドアの開閉状態などの情報を取得する。

【0025】

通信装置２０３は、移動体２００とネットワーク１５０（図２を参照）との間で無線通信を行う装置として構成される。通信装置２０３は、無線通信用アンテナ、送信機、及び受信機を含む。通信装置２０３は、車内カメラ２０１の映像を、ネットワーク１５０を介して情報処理装置１１０及び遠隔監視装置１３０に送信する。

【0026】

また、通信装置２０３は、移動体２００の各種情報を、ネットワーク１５０を介して情報処理装置１１０及び遠隔監視装置１３０に送信する。通信装置２０３は、例えば車両情報取得部２０２が取得した車速、方向指示器の作動状態、及びドアの開閉状態を、車両情報として情報処理装置１１０及び遠隔監視装置１３０に送信する。通信装置２０３は、移動体２００の位置情報を情報処理装置１１０及び遠隔監視装置１３０に送信してもよい。なお、情報処理装置１１０に送信される情報と、遠隔監視装置１３０に送信される情報とは、同一の情報でなくてもよい。

【0027】

移動体２００は、図３には図示されない、移動体２００の周辺状況を監視する周辺監視センサを有していてもよい。周辺監視センは、例えばカメラ、レーダ、及びＬｉＤＡＲ（Light Detection and Ranging）などを含む。周辺監視センサは、例えば車両の前方、後方、右側方、及び左側方を撮影する複数のカメラを含んでいてもよい。通信装置２０３は、周辺監視センサが取得した車両外部の映像などを、ネットワーク１５０を介して遠隔監視装置１３０に送信してもよい。遠隔監視装置１３０は、移動体２００から受信した映像、及び各種情報を表示装置に表示する。監視員は、表示装置に表示された映像及び各種情報を参照し、移動体２００の遠隔監視を行う。

【0028】

図４は、情報処理装置１１０の構成例を示す。乗客見守り装置である情報処理装置１１０は、映像取得部１１１、車両情報取得部１１２、骨格情報取得部１１３、ポール位置取得部１１４、つかまり判定部１１５、及びアラート出力部１１６を有する。映像取得部１１１は、移動体２００から、車内カメラ２０１を用いて撮影された車内映像を受信する。車両情報取得部１１２は、移動体２００から、車両情報を受信する。映像取得部１１１及び車両情報取得部１１２は、それぞれ、複数の移動体２００から車内映像及び車両情報を受信してもよい。

【0029】

骨格情報取得部１１３は、車内カメラ２０１の映像（画像）を解析し、車両に乗車する１以上の乗客のそれぞれの骨格情報を取得する。骨格情報取得部１１３は、移動体２００が複数の車内カメラ２０１を有する場合、複数の車内カメラの映像のそれぞれに対して解析を行う。例えば、骨格情報取得部１１３は、映像取得部１１１が取得した車内カメラ２０１の映像（画像）から、画像内の人物（乗客）の２次元の骨格構造を推定する。骨格情報取得部１１３は、画像に含まれる各乗客について、骨格構造を推定する。骨格情報取得部１１３は、例えば、機械学習を用いた骨格推定技術を用いて、各乗客の関節などの特徴に基づいて各乗客の骨格構造を検出する。骨格構造の検出には、例えばＯｐｅｎＰｏｓｅなどの公知の骨格推定技術が用いられ得る。骨格情報取得部１１３は、図１に示される骨格情報取得手段５１に対応する。

【0030】

図５は、骨格情報取得部１１３で検出される骨格構造の一例を示す。骨格情報取得部１１３は、例えば、移動体２００の車内映像から各乗客の画像を抽出する。骨格情報取得部１１３は、抽出した画像から、乗客の関節点の座標データを骨格構造として検出する。図５において、検出された関節点は黒丸で示される。骨格情報取得部１１３は、検出した骨格構造から、特に、手首の関節点３０１、及び肘の関節点３０２の位置を検出する。骨格情報取得部１１３は、乗客の骨格構造を示す情報を、骨格情報として取得する。

【0031】

ポール位置取得部（ポール位置取得手段）１１４は、移動体２００の車内に存在するポールの位置を示す情報をポール位置情報として取得する。ポール位置取得部１１４は、例えば移動体２００の車内映像から、ポール位置情報を取得する。ポール位置取得部１１４は、例えば色に基づいて車内映像に含まれるポールの領域を識別する。日本において、「標準仕様ノンステップバス」では、縦握り棒（ポール）の色には特定色（オレンジ色）が使用されると定められている。ポール位置取得部１１４は、オレンジ色の棒状の物体の領域を、ポールの領域として識別してもよい。ポール位置取得部１１４は、例えば乗客が乗車していない状態の車内映像からポール位置情報を取得してもよい。あるいは、ポール位置取得部１１４は、図示しない記憶装置から、あらかじめ登録されているポール位置情報を読み出してもよい。

【0032】

つかまり判定部１１５は、骨格情報取得部１１３が取得した乗客の骨格情報と、ポール位置取得部１１４が取得したポール位置情報とに基づいて、乗客がポールをつかんでいるか否かを判定する。つかまり判定部１１５は、更に、つり革などの位置情報を更に用いて、乗客がポール及びつり革の少なくとも一方をつかんでいるか否かを判定してもよい。つかまり判定部１１５は、図１に示されるつかまり判定手段５２に対応する。

【0033】

つかまり判定部１１５は、例えば、車内映像における、手首の関節点３０１（図５を参照）と、ポールとの間の距離に基づいて、乗客がポールをつかんでいるか否かを判定する。つかまり判定部１１５は、例えば、手首の関節点３０１からポールまでの最短距離を求める。つかまり判定部１１５は、求めた最短距離が所定の距離しきい値以下の場合、乗客がポールをつかんでいると判定する。

【0034】

つかまり判定部１１５は、手首の関節点３０１の位置及び肘の関節点３０２の位置と、ポールの位置との関係に基づいて、乗客がポールをつかんでいるか否かを判定してもよい。例えば、つかまり判定部１１５は、手首の関節点３０１の位置と肘の関節点３０２の位置とに基づいて、手のひらが存在する範囲を推定する。つかまり判定部１１５は、推定した範囲にポールが存在するか否かに応じて、乗客がポールをつかんでいるか否かを推定してもよい。

【0035】

図６は、手首及び肘の関節点とポールの位置とに基づいて乗客がポールをつかんでいるか否かが判定される例を示す。つかまり判定部１１５は、手首の関節点３０１と肘の関節点３０２とを結ぶ直線の長さＬを求める。つかまり判定部１１５は、手首の関節点３０１及び肘の関節点３０２を通る直線上で、手首の関節点３０１から、肘の関節点３０２と反対側に距離Ｌをｋ倍（０＜ｋ＜１）した距離（ｋＬ）だけ離れた位置に、点３０３を置く。つかまり判定部１１５は、手首の関節点３０１と点３０３との間に、手のひらが存在すると推定する。つかまり判定部１１５は、手首の関節点３０１と点３０３とを結ぶ直線が、ポール４０１と交わるか否かを判断する。つかまり判定部１１５は、手首の関節点３０１と点３０３との間にポール４０１が存在する場合、乗客はポール４０１をつかんでいると判定する。

【0036】

図７は、手首及び肘の関節点とポールの位置とに基づいて乗客がポールをつかんでいるか否かが判定される別の例を示す。この例では、つかまり判定部１１５は、手首の関節点３０１を基点に、肘の関節点３０２とは反対側に、点３０３を通る扇形の領域３０４を設定する。つかまり判定部１１５は、領域３０４の範囲に手のひらが存在すると推定する。つかまり判定部１１５は、領域３０４に、ポール４０１の一部が含まれるか否かを判断する。つかまり判定部１１５は、領域３０４にポール４０１の一部が含まれる場合、乗客はポール４０１をつかんでいると判定する。

【0037】

ここで、車内映像において、手前のポールと奥の乗客とが重なり、実際には乗客がポールをつかんでいないものの、乗客の手首の関節点とポールとが重なる場合がある。図８は、移動体２００内における乗客とポールとを模式的に示す。ここでは、移動体２００の車内に、ポール４０１－４０３の３本のポールがあるとする。また、移動体２００には、乗客４１１及び４１２の２人の乗客がいるとする。乗客４１１は、ポール４０１をつかんでいるものとする。これに対し、乗客４１２は、手に何かを持っており、どのポールもつかんでいないものとする。車内カメラ２０１は、移動体２００の前方から、移動体２００の車室内を撮影する。

【0038】

図９は、車内カメラ２０１が撮影する車内映像を模式的に示す。図９に示される例において、乗客４１１は、ポール４０１をつかんでいるため、手首の関節点がポール４０１に近い。この場合、つかまり判定部１１５は、手首の関節点とポール４０１との距離に基づいて、乗客４１１がポール４０１をつかんでいることを判定できる。一方、乗客４１２について、乗客４１２はポールをつかんでいないものの、車内映像において、乗客４１２の手首付近はポール４０２と重なっている。このため、つかまり判定部１１５は、乗客４１２がポール４０２をつかんでいると誤判定する可能性がある。

【0039】

上記誤判定を避けるために、つかまり判定部１１５は、移動体２００の内部にあるポールのうち、各乗客がつかむことができるポールを抽出し、各乗客が抽出されたポールをつかんでいるか否かを判定してもよい。つかまり判定部１１５は、例えば移動体２００の車室の床上での各乗客の位置、及び床上での各ポールの位置を特定する。つかまり判定部１１５は、例えば、映像においてどの部分が床に対応しているかを識別するための床情報を用いて、床上での各乗客の位置、及び床上での各ポールの位置を特定する。あるいは、各乗客の床上での位置は、車内カメラ２０１の画角及び焦点距離などを用いて、車内カメラ２０１の映像から特定できる。各ポールの床上での位置についても、同様に、車内カメラ２０１の画角及び焦点距離などを用いて、車内カメラ２０１の映像から特定できる。各ポールの床上での位置は、あらかじめ用意されていてもよい。

【0040】

つかまり判定部１１５は、例えば、床上での各乗客の位置と床上での各ポールの位置との位置関係に基づいて、各乗客がつかむことができるポールを抽出する。つかまり判定部１１５は、例えば、床上における各乗客と各ポールとの距離を求める。つかまり判定部１１５は、床上において、乗客の位置から、その乗客の腕が届く範囲に存在するポールを、乗客がつかむことができるポールとして抽出する。つかまり判定部１１５は、骨格構造の推定結果から乗客の身長を推定し、推定した身長から乗客の腕の長さを推定してもよい。つかまり判定部１１５は、乗客の腕が届く範囲にポールが存在しない場合、その乗客がつかむことができるポールはないと判定する。

【0041】

図１０は、床上での乗客とポールとの位置関係を模式的に示す。乗客４１１について、つかまり判定部１１５は、乗客４１１の周りに、推定した腕の長さに応じて、乗客４１１の腕が届く範囲４２１を設定する。つかまり判定部１１５は、床上でのポールの位置が範囲４２１に含まれるポール４０１を、乗客４１１がつかむことができるポールとして抽出する。つかまり判定部１１５は、例えば、乗客４１１の手首の関節点の位置と、ポール４０１の位置とに基づいて、乗客４１１がポール４０１をつかんでいるか否かを判定する。つかまり判定部１１５は、ポール４０２及び４０３については、判定から除外する。

【0042】

乗客４１２について、つかまり判定部１１５は、乗客４１２の周りに、推定した腕の長さに応じて、乗客４１２の腕が届く範囲４２２を設定する。図１０において、ポール４０１－４０３の床上での位置は、何れも範囲４２２の外側にある。この場合、つかまり判定部１１５は、乗客４１２がつかむことができるポールはないと判断する。このように、床上での乗客とポールとの位置関係に基づいて、判定の対象とするポールを限定することで、車内映像上で乗客とポールとが重なる場合でも、誤判定を抑制できる。

【0043】

なお、立って乗車している乗客の足は床に接していると考えられる。このため、つかまり判定部１１５は、車内映像から、乗客の床上での位置を特定できると考えられる。しかしながら、ポールは、座席や壁に固定されている場合があり、必ずしも床に取り付けられているとは限らない。ポールが床に取り付けられていない場合、つかまり判定部１１５は、ポールを、仮想的に、床面の方向に延長し、ポールの床上での位置を特定してもよい。

【0044】

図１１は、ポールが床に接していない場合の車内映像を模式的に示す。図１１において、ポール４０４は、車室の天井と、側壁とに固定されており、床面に接していない。その場合、つかまり判定部１１５は、ポール４０４の縦方向の部分を床面まで仮想的に延長し、ポール４０４の延長部分と床面との交点を、床上でのポール４０４の位置４０５として特定する。つかまり判定部１１５は、床上での乗客４１１の位置と、位置４０５との位置関係に基づいて、乗客４１１がポール４０４をつかむことができるか否かを判断すればよい。

【0045】

図４に戻り、アラート出力部１１６は、つかまり判定部１１５から判定結果を取得する。アラート出力部１１６は、乗客が、移動体２００内で立っており、かつポールなどをつかんでいないと判定されている場合、安全ではない姿勢の乗客がいることを示す警告を、移動体２００に送信する。アラート出力部１１６は、乗客がポールなどをつかんでいないと判定された乗客の位置を示す情報を、移動体２００に送信してもよい。アラート出力部１１６は、移動体２００に加えて、又はこれに代えて、遠隔監視装置１３０に警告を送信することができる。アラート出力部１１６は、図１に示されるアラート出力手段５３に対応する。

【0046】

アラート出力部１１６は、車両情報取得部１１２から車両情報を取得し、車両情報に基づいて所定の発報条件が満たされているか否かを判断してもよい。アラート出力部１１６は、例えば、車両情報に基づいて移動体２００の運行状態を特定する。アラート出力部１１６は、特定した運行状態が、発報条件として設定された運行状態を示すか否かを判断してもよい。アラート出力部１１６は、発報条件が満たされている場合、移動体２００などに警告を送信してもよい。

【0047】

例えば、アラート出力部１１６は、車速を含む車両情報に基づいて、移動体２００が走行中であるか否かを特定する。アラート出力部１１６は、移動体２００の走行中にポールなどをつかんでいない乗客がいると判定された場合、移動体２００に警告を送信してもよい。また、アラート出力部１１６は、ドアの開閉状態を含む車両情報に基づいて、移動体２００が発進する直前であるか否かを特定してもよい。アラート出力部１１６は、例えば、バス停においてドアが閉じられた場合、移動体２００が発進する直前であると特定する。アラート出力部１１６は、移動体２００が発進する直前にポールなどをつかんでいない乗客がいると判定された場合、移動体２００に警告を送信してもよい。

【0048】

移動体２００において、通信装置２０３（図３を参照）は、安全ではない姿勢の乗客がいること、及びその位置などを示す情報を受信する。表示装置２０４は、安全ではない姿勢の乗客がいること、及びその位置などを表示し、移動体２００の運転手に危険を知らせる。運転手は、必要に応じて、「手すりにおつかまりください」などのアナウンスを行う。あるいは、移動体２００は図示しない自動放送装置を用いて、「手すりにおつかまりください」などのアナウンスを行ってもよい。運転手は、発進の直前に危険が知らされた場合、乗客が手すりをつかむまで、移動体２００を発進させない。

【0049】

続いて、動作手順を説明する。図１２は、情報処理装置（乗客見守り装置）１１０における動作手順（情報処理方法）を示す。映像取得部１１１は、移動体２００から、車内カメラ２０１の映像（車内映像）を受信する（ステップＳ１）。映像取得部１１１は、受信した映像を、骨格情報取得部１１３及びポール位置取得部１１４に出力する。車両情報取得部１１２は、移動体２００から、車両情報取得部２０２（図３を参照）などで取得された車両情報を受信する（ステップＳ２）。車両情報取得部１１２は、受信した車両情報をアラート出力部１１６に出力する。

【0050】

骨格情報取得部１１３は、ステップＳ１で受信された車内映像から、各乗客の骨格情報を取得する（ステップＳ３）。骨格情報取得部１１３は、ステップＳ３では、特に乗客の手首の関節点、及び肘の関節点の位置を取得する。ポール位置取得部１１４は、車内映像から、ポールの位置を取得する（ステップＳ４）。

【0051】

つかまり判定部１１５は、ステップＳ３で取得された骨格情報と、ステップＳ４で取得されたポールの位置とに基づいて、乗客がポールなどをつかんでいるか否かを判定する（ステップＳ５）。つかまり判定部１１５は、判定の結果をアラート出力部１１６に出力する。

【0052】

アラート出力部１１６は、ステップＳ５の判定の結果に基づいて、ポールなどをつかんでいない乗客がいるか否かを判断する（ステップＳ６）。アラート出力部１１６は、ポールなどをつかんでいない乗客がいないと判断した場合、処理を終了する。アラート出力部１１６は、ステップＳ２で受信された車両情報に基づいて、所定の発報条件が満たされているか否かを判断する（ステップＳ７）。アラート出力部１１６は、所定の発報条件が満たされていると判断した場合、安全ではない姿勢の乗客がいることを示す警告を、移動体２００及び遠隔監視装置１３０に送信する（ステップＳ８）。乗客見守り装置１１０は、ステップＳ１からステップＳ８までの処理を、繰り返し実施する。

【0053】

なお、上記動作手順において、ステップＳ１からステップＳ８の一部は、必ずしも上記した順序で実施される必要はない。例えば、ステップＳ１とステップＳ２とは、どちらが先に実施されてもよい。また、ステップＳ２で受信される車両情報は、ステップＳ７で発報条件が満たされるか否かの判断に使用される。このため、ステップＳ２は、ステップＳ３からステップＳ７の直前までの任意のタイミングで実施され得る。あるいは、ステップＳ２は、ステップＳ１からステップＳ６までの何れかのステップと並列に実施されてもよい。また、ステップＳ３とステップＳ４とは、どちらが先に実施されてもよいし、並列に実施されてもよい。

【0054】

本実施形態では、骨格情報取得部１１３は、移動体２００の車内カメラ２０１に映像から、乗客の骨格情報を取得する。つかまり判定部１１５は、乗客の骨格情報と、ポールの位置情報とを用いて、乗客がポールをつかんでいるか否かを判定する。本実施形態では、映像から取得された骨格情報を用いて乗客がポールをつかんでいるか否かが判断される。このようにすることで、車内の複数の箇所に接触センサや圧力センサなどのセンサが設置されていなくても、乗客見守り装置１１０は、乗客がポールなどをつかんでいるか否かを判定することができる。また、本実施形態では、移動体２００において、運転手の目視に頼らず、ポールをつかんでいない乗客を発見することができる。

【0055】

本実施形態において、アラート出力部１１６は、乗客がポールをつかんでいないと判定された場合、移動体２００及び遠隔監視装置１３０にアラートを出力する。乗客がポールなどをつかんでいない場合に、移動体２００の運転手などに警告することで、運転手は、目視で確認しなくても、ポールをつかんでいない乗客がいることを知ることができる。運転手は、必要に応じて速度を落とす、或いは乗客にポールをつかむように促すことで、移動体２００を、移動体２００における乗客の転倒などの危険性を低下させることができる。また、本実施形態において、アラート出力部１１６は、所定の発報条件が満たされた場合に、アラートを出力する。この場合、アラート出力部１１６は、乗客がポールをつかんでいない場合に転倒などが起こる危険が高い場合に、アラートを出力することができる。

【0056】

続いて、本開示の第２実施形態を説明する。本開示の第２実施形態に係るシステムの構成は、図２に示される第１実施形態で説明した情報処理装置（乗客見守り装置）１１０の構成と同様でよい。本実施形態において、移動体は、自動運転が可能に構成される。他の構成は、第１実施形態において説明された構成と同様でよい。

【0057】

図１３は、第２実施形態において用いられる移動体の構成を示す。本実施形態において、移動体２００ａは、図３に示される第１実施形態で用いられる移動体２００の構成に加えて、自動運転ＥＣＵ（Electric Control Unit）２０５、及び放送装置２０６を有する。自動運転ＥＣＵ２０５は、移動体２００の自動運転を制御する電子制御装置である。自動運転ＥＣＵ２０５は、図示しない周辺監視センサ及び車両センサからセンサ情報を取得し、取得したセンサ情報に基づいて移動体２００の自律走行を制御する。放送装置２０６は、移動体２００の車内に各種放送を行う。

【0058】

本実施形態において、乗客見守り装置１１０のアラート出力部１１６（図４を参照）は、移動体２００ａ及び遠隔監視装置１３０にアラートを出力する。移動体２００ａにおいて、通信装置２０３は、乗客見守り装置１１０から、アラートを受信する。自動制御ＥＣＵ２０５は、アラートが受信された場合、自動運転のパラメータを、アラートが受信される前の自動運転のパラメータから変更する。自動運転ＥＣＵ２０５は、例えばアラートが受信された場合、移動体２００における安全レベルを上げる。自動運転ＥＣＵ２０５は、安全レベルを上げることで、例えば移動体２００の速度を低下させる。あるいは、移動体２００における速度の変化を緩やかにする。自動運転ＥＣＵ２０５は、バス停などで停車中にアラートが受信された場合、移動体２００を発進させない。放送装置２０６は、アラートが受信された場合、「手すりにおつかまりください」などのアナウンスを行い、乗客にポールをつかむことを促す。

【0059】

遠隔監視装置１３０は、乗客見守り装置１１０から、アラートを受信する。遠隔監視装置１３０は、アラートが受信された場合、監視員に、移動体２００ａにポールをつかんでいない乗客がいることを知らせる。監視員は、移動体２００ａに、転倒の危険がある乗客がいることを知ることができる。その場合、監視員は、移動体２００ａの運転を、自動運転から遠隔運転に切り替え、移動体２００ａを遠隔で操作してもよい。

【0060】

本実施形態では、移動体２００ａは、自動運転が可能に構成される。本実施形態では、移動体２００ａにポールをつかんでいない乗客がいる場合、遠隔監視装置１３０にアラートが出力される。このようにすることで、監視員は、自動運転される移動体２００ａが安全に運行されているか否かを見守ることができる。また、アラートが出力された場合、移動体２００ａにおいて、放送装置２０６は、乗客にポールをつかむことを促す放送を行う。放送を聞いた乗客がポールをつかむことで、移動体２００ａを安全に運行することができる。

【0061】

なお、上記各実施形態では、乗客見守り装置１１０がネットワーク１５０を介して移動体２００に接続される例を説明した。しかしながら、本開示は、これには限定されない。例えば、乗客見守り装置１１０は、移動体２００に搭載されていてもよい。また、乗客見守り装置１１０は、必ずしも１つの装置として構成されている必要はなく、複数の装置を用いて構成されてもよい。例えば、乗客見守り装置１１０は、映像取得部１１１、骨格情報取得部１１３、及びポール位置取得部１１４を含む第１の装置と、車両情報取得部１１２、つかまり判定部１１５、及びアラート出力部１１６を含む第２の装置とを用いて構成されていてもよい。その場合において、第１の装置は移動体２００に搭載され、第２の装置はネットワーク１５０を介して第１の装置と接続されていてもよい。

【0062】

乗客見守り装置１１０は、複数の移動体２００から車内映像を受信し、各移動体について、乗客がポールをつかんでいるか否かを判定してもよい。その場合、乗客見守り装置１１０における処理負荷の軽減のため、骨格情報の取得、ポールの位置情報の取得、及びつかまり判定の少なくとも一部は各移動体２００において行われることとしてもよい。

【0063】

続いて、乗客見守り装置１１０の物理的な構成を説明する。本開示において、乗客見守り装置１１０はコンピュータ装置（サーバ装置）として構成され得る。図１４は、乗客見守り装置１１０として用いられ得るコンピュータ装置の構成例を示す。コンピュータ装置５００は、制御部（ＣＰＵ：Central Processing Unit）５１０、記憶部５２０、ＲＯＭ（Read Only Memory）５３０、ＲＡＭ（Random Access Memory）５４０、通信インタフェース（ＩＦ：Interface）５５０、及びユーザインタフェース５６０を有する。乗客見守り装置１１０は、ＣＰＵ５１０、ＲＯＭ５３０、及びＲＡＭ５４０を含む電子制御装置として構成されていてもよい。

【0064】

通信インタフェース５５０は、有線通信手段又は無線通信手段などを介して、コンピュータ装置５００と通信ネットワークとを接続するためのインタフェースである。ユーザインタフェース５６０は、例えばディスプレイなどの表示部を含む。また、ユーザインタフェース５６０は、キーボード、マウス、及びタッチパネルなどの入力部を含む。

【0065】

記憶部５２０は、各種のデータを保持できる補助記憶装置である。記憶部５２０は、必ずしもコンピュータ装置５００の一部である必要はなく、外部記憶装置であってもよいし、ネットワークを介してコンピュータ装置５００に接続されたクラウドストレージであってもよい。

【0066】

ＲＯＭ５３０は、不揮発性の記憶装置である。ＲＯＭ５３０には、例えば比較的容量が少ないフラッシュメモリなどの半導体記憶装置が用いられる。ＣＰＵ５１０が実行するプログラムは、記憶部５２０又はＲＯＭ５３０に格納され得る。記憶部５２０又はＲＯＭ５３０は、例えば乗客見守り装置１１０内の各部の機能を実現するための各種プログラムを記憶する。

【0067】

上記プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータ装置５００に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、例えばフレキシブルディスク、磁気テープ、又はハードディスクなどの磁気記録媒体、例えば光磁気ディスクなどの光磁気記録媒体、ＣＤ（compact disc）、又はＤＶＤ（digital versatile disk）などの光ディスク媒体、及び、マスクＲＯＭ、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、又はＲＡＭなどの半導体メモリを含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体を用いてコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0068】

ＲＡＭ５４０は、揮発性の記憶装置である。ＲＡＭ５４０には、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）などの各種半導体メモリデバイスが用いられる。ＲＡＭ５４０は、データなどを一時的に格納する内部バッファとして用いられ得る。ＣＰＵ５１０は、記憶部５２０又はＲＯＭ５３０に格納されたプログラムをＲＡＭ５４０に展開し、実行する。ＣＰＵ５１０がプログラムを実行することで、乗客見守り装置１１０内の各部の機能が実現され得る。ＣＰＵ５１０は、データなどを一時的に格納できる内部バッファを有してもよい。

【0069】

以上、本開示の実施形態を詳細に説明したが、本開示は、上記した実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で上記実施形態に対して変更や修正を加えたものも、本開示に含まれる。

【0070】

例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

【0071】

［付記１］
移動体の車室内を撮影するカメラから取得される車内映像を解析し、前記移動体に乗車する１以上の乗客のそれぞれの骨格情報を取得する骨格情報取得手段と、
前記乗客の骨格情報と、前記移動体内のポールの位置とに基づいて、前記乗客が前記ポールをつかんでいるか否かを判定するつかまり判定手段と、
前記乗客が前記ポールをつかんでいないと判断された場合、アラートを出力するアラート出力手段とを備える情報処理装置。

【0072】

［付記２］
前記骨格情報は、前記乗客の手首の関節点の位置を示す情報を含む付記１に記載の情報処理装置。

【0073】

［付記３］
前記つかまり判定手段は、前記車内映像において、前記手首の関節点から前記ポールまでの最短距離がしきい値以下の場合、前記乗客は前記ポールにつかんでいると判定する付記２に記載の情報処理装置。

【0074】

［付記４］
前記骨格情報取得手段は、前記車内映像に基づいて前記乗客の骨格構造を推定し、該推定した骨格構造に基づいて前記手首の関節点の位置を検出する付記２又は３に記載の情報処理装置。

【0075】

［付記５］
前記骨格情報は、前記乗客の肘の関節点の位置を示す情報を更に含み、
前記つかまり判定手段は、前記車内映像において、前記肘の関節点と前記手首の関節点とを通る直線上で、かつ前記手首の関節点から、前記肘の関節点とは反対側に前記肘の関節点と前記手首の関節点との間の距離に所定の係数を乗算した距離だけ離れた点と、前記手首の関節点との間に前記ポールが存在する場合、前記乗客はポールをつかんでいると判定する付記２に記載の情報処理装置。

【0076】

［付記６］
前記骨格情報は、前記乗客の肘の関節点の位置を示す情報を更に含み、
前記つかまり判定手段は、前記車内映像において、前記手首の関節点を基点として、前記肘の関節点とは反対側に、前記肘の関節点と前記手首の関節点との間の距離に所定の係数を乗算した距離だけ離れた点を通る扇形の領域に、前記ポールの一部が存在する場合、前記乗客はポールをつかんでいると判定する付記２に記載の情報処理装置。

【0077】

［付記７］
前記骨格情報取得手段は、前記車内映像に基づいて前記乗客の骨格構造を推定し、該推定した骨格構造に基づいて前記肘の関節点の位置及び前記手首の関節点の位置を検出する付記５又は６に記載の情報処理装置。

【0078】

［付記８］
前記車内映像に基づいて前記ポールの位置を取得するポール位置取得手段を更に有する付記１から７何れか１つに記載の情報処理装置。

【0079】

［付記９］
前記ポール位置取得手段は、色情報を用いて、前記車内映像における前記ポールの領域を識別し、前記ポールの位置を検出する付記８に記載の情報処理装置。

【0080】

［付記１０］
前記つかまり判定手段は、前記移動体の車室の床上における前記乗客の位置、及び前記ポールの位置を特定し、前記床上における前記乗客の位置と前記床上における前記ポールの位置との位置関係に基づいて、前記乗客がつかむことができるポールを抽出し、前記乗客が前記抽出したポールにつかんでいるか否かを判定する付記１から９何れか１つに記載の情報処理装置。

【0081】

［付記１１］
前記つかまり判定手段は、前記床上における前記乗客の位置から、前記乗客の腕が届く範囲に存在するポールを、前記乗客がつかむことができるポールとして抽出する付記１０に記載の情報処理装置。

【0082】

［付記１２］
前記つかまり判定手段は、前記骨格情報に基づいて前記乗客の身長を推定し、該推定した乗客の身長に応じて前記乗客の腕が届く範囲を設定する付記１１に記載の情報処理装置。

【0083】

［付記１３］
前記つかまり判定手段は、前記車内映像において前記ポールが前記車室内の床に取り付けられていない場合、前記ポールを前記床の方向に延長し、前記ポールの前記床上での位置を推定する付記１０から１２何れか１つに記載の情報処理装置。

【0084】

［付記１４］
前記アラート出力手段は、前記移動体から受信した車両情報に基づいて、所定の発報条件が満たされているか否かを判断し、前記つかまり判定手段が前記乗客がポールにつかんでいないと判断した場合で、かつ前記発報条件が満たされていると判断した場合、前記アラートを出力する付記１から１３何れか１つに記載の情報処理装置。

【0085】

［付記１５］
前記車両情報は前記移動体の速度を示す情報を含み、
前記アラート出力手段は、前記車両情報に基づいて前記移動体が走行中であるか否かを判断し、前記移動体が走行中であると判断した場合、前記発報条件が満たされていると判断する付記１４に記載の情報処理装置。

【0086】

［付記１６］
前記車両情報は前記移動体のドアの開閉状態を示す情報を含み、
前記アラート出力手段は、前記車両情報に基づいて前記移動体においてドアが閉じられたか否かを判断し、前記ドアが閉じられたと判断した場合、前記発報条件が満たされていると判断する付記１４又は１５に記載の情報処理装置。

【0087】

［付記１７］
前記アラート出力手段は、前記移動体に前記アラートを出力する付記１から１６何れか１つに記載の情報処理装置。

【0088】

［付記１８］
前記アラート出力手段は、前記移動体を遠隔で監視する遠隔監視装置に、前記アラートを出力する付記１から１７何れか１つに記載の情報処理装置。

【0089】

［付記１９］
車室内を撮影するカメラを有する移動体と、
前記移動体の乗客を監視する情報処理装置とを有し、
前記情報処理装置は、
前記カメラから取得される車内映像を解析し、前記移動体に乗車する１以上の乗客のそれぞれの骨格情報を取得する骨格情報取得手段と、
前記乗客の骨格情報と、前記移動体内のポールの位置とに基づいて、前記乗客が前記ポールをつかんでいるか否かを判定するつかまり判定手段と、
前記乗客が前記ポールをつかんでいないと判断された場合、アラートを出力するアラート出力手段とを有する、システム。

【0090】

［付記２０］
前記骨格情報は、前記乗客の手首の関節点の位置を示す情報を含み、
前記つかまり判定手段は、前記車内映像において、前記手首の関節点から前記ポールまでの最短距離がしきい値以下の場合、前記乗客は前記ポールにつかんでいると判定する付記１９に記載のシステム。

【0091】

［付記２１］
前記骨格情報は、前記乗客の手首の関節点の位置を示す情報、及び前記乗客の肘の関節点の位置を示す情報を含み、
前記つかまり判定手段は、前記車内映像において、前記肘の関節点と前記手首の関節点とを通る直線上で、かつ前記手首の関節点から、前記肘の関節点とは反対側に前記肘の関節点と前記手首の関節点との間の距離に所定の係数を乗算した距離だけ離れた点と、前記手首の関節点との間に前記ポールが存在する場合、前記乗客はポールをつかんでいると判定する付記１９に記載のシステム。

【0092】

［付記２２］
前記骨格情報は、前記乗客の手首の関節点の位置を示す情報、及び前記乗客の肘の関節点の位置を示す情報を含み、
前記つかまり判定手段は、前記車内映像において、前記手首の関節点を基点として、前記肘の関節点とは反対側に、前記肘の関節点と前記手首の関節点との間の距離に所定の係数を乗算した距離だけ離れた点を通る扇形の領域に、前記ポールの一部が存在する場合、前記乗客はポールをつかんでいると判定する付記１９に記載のシステム。

【0093】

［付記２３］
前記アラート出力手段は、前記移動体にアラートを出力する付記１９から２２何れか１つに記載のシステム。

【0094】

［付記２４］
前記移動体は、自動運転が可能に構成され、前記移動体が自動運転で運転されている場合で、かつ前記アラート出力手段から前記アラートが出力された場合、前記自動運転のパラメータを、前記アラートが出力される前の自動運転のパラメータから変更する付記２３に記載のシステム。

【0095】

［付記２５］
前記移動体を遠隔で監視する遠隔監視装置を更に有し、
前記アラート出力手段は、前記遠隔監視装置にアラートを出力する付記１９から２４何れか１つに記載のシステム。

【0096】

［付記２６］
移動体の車室内を撮影するカメラから取得される車内映像を解析し、前記移動体に乗車する１以上の乗客のそれぞれの骨格情報を取得し、
前記乗客の骨格情報と、前記移動体内のポールの位置とに基づいて、前記乗客が前記ポールをつかんでいるか否かを判定し、
前記乗客が前記ポールをつかんでいないと判断された場合、アラートを出力する情報処理方法。

【0097】

［付記２７］
移動体の車室内を撮影するカメラから取得される車内映像を解析し、前記移動体に乗車する１以上の乗客のそれぞれの骨格情報を取得し、
前記乗客の骨格情報と、前記移動体内のポールの位置とに基づいて、前記乗客が前記ポールをつかんでいるか否かを判定し、
前記乗客が前記ポールをつかんでいないと判断された場合、アラートを出力する処理をプロセッサに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。

【符号の説明】

【0098】

１０：システム
３０：移動体
３１：カメラ
５０：情報処理装置
５１：骨格情報取得手段
５２：つかまり判定手段
５３：アラート出力手段
１００：システム
１１０：情報処理装置（乗客見守り装置）
１１１：映像取得部
１１２：車両情報取得部
１１３：骨格情報取得部
１１４：ポール位置取得部
１１５：つかまり判定部
１１６：アラート出力部
１３０：遠隔監視装置
２００：移動体
２０１：車内カメラ
２０２：車両情報取得部
２０３：通信装置
２０４：表示装置
２０５：自動運転ＥＣＵ
２０６：放送装置
３０１：手首の関節点
３０２：肘の関節点
４０１－４０４：ポール
４１１、４１２：乗客

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】