特許 7091007 転倒防止システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-17

(45)【発行日】2022-06-27

(54)【発明の名称】転倒防止システム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20220620BHJP

   G08B 21/02 20060101ALI20220620BHJP

   G08B 25/04 20060101ALI20220620BHJP

   G08B 25/00 20060101ALI20220620BHJP

   H04N 7/18 20060101ALI20220620BHJP

   G06T 7/00 20170101ALI20220620BHJP

【ＦＩ】

G06T7/20 300A

G08B21/02

G08B25/04 K

G08B25/00 510M

H04N7/18 D

G06T7/00 350B

G06T7/00 660B

【請求項の数】 6

(21)【出願番号】P 2020052176

(22)【出願日】2020-03-24

(65)【公開番号】P2021152688

(43)【公開日】2021-09-30

【審査請求日】2021-06-17

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和１年１０月２３日第４６回東京モーターショー２０１９で発表

(73)【特許権者】

【識別番号】000006895

【氏名又は名称】矢崎総業株式会社

(74)【代理人】

【識別番号】110001771

【氏名又は名称】特許業務法人虎ノ門知的財産事務所

(72)【発明者】

【氏名】三宅 英斗

(72)【発明者】

【氏名】石井 宏二

(72)【発明者】

【氏名】齊藤 大輝

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２０２０－３９３６（ＪＰ，Ａ）

【文献】特開２０２０－３４９６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

Ｇ０８Ｂ ２１／０２

Ｇ０８Ｂ ２５／０４

Ｇ０８Ｂ ２５／００

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

監視対象空間の画像を撮像する撮像部と、
前記撮像部によって撮像された前記画像に含まれる人物を表す骨格モデルを生成する骨格モデル生成部と、
前記骨格モデル生成部によって生成された前記骨格モデルに基づいて、前記骨格モデルに対応する前記人物の状態として、当該人物が立っている状態と、当該人物が座っている状態とを区別して判定する判定部と、
前記判定部による判定結果に基づいて、当該判定結果に応じた処理であって前記人物の転倒を防止する転倒防止処理を実行可能である動作処理部と備え、
前記骨格モデル生成部は、前記画像内において認識した前記人物が存在する領域の外側をバウンディングボックスで囲い、当該バウンディングボックス内の前記人物の人体の各骨格部位を組み合わせて当該人物の前記骨格モデルを生成し、
前記判定部は、前記骨格モデル生成部によって生成された前記骨格モデルにおける前記各骨格部位の相対的な位置関係、相対距離、前記バウンディングボックスの大きさに基づいて、前記骨格モデルに対応する前記人物の状態として、当該人物が立っている状態と、当該人物が座っている状態とを区別して判定することを特徴とする、
転倒防止システム。

【請求項2】

案内を行う案内部を備え、
前記動作処理部は、前記判定部によって前記骨格モデルに対応する前記人物が立っている状態であるものと判定された場合、前記転倒防止処理として、前記案内部を制御し当該人物に対して着座を案内する案内処理を実行する、
請求項１に記載の転倒防止システム。

【請求項3】

報知を行う報知部を備え、
前記動作処理部は、前記判定部によって前記骨格モデルに対応する前記人物が立っている状態であるものと判定された場合、前記転倒防止処理として、前記報知部を制御し当該人物とは異なる他の人物に対して当該人物が立っている状態である旨を報知する第１報知処理を実行する、
請求項１又は請求項２に記載の転倒防止システム。

【請求項4】

前記監視対象空間の外部の外部機器と通信可能である外部通信部を備え、
前記動作処理部は、前記案内処理を実行した後、予め定められた期間継続して、前記判定部によって前記骨格モデルに対応する前記人物が立っている状態であるものと判定された場合、前記転倒防止処理として、前記外部通信部を制御し前記外部機器に対して当該人物が立っている状態である旨を通知する第１通知処理を実行する、
請求項２に記載の転倒防止システム。

【請求項5】

車両室内空間が前記監視対象空間とされた車両に搭載された車載機器と通信可能である内部通信部を備え、
前記動作処理部は、前記判定部によって前記骨格モデルに対応する前記人物が立っている状態であるものと判定された場合、前記転倒防止処理として、前記内部通信部を介して前記車載機器を制御し、前記車両の発進を禁止する発進禁止処理を実行する、
請求項１乃至請求項４のいずれか１項に記載の転倒防止システム。

【請求項6】

報知動作を行う報知部と、
前記監視対象空間の外部の外部機器と通信可能である外部通信部とを備え、
前記判定部は、前記骨格モデル生成部によって生成された前記骨格モデルに基づいて、前記骨格モデルに対応する前記人物の状態として、当該人物が立っている状態と、当該人物が座っている状態とに加えて、当該人物が転倒している状態も区別して判定し、
前記動作処理部は、前記判定部によって前記骨格モデルに対応する前記人物が転倒している状態であるものと判定された場合、前記報知部を制御し当該人物とは異なる他の人物に対して当該人物が転倒している状態である旨を報知する第２報知処理、又は、前記外部通信部を制御し前記外部機器に対して当該人物が転倒している状態である旨を通知する第２通知処理を実行する、
請求項１乃至請求項５のいずれか１項に記載の転倒防止システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、転倒防止システムに関する。

【背景技術】

【0002】

従来の転倒防止システムに関する技術として、例えば、特許文献１には、検知対象である人体を表す人体画像に基づいてアピアランス特徴量を抽出し、当該アピアランス特徴量を基に人体が転倒したことを検知する転倒検知装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６２１７６３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上述の特許文献１に記載の転倒検知装置は、例えば、より適正な転倒防止の点で更なる改善の余地がある。

【0005】

本発明は、上記の事情に鑑みてなされたものであって、適正に転倒防止を行うことができる転倒防止システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明に係る転倒防止システムは、監視対象空間の画像を撮像する撮像部と、前記撮像部によって撮像された前記画像に含まれる人物を表す骨格モデルを生成する骨格モデル生成部と、前記骨格モデル生成部によって生成された前記骨格モデルに基づいて、前記骨格モデルに対応する前記人物の状態として、当該人物が立っている状態と、当該人物が座っている状態とを区別して判定する判定部と、前記判定部による判定結果に基づいて、当該判定結果に応じた処理であって前記人物の転倒を防止する転倒防止処理を実行可能である動作処理部と備え、前記骨格モデル生成部は、前記画像内において認識した前記人物が存在する領域の外側をバウンディングボックスで囲い、当該バウンディングボックス内の前記人物の人体の各骨格部位を組み合わせて当該人物の前記骨格モデルを生成し、前記判定部は、前記骨格モデル生成部によって生成された前記骨格モデルにおける前記各骨格部位の相対的な位置関係、相対距離、前記バウンディングボックスの大きさに基づいて、前記骨格モデルに対応する前記人物の状態として、当該人物が立っている状態と、当該人物が座っている状態とを区別して判定することを特徴とする。

【0007】

また、上記転倒防止システムでは、案内を行う案内部を備え、前記動作処理部は、前記判定部によって前記骨格モデルに対応する前記人物が立っている状態であるものと判定された場合、前記転倒防止処理として、前記案内部を制御し当該人物に対して着座を案内する案内処理を実行するものとすることができる。

【0008】

また、上記転倒防止システムでは、報知を行う報知部を備え、前記動作処理部は、前記判定部によって前記骨格モデルに対応する前記人物が立っている状態であるものと判定された場合、前記転倒防止処理として、前記報知部を制御し当該人物とは異なる他の人物に対して当該人物が立っている状態である旨を報知する第１報知処理を実行するものとすることができる。

【0009】

また、上記転倒防止システムでは、前記監視対象空間の外部の外部機器と通信可能である外部通信部を備え、前記動作処理部は、前記案内処理を実行した後、予め定められた期間継続して、前記判定部によって前記骨格モデルに対応する前記人物が立っている状態であるものと判定された場合、前記転倒防止処理として、前記外部通信部を制御し前記外部機器に対して当該人物が立っている状態である旨を通知する第１通知処理を実行するものとすることができる。

【0010】

また、上記転倒防止システムでは、車両室内空間が前記監視対象空間とされた車両に搭載された車載機器と通信可能である内部通信部を備え、前記動作処理部は、前記判定部によって前記骨格モデルに対応する前記人物が立っている状態であるものと判定された場合、前記転倒防止処理として、前記内部通信部を介して前記車載機器を制御し、前記車両の発進を禁止する発進禁止処理を実行するものとすることができる。

【0011】

また、上記転倒防止システムでは、報知動作を行う報知部と、前記監視対象空間の外部の外部機器と通信可能である外部通信部とを備え、前記判定部は、前記骨格モデル生成部によって生成された前記骨格モデルに基づいて、前記骨格モデルに対応する前記人物の状態として、当該人物が立っている状態と、当該人物が座っている状態とに加えて、当該人物が転倒している状態も区別して判定し、前記動作処理部は、前記判定部によって前記骨格モデルに対応する前記人物が転倒している状態であるものと判定された場合、前記報知部を制御し当該人物とは異なる他の人物に対して当該人物が転倒している状態である旨を報知する第２報知処理、又は、前記外部通信部を制御し前記外部機器に対して当該人物が転倒している状態である旨を通知する第２通知処理を実行するものとすることができる。

【発明の効果】

【0012】

本発明に係る転倒防止システムは、撮像部によって監視対象空間の画像を撮像し、骨格モデル生成部によって当該画像に含まれる人物を表す骨格モデルを生成する。そして、判定部は、骨格モデル生成部によって生成された骨格モデルに基づいて、骨格モデルに対応する人物の状態として、当該人物が立っている状態と、当該人物が座っている状態とを区別して判定する。そして、動作処理部は、判定部による判定結果に基づいて、当該判定結果に応じた転倒防止処理を実行可能である。この場合に、転倒防止システムは、上記のように、骨格モデルに基づいて、人物が立っている状態と、人物が座っている状態とを区別して判定することで、人物の状態をより詳細、かつ、正確に判定することができる。この結果、転倒防止システムは、より正確な状態判定に基づいて適正に転倒防止を行うことができる、という効果を奏する。

【図面の簡単な説明】

【0013】

【図1】図１は、実施形態に係る転倒防止システムの概略構成を表すブロック図である。

【図2】図２は、実施形態に係る転倒防止システムの搭載例を表す模式的な断面図である。

【図3】図３は、実施形態に係る転倒防止システムにおける骨格モデルに基づく状態判定の一例を説明する模式図である。

【図4】図４は、実施形態に係る転倒防止システムにおける制御の一例を表すフローチャート図である。

【図5】図５は、実施形態に係る転倒防止システムにおける制御の一例を表すフローチャート図である。

【発明を実施するための形態】

【0014】

以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

【0015】

［実施形態］
図１、図２に示す本実施形態の転倒防止システム１は、監視対象空間ＳＰに存在する人物Ｐの状態を監視し当該人物Ｐの転倒を防止するシステムである。本実施形態の転倒防止システム１は、人物Ｐを乗車させ輸送することが可能な車両Ｖに搭載される車載システムを構成する。車両Ｖは、車両室内空間ＩＮが転倒防止システム１による監視対象空間ＳＰとされる。言い換えれば、本実施形態の監視対象空間ＳＰは、人物Ｐを輸送することが可能な車両Ｖの車両室内空間ＩＮである。

【0016】

本実施形態の転倒防止システム１は、上記監視対象空間ＳＰを監視し、人物Ｐの状態に応じた転倒防止処理を行う構造的なモジュールである。ここでは、転倒防止システム１は、車両Ｖの外部に設けられる外部機器２０１と共に連携システムｓｙｓを構成する。連携システムｓｙｓは、車両Ｖに搭載される転倒防止システム１と、車両Ｖの外部に設けられ転倒防止システム１と相互に情報を送受信可能である外部機器２０１とを備える。

【0017】

そして、本実施形態の転倒防止システム１は、監視対象空間ＳＰに存在する人物Ｐの状態を、当該人物Ｐを表す骨格モデルＭＤＬ（図３参照）に基づいて判定することで、状態判定の精度を向上し、これに基づいたより適正な転倒防止を図ったものである。転倒防止システム１は、図１に示す構成要素を車両Ｖに搭載することで実現される。以下、各図を参照して転倒防止システム１の各構成について詳細に説明する。

【0018】

なお、図１に図示する転倒防止システム１において、電力供給、制御信号、各種情報等の授受のための各構成要素間の接続方式は、特に断りのない限り、有線による接続、無線による接続のいずれであってもよい。有線による接続とは、例えば、電線や光ファイバ等の配索材を介した接続である。無線による接続とは、例えば、無線通信、非接触給電等による接続である。

【0019】

また、転倒防止システム１が適用される車両Ｖは、電気車両（ＥＶ（Ｅｌｅｃｔｒｉｃ Ｖｅｈｉｃｌｅ））、ハイブリッド車両（ＨＥＶ（Ｈｙｂｒｉｄ Ｅｌｅｃｔｒｉｃ Ｖｅｈｉｃｌｅ））、プラグインハイブリッド車両（ＰＨＥＶ（Ｐｌｕｇ－ｉｎ Ｈｙｂｒｉｄ Ｅｌｅｃｔｒｉｃ Ｖｅｈｉｃｌｅ））、ガソリン車両、ディーゼル車両など、駆動源としてモータ又はエンジンを用いるいずれの車両であってもよい。また、当該車両Ｖの運転は、運転者による手動運転、半自動運転、完全自動運転等、いずれであってもよい。また、当該車両Ｖは、いわゆる個人が所有する自家用車、レンタカー、シェアリングカー、バス、タクシー、ライドシェアカーのいずれであってもよい。以下の説明では、一例として、車両Ｖは、バス、タクシー、ライドシェリングカー等、特定の事業者等によって管理され不特定多数の利用者によって利用され、利用者によって予約された乗降位置に自動で移動する完全自動運転可能な車両であるものとして説明する。完全自動運転の場合、車両Ｖに運転者自体が不在となる場合もありうる。また、外部機器２０１は、例えば、車両Ｖを運用する事業者等の施設に設けられる。

【0020】

具体的には、転倒防止システム１は、図１、図２に示すように、撮像部２と、情報出力部３と、マイク４と、報知部５と、外部通信部６と、内部通信部７と、制御装置８とを備える。情報出力部３、報知部５、外部通信部６、内部通信部７等は、転倒防止システム１において、人物Ｐの転倒を防止する種々の転倒防止動作を行う動作部を構成するものである。転倒防止システム１は、例えば、これらの構成要素が筐体等に組み付けられユニット化された上で車両Ｖの屋根部材（ルーフ）ＲＦに設けられることで、種々の機能を統合したオーバーヘッドモジュール（ＯＨＭ：Ｏｖｅｒ－Ｈｅａｄ Ｍｏｄｕｌｅ）やルーフモジュール（ＲＭ：Ｒｏｏｆ Ｍｏｄｕｌｅ）等を構成してもよい。また、転倒防止システム１は、例えば、各部が車両Ｖに個別に設けられてもよい。

【0021】

撮像部２は、監視対象空間ＳＰの画像を撮像するものである。撮像部２は、例えば、２次元画像を撮像可能な単眼カメラであってもよいし、３次元画像を撮像可能なステレオカメラであってもよい。また、撮像部２は、いわゆるＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラ等であってもよい。撮像部２は、監視対象空間ＳＰを構成する車両室内空間ＩＮの全乗員を撮像可能な位置に設けられる。撮像部２は、例えば、車両Ｖの車両室内空間ＩＮの上方、ここでは、屋根部材ＲＦに配置され、撮像範囲に車両室内空間ＩＮの全領域が含まれるように画角が設定されている。撮像部２は、１つで車両室内空間ＩＮの全域をカバーできない場合には複数が設けられ当該複数によって車両室内空間ＩＮの全域をカバーするように構成されてもよい。撮像部２によって撮像された画像は、典型的には、制御装置８によって人物Ｐの状態判定に用いられる。

【0022】

情報出力部３は、車両室内空間ＩＮ（監視対象空間ＳＰ）に向けて種々の情報を出力可能なものである。本実施形態の情報出力部３は、後述する案内動作を行う案内部を構成するものであり、各種情報を出力することで種々の案内（アナウンス）を行う。情報出力部３は、一例として、ディスプレイ３ａ、スピーカ３ｂを含んで構成される。

【0023】

ディスプレイ３ａは、車両室内空間ＩＮに向けて画像情報（視覚情報）を表示（出力）するものである。ディスプレイ３ａは、例えば、薄型の液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等によって構成される。ディスプレイ３ａは、車両室内空間ＩＮ内の人物Ｐから目視可能な位置に画像情報を表示する。

【0024】

スピーカ３ｂは、車両室内空間ＩＮに向けて音情報（聴覚情報）を出力するものである。スピーカ３ｂは、例えば、車両室内空間ＩＮにおいて、情報を提示したい特定の人物Ｐにのみ音情報を聴き取り可能とする指向性の高いものを用いてもよい。

【0025】

なお、情報出力部３は、ディスプレイ３ａ、スピーカ３ｂの他、表示灯、インジケータ等を含んで構成されてもよい。

【0026】

マイク４は、車両室内空間ＩＮで発生した音を電気信号に変換する集音装置である。マイク４は、例えば、車両室内空間ＩＮの外部の人物（例えば、後述するオペレータ等）との音声のやり取りに使用することができる。

【0027】

報知部５は、後述する報知動作を行うものであり、車両室内空間ＩＮ（監視対象空間ＳＰ）の内外の人物Ｐに対して種々の情報を報知可能なものである。報知部５は、典型的には、転倒防止システム１による監視の対象となる人物Ｐとは異なる人物、例えば、車両Ｖにおけるサービスをサポートする人物や車両Ｖが手動運転車の場合には運転者等に対して各種情報を出力することで種々の報知を行う。報知部５は、上述の情報出力部３と同様に、例えば、スピーカ、ディスプレイ、表示灯、インジケータ等を含んで構成される。また、報知部５は、上述の情報出力部３が兼用されてもよい。

【0028】

外部通信部６は、車両Ｖに搭載される無線通信機能部品であり、車両室内空間ＩＮ（監視対象空間ＳＰ）の外部の外部機器２０１と通信可能なものである。外部通信部６は、車両Ｖと当該車両Ｖの外部のネットワークＮとを無線により接続する通信モジュール（Ｄａｔａ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｍｏｄｕｌｅ）である。

【0029】

ここで、ネットワークＮは、転倒防止システム１と車両Ｖの外部機器２０１とを通信可能に接続するものである。ネットワークＮは、有線または無線を問わず、任意の通信網を用いることができる。外部通信部６は、ネットワークＮに接続された機器と転倒防止システム１との間で情報の送受信を行う。

【0030】

外部通信部６は、例えば、広域無線、狭域無線等、種々の方式の無線通信によりネットワークＮを介して車両Ｖの外部の機器と通信可能である。ここで、広域無線の方式は、例えば、ラジオ（ＡＭ、ＦＭ）、ＴＶ（ＵＨＦ、４Ｋ、８Ｋ）、ＴＥＬ、ＧＰＳ、ＷｉＭＡＸ（登録商標）等である。また、狭域無線の方式は、例えば、ＥＴＣ／ＤＳＲＣ、ＶＩＣＳ（登録商標）、無線ＬＡＮ、ミリ波通信等である。本実施形態の外部通信部６は、少なくともネットワークＮを介して、当該ネットワークＮに接続された外部機器２０１との間で情報の送受信を行う。つまり、本実施形態の外部通信部６は、車両Ｖの外部の機器として、少なくとも外部機器２０１と通信可能に構成される。

【0031】

内部通信部７は、車両Ｖに搭載される通信中継機能部品であり、車両Ｖに搭載された車載機器１０１と通信可能なものである。内部通信部７は、車載ネットワーク等を介して車両Ｖに搭載されたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１００や車載機器１０１と通信可能に構成される。つまり、内部通信部７は、車両Ｖに搭載されるＥＣＵ１００や車載機器１０１と種々の情報を送受信可能に構成される。

【0032】

ここで、ＥＣＵ１００は、車載機器１０１等を含む車両Ｖの全体を統括的に制御する電子制御ユニットである。このＥＣＵ１００は、転倒防止システム１の一部として構成されていてもよい。言い換えれば、転倒防止システム１は、ＥＣＵ１００を備える構成であってもよい。車載機器１０１は、車両Ｖに搭載され、種々の機能を実現させる機器である。内部通信部７は、ＥＣＵ１００を介して、当該ＥＣＵ１００に接続された複数の車載機器１０１との間で情報の送受信を行う。本実施形態の複数の車載機器１０１は、例えば、車両Ｖを走行させるための種々の機器として走行系アクチュエータを含んで構成される。走行系アクチュエータは、典型的には、走行用パワートレーン、操舵装置、制動装置等を含んで構成される。走行用パワートレーンは、車両Ｖを走行させる駆動装置である。操舵装置は、車両Ｖの操舵を行う装置である。制動装置は、車両Ｖの制動を行う装置である。また、車載機器１０１は、車両Ｖの照明機器、空調機器、表示機器、音響機器等を含んで構成されてもよい。

【0033】

制御装置８は、転倒防止システム１の各部を統括的に制御するものである。制御装置８は、車両室内空間ＩＮの状況を監視し、状況に応じて様々な対応処理を行うための種々の演算処理を実行する。制御装置８は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の中央演算処理装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びインターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。制御装置８は、撮像部２、情報出力部３、マイク４、報知部５、外部通信部６、内部通信部７等が電気的に接続される。制御装置８は、各種の検出信号や各部を駆動させるための駆動信号等の各種の電気信号を各部との間で相互に授受することができる。

【0034】

具体的には、制御装置８は、機能概念的に、インターフェース部８Ａ、記憶部８Ｂ、及び、処理部８Ｃを含んで構成される。インターフェース部８Ａ、記憶部８Ｂ、及び、処理部８Ｃは、電気的に接続されている各種機器との間で種々の情報を相互に授受することができる。

【0035】

インターフェース部８Ａは、撮像部２、情報出力部３、マイク４、報知部５、外部通信部６、内部通信部７等の転倒防止システム１の各部と種々の情報を送受信するためのインターフェースである。インターフェース部８Ａは、各部との間で電線等を介して情報を有線通信する機能、各部との間で無線通信ユニット等を介して情報を無線通信する機能等を有している。

【0036】

記憶部８Ｂは、種々の情報を記憶する記憶装置である。記憶部８Ｂは、例えば、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスクなどの比較的に大容量の記憶装置、あるいは、ＲＡＭ、フラッシュメモリ、ＮＶＳＲＡＭ（Ｎｏｎ Ｖｏｌａｔｉｌｅ Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのデータを書き換え可能な半導体メモリであってもよい。記憶部８Ｂは、制御装置８での各種処理に必要な条件や情報、制御装置８で実行する各種プログラムやアプリケーション、制御データ等が格納されている。記憶部８Ｂは、例えば、車両室内空間ＩＮ（監視対象空間ＳＰ）の人物Ｐの状態判定に用いられる学習済みの数理モデル等を記憶する。また、記憶部８Ｂは、例えば、撮像部２によって撮像された画像の画像情報、情報出力部３、報知部５から出力される出力情報、外部通信部６、内部通信部７によって受信された各種情報等を一時的に記憶することもできる。記憶部８Ｂは、処理部８Ｃ等によってこれらの情報が必要に応じて読み出される。

【0037】

処理部８Ｃは、各種入力信号等に基づいて、記憶部８Ｂに記憶されている各種プログラムを実行し、当該プログラムが動作することにより各部に出力信号を出力し各種機能を実現するための種々の処理を実行する部分である。

【0038】

本実施形態の処理部８Ｃは、車両室内空間ＩＮ（監視対象空間ＳＰ）に存在する人物Ｐの状態を、当該人物Ｐを表す骨格モデルＭＤＬ（図３参照）に基づいて判定し、当該判定結果に応じた転倒防止処理を実行可能である。

【0039】

本実施形態の処理部８Ｃは、上記各種処理を実行するために、機能概念的に、情報処理部８ａ、骨格モデル生成部８ｂ、判定部８ｃ、及び、動作処理部８ｄを含んで構成される。

【0040】

情報処理部８ａは、転倒防止システム１で用いる種々の情報に関する処理を実行可能な機能を有する部分である。情報処理部８ａは、例えば、撮像部２を制御し、車両Ｖの車両室内空間ＩＮ（監視対象空間ＳＰ）の画像を撮像させる処理を実行する。そして、情報処理部８ａは、撮像部２によって撮像された車両室内空間ＩＮの画像情報を記憶部８Ｂに記憶させる処理を実行する。

【0041】

また、情報処理部８ａは、外部通信部６を制御し、外部機器２０１との間で種々の情報を送受信させる処理を実行可能である。情報処理部８ａは、外部通信部６によって送信される情報を記憶部８Ｂから読み出す処理や外部通信部６によって受信された情報を記憶部８Ｂに記憶させる処理を実行可能である。例えば、情報処理部８ａは、撮像部２によって撮像された画像情報やマイク４によって集音された音情報を、外部通信部６を介して外部機器２０１に送信させる処理を実行可能である。さらには、情報処理部８ａは、ディスプレイ３ａ、スピーカ３ｂで出力させる出力情報を、外部通信部６を介して外部機器２０１から受信させる処理を実行可能である。転倒防止システム１は、情報処理部８ａによるこれらの処理により、外部機器２０１と相互に情報（例えば、音声情報や画像情報等）のやり取りが可能となる。

【0042】

また、情報処理部８ａは、内部通信部７を制御し、車載機器１０１との間で種々の情報を送受信させる処理を実行可能である。情報処理部８ａは、内部通信部７によって送信される情報を記憶部８Ｂから読み出す処理や内部通信部７によって受信された情報を記憶部８Ｂに記憶させる処理を実行する。また、情報処理部８ａは、例えば、ＥＣＵ１００を介して車載機器１０１との間で種々の情報を送受信させる処理を実行する。例えば、情報処理部８ａは、後述する動作処理部８ｄによって車載機器１０１等を動作させるための情報を、内部通信部７を介して当該車載機器１０１に送信させる処理を実行する。

【0043】

骨格モデル生成部８ｂは、撮像部２によって撮像された車両室内空間ＩＮ（監視対象空間ＳＰ）の画像に含まれる人物Ｐを表す骨格モデルＭＤＬ（図３参照）を生成する処理を実行可能な機能を有する部分である。骨格モデルＭＤＬは、人物Ｐの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等を含む人体骨格を３次元で表した人体モデルである。

【0044】

図３は、撮像部２によって撮像された車両室内空間ＩＮの画像Ｉの一例である。骨格モデル生成部８ｂは、例えば、背景差分法、Ｍｅａｎ Ｓｈｉｆｔ法、パターンマッチング、各種機械学習等、種々の公知の手法を用いて、撮像部２によって撮像された画像Ｉから当該画像Ｉに含まれる人物Ｐを表す骨格モデルＭＤＬを推定、生成する。

【0045】

骨格モデル生成部８ｂは、例えば、まず人物Ｐを検出した後に当該人物Ｐの骨格を推定するトップダウン型の骨格推定によって、画像Ｉに含まれる人物Ｐを表す骨格モデルＭＤＬを生成することができる。この場合、骨格モデル生成部８ｂは、種々の公知の物体認識技術を用いて、画像Ｉ内の人物Ｐを認識し、画像Ｉにおいて当該認識した人物Ｐが存在する領域の外側をバウンディングボックスＢＢで囲う処理を実行する。ここで、バウンディングボックスＢＢとは、画像Ｉにおいて認識された人物Ｐを囲うために必要な大きさの矩形状の枠である。そして、骨格モデル生成部８ｂは、当該バウンディングボックスＢＢ内の人物Ｐの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の人体の各骨格部位（人体パーツ）の３次元位置座標を検出し、これらを組み合わせて当該人物Ｐの骨格モデルＭＤＬを生成する。図３に例示する骨格モデルＭＤＬは、人物Ｐの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の人体の各骨格部位を「点」によって象徴的に表すと共にこれらを「線」でつなぎ合わせることで生成されている。骨格モデル生成部８ｂは、画像Ｉに含まれる人物Ｐが複数である場合には、当該人物Ｐの数に応じて複数の骨格モデルＭＤＬを生成する。

【0046】

なお、骨格モデル生成部８ｂは、例えば、バウンディングボックスＢＢ等を用いず画像Ｉ中の人体の各骨格部位を全て検出した後に人物Ｐの骨格を推定するボトムアップ型の骨格推定によって、画像Ｉに含まれる人物Ｐを表す骨格モデルを生成してもよい。この場合、骨格モデル生成部８ｂは、まず、種々の公知の物体認識技術を用いて、画像Ｉ中の人体の頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の各骨格部位の３次元位置座標を全て検出する。その後、骨格モデル生成部８ｂは、当該検出した各骨格部位を人物Ｐごとにマッチングさせて繋ぎ合わせていくことで、各人物Ｐの骨格モデルＭＤＬを生成する。

【0047】

判定部８ｃは、骨格モデル生成部８ｂによって生成された骨格モデルＭＤＬに基づいて、当該骨格モデルＭＤＬに対応する人物Ｐの状態を判定する処理を実行可能な機能を有する部分である。本実施形態の判定部８ｃは、骨格モデル生成部８ｂによって生成された骨格モデルＭＤＬに対応する人物Ｐの状態として、当該人物Ｐが立っている状態と、当該人物Ｐが座っている状態とを区別して判定する。図３に示す人物Ｐ１は、立っている状態を表しており、図３に示す人物Ｐ２は、車両室内空間ＩＮ内の座席Ｓに座っている状態を表している。本実施形態の判定部８ｃは、骨格モデル生成部８ｂによって生成された骨格モデルＭＤＬに基づいて、骨格モデルＭＤＬに対応する人物Ｐの状態として、当該人物Ｐが立っている状態と、当該人物Ｐが座っている状態とに加えて、当該人物Ｐが転倒している状態も区別して判定する。判定部８ｃは、撮像部２によって撮像された車両室内空間ＩＮ（監視対象空間ＳＰ）の画像Ｉに人物Ｐが含まれていた場合に、当該人物Ｐに対してこれらの状態判定を行う。

【0048】

この転倒防止システム１は、例えば、骨格モデルＭＤＬにおける各骨格部位の相対的な位置関係や相対距離、バウンディングボックスＢＢの大きさ等をパラメータとして、予め各種機械学習により、人物Ｐが立っている状態、座っている状態、転倒している状態を学習しておく。例えば、転倒防止システム１は、予め収集された「骨格モデルＭＤＬにおける各骨格部位の相対的な位置関係、相対距離、バウンディングボックスＢＢの大きさ」等を説明変数とし 、「立っている状態であるか、座っている状態であるか、転倒している状態であるか」等を目的変数として機械学習を行う。機械学習としては、例えば、ロジスティック回帰、サポートベクトルマシン、ニューラルネットワーク、ランダムフォレスト等、本実施形態に適用可能な様々な形式のアルゴリズムを用いることができる。転倒防止システム１は、この機械学習によって得られた学習済みの状態判定用の数理モデル等を予め記憶部８Ｂに記憶しておく。

【0049】

そして、判定部８ｃは、上記にように記憶部８Ｂに記憶されている学習済みの状態判定用の数理モデル等に基づいた分類・回帰により、骨格モデルＭＤＬに対応する人物の状態を判定する。より具体的には、判定部８ｃは、実際に撮像された画像Ｉに含まれる人物Ｐの骨格モデルＭＤＬから得られる各骨格部位の相対的な位置関係、相対距離、バウンディングボックスＢＢの大きさを、当該状態判定用の数理モデルに入力する。これにより、判定部８ｃは、骨格モデルＭＤＬに対応する人物Ｐの状態として、当該人物Ｐが立っている状態と、当該人物Ｐが座っている状態と、当該人物Ｐが転倒している状態とを区別して判定する。

【0050】

動作処理部８ｄは、転倒防止システム１の各部の動作を制御する処理を実行可能な機能を有する部分である。本実施形態の動作処理部８ｄは、判定部８ｃによる判定結果に基づいて、当該判定結果に応じた処理であって人物Ｐの転倒を防止する転倒防止処理を実行可能である。動作処理部８ｄは、判定部による判定結果に基づいて、動作部を構成する情報出力部３、報知部５、外部通信部６、内部通信部７等を制御し、当該判定結果に応じて転倒防止処理を実行する。

【0051】

例えば、動作処理部８ｄは、人物Ｐが車両Ｖに乗車した後、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが立っている状態であるものと判定された場合、転倒防止処理として案内処理を実行する。この案内処理とは、情報出力部３を制御し当該人物Ｐに対して着座を案内する処理である。動作処理部８ｄは、転倒防止処理として当該案内処理を実行することで、例えば、情報出力部３を構成するディスプレイ３ａを制御し当該ディスプレイ３ａによって人物Ｐに対して着座を促すと共に転倒防止の注意喚起を促す案内表示を行う。また、動作処理部８ｄは、転倒防止処理として案内処理を実行することで、例えば、情報出力部３を構成するスピーカ３ｂを制御し当該スピーカ３ｂによって人物Ｐに対して着座を促すと共に転倒防止の注意喚起を促す音声案内を行うようにしてもよい。

【0052】

この場合、動作処理部８ｄは、さらに、案内処理を実行した後、予め定められた期間継続して、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが立っている状態であるものと判定された場合、転倒防止処理として第１通知処理を実行するようにしてもよい。この第１通知処理とは、外部通信部６を制御し外部機器２０１に対して当該人物Ｐが立っている状態である旨を通知する処理である。

【0053】

ここで、外部機器２０１について簡単に説明しておく。外部機器２０１は、上述したように、例えば、車両Ｖを運用する事業者等の施設に設けられる。外部機器２０１は、車両Ｖの外部のネットワークＮ上に実装されるクラウドサービス機器を構成するものであり、いわゆるクラウドサービスにおけるセンタを構成する。外部機器２０１は、転倒防止システム１（車両Ｖ）との間でネットワークＮを介して相互に情報を送受信することができる。外部機器２０１は、既知のＰＣやワークステーションなどのコンピュータシステムに種々の処理を実現させるアプリケーションをインストールすることで構成することもできる。転倒防止システム１は、当該外部通信部６を介して外部機器２０１と相互に通信し連携することで当該外部機器２０１から様々なクラウドサービスを受けることができる。

【0054】

一例として、外部機器２０１は、図１に例示するように、通信部２０２と、情報出力部２０３と、マイク２０４と、制御装置２０５とを備える。通信部２０２は、外部通信部６と同様に、ネットワークＮと通信可能な通信モジュールであり、ここでは、有線／無線によりネットワークＮを介して転倒防止システム１と通信可能である。情報出力部２０３は、情報出力部３と同様に、種々の情報を出力可能なものであり、ディスプレイ２０３ａ、スピーカ２０３ｂ等を含んで構成される。マイク２０４は、マイク４と同様に、音を電気信号に変換する集音装置であり、車両Ｖ内の人物Ｐ等との音声のやり取りに使用する。制御装置２０５は、外部機器２０１の各部を統括的に制御するものであり、制御装置８と同様に、機能概念的に、インターフェース部２０５Ａ、記憶部２０５Ｂ、及び、処理部２０５Ｃを含んで構成される。インターフェース部２０５Ａは、通信部２０２、情報出力部２０３、マイク２０４等の外部機器２０１の各部と種々の情報を送受信するためのインターフェースである。記憶部２０５Ｂは、種々の情報を記憶する記憶装置である。処理部２０５Ｃは、各種入力信号等に基づいて、記憶部２０５Ｂに記憶されている各種プログラムを実行し、当該プログラムが動作することにより各部に出力信号を出力し各種機能を実現するための種々の処理を実行する部分である。

【0055】

動作処理部８ｄは、転倒防止処理として当該第１通知処理を実行することで、例えば、上記のように構成される外部機器２０１を介して事業者のオペレータ等に対して車両Ｖに乗車した人物Ｐが未だ立っている状態であることを通知する。さらに、動作処理部８ｄは、通知を行った後、情報処理部８ａによる処理や外部通信部６を介して当該通知先の外部機器２０１との間で相互通信を行うようにしてもよい。この場合、動作処理部８ｄは、情報出力部３、２０３、マイク４、２０４等を介して、外部機器２０１と車両Ｖとの間で各種情報（例えば、音声情報や画像情報等）をやり取りすることで、車両Ｖ側の人物Ｐとの外部機器２０１側のオペレータ等とで直接、意思の疎通を図らせることができる。これにより、動作処理部８ｄは、例えば、外部機器２０１側のオペレータ等から直接、人物Ｐに着座するように促すことができる。

【0056】

また、動作処理部８ｄは、例えば、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが立っている状態であるものと判定された場合、転倒防止処理として第１報知処理を実行するようにしてもよい。この第１報知処理とは、報知部５を制御し当該人物Ｐとは異なる他の人物に対して当該人物Ｐが立っている状態である旨を報知する処理である。動作処理部８ｄは、転倒防止処理として当該第１報知処理を実行することで、例えば、報知部５を構成するスピーカ、ディスプレイ、表示灯、インジケータ等を制御し、人物Ｐとは異なる人物、例えば、車両Ｖにおけるサービスをサポートする人物や車両Ｖが手動運転車の場合には運転者等に対して当該人物Ｐが立っている状態である旨を報知する。

【0057】

さらに、動作処理部８ｄは、例えば、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが立っている状態であるものと判定された場合、転倒防止処理として発進禁止処理を実行するようにしてもよい。この発進禁止処理とは、内部通信部７を介して車載機器１０１を制御し、車両Ｖの発進を禁止する処理である。動作処理部８ｄは、転倒防止処理として当該発進禁止処理を実行することで、例えば、車載機器１０１を構成する走行系アクチュエータ等を制御し、車両Ｖを発進させないようにする。

【0058】

また、動作処理部８ｄは、例えば、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが転倒している状態であるものと判定された場合、第２報知処理、又は、第２通知処理を実行するようにしてもよい。

【0059】

この第２報知処理とは、報知部５を制御し当該人物Ｐとは異なる他の人物に対して当該人物Ｐが転倒している状態である旨を報知する処理である。動作処理部８ｄは、当該第２報知処理を実行することで、例えば、報知部５を構成するスピーカ、ディスプレイ、表示灯、インジケータ等を制御し、人物Ｐとは異なる人物、例えば、車両Ｖにおけるサービスをサポートする人物や車両Ｖが手動運転車の場合には運転者等に対して当該人物Ｐが転倒した状態である旨を報知する。

【0060】

一方、第２通知処理とは、外部通信部６を制御し外部機器２０１に対して当該人物Ｐが転倒している状態である旨を通知する処理である。動作処理部８ｄは、当該第２通知処理を実行することで、例えば、上記のように構成される外部機器２０１を介して事業者のオペレータ等に対して車両Ｖに乗車した人物Ｐが転倒した状態であることを通知する。動作処理部８ｄは、第１通知処理の場合と同様、通知を行った後、情報処理部８ａによる処理や外部通信部６を介して当該通知先の外部機器２０１との間で相互通信を行うようにしてもよい。これにより、動作処理部８ｄは、例えば、外部機器２０１側のオペレータ等から直接、転倒した人物Ｐの状態を確認させることができる。

【0061】

次に、図４、図５のフローチャート図を参照して転倒防止システム１おける制御の一例について説明する。図４の制御と図５の制御とは、並行して実行されてもよいし、一方が他方に組み込まれて実行されてもよい。

【0062】

図４の制御では、まず、制御装置８の情報処理部８ａは、人物Ｐが車両Ｖの車両室内空間ＩＮ（監視対象空間ＳＰ）に乗車すると、撮像部２を制御し車両室内空間ＩＮの画像Ｉを撮像させ、撮像された画像情報を記憶部８Ｂに記憶させる（ステップＳ１）。

【0063】

次に、制御装置８の骨格モデル生成部８ｂは、記憶部８Ｂに記憶された車両室内空間ＩＮの画像Ｉに基づいて、物体認識、骨格推定により、人物Ｐの各骨格部位の位置を検出し（ステップＳ２）、当該人物Ｐの骨格モデルＭＤＬを生成する（ステップＳ３）。

【0064】

次に、制御装置８の判定部８ｃは、ステップＳ３の処理で生成された骨格モデルＭＤＬに基づいて、機械学習により学習済みの状態判定用の数理モデル等を用いて、骨格モデルＭＤＬに対応する人物Ｐが立っている状態であるのか、座っている状態であるのかを検出する（ステップＳ４）。

【0065】

そして、判定部８ｃは、骨格モデルＭＤＬに対応する人物Ｐが立っている状態であるか否かを判定する（ステップＳ５）。判定部８ｃは、人物Ｐが立っている状態ではない、すなわち、座っている状態であると判定した場合（ステップＳ５：Ｎｏ）、この制御を終了する。

【0066】

制御装置８の動作処理部８ｄは、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが立っている状態であると判定された場合（ステップＳ５：Ｙｅｓ）、転倒防止処理を実行する（ステップＳ６）。動作処理部８ｄは、転倒防止処理として、例えば、上述した案内処理、第１報知処理、発進禁止処理等を実行する。

【0067】

そして、判定部８ｃは、ステップＳ６で転倒防止処理が実行された後、予め定められた期間（例えば、数分程度）経過後、骨格モデルＭＤＬに対応する人物Ｐがまだ立っている状態であるか否かを判定する（ステップＳ７）。判定部８ｃは、人物Ｐが立っている状態ではない、すなわち、座っている状態であると判定した場合（ステップＳ７：Ｎｏ）、この制御を終了する。

【0068】

動作処理部８ｄは、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐがまだ立っている状態であると判定された場合（ステップＳ７：Ｙｅｓ）、転倒防止処理として、上述した第１通知処理を実行し（ステップＳ８）、この制御を終了する。

【0069】

図５の制御では、まず、情報処理部８ａは、人物Ｐが車両Ｖの車両室内空間ＩＮ（監視対象空間ＳＰ）に乗車すると、撮像部２を制御し車両室内空間ＩＮの画像Ｉを撮像させ、撮像された画像情報を記憶部８Ｂに記憶させる（ステップＳ１０１）。

【0070】

次に、骨格モデル生成部８ｂは、記憶部８Ｂに記憶された車両室内空間ＩＮの画像Ｉに基づいて、物体認識、骨格推定により、人物Ｐの各骨格部位の位置を検出し（ステップＳ１０２）、当該人物Ｐの骨格モデルＭＤＬを生成する（ステップＳ１０３）。

【0071】

次に、制御装置８の判定部８ｃは、ステップＳ１０３の処理で生成された骨格モデルＭＤＬに基づいて、機械学習により学習済みの状態判定用の数理モデル等を用いて、骨格モデルＭＤＬに対応する人物Ｐが転倒した状態であるのかを検出する（ステップＳ１０４）。

【0072】

そして、判定部８ｃは、骨格モデルＭＤＬに対応する人物Ｐが転倒した状態であるか否かを判定する（ステップＳ１０５）。判定部８ｃは、人物Ｐが転倒した状態ではない、すなわち、座っている状態か立っている状態であると判定した場合（ステップＳ１０５：Ｎｏ）、この制御を終了する。

【0073】

動作処理部８ｄは、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが転倒した状態であると判定された場合（ステップＳ１０５：Ｙｅｓ）、上述した第２報知処理、又は、第２通知処理等を実行し（ステップＳ１０６）、この制御を終了する。

【0074】

以上で説明した転倒防止システム１は、撮像部２によって監視対象空間ＳＰの画像Ｉを撮像し、骨格モデル生成部８ｂによって当該画像Ｉに含まれる人物Ｐを表す骨格モデルＭＤＬを生成する。そして、判定部８ｃは、骨格モデル生成部８ｂによって生成された骨格モデルＭＤＬに基づいて、骨格モデルＭＤＬに対応する人物Ｐの状態として、当該人物Ｐが立っている状態と、当該人物Ｐが座っている状態とを区別して判定する。そして、動作処理部８ｄは、判定部８ｃによる判定結果に基づいて、当該判定結果に応じた転倒防止処理を実行可能である。この場合に、転倒防止システム１は、上記のように、骨格モデルＭＤＬに基づいて、人物Ｐが立っている状態と、人物Ｐが座っている状態とを区別して判定することで、人物Ｐの状態をより詳細、かつ、正確に判定することができる。また、判定部８ｃは、人物Ｐを含む画像だけでなく、当該人物Ｐの骨格モデルＭＤＬから姿勢や状態を判定しているため、例えば、人物Ｐが様々な動きをしている場合でも当該人物Ｐの状態をより適正に判定することができる。この結果、転倒防止システム１は、より正確な状態判定に基づいて適正に転倒防止を行うことができる。

【0075】

また、以上で説明した転倒防止システム１は、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが立っている状態であるものと判定された場合、動作処理部８ｄによって転倒防止処理として案内処理を実行することができる。この場合、転倒防止システム１は、立っている人物Ｐに対して着座を案内することができるので、人物Ｐの転倒を未然に防ぐことができる。

【0076】

また、以上で説明した転倒防止システム１は、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが立っている状態であるものと判定された場合、動作処理部８ｄによって転倒防止処理として第１報知処理を実行することができる。この場合、転倒防止システム１は、立っている人物Ｐとは異なる人物、例えば、車両Ｖにおけるサービスをサポートする人物や車両Ｖが手動運転車の場合には運転者等に対して立っている人物Ｐが存在することを報知することができる。この結果、転倒防止システム１は、サポートする人物や運転者等を通じて、人物Ｐの転倒を未然に防ぐことができる。

【0077】

また、以上で説明した転倒防止システム１は、案内処理を実行した後、予め定められた期間継続して判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが立っている状態であるものと判定された場合、動作処理部８ｄによって転倒防止処理として第１通知処理を実行してもよい。この場合、転倒防止システム１は、外部機器２０１を介して事業者のオペレータ等に対して立っている人物Ｐが存在することを通知することができる。これにより、転倒防止システム１は、例えば、外部機器２０１側のオペレータ等から直接、人物Ｐに着座するように促すことができ、人物Ｐの転倒を未然に防ぐことができる。

【0078】

また、以上で説明した転倒防止システム１は、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが立っている状態であるものと判定された場合、動作処理部８ｄによって転倒防止処理として発進禁止処理を実行することができる。この場合、転倒防止システム１は、監視対象空間ＳＰである車両室内空間ＩＮ内に立っている人物Ｐが存在した場合には、車両Ｖの発進を禁止することができるので、人物Ｐの転倒を未然に防ぐことができる。

【0079】

また、以上で説明した転倒防止システム１は、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが転倒している状態であるものと判定された場合、動作処理部８ｄによって第２報知処理、又は、第２通知処理を実行するようにしてもよい。この場合、転倒防止システム１は、車両Ｖにおけるサービスをサポートする人物や車両Ｖが手動運転車の場合には運転者、外部機器２０１側のオペレータ等に対して、人物Ｐが転倒した事実を逸早く伝えることができるので、迅速かつ適切な処置を実施させることができる。

【0080】

なお、上述した本発明の実施形態に係る転倒防止システムは、上述した実施形態に限定されず、特許請求の範囲に記載された範囲で種々の変更が可能である。

【0081】

以上の説明では、判定部８ｃは、骨格モデルＭＤＬが表す人物Ｐの状態として、当該人物Ｐが立っている状態と、当該人物Ｐが座っている状態とに加えて、当該人物Ｐが転倒している状態も区別して判定するものとして説明したがこれに限らない。判定部８ｃは、骨格モデルＭＤＬが表す人物Ｐの状態として、少なくとも当該人物Ｐが立っている状態と、当該人物Ｐが座っている状態とを区別して判定できるものであればよい。

【0082】

以上の説明では、転倒防止システム１は、情報出力部３、マイク４、報知部５、外部通信部６、内部通信部７とを備えるものとして説明したがこれに限らず、これらのいずれかを備えない構成であってもよい。

【0083】

以上の説明では、転倒防止処理は、案内処理、報知処理、第１報知処理、発進禁止処理等であるものとして説明したがこれに限らず、人物の転倒を防止する処理であれば他の処理であってもよい。

【0084】

以下の説明では、一例として、車両Ｖは、バス、タクシー、ライドシェリングカー等、特定の事業者等によって管理され、完全自動運転可能な車両であるものとして説明したがこれに限らない。車両Ｖは、例えば、車両Ｖの運転者による運転操作に応じて車両Ｖの挙動が制御される手動運転可能な車両であってもよい。

【0085】

以下の説明では、転倒防止システム１は、車両Ｖに搭載され、監視対象空間ＳＰは、車両室内空間ＩＮであるものとして説明したがこれに限らない。転倒防止システム１は、車両Ｖ以外の施設、例えば、介護施設等に適用されてもよく、監視対象空間ＳＰは、車両室内空間ＩＮにかえて当該施設の廊下空間や居室空間等であってもよい。

【0086】

以上で説明した制御装置８は、各部が別体に構成され、当該各部が各種の電気信号を相互に授受可能に接続されることで構成されてもよく、一部の機能が他の制御装置によって実現されてもよい。また、以上で説明したプログラム、アプリケーション、各種データ等は、適宜、更新されてもよいし、転倒防止システム１に対して任意のネットワークを介して接続されたサーバに記憶されていてもよい。以上で説明したプログラム、アプリケーション、各種データ等は、例えば、必要に応じてその全部又は一部をダウンロードすることも可能である。また、例えば、制御装置８が備える処理機能については、その全部又は任意の一部を、例えば、ＣＰＵ等及び当該ＣＰＵ等にて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジック等によるハードウェアとして実現してもよい。

【0087】

本実施形態に係る転倒防止システムは、以上で説明した実施形態、変形例の構成要素を適宜組み合わせることで構成してもよい。

【符号の説明】

【0088】

１ 転倒防止システム
２ 撮像部
３ 情報出力部（案内部）
３ａ、２０３ａ ディスプレイ
３ｂ、２０３ｂ スピーカ
４、２０４ マイク
５ 報知部
６ 外部通信部
７ 内部通信部
８、２０５ 制御装置
８Ａ、２０５Ａ インターフェース部
８Ｂ、２０５Ｂ 記憶部
８Ｃ、２０５Ｃ 処理部
８ａ 情報処理部
８ｂ 骨格モデル生成部
８ｃ 判定部
８ｄ 動作処理部
１００ ＥＣＵ
１０１ 車載機器
２０１ 外部機器
２０２ 通信部
２０３ 情報出力部
ＢＢ バウンディングボックス
Ｉ 画像
ＩＮ 車両室内空間
ＭＤＬ 骨格モデル
Ｎ ネットワーク
Ｐ、Ｐ１、Ｐ２ 人物
ＲＦ 屋根部材
Ｓ 座席
ＳＰ 監視対象空間
ｓｙｓ 連携システム

【図1】

【図2】

【図3】

【図4】

【図5】