ホーム > 特許ランキング > 財団法人車輌研究測試中心
知財求人 - 知財ポータルサイト「IP Force」
特開2024-49276キャビンモニタリング方法及び上記キャビンモニタリング方法を実行するキャビンモニタリングシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024049276
(43)【公開日】2024-04-09
(54)【発明の名称】キャビンモニタリング方法及び上記キャビンモニタリング方法を実行するキャビンモニタリングシステム
(51)【国際特許分類】
G06T 7/20 20170101AFI20240402BHJP
G08B 25/04 20060101ALI20240402BHJP
G08B 25/00 20060101ALI20240402BHJP
G08B 21/00 20060101ALI20240402BHJP
G06T 7/70 20170101ALI20240402BHJP
G06T 7/00 20170101ALI20240402BHJP
G06V 10/40 20220101ALI20240402BHJP
G06V 40/20 20220101ALI20240402BHJP
【ＦＩ】
G06T7/20 300
G08B25/04 E
G08B25/00 510M
G08B21/00 U
G06T7/70 Z
G06T7/00 650B
G06V10/40
G06V40/20
【審査請求】有
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2022197249
(22)【出願日】2022-12-09
(11)【特許番号】
(45)【特許公報発行日】2024-01-12
(31)【優先権主張番号】111136796
(32)【優先日】2022-09-28
(33)【優先権主張国・地域又は機関】TW
(71)【出願人】
【識別番号】592246761
【氏名又は名称】財団法人車輌研究測試中心
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】蘇 一峯
(72)【発明者】
【氏名】丁 子容
(72)【発明者】
【氏名】何 孟橿
【テーマコード（参考）】
5C086
5C087
5L096
【Ｆターム（参考）】
5C086AA26
5C086BA22
5C086CA06
5C086CA28
5C086CB36
5C086DA08
5C086FA01
5C086FA11
5C087AA02
5C087AA04
5C087AA19
5C087AA23
5C087AA31
5C087DD05
5C087DD14
5C087EE07
5C087GG02
5C087GG08
5C087GG66
5C087GG83
5L096BA02
5L096BA04
5L096CA02
5L096DA02
5L096DA03
5L096EA06
5L096EA26
5L096FA62
5L096FA67
5L096FA69
5L096HA08
5L096HA11
5L096KA04
(57)【要約】 （修正有）
【課題】ローコストでキャビン内の全空間をモニタリングできるキャビンモニタリング方法及びキャビンモニタリングシステムを提供する。
【解決手段】移動する乗り物のキャビン内に配置されてキャビン内の一連の画像を撮影する撮影装置と、キャビン内に対して電波を送受信することにより一連の点群データを取得するレーダー装置とを備えるキャビンモニタリングシステムであって、撮影装置から一連のターゲット画像を取得し、受信した点群データに対してターゲット点群データを取得し、生物の位置の検知に用いられる生物位置検知モデルを利用して少なくとも１つの生物位置データを取得し、生物位置データに基づき、且つ、生物の顔面の特徴の検知に用いられる顔面検知モデルを利用して、少なくとも１つの顔面特徴データを取得し、顔面特徴データ及び少なくとも１つの生物骨格特徴データに基づいてキャビン内の状況のモニタリングを実行する。
【選択図】図２
【解決手段】移動する乗り物のキャビン内に配置されてキャビン内の一連の画像を撮影する撮影装置と、キャビン内に対して電波を送受信することにより一連の点群データを取得するレーダー装置とを備えるキャビンモニタリングシステムであって、撮影装置から一連のターゲット画像を取得し、受信した点群データに対してターゲット点群データを取得し、生物の位置の検知に用いられる生物位置検知モデルを利用して少なくとも１つの生物位置データを取得し、生物位置データに基づき、且つ、生物の顔面の特徴の検知に用いられる顔面検知モデルを利用して、少なくとも１つの顔面特徴データを取得し、顔面特徴データ及び少なくとも１つの生物骨格特徴データに基づいてキャビン内の状況のモニタリングを実行する。
【選択図】図２
【特許請求の範囲】
【請求項1】
移動する乗り物のキャビン内に配置されて上記キャビン内の一連の画像を撮影する撮影装置と上記キャビン内に対して電波を送受信することにより一連の点群データを取得するレーダー装置とに電気的に接続し、前記撮影装置から前記一連の画像を受信し、前記レーダー装置から前記一連の点群データを受信するコンピュータ装置により実行されるキャビンモニタリング方法であって、
所定の期間中において、前記レーダー装置から前記一連の点群データを候補点群データとして受信した後、受信した前記候補点群データに対して処理を実行してターゲット点群データを取得するステップＡと、
前記期間中において、前記撮影装置から受信した前記一連の画像である複数の候補画像からターゲット画像を取得するステップＢと、
前記ターゲット点群データ及び前記ターゲット画像に基づいて、統合画像を取得するステップＣと、
前記統合画像に基づき、且つ、生物の位置の検知に用いられる生物位置検知モデルを利用して少なくとも１つの生物における一体の前記統合画像における位置に関連付けられている少なくとも１つの生物位置データを取得する、ステップＤと、
前記統合画像及び前記少なくとも１つの生物位置データに基づき、且つ、生物の骨格特徴の検知に用いられる骨格検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の骨格の前記統合画像における位置を含む、少なくとも１つの生物骨格特徴データを取得する、ステップＥと、
前記統合画像及び前記少なくとも１つの生物位置データに基づき、且つ、生物の顔面の特徴の検知に用いられる顔面検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の複数の顔面器官の前記統合画像における位置を含む少なくとも１つの顔面特徴データを取得する、ステップＦと、
前記少なくとも１つの顔面特徴データ及び前記少なくとも１つの生物骨格特徴データに基づいてキャビン内の状況のモニタリングを実行する、ステップＧと、を含むことを特徴とするキャビンモニタリング方法。
所定の期間中において、前記レーダー装置から前記一連の点群データを候補点群データとして受信した後、受信した前記候補点群データに対して処理を実行してターゲット点群データを取得するステップＡと、
前記期間中において、前記撮影装置から受信した前記一連の画像である複数の候補画像からターゲット画像を取得するステップＢと、
前記ターゲット点群データ及び前記ターゲット画像に基づいて、統合画像を取得するステップＣと、
前記統合画像に基づき、且つ、生物の位置の検知に用いられる生物位置検知モデルを利用して少なくとも１つの生物における一体の前記統合画像における位置に関連付けられている少なくとも１つの生物位置データを取得する、ステップＤと、
前記統合画像及び前記少なくとも１つの生物位置データに基づき、且つ、生物の骨格特徴の検知に用いられる骨格検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の骨格の前記統合画像における位置を含む、少なくとも１つの生物骨格特徴データを取得する、ステップＥと、
前記統合画像及び前記少なくとも１つの生物位置データに基づき、且つ、生物の顔面の特徴の検知に用いられる顔面検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の複数の顔面器官の前記統合画像における位置を含む少なくとも１つの顔面特徴データを取得する、ステップＦと、
前記少なくとも１つの顔面特徴データ及び前記少なくとも１つの生物骨格特徴データに基づいてキャビン内の状況のモニタリングを実行する、ステップＧと、を含むことを特徴とするキャビンモニタリング方法。
【請求項2】
前記ステップＥと前記ステップＧの間に、各前記顔面特徴データに対し、該顔面特徴データが関連付けられている生物の各前記顔面器官の前記統合画像における位置に基づいて、これらの顔面器官における２つの瞳孔及び１つの鼻先のワールド座標における位置を示す顔面姿勢データを取得する、ステップＨが実行され、前記ステップＧにおいては、更に前記ステップＨにおいて取得した顔面姿勢データに基づいてキャビン内の状況のモニタリングを実行する、ことを特徴とする請求項１に記載のキャビンモニタリング方法。
【請求項3】
前記ステップＡにおいて、
前記レーダー装置から最新の候補点群データを受信するサブステップＡ１と、
前記期間中において受信したすべての前記候補点群データを統合すると共に、外れ値を除去して統合点群データとして作成するサブステップＡ２と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えたかどうかを判断するサブステップＡ３と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えていない場合、前記候補点群データの数が所定値を超えるまで前記サブステップＡ１～サブステップＡ３を繰り返すサブステップＡ４と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えた場合、直前に実行された前記サブステップＡ２において作成された前記統合点群データを前記ターゲット点群データとして取得するサブステップＡ５と、が実行される、ことを特徴とする請求項１に記載のキャビンモニタリング方法。
前記レーダー装置から最新の候補点群データを受信するサブステップＡ１と、
前記期間中において受信したすべての前記候補点群データを統合すると共に、外れ値を除去して統合点群データとして作成するサブステップＡ２と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えたかどうかを判断するサブステップＡ３と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えていない場合、前記候補点群データの数が所定値を超えるまで前記サブステップＡ１～サブステップＡ３を繰り返すサブステップＡ４と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えた場合、直前に実行された前記サブステップＡ２において作成された前記統合点群データを前記ターゲット点群データとして取得するサブステップＡ５と、が実行される、ことを特徴とする請求項１に記載のキャビンモニタリング方法。
【請求項4】
前記ステップＣにおいて、
前記ターゲット点群データにおけるすべての点を振り分けして複数の点群グループを取得するサブステップＣ１と、
取得した各点群グループを前記ターゲット画像に投影して前記統合画像を取得するサブステップＣ２と、が実行される、ことを特徴とする請求項１に記載のキャビンモニタリング方法。
前記ターゲット点群データにおけるすべての点を振り分けして複数の点群グループを取得するサブステップＣ１と、
取得した各点群グループを前記ターゲット画像に投影して前記統合画像を取得するサブステップＣ２と、が実行される、ことを特徴とする請求項１に記載のキャビンモニタリング方法。
【請求項5】
前記ステップＢと前記ステップＣの間に、
前記ターゲット画像に対して画像平滑化処理と、画像シャープ化処理と、カラー強化処理との少なくともいずれか１つの処理を実行するステップＩが実行される、ことを特徴とする請求項１に記載のキャビンモニタリング方法。
前記ターゲット画像に対して画像平滑化処理と、画像シャープ化処理と、カラー強化処理との少なくともいずれか１つの処理を実行するステップＩが実行される、ことを特徴とする請求項１に記載のキャビンモニタリング方法。
【請求項6】
前記コンピュータ装置は、前記乗り物のキャビン内に配置されて前記乗り物の運転状態データに関連する乗り物信号を取得するのに用いられる信号取得装置に電気的に接続しており、
前記ステップＧでは、最新に取得した前記乗り物信号に更に基づいてキャビン内の状況のモニタリングを実行することを特徴とする請求項１に記載のキャビンモニタリング方法。
前記ステップＧでは、最新に取得した前記乗り物信号に更に基づいてキャビン内の状況のモニタリングを実行することを特徴とする請求項１に記載のキャビンモニタリング方法。
【請求項7】
前記コンピュータ装置は、前記乗り物のキャビン内に配置されるアラーム装置に電気的に接続しており、
前記ステップＧにおいてキャビン内の状況に異常が検知された場合、前記ステップＧの後に、前記コンピュータ装置から異常信号を前記アラーム装置に出力し、異常信号を受信した前記アラーム装置は警報を発する、ステップＨが実行される、ことを特徴とする請求項１に記載のキャビンモニタリング方法。
前記ステップＧにおいてキャビン内の状況に異常が検知された場合、前記ステップＧの後に、前記コンピュータ装置から異常信号を前記アラーム装置に出力し、異常信号を受信した前記アラーム装置は警報を発する、ステップＨが実行される、ことを特徴とする請求項１に記載のキャビンモニタリング方法。
【請求項8】
移動する乗り物のキャビン内に配置されて上記キャビン内の一連の画像を撮影する撮影装置と上記キャビン内に対して電波を送受信することにより一連の点群データを取得するレーダー装置とに電気的に接続し、前記撮影装置から前記一連の画像を受信し、前記レーダー装置から前記一連の点群データを受信するコンピュータ装置により実行されるキャビンモニタリング方法であって、
所定の期間中において、前記レーダー装置から前記一連の点群データを候補点群データとして受信した後、受信した前記候補点群データに対して処理を実行してターゲット点群データを取得するステップＡと、
前記期間中において、前記撮影装置から受信した前記一連の画像である複数の候補画像からターゲット画像を取得するステップＢと、
前記ターゲット画像に基づいて、生物の骨格特徴を検知するための画像骨格検知モデルを用いて、少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の骨格の前記ターゲットにおける位置が含まれている、少なくとも１つの画像生物骨格特徴データを取得するステップＣと、
前記ターゲット画像に基づいて、生物の頭部姿勢の特徴を検知するための画像頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の画像頭部中心点の前記ターゲット画像における位置を含むと共に、前記画像頭部中心点に関連付けられた画像頭部仰俯角と画像頭部方位角と画像頭部回転角とを含む画像姿勢角データを含む少なくとも１つの画像頭部姿勢特徴データを取得する、ステップＤと、
前記ターゲット点群データに基づいて、生物の位置を検知するための点群生物位置検知モデルを用いて、前記少なくとも１つの生物における一体のワールド座標における位置に関連付けられた少なくとも１つの点群生物位置データを取得する、ステップＥと、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の骨格特徴を検知するための点群骨格検知モデルを用いて関連付けられた生物の骨格のワールド座標における位置を含む点群生物骨格特徴データを取得する、ステップＦと、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の頭部姿勢の特徴を検知するための点群頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の点群頭部中心点の前記ワールド座標における位置を含むと共に、前記点群頭部中心点に関連付けられた点群頭部仰俯角と点群頭部方位角と点群頭部回転角とを含む点群姿勢角データを含む少なくとも１つの点群頭部姿勢特徴データを取得する、ステップＧと、
前記少なくとも１つの画像生物骨格特徴データと、前記少なくとも１つの画像頭部姿勢特徴データと、前記少なくとも１つの点群生物骨格特徴データと、前記少なくとも１つの点群頭部姿勢特徴データとに基づいて、キャビン内の状況のモニタリングを実行する、ステップＨと、が実行されることを特徴とするキャビンモニタリング方法。
所定の期間中において、前記レーダー装置から前記一連の点群データを候補点群データとして受信した後、受信した前記候補点群データに対して処理を実行してターゲット点群データを取得するステップＡと、
前記期間中において、前記撮影装置から受信した前記一連の画像である複数の候補画像からターゲット画像を取得するステップＢと、
前記ターゲット画像に基づいて、生物の骨格特徴を検知するための画像骨格検知モデルを用いて、少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の骨格の前記ターゲットにおける位置が含まれている、少なくとも１つの画像生物骨格特徴データを取得するステップＣと、
前記ターゲット画像に基づいて、生物の頭部姿勢の特徴を検知するための画像頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の画像頭部中心点の前記ターゲット画像における位置を含むと共に、前記画像頭部中心点に関連付けられた画像頭部仰俯角と画像頭部方位角と画像頭部回転角とを含む画像姿勢角データを含む少なくとも１つの画像頭部姿勢特徴データを取得する、ステップＤと、
前記ターゲット点群データに基づいて、生物の位置を検知するための点群生物位置検知モデルを用いて、前記少なくとも１つの生物における一体のワールド座標における位置に関連付けられた少なくとも１つの点群生物位置データを取得する、ステップＥと、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の骨格特徴を検知するための点群骨格検知モデルを用いて関連付けられた生物の骨格のワールド座標における位置を含む点群生物骨格特徴データを取得する、ステップＦと、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の頭部姿勢の特徴を検知するための点群頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の点群頭部中心点の前記ワールド座標における位置を含むと共に、前記点群頭部中心点に関連付けられた点群頭部仰俯角と点群頭部方位角と点群頭部回転角とを含む点群姿勢角データを含む少なくとも１つの点群頭部姿勢特徴データを取得する、ステップＧと、
前記少なくとも１つの画像生物骨格特徴データと、前記少なくとも１つの画像頭部姿勢特徴データと、前記少なくとも１つの点群生物骨格特徴データと、前記少なくとも１つの点群頭部姿勢特徴データとに基づいて、キャビン内の状況のモニタリングを実行する、ステップＨと、が実行されることを特徴とするキャビンモニタリング方法。
【請求項9】
前記ステップＡにおいて、
前記レーダー装置から最新の候補点群データを受信するサブステップＡ１と、
前記期間中において受信したすべての前記候補点群データを統合すると共に、外れ値を除去して統合点群データとして作成するサブステップＡ２と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えたかどうかを判断するサブステップＡ３と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えていない場合、前記候補点群データの数が所定値を超えるまで前記サブステップＡ１～サブステップＡ３を繰り返すサブステップＡ４と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えた場合、直前に実行された前記サブステップＡ２において作成された前記統合点群データを前記ターゲット点群データとして取得するサブステップＡ５と、が実行される、ことを特徴とする請求項８に記載のキャビンモニタリング方法。
前記レーダー装置から最新の候補点群データを受信するサブステップＡ１と、
前記期間中において受信したすべての前記候補点群データを統合すると共に、外れ値を除去して統合点群データとして作成するサブステップＡ２と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えたかどうかを判断するサブステップＡ３と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えていない場合、前記候補点群データの数が所定値を超えるまで前記サブステップＡ１～サブステップＡ３を繰り返すサブステップＡ４と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えた場合、直前に実行された前記サブステップＡ２において作成された前記統合点群データを前記ターゲット点群データとして取得するサブステップＡ５と、が実行される、ことを特徴とする請求項８に記載のキャビンモニタリング方法。
【請求項10】
前記ステップＢと前記ステップＣの間に、
前記ターゲット画像に対して画像平滑化処理と、画像シャープ化処理と、カラー強化処理との少なくともいずれか１つの処理を実行するステップＩが実行される、ことを特徴とする請求項８に記載のキャビンモニタリング方法。
前記ターゲット画像に対して画像平滑化処理と、画像シャープ化処理と、カラー強化処理との少なくともいずれか１つの処理を実行するステップＩが実行される、ことを特徴とする請求項８に記載のキャビンモニタリング方法。
【請求項11】
前記ステップＥが実行される前に、前記ターゲット点群データにおけるすべての点を振り分けして複数の点群グループを取得するステップＪが実行され、
前記ステップＥでは、取得した各点群グループに基づいて、前記少なくとも１つの点群生物位置データを取得する、ことを特徴とする請求項８に記載のキャビンモニタリング方法。
前記ステップＥでは、取得した各点群グループに基づいて、前記少なくとも１つの点群生物位置データを取得する、ことを特徴とする請求項８に記載のキャビンモニタリング方法。
【請求項12】
前記ステップＣでは、前記画像生物骨格特徴データに関連する画像骨格信頼度数値を更に取得し、
前記ステップＤでは、前記画像頭部姿勢特徴データに関連する画像頭部姿勢信頼度数値を更に取得し、
前記ステップＦでは、前記点群生物骨格特徴データに関連する点群骨格信頼度数値を更に取得し、
前記ステップＧでは、前記点群頭部姿勢特徴データに関連する点群頭部姿勢信頼度数値を更に取得し、
前記ステップＨでは、更に前記画像骨格信頼度数値と、前記画像頭部姿勢信頼度数値と、前記点群骨格信頼度数値と、前記点群頭部姿勢信頼度数値とに基づいて、キャビン内の状況のモニタリングを実行し、
前記ステップＨは、
前記画像骨格信頼度数値と前記画像頭部姿勢信頼度数値の総合値が前記点群骨格信頼度数値と前記点群頭部姿勢信頼度数値の総合値より大きいか否かを判断するサブステップＨ１と、
前記画像骨格信頼度数値と前記画像頭部姿勢信頼度数値の総合値が前記点群骨格信頼度数値と前記点群頭部姿勢信頼度数値の総合値より大きい場合、前記少なくとも１つの画像生物骨格特徴データ及び前記少なくとも１つの画像頭部姿勢特徴データに基づいてキャビン内の状況のモニタリングを実行するサブステップＨ２と、
前記画像骨格信頼度数値と前記画像頭部姿勢信頼度数値の総合値が前記点群骨格信頼度数値と前記点群頭部姿勢信頼度数値の総合値より大きくない場合、前記少なくとも１つの点群生物骨格特徴データ及び前記少なくとも１つの点群頭部姿勢特徴データに基づいてキャビン内の状況のモニタリングを実行するサブステップＨ３と、を含む、ことを特徴とする請求項８に記載のキャビンモニタリング方法。
前記ステップＤでは、前記画像頭部姿勢特徴データに関連する画像頭部姿勢信頼度数値を更に取得し、
前記ステップＦでは、前記点群生物骨格特徴データに関連する点群骨格信頼度数値を更に取得し、
前記ステップＧでは、前記点群頭部姿勢特徴データに関連する点群頭部姿勢信頼度数値を更に取得し、
前記ステップＨでは、更に前記画像骨格信頼度数値と、前記画像頭部姿勢信頼度数値と、前記点群骨格信頼度数値と、前記点群頭部姿勢信頼度数値とに基づいて、キャビン内の状況のモニタリングを実行し、
前記ステップＨは、
前記画像骨格信頼度数値と前記画像頭部姿勢信頼度数値の総合値が前記点群骨格信頼度数値と前記点群頭部姿勢信頼度数値の総合値より大きいか否かを判断するサブステップＨ１と、
前記画像骨格信頼度数値と前記画像頭部姿勢信頼度数値の総合値が前記点群骨格信頼度数値と前記点群頭部姿勢信頼度数値の総合値より大きい場合、前記少なくとも１つの画像生物骨格特徴データ及び前記少なくとも１つの画像頭部姿勢特徴データに基づいてキャビン内の状況のモニタリングを実行するサブステップＨ２と、
前記画像骨格信頼度数値と前記画像頭部姿勢信頼度数値の総合値が前記点群骨格信頼度数値と前記点群頭部姿勢信頼度数値の総合値より大きくない場合、前記少なくとも１つの点群生物骨格特徴データ及び前記少なくとも１つの点群頭部姿勢特徴データに基づいてキャビン内の状況のモニタリングを実行するサブステップＨ３と、を含む、ことを特徴とする請求項８に記載のキャビンモニタリング方法。
【請求項13】
前記コンピュータ装置は、前記乗り物のキャビン内に配置されて前記乗り物の運転状態データに関連する乗り物信号を取得するのに用いられる信号取得装置に電気的に接続しており、
前記ステップＨでは、最新に取得した前記乗り物信号に更に基づいてキャビン内の状況のモニタリングを実行することを特徴とする請求項８に記載のキャビンモニタリング方法。
前記ステップＨでは、最新に取得した前記乗り物信号に更に基づいてキャビン内の状況のモニタリングを実行することを特徴とする請求項８に記載のキャビンモニタリング方法。
【請求項14】
前記コンピュータ装置は、前記乗り物のキャビン内に配置されるアラーム装置に電気的に接続しており、
前記ステップＨにおいてキャビン内の状況に異常が検知された場合、前記ステップＨの後に、前記コンピュータ装置から異常信号を前記アラーム装置に出力し、異常信号を受信した前記アラーム装置は警報を発する、ステップＩが実行される、ことを特徴とする請求項８に記載のキャビンモニタリング方法。
前記ステップＨにおいてキャビン内の状況に異常が検知された場合、前記ステップＨの後に、前記コンピュータ装置から異常信号を前記アラーム装置に出力し、異常信号を受信した前記アラーム装置は警報を発する、ステップＩが実行される、ことを特徴とする請求項８に記載のキャビンモニタリング方法。
【請求項15】
移動する乗り物のキャビン内に配置されて上記キャビン内の一連の候補画像を撮影する撮影装置と、
上記キャビン内に対して電波を送受信することにより一連の候補点群データを取得するレーダー装置と、
前記撮影装置及び前記レーダー装置に電気的に接続し、所定の期間中において、前記レーダー装置から受信した前記一連の候補点群データと、前記期間中において、前記撮影装置から受信した前記画像に基づいて、キャビン内の状況のモニタリングを実行するコンピュータ装置と、を備えたキャビンモニタリングシステム。
上記キャビン内に対して電波を送受信することにより一連の候補点群データを取得するレーダー装置と、
前記撮影装置及び前記レーダー装置に電気的に接続し、所定の期間中において、前記レーダー装置から受信した前記一連の候補点群データと、前記期間中において、前記撮影装置から受信した前記画像に基づいて、キャビン内の状況のモニタリングを実行するコンピュータ装置と、を備えたキャビンモニタリングシステム。
【請求項16】
前記コンピュータ装置は、前記候補点群データに対して処理を実行してターゲット点群データを取得し、そして前記一連の候補画像からターゲット画像を取得し、それから前記ターゲット点群データ及び前記ターゲット画像に基づいて統合画像を取得し、前記統合画像に基づいて、生物の位置を検知するための生物位置検知モデルを用いて、少なくとも１つの生物における一体の前記統合画像における位置に関連付けられた少なくとも１つの生物位置データを取得し、前記統合画像及び前記少なくとも１つの生物位置データに基づいて、且つ、生物の骨格特徴の検知に用いられる骨格検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の骨格の前記統合画像における位置を含む少なくとも１つの生物骨格特徴データを取得し、
前記統合画像及び前記少なくとも１つの生物位置データに基づいて、生物の顔面の特徴を検知するための顔面検知モデルを用いて前記少なくとも１つの生物における一体に関連付けられ、且つ関連付けられた生物の複数の顔面器官の前記統合画像における位置を含む少なくとも１つの顔面特徴データを取得し、前記少なくとも１つの顔面特徴データ及び前記少なくとも１つの生物骨格特徴データに基づいて、キャビン内の状況のモニタリングを実行する、ことを特徴とする請求項１５に記載のキャビンモニタリングシステム。
前記統合画像及び前記少なくとも１つの生物位置データに基づいて、生物の顔面の特徴を検知するための顔面検知モデルを用いて前記少なくとも１つの生物における一体に関連付けられ、且つ関連付けられた生物の複数の顔面器官の前記統合画像における位置を含む少なくとも１つの顔面特徴データを取得し、前記少なくとも１つの顔面特徴データ及び前記少なくとも１つの生物骨格特徴データに基づいて、キャビン内の状況のモニタリングを実行する、ことを特徴とする請求項１５に記載のキャビンモニタリングシステム。
【請求項17】
前記コンピュータ装置は、各前記候補点群データに対して処理を行ってターゲット点群データを取得することにより、各前記候補画像の中からターゲット画像を取得し、前記ターゲット画像に基づいて、生物の骨格特徴を検知するための画像骨格検知モデルを利用し、少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の骨格の前記ターゲット画像における位置を含む少なくとも１つの画像生物骨格特徴データを取得し、
前記ターゲット画像に基づいて、生物の頭部姿勢の特徴を検知するための画像頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の画像頭部中心点の前記ターゲット画像における位置を含むと共に、前記画像頭部中心点に関連付けられた画像頭部仰俯角と画像頭部方位角と画像頭部回転角とを含む画像姿勢角データを含む少なくとも１つの画像頭部姿勢特徴データを取得し、
前記ターゲット点群データに基づいて、生物の位置を検知するための点群生物位置検知モデルを用いて、前記少なくとも１つの生物における一体のワールド座標における位置に関連付けられた少なくとも１つの点群生物位置データを取得し、
生物の骨格特徴を検知するための点群骨格検知モデルを用いて、関連付けられた生物の骨格の前記ワールド座標における位置を含む少なくとも１つの点群生物骨格特徴データを取得し、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の頭部姿勢の特徴を検知するための点群頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の点群頭部中心点の前記ワールド座標における位置を含むと共に、前記点群頭部中心点に関連付けられた点群頭部仰俯角と点群頭部方位角と点群頭部回転角とを含む点群姿勢角データを含む少なくとも１つの点群頭部姿勢特徴データを取得し、
前記少なくとも１つの画像生物骨格特徴データと、前記少なくとも１つの画像頭部姿勢特徴データと、前記少なくとも１つの点群生物骨格特徴データと、前記少なくとも１つの点群頭部姿勢特徴データに基づいて、キャビン内の状況のモニタリングを実行する、ことを特徴とする請求項１５に記載のキャビンモニタリングシステム。
前記ターゲット画像に基づいて、生物の頭部姿勢の特徴を検知するための画像頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の画像頭部中心点の前記ターゲット画像における位置を含むと共に、前記画像頭部中心点に関連付けられた画像頭部仰俯角と画像頭部方位角と画像頭部回転角とを含む画像姿勢角データを含む少なくとも１つの画像頭部姿勢特徴データを取得し、
前記ターゲット点群データに基づいて、生物の位置を検知するための点群生物位置検知モデルを用いて、前記少なくとも１つの生物における一体のワールド座標における位置に関連付けられた少なくとも１つの点群生物位置データを取得し、
生物の骨格特徴を検知するための点群骨格検知モデルを用いて、関連付けられた生物の骨格の前記ワールド座標における位置を含む少なくとも１つの点群生物骨格特徴データを取得し、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の頭部姿勢の特徴を検知するための点群頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の点群頭部中心点の前記ワールド座標における位置を含むと共に、前記点群頭部中心点に関連付けられた点群頭部仰俯角と点群頭部方位角と点群頭部回転角とを含む点群姿勢角データを含む少なくとも１つの点群頭部姿勢特徴データを取得し、
前記少なくとも１つの画像生物骨格特徴データと、前記少なくとも１つの画像頭部姿勢特徴データと、前記少なくとも１つの点群生物骨格特徴データと、前記少なくとも１つの点群頭部姿勢特徴データに基づいて、キャビン内の状況のモニタリングを実行する、ことを特徴とする請求項１５に記載のキャビンモニタリングシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はモニタリング方法に関し、特に、キャビンモニタリング方法及び上記キャビンモニタリング方法を実行するキャビンモニタリングシステムに関する。
【背景技術】
【0002】
運転手及び乗客の安全のため、不測の事態が起きても運転手が即時に対応できるよう、キャビン内の状況を常時把握する必要がある。従って、近年ではキャビン内の画像監視が発展してきているが、カメラが一台しかない場合、どこに配置しても、どうしても死角があり、キャビン全体を監視することはできない。特に、監視対象の顔がカメラに向かっていない場合、その顔面の特徴をよく把握できなくなる。更に、例えば赤外線カメラの場合、赤外線照明の範囲が不十分になりがちであり、照明が足りない場合、後部座席の様子をよくとらえられない。従って、特許文献１に記載されるように、複数のカメラ及び照明を設けることによって、はじめてキャビン全体をカバーできるようになる。
【0003】
しかし、この場合ではコストが掛かる上、多数のカメラからの情報を処理するのに必要な計算資源も多くなる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】中国特許公開第１１３６９１７７６Ａ号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
従って、本発明の目的はローコストでキャビン内の全空間をモニタリングできるキャビンモニタリング方法及びキャビンモニタリングシステムの提供を目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成すべく、本発明は、
移動する乗り物のキャビン内に配置されて上記キャビン内の一連の画像を撮影する撮影装置と上記キャビン内に対して電波を送受信することにより一連の点群データを取得するレーダー装置とに電気的に接続し、前記撮影装置から前記一連の画像を受信し、前記レーダー装置から前記一連の点群データを受信するコンピュータ装置により実行されるキャビンモニタリング方法であって、
所定の期間中において、前記レーダー装置から前記一連の点群データを候補点群データとして受信した後、受信した前記候補点群データに対して処理を実行してターゲット点群データを取得するステップＡと、
前記期間中において、前記撮影装置から受信した前記一連の画像である複数の候補画像からターゲット画像を取得するステップＢと、
前記ターゲット点群データ及び前記ターゲット画像に基づいて、統合画像を取得するステップＣと、
前記統合画像に基づき、且つ、生物の位置の検知に用いられる生物位置検知モデルを利用して少なくとも１つの生物における一体の前記統合画像における位置に関連付けられている少なくとも１つの生物位置データを取得する、ステップＤと、
前記統合画像及び前記少なくとも１つの生物位置データに基づき、且つ、生物の骨格特徴の検知に用いられる骨格検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の骨格の前記統合画像における位置を含む、少なくとも１つの生物骨格特徴データを取得する、ステップＥと、
前記統合画像及び前記少なくとも１つの生物位置データに基づき、且つ、生物の顔面の特徴の検知に用いられる顔面検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の複数の顔面器官の前記統合画像における位置を含む、少なくとも１つの顔面特徴データを取得する、ステップＦと、
前記少なくとも１つの顔面特徴データ及び前記少なくとも１つの生物骨格特徴データに基づいてキャビン内の状況のモニタリングを実行する、ステップＧと、を含むことを特徴とするキャビンモニタリング方法を提供する。
移動する乗り物のキャビン内に配置されて上記キャビン内の一連の画像を撮影する撮影装置と上記キャビン内に対して電波を送受信することにより一連の点群データを取得するレーダー装置とに電気的に接続し、前記撮影装置から前記一連の画像を受信し、前記レーダー装置から前記一連の点群データを受信するコンピュータ装置により実行されるキャビンモニタリング方法であって、
所定の期間中において、前記レーダー装置から前記一連の点群データを候補点群データとして受信した後、受信した前記候補点群データに対して処理を実行してターゲット点群データを取得するステップＡと、
前記期間中において、前記撮影装置から受信した前記一連の画像である複数の候補画像からターゲット画像を取得するステップＢと、
前記ターゲット点群データ及び前記ターゲット画像に基づいて、統合画像を取得するステップＣと、
前記統合画像に基づき、且つ、生物の位置の検知に用いられる生物位置検知モデルを利用して少なくとも１つの生物における一体の前記統合画像における位置に関連付けられている少なくとも１つの生物位置データを取得する、ステップＤと、
前記統合画像及び前記少なくとも１つの生物位置データに基づき、且つ、生物の骨格特徴の検知に用いられる骨格検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の骨格の前記統合画像における位置を含む、少なくとも１つの生物骨格特徴データを取得する、ステップＥと、
前記統合画像及び前記少なくとも１つの生物位置データに基づき、且つ、生物の顔面の特徴の検知に用いられる顔面検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の複数の顔面器官の前記統合画像における位置を含む、少なくとも１つの顔面特徴データを取得する、ステップＦと、
前記少なくとも１つの顔面特徴データ及び前記少なくとも１つの生物骨格特徴データに基づいてキャビン内の状況のモニタリングを実行する、ステップＧと、を含むことを特徴とするキャビンモニタリング方法を提供する。
【0007】
また、本発明は、移動する乗り物のキャビン内に配置されて上記キャビン内の一連の画像を撮影する撮影装置と上記キャビン内に対して電波を送受信することにより一連の点群データを取得するレーダー装置とに電気的に接続し、前記撮影装置から前記一連の画像を受信し、前記レーダー装置から前記一連の点群データを受信するコンピュータ装置により実行されるキャビンモニタリング方法であって、
所定の期間中において、前記レーダー装置から前記一連の点群データを候補点群データとして受信した後、受信した前記候補点群データに対して処理を実行してターゲット点群データを取得するステップＡと、
前記期間中において、前記撮影装置から受信した前記一連の画像である複数の候補画像からターゲット画像を取得するステップＢと、
前記ターゲット画像に基づいて、生物の骨格特徴を検知するための画像骨格検知モデルを用いて、少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の骨格の前記ターゲットにおける位置が含まれている、少なくとも１つの画像生物骨格特徴データを取得するステップＣと、
前記ターゲット画像に基づいて、生物の頭部姿勢の特徴を検知するための画像頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の画像頭部中心点の前記ターゲット画像における位置を含むと共に、前記画像頭部中心点に関連付けられた画像頭部仰俯角と画像頭部方位角と画像頭部回転角とを含む画像姿勢角データを含む少なくとも１つの画像頭部姿勢特徴データを取得する、ステップＤと、
前記ターゲット点群データに基づいて、生物の位置を検知するための点群生物位置検知モデルを用いて、前記少なくとも１つの生物における一体のワールド座標における位置に関連付けられた少なくとも１つの点群生物位置データを取得する、ステップＥと、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の骨格特徴を検知するための点群骨格検知モデルを用いて関連付けられた生物の骨格のワールド座標における位置を含む点群生物の骨格特徴データを取得する、ステップＦと、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の頭部姿勢の特徴を検知するための点群頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、
関連付けられた生物の点群頭部中心点の前記ワールド座標における位置を含むと共に、前記点群頭部中心点に関連付けられた点群頭部仰俯角と点群頭部方位角と点群頭部回転角とを含む点群姿勢角データを含む少なくとも１つの点群頭部姿勢特徴データを取得する、ステップＧと、
前記少なくとも１つの画像生物骨格特徴データと、前記少なくとも１つの画像頭部姿勢特徴データと、前記少なくとも１つの点群生物の骨格特徴データと、前記少なくとも１つの点群頭部姿勢特徴データとに基づいて、キャビン内の状況のモニタリングを実行する、ステップＨと、が実行されることを特徴とするキャビンモニタリング方法をも提供する。
所定の期間中において、前記レーダー装置から前記一連の点群データを候補点群データとして受信した後、受信した前記候補点群データに対して処理を実行してターゲット点群データを取得するステップＡと、
前記期間中において、前記撮影装置から受信した前記一連の画像である複数の候補画像からターゲット画像を取得するステップＢと、
前記ターゲット画像に基づいて、生物の骨格特徴を検知するための画像骨格検知モデルを用いて、少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の骨格の前記ターゲットにおける位置が含まれている、少なくとも１つの画像生物骨格特徴データを取得するステップＣと、
前記ターゲット画像に基づいて、生物の頭部姿勢の特徴を検知するための画像頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の画像頭部中心点の前記ターゲット画像における位置を含むと共に、前記画像頭部中心点に関連付けられた画像頭部仰俯角と画像頭部方位角と画像頭部回転角とを含む画像姿勢角データを含む少なくとも１つの画像頭部姿勢特徴データを取得する、ステップＤと、
前記ターゲット点群データに基づいて、生物の位置を検知するための点群生物位置検知モデルを用いて、前記少なくとも１つの生物における一体のワールド座標における位置に関連付けられた少なくとも１つの点群生物位置データを取得する、ステップＥと、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の骨格特徴を検知するための点群骨格検知モデルを用いて関連付けられた生物の骨格のワールド座標における位置を含む点群生物の骨格特徴データを取得する、ステップＦと、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の頭部姿勢の特徴を検知するための点群頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、
関連付けられた生物の点群頭部中心点の前記ワールド座標における位置を含むと共に、前記点群頭部中心点に関連付けられた点群頭部仰俯角と点群頭部方位角と点群頭部回転角とを含む点群姿勢角データを含む少なくとも１つの点群頭部姿勢特徴データを取得する、ステップＧと、
前記少なくとも１つの画像生物骨格特徴データと、前記少なくとも１つの画像頭部姿勢特徴データと、前記少なくとも１つの点群生物の骨格特徴データと、前記少なくとも１つの点群頭部姿勢特徴データとに基づいて、キャビン内の状況のモニタリングを実行する、ステップＨと、が実行されることを特徴とするキャビンモニタリング方法をも提供する。
【0008】
更に、上記キャビンモニタリング方法を実行するシステムとして、本発明は、
移動する乗り物のキャビン内に配置されて上記キャビン内の一連の候補画像を撮影する撮影装置と、
上記キャビン内に対して電波を送受信することにより一連の候補点群データを取得するレーダー装置と、
前記撮影装置及び前記レーダー装置に電気的に接続し、所定の期間中において、前記レーダー装置から受信した前記一連の候補点群データと、前記期間中において、前記撮影装置から受信した前記画像に基づいて、キャビン内の状況のモニタリングを実行するキャビンモニタリングシステムをも提供する。
移動する乗り物のキャビン内に配置されて上記キャビン内の一連の候補画像を撮影する撮影装置と、
上記キャビン内に対して電波を送受信することにより一連の候補点群データを取得するレーダー装置と、
前記撮影装置及び前記レーダー装置に電気的に接続し、所定の期間中において、前記レーダー装置から受信した前記一連の候補点群データと、前記期間中において、前記撮影装置から受信した前記画像に基づいて、キャビン内の状況のモニタリングを実行するキャビンモニタリングシステムをも提供する。
【発明の効果】
【0009】
本発明は、コンピュータ装置を用いて、レーダー装置及び撮影装置によって取得されるデータを統合させるので、レーダー装置の特性を利用することによってカメラ装置を複数設けることが不要となり、少ない機材及び計算資源でキャビン内の全空間のモニタリングを実現し、ローコストなキャビンモニタリング方法及びキャビンモニタリングシステムを提供することができる。
【図面の簡単な説明】
【0010】
【図1】本発明のキャビンモニタリングシステムの実施例が示されているブロック図である。
【図2】本発明のキャビンモニタリングシステムによって実行される本発明のキャビンモニタリング方法の第１の実施例が示されるフローチャートである。
【図5】本発明のキャビンモニタリングシステムによって実行される本発明のキャビンモニタリング方法の第２の実施例が示されるフローチャートである。
【発明を実施するための形態】
【0011】
以下では図面を参照して本発明のキャビンモニタリング方法及び上記キャビンモニタリング方法を実行するキャビンモニタリングシステムについて詳しく説明する。
具体的説明に入る前に、本発明において同じ役割を担う構成要素に関しては、全く同じものでなくても、同じ符号が振り分けられている。
具体的説明に入る前に、本発明において同じ役割を担う構成要素に関しては、全く同じものでなくても、同じ符号が振り分けられている。
【0012】
図１に本発明のキャビンモニタリングシステム１の実施例が示されており、上記キャビンモニタリングシステム１は、移動する乗り物に配置される撮影装置１１と、レーダー装置１２と、信号取得装置１４と、アラーム装置１５と、コンピュータ装置１３と、を備えている。
【0013】
撮影装置１１は、移動する乗り物内において、一連の画像を撮影するのに用いられるものである。
【0014】
レーダー装置１２は、上記移動する乗り物内における一連の点群データを取得するのに用いられるものである。
【0015】
信号取得装置１４は、上記移動する乗り物の運転状態データに関連する乗り物信号を継続して取得するのに用いられるものである。
【0016】
コンピュータ装置１３は、撮影装置１１と、レーダー装置１２と、信号取得装置１４と、アラーム装置１５と、に電気的に接続する。
【0017】
なお、撮影装置１１は例えばカメラであり、３３ｍｓ（ミリ秒）ごとに一枚の画像を撮影する。レーダー装置１２としては、例えばミリメーターウェーブレーダ（ｍｍＷａｖｅ Ｒａｄｅｒ）であり、５０ｍｓごとに点群データを一つ取得する。上記移動する乗り物の運転状態データとして、例えば、上記乗り物のスピード、エンジン状態、ドアの開閉状態とが挙げられる。アラーム装置１５は、例えばスピーカー、ランプ、もしくはスクリーンである。コンピュータ装置１３は、例えばプロセッサーもしくはマイクロプロセッサーなど、計算機能を実行できるチップであるが、これに限らない。
【0018】
【0019】
ステップ２１において、コンピュータ装置１３は所定の期間内でレーダー装置１２から複数の候補点群データを受信した後、受信したこれらの候補点群データに対して例えば以下のサブステップに示される処理を実行することでターゲット点群データを取得する。
【0020】
図３を合わせて参照し、ステップ２１には以下のサブステップが含まれる。
【0021】
サブステップ２１１において、コンピュータ装置１３はレーダー装置１２から最新の候補点群データを受信する。
【0022】
サブステップ２１２において、コンピュータ装置１３はこれまで受信したすべての候補点群データを重ねると共に、外れ値を除去することで、統合点群データを取得する。
【0023】
なお、外れ値を除去する方法として、この実施例において、コンピュータ装置１３はこれらの候補点群データ中におけるドットの四分位数（Ｑｕａｅｔｉｌｅ）を利用して、ある範囲を中間成分の上限値と下限値として設定してから、この範囲外の数値が対応するドットを削除する、という処理方法を利用できるが、これに限らない。
【0024】
サブステップ２１３において、コンピュータ装置１３は受信した候補点群データの数がプリセット数値を超えるか否かを判断する。受信した候補点群データの数がこのプリセット数値を超えていないとコンピュータ装置１３が判断した場合は、受信した候補点群データの数がこのプリセット数値を超えたとコンピュータ装置１３が判断するまで、サブステップ２１１～２１３を繰り返して実行する。そして受信した候補点群データの数がこのプリセット数値を超えたとコンピュータ装置１３が判断すると、ステップ２１４を実行する。
【0025】
サブステップ２１４においては、サブステップ２１２において取得した統合点群データをターゲット点群データとする。
【0026】
ステップ２２において、コンピュータ装置１３はこの所定の期間内において撮影装置１１から受信した複数の候補画像の中からターゲット画像を取得する。
【0027】
例えば、サブステップ２１３において上記プリセット数値は３であり、この所定の期間は０～１５０ｍｓとなる。そしてこの所定の期間において、コンピュータ装置１３が４つの候補画像を受信したとすると、ステップ２２では、コンピュータ装置１３はこの４つの候補画像から１つの候補画像を選択してターゲット画像とする。
【0028】
ステップ２３において、コンピュータ装置１３はこのターゲット画像に対して画像平滑化（ｉｍａｇｅ ｓｍｏｏｔｈｉｎｇ）処理と、画像シャープ化（ｉｍａｇｅ ｓｈａｒｐｅｎｉｎｇ）処理と、カラー強化処理とを実行する。画像平滑化処理によって、ターゲット画像における不良な量子化ノイズを除去するが、ターゲット画像はこれにより多少ぼやけるので、画像シャープ化処理によりターゲット画像における物体のエッジを際立たせ、そしてカラー強化処理によってターゲット画像における明度のコントラストを強化できる。なお上記各画像処理は、場合によって少なくともいずれか一つが行われればよい。
【0029】
なお、この実施例においては、ステップ２３を実行することでターゲット画像の特徴を際立たせるが、これに限らず、他の実施例では、ステップ２３を実行しなくてもよい。
【0030】
ステップ２４において、コンピュータ装置１３はこのターゲット点群データ及びこのターゲット画像に基づいて、統合画像を取得する。
【0031】
図４を合わせて参照し、ステップ２４には以下のサブステップが含まれる。
サブステップ２４１において、コンピュータ装置１３はこのターゲット点群データにおけるすべてのドットに対して振り分けを行うことで、複数の点群グループを取得し、各点群グループはいずれも１つの生物を表す。
サブステップ２４１において、コンピュータ装置１３はこのターゲット点群データにおけるすべてのドットに対して振り分けを行うことで、複数の点群グループを取得し、各点群グループはいずれも１つの生物を表す。
【0032】
なお、この実施例において、k平均法（ｋ－ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ）及びＬｌｏｙｄ－Ｍａｘアルゴリズム（Ｌｌｏｙｄ－Ｍａｘ ａｌｇｏｒｉｔｈｍ）を用いるが、これらに限られることはない。
【0033】
サブステップ２４２において、コンピュータ装置１３はこれらの点群グループを上記ターゲット画像に投影することで、上記統合画像を取得する。
ここで、コンピュータ装置１３はこれらの点群グループをターゲット画像に投影することによって、深さ情報を有する統合画像を取得する。
ここで、コンピュータ装置１３はこれらの点群グループをターゲット画像に投影することによって、深さ情報を有する統合画像を取得する。
【0034】
ステップ２５において、コンピュータ装置１３は上記統合画像に基づき、生物の位置を検出するのに用いられる生物位置検知モデルを用いて、いずれも少なくとも１つの生物における一体の上記統合画像における位置に関連付けられる少なくとも１つの生物位置データを取得する。
【0035】
ステップ２６において、コンピュータ装置１３は上記統合画像及び上記少なくとも１つの生物位置データに基づいて、生物の骨格特徴の検知に用いられる骨格検知モデルを用いて、上記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の骨格の上記統合画像における位置に関連する少なくとも１つの生物骨格特徴データを取得する。
【0036】
ステップ２７において、コンピュータ装置１３は上記統合画像及び上記少なくとも１つの生物位置データに基づいて、生物の顔面の特徴の検知に用いられる顔面検知モデルを用いて、上記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の複数の顔面器官の上記統合画像における位置を含む少なくとも１つの顔面特徴データを取得する。
【0037】
ここでの顔面器官として、例えば目、鼻、唇があげられるが、これらに限らない。
【0038】
ステップ２８において、コンピュータ装置１３は各顔面特徴データに対しその顔面特徴データが関連付けられた生物の複数の顔面器官の統合画像における位置に基づいて、これらの顔面器官における両方の瞳孔及び鼻先のワールド座標における位置を含む顔面姿勢データを取得する。
【0039】
なお、この実施例において、コンピュータ装置１３はまず撮影装置１１の上記ワールド座標における位置を算出してから、ロドリゲスの回転公式（Ｒｏｄｒｉｇｕｅｓ' ｒｏｔａｔｉｏｎ ｆｏｒｍｕｌａ）を利用して３次元空間に関連する回転ベクトルを算出し、最後はこれらの瞳孔及び上記鼻先の上記統合画像における位置及び上記回転ベクトルに基づいて、上記顔面姿勢データを取得し、且つ、コンピュータ装置１３は瞳孔の上記ワールド座標における位置に基づいて視線の方向（ベクトル）を取得するが、顔面姿勢データの取得方法はこれに限らない。
【0040】
ステップ２９において、コンピュータ装置１３は最新に取得した目標乗り物信号と、上記少なくとも１つの顔面特徴データと、上記少なくとも１つの生物骨格特徴データと、上記少なくとも１つの顔面姿勢データとに基づいて、キャビン内の状況のモニタリングを実行する。
【0041】
なお、この実施例において、キャビン内の状況のモニタリングから検知し得る異常としては、例えば子供がチャイルドシートから離れることや、運転手への接近、乗客の失神あるいは座席／福祉車両の椅子から転げ落ちること、頭もしくは手足を窓の外に出すこと、異常に手足を振り回すこと、攻撃的な行為、乗客の置き去りなどが上げられ、ここで、人の存在／置き去りの検知に当たっては、上記目標乗り物信号が必要となるが、人の存在／置き去りの検知が不要な場合、ステップ２９では、コンピュータ装置１３は目標乗り物信号に基づいてキャビン内の異常状況のモニタリングを実行する必要はなくなるが、これに限られることではない。
【0042】
なお、上記生物位置検知モデルは、複数の生物位置トレーニング情報に基づいて、ディープラーニングアルゴリズムを利用してトレーニングされたものであり、各生物位置トレーニング情報には、トレーニング点群データが投影されたトレーニング画像と、少なくとも１つの生物に対応する少なくとも１つのトレーニング画像の位置マーカーとが含まれる。上記骨格検知モデルは、複数の骨格トレーニング情報に基づいて、上記ディープラーニングアルゴリズムを利用してトレーニングされたものであり、各骨格トレーニング情報には、上記トレーニング画像と、上記少なくとも１つの位置マーカーと、各位置マーカーにそれぞれ対応する少なくとも１つの骨格位置マーカーと、が含まれる。上記顔面検知モデルは、複数の顔面トレーニング情報に基づいて、上記ディープラーニングアルゴリズムを利用してトレーニングすることによって取得したものであり、各顔面トレーニング情報はいずれも上記トレーニング画像と、上記少なくとも１つの位置マーカーと、複数の顔面器官位置マーカーとを含む。
【0043】
ステップ３０において、キャビン内の異常状況を検出すると、コンピュータ装置１３は異常信号を生成してアラーム装置１５に出力し、アラーム装置１５に警告を発させる。
図１と図５を参照し、本発明のキャビンモニタリングシステムは本発明のキャビンモニタリング方法の第２の実施例を実行する。第２の実施例は以下のステップを含む。
図１と図５を参照し、本発明のキャビンモニタリングシステムは本発明のキャビンモニタリング方法の第２の実施例を実行する。第２の実施例は以下のステップを含む。
【0044】
ステップ３１において、コンピュータ装置１３は所定の期間内にレーダー装置１２から複数の候補点群データを受信した後、これらの候補点群データに対して処理を実行してターゲット点群データを取得する。
【0045】
コンピュータ装置１３が上記ターゲット点群データを取得する方法は、上記第１の実施例のステップ２１と同一であるので、詳しい説明を省略する。
ステップ３２において、コンピュータ装置１３は上記所定の期間内に撮影装置１１から受信した複数の候補画像から、１つのターゲット画像を取得する。
ステップ３３において、コンピュータ装置１３は上記ターゲット画像に対して画像平滑化処理と、画像シャープ化処理と、カラー強化処理との少なくともいずれかの処理を実行する。
ステップ３２において、コンピュータ装置１３は上記所定の期間内に撮影装置１１から受信した複数の候補画像から、１つのターゲット画像を取得する。
ステップ３３において、コンピュータ装置１３は上記ターゲット画像に対して画像平滑化処理と、画像シャープ化処理と、カラー強化処理との少なくともいずれかの処理を実行する。
【0046】
ステップ３４において、コンピュータ装置１３は上記ターゲット画像に基づいて、生物の骨格特徴の検知に用いられる画像骨格検知モデルを利用し、それぞれ少なくとも１つの生物に関連付けられ、且つ、関連付けられた生物の骨格の上記ターゲット画像における位置を含む少なくとも１つの画像生物骨格特徴データと、各画像生物骨格特徴データに関連する画像骨格信頼度数値と、を取得する。
【0047】
ステップ３５において、コンピュータ装置１３は上記ターゲット画像及び上記少なくとも１つの画像生物骨格特徴データに基づいて、生物の頭部姿勢の特徴の検知に用いられる画像頭部姿勢検知モデルを利用し、少なくとも１つの画像頭部姿勢特徴データ及び各画像頭部姿勢特徴データに関連する画像頭部姿勢信頼度数値を取得する。各画像頭部姿勢特徴データは、いずれも上記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の画像頭部中心点の上記ターゲット画像における位置と、上記画像頭部中心点に関連付けられた画像頭部仰俯角と、画像頭部方位角と、画像頭部回転角の画像姿勢角データとを含む。
【0048】
なお、他の実施方法において、コンピュータ装置１３は上記ターゲット画像のみに基づいて、上記画像頭部姿勢検知モデルを利用して上記少なくとも１つの画像頭部姿勢特徴データ及び上記画像頭部姿勢信頼度数値を取得することができるが、これに限られることはない。
【0049】
注意すべきは、上記画像頭部仰俯角（ｐｉｔｃｈ）はワールド座標のＸ軸の周りの回転角を表し、すなわち頭を仰ぐ回転角である。上記画像頭部方位角（ｙａｗ）は上記ワールド座標のＹ軸の周りの回転角を表し、すなわち頭を傾げる回転角である。上記画像頭部回転角（ｒｏｌｌ）は上記ワールド座標のＺ軸の周りの回転角を表し、すなわち頭を振る回転角である。上記少なくとも１つの画像頭部姿勢特徴データを取得する方法としては、例えば“BAZAREVSKY, Valentin, et al. Blazeface: Sub-millisecond neural face detection on mobile gpus. arXiv preprint arXiv:１９０７.０５０４７, ２０１９.”を参考することができ、ここでは詳しい説明を省略する。
【0050】
ステップ３６において、コンピュータ装置１３は上記ターゲット点群データにおけるすべてのドットに対して振り分けを行うことで、複数の点群グループを取得する。
【0051】
ステップ３７において、コンピュータ装置１３は上記ターゲット点群データ及びこれら複数の点群グループに基づいて、生物の位置の検知に用いられる点群生物位置検知モデルを利用し、それぞれ少なくとも１つの生物の上記ワールド座標における位置に関連付けられた少なくとも１つの点群生物位置データを取得する。
【0052】
ステップ３８において、コンピュータ装置１３は上記ターゲット点群データ及び上記少なくとも１つの点群生物位置データに基づいて、生物の骨格特徴の検知に用いられる点群骨格検知モデルを利用し、少なくとも１つの点群生物骨格特徴データ及び各点群生物骨格特徴データに関連する点群骨格信頼度数値を取得する。各点群生物骨格特徴データは、上記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の骨格の上記ワールド座標における位置を含む。
【0053】
ステップ３９において、コンピュータ装置１３は上記ターゲット点群データ及び上記少なくとも１つの点群生物位置データに基づいて、生物の頭部姿勢の特徴の検知に用いられる点群頭部姿勢検知モデルを利用し、少なくとも１つの点群頭部姿勢特徴データと、各点群頭部姿勢特徴データに関連する点群頭部姿勢信頼度数値とを取得する。各点群頭部姿勢特徴データは上記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の点群頭部中心点の上記ワールド座標における位置を含むと共に、点群姿勢角データを含み、点群姿勢角データは、上記点群頭部中心点に関連付けられた点群頭部仰俯角と点群頭部方位角と点群頭部回転角とを含む。
【0054】
ステップ４０において、コンピュータ装置１３は上記少なくとも１つの画像生物骨格特徴データと、上記少なくとも１つの画像頭部姿勢特徴データと、上記少なくとも１つの点群生物骨格特徴データと、上記少なくとも１つの点群頭部姿勢特徴データと、上記画像骨格信頼度数値と、上記画像頭部姿勢信頼度数値と、上記点群骨格信頼度数値と、上記点群頭部姿勢信頼度数値とに基づいて、キャビン内の異常状況のモニタリングを実行する。
【0055】
なお、本実施例においても、キャビン内の異常状況としては、例えば子供がチャイルドシートから離れることや、運転手への接近、乗客の失神あるいは座席／福祉車両の椅子から転げ落ちること、頭もしくは手足を窓の外に出すこと、異常に手足を振り回すこと、攻撃的な行為、乗客の置き去りなどが上げられ、ここで、キャビン内の異常状態に人の存在／置き去りが含まれる場合は、ステップ４０では、コンピュータ装置１３はその時間点で取得された目標乗り物信号に基づいてキャビン内の異常状況のモニタリングを実行することができるが、これに限られることではない。
【0056】
図６を合わせて参照し、ステップ４０には以下のサブステップが含まれる。
【0057】
サブステップ４０１において、コンピュータ装置１３は上記画像骨格信頼度数値及び上記画像頭部姿勢信頼度数値の総合値が上記点群骨格信頼度数値と上記点群頭部姿勢信頼度数値との総合値より大きいか否かを判断する。コンピュータ装置１３によって上記画像骨格信頼度と上記画像頭部姿勢信頼度数値の総合値が上記点群骨格信頼度数値と上記点群頭部姿勢信頼度数値との総合値より大きいと判断された場合、サブステップ４０２に進む。上記画像骨格信頼度と上記画像頭部姿勢信頼度数値の総合値が上記点群骨格信頼度数値と上記点群頭部姿勢信頼度数値との総合値より大きくないと判断された場合、サブステップ４０３に進む。
【0058】
サブステップ４０２において、コンピュータ装置１３は上記少なくとも１つの画像生物骨格特徴データ及び上記少なくとも１つの画像頭部姿勢特徴データに基づいてキャビン内の異常状況のモニタリングを実行する。
【0059】
サブステップ４０３において、コンピュータ装置１３は上記少なくとも１つの点群生物骨格特徴データ及び上記少なくとも１つの点群頭部姿勢特徴データに基づいてキャビン内の異常状況のモニタリングを実行する。
【0060】
注意すべきは、この実施例において、コンピュータ装置１３は上記画像骨格信頼度数値と上記画像頭部姿勢信頼度数値との総合値が上記点群骨格信頼度数値と上記点群頭部姿勢信頼度数値との総合値が一致する場合、サブステップ４０３を実行すると予めに設定されているが、これに限らず、他の実施例では、コンピュータ装置１３は上記画像骨格信頼度数値と上記画像頭部姿勢信頼度数値との総合値が上記点群骨格信頼度数値と上記点群頭部姿勢信頼度数値との総合値が一致する場合、サブステップ４０２を実行すると予めに設定されることができる。
【0061】
更に注意すべきは、この実施例において、コンピュータ装置１３は上記画像骨格信頼度数値と上記画像頭部姿勢信頼度数値と上記点群骨格信頼度数値と上記点群頭部姿勢信頼度数値とに基づいて、キャビン内の異常状況のモニタリングを、上記少なくとも１つの画像生物骨格特徴データ及び上記少なくとも１つの画像頭部姿勢特徴データに基づいて実行するか、あるいは上記少なくとも１つの点群生物骨格特徴データ及び上記少なくとも１つの点群頭部姿勢特徴データに基づいて実行するかを判断する。他の実施例では、コンピュータ装置１３は上記少なくとも１つの画像生物骨格特徴データ及び上記少なくとも１つの点群生物骨格特徴データとを統合させて少なくとも１つの合成生物骨格特徴データを生成すると共に、上記少なくとも１つの画像頭部姿勢特徴データ及び上記少なくとも１つの点群頭部姿勢特徴データを統合させて少なくとも１つの合成頭部姿勢特徴データを生成してから上記少なくとも１つの合成生物骨格特徴データ及び上記少なくとも１つの合成頭部姿勢特徴データに基づいてキャビン内の異常状況のモニタリングを実行することもできる。すなわち、他の実施方法では、ステップ３４、３５、３８、３９において、コンピュータ装置１３は上記画像骨格信頼度数値と上記画像頭部姿勢信頼度数値と上記点群骨格信頼度数値と上記点群頭部姿勢信頼度数値とを取得せず、そしてステップ４０では、コンピュータ装置１３は上記少なくとも１つの画像生物骨格特徴データと上記少なくとも１つの画像頭部姿勢特徴データと上記少なくとも１つの点群生物骨格特徴データと上記少なくとも１つの点群頭部姿勢特徴データとに基づいて、キャビン内の異常状況のモニタリングを実行する。
【0062】
ステップ４１において、キャビン内の異常状況を検出すると、コンピュータ装置１３は異常信号を生成してアラーム装置１５に出力し、アラーム装置１５に警告を発させる。
【0063】
以上をまとめると、本発明のキャビンモニタリング方法及びそのシステムは、コンピュータ装置１３により上記ターゲット点群データ及び上記ターゲット画像を統合させることで上記統合画像を取得してから、レーダー装置１２の特性を利用して上記生物位置検知モデルと上記骨格検知モデルと上記顔面検知モデルとの識別成功率を強化する。すなわち、大量の撮影装置の代わりにレーダー装置１２を用いることで、比較的に低いコスト及び計算資源でキャビン全体をカバーすることができる。この他、コンピュータ装置１３を用いて上記画像骨格検知モデルと上記画像頭部姿勢検知モデルと上記点群骨格検知モデルと上記画像頭部姿勢検知モデルとを利用して得られる上記少なくとも１つの画像生物の骨格特徴データと、上記少なくとも１つの画像頭部姿勢特徴データと、上記少なくとも１つの点群生物の骨格特徴データと、上記少なくとも１つの点群頭部姿勢特徴データ進行を統合し、更にレーダー装置１２の特性を利用して大量の撮影装置の代わりにレーダー装置１２を用いることで、比較的に低いコスト及び計算資源でキャビン全体をカバーすることができる。
【0064】
以上、本発明の実施形態を説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々の変更が可能である。
【符号の説明】
【0065】
１ キャビンモニタリングシステム
１１ 撮影装置
１２ レーダー装置
１３ コンピュータ装置
２１～３０ ステップ
２１１～２１４ サブステップ
２４１～２４２ サブステップ
３１～４１ ステップ
４０１～４０３ サブステップ
１１ 撮影装置
１２ レーダー装置
１３ コンピュータ装置
２１～３０ ステップ
２１１～２１４ サブステップ
２４１～２４２ サブステップ
３１～４１ ステップ
４０１～４０３ サブステップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2023-11-16
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
移動する乗り物のキャビン内に配置されて上記キャビン内の一連の画像を撮影する撮影装置と上記キャビン内に対して電波を送受信することにより一連の点群データを取得するレーダー装置とに電気的に接続し、前記撮影装置から前記一連の画像を受信し、前記レーダー装置から前記一連の点群データを受信するコンピュータ装置により実行されるキャビンモニタリング方法であって、
所定の期間中において、前記レーダー装置から前記一連の点群データを候補点群データとして受信した後、受信した前記候補点群データに対して処理を実行してターゲット点群データを取得するステップＡと、
前記期間中において、前記撮影装置から受信した前記一連の画像である複数の候補画像からターゲット画像を取得するステップＢと、
前記ターゲット点群データ及び前記ターゲット画像に基づいて、統合画像を取得するステップＣと、
前記統合画像に基づき、且つ、生物の位置の検知に用いられる生物位置検知モデルを利用して少なくとも１つの生物における一体の前記統合画像における位置に関連付けられている少なくとも１つの生物位置データを取得する、ステップＤと、
前記統合画像及び前記少なくとも１つの生物位置データに基づき、且つ、生物の骨格特徴の検知に用いられる骨格検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の骨格の前記統合画像における位置を含む、少なくとも１つの生物骨格特徴データを取得する、ステップＥと、
前記統合画像及び前記少なくとも１つの生物位置データに基づき、且つ、生物の顔面の特徴の検知に用いられる顔面検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の複数の顔面器官の前記統合画像における位置を含む少なくとも１つの顔面特徴データを取得する、ステップＦと、
前記少なくとも１つの顔面特徴データ及び前記少なくとも１つの生物骨格特徴データに基づいてキャビン内の状況のモニタリングを実行する、ステップＧと、を含むことを特徴とするキャビンモニタリング方法。
所定の期間中において、前記レーダー装置から前記一連の点群データを候補点群データとして受信した後、受信した前記候補点群データに対して処理を実行してターゲット点群データを取得するステップＡと、
前記期間中において、前記撮影装置から受信した前記一連の画像である複数の候補画像からターゲット画像を取得するステップＢと、
前記ターゲット点群データ及び前記ターゲット画像に基づいて、統合画像を取得するステップＣと、
前記統合画像に基づき、且つ、生物の位置の検知に用いられる生物位置検知モデルを利用して少なくとも１つの生物における一体の前記統合画像における位置に関連付けられている少なくとも１つの生物位置データを取得する、ステップＤと、
前記統合画像及び前記少なくとも１つの生物位置データに基づき、且つ、生物の骨格特徴の検知に用いられる骨格検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の骨格の前記統合画像における位置を含む、少なくとも１つの生物骨格特徴データを取得する、ステップＥと、
前記統合画像及び前記少なくとも１つの生物位置データに基づき、且つ、生物の顔面の特徴の検知に用いられる顔面検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の複数の顔面器官の前記統合画像における位置を含む少なくとも１つの顔面特徴データを取得する、ステップＦと、
前記少なくとも１つの顔面特徴データ及び前記少なくとも１つの生物骨格特徴データに基づいてキャビン内の状況のモニタリングを実行する、ステップＧと、を含むことを特徴とするキャビンモニタリング方法。
【請求項2】
前記ステップＥと前記ステップＧの間に、各前記顔面特徴データに対し、該顔面特徴データが関連付けられている生物の各前記顔面器官の前記統合画像における位置に基づいて、これらの顔面器官における２つの瞳孔及び１つの鼻先のワールド座標における位置を示す顔面姿勢データを取得する、ステップＨが実行され、前記ステップＧにおいては、更に前記ステップＨにおいて取得した顔面姿勢データに基づいてキャビン内の状況のモニタリングを実行する、ことを特徴とする請求項１に記載のキャビンモニタリング方法。
【請求項3】
前記ステップＡにおいて、
前記レーダー装置から最新の候補点群データを受信するサブステップＡ１と、
前記期間中において受信したすべての前記候補点群データを統合すると共に、外れ値を除去して統合点群データとして作成するサブステップＡ２と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えたかどうかを判断するサブステップＡ３と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えていない場合、前記候補点群データの数が所定値を超えるまで前記サブステップＡ１～サブステップＡ３を繰り返すサブステップＡ４と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えた場合、直前に実行された前記サブステップＡ２において作成された前記統合点群データを前記ターゲット点群データとして取得するサブステップＡ５と、が実行される、ことを特徴とする請求項１に記載のキャビンモニタリング方法。
前記レーダー装置から最新の候補点群データを受信するサブステップＡ１と、
前記期間中において受信したすべての前記候補点群データを統合すると共に、外れ値を除去して統合点群データとして作成するサブステップＡ２と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えたかどうかを判断するサブステップＡ３と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えていない場合、前記候補点群データの数が所定値を超えるまで前記サブステップＡ１～サブステップＡ３を繰り返すサブステップＡ４と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えた場合、直前に実行された前記サブステップＡ２において作成された前記統合点群データを前記ターゲット点群データとして取得するサブステップＡ５と、が実行される、ことを特徴とする請求項１に記載のキャビンモニタリング方法。
【請求項4】
前記ステップＣにおいて、
前記ターゲット点群データにおけるすべての点を振り分けして複数の点群グループを取得するサブステップＣ１と、
取得した各点群グループを前記ターゲット画像に投影して前記統合画像を取得するサブステップＣ２と、が実行される、ことを特徴とする請求項１に記載のキャビンモニタリング方法。
前記ターゲット点群データにおけるすべての点を振り分けして複数の点群グループを取得するサブステップＣ１と、
取得した各点群グループを前記ターゲット画像に投影して前記統合画像を取得するサブステップＣ２と、が実行される、ことを特徴とする請求項１に記載のキャビンモニタリング方法。
【請求項5】
前記ステップＢと前記ステップＣの間に、
前記ターゲット画像に対して画像平滑化処理と、画像シャープ化処理と、カラー強化処理との少なくともいずれか１つの処理を実行するステップＩが実行される、ことを特徴とする請求項１に記載のキャビンモニタリング方法。
前記ターゲット画像に対して画像平滑化処理と、画像シャープ化処理と、カラー強化処理との少なくともいずれか１つの処理を実行するステップＩが実行される、ことを特徴とする請求項１に記載のキャビンモニタリング方法。
【請求項6】
前記コンピュータ装置は、前記乗り物のキャビン内に配置されて前記乗り物の運転状態データに関連する乗り物信号を取得するのに用いられる信号取得装置に電気的に接続しており、
前記ステップＧでは、最新に取得した前記乗り物信号に更に基づいてキャビン内の状況のモニタリングを実行することを特徴とする請求項１に記載のキャビンモニタリング方法。
前記ステップＧでは、最新に取得した前記乗り物信号に更に基づいてキャビン内の状況のモニタリングを実行することを特徴とする請求項１に記載のキャビンモニタリング方法。
【請求項7】
前記コンピュータ装置は、前記乗り物のキャビン内に配置されるアラーム装置に電気的に接続しており、
前記ステップＧにおいてキャビン内の状況に異常が検知された場合、前記ステップＧの後に、前記コンピュータ装置から異常信号を前記アラーム装置に出力し、異常信号を受信した前記アラーム装置は警報を発する、ステップＨが実行される、ことを特徴とする請求項１に記載のキャビンモニタリング方法。
前記ステップＧにおいてキャビン内の状況に異常が検知された場合、前記ステップＧの後に、前記コンピュータ装置から異常信号を前記アラーム装置に出力し、異常信号を受信した前記アラーム装置は警報を発する、ステップＨが実行される、ことを特徴とする請求項１に記載のキャビンモニタリング方法。
【請求項8】
移動する乗り物のキャビン内に配置されて上記キャビン内の一連の画像を撮影する撮影装置と上記キャビン内に対して電波を送受信することにより一連の点群データを取得するレーダー装置とに電気的に接続し、前記撮影装置から前記一連の画像を受信し、前記レーダー装置から前記一連の点群データを受信するコンピュータ装置により実行されるキャビンモニタリング方法であって、
所定の期間中において、前記レーダー装置から前記一連の点群データを候補点群データとして受信した後、受信した前記候補点群データに対して処理を実行してターゲット点群データを取得するステップＡと、
前記期間中において、前記撮影装置から受信した前記一連の画像である複数の候補画像からターゲット画像を取得するステップＢと、
前記ターゲット画像に基づいて、生物の骨格特徴を検知するための画像骨格検知モデルを用いて、少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の骨格の前記ターゲット画像における位置が含まれている、少なくとも１つの画像生物骨格特徴データを取得するステップＣと、
前記ターゲット画像に基づいて、生物の頭部姿勢の特徴を検知するための画像頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の画像頭部中心点の前記ターゲット画像における位置を含むと共に、前記画像頭部中心点に関連付けられた画像頭部仰俯角と画像頭部方位角と画像頭部回転角とを含む画像姿勢角データを含む少なくとも１つの画像頭部姿勢特徴データを取得する、ステップＤと、
前記ターゲット点群データに基づいて、生物の位置を検知するための点群生物位置検知モデルを用いて、前記少なくとも１つの生物における一体のワールド座標における位置に関連付けられた少なくとも１つの点群生物位置データを取得する、ステップＥと、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の骨格特徴を検知するための点群骨格検知モデルを用いて関連付けられた生物の骨格のワールド座標における位置を含む点群生物骨格特徴データを取得する、ステップＦと、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の頭部姿勢の特徴を検知するための点群頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の点群頭部中心点の前記ワールド座標における位置を含むと共に、前記点群頭部中心点に関連付けられた点群頭部仰俯角と点群頭部方位角と点群頭部回転角とを含む点群姿勢角データを含む少なくとも１つの点群頭部姿勢特徴データを取得する、ステップＧと、
前記少なくとも１つの画像生物骨格特徴データと、前記少なくとも１つの画像頭部姿勢特徴データと、前記少なくとも１つの点群生物骨格特徴データと、前記少なくとも１つの点群頭部姿勢特徴データとに基づいて、キャビン内の状況のモニタリングを実行する、ステップＨと、が実行されることを特徴とするキャビンモニタリング方法。
所定の期間中において、前記レーダー装置から前記一連の点群データを候補点群データとして受信した後、受信した前記候補点群データに対して処理を実行してターゲット点群データを取得するステップＡと、
前記期間中において、前記撮影装置から受信した前記一連の画像である複数の候補画像からターゲット画像を取得するステップＢと、
前記ターゲット画像に基づいて、生物の骨格特徴を検知するための画像骨格検知モデルを用いて、少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の骨格の前記ターゲット画像における位置が含まれている、少なくとも１つの画像生物骨格特徴データを取得するステップＣと、
前記ターゲット画像に基づいて、生物の頭部姿勢の特徴を検知するための画像頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の画像頭部中心点の前記ターゲット画像における位置を含むと共に、前記画像頭部中心点に関連付けられた画像頭部仰俯角と画像頭部方位角と画像頭部回転角とを含む画像姿勢角データを含む少なくとも１つの画像頭部姿勢特徴データを取得する、ステップＤと、
前記ターゲット点群データに基づいて、生物の位置を検知するための点群生物位置検知モデルを用いて、前記少なくとも１つの生物における一体のワールド座標における位置に関連付けられた少なくとも１つの点群生物位置データを取得する、ステップＥと、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の骨格特徴を検知するための点群骨格検知モデルを用いて関連付けられた生物の骨格のワールド座標における位置を含む点群生物骨格特徴データを取得する、ステップＦと、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の頭部姿勢の特徴を検知するための点群頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の点群頭部中心点の前記ワールド座標における位置を含むと共に、前記点群頭部中心点に関連付けられた点群頭部仰俯角と点群頭部方位角と点群頭部回転角とを含む点群姿勢角データを含む少なくとも１つの点群頭部姿勢特徴データを取得する、ステップＧと、
前記少なくとも１つの画像生物骨格特徴データと、前記少なくとも１つの画像頭部姿勢特徴データと、前記少なくとも１つの点群生物骨格特徴データと、前記少なくとも１つの点群頭部姿勢特徴データとに基づいて、キャビン内の状況のモニタリングを実行する、ステップＨと、が実行されることを特徴とするキャビンモニタリング方法。
【請求項9】
前記ステップＡにおいて、
前記レーダー装置から最新の候補点群データを受信するサブステップＡ１と、
前記期間中において受信したすべての前記候補点群データを統合すると共に、外れ値を除去して統合点群データとして作成するサブステップＡ２と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えたかどうかを判断するサブステップＡ３と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えていない場合、前記候補点群データの数が所定値を超えるまで前記サブステップＡ１～サブステップＡ３を繰り返すサブステップＡ４と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えた場合、直前に実行された前記サブステップＡ２において作成された前記統合点群データを前記ターゲット点群データとして取得するサブステップＡ５と、が実行される、ことを特徴とする請求項８に記載のキャビンモニタリング方法。
前記レーダー装置から最新の候補点群データを受信するサブステップＡ１と、
前記期間中において受信したすべての前記候補点群データを統合すると共に、外れ値を除去して統合点群データとして作成するサブステップＡ２と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えたかどうかを判断するサブステップＡ３と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えていない場合、前記候補点群データの数が所定値を超えるまで前記サブステップＡ１～サブステップＡ３を繰り返すサブステップＡ４と、
前記統合点群データの作成に用いられる前記候補点群データの数が所定値を超えた場合、直前に実行された前記サブステップＡ２において作成された前記統合点群データを前記ターゲット点群データとして取得するサブステップＡ５と、が実行される、ことを特徴とする請求項８に記載のキャビンモニタリング方法。
【請求項10】
前記ステップＢと前記ステップＣの間に、
前記ターゲット画像に対して画像平滑化処理と、画像シャープ化処理と、カラー強化処理との少なくともいずれか１つの処理を実行するステップＩが実行される、ことを特徴とする請求項８に記載のキャビンモニタリング方法。
前記ターゲット画像に対して画像平滑化処理と、画像シャープ化処理と、カラー強化処理との少なくともいずれか１つの処理を実行するステップＩが実行される、ことを特徴とする請求項８に記載のキャビンモニタリング方法。
【請求項11】
前記ステップＥが実行される前に、前記ターゲット点群データにおけるすべての点を振り分けして複数の点群グループを取得するステップＪが実行され、
前記ステップＥでは、取得した各点群グループに基づいて、前記少なくとも１つの点群生物位置データを取得する、ことを特徴とする請求項８に記載のキャビンモニタリング方法。
前記ステップＥでは、取得した各点群グループに基づいて、前記少なくとも１つの点群生物位置データを取得する、ことを特徴とする請求項８に記載のキャビンモニタリング方法。
【請求項12】
前記ステップＣでは、前記画像生物骨格特徴データに関連する画像骨格信頼度数値を更に取得し、
前記ステップＤでは、前記画像頭部姿勢特徴データに関連する画像頭部姿勢信頼度数値を更に取得し、
前記ステップＦでは、前記点群生物骨格特徴データに関連する点群骨格信頼度数値を更に取得し、
前記ステップＧでは、前記点群頭部姿勢特徴データに関連する点群頭部姿勢信頼度数値を更に取得し、
前記ステップＨでは、更に前記画像骨格信頼度数値と、前記画像頭部姿勢信頼度数値と、前記点群骨格信頼度数値と、前記点群頭部姿勢信頼度数値とに基づいて、キャビン内の状況のモニタリングを実行し、
前記ステップＨは、
前記画像骨格信頼度数値と前記画像頭部姿勢信頼度数値の総合値が前記点群骨格信頼度数値と前記点群頭部姿勢信頼度数値の総合値より大きいか否かを判断するサブステップＨ１と、
前記画像骨格信頼度数値と前記画像頭部姿勢信頼度数値の総合値が前記点群骨格信頼度数値と前記点群頭部姿勢信頼度数値の総合値より大きい場合、前記少なくとも１つの画像生物骨格特徴データ及び前記少なくとも１つの画像頭部姿勢特徴データに基づいてキャビン内の状況のモニタリングを実行するサブステップＨ２と、
前記画像骨格信頼度数値と前記画像頭部姿勢信頼度数値の総合値が前記点群骨格信頼度数値と前記点群頭部姿勢信頼度数値の総合値より大きくない場合、前記少なくとも１つの点群生物骨格特徴データ及び前記少なくとも１つの点群頭部姿勢特徴データに基づいてキャビン内の状況のモニタリングを実行するサブステップＨ３と、を含む、ことを特徴とする請求項８に記載のキャビンモニタリング方法。
前記ステップＤでは、前記画像頭部姿勢特徴データに関連する画像頭部姿勢信頼度数値を更に取得し、
前記ステップＦでは、前記点群生物骨格特徴データに関連する点群骨格信頼度数値を更に取得し、
前記ステップＧでは、前記点群頭部姿勢特徴データに関連する点群頭部姿勢信頼度数値を更に取得し、
前記ステップＨでは、更に前記画像骨格信頼度数値と、前記画像頭部姿勢信頼度数値と、前記点群骨格信頼度数値と、前記点群頭部姿勢信頼度数値とに基づいて、キャビン内の状況のモニタリングを実行し、
前記ステップＨは、
前記画像骨格信頼度数値と前記画像頭部姿勢信頼度数値の総合値が前記点群骨格信頼度数値と前記点群頭部姿勢信頼度数値の総合値より大きいか否かを判断するサブステップＨ１と、
前記画像骨格信頼度数値と前記画像頭部姿勢信頼度数値の総合値が前記点群骨格信頼度数値と前記点群頭部姿勢信頼度数値の総合値より大きい場合、前記少なくとも１つの画像生物骨格特徴データ及び前記少なくとも１つの画像頭部姿勢特徴データに基づいてキャビン内の状況のモニタリングを実行するサブステップＨ２と、
前記画像骨格信頼度数値と前記画像頭部姿勢信頼度数値の総合値が前記点群骨格信頼度数値と前記点群頭部姿勢信頼度数値の総合値より大きくない場合、前記少なくとも１つの点群生物骨格特徴データ及び前記少なくとも１つの点群頭部姿勢特徴データに基づいてキャビン内の状況のモニタリングを実行するサブステップＨ３と、を含む、ことを特徴とする請求項８に記載のキャビンモニタリング方法。
【請求項13】
前記コンピュータ装置は、前記乗り物のキャビン内に配置されて前記乗り物の運転状態データに関連する乗り物信号を取得するのに用いられる信号取得装置に電気的に接続しており、
前記ステップＨでは、最新に取得した前記乗り物信号に更に基づいてキャビン内の状況のモニタリングを実行することを特徴とする請求項８に記載のキャビンモニタリング方法。
前記ステップＨでは、最新に取得した前記乗り物信号に更に基づいてキャビン内の状況のモニタリングを実行することを特徴とする請求項８に記載のキャビンモニタリング方法。
【請求項14】
前記コンピュータ装置は、前記乗り物のキャビン内に配置されるアラーム装置に電気的に接続しており、
前記ステップＨにおいてキャビン内の状況に異常が検知された場合、前記ステップＨの後に、前記コンピュータ装置から異常信号を前記アラーム装置に出力し、異常信号を受信した前記アラーム装置は警報を発する、ステップＩが実行される、ことを特徴とする請求項８に記載のキャビンモニタリング方法。
前記ステップＨにおいてキャビン内の状況に異常が検知された場合、前記ステップＨの後に、前記コンピュータ装置から異常信号を前記アラーム装置に出力し、異常信号を受信した前記アラーム装置は警報を発する、ステップＩが実行される、ことを特徴とする請求項８に記載のキャビンモニタリング方法。
【請求項15】
移動する乗り物のキャビン内に配置されて上記キャビン内の一連の候補画像を撮影する撮影装置と、
上記キャビン内に対して電波を送受信することにより一連の候補点群データを取得するレーダー装置と、
前記撮影装置及び前記レーダー装置に電気的に接続し、所定の期間中において、前記レーダー装置から受信した前記一連の候補点群データと、前記期間中において、前記撮影装置から受信した前記画像に基づいて、キャビン内の状況のモニタリングを実行するコンピュータ装置と、を備え、
前記コンピュータ装置は、前記候補点群データに対して処理を実行してターゲット点群データを取得し、そして前記一連の候補画像からターゲット画像を取得し、それから前記ターゲット点群データ及び前記ターゲット画像に基づいて統合画像を取得し、前記統合画像に基づいて、生物の位置を検知するための生物位置検知モデルを用いて、少なくとも１つの生物における一体の前記統合画像における位置に関連付けられた少なくとも１つの生物位置データを取得し、前記統合画像及び前記少なくとも１つの生物位置データに基づいて、且つ、生物の骨格特徴の検知に用いられる骨格検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の骨格の前記統合画像における位置を含む少なくとも１つの生物骨格特徴データを取得し、
前記統合画像及び前記少なくとも１つの生物位置データに基づいて、生物の顔面の特徴を検知するための顔面検知モデルを用いて前記少なくとも１つの生物における一体に関連付けられ、且つ関連付けられた生物の複数の顔面器官の前記統合画像における位置を含む少なくとも１つの顔面特徴データを取得し、前記少なくとも１つの顔面特徴データ及び前記少なくとも１つの生物骨格特徴データに基づいて、キャビン内の状況のモニタリングを実行する、ことを特徴とするキャビンモニタリングシステム。
上記キャビン内に対して電波を送受信することにより一連の候補点群データを取得するレーダー装置と、
前記撮影装置及び前記レーダー装置に電気的に接続し、所定の期間中において、前記レーダー装置から受信した前記一連の候補点群データと、前記期間中において、前記撮影装置から受信した前記画像に基づいて、キャビン内の状況のモニタリングを実行するコンピュータ装置と、を備え、
前記コンピュータ装置は、前記候補点群データに対して処理を実行してターゲット点群データを取得し、そして前記一連の候補画像からターゲット画像を取得し、それから前記ターゲット点群データ及び前記ターゲット画像に基づいて統合画像を取得し、前記統合画像に基づいて、生物の位置を検知するための生物位置検知モデルを用いて、少なくとも１つの生物における一体の前記統合画像における位置に関連付けられた少なくとも１つの生物位置データを取得し、前記統合画像及び前記少なくとも１つの生物位置データに基づいて、且つ、生物の骨格特徴の検知に用いられる骨格検知モデルを利用して前記少なくとも１つの生物における一体に関連付けられている上、関連付けられている生物の骨格の前記統合画像における位置を含む少なくとも１つの生物骨格特徴データを取得し、
前記統合画像及び前記少なくとも１つの生物位置データに基づいて、生物の顔面の特徴を検知するための顔面検知モデルを用いて前記少なくとも１つの生物における一体に関連付けられ、且つ関連付けられた生物の複数の顔面器官の前記統合画像における位置を含む少なくとも１つの顔面特徴データを取得し、前記少なくとも１つの顔面特徴データ及び前記少なくとも１つの生物骨格特徴データに基づいて、キャビン内の状況のモニタリングを実行する、ことを特徴とするキャビンモニタリングシステム。
【請求項16】
前記コンピュータ装置は、各前記候補点群データに対して処理を行ってターゲット点群データを取得することにより、各前記候補画像の中からターゲット画像を取得し、前記ターゲット画像に基づいて、生物の骨格特徴を検知するための画像骨格検知モデルを利用し、少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の骨格の前記ターゲット画像における位置を含む少なくとも１つの画像生物骨格特徴データを取得し、
前記ターゲット画像に基づいて、生物の頭部姿勢の特徴を検知するための画像頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の画像頭部中心点の前記ターゲット画像における位置を含むと共に、前記画像頭部中心点に関連付けられた画像頭部仰俯角と画像頭部方位角と画像頭部回転角とを含む画像姿勢角データを含む少なくとも１つの画像頭部姿勢特徴データを取得し、
前記ターゲット点群データに基づいて、生物の位置を検知するための点群生物位置検知モデルを用いて、前記少なくとも１つの生物における一体のワールド座標における位置に関連付けられた少なくとも１つの点群生物位置データを取得し、
生物の骨格特徴を検知するための点群骨格検知モデルを用いて、関連付けられた生物の骨格の前記ワールド座標における位置を含む少なくとも１つの点群生物骨格特徴データを取得し、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の頭部姿勢の特徴を検知するための点群頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の点群頭部中心点の前記ワールド座標における位置を含むと共に、前記点群頭部中心点に関連付けられた点群頭部仰俯角と点群頭部方位角と点群頭部回転角とを含む点群姿勢角データを含む少なくとも１つの点群頭部姿勢特徴データを取得し、
前記少なくとも１つの画像生物骨格特徴データと、前記少なくとも１つの画像頭部姿勢特徴データと、前記少なくとも１つの点群生物骨格特徴データと、前記少なくとも１つの点群頭部姿勢特徴データに基づいて、キャビン内の状況のモニタリングを実行する、ことを特徴とする請求項１５に記載のキャビンモニタリングシステム。
前記ターゲット画像に基づいて、生物の頭部姿勢の特徴を検知するための画像頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の画像頭部中心点の前記ターゲット画像における位置を含むと共に、前記画像頭部中心点に関連付けられた画像頭部仰俯角と画像頭部方位角と画像頭部回転角とを含む画像姿勢角データを含む少なくとも１つの画像頭部姿勢特徴データを取得し、
前記ターゲット点群データに基づいて、生物の位置を検知するための点群生物位置検知モデルを用いて、前記少なくとも１つの生物における一体のワールド座標における位置に関連付けられた少なくとも１つの点群生物位置データを取得し、
生物の骨格特徴を検知するための点群骨格検知モデルを用いて、関連付けられた生物の骨格の前記ワールド座標における位置を含む少なくとも１つの点群生物骨格特徴データを取得し、
前記ターゲット点群データ及び前記少なくとも１つの点群生物位置データに基づいて、生物の頭部姿勢の特徴を検知するための点群頭部姿勢検知モデルを用いて、前記少なくとも１つの生物における一体に関連付けられ、且つ、関連付けられた生物の点群頭部中心点の前記ワールド座標における位置を含むと共に、前記点群頭部中心点に関連付けられた点群頭部仰俯角と点群頭部方位角と点群頭部回転角とを含む点群姿勢角データを含む少なくとも１つの点群頭部姿勢特徴データを取得し、
前記少なくとも１つの画像生物骨格特徴データと、前記少なくとも１つの画像頭部姿勢特徴データと、前記少なくとも１つの点群生物骨格特徴データと、前記少なくとも１つの点群頭部姿勢特徴データに基づいて、キャビン内の状況のモニタリングを実行する、ことを特徴とする請求項１５に記載のキャビンモニタリングシステム。