ホーム > 特許ランキング > タカハタプレシジョン株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024158718
(43)【公開日】2024-11-08
(54)【発明の名称】動作認識システム、動作認識方法及びプログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20241031BHJP
【ＦＩ】
G06T7/20 300Z
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023074136
(22)【出願日】2023-04-28
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡＳＣＲＩＰＴ
(71)【出願人】
【識別番号】312003595
【氏名又は名称】タカハタプレシジョン株式会社
(74)【代理人】
【識別番号】100162341
【弁理士】
【氏名又は名称】瀬崎 幸典
(72)【発明者】
【氏名】大関 陽太
(72)【発明者】
【氏名】永瀬 勝也
(72)【発明者】
【氏名】三浦 義晃
(72)【発明者】
【氏名】片岡 政人
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA09
5L096BA06
5L096DA01
5L096DA03
5L096EA05
5L096FA32
5L096FA33
5L096FA62
5L096FA64
5L096FA67
5L096FA69
5L096GA34
5L096GA51
5L096MA07
(57)【要約】
【課題】プライバシーの保護に配慮して人の状態及び特定動作行動を検知する。
【解決手段】対象の動作認識を行う動作認識システムであって、対象の少なくとも一つの身体部位の予め規定された一連の姿勢および動作を含む特定動作を示す特定動作データを記憶する記憶手段と、対象の表面上の複数の位置を示す点群データを連続して取得して、点群データから対象の３次元座標情報値を生成する検知手段と、対象の動作を、検知手段で生成した３次元座標情報値を有する点群データとして連続して表示する表示手段と、対象の複数の動作のうちの特定動作の指定を受け付ける受付手段と、対象の動作が、指定された特定動作と一致する動作である場合に、特定動作が発生したことを報知する報知手段と、を備えた。
【選択図】図６
【解決手段】対象の動作認識を行う動作認識システムであって、対象の少なくとも一つの身体部位の予め規定された一連の姿勢および動作を含む特定動作を示す特定動作データを記憶する記憶手段と、対象の表面上の複数の位置を示す点群データを連続して取得して、点群データから対象の３次元座標情報値を生成する検知手段と、対象の動作を、検知手段で生成した３次元座標情報値を有する点群データとして連続して表示する表示手段と、対象の複数の動作のうちの特定動作の指定を受け付ける受付手段と、対象の動作が、指定された特定動作と一致する動作である場合に、特定動作が発生したことを報知する報知手段と、を備えた。
【選択図】図６
【特許請求の範囲】
【請求項1】
対象の動作認識を行う動作認識システムであって、
前記対象の少なくとも一つの身体部位の予め規定された一連の姿勢および動作を含む特定動作を示す特定動作データを記憶する記憶手段と、
前記対象の表面上の複数の位置を示す点群データを連続して取得して、前記点群データから前記対象の３次元座標情報値を生成する検知手段と、
前記対象の動作を、前記検知手段で生成した前記３次元座標情報値を有する点群データとして連続して表示する表示手段と、
前記対象の複数の動作のうちの前記特定動作の指定を受け付ける受付手段と、
前記対象の動作が、指定された前記特定動作と一致する動作である場合に、前記特定動作が発生したことを報知する報知手段と、を備えた、
ことを特徴とする動作認識システム。
前記対象の少なくとも一つの身体部位の予め規定された一連の姿勢および動作を含む特定動作を示す特定動作データを記憶する記憶手段と、
前記対象の表面上の複数の位置を示す点群データを連続して取得して、前記点群データから前記対象の３次元座標情報値を生成する検知手段と、
前記対象の動作を、前記検知手段で生成した前記３次元座標情報値を有する点群データとして連続して表示する表示手段と、
前記対象の複数の動作のうちの前記特定動作の指定を受け付ける受付手段と、
前記対象の動作が、指定された前記特定動作と一致する動作である場合に、前記特定動作が発生したことを報知する報知手段と、を備えた、
ことを特徴とする動作認識システム。
【請求項2】
前記検知手段は、複数の発光素子からなるアレイ光源から回折光学素子を介して不可視光を投射し前記対象の表面から反射する反射光を受光して前記点群データを取得する、
ことを特徴とする請求項１に記載の動作認識システム。
ことを特徴とする請求項１に記載の動作認識システム。
【請求項3】
前記特定動作は、前記対象の身体部位の動きの角度及び幅を含む身体動作である、
ことを特徴とする請求項１に記載の動作認識システム。
ことを特徴とする請求項１に記載の動作認識システム。
【請求項4】
前記特定動作が発生したことを報知する場合、前記検知手段で取得した前記点群データを記録する、
ことを特徴とする請求項１に記載の動作認識システム。
ことを特徴とする請求項１に記載の動作認識システム。
【請求項5】
対象の動作認識を行う動作認識方法であって、
前記対象の少なくとも一つの身体部位の予め規定された一連の姿勢及び動作を含む特定動作を示す特定動作データを記憶する記憶ステップと、
前記対象の表面上の複数の位置を示す点群データを連続して取得して、前記点群データから前記対象の３次元座標情報値を生成する検知ステップと、
前記対象の動作を、前記検知ステップで生成した前記３次元座標情報値を有する点群データとして連続して表示する表示ステップと、
前記対象の複数の動作のうちの前記特定動作の指定を受け付ける受付ステップと、
前記対象の動作が、指定された前記特定動作と一致する動作である場合に、前記特定動作が発生したことを報知する報知ステップと、を含む、
ことを特徴とする動作認識方法。
前記対象の少なくとも一つの身体部位の予め規定された一連の姿勢及び動作を含む特定動作を示す特定動作データを記憶する記憶ステップと、
前記対象の表面上の複数の位置を示す点群データを連続して取得して、前記点群データから前記対象の３次元座標情報値を生成する検知ステップと、
前記対象の動作を、前記検知ステップで生成した前記３次元座標情報値を有する点群データとして連続して表示する表示ステップと、
前記対象の複数の動作のうちの前記特定動作の指定を受け付ける受付ステップと、
前記対象の動作が、指定された前記特定動作と一致する動作である場合に、前記特定動作が発生したことを報知する報知ステップと、を含む、
ことを特徴とする動作認識方法。
【請求項6】
コンピュータに、
対象の少なくとも一つの身体部位の予め規定された一連の姿勢及び動作を含む特定動作を示す特定動作データを記憶する記憶ステップと、
前記対象の表面上の複数の位置を示す点群データを連続して取得して、前記点群データから前記対象の３次元座標情報値を生成する検知ステップと、
前記対象の動作を、前記検知ステップで生成した前記３次元座標情報値を有する点群データとして連続して動画像として表示する表示ステップと、
前記対象の複数の動作のうちの前記特定動作の指定を受け付ける受付ステップと、
前記対象の動作が、指定された前記特定動作と一致する動作である場合に、前記特定動作が発生したことを報知する報知ステップと、を実行させる、
ことを特徴とするプログラム。
対象の少なくとも一つの身体部位の予め規定された一連の姿勢及び動作を含む特定動作を示す特定動作データを記憶する記憶ステップと、
前記対象の表面上の複数の位置を示す点群データを連続して取得して、前記点群データから前記対象の３次元座標情報値を生成する検知ステップと、
前記対象の動作を、前記検知ステップで生成した前記３次元座標情報値を有する点群データとして連続して動画像として表示する表示ステップと、
前記対象の複数の動作のうちの前記特定動作の指定を受け付ける受付ステップと、
前記対象の動作が、指定された前記特定動作と一致する動作である場合に、前記特定動作が発生したことを報知する報知ステップと、を実行させる、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動作認識システム、動作認識方法及びプログラムに関する。
【背景技術】
【0002】
特定の動作を行う人物が撮影された第１の動画像を再生表示し、再生表示された前記第１の動画像のフレーム上に、前記特定の動作に関連する位置を指示する指示入力を再生表示中に受け付ける入力受け付け部と、第２の動画像に含まれる１以上の特徴点を含む第２特徴点群と、前記第１の動画像に含まれる２以上の特徴点を含む第１特徴点群との間における特徴量の比較結果に基づいて、前記第１の動画像と前記第２の動画像との類似度を算出し、算出された前記類似度に基づいて前記第２の動画像に前記特定の動作が含まれるか否かを判定する判定部であって、前記類似度の算出の際、前記第１特徴点群のうち前記指示入力による指示位置に近い特徴点ほど特徴量の比較結果に対して大きな重みを付与する前記判定部と、を有する動作認識システムが知られている（特許文献１）。
【0003】
ベッドに設置されて患者が看護師を呼び出すためのナースコール子機と、ナースステーションに設置されてナースコール子機による呼び出しに応答するためのナースコール親機とを有するナースコールシステムであって、ベッド上の患者をベッドの上方から撮像するカメラと、カメラの撮像画像を解析して、患者の状態変化を検出し、状態変化が発生した場合には第一信号を出力する状態判断部と、を備え、ナースコール親機は、第一信号を受けて第一報知動作を実行する報知部を有し、状態判断部は、撮像画像を解析して、患者及び看護師の少なくとも一方を含む人物の所定の行動を検出した場合には、第一信号とは異なる第二信号を出力し、カメラまたはナースコール親機は、第二信号を受けて第二報知動作を実行する、ナースコールシステムも知られている（特許文献２）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２２－７７８７０号公報
【特許文献2】特開２０２３－５１１５０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、プライバシーの保護に配慮して人の状態及び特定動作行動を検知する。
【課題を解決するための手段】
【0006】
前記課題を解決するために、請求項１に記載の動作認識システムは、
対象の動作認識を行う動作認識システムであって、
前記対象の少なくとも一つの身体部位の予め規定された一連の姿勢および動作を含む特定動作を示す特定動作データを記憶する記憶手段と、
前記対象の表面上の複数の位置を示す点群データを連続して取得して、前記点群データから前記対象の３次元座標情報値を生成する検知手段と、
前記対象の動作を、前記検知手段で生成した前記３次元座標情報値を有する点群データとして連続して表示する表示手段と、
前記対象の複数の動作のうちの前記特定動作の指定を受け付ける受付手段と、
前記対象の動作が、指定された前記特定動作と一致する動作である場合に、前記特定動作が発生したことを報知する報知手段と、を備えた、
ことを特徴とする。
対象の動作認識を行う動作認識システムであって、
前記対象の少なくとも一つの身体部位の予め規定された一連の姿勢および動作を含む特定動作を示す特定動作データを記憶する記憶手段と、
前記対象の表面上の複数の位置を示す点群データを連続して取得して、前記点群データから前記対象の３次元座標情報値を生成する検知手段と、
前記対象の動作を、前記検知手段で生成した前記３次元座標情報値を有する点群データとして連続して表示する表示手段と、
前記対象の複数の動作のうちの前記特定動作の指定を受け付ける受付手段と、
前記対象の動作が、指定された前記特定動作と一致する動作である場合に、前記特定動作が発生したことを報知する報知手段と、を備えた、
ことを特徴とする。
【0007】
請求項２に記載の発明は、請求項１に記載の動作認識システムにおいて、
前記検知手段は、複数の発光素子からなるアレイ光源から回折光学素子を介して不可視光を投射し前記対象の表面から反射する反射光を受光して前記点群データを取得する、
ことを特徴とする。
前記検知手段は、複数の発光素子からなるアレイ光源から回折光学素子を介して不可視光を投射し前記対象の表面から反射する反射光を受光して前記点群データを取得する、
ことを特徴とする。
【0008】
請求項３に記載の発明は、請求項１に記載の動作認識システムにおいて、
前記特定動作は、前記対象の身体部位の動きの角度及び幅を含む身体動作である、
ことを特徴とする。
前記特定動作は、前記対象の身体部位の動きの角度及び幅を含む身体動作である、
ことを特徴とする。
【0009】
請求項４に記載の発明は、請求項１に記載の動作認識システムにおいて、
前記特定動作が発生したことを報知する場合、前記検知手段で取得した前記点群データを記録する、
ことを特徴とする。
前記特定動作が発生したことを報知する場合、前記検知手段で取得した前記点群データを記録する、
ことを特徴とする。
【0010】
前記課題を解決するために、請求項５に記載の動作認識方法は、
対象の動作認識を行う動作認識方法であって、
前記対象の少なくとも一つの身体部位の予め規定された一連の姿勢及び動作を含む特定動作を示す特定動作データを記憶する記憶ステップと、
前記対象の表面上の複数の位置を示す点群データを連続して取得して、前記点群データから前記対象の３次元座標情報値を生成する検知ステップと、
前記対象の動作を、前記検知ステップで生成した前記３次元座標情報値を有する点群データとして連続して表示する表示ステップと、
前記対象の複数の動作のうちの前記特定動作の指定を受け付ける受付ステップと、
前記対象の動作が、指定された前記特定動作と一致する動作である場合に、前記特定動作が発生したことを報知する報知ステップと、を含む、
ことを特徴とする。
対象の動作認識を行う動作認識方法であって、
前記対象の少なくとも一つの身体部位の予め規定された一連の姿勢及び動作を含む特定動作を示す特定動作データを記憶する記憶ステップと、
前記対象の表面上の複数の位置を示す点群データを連続して取得して、前記点群データから前記対象の３次元座標情報値を生成する検知ステップと、
前記対象の動作を、前記検知ステップで生成した前記３次元座標情報値を有する点群データとして連続して表示する表示ステップと、
前記対象の複数の動作のうちの前記特定動作の指定を受け付ける受付ステップと、
前記対象の動作が、指定された前記特定動作と一致する動作である場合に、前記特定動作が発生したことを報知する報知ステップと、を含む、
ことを特徴とする。
【0011】
前記課題を解決するために、請求項６に記載のプログラムは、
コンピュータに、
対象の少なくとも一つの身体部位の予め規定された一連の姿勢及び動作を含む特定動作を示す特定動作データを記憶する記憶ステップと、
前記対象の表面上の複数の位置を示す点群データを連続して取得して、前記点群データから前記対象の３次元座標情報値を生成する検知ステップと、
前記対象の動作を、前記検知ステップで生成した前記３次元座標情報値を有する点群データとして連続して動画像として表示する表示ステップと、
前記対象の複数の動作のうちの前記特定動作の指定を受け付ける受付ステップと、
前記対象の動作が、指定された前記特定動作と一致する動作である場合に、前記特定動作が発生したことを報知する報知ステップと、を実行させる、
ことを特徴とする。
コンピュータに、
対象の少なくとも一つの身体部位の予め規定された一連の姿勢及び動作を含む特定動作を示す特定動作データを記憶する記憶ステップと、
前記対象の表面上の複数の位置を示す点群データを連続して取得して、前記点群データから前記対象の３次元座標情報値を生成する検知ステップと、
前記対象の動作を、前記検知ステップで生成した前記３次元座標情報値を有する点群データとして連続して動画像として表示する表示ステップと、
前記対象の複数の動作のうちの前記特定動作の指定を受け付ける受付ステップと、
前記対象の動作が、指定された前記特定動作と一致する動作である場合に、前記特定動作が発生したことを報知する報知ステップと、を実行させる、
ことを特徴とする。
【発明の効果】
【0012】
請求項１に記載の発明によれば、プライバシーの保護に配慮して人の状態及び特定動作行動を検知することができる。
【0013】
請求項２に記載の発明によれば、不可視の安全な光で対象の動作を点群データとして取得することができる。
【0014】
請求項３に記載の発明によれば、対象の特定動作を可視化することができる。
【0015】
請求項４に記載の発明によれば、特定動作の発生を記録することができる。
【0016】
請求項５、６に記載の発明によれば、プライバシーの保護に配慮して人の状態及び特定動作行動を検知することができる。
【図面の簡単な説明】
【0017】
【図1】本実施形態に係る動作認識システムの機能構成を示すブロック図である。
【図2】本実施形態における特定動作の動作パターン例を示す図である。
【図3】３次元センサの機能構成を示すブロック図である。
【図4】（ａ）は３次元センサのドットパターン照射を示す模式図、（ｂ）は３次元センサの計測範囲の一例を示す図である。
【図5】動作認識システムが備える３次元センサの配置例を示す概略図である。
【図6】動作認識システムにおける対象の立体的な動作を検知する検知処理の流れを示すフローチャート図である。
【図7】取得した点群データから患者のみの点群データを抽出する処理を概念的に示す図である
【図8】点群データからノイズを除去する処理の一例を説明する概念図である。
【図9】患者の３次元座標情報値を三角法で算出する一例を説明する図である。
【発明を実施するための形態】
【0018】
次に図面を参照しながら、本発明の実施形態の具体例を説明するが、本発明は以下の実施形態に限定されるものではない。
尚、以下の図面を使用した説明において、図面は模式的なものであり、各寸法の比率等は現実のものとは異なることに留意すべきであり、理解の容易のために説明に必要な部材以外の図示は適宜省略されている。
尚、以下の図面を使用した説明において、図面は模式的なものであり、各寸法の比率等は現実のものとは異なることに留意すべきであり、理解の容易のために説明に必要な部材以外の図示は適宜省略されている。
【0019】
（１）動作認識システムの全体構成
図１は本実施形態に係る動作認識システム１の機能構成を示すブロック図、図２は本実施形態における特定動作の動作パターン例を示す図、図３は３次元センサ２０の機能構成を示すブロック図、図４（ａ）は３次元センサ２０のドットパターン照射を示す模式図、（ｂ）は３次元センサ２０の計測範囲の一例を示す図である。
以下、図面を参照しながら、動作認識システム１の全体構成について説明する。
図１は本実施形態に係る動作認識システム１の機能構成を示すブロック図、図２は本実施形態における特定動作の動作パターン例を示す図、図３は３次元センサ２０の機能構成を示すブロック図、図４（ａ）は３次元センサ２０のドットパターン照射を示す模式図、（ｂ）は３次元センサ２０の計測範囲の一例を示す図である。
以下、図面を参照しながら、動作認識システム１の全体構成について説明する。
【0020】
本実施形態に係る動作認識システム１は、対象となる人の特定動作のパターンを選定し、人を撮像しているときに特定動作が発生した場合、アラート表示を行うシステムであり、
図１に示すように、対象Ｍの少なくとも一つの身体部位の予め規定された一連の姿勢および動作を含む特定動作を示す特定動作データを記憶する特定動作データ記憶部１０と、対象Ｍの表面上の複数の位置を示す点群データＰを連続して取得して、点群データＰから対象Ｍの３次元座標情報値を生成する検知手段としての３次元センサ２０と、対象Ｍの動作を、３次元センサ２０で生成した３次元座標情報値を有する点群データとして連続して表示する表示手段としての表示部３０と、対象Ｍの複数の動作のうちの特定動作の指定を受け付ける受付手段としての入力受付部４０と、対象Ｍの動作が、指定された特定動作と一致する動作である場合に、特定動作が発生したことを報知する報知手段としての報知部５０と、３次元センサ２０で取得した点群データＰを記録する記録部６０と、を備えている。
図１に示すように、対象Ｍの少なくとも一つの身体部位の予め規定された一連の姿勢および動作を含む特定動作を示す特定動作データを記憶する特定動作データ記憶部１０と、対象Ｍの表面上の複数の位置を示す点群データＰを連続して取得して、点群データＰから対象Ｍの３次元座標情報値を生成する検知手段としての３次元センサ２０と、対象Ｍの動作を、３次元センサ２０で生成した３次元座標情報値を有する点群データとして連続して表示する表示手段としての表示部３０と、対象Ｍの複数の動作のうちの特定動作の指定を受け付ける受付手段としての入力受付部４０と、対象Ｍの動作が、指定された特定動作と一致する動作である場合に、特定動作が発生したことを報知する報知手段としての報知部５０と、３次元センサ２０で取得した点群データＰを記録する記録部６０と、を備えている。
【0021】
動作認識システム１において、特定動作データ記憶部１０、表示部３０、入力受付部４０、報知部５０及び記録部６０の処理は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）からなるプロセッサが所定のプログラムを実行する一般的なコンピュータで実現される。
３次元センサ２０は、発光制御、受光制御及び通信制御を、ＡＲＭプロセッサを搭載したシングルボードコンピュータであるラズベリーパイ（Raspberry Pi：登録商標）や小型のコンピュータ装置などとして実装されるプログラム処理装置を用いて実行することができるが、特に限定されない。
３次元センサ２０は、発光制御、受光制御及び通信制御を、ＡＲＭプロセッサを搭載したシングルボードコンピュータであるラズベリーパイ（Raspberry Pi：登録商標）や小型のコンピュータ装置などとして実装されるプログラム処理装置を用いて実行することができるが、特に限定されない。
【0022】
（特定動作データ記憶部）
特定動作データ記憶部１０は、対象Ｍの身体部位の予め規定された一連の姿勢および動作を含む特定動作を動作パターンデータとして記憶する。ここに、特定動作としては、図２に動作パターン例として示すように、ベッドに寝ている、ベッドから半身起きている、ベッドに腰を掛ける、ベッドから立ち上がる、腕を触る、首を触る、肩を触る、立っている、などが挙げられるが、これらに限らない。
特定動作データ記憶部１０は、対象Ｍの身体部位の予め規定された一連の姿勢および動作を含む特定動作を動作パターンデータとして記憶する。ここに、特定動作としては、図２に動作パターン例として示すように、ベッドに寝ている、ベッドから半身起きている、ベッドに腰を掛ける、ベッドから立ち上がる、腕を触る、首を触る、肩を触る、立っている、などが挙げられるが、これらに限らない。
【0023】
（３次元センサ）
３次元センサ２０は、図３のブロック図に示すように、光を出射する発光素子からなるプロジェクタ２１と、撮像対象の表面から反射した反射光を受光する撮像素子からなるイメージセンサモジュール２２と、プロジェクタ２１の発光、イメージセンサモジュール２２の受光及び受光データの処理を制御する制御部２３と、を備えている。
３次元センサ２０は、図３のブロック図に示すように、光を出射する発光素子からなるプロジェクタ２１と、撮像対象の表面から反射した反射光を受光する撮像素子からなるイメージセンサモジュール２２と、プロジェクタ２１の発光、イメージセンサモジュール２２の受光及び受光データの処理を制御する制御部２３と、を備えている。
【0024】
プロジェクタ２１は、複数の発光素子からなるアレイ光源であるＶＣＳＥＬ（Vertical Cavity Surface Emitting LASER）２１１と、ＶＣＳＥＬ２１１の上側でレーザ光の配光制御を行う透過型の回折光学素子（ＤＯＥ：Diffractive Optical Element）２１２と、から構成されている。
ＶＣＳＥＬ２１１は、波長９４０ｎｍの不可視の近赤外レーザ光を発光する。そのため、日中、夜間を問わず撮像が可能となっている。
回折光学素子２１２は、ＶＣＳＥＬ２１１が発光することにより生じる光を、規則的なドットパターンの配光パターンに変換し、複数のビーム状の測距光として対象Ｍに照射する。
ＶＣＳＥＬ２１１は、波長９４０ｎｍの不可視の近赤外レーザ光を発光する。そのため、日中、夜間を問わず撮像が可能となっている。
回折光学素子２１２は、ＶＣＳＥＬ２１１が発光することにより生じる光を、規則的なドットパターンの配光パターンに変換し、複数のビーム状の測距光として対象Ｍに照射する。
【0025】
図４（ａ）においては、回折光学素子２１２により、プロジェクタ２１から発光された光が、対象Ｍに対して、規則的なドットパターンとして配光されるように広がり角θ１の測距光Ｌ１～Ｌｎに変換される例が示されている。本実施形態においては、４０００ないし５０００本のレーザ光でドットパターンを照射し、一例として、図４（ｂ）に示すように、計測距離（Ｌ）３００ｍｍ～２０００ｍｍで計測範囲（Ｒ）２８５×２８５ｍｍ～１９００×１９００ｍｍを有する。
【0026】
イメージセンサモジュール２２には、光電変換素子としてＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが用いられている。
イメージセンサモジュール２２は、プロジェクタ２１から出射した不可視の近赤外レーザ光が対象Ｍで反射する反射光を受光して点群データＰとして取得する。
イメージセンサモジュール２２は、プロジェクタ２１から出射した不可視の近赤外レーザ光が対象Ｍで反射する反射光を受光して点群データＰとして取得する。
【0027】
制御部２３は、本実施形態においては、ＡＲＭプロセッサを搭載したシングルボードコンピュータであるラズベリーパイ（Raspberry Pi：登録商標）で構成されている。
制御部２３は、プロジェクタ２１及びイメージセンサモジュール２２の動作を制御するとともに、イメージセンサモジュール２２で取り込んだ点群データＰを処理して３次元座標情報値を生成する。
制御部２３は、プロジェクタ２１及びイメージセンサモジュール２２の動作を制御するとともに、イメージセンサモジュール２２で取り込んだ点群データＰを処理して３次元座標情報値を生成する。
【0028】
このように構成される３次元センサ２０は、対象Ｍにプロジェクタ２１から不可視のレーザ光を発して対象Ｍの表面から反射する反射光をイメージセンサモジュール２２で受光して点群データＰを取得して対象Ｍの立体的かつ３次元的な動作を検知する。
【0029】
（表示部）
表示部３０は、様々な態様で実現できるが、本実施形態では、動作認識システム１のプログラムがインストールされるコンピュータのディスプレイとして実現可能であり、各種情報を出力する。本実施形態においては、３次元センサ２０で検知した対象Ｍの動作を、３次元座標情報値を有する点群データＰとしてリアルタイムで表示する。また、表示部３０は、タッチパネル式ディスプレイで構成して、入力受付部４０を兼ねてもよい。
表示部３０は、様々な態様で実現できるが、本実施形態では、動作認識システム１のプログラムがインストールされるコンピュータのディスプレイとして実現可能であり、各種情報を出力する。本実施形態においては、３次元センサ２０で検知した対象Ｍの動作を、３次元座標情報値を有する点群データＰとしてリアルタイムで表示する。また、表示部３０は、タッチパネル式ディスプレイで構成して、入力受付部４０を兼ねてもよい。
【0030】
表示部３０に表示される対象Ｍの動作は、３次元座標情報値を有する点群データＰとして表示されるために、静止画像及び動画像を撮影可能なＷｅｂカメラを用いたカメラ画像（ＲＧＢカラー画像）に比べて、個人を特定する情報の取得リスクが低く、プライバシー保護に配慮した表示となっている。
【0031】
（入力受付部）
入力受付部４０は、対象Ｍの複数の動作のうちの特定動作の指定を受け付け、具体的には、例えば、動作認識システム１のユーザによって指定される特定動作パターンの入力情報を受け付ける。入力情報の入力操作は、動作認識システム１を構成するコンピュータの入力装置を通じて行われてもよく、具体的には、タッチパネル式ディスプレイなどによって実現される。例えば、動作認識システム１を構成するコンピュータがタッチパネル式ディスプレイを備えている場合は、タッチパネル式ディスプレイが表示部３０及び入力受付部４０として機能する。なお、入力受付部４０は、タッチパネル式ディスプレイに限らず、例えば、キーボード、マウス、又は、メカニカルなスイッチなどであってもよい。また、入力受付部４０は、マイクロフォンであってもよい。
あるいは、入力受付部４０は、例えば、リモートコントローラのように独立した機器の一部であってもよいし、専用のアプリケーションプログラムがインストールされた携帯端末（スマートフォンまたはタブレット端末）の一部であってもよい。その場合、入力受付部４０は、携帯端末から送られてくる入力情報を、ネットワークを通じて受信することで、入力情報を受け付ける。
入力受付部４０は、対象Ｍの複数の動作のうちの特定動作の指定を受け付け、具体的には、例えば、動作認識システム１のユーザによって指定される特定動作パターンの入力情報を受け付ける。入力情報の入力操作は、動作認識システム１を構成するコンピュータの入力装置を通じて行われてもよく、具体的には、タッチパネル式ディスプレイなどによって実現される。例えば、動作認識システム１を構成するコンピュータがタッチパネル式ディスプレイを備えている場合は、タッチパネル式ディスプレイが表示部３０及び入力受付部４０として機能する。なお、入力受付部４０は、タッチパネル式ディスプレイに限らず、例えば、キーボード、マウス、又は、メカニカルなスイッチなどであってもよい。また、入力受付部４０は、マイクロフォンであってもよい。
あるいは、入力受付部４０は、例えば、リモートコントローラのように独立した機器の一部であってもよいし、専用のアプリケーションプログラムがインストールされた携帯端末（スマートフォンまたはタブレット端末）の一部であってもよい。その場合、入力受付部４０は、携帯端末から送られてくる入力情報を、ネットワークを通じて受信することで、入力情報を受け付ける。
【0032】
ユーザによって指定される特定動作パターンとしては、特定動作データ記憶部１０に予め記憶された特定動作パターンであり、一例として、ベッドに寝ている、ベッドから半身起きている、ベッドに腰を掛ける、ベッドから立ち上がる、腕を触る、首を触る、肩を触る、立っている、などが挙げられる。
尚、特定動作データ記憶部１０に予め記憶される特定動作パターンは、個々の対象Ｍの状況に合わせて特に注意すべき動作として追加可能であり、ユーザは追加された特定動作パターンを入力受付部４０を介して指定することができる。
尚、特定動作データ記憶部１０に予め記憶される特定動作パターンは、個々の対象Ｍの状況に合わせて特に注意すべき動作として追加可能であり、ユーザは追加された特定動作パターンを入力受付部４０を介して指定することができる。
【0033】
（報知部）
報知部５０は、対象Ｍの動作が、指定された特定動作と一致する動作である場合に、特定動作が発生した旨のアラートを発する。
ここで言う対象Ｍの動作が、指定された特定動作と一致する動作とは、検知された対象Ｍの動作が、ユーザによって検知すべき特定動作として指定された動作に当たる可能性が一定程度高いと判断された動作でありユーザに状況の確認を促すものである。
例えば、ベッドに腰を掛ける、ベッドから立ち上がる、腕を触る、首を触る、肩を触る、立っている、などの特定動作が発生した可能性があるか否かを判定し、特定動作が発生したと判定された場合は、報知部５０が特定動作が発生したことを報知する。
報知部５０は、対象Ｍの動作が、指定された特定動作と一致する動作である場合に、特定動作が発生した旨のアラートを発する。
ここで言う対象Ｍの動作が、指定された特定動作と一致する動作とは、検知された対象Ｍの動作が、ユーザによって検知すべき特定動作として指定された動作に当たる可能性が一定程度高いと判断された動作でありユーザに状況の確認を促すものである。
例えば、ベッドに腰を掛ける、ベッドから立ち上がる、腕を触る、首を触る、肩を触る、立っている、などの特定動作が発生した可能性があるか否かを判定し、特定動作が発生したと判定された場合は、報知部５０が特定動作が発生したことを報知する。
【0034】
報知部５０は、例えば、音により情報を報知するスピーカ、振動により情報を報知する振動子、点灯又は点滅により情報を報知するランプ等により構成されていてよい。あるいは、表示部３０が、ディスプレイに情報を表示することにより報知を行うことによって、報知部５０として機能してもよい。
報知部５０は、ここで示した例に限られず、情報を報知可能な他の機構により構成されていてもよく、複数の組合せによって構成されてもよい。また、これらの報知部５０が動作認識システム１を構成するコンピュータとは独立して設けられ、通信によって制御されていてもよい。
報知部５０は、ここで示した例に限られず、情報を報知可能な他の機構により構成されていてもよく、複数の組合せによって構成されてもよい。また、これらの報知部５０が動作認識システム１を構成するコンピュータとは独立して設けられ、通信によって制御されていてもよい。
【0035】
報知部５０が特定動作が発生したことを報知する場合、３次元センサ２０で取得した点群データＰを記録する。点群データＰを記録する記録部６０は、例えば、ＮＶＲＡＭ（Non-Volatile RAM）等の不揮発性メモリを含む半導体メモリや、ＨＤＤ（Hard Disk Drive）などの記録媒体で構成することができる。記録する点群データは、ＣＳＶ(Comma Separated Value)、ＪＳＯＮ（JavaScript Object Notation)、及びＸＭＬ(Extensible Markup Language)形式等のデータとして記録することで、ユーザ間で共有することができる。
【0036】
（２）特定動作の検知処理
図５は動作認識システム１が備える３次元センサ２０の配置例を示す概略図、図６は動作認識システム１における対象Ｍの立体的な動作を検知する検知処理の流れを示すフローチャート図、図７は取得した点群データＰから患者のみの点群データＰを抽出する処理を概念的に示す図、図８は点群データＰからノイズを除去する処理の一例を説明する概念図である。以下、図面を参照しながら本実施形態に係る動作認識システム１における特定動作の検知処理について説明する。
図５は動作認識システム１が備える３次元センサ２０の配置例を示す概略図、図６は動作認識システム１における対象Ｍの立体的な動作を検知する検知処理の流れを示すフローチャート図、図７は取得した点群データＰから患者のみの点群データＰを抽出する処理を概念的に示す図、図８は点群データＰからノイズを除去する処理の一例を説明する概念図である。以下、図面を参照しながら本実施形態に係る動作認識システム１における特定動作の検知処理について説明する。
【0037】
本実施形態に係る動作認識システム１においては、図５に示すように、３次元センサ２０はベッド７０の上方に設置され、ベッド７０を使用している患者Ｍの状態及び動作を中心に撮像するようになっている。
【0038】
まず、ステップＳ１０１で３次元センサ２０をオンにして、プロジェクタ２１から患者Ｍに対してレーザ光を照射する（Ｓ１０１）。
レーザ光は数千本のレーザ光が同時に整列したドットとして照射される。レーザ光は患者Ｍの点群データＰを取得する間、一定の間隔で照射され、患者Ｍに向かって整列したドットとして照射されたレーザ光はイメージセンサモジュール２２で受光して点群データＰとしてリアルタイムで取得する（Ｓ１０２）。
レーザ光は数千本のレーザ光が同時に整列したドットとして照射される。レーザ光は患者Ｍの点群データＰを取得する間、一定の間隔で照射され、患者Ｍに向かって整列したドットとして照射されたレーザ光はイメージセンサモジュール２２で受光して点群データＰとしてリアルタイムで取得する（Ｓ１０２）。
【0039】
次に、ステップＳ１０２で取得した点群データＰからベッド７０及び患者Ｍ以外の背景を示す点群データＰを除去し、ベッド７０及び患者Ｍのみの点群データＰを抽出する（Ｓ１０３）。
具体的には、図７（ａ）に示すように、記録部６０に保存した点群データＰのうち、ＸＹ軸それぞれの方向に対して、数十点ずつ抽出しＸＹ軸と互いに直交するＺ軸方向の分散σ１を算出する。算出したＺ軸方向の分散σ１が予め定められた値よりも大きい場合、動きがある、すなわち患者Ｍが検出されたと推定して患者Ｍの点群データＰを抽出する（図７（ｂ） 参照）。また、ベッド７０は、予め登録されているベッド７０の大きさからベッド７０の領域を算出してベッド７０の点群データを抽出する（Ｓ１０３）。
具体的には、図７（ａ）に示すように、記録部６０に保存した点群データＰのうち、ＸＹ軸それぞれの方向に対して、数十点ずつ抽出しＸＹ軸と互いに直交するＺ軸方向の分散σ１を算出する。算出したＺ軸方向の分散σ１が予め定められた値よりも大きい場合、動きがある、すなわち患者Ｍが検出されたと推定して患者Ｍの点群データＰを抽出する（図７（ｂ） 参照）。また、ベッド７０は、予め登録されているベッド７０の大きさからベッド７０の領域を算出してベッド７０の点群データを抽出する（Ｓ１０３）。
【0040】
ステップＳ１０３で、ベッド７０及び患者Ｍ以外の背景を示す点群データＰを除去した点群データＰからノイズを除去して、ベッド７０及び患者Ｍの点群データＰを抽出する（Ｓ１０４）。
図８に模式的に示すように、取得した点群データＰの任意の一点Ｐｎを中心として所定の閾値を半径とする仮想した球内から外れる点群データの近傍点における分散σ２を算出し、分散σ２が予め定められた値よりも大きい場合、ノイズと判断して点群データＰから除去する。この処理を点群データＰの各点で繰り返し実行することで点群データＰからノイズを除去して、ベッド７０及び患者の点群データＰを抽出する（Ｓ１０４）。また、取得した点群データＰの任意の一点Ｐｎから近傍点への距離の平均が点群データ全体の平均から離れている統計的外れ値を算出することでノイズを検出して、取得された点群データＰからノイズとして除去してもよく、この処理を追加的に実施してもよい。
図８に模式的に示すように、取得した点群データＰの任意の一点Ｐｎを中心として所定の閾値を半径とする仮想した球内から外れる点群データの近傍点における分散σ２を算出し、分散σ２が予め定められた値よりも大きい場合、ノイズと判断して点群データＰから除去する。この処理を点群データＰの各点で繰り返し実行することで点群データＰからノイズを除去して、ベッド７０及び患者の点群データＰを抽出する（Ｓ１０４）。また、取得した点群データＰの任意の一点Ｐｎから近傍点への距離の平均が点群データ全体の平均から離れている統計的外れ値を算出することでノイズを検出して、取得された点群データＰからノイズとして除去してもよく、この処理を追加的に実施してもよい。
【0041】
そして、ステップＳ１０５において、ノイズが除去され、ベッド７０及び患者Ｍが存在する領域のみの点群データＰから患者Ｍの立体的な姿勢を算出する（Ｓ１０５）。
図９には、患者Ｍの３次元座標情報値を三角法で算出する一例を示している。図９におけるとの点群データＰの任意の一点Ｐｎと３次元センサ２０との距離Ｄは、プロジェクタ２１とイメージセンサモジュール２２の距離Ａ、測距光Ｌ１とプロジェクタ２１の中央軸ｃ１との間に形成された角度α１、イメージセンサモジュール２２の中央軸ｃ２とイメージセンサモジュール２２が受光する反射光Ｒ１との間に形成された角度α２、として、式１
Ｄ＊ｔａｎα１＋Ｄ＊ｔａｎα２＝Ａ （式１）
で表され、プロジェクタ２１から測距光Ｌ１がその上に投射される患者Ｍまでの距離、すなわち、患者Ｍの３次元座標情報値を算出することを可能としている。
ベッド６０及び患者Ｍの点群データＰの各点に対して、上記関係式からその３次元座標情報値を算出することができる。
図９には、患者Ｍの３次元座標情報値を三角法で算出する一例を示している。図９におけるとの点群データＰの任意の一点Ｐｎと３次元センサ２０との距離Ｄは、プロジェクタ２１とイメージセンサモジュール２２の距離Ａ、測距光Ｌ１とプロジェクタ２１の中央軸ｃ１との間に形成された角度α１、イメージセンサモジュール２２の中央軸ｃ２とイメージセンサモジュール２２が受光する反射光Ｒ１との間に形成された角度α２、として、式１
Ｄ＊ｔａｎα１＋Ｄ＊ｔａｎα２＝Ａ （式１）
で表され、プロジェクタ２１から測距光Ｌ１がその上に投射される患者Ｍまでの距離、すなわち、患者Ｍの３次元座標情報値を算出することを可能としている。
ベッド６０及び患者Ｍの点群データＰの各点に対して、上記関係式からその３次元座標情報値を算出することができる。
【0042】
次に、３次元センサ２０により生成された患者Ｍの動作に対し、特定動作データ記憶部１０が記憶している特定動作データに基づいて、患者Ｍの状態及び動作がユーザが指定した特定動作であるかを判断する（ステップＳ１０６）。
具体的には、患者Ｍがベッドに寝ている状態（仰臥位状態や側臥位状態）、患者Ｍがベッドに腰掛けた状態（端座位状態）、患者Ｍが腕を触る状態、患者Ｍがベッドから立ち上がる状態（離床状態）、患者Ｍが腕を触る状態、患者Ｍが首を触る状態、患者Ｍが肩を触る状態、患者Ｍが立っている状態、のいずれかの状態であるかを判断する。上記特定動作であるかは、記憶されている特定動作データと３次元センサ２０により生成された３次元座標情報値との差分が予め定められた閾値よりも小さいか否かで判断される。
具体的には、患者Ｍがベッドに寝ている状態（仰臥位状態や側臥位状態）、患者Ｍがベッドに腰掛けた状態（端座位状態）、患者Ｍが腕を触る状態、患者Ｍがベッドから立ち上がる状態（離床状態）、患者Ｍが腕を触る状態、患者Ｍが首を触る状態、患者Ｍが肩を触る状態、患者Ｍが立っている状態、のいずれかの状態であるかを判断する。上記特定動作であるかは、記憶されている特定動作データと３次元センサ２０により生成された３次元座標情報値との差分が予め定められた閾値よりも小さいか否かで判断される。
【0043】
ステップＳ１０６において、見守り中の患者Ｍに特定動作が発生したと判断した場合には（ステップＳ１０６；Ｙｅｓ）、報知部５０は、特定動作が発生した旨のアラートを発する（ステップＳ１０７）。
具体的には、ディスプレイに患者Ｍの状態及び動作を点群データＰとしてリアルタイムで表示するとともに、指定された特定動作である旨をディスプレイに表示する、ランプ等を点灯又は点滅させる、スピーカで放音する、などの報知を行う（Ｓ１０７）。
具体的には、ディスプレイに患者Ｍの状態及び動作を点群データＰとしてリアルタイムで表示するとともに、指定された特定動作である旨をディスプレイに表示する、ランプ等を点灯又は点滅させる、スピーカで放音する、などの報知を行う（Ｓ１０７）。
【0044】
そして、報知部５０が特定動作が発生したことを報知する場合、ステップＳ１０８で、３次元センサ２０で取得した点群データＰを記録する（ステップＳ１０８）。記録する点群データＰは、ＣＳＶ(Comma Separated Value)、ＪＳＯＮ（JavaScript Object Notation)、及びＸＭＬ(Extensible Markup Language)形式等のデータとして記録する。
【0045】
以上説明したように、本実施形態に係る動作認識システム１は、対象となる人の少なくとも一つの身体部位の予め規定された一連の姿勢および動作を含む特定動作を示す特定動作データを記憶する特定動作データ記憶部１０と、対象となる人の表面上の複数の位置を示す点群データＰを連続して取得して、点群データＰから人の３次元座標情報値を生成する３次元センサ２０と、対象となる人の動作を、３次元センサ２０で生成した３次元座標情報値を有する点群データＰとして連続して表示する表示部３０と、対象となる人の複数の動作のうちの特定動作の指定を受け付ける入力受付部４０と、対象となる人の動作が、指定された特定動作と一致する動作である場合に、特定動作が発生したことを報知する報知部５０と、記録部６０と、を備えている。
【0046】
この構成によれば、３次元座標情報値を有する点群データＰにより、人の様々な立体的な動作をリアルタイムで確認することができる。特に、点群データＰの各点は３次元座標情報値が記録され、身体に密着してわかりにくい身体部位の動きも認識することが可能である。
また、この構成によれば、表示部３０に表示される人の動作は、３次元座標情報値を有する点群データＰとして表示されるために、Ｗｅｂカメラを用いたカメラ画像（ＲＧＢカラー画像）に比べて、個人を特定する情報の取得リスクが低く、プライバシー保護に配慮した表示となっている。
また、この構成によれば、表示部３０に表示される人の動作は、３次元座標情報値を有する点群データＰとして表示されるために、Ｗｅｂカメラを用いたカメラ画像（ＲＧＢカラー画像）に比べて、個人を特定する情報の取得リスクが低く、プライバシー保護に配慮した表示となっている。
【0047】
本実施形態においては、ベッドを使用している患者Ｍの状態及び特定動作を検知する実施例を説明したが、本実施形態に係る動作認識システム１は、プライバシーの保護が求められる対象の種類に応じて、病院、介護施設、老人福祉施設及び住戸等に好適に配設され、見守りを必要とする人の状態及び動作を認識したり、解析することが可能である。
【符号の説明】
【0048】
１・・・動作認識システム
１０・・・特定動作データ記憶部
２０・・・３次元センサ
２１・・・プロジェクタ、２１１・・・ＶＣＳＥＬ、２１２・・・回折光学素子
２２・・・イメージセンサモジュール
２３・・・処理部
３０・・・表示部
４０・・・入力受付部
５０・・・報知部
６０・・・記録部
１０・・・特定動作データ記憶部
２０・・・３次元センサ
２１・・・プロジェクタ、２１１・・・ＶＣＳＥＬ、２１２・・・回折光学素子
２２・・・イメージセンサモジュール
２３・・・処理部
３０・・・表示部
４０・・・入力受付部
５０・・・報知部
６０・・・記録部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】