ホーム > 特許ランキング > ノーリツプレシジョン株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6504156
(24)【登録日】2019年4月5日
(45)【発行日】2019年4月24日
(54)【発明の名称】情報処理装置、情報処理方法、及び、プログラム
(51)【国際特許分類】
G08B 21/02 20060101AFI20190415BHJP
G06T 1/00 20060101ALI20190415BHJP
A61B 5/11 20060101ALI20190415BHJP
G08B 25/00 20060101ALI20190415BHJP
【ＦＩ】
G08B21/02
G06T1/00 340B
A61B5/11 120
G08B25/00 510M
【請求項の数】19
【全頁数】55
(21)【出願番号】特願2016-508564(P2016-508564)
(86)(22)【出願日】2015年1月22日
(86)【国際出願番号】JP2015051635
(87)【国際公開番号】WO2015141268
(87)【国際公開日】20150924
【審査請求日】2017年12月20日
(31)【優先権主張番号】特願2014-58638(P2014-58638)
(32)【優先日】2014年3月20日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】311001347
【氏名又は名称】ノーリツプレシジョン株式会社
(74)【代理人】
【識別番号】100124039
【弁理士】
【氏名又は名称】立花 顕治
(74)【代理人】
【識別番号】100156845
【弁理士】
【氏名又は名称】山田 威一郎
(74)【代理人】
【識別番号】100179213
【弁理士】
【氏名又は名称】山下 未知子
(74)【代理人】
【識別番号】100170542
【弁理士】
【氏名又は名称】桝田 剛
(74)【代理人】
【識別番号】100195305
【弁理士】
【氏名又は名称】本田 恵
(72)【発明者】
【氏名】松本 修一
(72)【発明者】
【氏名】村井 猛
(72)【発明者】
【氏名】上辻 雅義
【審査官】
白川 瑞樹
(56)【参考文献】
【文献】
特開平０８−１５０１２５（ＪＰ，Ａ）
【文献】
特開２０１３−０７８４３３（ＪＰ，Ａ）
【文献】
特開２００９−０４９９４３（ＪＰ，Ａ）
【文献】
国際公開第２００９／０２９９９６（ＷＯ，Ａ１）
【文献】
特開２００２−２３０５３３（ＪＰ，Ａ）
【文献】
特開２０１４−０３８６６７（ＪＰ，Ａ）
【文献】
特開２０１３−１４９１５６（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ａ６１Ｂ５／００−５／０１
５／０６−５／２２
Ａ６１Ｇ７／００−７／１６
Ｇ０６Ｔ１／００−１／４０
３／００−９／４０
Ｇ０８Ｂ１９／００−３１／００
(57)【特許請求の範囲】
【請求項1】
見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する画像取得部と、
取得した前記撮影画像を表示装置に表示する表示制御部と、
表示される前記撮影画像内において、前記ベッドの基準となるベッド基準面の範囲の指定を利用者から受け付けて、該指定された範囲を前記ベッド基準面の範囲に設定する設定部と、
前記ベッド基準面の指定を前記設定部が受け付けている間に、所定の評価条件に基づいて、前記利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する評価部と、
前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する行動検知部と、
を備え、
前記表示制御部は、前記ベッド基準面の範囲の指定を前記設定部が受け付けている間に、前記利用者の指定している範囲についての前記評価部による評価結果を前記利用者に提示する、
情報処理装置。
取得した前記撮影画像を表示装置に表示する表示制御部と、
表示される前記撮影画像内において、前記ベッドの基準となるベッド基準面の範囲の指定を利用者から受け付けて、該指定された範囲を前記ベッド基準面の範囲に設定する設定部と、
前記ベッド基準面の指定を前記設定部が受け付けている間に、所定の評価条件に基づいて、前記利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する評価部と、
前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する行動検知部と、
を備え、
前記表示制御部は、前記ベッド基準面の範囲の指定を前記設定部が受け付けている間に、前記利用者の指定している範囲についての前記評価部による評価結果を前記利用者に提示する、
情報処理装置。
【請求項2】
所定の指定条件に基づいてベッド基準面の範囲を繰り返し指定し、該繰り返し指定される範囲を前記評価条件に基づいて評価することで、該繰り返し指定される範囲のうちから該評価条件に最も適合する範囲を前記ベッド基準面の範囲として推定する範囲推定部を更に備え、
前記表示制御部は、前記範囲推定部により推定される範囲が前記撮影画像上で明示されるように、前記表示装置による前記撮影画像の表示を制御する、
請求項１に記載の情報処理装置。
前記表示制御部は、前記範囲推定部により推定される範囲が前記撮影画像上で明示されるように、前記表示装置による前記撮影画像の表示を制御する、
請求項１に記載の情報処理装置。
【請求項3】
前記設定部は、前記範囲推定部により推定される範囲を前記撮影画像上で明示した後に、前記ベッド基準面の範囲の指定を利用者から受け付けて、該指定された範囲を前記ベッド基準面の範囲に設定する、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
前記評価部は、複数個の前記評価条件を利用することで、前記指定の範囲がベッド基準面の範囲に最も適合していることを示すグレードと前記指定の範囲がベッド上面の範囲に最も適合していないことを示すグレードとの間に少なくとも１段階以上のグレードを含む３段階以上のグレードで、前記利用者の指定している範囲を評価し、
前記表示制御部は、前記利用者の指定している範囲についての評価結果であって、前記３段階以上のグレードで表現された評価結果、を前記利用者に提示する、
請求項１から３のいずれか１項に記載の情報処理装置。
前記表示制御部は、前記利用者の指定している範囲についての評価結果であって、前記３段階以上のグレードで表現された評価結果、を前記利用者に提示する、
請求項１から３のいずれか１項に記載の情報処理装置。
【請求項5】
前記撮影画像の背景として設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出する前景抽出部を更に備え、
前記行動検知部は、前記前景領域内の各画素の深度に基づいて特定される前記前景領域に写る対象の実空間内での位置を前記見守り対象者の位置として利用して、実空間内での前記ベッド基準面と前記見守り対象者との位置関係が前記検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する、
請求項１から４のいずれか１項に記載の情報処理装置。
前記行動検知部は、前記前景領域内の各画素の深度に基づいて特定される前記前景領域に写る対象の実空間内での位置を前記見守り対象者の位置として利用して、実空間内での前記ベッド基準面と前記見守り対象者との位置関係が前記検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する、
請求項１から４のいずれか１項に記載の情報処理装置。
【請求項6】
前記設定部は、前記ベッド基準面の範囲としてベッド上面の範囲の指定を受け付け、
前記行動検知部は、実空間内での前記ベッド上面と前記見守り対象者との位置関係が前記検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する、
請求項１から５のいずれか１項に記載の情報処理装置。
前記行動検知部は、実空間内での前記ベッド上面と前記見守り対象者との位置関係が前記検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する、
請求項１から５のいずれか１項に記載の情報処理装置。
【請求項7】
前記設定部は、前記ベッド上面の高さの指定を受け付けて、該指定される高さを前記ベッド上面の高さに設定し、
前記表示制御部は、前記ベッド上面の高さの指定を前記設定部が受け付けている間に、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記ベッド上面の高さとして指定されている高さに位置する対象を写した領域を前記撮影画像上で明示するように、前記表示装置による前記撮影画像の表示を制御する、
請求項６に記載の情報処理装置。
前記表示制御部は、前記ベッド上面の高さの指定を前記設定部が受け付けている間に、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記ベッド上面の高さとして指定されている高さに位置する対象を写した領域を前記撮影画像上で明示するように、前記表示装置による前記撮影画像の表示を制御する、
請求項６に記載の情報処理装置。
【請求項8】
前記設定部は、前記ベッド上面の高さを設定する際に又は設定した後に、前記ベッド上面の範囲を特定するために前記ベッド上面内に設定される基準点の位置と前記ベッドの向きとの指定を前記撮影画像内で受け付けて、指定される前記基準点の位置及び前記ベッドの向きに基づいて特定される範囲を前記ベッド上面の実空間内での範囲に設定する、
請求項７に記載の情報処理装置。
請求項７に記載の情報処理装置。
【請求項9】
前記設定部は、前記ベッド上面の高さを設定する際に又は設定した後に、ベッド上面の範囲を規定する４つの角のうち２つの角の位置の指定を前記撮影画像内で受け付けて、指定された該２つの角の位置に基づいて特定される範囲を前記ベッド上面の実空間内での範囲に設定する、
請求項７に記載の情報処理装置。
請求項７に記載の情報処理装置。
【請求項10】
前記所定の評価条件は、前記利用者の指定している範囲内に前記ベッド上面よりも高さの低い対象の写る画素が含まれていないことを判定するための条件を含んでおり、
前記評価部は、前記利用者の指定している範囲内に前記ベッド上面よりも高さの低い対象の写る画素が含まれていないと判定したときに、前記利用者の指定している範囲が前記ベッド上面の範囲として適正であると評価する、
請求項６から９のいずれか１項に記載の情報処理装置。
前記評価部は、前記利用者の指定している範囲内に前記ベッド上面よりも高さの低い対象の写る画素が含まれていないと判定したときに、前記利用者の指定している範囲が前記ベッド上面の範囲として適正であると評価する、
請求項６から９のいずれか１項に記載の情報処理装置。
【請求項11】
前記所定の評価条件は、前記実空間内で前記ベッド上面に対する相対的な位置が予め特定されている目印が写っているか否かを判定するための条件を含んでおり、
前記評価部は、前記撮影画像に前記目印が写っていると判定したときに、前記利用者の指定している範囲が前記ベッド上面の範囲として適正であると評価する、
請求項６から１０のいずれか１項に記載の情報処理装置。
前記評価部は、前記撮影画像に前記目印が写っていると判定したときに、前記利用者の指定している範囲が前記ベッド上面の範囲として適正であると評価する、
請求項６から１０のいずれか１項に記載の情報処理装置。
【請求項12】
前記目印には、前記ベッドに設けられる一対の柵及びヘッドボードのうちの少なくとも何れかが含まれる、
請求項１１に記載の情報処理装置。
請求項１１に記載の情報処理装置。
【請求項13】
前記目印には、前記ベッドに設けられる一対の柵及びヘッドボードが含まれ、
前記評価部は、前記一対の柵及びヘッドボードのうちの少なくとも何れかの目印については、互いに離間する複数の領域で該目印が写っているか否かを判定する、
請求項１１又は１２に記載の情報処理装置。
前記評価部は、前記一対の柵及びヘッドボードのうちの少なくとも何れかの目印については、互いに離間する複数の領域で該目印が写っているか否かを判定する、
請求項１１又は１２に記載の情報処理装置。
【請求項14】
前記ベッド上面の範囲として前記利用者の指定する範囲によって、前記実空間上で指定面が規定され、
前記所定の評価条件は、前記指定面の上方に存在する対象であって、該指定面から所定の高さ以上高い位置に存在する対象、の写る画素が前記撮影画像に含まれているか否かを判定するための条件を含んでおり、
前記評価部は、前記指定面から所定の高さ以上高い位置に存在する対象の写る画素が前記撮影画像に含まれていないと判定したときに、前記利用者の指定している範囲が前記ベッド上面の範囲として適正であると評価する、
請求項６から１３のいずれか１項に記載の情報処理装置。
前記所定の評価条件は、前記指定面の上方に存在する対象であって、該指定面から所定の高さ以上高い位置に存在する対象、の写る画素が前記撮影画像に含まれているか否かを判定するための条件を含んでおり、
前記評価部は、前記指定面から所定の高さ以上高い位置に存在する対象の写る画素が前記撮影画像に含まれていないと判定したときに、前記利用者の指定している範囲が前記ベッド上面の範囲として適正であると評価する、
請求項６から１３のいずれか１項に記載の情報処理装置。
【請求項15】
前記見守り対象者について検知した行動が前記見守り対象者に危険の迫る予兆を示す行動である場合に、当該予兆を知らせるための通知を行う危険予兆通知部を更に備える、
請求項１から１４のいずれか１項に記載の情報処理装置。
請求項１から１４のいずれか１項に記載の情報処理装置。
【請求項16】
前記設定部による設定が所定時間内に完了しない場合に、前記設定部による設定が完了していないことを知らせるための通知を行う未完了通知部を更に備える、
請求項１から１５のいずれか１項に記載の情報処理装置。
請求項１から１５のいずれか１項に記載の情報処理装置。
【請求項17】
コンピュータが、
見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する取得ステップと、
取得した前記撮影画像内において、前記ベッドの基準となるベッド基準面の範囲の指定を利用者から受け付ける受付ステップと、
前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、所定の評価条件に基づいて、前記利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する評価ステップと、
前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、前記評価ステップによる前記利用者の指定している範囲についての評価結果を前記利用者に提示する提示ステップと、
前記利用者による範囲の指定が完了した際に指定されている範囲を前記ベッド基準面の範囲に設定する設定ステップと、
前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する検知ステップと、
を実行する情報処理方法。
見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する取得ステップと、
取得した前記撮影画像内において、前記ベッドの基準となるベッド基準面の範囲の指定を利用者から受け付ける受付ステップと、
前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、所定の評価条件に基づいて、前記利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する評価ステップと、
前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、前記評価ステップによる前記利用者の指定している範囲についての評価結果を前記利用者に提示する提示ステップと、
前記利用者による範囲の指定が完了した際に指定されている範囲を前記ベッド基準面の範囲に設定する設定ステップと、
前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する検知ステップと、
を実行する情報処理方法。
【請求項18】
コンピュータに、
見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する取得ステップと、
取得した前記撮影画像内において、前記ベッドの基準となるベッド基準面の範囲の指定を利用者から受け付ける受付ステップと、
前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、所定の評価条件に基づいて、前記利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する評価ステップと、
前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、前記評価ステップによる前記利用者の指定している範囲についての評価結果を前記利用者に提示する提示ステップと、
前記利用者による範囲の指定が完了した際に指定されている範囲を前記ベッド基準面の範囲に設定する設定ステップと、
前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する検知ステップと、
を実行させるためのプログラム。
見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する取得ステップと、
取得した前記撮影画像内において、前記ベッドの基準となるベッド基準面の範囲の指定を利用者から受け付ける受付ステップと、
前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、所定の評価条件に基づいて、前記利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する評価ステップと、
前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、前記評価ステップによる前記利用者の指定している範囲についての評価結果を前記利用者に提示する提示ステップと、
前記利用者による範囲の指定が完了した際に指定されている範囲を前記ベッド基準面の範囲に設定する設定ステップと、
前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する検知ステップと、
を実行させるためのプログラム。
【請求項19】
見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する画像取得部と、
所定の指定条件に基づいてベッド基準面の範囲を繰り返し指定し、所定の評価条件に基づいて、該繰り返し指定される範囲を該ベッド基準面の範囲として適正か否かを評価することで、該繰り返し指定される範囲のうちから該評価条件に最も適合する範囲を該ベッド基準面の範囲として推定する範囲推定部と、
前記推定された範囲を前記ベッドの基準面の範囲に設定する設定部と、
前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する行動検知部と、
を備える情報処理装置。
所定の指定条件に基づいてベッド基準面の範囲を繰り返し指定し、所定の評価条件に基づいて、該繰り返し指定される範囲を該ベッド基準面の範囲として適正か否かを評価することで、該繰り返し指定される範囲のうちから該評価条件に最も適合する範囲を該ベッド基準面の範囲として推定する範囲推定部と、
前記推定された範囲を前記ベッドの基準面の範囲に設定する設定部と、
前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する行動検知部と、
を備える情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、及び、プログラムに関する。【背景技術】
【0002】
室内斜め上方から室内下方に向けて撮影された画像の境界辺を通過して、床面領域からベッド領域への人体移動を検知することで、入床事象を判断し、ベッド領域から床面領域への人体移動を検知することで、離床事象を判断する技術がある（特許文献１）。【0003】
また、ベッドに寝ている患者が起床挙動を行ったことを判定するための見守り領域を、ベッドに就寝している患者を含むベッドの直上の領域に設定して、ベッドの横方向から見守り領域を含む撮影画像の見守り領域に占める患者と思われる画像領域の大きさを示す変動値が、患者がベッドに寝ている状態でカメラから得られた撮影画像の見守り領域に占める患者と思われる画像領域の大きさを示す初期値未満である場合に、患者が起床挙動を行っていると判断する技術がある（特許文献２）。【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００２−２３０５３３号公報
【特許文献2】特開２０１１−００５１７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
近年、入院患者、施設入居者、要介護者等の見守り対象者がベッドから転倒、転落する事故、及び、認知症患者の徘徊による事故が年々増加する傾向にある。このような事故を防止する方法として、例えば、特許文献１及び２で例示されるような、室内に設置した撮影装置（カメラ）で見守り対象者を撮影し、撮影した画像を解析することで、起き上がり、端座位、離床等の見守り対象者の行動を検知する見守りシステムが開発されている。【0006】
このような見守りシステムによって見守り対象者のベッドにおける行動を見守る場合、見守りシステムは、例えば、見守り対象者とベッドとの相対的な位置関係に基づいて見守り対象者の各行動を検知する。そのため、見守りを行う環境（以下、「見守り環境」とも称する）が変化することにより、撮影装置とベッドとの位置関係が変わってしまうと、見守りシステムは、見守り対象者の行動を適切に検知できなくなってしまう可能性がある。【0007】
これに対応する一つの方法として、見守りシステム内の設定によって、見守り環境に応じてベッドの位置を指定する方法がある。撮影装置とベッドとの位置関係が変わっても、その見守り環境に応じてベッドの位置が適切に設定されることで、見守りシステムは、ベッドの位置を適切に特定することが可能になる。そのため、見守り環境に応じたベッドの位置の設定を受け付けることで、見守りシステムは、見守り対象者とベッドとの相対的な位置関係を特定し、見守り対象者の行動を適切に検知できるようになる。しかしながら、従来、このようなベッドの位置の設定はシステムの管理者によって行われており、見守りシステムについての知識に乏しい利用者がベッドの位置の設定を容易に行うことはできなかった。【0008】
本発明は、一側面では、このような点を考慮してなされたものであり、見守り対象者の行動を検知する基準となるベッドの位置に関する設定を容易に行うことを可能にする技術を提供することを目的とする。【課題を解決するための手段】
【0009】
本発明は、上述した課題を解決するために、以下の構成を採用する。【0010】
すなわち、本発明の一側面に係る情報処理装置は、見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する画像取得部と、取得した前記撮影画像を表示装置に表示する表示制御部と、表示される前記撮影画像内において、前記ベッドの基準となるベッド基準面の範囲の指定を利用者から受け付けて、該指定された範囲を前記ベッド基準面の範囲に設定する設定部と、前記ベッド基準面の指定を前記設定部が受け付けている間に、所定の評価条件に基づいて、前記利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する評価部と、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する行動検知部と、を備える。そして、前記表示制御部は、前記ベッド基準面の範囲の指定を前記設定部が受け付けている間に、前記利用者の指定している範囲についての前記評価部による評価結果を前記利用者に提示する。【0011】
上記構成によれば、見守り対象者のベッドでの行動を撮影する撮影装置によって取得された撮影画像は、各画素の深度を示す深度情報を含んでいる。各画素の深度は、その各画素に写る対象の深さを示す。そのため、この深度情報を利用することで、見守り対象者とベッドとの実空間内での位置関係を推定し、見守り対象者の行動を検知することが可能である。【0012】
そこで、上記構成に係る情報処理装置は、撮影画像内の各画素の深度に基づいて、ベッドの基準面と見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定する。そして、上記構成に係る情報処理装置は、この判定の結果に基づいて、見守り対象者とベッドとの実空間内での位置関係を推定し、見守り対象者のベッドに関連する行動を検知する。【0013】
ここで、上記構成では、実空間内でのベッドの位置を特定するために、ベッドの位置に関する設定として、ベッドの基準となるベッド基準面の範囲の設定が行われる。このベッド基準面の範囲の設定が行われている間、上記構成に係る情報処理装置は、利用者の指定している範囲がベッド基準面の範囲として適正か否かを所定の評価条件に基づいて評価し、その評価結果を利用者に提示する。そのため、この情報処理装置の利用者は、撮影画像上で指定している範囲がベッド基準面として適正か否かを確認しながら、ベッド基準面の範囲を設定することができる。よって、上記構成によれば、見守りシステムについての知識に乏しい利用者であっても、見守り対象者の行動を検知する基準となるベッドの位置に関する設定を容易に行うことが可能である。【0014】
なお、見守り対象者とは、本発明によりベッドでの行動を見守られる対象者であり、例えば、入院患者、施設入居者、要介護者等である。また、ベッドに関連する行動とは、見守り対象者がベッドを含む空間で行う行動であり、例えば、起き上がり、端座位、柵越え、離床等である。ここで、端座位とは、見守り対象者がベッドの端に腰をかけている状態を指す。柵越えとは、見守り対象者がベッドの柵から身を乗り出している状態を指す。【0015】
そして、所定の検知条件は、撮影画像内に写るベッドと見守り対象者との実空間内での位置関係に基づいて見守り対象者の行動が特定できるように設定される条件であり、実施形態に応じて適宜設定されてもよい。また、所定の評価条件は、利用者の指定する範囲がベッド基準面として適正か否かを判定可能なように設定される条件であり、実施の形態に応じて適宜設定されてもよい。【0016】
また、上記一側面に係る情報処理装置の別の形態として、上記情報処理装置は、所定の指定条件に基づいてベッド基準面の範囲を繰り返し指定し、該繰り返し指定される範囲を前記評価条件に基づいて評価することで、該繰り返し指定される範囲のうちから該評価条件に最も適合する範囲を前記ベッド基準面の範囲として推定する範囲推定部を更に備えてもよい。そして、前記表示制御部は、前記範囲推定部により推定される範囲が前記撮影画像上で明示されるように、前記表示装置による前記撮影画像の表示を制御してもよい。【0017】
当該構成によれば、所定の指定条件に従って繰り返し指定される範囲のうちから評価条件に最も適合する範囲を特定することで、利用者の指定によらず、ベッド基準面の範囲を推定することができる。したがって、ベッド基準面の範囲を利用者が指定する作業を省略することができ、ベッド基準面の設定が更に容易になる。なお、所定の指定条件は、ベッド基準面として適合するか否かを判定する対象となる範囲をベッドの存在し得る領域内で繰り返し設定するための条件であり、実施の形態に応じて適宜設定されてもよい。【0018】
また、上記一側面に係る情報処理装置の別の形態として、前記設定部は、前記範囲推定部により推定される範囲を前記撮影画像上で明示した後に、前記ベッド基準面の範囲の指定を利用者から受け付けて、該指定された範囲を前記ベッド基準面の範囲に設定してもよい。当該構成によれば、利用者は、情報処理装置によるベッド基準面の自動検出の結果が示された状態で、ベッド基準面の範囲の指定が可能になる。具体的には、自動検出の結果が誤っている場合には、利用者は、その範囲を微調整してベッド基準面の範囲を設定する。一方、自動検出の結果が正しい場合には、利用者は、その範囲をそのままベッド基準範囲に設定する。したがって、当該構成によれば、利用者は、ベッド基準面の自動検出の結果を利用することで、ベッド基準面の設定を適切かつ容易に行うことができる。【0019】
また、上記一側面に係る情報処理装置の別の形態として、前記評価部は、複数個の前記評価条件を利用することで、前記指定の範囲がベッド基準面の範囲に最も適合していることを示すグレードと前記指定の範囲がベッド上面の範囲に最も適合していないことを示すグレードとの間に少なくとも１段階以上のグレードを含む３段階以上のグレードで、前記利用者の指定している範囲を評価してもよい。そして、前記表示制御部は、前記利用者の指定している範囲についての評価結果であって、前記３段階以上のグレードで表現された評価結果、を前記利用者に提示してもよい。当該構成によれば、利用者の指定している範囲についての評価結果が３段階以上のグレードで表現される。そのため、利用者は、指定している範囲の適正具合を段階的に確認することができ、これにより、ベッド基準面の適正な範囲を特定しやすくすることができる。【0020】
また、上記一側面に係る情報処理装置の別の形態として、前記撮影画像の背景として設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出する前景抽出部を更に備えてもよい。そして、前記行動検知部は、前記前景領域内の各画素の深度に基づいて特定される前記前景領域に写る対象の実空間内での位置を前記見守り対象者の位置として利用して、実空間内での前記ベッド基準面と前記見守り対象者との位置関係が前記検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知してもよい。【0021】
当該構成によれば、背景画像と撮影画像との差分を抽出することで、撮影画像の前景領域が特定される。この前景領域は、背景画像から変化の生じている領域である。そのため、前景領域には、見守り対象者に関連する像として、見守り対象者が動くことで変化の生じた領域、換言すると、見守り対象者の身体部位のうち動いている部位（以下、「動作部位」とも称する）の存在する領域が含まれている。よって、深度情報により示される前景領域内の各画素の深度を参照することで、実空間内における見守り対象者の動作部位の位置を特定することが可能である。【0022】
そこで、上記構成に係る情報処理装置は、前景領域内の各画素の深度に基づいて特定される前景領域に写る対象の実空間内での位置を見守り対象者の位置として利用して、ベッドの基準面と見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定する。ここで、この前景領域は、背景画像と撮影画像との差分で抽出可能であり、高度な画像処理を利用しなくても特定することができる。そのため、上記構成によれば、簡易な方法で見守り対象者の行動を検知することができるようになる。なお、この場合、見守り対象者の行動を検知するための所定条件は、前景領域が見守り対象者の行動に関連すると仮定して設定される。【0023】
また、上記一側面に係る情報処理装置の別の形態として、前記設定部は、前記ベッド基準面の範囲としてベッド上面の範囲の指定を受け付けてもよい。そして、前記行動検知部は、実空間内での前記ベッド上面と前記見守り対象者との位置関係が前記検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知してもよい。見守り対象者のベッドにおける行動を撮影装置によって撮影する上で、ベッドの上面は、撮影画像内に写り込みやすい場所である。そのため、撮影画像内のベッドの写る領域のうちベッド上面の占める割合は高くなりやすい。このような場所をベッドの基準面とするため、当該構成によれば、ベッドの基準面の設定が容易になる。なお、ベッド上面は、ベッドの垂直方向上側の面であり、例えば、ベッドマットレスの上面である。【0024】
また、上記一側面に係る情報処理装置の別の形態として、前記設定部は、前記ベッド上面の高さの指定を受け付けて、該指定される高さを前記ベッド上面の高さに設定してもよい。そして、前記表示制御部は、前記ベッド上面の高さの指定を前記設定部が受け付けている間に、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記ベッド上面の高さとして指定されている高さに位置する対象を写した領域を前記撮影画像上で明示するように、前記表示装置による前記撮影画像の表示を制御してもよい。【0025】
当該構成によれば、このベッドの基準面の高さの設定が行われる間、表示装置に表示させる撮影画像上で、利用者により指定されている高さに位置する対象を写した領域が明示される。したがって、この情報処理装置の利用者は、表示装置に表示される撮影画像上で、ベッドの基準面に指定する領域の高さを確認しながら、ベッドの基準面の高さを設定することができる。よって、上記構成によれば、見守りシステムについての知識に乏しい利用者であっても、見守り対象者の行動を検知する基準となるベッドの位置に関する設定を容易に行うことが可能である。【0026】
また、上記一側面に係る情報処理装置の別の形態として、前記設定部は、前記ベッド上面の高さを設定する際に又は設定した後に、前記ベッド上面の範囲を特定するために前記ベッド上面内に設定される基準点の位置と前記ベッドの向きとの指定を前記撮影画像内で受け付けて、指定される前記基準点の位置及び前記ベッドの向きに基づいて特定される範囲を前記ベッド上面の実空間内での範囲に設定してもよい。当該構成によれば、ベッド基準面の設定において、容易な操作で範囲を指定することができる。【0027】
また、上記一側面に係る情報処理装置の別の形態として、前記設定部は、前記ベッド上面の高さを設定する際に又は設定した後に、ベッド上面の範囲を規定する４つの角のうち２つの角の位置の指定を前記撮影画像内で受け付けて、指定された該２つの角の位置に基づいて特定される範囲を前記ベッド上面の実空間内での範囲に設定してもよい。当該構成によれば、ベッド基準面の設定において、容易な操作で範囲を指定することができる。【0028】
また、上記一側面に係る情報処理装置の別の形態として、前記所定の評価条件は、前記利用者の指定している範囲内に前記ベッド上面よりも高さの低い対象の写る画素が含まれていないことを判定するための条件を含んでいてもよい。そして、前記評価部は、前記利用者の指定している範囲内に前記ベッド上面よりも高さの低い対象の写る画素が含まれていないと判定したときに、前記利用者の指定している範囲が前記ベッド上面の範囲として適正であると評価してもよい。当該構成によれば、利用者の指定する範囲内に写る対象に基づいて、指定範囲の評価を行うことができる。なお、例えば、利用者の指定する範囲により規定される指定面の少なくとも一部がベッド上面からずれることで床が写っている場合に、利用者の指定する範囲内にベッド上面よりも高さの低い対象の写る画素が含まれる。すなわち、このような場合に、利用者の指定する範囲はベッド上面の範囲として不適正と評価される。【0029】
また、上記一側面に係る情報処理装置の別の形態として、前記所定の評価条件は、前記実空間内で前記ベッド上面に対する相対的な位置が予め特定されている目印が写っているか否かを判定するための条件を含んでいてもよい。そして、前記評価部は、前記撮影画像に前記目印が写っていると判定したときに、前記利用者の指定している範囲が前記ベッド上面の範囲として適正であると評価してもよい。当該構成によれば、撮影画像内に写る目印に基づいて、利用者の指定する範囲の評価を行うことができる。なお、目印は、利用者の指定する範囲の評価を行うために特別に設けた物であってもよいし、柵、ヘッドボード等のベッドが一般的に備えている物であってもよい。【0030】
また、上記一側面に係る情報処理装置の別の形態として、前記目印には、前記ベッドに設けられる一対の柵及びヘッドボードのうちの少なくとも何れかが含まれてもよい。当該構成によれば、ベッドが一般的に備えている物を目印とするため、利用者の指定する範囲の評価を行うために新たな目印を用意しなくてもよく、見守りシステムのコストを抑えることができる。【0031】
また、上記一側面に係る情報処理装置の別の形態として、前記目印には、前記ベッドに設けられる一対の柵及びヘッドボードが含まれてもよい。そして、前記評価部は、前記一対の柵及びヘッドボードのうちの少なくとも何れかの目印については、互いに離間する複数の領域で該目印が写っているか否かを判定してもよい。当該構成によれば、複数の領域で一つの対象物の適正を判定するため、指定の範囲に対する評価の精度を高めることができる。【0032】
また、上記一側面に係る情報処理装置の別の形態として、前記ベッド上面の範囲として前記利用者の指定する範囲によって、前記実空間上で指定面が規定されてもよい。また、前記所定の評価条件は、前記指定面の上方に存在する対象であって、該指定面から所定の高さ以上高い位置に存在する対象、の写る画素が前記撮影画像に含まれているか否かを判定するための条件を含んでいてもよい。そして、前記評価部は、前記指定面から所定の高さ以上高い位置に存在する対象の写る画素が前記撮影画像に含まれていないと判定したときに、前記利用者の指定している範囲が前記ベッド上面の範囲として適正であると評価してもよい。例えば、利用者の指定する範囲が壁等に突き抜けている場合、指定面の上空には、ベッド上面の上空では写らない対象物が写る。当該構成によれば、このような場合に、利用者の指定する範囲はベッド上面の範囲として不適正であると評価できる。なお、評価条件の基準となる所定の高さは、実施形態に応じて適宜設定されてもよく、例えば、ベッド上面に見守り対象者が存在する場合に利用者の指定する範囲がベッド上面の範囲として不適正であると評価されないように設定されてもよい。【0033】
また、上記一側面に係る情報処理装置の別の形態として、上記情報処理装置は、前記見守り対象者について検知した行動が前記見守り対象者に危険の迫る予兆を示す行動である場合に、当該予兆を知らせるための通知を行う危険予兆通知部を更に備えてもよい。当該構成によれば、見守り対象者に危険の迫る予兆があることを見守り者に知らせることが可能になる。【0034】
なお、このような通知は、例えば、見守り対象者を見守る見守り者に向けて行われる。見守り者は、見守り対象者の行動を見守る者であり、見守り対象者が、入院患者、施設入居者、要介護者等である場合は、例えば、看護師、施設職員、介護者等である。見守り対象者に危険の迫る予兆を知らせるための通知は、ナースコール等の施設に設置された設備と連携して行われてもよい。なお、通知する方法によっては、見守り対象者自身にも危険の迫る予兆があることを知らせることが可能である。【0035】
また、上記一側面に係る情報処理装置の別の形態として、上記情報処理装置は、前記設定部による設定が所定時間内に完了しない場合に、前記設定部による設定が完了していないことを知らせるための通知を行う未完了通知部を更に備えてもよい。当該構成によれば、ベッドの位置に関する設定の途中で見守りシステムが放置されてしまうことを防止することが可能になる。【0036】
また、本発明の一側面に係る情報処理装置は、見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する画像取得部と、所定の指定条件に基づいてベッド基準面の範囲を繰り返し指定し、所定の評価条件に基づいて、該繰り返し指定される範囲を該ベッド基準面の範囲として適正か否かを評価することで、該繰り返し指定される範囲のうちから該評価条件に最も適合する範囲を該ベッド基準面の範囲として推定する範囲推定部と、前記推定された範囲を前記ベッドの基準面の範囲に設定する設定部と、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する行動検知部と、を備える。当該構成によれば、所定の指定条件に従って繰り返し指定される範囲のうちから評価条件に最も適合する範囲を特定することで、利用者の指定によらず、ベッド基準面の範囲を推定することができる。したがって、ベッド基準面の範囲を利用者が指定する作業を省略することができ、ベッド基準面の設定が更に容易になる。【0037】
なお、上記各形態に係る情報処理装置の別の形態として、以上の各構成を実現する情報処理システムであってもよいし、情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、情報処理システムは、１又は複数の情報処理装置によって実現されてもよい。【0038】
例えば、本発明の一側面に係る情報処理方法は、コンピュータが、見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する取得ステップと、取得した前記撮影画像内において、前記ベッドの基準となるベッド基準面の範囲の指定を利用者から受け付ける受付ステップと、前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、所定の評価条件に基づいて、前記利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する評価ステップと、前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、前記評価ステップによる前記利用者の指定している範囲についての評価結果を前記利用者に提示する提示ステップと、前記利用者による範囲の指定が完了した際に指定されている範囲を前記ベッド基準面の範囲に設定する設定ステップと、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する検知ステップと、を実行する情報処理方法である。【0039】
また、例えば、本発明の一側面に係るプログラムは、コンピュータに、見守り対象者のベッドにおける行動を見守るために設置される撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度情報を含む撮影画像、を取得する取得ステップと、取得した前記撮影画像内において、前記ベッドの基準となるベッド基準面の範囲の指定を利用者から受け付ける受付ステップと、前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、所定の評価条件に基づいて、前記利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する評価ステップと、前記受付ステップにおいて前記ベッド基準面の指定を受け付けている間に、前記評価ステップによる前記利用者の指定している範囲についての評価結果を前記利用者に提示する提示ステップと、前記利用者による範囲の指定が完了した際に指定されている範囲を前記ベッド基準面の範囲に設定する設定ステップと、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、設定された前記ベッド基準面と前記見守り対象者との実空間内での位置関係が所定の検知条件を満たすか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を検知する検知ステップと、を実行させるためのプログラムである。【発明の効果】
【0040】
本発明によれば、見守り対象者の行動を検知する基準となるベッドの位置に関する設定を容易に行うことが可能になる。【図面の簡単な説明】
【0041】
【発明を実施するための形態】
【0042】
以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。【0043】
なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語等で指定される。【0044】
§１ 適用場面例まず、図１を用いて、本発明が適用される場面について説明する。図１は、本発明が適用される場面の一例を模式的に示す。本実施形態では、医療施設又は介護施設において、入院患者又は施設入居者が見守り対象者として行動を見守られる場面が想定されている。見守り対象者の見守りを行う者（以下、「利用者」とも称する）は、情報処理装置１とカメラ２とを含む見守りシステムを利用して、見守り対象者のベッドでの行動を検知する。
【0045】
本実施形態に係る見守りシステムは、カメラ２によって見守り対象者の行動を撮影することで、見守り対象者とベッドとが写る撮影画像３を取得する。そして、当該見守りシステムは、カメラ２により取得される撮影画像３を情報処理装置１で解析することで、見守り対象者の行動を検知する。【0046】
カメラ２は、本発明の撮影装置に相当し、見守り対象者のベッドにおける行動を見守るために設置されている。カメラ２の設置する場所は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。例えば、本実施形態では、カメラ２は、ベッドの長手方向の前方に設置されている。すなわち、カメラ２を横から見た場面を図１は例示しており、図１の上下方向がベッドの高さ方向に相当する。また、図１の左右方向がベッドの長手方向に相当し、図１の紙面に垂直な方向がベッドの幅方向に相当する。【0047】
このカメラ２は、被写体の深度を測定する深度センサを含んでおり、撮影画像内の各画素に対応する深度を取得する。そのため、このカメラ２によって取得される撮影画像３は、図１で例示されるように、画素毎に得られる深度を示す深度情報を含んでいる。【0048】
この深度情報を含む撮影画像３は、撮影範囲内の被写体の深度を示すデータであってもよく、例えば、撮影範囲内の被写体の深度が二次元状に分布したデータ（例えば、深度マップ）であってもよい。また、撮影画像３は、深度情報とともに、ＲＧＢ画像を含んでもよい。更に、撮影画像３は、動画像であってもよいし、静止画像であってもよい。【0049】
図２は、このような撮影画像３の一例を示す。図２で例示される撮影画像３は、各画素の濃淡値が当該各画素の深度に応じて定められた画像である。黒色の画素ほど、カメラ２に近いことを示す。一方、白色の画素ほど、カメラ２から遠いことを示す。当該深度情報によれば、撮影範囲内の被写体の実空間（三次元空間）内での位置を特定することができる。【0050】
より詳細には、被写体の深度は、当該被写体の表面に対して取得される。そして、撮影画像３に含まれる深度情報を用いることで、カメラ２に写る被写体表面の実空間内での位置を特定することができる。本実施形態では、カメラ２により撮影された撮影画像３は情報処理装置１に送信される。そして、情報処理装置１は、取得した撮影画像３に基づいて、見守り対象者の行動を推定する。【0051】
本実施形態に係る情報処理装置１は、取得される撮影画像３に基づいて見守り対象者の行動を推定するために、当該撮影画像３の背景として設定されている背景画像と撮影画像３との差分を抽出することで、撮影画像３内の前景領域を特定する。特定される前景領域は、背景画像から変化の生じている領域であるため、見守り対象者の動作部位の存在する領域を含んでいる。そこで、情報処理装置１は、見守り対象者に関連する像として前景領域を利用して、見守り対象者の行動を検知する。【0052】
例えば、見守り対象者がベッド上で起き上がる場合には、図１で例示されるように、起き上がりに関する部位（図１では上半身）の写る領域が前景領域として抽出される。このように抽出される前景領域内の各画素の深度を参照することで、実空間内における見守り対象者の動作部位の位置を特定することが可能である。【0053】
そして、見守り対象者のベッドにおける行動は、このように特定される動作部位とベッドとの位置関係に基づいて推定することが可能である。例えば、図１で例示されるように、見守り対象者の動作部位がベッド上面の上方で検知された場合には、見守り対象者はベッド上で起き上がりの動作を行っていると推定することができる。また、例えば、見守り対象者の動作部位がベッドの側部付近で検知された場合には、見守り対象者は端座位の状態になろうとしていると推定することができる。【0054】
そこで、本実施形態では、動作部位とベッドとの位置関係に基づいて見守り対象者の行動を検知できるように、実空間内でのベッドの位置を特定するための基準となるベッド基準面の設定が行われる。ベッド基準面は、見守り対象者のベッドにおける行動の基準となる面である。情報処理装置１は、このようなベッド基準面を設定するために、撮影画像３内においてこのベッド基準面の範囲の指定を受け付ける。【0055】
このベッド基準面の範囲の指定を受け付けている間、情報処理装置１は、利用者の指定している範囲がベッド基準面の範囲として適正か否かを後述する所定の評価条件に基づいて評価し、その評価結果を利用者に提示する。評価結果を提示する方法は特に限定されなくてもよく、情報処理装置１は、例えば、撮影画像を表示する表示装置にこの評価結果を表示する。【0056】
これにより、情報処理装置１の利用者は、自身の指定している範囲がベッド基準面として適正か否かを確認しながら、ベッド基準面の範囲を設定することができる。したがって、情報処理装置１では、見守りシステムについての知識に乏しい利用者であっても、見守り対象者の行動を検知する基準となるベッドの位置に関する設定を容易に行うことが可能である。【0057】
情報処理装置１は、このように設定されたベッドの基準面と前景領域に写る対象（見守り対象者の動作部位）との実空間内の位置関係を深度情報に基づいて特定する。すなわち、情報処理装置１は、前景領域内の各画素の深度に基づいて特定される前景領域に写る対象の実空間内での位置を見守り対象者の位置として利用する。そして、情報処理装置１は、特定される位置関係に基づいて、見守り対象者のベッドでの行動を検知する。【0058】
なお、本実施形態では、ベッドの基準面として、ベッド上面を例示する。ベッド上面は、ベッドの垂直方向上側の面であり、例えば、ベッドマットレスの上面である。ベッドの基準面は、このようなベッド上面であってもよいし、その他の面であってもよい。ベッドの基準面は、実施の形態に応じて、適宜、決定されてもよい。また、ベッドの基準面は、ベッドに存在する物理的な面に限らず、仮想的な面であってもよい。【0059】
§２ 構成例＜ハードウェア構成例＞
次に、図３を用いて、情報処理装置１のハードウェア構成を説明する。図３は、本実施形態に係る情報処理装置１のハードウェア構成を例示する。情報処理装置１は、図３に例示されるように、ＣＰＵ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含む制御部１１、制御部１１で実行するプログラム５等を記憶する記憶部１２、画像の表示と入力を行うためのタッチパネルディスプレイ１３、音声を出力するためのスピーカ１４、外部装置と接続するための外部インタフェース１５、ネットワークを介して通信を行うための通信インタフェース１６、及び記憶媒体６に記憶されたプログラムを読み込むためのドライブ１７が電気的に接続されたコンピュータである。ただし、図３では、通信インタフェース及び外部インタフェースは、それぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載されている。
【0060】
なお、情報処理装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換、及び追加が可能である。例えば、制御部１１は、複数のプロセッサを含んでもよい。また、例えば、タッチパネルディスプレイ１３は、それぞれ別個独立に接続される入力装置及び表示装置に置き換えられてもよい。表示装置は、例えば、画像を表示可能なモニタ、表示灯、信号灯、回転灯、電光掲示板等であってもよい。【0061】
情報処理装置１は、複数の外部インタフェース１５を備え、複数の外部装置と接続されてもよい。本実施形態では、情報処理装置１は、外部インタフェース１５を介してカメラ２と接続されている。本実施形態に係るカメラ２は、上述のとおり、深度センサを含んでいる。この深度センサの種類及び測定方式は、実施の形態に応じて適宜選択されてよい。【0062】
ただし、見守り対象者の見守りが行われる場所（例えば、医療施設の病室）は、見守り対象者のベッドが置かれる場所、換言すると、見守り対象者の就寝する場所である。そのため、見守り対象者の見守りが行われる場所は暗い場合が多い。そこで、撮影場所の明るさに影響されずに深度を取得するためには、赤外線の照射に基づいて深度を測定する深度センサが用いられるのが好ましい。なお、赤外線深度センサを含む比較的安価な撮影装置として、マイクロソフト社のKinect、ＡＳＵＳ社のXtion、PrimeSense社のCARMINEを挙げることができる。【0063】
また、カメラ２は、撮影範囲内の被写体の深度を特定することが可能なように、ステレオカメラであってもよい。ステレオカメラは、撮影範囲内の被写体を複数の異なる方向から撮影するため、当該被写体の深度を記録することができる。カメラ２は、撮影範囲内の被写体の深度を特定できれば、深度センサ単体に置き換わってもよいし、特に限定されなくてもよい。【0064】
ここで、図４を用いて、本実施形態に係る深度センサによって測定される深度を詳細に説明する。図４は、本実施形態に係る深度として扱うことが可能な距離の一例を示す。当該深度は、被写体の深さを表現する。図４で例示されるように、被写体の深さは、例えば、カメラと対象物との直線の距離Ａで表現されてもよいし、カメラの被写体に対する水平軸から下ろした垂線の距離Ｂで表現されてもよい。すなわち、本実施形態に係る深度は、距離Ａであってもよいし、距離Ｂであってもよい。本実施形態では、距離Ｂを深度として扱うことにする。ただし、距離Ａと距離Ｂとは、例えば、三平方の定理等を用いることで、互いに変換可能である。そのため、距離Ｂを用いた以降の説明は、そのまま、距離Ａに適用することが可能である。【0065】
また、情報処理装置１は、図３で例示されるように、外部インタフェース１５を介してナースコールに接続している。このように、情報処理装置１は、外部インタフェース１５を介してナースコール等の施設に設置された設備と接続されることで、見守り対象者に危険の迫る予兆があることを知らせるための通知を当該設備と連携して行ってもよい。【0066】
なお、プログラム５は、情報処理装置１に後述する動作に含まれる処理を実行させるプログラムであり、本発明の「プログラム」に相当する。このプログラム５は記憶媒体６に記録されていてもよい。記憶媒体６は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。記憶媒体６は、本発明の「記憶媒体」に相当する。なお、図３は、記憶媒体６の一例として、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体６の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。【0067】
また、情報処理装置１として、例えば、提供されるサービス専用に設計された装置の他、ＰＣ（Personal Computer）、タブレット端末等の汎用の装置が用いられてよい。また、情報処理装置１は、１又は複数のコンピュータにより実装されてもよい。【0068】
＜機能構成例＞次に、図５を用いて、情報処理装置１の機能構成を説明する。図５は、本実施形態に係る情報処理装置１の機能構成を例示する。本実施形態に係る情報処理装置１が備える制御部１１は、記憶部１２に記憶されたプログラム５をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開されたプログラム５をＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、本実施形態に係る情報処理装置１は、画像取得部２０、前景抽出部２１、行動検知部２２、設定部２３、表示制御部２４、行動選択部２５、危険予兆通知部２６、未完了通知部２７、評価部２８、及び範囲推定部２９を備えるコンピュータとして機能する。
【0069】
画像取得部２０は、見守り対象者のベッドにおける行動を見守るために設置されるカメラ２によって撮影された撮影画像３であって、各画素の深度を示す深度情報を含む撮影画像３、を取得する。前景抽出部２１は、撮影画像３の背景として設定された背景画像と当該撮影画像３との差分から撮影画像３の前景領域を抽出する。行動検知部２２は、深度情報により示される前景領域内の各画素の深度に基づいて、前景領域に写る対象とベッド基準面との実空間内での位置関係が所定の検知条件を満たすか否かを判定する。そして、行動検知部２２は、当該判定の結果に基づいて、見守り対象者のベッドに関連する行動を検知する。なお、上述のとおり、本実施形態では、ベッド基準面の一例として、ベッド上面を例示する。【0070】
また、表示制御部２４は、タッチパネルディスプレイ１３による画像の表示を制御する。タッチパネルディスプレイ１３は本発明の表示装置に相当する。そして、設定部２３は、利用者からの入力を受け付けて、ベッド上面に関する設定を行う。具体的には、設定部２３は、表示される撮影画像３内においてベッド上面の範囲の指定を利用者から受け付けて、指定された範囲をベッド上面の範囲に設定する。【0071】
ここで、評価部２８は、ベッド上面の指定を設定部２３が受け付けている間に、所定の評価条件に基づいて、利用者の指定している範囲がベッド上面の範囲として適正か否かを評価する。そして、表示制御部２４は、ベッド上面の指定を設定部２３が受け付けている間に、利用者の指定している範囲についての評価部２８の評価結果を利用者に提示する。例えば、表示制御部２４は、評価部２８の評価結果を撮影画像３と共にタッチパネルディスプレイ１３に表示する。【0072】
行動選択部２５は、ベッドの端部付近又は外側で行われる見守り対象者の所定行動を含む見守り対象者のベッドに関連する複数の行動から、見守り対象者について見守りの対象とする行動の選択を受け付ける。本実施形態では、ベッドに関連する複数の行動として、ベッド上での起き上がり、ベッドでの端座位、ベッドの柵からの身の乗り出し（柵越え）、及びベッドからの離床を例示する。これらの行動のうち、ベッドでの端座位、ベッドの柵からの身の乗り出し（柵越え）、及びベッドからの離床が上記所定行動に相当する。【0073】
また、危険予兆通知部２６は、見守り対象者について検知した行動が見守り対象者に危険の迫る予兆を示す行動である場合に、当該予兆を知らせるための通知を行う。未完了通知部２７は、設定部２３による設定処理が所定時間内に完了しない場合に、設定部２３による設定が完了していないことを知らせるための通知を行う。なお、これらの通知は、例えば、見守り対象者を見守る見守り者に行われてよい。見守り者は、例えば、看護師、施設職員等である。本実施形態では、これらの通知は、ナースコールを通じて行われてもよいし、スピーカ１４によって行われてもよい。【0074】
更に、範囲推定部２９は、所定の指定条件に基づいてベッド基準面の範囲を繰り返し指定し、繰り返し指定される範囲を所定の評価条件に基づいて評価する。これにより、範囲推定部２９は、繰り返し指定される範囲のうちから評価条件に最も適合する範囲をベッド上面の範囲として推定する。【0075】
なお、各機能に関しては後述する動作例で詳細に説明する。ここで、本実施形態では、これらの機能がいずれも汎用のＣＰＵによって実現される例を説明している。しかしながら、これらの機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、情報処理装置１の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換、及び追加が行われてもよい。例えば、行動選択部２５、危険予兆通知部２６、及び未完了通知部２７は省略されてもよい。【0076】
§３ 動作例［ベッドの位置設定］
まず、図６を用いて、ベッドの位置に関する設定の処理について説明する。図６は、ベッドの位置に関する設定の際における情報処理装置１の処理手順を例示する。このベッドの位置に関する設定の処理は、いかなるタイミングで実行されてもよく、例えば、見守り対象者の見守りを開始する前、プログラム５を立ち上げたときに実行される。なお、以下で説明する処理手順は一例に過ぎず、各処理は、可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び、追加が可能である。
【0077】
＜ステップＳ１０１及びステップＳ１０２＞ステップＳ１０１では、制御部１１は、行動選択部２５として機能し、見守り対象者がベッドにおいて行う複数の行動から検知対象とする行動の選択を受け付ける。そして、ステップＳ１０２では、制御部１１は、表示制御部２４として機能し、検知対象として選択された１又は複数の行動に応じて、ベッドに対するカメラ２の配置位置の候補をタッチパネルディスプレイ１３に表示する。図７及び図８を用いて、これらの処理を説明する。
【0078】
図７は、検知対象とする行動の選択を受け付ける際に、タッチパネルディスプレイ１３に表示される画面３０を例示する。制御部１１は、ステップＳ１０１において検知対象とする行動の選択を受けるため、タッチパネルディスプレイ１３に画面３０を表示する。画面３０は、本処理に係る設定の処理段階を示す領域３１、検知対象とする行動の選択を受け付ける領域３２、及びカメラ２の配置位置の候補を示す領域３３を含んでいる。【0079】
本実施形態に係る画面３０では、検知対象とする行動の候補として、４つの行動が例示されている。具体的には、ベッド上での起き上がり、ベッドからの離床、ベッドでの端座位、及びベッドの柵からの身の乗り出し（柵越え）が検知対象とする行動の候補として例示されている。以下では、ベッド上での起き上がりを単に「起き上がり」、ベッドからの離床を単に「離床」、ベッド上での端座位を単に「端座位」、ベッドの柵からの身の乗り出しを「柵越え」とも称する。領域３２には、それぞれの行動に対応する４つのボタン３２１〜３２４が設けられている。利用者は、ボタン３２１〜３２４を操作することで、検知対象とする行動を１又は複数選択する。【0080】
ボタン３２１〜３２４のいずれかが操作されて検知対象とする行動が選択されると、制御部１１は、表示制御部２４として機能し、選択されている１又は複数の行動に応じたカメラ２の配置位置の候補を示すように、領域３３に表示する内容を更新する。カメラ２の配置位置の候補は、その位置に配置されたカメラ２の撮影する撮影画像３により情報処理装置１が対象の行動を検知できるか否かに基づいて、予め特定されている。このようなカメラ２の配置位置の候補を示す理由は次のとおりである。【0081】
本実施形態に係る情報処理装置１は、カメラ２により取得される撮影画像３を解析することで、見守り対象者とベッドとの位置関係を推定して、見守り対象者の行動を検知する。そのため、対象の行動の検知に関連する領域が撮影画像３に写っていない場合には、情報処理装置１は、その対象の行動を検知することができない。よって、見守りシステムの利用者は、検知対象とする行動毎にカメラ２の配置に適する位置を把握していることが望まれる。【0082】
しかしながら、見守りシステムの利用者がこのような位置を全て把握しているとは限らないため、対象の行動の検知に関連する領域の写らない位置にカメラ２が誤って配置されてしまう可能性がある。対象の行動の検知に関連する領域の写らない位置にカメラ２が誤って配置されてしまうと、情報処理装置１はその対象の行動を検知することができず、見守りシステムによる見守りに不備が生じてしまう。【0083】
そこで、本実施形態では、検知対象とする行動毎にカメラ２の配置に適する位置を予め特定し、そのようなカメラ位置の候補を情報処理装置１に保持させておく。そして、情報処理装置１は、選択されている１又は複数の行動に応じて、対象の行動の検知に関連する領域を撮影可能なカメラ２の配置位置の候補を表示して、カメラ２の配置位置を利用者に指示する。これにより、本実施形態に係る見守りシステムは、利用者によるカメラ２の配置の誤りを抑止し、見守り対象者の見守りに不備が生じてしまう可能性を低減する。【0084】
また、本実施形態では、後述する各種設定により、見守りを行う各環境に見守りシステムを適応させることができる。そのため、本実施形態に係る見守りシステムでは、カメラ２の配置の自由度が高くなる。しかしながら、カメラ２の配置の自由度が高いと、それだけ利用者がカメラ２を誤った位置に配置してしまう可能性が高くなる場合がある。これに対して、本実施形態では、カメラ２の配置位置の候補を表示して利用者にカメラ２の配置を促すため、利用者がカメラ２を誤った位置に配置してしまうことを防止することができる。すなわち、本実施形態のようなカメラ２の配置の自由度が高い見守りシステムでは、カメラ２の配置位置の候補を表示することでの、利用者がカメラ２を誤った位置に配置してしまうことを防止する効果を特に期待することができる。【0085】
なお、本実施形態では、カメラ２の配置位置の候補として、対象の行動の検知に関連する領域をカメラ２により撮影容易な位置、換言すると、カメラ２の設置に推奨される位置が○印で示されている。これに対して、対象の行動の検知に関連する領域をカメラ２により撮影困難な位置、換言すると、カメラ２の設置に推奨されない位置が×印で示される。図８を用いて、カメラ２の設定に推奨されない位置を説明する。【0086】
図８は、検知対象の行動として「離床」が選択された場合における領域３３の表示内容を例示する。ベッドからの離床は、ベッドから離れる行為である。つまり、ベッドからの離床は、見守り対象者がベッドの外側、特に、ベッドから離間した場所で行う動作である。そのため、ベッドの外側を撮影しにくい位置にカメラ２が配置されると、離床の検知に関連する領域が撮影画像３に写らない可能性が高くなってしまう。【0087】
ここで、ベッド近傍にカメラ２を配置すると、そのカメラ２により撮影される撮影画像３では、ベッドの写る像が大部分を占めてしまい、ベッドから離間した場所が殆ど写らない可能性が高い。そのため、図８により例示される画面では、ベッド下辺近傍の位置は、ベッドからの離床を検知する際のカメラ２の配置に推奨されない位置として、×印で示されている。【0088】
なお、選択された検知対象の行動に応じてカメラ２の配置位置の候補を決定する条件は、例えば、カメラ２の設置に推奨される位置及び推奨されない位置を検知対象の行動毎に示すデータとして記憶部１２に記憶されていてもよい。また、本実施形態のように、検知対象の行動を選択するための各ボタン３２１〜３２４の動作として設定されてもよい。すなわち、各ボタン３２１〜３２４を操作したときにカメラ２を配置する候補の位置に○印又は×印の表示がなされるように、各ボタン３２１〜３２４の動作が設定されていてもよい。選択された検知対象の行動に応じてカメラ２の配置位置の候補を決定する条件を保持する方法は特に限定されなくてもよい。【0089】
このように、本実施形態では、ステップＳ１０１において、利用者により検知対象に所望する行動が選択されると、ステップ１０２において、選択された検知対象の行動に応じて、カメラ２の配置位置の候補が領域３３に示される。この領域３３の内容に従って、利用者はカメラ２を配置する。すなわち、利用者は、領域３３に示される配置位置の候補からいずれかの位置を選択して、適宜、選択した位置にカメラ２を配置する。【0090】
画面３０には、更に、検知対象の行動の選択とカメラ２の配置とが完了したことを受け付けるために、「次へ」ボタン３４が設けられている。検知対象の行動の選択とカメラ２の配置とが完了した後に、利用者が「次へ」ボタン３４を操作すると、情報処理装置１の制御部１１は次のステップＳ１０３に処理を進める。【0091】
＜ステップＳ１０３＞図６に戻り、ステップＳ１０３では、制御部１１は、設定部２３として機能し、ベッド上面の高さの指定を受け付ける。制御部１１は、指定された高さをベッド上面の高さに設定する。また、制御部１１は、画像取得部２０として機能しており、深度情報を含む撮影画像３をカメラ２から取得している。そして、制御部１１は、ベッド上面の高さの指定を受け付けている際に、表示制御部２４として機能し、指定されている高さに位置する対象を写した領域を撮影画像３上で明示するようにして、取得される撮影画像３をタッチパネルディスプレイ１３に表示させる。
【0092】
図９は、ベッド上面の高さの指定を受け付ける際にタッチパネルディスプレイ１３に表示される画面４０を例示する。制御部１１は、ステップＳ１０３においてベッド上面の高さの指定を受け付けるため、タッチパネルディスプレイ１３に画面４０を表示する。画面４０は、カメラ２から得られる撮影画像３を描画する領域４１、及びベッド上面の高さを指定するためのスクロールバー４２を含んでいる。【0093】
ステップＳ１０２において、利用者は、画面に表示される内容に従ってカメラ２を配置した。そこで、本ステップＳ１０３では、利用者は、まず、画面４０の領域４１に描画される撮影画像３を確認しながら、カメラ２の撮影範囲にベッドが含まれるように、カメラ２をベッドの方に向ける。そうすると、領域４１に描画される撮影画像３にベッドが写るようになるので、利用者は、次に、スクロールバー４２のノブ４３を操作して、ベッド上面の高さを指定する。【0094】
ここで、制御部１１は、ノブ４３の位置に基づいて指定されている高さに位置する対象を写した領域を撮影画像３上で明示する。これにより、本実施形態に係る情報処理装置１は、ノブ４３の位置に基づいて指定されている実空間上の高さを利用者に把握し易いようにする。この処理について、図１０〜１２を用いて説明する。【0095】
まず、図１０及び図１１を用いて、撮影画像３内の各画素に写る対象の高さと当該各画素の深度との関係を説明する。図１０は、撮影画像３内の座標関係を例示する。また、図１１は、撮影画像３の任意の画素（点ｓ）とカメラ２との実空間内での位置関係を例示する。なお、図１０の左右方向は、図１１の紙面に垂直な方向に対応する。すなわち、図１１で表れている撮影画像３の長さは、図１０で例示される縦方向の長さ（Ｈピクセル）に対応する。また、図１０で例示される横方向の長さ（Ｗピクセル）は、図１１で表れていない撮影画像３の紙面垂直方向の長さに対応する。【0096】
ここで、図１０で例示されるように、撮影画像３の任意の画素（点ｓ）の座標を（ｘs，ｙs）とし、カメラ２の横方向の画角をＶx、縦方向の画角をＶyとする。撮影画像３の横方向のピクセル数をＷとし、縦方向のピクセル数をＨとし、撮影画像３の中心点（画素）の座標を（０，０）とする。【0097】
また、図１１で例示されるように、カメラ２のピッチ角をαとする。カメラ２及び点ｓを結ぶ線分と実空間の垂直方向を示す線分との間の角度をβsとし、カメラ２及び点ｓを結ぶ線分とカメラ２の撮影方向を示す線分との間の角度をγsとする。更に、カメラ２と点ｓとを結ぶ線分の横方向からみた場合の長さをＬsとし、カメラ２と点ｓとの垂直方向の距離をｈsとする。なお、本実施形態では、この距離ｈsが、点ｓに写る対象の実空間上の高さに相当する。ただし、点ｓに写る対象の実空間上の高さを表現する方法は、このような例に限定されなくてもよく、実施の形態に応じて、適宜、設定されてよい。【0098】
制御部１１は、このカメラ２の画角（Ｖx、Ｖy）及びピッチ角αを示す情報を、カメラ２から取得することができる。ただし、これらの情報を取得する方法は、このような方法に限定されなくてもよく、制御部１１は、これらの情報を、利用者からの入力を受け付けることで取得してもよし、予め設定されている設定値として取得してもよい。【0099】
また、制御部１１は、撮影画像３から、点ｓの座標（ｘs，ｙs）及び撮影画像３のピクセル数（Ｗ×Ｈ）を取得することができる。更に、制御部１１は、深度情報を参照することにより、点ｓの深度Ｄｓを取得することができる。制御部１１は、これらの情報を利用することで、点ｓの角度γs及びβsを算出することができる。具体的には、撮影画像３の縦方向における１ピクセルあたりの角度は、以下の数１で示される値に近似することができる。これにより、制御部１１は、以下の数２及び数３で示される関形式に基づいて、点ｓの角度γs及びβsを算出することができる。【0100】
【数1】
【数2】
【数3】
【0101】
そして、制御部１１は、算出したγs及び点ｓの深度Ｄｓを以下の数４の関係式に当てはめることによって、Ｌｓの値を求めることができる。また、制御部１１は、算出したＬｓ及びβｓを以下の数５の関形式に当てはめることによって、実空間上での点ｓの高さｈｓを算出することができる。【0102】
【数4】
【数5】
【0103】
したがって、制御部１１は、深度情報により示される各画素の深度を参照することで、当該各画素に写る対象の実空間上の高さを特定することができる。つまり、制御部１１は、深度情報により示される各画素の深度を参照することで、ノブ４３の位置に基づいて指定されている高さに位置する対象を写した領域を特定することができる。【0104】
なお、制御部１１は、深度情報により示される各画素の深度を参照することで、当該各画素に写る対象の実空間上の高さｈsだけではなく、当該各画素に写る対象の実空間上の位置を特定することができる。例えば、制御部１１は、以下の数６〜数８で示される関形式に基づいて、図１１に例示されるカメラ座標系におけるカメラ２から点ｓまでのベクトルＳ（Ｓx，Ｓy，Ｓz，１）の各値を算出することができる。これにより、撮影画像３内の座標系における点ｓの位置とカメラ座標系における点ｓの位置とは相互に変換可能になる。【0105】
【数6】
【数7】
【数8】
【0106】
次に、図１２を用いて、ノブ４３の位置に基づいて指定されている高さと撮影画像３上で明示する領域との関係を説明する。図１２は、ノブ４３の位置に基づいて指定されている高さの面（以下、「指定高さ面」とも称する）ＤＦとカメラ２の撮影範囲との関係を模式的に例示する。なお、図１２は、図１と同様に、カメラ２を横から見た場面を例示しており、図１２の上下方向は、ベッドの高さ方向に相当し、かつ、実空間上での垂直方向に相当する。【0107】
図１２で例示される指定高さ面ＤＦの高さｈは、利用者がスクロールバー４２を操作することで指定される。具体的には、スクロールバー４２におけるノブ４３の位置が指定高さ面ＤＦの高さｈと対応しており、制御部１１は、スクロールバー４２におけるノブ４３の位置に基づいて指定高さ面ＤＦの高さｈを決定する。これにより、例えば、利用者は、ノブ４３を上方に移動させることで、実空間上で指定高さ面ＤＦが上方に移動するように、高さｈの値を小さくすることができる。一方、利用者は、ノブ４３を下方に移動させることで、実空間上で指定高さ面ＤＦが下方に移動するように、高さｈの値を大きくすることができる。【0108】
ここで、上述のとおり、制御部１１は、深度情報に基づいて、撮影画像３内の各画素に写る対象の高さを特定することができる。そこで、制御部１１は、このようなスクロールバー４２による高さｈの指定を受け付けている際に、撮影画像３内において、この指定の高さｈに位置する対象を写した領域、換言すると、指定高さ面ＤＦの位置する対象を写した領域を特定する。そして、制御部１１は、表示制御部２４として機能し、領域４１に描画する撮影画像３上において、指定高さ面ＤＦの位置する対象を写した領域に該当する部分を明示する。例えば、制御部１１は、図９に例示されるように、撮影画像３内の他の領域とは異なる表示形態で描画することにより、指定高さ面ＤＦの位置する対象を写した領域に該当する部分を明示する。【0109】
対象の領域を明示する方法は、実施の形態に応じて、適宜、設定されてもよい。例えば、制御部１１は、他の領域とは異なる表示形態で対象の領域を描画することにより、対象の領域を明示してもよい。ここで、対象の領域に利用される表示形態は、その対象の領域を識別できる態様であればよく、色彩、色調等によって特定される。一例を挙げると、制御部１１は、白黒の濃淡画像である撮影画像３を領域４１に描画する。これに対して、制御部１１は、指定高さ面ＤＦの高さに位置する対象の写る領域を赤色で描画することにより、この指定高さ面ＤＦの高さに位置する対象の写る領域を撮影画像３上で明示してもよい。なお、撮影画像３内に指定高さ面ＤＦが表れやすいようにするため、指定高さ面ＤＦは、垂直方向に所定の幅（厚み）を有してもよい。【0110】
このように、本ステップＳ１０３では、本実施形態に係る情報処理装置１は、スクロールバー４２による高さｈの指定を受け付けている際に、高さｈに位置する対象を写した領域を撮影画像３上で明示する。利用者は、このように明示される指定高さ面ＤＦの高さに位置する領域を参考に、ベッド上面の高さを設定する。具体的には、利用者は、指定高さ面ＤＦがベッド上面となるようにノブ４３の位置を調節することで、ベッド上面の高さを設定する。すなわち、利用者は、指定の高さｈを撮影画像３上で視覚的に把握しながら、ベッド上面の高さの設定を行うことができる。これによって、本実施形態では、見守りシステムについての知識に乏しい利用者であっても、ベッド上面の高さの設定を容易に行うことができる。【0111】
また、本実施形態では、ベッドの上面が、ベッドの基準面に採用されている。見守り対象者のベッドにおける行動をカメラ２で撮影する場合、カメラ２により取得される撮影画像３に、ベッドの上面は写り込みやすい場所である。そのため、撮影画像３のベッドの写る領域のうちベッド上面の占める割合は高くなりやすく、そのようなベッド上面の写る領域に指定高さ面ＤＦを合わせることは容易に行うことができる。したがって、本実施形態のようにベッドの基準面にベッド上面を採用することで、ベッドの基準面の設定を容易にすることができる。【0112】
なお、制御部１１は、表示制御部２４として機能し、スクロールバー４２による高さｈの指定を受け付けている際に、領域４１に描画する撮影画像３上において、指定高さ面ＤＦからベッドの高さ方向上方に所定の範囲ＡＦに位置する対象を写した領域を明示してもよい。範囲ＡＦの領域は、例えば、図９に例示されるように、指定高さ面ＤＦの領域を含む他の領域と異なる表示形態で描画されることにより、他の領域と区別可能なように明示される。【0113】
ここで、指定高さ面ＤＦの領域の表示形態を第１の表示形態と称し、範囲ＡＦの領域の表示形態を第２の表示形態と称してもよい。また、範囲ＡＦを定めるベッドの高さ方向の距離を第１所定距離と称してもよい。例えば、制御部１１は、白黒の濃淡画像である撮影画像３上において、範囲ＡＦに位置する対象の写る領域を青色で明示してもよい。【0114】
これによって、利用者は、指定高さ面ＤＦの高さに位置する領域の他、指定高さ面ＤＦの上側に所定の範囲ＡＦに位置する対象の領域を撮影画像３上で視覚的に把握できるようになる。そのため、撮影画像３に写る被写体の実空間上での状態を把握し易くなる。また、利用者は、指定高さ面ＤＦをベッド上面に合わせる際の指標として範囲ＡＦの領域を利用することができるため、ベッド上面の高さの設定が容易になる。【0115】
なお、範囲ＡＦを定めるベッドの高さ方向の距離はベッドの柵の高さに適合するように設定されてもよい。このベッドの柵の高さは、予め設定されている設定値として取得されてもよいし、利用者からの入力値として取得されてもよい。このように範囲ＡＦが設定された場合、範囲ＡＦの領域は、指定高さ面ＤＦがベッド上面に適切に設定されたときに、ベッドの柵の領域を示す領域となる。つまり、利用者は、範囲ＡＦの領域をベッドの柵の領域に合わせることで、指定高さ面ＤＦをベッド上面に合わせることが可能になる。したがって、撮影画像３上において、ベッド上面を指定する際に指標として、ベッドの柵の写る領域を利用することが可能になるため、ベッド上面の高さの設定が容易になる。【0116】
また、後述するとおり、情報処理装置１は、指定高さ面ＤＦにより設定されたベッド上面に対して前景領域の写る対象が実空間上で所定距離ｈｆ以上に高い位置に存在するか否かを判定することで、見守り対象者のベッド上での起き上がりを検知する。そこで、制御部１１は、表示制御部２４として機能し、スクロールバー４２による高さｈの指定を受け付けている際に、領域４１で描画する撮影画像３上で、指定高さ面ＤＦからベッドの高さ方向上方に距離ｈｆ以上の高さに位置する対象を写した領域を明示してもよい。【0117】
この指定高さ面ＤＦからベッドの高さ方向上方に距離ｈｆ以上の高さの領域は、図１２で例示されるように、ベッドの高さ方向に範囲（範囲ＡＳ）が限定されていてもよい。この範囲ＡＳの領域は、たとえば、指定高さ面ＤＦ及び範囲ＡＦの領域を含む他の領域とは異なる表示形態で描画されることにより、他の領域と区別可能なように明示される。【0118】
ここで、範囲ＡＳの領域の表示形態を第３の表示形態と称してもよい。また、起き上がりの検知に関する距離ｈｆを第２所定距離と称してもよい。例えば、制御部１１は、白黒の濃淡画像である撮影画像３上において、範囲ＡＳに位置する対象の写る領域を黄色で明示してもよい。【0119】
これによって、利用者は、起き上がりの検知に関する領域を撮影画像３上で視覚的に把握できるようになる。そのため、起き上がりの検知に適するようにベッド上面の高さの設定を行うことが可能になる。【0120】
なお、図１２では、距離ｈｆは、範囲ＡＦを定めるベッドの高さ方向の距離よりも長くなっている。しかしながら、距離ｈｆは、このような長さに限定されなくてもよく、範囲ＡＦを定めるベッドの高さ方向の距離と同じであってもよいし、この距離よりも短くてもよい。範囲ＡＦを定めるベッドの高さ方向の距離よりも距離ｈｆが短い場合、範囲ＡＦの領域と範囲ＡＳの領域とが重なる領域が生じる。この重なる領域の表示形態として、範囲ＡＦ及び範囲ＡＳのいずれかの表示形態が採用されてもよいし、範囲ＡＦ及び範囲ＡＳのいずれの表示形態とも異なる表示形態が採用されてもよい。【0121】
また、制御部１１は、表示制御部２４として機能し、スクロールバー４２による高さｈの指定を受け付けている際に、領域４１で描画する撮影画像３上で、指定高さ面ＤＦよりも実空間内で下方に位置する対象を写した領域と下方に位置する対象を写した領域とを異なる表示態様で明示してもよい。このように指定高さ面ＤＦの上側の領域と下側の領域とをそれぞれ異なる表示態様で描画することにより、指定高さ面ＤＦの高さに位置する領域を視覚的に把握し易くすることができる。よって、指定高さ面ＤＦの高さに位置する対象を写した領域を撮影画像３上で認識し易くすることができ、ベッド上面の高さの指定が容易になる。【0122】
図９に戻り、画面４０には、更に、設定のやり直しを受け付けるための「戻る」ボタン４４と、指定高さ面ＤＦの設定が完了したことを受け付けるための「次へ」ボタン４５とが設けられている。利用者が「戻る」ボタン４４を操作すると、情報処理装置１の制御部１１は、ステップＳ１０１に処理を戻す。一方、利用者が「次へ」ボタン４５を操作すると、制御部１１は、指定するベッド上面の高さを確定する。すなわち、制御部１１は、そのボタン４５の操作のときに指定している指定高さ面ＤＦの高さを記憶し、記憶した指定高さ面ＤＦの高さをベッド上面の高さに設定する。そして、制御部１１は、次のステップＳ１０４に処理を進める。【0123】
＜ステップＳ１０４＞図６に戻り、ステップＳ１０４では、制御部１１は、ステップＳ１０１において選択された検知対象の１又は複数の行動にベッド上での起き上がり以外の行動が含まれているか否かを判定する。ステップＳ１０１で選択された１又は複数の行動に起き上がり以外の行動が含まれている場合、制御部１１は、次のステップＳ１０５に処理を進めて、ベッド上面の範囲の設定を受け付ける。一方、ステップＳ１０１で選択された１又は複数の行動に起き上がり以外の行動が含まれていない場合、換言すると、ステップＳ１０１で選択された行動が起き上がりのみである場合、制御部１１は、本動作例に係るベッドの位置に関する設定を終了し、後述する行動検知に係る処理を開始する。
【0124】
上述のとおり、本実施形態において、見守りシステムにより検知する対象となる行動は、起き上がり、離床、端座位、及び柵越えである。これらの行動のうちの「起き上がり」は、ベッド上面の広い範囲で行われる可能性のある行動である。そのため、制御部１１は、ベッド上面の範囲が設定されていなくても、見守り対象者とベッドとのベッドの高さ方向の位置関係に基づいて、比較的に精度よく見守り対象者の「起き上がり」を検知することが可能である。【0125】
一方、「離床」、「端座位」、及び「柵越え」は、本発明の「ベッドの端部付近又は外側で行われる所定行動」に相当し、比較的に限られた範囲で行われる行動である。そのため、制御部１１がこれらの行動を精度よく検知するためには、見守り対象者とベッドとのベッドの高さ方向の位置関係だけではなく、見守り対象者とベッドとの水平方向の位置関係も特定できた方がよい。すなわち、ステップＳ１０１において「離床」、「端座位」、及び「柵越え」のいずれかが検知対象の行動に選択されている場合には、見守り対象者とベッドとの水平方向の位置関係を特定することができるようにベッド上面の範囲が設定された方がよい。【0126】
そこで、本実施形態では、制御部１１は、ステップＳ１０１で選択された１又は複数の行動に、このような「所定行動」が含まれるか否かを判定する。そして、ステップＳ１０１で選択された１又は複数の行動に「所定行動」が含まれている場合には、制御部１１は、次のステップＳ１０５に処理を進め、ベッド上面の範囲の設定を受け付ける。一方、ステップＳ１０１で選択された１又は複数の行動に「所定行動」が含まれていない場合には、制御部１１は、ベッド上面の範囲の設定を省略し、本動作例に係るベッドの位置に関する設定を終了する。【0127】
すなわち、本実施形態に係る情報処理装置１は、全ての場合にベッド上面の範囲の設定を受け付けるのではなく、ベッド上面の範囲の設定が推奨される場合にのみにベッド上面の範囲の設定を受け付ける。これにより、一部の場合において、ベッド上面の範囲の設定を省略することができ、ベッドの位置に関する設定を簡略化することができる。また、ベッド上面の範囲の設定が推奨される場合には、ベッド上面の範囲の設定を受け付けるようにすることができる。そのため、見守りシステムについての知識に乏しい利用者であっても、検知対象に選択する行動に応じて、ベッドの位置に関する設定項目を適切に選択できるようになる。【0128】
具体的には、本実施形態では、「起き上がり」のみが検知対象の行動に選択されている場合に、ベッド上面の範囲の設定が省略される。一方で、「離床」、「端座位」、及び「柵越え」のうちの少なくともいずれかの行動が検知対象の行動に選択されている場合には、ベッド上面の範囲の設定（ステップＳ１０５）が受け付けられる。【0129】
なお、上述の「所定行動」に含まれる行動は、実施の形態に応じて、適宜、選択されてもよい。例えば、ベッド上面の範囲を設定することで「起き上がり」の検知精度を高められる可能性がある。そのため、「起き上がり」が、本発明の「所定行動」に含まれてもよい。また、例えば、「離床」、「端座位」、及び「柵越え」は、ベッド上面の範囲が設定されていなくても、精度よく検知できる可能性がある。そのため、「離床」、「端座位」、及び「柵越え」のいずれかの行動が「所定行動」から除外されてもよい。【0130】
＜ステップＳ１０５＞ステップＳ１０５では、制御部１１は、設定部２３として機能し、ベッドの基準点の位置及びベッドの向きの指定を受け付ける。そして、制御部１１は、指定された基準点の位置及びベッドの向きに基づいて、ベッド上面の実空間内での範囲を設定する。ここで、制御部１１は、評価部２８として機能し、ベッド上面の範囲の指定を受け付けている間、所定の評価条件に基づいて、利用者の指定している範囲がベッド基準面の範囲として適正か否かを評価する。そして、制御部１１は、表示制御部２４として機能し、その評価結果を利用者に提示する。また、制御部１１は、範囲推定部２９としても機能することができ、所定の指定条件に基づいてベッド上面の範囲を繰り返し指定し、繰り返し指定される範囲を評価条件に基づいて評価してもよい。そして、制御部１１は、繰り返し指定される範囲のうちから評価条件に最も適合する範囲をベッド上面の範囲として推定してもよい。これにより、ベッド上面の範囲を自動検出することができる。これらの処理について以下詳細に説明する。
【0131】
（１）ベッド上面の範囲の指定まず、図１３を用いて、利用者がベッド上面の範囲を指定する方法について説明する。図１３は、ベッド上面の範囲の設定を受け付ける際にタッチパネルディスプレイ１３に表示される画面５０を例示する。制御部１１は、ステップＳ１０５においてベッド上面の範囲の指定を受け付けるために、タッチパネルディスプレイ１３に画面５０を表示する。画面５０は、カメラ２から得られる撮影画像３を描画する領域５１、基準点を指定するためのマーカー５２、及びベッドの向きを指定するためのスクロールバー５３を含んでいる。
【0132】
本ステップＳ１０５では、利用者は、領域５１に描画される撮影画像３上でマーカー５２を操作することで、ベッド上面の基準点の位置を指定する。また、利用者は、スクロールバー５３のノブ５４を操作して、ベッドの向きを指定する。制御部１１は、このように指定される基準点の位置及びベッドの向きに基づいて、ベッド上面の範囲を特定する。図１４〜図１７を用いて、これらの処理を説明する。【0133】
まず、図１４を用いて、マーカー５２により指定される基準点ｐの位置について説明する。図１４は、撮影画像３上の指定点ｐsとベッド上面の基準点ｐとの位置関係を例示する。指定点ｐsは、マーカー５２の撮影画像３上の位置を示す。また、図１４で例示される指定高さ面ＤＦは、ステップＳ１０３において設定したベッド上面の高さｈに位置する面を示す。この場合、制御部１１は、マーカー５２により指定される基準点ｐを、カメラ２及び指定点ｐsを結ぶ直線と指定高さ面ＤＦとの交点として特定することができる。【0134】
ここで、指定点ｐsの撮影画像３上の座標を（ｘp，ｙp）とする。また、カメラ２及び指定点ｐsを結ぶ線分と実空間の垂直方向を示す線分との間の角度をβpとし、カメラ２及び指定点ｐsを結ぶ線分とカメラ２の撮影方向を示す線分との間の角度をγpとする。更に、カメラ２と基準点ｐとを結ぶ線分の横方向からみた場合の長さをＬpとし、カメラ２から基準点ｐまでの深度をＤpとする。【0135】
このとき、制御部１１は、ステップＳ１０３と同様に、カメラ２の画角（Ｖx、Ｖy）及びピッチ角αを示す情報を取得することができる。また、制御部１１は、指定点ｐsの撮影画像３上の座標（ｘp，ｙp）及び撮影画像３のピクセル数（Ｗ×Ｈ）を取得することができる。更に、制御部１１は、ステップＳ１０３で設定した高さｈを示す情報を取得することができる。制御部１１は、ステップＳ１０３と同様に、これらの値を以下の数９〜数１１で示される関係式に適用することで、カメラ２から基準点ｐまでの深度Ｄpを算出することができる。【0136】
【数9】
【数10】
【数11】
【0137】
そして、制御部１１は、算出した深度Ｄpを以下の数１２〜数１４で示される関係式に適用することによって、基準点ｐのカメラ座標系での座標Ｐ（Ｐx，Ｐy，Ｐz，１）を求めることができる。これにより、制御部１１は、マーカー５２により指定される基準点ｐの実空間上の位置を特定することが可能になる。【0138】
【数12】
【数13】
【数14】
【0139】
なお、図１４は、指定点ｐsに写る対象がステップＳ１０３で設定したベッド上面よりも高い位置に存在する場合における、撮影画像３上の指定点ｐsとベッド上面の基準点ｐとの位置関係を例示する。指定点ｐsに写る対象がステップＳ１０３で設定したベッド上面の高さに位置する場合には、指定点ｐsと基準点ｐとは実空間上で同じ位置になる。【0140】
次に、図１５及び図１６を用いて、スクロールバー５３により指定されるベッドの向きθと基準点ｐとに基づいて特定されるベッド上面の範囲について説明する。図１５は、カメラ２を横から見た場合におけるカメラ２と基準点ｐとの位置関係を例示する。また、図１６は、カメラ２を上方から見た場合におけるカメラ２と基準点ｐとの位置関係を例示する。【0141】
ベッド上面の基準点ｐは、ベッド上面の範囲を特定する基準となる点であり、ベッド上面の所定の位置に対応するように設定される。基準点ｐを対応させるこの所定の位置は、特に限定されなくてもよく、実施の形態に応じて、適宜、設定されてもよい。本実施形態では、基準点ｐは、ベッド上面の中央の点（中心）に対応するように設定されている。【0142】
これに対して、本実施形態に係るベッドの向きθは、図１６で例示されるように、カメラ２の撮影方向に対するベッドの長手方向の傾きで表され、スクロールバー５３におけるノブ５４の位置に基づいて指定される。図１６で例示されるベクトルＺはベッドの向きを示している。画面５０においてスクロールバー５３のノブ５４を利用者が左方向に移動させると、ベクトルＺは基準点ｐを中心に右回りに回転する、換言すると、ベッドの向きθの値が大きくなる方向に変化する。一方、スクロールバー５３のノブ５４を利用者が右方向に移動させると、ベクトルＺは基準点ｐを中心に左回りに回転する、換言すると、ベッドの向きθの値が小さくなる方向に変化する。【0143】
つまり、基準点ｐはベッド中央の位置を示し、ベッドの向きθは、ベッド中央を軸とした水平方向の回転度合を示す。そのため、ベッドの基準点ｐの位置及び向きθが指定されると、制御部１１は、指定された基準点ｐの位置及びベッドの向きθに基づいて、図１６で例示されるように、仮想的なベッド上面の範囲を示す枠ＦＤの実空間上の位置及び向きを特定することができる。【0144】
なお、ベッドの枠ＦＤの大きさは、ベッドのサイズに対応して設定される。ベッドのサイズは、例えば、ベッドの高さ（垂直方向の長さ）、横幅（短手方向の長さ）、及び縦幅（長手方向の長さ）で規定される。ベッドの横幅は、ヘッドボード及びフットボードの長さに対応する。また、ベッドの縦幅は、サイドフレームの長さに対応する。ベッドのサイズは、見守り環境に応じて予め定められている場合が多い。制御部１１は、このようなベッドのサイズを、予め設定された設定値として取得してもよく、利用者による入力値として取得してもよく、予め設定された複数の設定値から選択されることで取得してもよい。【0145】
仮想的なベッドの枠ＦＤは、指定している基準点ｐの位置及びベッドの向きθに基づいて設定されるベッド上面の範囲を示す。そこで、制御部１１は、表示制御部２４として機能し、指定された基準点ｐの位置及びベッドの向きθに基づいて特定される枠ＦＤを撮影画像３内で描画してもよい。これにより、利用者は、撮影画像３内に描画される仮想的なベッドの枠ＦＤで確認しながら、ベッド上面の範囲を設定できるようになる。そのため、ベッド上面の範囲の設定を利用者が誤ってしまう可能性を低減することができる。なお、この仮想的なベッドの枠ＦＤは、仮想的なベッドの柵を含んでもよい。これにより、更に、仮想的なベッドの枠ＦＤを利用者に把握し易いようにすることができる。【0146】
したがって、本実施形態では、利用者は、撮影画像３に写るベッド上面の中央にマーカー５２を合わせることで、基準点ｐを適切な位置に設定することができる。また、利用者は、撮影画像３に写るベッド上面の外周に仮想的なベッドの枠ＦＤが重なるようにノブ５４の位置を定めることで、ベッドの向きθを適切に設定することができる。なお、仮想的なベッドの枠ＦＤを撮影画像３内に描画する方法は、実施の形態に応じて、適宜、設定されてもよい。例えば、以下で説明する射影変換を利用する方法が用いられてもよい。【0147】
ここで、ベッドの枠ＦＤの位置及び後述する検知領域の位置を把握し易くするため、制御部１１は、ベッドを基準とするベッド座標系を利用してもよい。ベッド座標系は、例えば、ベッド上面の基準点ｐを原点とし、ベッドの幅方向をｘ軸、ベッドの高さ方向をｙ軸、及びベッドの長手方向をｚ軸とする座標系である。このような座標系では、制御部１１は、ベッドのサイズに基づいて、ベッドの枠ＦＤの位置を特定することが可能である。以下では、カメラ座標系の座標をこのベッド座標系の座標に変換する射影変換行列Ｍを算出する方法を説明する。【0148】
まず、水平方向を向いたカメラの撮影方向を角度α分ピッチさせる回転行列Ｒは、以下の数１５で表現される。制御部１１は、以下の数１６及び数１７で示される関係式にこの回転行列Ｒを適用することで、図１５で例示される、カメラ座標系でのベッドの向きを示すベクトルＺ、及びカメラ座標系でのベッドの高さ方向上方を示すベクトルＵをそれぞれ求めることができる。なお、数１６及び数１７で示される関係式に含まれる「＊」は行列の掛け算を意味する。【0149】
【数15】
【数16】
【数17】
【0150】
次に、ベクトルＵ及びＺを以下の数１８で示される関係式に適用することで、図１６で例示される、ベッドの幅方向に沿うベッド座標系の単位ベクトルＸを求めることができる。また、制御部１１は、ベクトルＺ及びＸを以下の数１９で示される関係式に適用することで、ベッドの高さ方向に沿うベッド座標系の単位ベクトルＹを求めることができる。そして、制御部１１は、カメラ座標系における基準点ｐの座標Ｐ、ベクトルＸ、Ｙ及びＺを以下の数２０で示される関係式に適用することで、カメラ座標系の座標をベッド座標系の座標に変換する射影変換行列Ｍを求めることができる。なお、数１８及び数１９で示される関係式に含まれる「×」はベクトルの外積を意味する。【0151】
【数18】
【数19】
【数20】
【0152】
図１７は、本実施形態に係るカメラ座標系とベッド座標系との間の関係を例示する。図１７に例示されるように、算出される射影変換行列Ｍは、カメラ座標系の座標をベッド座標系の座標に変換することができる。したがって、射影変換行列Ｍの逆行列を利用すれば、ベッド座標系の座標をカメラ座標系の座標に変換することができる。つまり、射影変換行列Ｍを利用することで、カメラ座標系の座標とベッド座標系の座標とは相互に変換可能になる。ここで、上述のとおり、カメラ座標系の座標と撮影画像３内の座標とは相互に変換可能である。そのため、この時点で、ベッド座標系の座標と撮影画像３内の座標とは相互に変換することができる。【0153】
ここで、上述のとおり、ベッドのサイズが特定されている場合、制御部１１は、ベッド座標系において、仮想的なベッドの枠ＦＤの位置を特定することができる。つまり、制御部１１は、ベッド座標系において、仮想的なベッドの枠ＦＤの座標を特定することができる。そこで、制御部１１は、射影変換行列Ｍを利用して、ベッド座標系における枠ＦＤの座標をカメラ座標系における枠ＦＤの座標に逆変換する。【0154】
また、カメラ座標系の座標と撮影画像内の座標との間の関係は、上記数６〜８で示される関係式によって表現される。そのため、制御部１１は、上記数６〜８で示される関係式に基づいて、カメラ座標系における枠ＦＤの座標から撮影画像３内に描画する枠ＦＤの位置を特定することができる。つまり、制御部１１は、射影変換行列Ｍとベッドのサイズを示す情報とに基づいて、仮想的なベッドの枠ＦＤの位置を各座標系で特定することができる。このようにして、制御部１１は、図１３に例示されるように、仮想的なベッドの枠ＦＤを撮影画像３内に描画してもよい。【0155】
このように、本実施形態では、基準点ｐの位置とベッドの向きθとを指定することで、ベッド上面の範囲を設定することができる。例えば、図１３で例示されるように、撮影画像３には、ベッド全体が含まれるとは限らない。そのため、ベッド上面の範囲を設定するために、例えば、ベッドの四角を指定しなければならないようなシステムでは、ベッド上面の範囲を設定できない可能性がある。しかしながら、本実施形態では、ベッド上面の範囲を設定するために位置を指定する点は１点（基準点ｐ）で済む。これによって、本実施形態では、カメラ２の設置位置の自由度を高めることができ、かつ、見守りシステムを見守り環境に適用しやすくすることができる。【0156】
また、本実施形態では、基準点ｐを対応させる所定の位置としてベッド上面の中央が採用されている。ベッド上面の中央は、ベッドをどの方向から撮影しても、撮影画像３に写りやすい場所である。そのため、基準点ｐを対応させる所定の位置としてベッド上面の中央を採用することで、カメラ２の設置位置の自由度を更に高めることができる。【0157】
ただし、カメラ２の設置位置の自由度が高まると、カメラ２を配置する選択幅が広がってしまい、利用者にとって却ってカメラ２の配置が困難になる可能性がある。これに対して、本実施形態は、カメラ２の配置位置の候補をタッチパネルディスプレイ１３に表示しつつ、利用者にカメラ２の配置を指示することによって、カメラ２の配置を容易にし、このような問題を解決している。【0158】
なお、ベッド上面の範囲を記憶する方法は、実施の形態に応じて、適宜、設定されてもよい。上記のとおり、カメラ座標系からベッド座標系に変換する射影変換行列Ｍとベッドのサイズを示す情報とによって、制御部１１は、ベッドの枠ＦＤの位置を特定することができる。そのため、情報処理装置１は、ステップＳ１０５で設定したベッド上面の範囲を示す情報として、後述するボタン５６を操作したときに指定されている基準点ｐの位置及びベッドの向きθに基づいて算出される射影変換行列Ｍとベッドのサイズを示す情報とを記憶してもよい。【0159】
（２）指定範囲の評価方法次に、上記の方法で利用者の指定した範囲がベッド上面の範囲として適正か否かを評価する方法について説明する。図１３で例示されるように、画面３０には、利用者の指定している範囲が適正か否かを示す表示領域５７が含まれている。制御部１１は、上述のとおり、評価部２８として機能し、利用者の指定している範囲を所定の評価条件に従って評価する。そして、制御部１１は、表示制御部２４として機能し、その評価結果を利用者に提示するために、表示領域５７にその評価結果を表示する。以下、評価方法と評価結果の表示方法とについて詳細に説明する。
【0160】
（２−１）評価条件まず、図１８〜図２４を用いて、本実施形態で利用される評価条件について説明する。上述のとおり、利用者が基準点とベッドの向きとを指定すると仮想的なベッドの枠ＦＤの実空間内での位置を特定することができる。以下では、この仮想的なベッドの枠ＦＤを指定範囲ＦＤとも称することにする。図１８は、この指定範囲ＦＤとベッドとの実空間内での関係を例示している。
【0161】
図１８では、ヘッドボード及び左右に一対の柵を備えるベッドと利用者の指定する指定範囲ＦＤとが例示されている。以下では、このようにヘッドボードと左右に一対の柵とを備えるベッドを想定する。指定範囲ＦＤがベッド上面の範囲として適正な場合には、図１８で例示される指定範囲ＦＤがベッド上面に一致する状態になる。この状態では、例えば、指定範囲ＦＤの右辺にベッドの柵が存在する等の状況が撮影画像３内に現れる。一方、指定範囲ＦＤがベッド上面の範囲として適正でない場合、図１８で例示されるように、指定範囲ＦＤがベッド上面に一致していない状態になる。この状態では、例えば、指定範囲ＦＤ内においてベッド上面よりも高さの低い位置に存在する対象が写る等の状況が撮影画像３内に現れる。【0162】
このような指定範囲ＦＤがベッド上面として適正な場合に現れる状況、又は指定範囲ＦＤがベッド上面として適正でない場合に現れる状況を撮影画像３内で検知することで、指定範囲ＦＤがベッド上面として適正であるか否かを判定することができる。そこで、所定の評価条件は、このような状況を検知するための条件として与えられてもよい。以下、このようにして与えられる条件を５つ例示する。ただし、評価条件は、このような例に限定されず、指定範囲ＦＤがベッド上面として適正か否かを判定可能であれば、実施の形態に応じて適宜設定されてもよい。【0163】
（ａ）第１評価条件図１９を用いて、第１評価条件を説明する。図１９は、第１〜第３評価条件と指定範囲ＦＤとの関係を例示する。第１評価条件は、利用者の指定している指定範囲ＦＤ内にベッド上面よりも高さの低い対象の写る画素が含まれていないことを判定するための条件である。
【0164】
例えば、図１８で例示されるように、指定範囲ＦＤの少なくとも一部がベッド上面からずれている場合、指定範囲ＦＤはベッド上面として適正でないと考えられる。この場合に、ベッド上面からずれて一部の部分には、ベッドの側壁、床等のベッド上面よりも低い位置に存在する対象が写りうる。この第１評価条件では、一例として、これらのような状況を判定することができる。【0165】
すなわち、制御部１１は、評価部２８として機能し、指定範囲ＦＤに囲まれる指定面ＦＳに対応する撮影画像３内の領域に含まれる各画素の深度情報に基づいて、この各画素に写る対象がベッド上面よりも高い位置に存在するか低い位置に存在するかを判定する。制御部１１は、ベッド上面の高さとしてステップＳ１０３で指定されている値ｈを利用する。そして、制御部１１は、指定面ＦＳに対応する撮影画像３内の領域にベッド上面よりも高さの低い対象の写る画素が所定の画素数分以上含まれると判定した場合に、指定範囲ＦＤはこの第１評価条件を満たしていない、換言すると、指定範囲ＦＤはベッド上面として適正ではないと評価する。一方、制御部１１は、指定面ＦＳに対応する撮影画像３内の領域にベッド上面よりも高さの低い対象の写る画素が所定の画素数分以上含まれていないと判定した場合に、指定範囲ＦＤはこの第１評価条件を満たしている、換言すると、指定範囲ＦＤはベッド上面として適正であると評価する。【0166】
（ｂ）第２評価条件第２評価条件は、指定範囲ＦＤの右辺にベッドの柵が写っているか否かを判定するための条件である。指定範囲ＦＤがベッド上面に一致する場合には、指定範囲ＦＤの右辺に、ベッド上面の右側に設けられる柵が存在すると想定される。第２評価条件は、このような状況が撮影画像３内で現れているか否かを検知するための条件として与えられる。
【0167】
具体的には、図１９で例示されるように、ベッド上面の右側に設けられる柵の存在を確認するための存在確認領域８０が指定範囲ＦＤの右辺上方に設定される。指定範囲ＦＤがベッド上面に一致している場合には、この存在確認領域８０内にベッド上面の右側に設けられる柵が存在することになる。そこで、制御部１１は、指定範囲ＦＤに基づいて存在確認領域８０に対応する撮影画像３内の領域を特定する。そして、制御部１１は、深度情報に基づいて、特定した撮影画像３内の対応領域に、この存在確認領域８０内に存在する対象を写した画素が含まれているか否かを判定する。【0168】
存在確認領域８０内に存在する対象を写した画素が撮影画像３内の対応領域に含まれていない場合、指定範囲ＦＤはベッド上面として適正に設定されていないため、ベッド上面の右側に設けられる柵が適正な位置に写っていないと考えられる。そのため、制御部１１は、存在確認領域８０内に存在する対象を写した画素が撮影画像３内の対応領域に所定の画素数分以上含まれていないと判定した場合に、指定範囲ＦＤはこの第２評価条件を満たしていない、換言すると、指定範囲ＦＤはベッド上面として適正ではないと評価する。一方、制御部１１は、存在確認領域８０内に存在する対象を写した画素が撮影画像３内の対応領域に所定の画素数分以上含まれていると判定した場合に、指定範囲ＦＤはこの第２評価条件を満たしている、換言すると、指定範囲ＦＤはベッド上面として適正であると評価する。【0169】
（ｃ）第３評価条件第３評価条件は、指定範囲ＦＤの左辺にベッドの柵が写っているか否かを判定するための条件である。第３評価条件は、第２評価条件とほぼ同様に説明可能である。すなわち、第３評価条件は、ベッド上面の左側に設けられる柵が指定範囲ＦＤの左辺に存在する状況が撮影画像３内で現れているか否かを検知するための条件として与えられる。
【0170】
具体的には、図１９で例示されるように、ベッド上面の左側に設けられる柵の存在を確認するための存在確認領域８１が指定範囲ＦＤの左辺上方に設定される。指定範囲ＦＤがベッド上面の一致している場合には、この存在確認領域８１内にベッド上面の左側に設けられる柵が存在することになる。そこで、制御部１１は、指定範囲ＦＤに基づいて存在確認領域８１に対応する撮影画像３内の領域を特定する。また、制御部１１は、深度情報に基づいて、特定した撮影画像３内の対応領域に、この存在確認領域８１内に存在する対象を写した画素が含まれるか否かを判定する。【0171】
そして、制御部１１は、存在確認領域８１内に存在する対象を写した画素が撮影画像３内の対応領域に所定の画素数分以上含まれていないと判定した場合に、指定範囲ＦＤは第３評価条件を満たしていない、換言すると、指定範囲ＦＤはベッド上面として適正ではないと評価する。一方、制御部１１は、存在確認領域８１内に存在する対象を写した画素が撮影画像３内の対応領域に所定の画素数分以上含まれていると判定した場合に、指定範囲ＦＤはこの第３評価条件を満たしている、換言すると、指定範囲ＦＤはベッド上面として適正であると評価する。【0172】
（ｄ）第４評価条件図２０を用いて、第４評価条件を説明する。図２０は、第４評価条件と指定範囲ＦＤとの関係を例示する。第４評価条件は、指定範囲ＦＤの上辺のヘッドボードが写っているか否かを判定するための条件である。第４評価条件は、第２及び第３評価条件とほぼ同様に説明可能である。すなわち、第４評価条件は、ヘッドボードが指定範囲ＦＤの上辺に存在する状況が撮影画像３内で現れているか否かを検知するための条件として与えられる。
【0173】
具体的には、図２０で例示されるように、ヘッドボードの存在を確認するための存在確認領域８２が指定範囲ＦＤの上辺上方に設定される。指定範囲ＦＤがベッド上面の一致している場合には、この存在確認領域８２内それぞれにヘッドボードが存在することになる。そこで、制御部１１は、指定範囲ＦＤに基づいて存在確認領域８２に対応する撮影画像３内の領域を特定する。そして、制御部１１は、深度情報に基づいて、特定した撮影画像３内の対応領域に、この存在確認領域８２内に存在する対象を写した画素が含まれるか否かを判定する。【0174】
そして、制御部１１は、存在確認領域８２内に存在する対象を写した画素が撮影画像３内の対応領域に所定の画素数分以上含まれていないと判定した場合に、指定範囲ＦＤは第４評価条件を満たしていない、換言すると、指定範囲ＦＤはベッド上面として適正ではないと評価する。一方、制御部１１は、存在確認領域８２内に存在する対象を写した画素が撮影画像３内の対応領域に所定の画素数分以上含まれていると判定した場合に、指定範囲ＦＤはこの第４評価条件を満たしている、換言すると、指定範囲ＦＤはベッド上面として適正であると評価する。【0175】
なお、第４評価条件における存在確認領域８２は、第２及び第３評価条件における存在確認領域（８０、８１）と同様に、１つの連続する領域として設定されてもよい。しかしながら、本実施形態では、第４評価条件における存在確認領域８２は、第２及び第３評価条件における存在確認領域（８０、８１）と異なり、互いに離間する２つの領域として設定されている。この理由を図２１及び図２２を用いて説明する。【0176】
図２１及び図２２は、第２〜第４評価条件に基づいて、指定範囲ＦＤがベッド上面として適正か否かを判定する場面を例示する。図２１で例示される場面では、第４評価条件における存在確認領域８２は１つの連続する領域として設定されている。一方、図２２で例示される場面では、本実施形態のように、第４評価条件における存在確認領域８２が互いに離間する２つの領域として設定されている。【0177】
また、図２１及び図２２の領域９０〜９２はそれぞれ、存在確認領域８０〜８２に対応するベッド上面上の領域である。すなわち、領域９０にはベッド上面の右側に設けられる柵が存在し、領域９１にはベッド上面の左側に設けられる柵が存在し、領域９２にはヘッドボードが存在する。【0178】
ここで、制御部１１は、存在確認領域８２内のいずれの場所であってもヘッドボードが存在すれば、指定範囲ＦＤは第４評価条件を満たしていると判定する。そのため、存在確認領域８２が１か所にしか設けられていない場合には、図２１で例示されるように、制御部１１は、ヘッドボードの向きを考慮することができない。すなわち、制御部１１は、ヘッドボードがどのような向きを向いていたとしても、存在確認領域８２内のいずれの場所であってもヘッドボードが存在すれば、指定範囲ＦＤは第４評価条件を満たしていると判定してしまう。【0179】
一方、図２２で例示されるように、存在確認領域８２が２か所に離間して設けられている場合には、ヘッドボードがこの２か所の領域を通過しなければ、制御部１１は、指定範囲ＦＤが第４評価条件を満たしていると判定しない。そのため、制御部１１は、このように離間して設けられる２つの存在確認領域８２を通過する範囲内にヘッドボードの向きを限定することができる。【0180】
したがって、存在確認領域８０〜８２それぞれが１つの領域として設定されている場合には、図２１で例示されるように、指定範囲ＦＤがベッド上面から大きくずれていても、制御部１１は、この指定範囲ＦＤをベッド上面として適正であると判定する可能性がある。一方、存在確認領域８０〜８２の少なくとも１つが互いに離間する２つの領域として設定されている場合には、図２２で例示されるように、制御部１１は、図２１の例で適正であると判定される指定範囲ＦＤを適正でないと判定することができる。【0181】
つまり、互い離間する複数の領域で対象物の存在を確認することで、その対象物に関する評価精度を高めることができる。なお、存在確認領域８２は３つ以上設定されてもよいし、上記第２及び第３評価条件における存在確認領域（８０、８１）もこの第４評価条件と同様に設定されてもよい。【0182】
また、上記第２〜第４評価条件における「柵」及び「ヘッドボード」は本発明の「目印」に相当する。また、存在確認領域８０〜８２はそれぞれ、各目印が写っているか否かを判定するための領域に相当する。目印は、このような例に限られず、ベッド上面に対する相対的な位置が予め特定されている物であれば、実施の形態に応じて適宜設定されてもよい。ベッド上面に対する相対的な位置が予め特定されている目印を利用すれば、その目印とベッド上面との相対的な位置関係に基づいて、指定範囲ＦＤがベッド上面として適正か否かを評価することができる。【0183】
ここで、この目印は、例えば、柵、ヘッドボード等のベッドが一般的に備えている物であってもよいし、指定範囲ＦＤの評価を行うためにベッド又はベッド近傍に設けた物であってもよい。ただし、指定範囲ＦＤを評価するための目印として、本実施形態のように、柵、ヘッドボード等のベッドが備えている物を利用した場合には、このような目印を別途用意しなくてもよい。そのため、見守りシステムのコストを抑えることが可能である。【0184】
（ｅ）第５評価条件図２３及び図２４を用いて、第５評価条件を説明する。図２３は、第５評価条件と指定範囲ＦＤとの関係を例示する。また、図２４は、撮影画像３内に写る壁を突き抜けて指定範囲ＦＤが指定された場面を例示する。第５評価条件は、指定範囲ＦＤにより規定される指定面ＦＳの上方に存在する対象であって、この指定面ＦＳから所定の高さ以上に高い位置に存在する対象、の写る画素が撮影画像３に含まれているか否かを判定するための条件である。
【0185】
例えば、図２４で例示されるように、撮影画像３内に写る壁を突き抜けて指定範囲ＦＤが指定されていた場合には、指定範囲ＦＤがベッド上面として適正であるときにベッド上面の上空で写らない対象物（壁）が写る。この第５評価条件は、例えばこのような状況を判定するための条件である。【0186】
具体的には、指定面ＦＳから所定の高さ（例えば、９０ｃｍ）以上高い範囲に確認領域８４が設定される。制御部１１は、指定範囲ＦＤ（指定面ＦＳ）に基づいて確認領域８４に対応する撮影画像３内の領域を特定する。また、制御部１１は、深度情報に基づいて、特定した撮影画像３内の対応領域に、この確認領域８４内に存在する対象を写した画素が含まれているか否かを判定する。【0187】
確認領域８４内に存在する対象を写した画素が撮影画像３内の対応領域に含まれている場合、図２４で例示されるような状態であり、指定範囲ＦＤがベッド上面として適正に指定されていないと考えられる。そのため、制御部１１は、確認領域８４内に存在する対象を写した画素が撮影画像３内の対応領域に所定の画素数分以上含まれていると判定した場合に、指定範囲ＦＤはこの第５評価条件を満たしていない、換言すると、指定範囲ＦＤはベッド上面として適正ではないと評価する。一方、制御部１１は、確認領域８４内に存在する対象を写した画素が撮影画像３内の対応領域に所定の画素数分以上含まれていないと判定した場合に、指定範囲ＦＤはこの第５評価条件を満たしている、換言すると、指定範囲ＦＤはベッド上面として適正であると評価する。なお、確認領域８４の範囲を規定する所定の高さは、例えば、ベッド上面に見守り対象者が存在する場合にこの見守り対象者の存在する領域を確認領域８４が含まないように設定されるのが望ましい。すなわち、誤評価を避けるために、確認領域８４は十分に高い位置に設定されるのが望ましい。【0188】
（２−２）評価結果の表示態様次に、図２５Ａ及び図２５Ｂを用いて、評価結果の表示態様について説明する。図２５Ａ及び図２５Ｂは、指定範囲ＦＤがベッド上面に適合していない場合における評価結果の表示態様を例示する。上述のとおり、制御部１１は、上記５つの評価条件に従って指定範囲ＦＤを評価した結果を表示領域５７に表示する。
【0189】
ここで、制御部１１は、上記５つの評価条件に従って指定範囲ＦＤを評価した結果を、３段階のグレードで表現する。具体的には、指定範囲ＦＤが上記５つの評価条件を全て満たすと判定した場合に、制御部１１は、ベッド上面の範囲に最も適合していることを示すグレード（以下、「適合グレード」と称する）にその指定範囲ＦＤを評価する。この場合、例えば、図１３で例示されるように、制御部１１は、「○位置ＯＫ」という評価結果を表示領域５７に描画する。【0190】
また、制御部１１は、上記第１〜第３評価条件のうちのいずれか１つでも指定範囲ＦＤが満たさないと判定した場合には、ベッド上面の範囲に最も適合していないことを示すグレード（以下、「不適合グレード」と称する）にその指定範囲ＦＤを評価する。この場合、例えば、図２５Ａで例示されるように、制御部１１は、「×位置ＮＧ」という評価結果を表示領域５７に描画する。【0191】
そして、制御部１１は、上記第１〜第３評価条件の全てを指定範囲ＦＤが満たし、かつ、第４及び第５評価条件のうちのいずれか１つでも指定範囲ＦＤが満たさないと判定した場合には、適合グレードと不適合グレードとの間のグレード（以下、「中間グレード」と称する）にその指定範囲ＦＤを評価する。この場合、制御部１１は、上記適合グレードと不適合グレードとの間の評価であることを利用者に認識できるように、例えば、図２５Ｂで例示される「△位置ＮＧ」という評価結果を表示領域５７に描画する。【0192】
このように、ベッド上面の範囲の指定が行われている間に指定範囲ＦＤの評価結果を表示することで、利用者は、指定範囲ＦＤがベッド上面として適正か否かを確認しながら、ベッド上面の範囲の設定を行うことができる。そのため、本実施形態によれば、見守りシステムについての知識に乏しい利用者であっても、ベッド上面の範囲を容易に指定することが可能になる。【0193】
また、表示する評価結果を複数の段階で表現することで、利用者の操作により指定範囲ＦＤがベッド上面として適正な方向に向かっているのか否かを確認することが可能である。すなわち、表示される評価結果が良いグレードの方に更新された場合には、利用者の操作により指定範囲ＦＤがベッド上面に近づいていることを把握することができる。一方、表示される評価結果が悪いグレードの方に更新された場合には、利用者の操作により指定範囲ＦＤがベッド上面から遠ざかっていることを把握することができる。これにより、本実施形態では、利用者に指定範囲ＦＤを指定する指針を与え、ベッド上面の適正な範囲を特定しやすくすることができる。【0194】
なお、適合グレードと不適合グレードとの間に設定される中間グレードは複数設けられてもよい。この場合、各グレードと各グレードにおいて満たす評価条件との対応関係は、実施形態に応じて適宜設定されてよい。また、制御部１１は、撮影画像３を表示するタッチパネルディスプレイ１３以外の表示装置に評価結果を表示してもよい。評価結果を利用者に提示するために利用される表示装置は、実施の形態に応じて適宜選択されてもよい。【0195】
（３）ベッド上面の自動検出次に、ベッド上面の範囲を自動検出する処理について説明する。図１３で例示されるように、画面３０には、ベッド上面の範囲を自動検出する処理の実行を受け付けるためのボタン５８が設けられている。利用者がボタン５８を操作すると、制御部１１は、上述のとおり、範囲推定部２９として機能し、所定の指定条件に基づいてベッド上面の範囲を繰り返し指定し、繰り返し指定される範囲を上記各評価条件に基づいて評価する。そして、制御部１１は、繰り返し指定される範囲のうちから上記各評価条件に最も適合する範囲をベッド上面の範囲として推定する。これにより、ベッド上面の範囲を自動検出することができる。
【0196】
ここで、図２６を用いて、ベッド上面の範囲を指定する所定の指定条件について説明する。所定の指定条件は、ベッド上面の範囲を指定するための条件であればよく、実施の形態に応じて適宜設定されてもよい。ここでは、上述した利用者がベッド上面の範囲を指定する方法に則して、この所定の指定条件を説明する。【0197】
図２６は、所定の指定条件に基づいてベッド上面の範囲を探索する探索範囲５９を例示する。上述したベッド上面の範囲の指定方法では、利用者は、撮影画像３内で基準点とベッドの向きとを指定することにより、ベッド上面の範囲を指定することができる。そこで、制御部１１は、例えば、図２６で例示される探索範囲５９内で上下及び左右に所定間隔ごとに基準点を設定する。そして、設定した基準点それぞれについて、制御部１１は、ベッドの向きとして１又は複数の所定の角度を適用することで、ベッド上面の範囲を指定する。すなわち、制御部１１は、基準点とベッドの向きとを所定の範囲内で推移させて繰り返し指定することで、ベッド上面の範囲を繰り返し指定することができる。【0198】
更に、制御部１１は、繰り返し指定されるベッド上面の範囲について上記第１〜第５評価条件を満たすか否かを判定する。そして、制御部１１は、上記第１〜第５評価条件を全て満たす範囲、換言すると、上記第１〜第５評価条件に最も適合する範囲をベッド上面の範囲として推定する。更に、制御部１１は、ベッド上面の範囲として推定した範囲を指定する基準点の位置をマーカー５２に適用し、ベッドの向きをノブ５４に適用することで、その推定した範囲を枠ＦＤで明示する。これにより、利用者は、ベッド上面の範囲を指定する作業を行わなくても、ベッド上面の範囲を指定することが可能である。そのため、本実施形態によれば、ベッド上面の設定が容易である。【0199】
なお、基準点を設定する探索範囲５９は撮影画像３内全域であってもよい。ただし、撮影画像３内全域を探索範囲５９とすると、ベッド上面の範囲を自動検出する処理の計算量が膨大になってしまう。そこで、カメラ２の設置条件、ベッドの設置条件等の諸条件に基づいて、探索範囲５９が限定されてもよい。【0200】
例えば、カメラ２のピッチ角αが１７度であり、カメラ２からベッドまでの高さが９００ｍｍであり、カメラ２からベッド上面の中央の点（中心）までの水平面での最大距離が３０００ｍｍであるとする。このような諸条件が与えられている場合、以下の数２１により、ベッド上面の中央の点は、撮影画像３の下半分の領域に存在しうることになる。つまり、このような諸条件が与えられている場合には、撮影画像３の下半分の領域に探索範囲５９を限定してもよい。【0201】
【数21】
【0202】
また、見守り対象者の検知対象とする行動に基づいて、探索範囲５９が限定されてもよい。例えば、見守り対象者の離床、端座位等、ベッドの周囲で行われる行動を検知する場合、撮影画像３内にはベッドの周囲の状況が写っていなければならない。したがって、撮影画像３の左右の両端付近にベッド上面の中央の点が写るような状況では、これらの行動を検知できない可能性がある。そのため、このような事情を考慮して、撮影画像３の左右の両端付近を探索範囲５９から省略してもよい。図２６で例示される探索範囲５９は、これらの事情に基づいて設定されている。【0203】
なお、繰り返し指定する範囲において第１〜第５評価条件を全て満たす範囲が複数存在する場合がある。このような場合、制御部１１は、第１〜第５評価条件を全て満たす範囲を検出した段階で探索を終了し、検出した範囲をベッド上面の範囲として推定してもよい。また、制御部１１は、第１〜第５評価条件を全て満たす範囲を全て特定し、特定した複数の範囲をベッド上面の範囲として利用者に提示してもよい。【0204】
更に、制御部１１は、第１〜第５評価条件を全て満たす範囲のうち、ベッド上面に最も適合する範囲を１つ特定してもよい。ベッド上面に最も適合する範囲を特定する方法の一例として、以下で説明する評価値を利用した方法を挙げることができる。【0205】
例えば、制御部１１は、第１〜第５評価条件を全て満たす指定範囲ＦＤについて、指定面ＦＳを写す画素、及び存在確認領域８０〜８２に存在する対象を写す画素を撮影画像３内で特定する。そして、制御部１１は、それぞれの画素数の合計を評価値として利用し、ベッド上面に最も適合する範囲を１つ特定してもよい。すなわち、第１〜第５評価条件を全て満たす複数の指定範囲ＦＤのうち、指定面ＦＳを写す画素、及び存在確認領域８０〜８２に存在する対象を写す画素の最も多くなる指定範囲ＦＤをベッド上面に最も適合する範囲として特定してもよい。【0206】
なお、本実施形態では、制御部１１は、自動検出した範囲を明示した後、後述する「戻る」ボタン５５又は「スタート」ボタン５６が操作されるまでの間、再度、利用者からのベッド上面の範囲の指定を受け付ける。この場合、利用者は、情報処理装置１によるベッド上面の自動検出の結果を確認したうえで、再度、ベッド上面の範囲を指定することができる。【0207】
具体的には、自動検出の結果が誤っている場合には、利用者は、その範囲を微調整してベッド上面の範囲を設定することができる。一方、自動検出の結果が正しい場合には、利用者は、その範囲をそのままベッド上面に設定することができる。したがって、本実施形態によれば、利用者は、ベッド上面の自動検出の結果を利用することで、ベッド上面の設定を適切かつ容易に行うことができる。ただし、制御部１１の動作はこのような例に限定されなくてもよく、制御部１１は、自動検出した範囲をそのままベッド上面の範囲に設定してもよい。【0208】
（４）その他図１３に戻り、画面５０には、更に、設定のやり直しを受け付けるための「戻る」ボタン５５と、設定を完了し見守りを開始するための「スタート」ボタン５６とが設けられている。利用者が「戻る」ボタン５５を操作すると、制御部１１は、ステップＳ１０３に処理を戻す。
【0209】
一方、利用者が「スタート」ボタン５６を操作すると、制御部１１は、基準点ｐの位置及びベッドの向きθを確定する。すなわち、制御部１１は、そのボタン５６を操作したときに指定されている基準点ｐの位置及びベッドの向きθに基づいて特定されるベッドの枠ＦＤの範囲をベッド上面の範囲に設定する。そして、制御部１１は、次のステップＳ１０６に処理を進める。【0210】
＜ステップＳ１０６〜ステップＳ１０８＞ステップＳ１０６では、制御部１１は、設定部２３として機能し、ステップＳ１０１で選択された「所定行動」の検知領域が撮影画像３内に写るか否かを判定する。そして、ステップＳ１０１で選択された「所定行動」の検知領域が撮影画像３内に写らないと判定した場合には、制御部１１は、次のステップＳ１０７に処理を進める。一方、ステップＳ１０１で選択された「所定行動」の検知領域が撮影画像３内に写ると判定した場合には、制御部１１は、本動作例に係るベッドの位置に関する設定を終了し、後述する行動検知に係る処理を開始する。
【0211】
ステップＳ１０７では、制御部１１は、設定部２３として機能し、ステップＳ１０１で選択された「所定行動」の検知が正常に行えない可能性のあることを示す警告メッセージをタッチパネルディスプレイ１３等に出力する。警告メッセージには、検知が正常に行えない可能性のある「所定行動」及び撮影画像３内に写っていない検知領域の場所を示す情報が含まれてもよい。【0212】
そして、制御部１１は、この警告メッセージと共に又は後に、見守り対象者の見守りを行う前に再設定を行うか否かの選択を受け付け、次のステップＳ１０８に処理を進める。ステップＳ１０８では、制御部１１は、利用者に選択に基づいて再設定を行うか否かを判定する。利用者が再設定を行うことを選択した場合には、制御部１１は、ステップＳ１０５に処理を戻す。一方、利用者が再設定を行わないことを選択した場合には、本動作例に係るベッドの位置に関する設定を終了し、後述する行動検知に係る処理を開始する。【0213】
なお、「所定行動」の検知領域は、後述するとおり、「所定行動」を検知するための所定の条件とステップＳ１０５で設定されたベッド上面の範囲とに基づいて特定される領域である。すなわち、この「所定行動」の検知領域は、見守り対象者が「所定行動」を行った場合に現れる前景領域の位置を規定する領域である。そのため、制御部１１は、前景領域に写る対象がこの検知領域に含まれるか否かを判定することで、見守り対象者の各行動を検知することができる。【0214】
そのため、検知領域が撮影画像３内に写らない場合には、本実施形態に係る見守りシステムは、見守り対象者の対象の行動を適切に検知できない可能性がある。そこで、本実施形態に係る情報処理装置１は、ステップＳ１０６により、このような見守り対象者の対象の行動を適切に検知できない可能性があるか否かを判定する。そして、情報処理装置１は、そのような可能性がある場合には、ステップＳ１０７により、警告メッセージを出力することで、対象の行動を適切に検知できない可能性があることを利用者に知らせることができる。そのため、本実施形態では、見守りシステムの設定の誤りを低減することができる。【0215】
なお、検知領域が撮影画像３内に写るか否かを判定する方法は、実施の形態に応じて、適宜、設定されてもよい。例えば、制御部は、検知領域の所定の点が撮影画像３内に写るか否かを判定することで、検知領域が撮影画像３内に写るか否かを特定してもよい。【0216】
＜その他＞なお、制御部１１は、未完了通知部２７として機能し、ステップＳ１０１の処理を開始してから所定時間内に本動作例に係るベッドの位置に関する設定が完了しない場合、ベッドの位置に関する設定が完了していないことを知らせるための通知を行ってもよい。これにより、ベッドの位置に関する設定の途中で見守りシステムが放置されてしまうことを防止することができる。
【0217】
ここで、ベッドの位置に関する設定が未完了であることを通知する目安となる所定時間は、設定値として予め定められていてもよいし、利用者による入力値により定められてもよいし、複数の設定値から選択されることで定められてもよい。また、このような設定が未完了であることを知らせるための通知を行う方法は、実施の形態に応じて、適宜、設定されてもよい。【0218】
例えば、制御部１１は、情報処理装置１に接続されるナースコール等の施設に設置された設備と連携して、この設定未完了の通知を行ってもよい。例えば、制御部１１は、外部インタフェース１５を介して接続されたナースコールを制御して、ベッドの位置に関する設定が未完了であることを知らせるための通知として、当該ナースコールによる呼び出しを行ってもよい。これにより、見守りシステムの設定が未完了であることを見守り対象者の行動を見守る者に適切に知らせることが可能になる。【0219】
また、例えば、制御部１１は、情報処理装置１に接続されるスピーカ１４から音声を出力することにより、設定未完了の通知を行ってもよい。このスピーカ１４がベッドの周辺に配置されている場合、このような通知をスピーカ１４で行うことにより、見守りを行う場所周辺に居る者に、見守りシステムの設定が未完了であることを知らせることが可能になる。この見守りを行う場所周辺に居る者には、見守り対象者が含まれてもよい。これにより、見守りシステムの設定が未完了であることを見守り対象者自身にも通知することが可能になる。【0220】
また、例えば、制御部１１は、タッチパネルディスプレイ１３上に、設定が未完了であることを知らせるための画面を表示させてもよい。また、例えば、制御部１１は、電子メール、ショートメッセージサービス、プッシュ通知等を利用して、このような通知を行ってもよい。この場合、例えば、通知先となるユーザ端末の電子メールアドレス、電話番号等は記憶部１２に予め登録されており、制御部１１は、この予め登録されている電子メールアドレス、電話番号等を利用して、設定が未完了であることを知らせるための通知を行う。なお、この場合、ユーザ端末は、携帯電話、ＰＨＳ（Personal Handy-phone System）、タブレットＰＣ等の携帯端末であってもよい。【0221】
［見守り対象者の行動検知］次に、図２７を用いて、情報処理装置１による見守り対象者の行動検知の処理手順を説明する。図２７は、情報処理装置１による見守り対象者の行動検知の処理手順を例示する。この行動検知に関する処理手順は一例に過ぎず、各処理は、可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
【0222】
＜ステップＳ２０１＞ステップＳ２０１では、制御部１１は、画像取得部２０として機能し、見守り対象者のベッドにおける行動を見守るために設置されるカメラ２によって撮影された撮影画像３を取得する。本実施形態では、カメラ２が深度センサを有するため、取得される撮影画像３には、各画素の深度を示す深度情報が含まれている。
【0223】
ここで、図２８及び図２９を用いて、制御部１１が取得する撮影画像３について説明する。図２８は、制御部１１により取得される撮影画像３を例示する。図２８で例示される撮影画像３の各画素の濃淡値は、図２と同様、当該各画素の深度に応じて定められている。すなわち、各画素の濃淡値（画素値）は、当該各画素に写る対象の深度に対応している。【0224】
制御部１１は、上記のとおり、当該深度情報を基づいて、各画素の写る対象の実空間での位置を特定することができる。すなわち、制御部１１は、撮影画像３内の各画素の位置（二次元情報）と深度とから、当該各画素内に写る被写体の三次元空間（実空間）での位置を特定することができる。例えば、図２８で例示される撮影画像３に写る被写体の実空間での状態は、次の図２９で例示される。【0225】
図２９は、撮影画像３に含まれる深度情報に基づいて特定される撮影範囲内の被写体の位置の三次元分布を例示する。撮影画像３内の位置と深度とで各画素を三次元空間内にプロットすることで、図２９で例示される三次元分布を作成することができる。つまり、制御部１１は、図２９で例示される三次元分布のように、撮影画像３内に写る被写体の実空間内での状態を認識することができる。【0226】
なお、本実施形態に係る情報処理装置１は、医療施設又は介護施設において、入院患者又は施設入居者を見守るために利用される。そこで、制御部１１は、リアルタイムに入院患者又は施設入居者の行動を見守ることができるように、カメラ２のビデオ信号に同期させて撮影画像３を取得してもよい。そして、制御部１１は、後述するステップＳ２０２〜Ｓ２０５までの処理を取得した撮影画像３に対して即座に実行してもよい。情報処理装置１は、このような動作を絶え間なく連続して実行することにより、リアルタイム画像処理を実現し、リアルタイムに入院患者又は施設入居者の行動を見守ることを可能にする。【0227】
＜ステップＳ２０２＞図２７に戻り、ステップＳ２０２では、制御部１１は、前景抽出部２１として機能し、ステップＳ２０１で取得した撮影画像３の背景として設定された背景画像と撮影画像３との差分から、当該撮影画像３の前景領域を抽出する。ここで、背景画像は、前景領域を抽出するために利用されるデータであり、背景となる対象の深度を含んで設定される。背景画像を作成する方法は、実施の形態に応じて、適宜、設定されてよい。例えば、制御部１１は、見守り対象者の見守りを開始したときに得られる数フレーム分の撮影画像の平均を算出することで、背景画像を作成してもよい。このとき、深度情報も含んで撮影画像の平均が算出されることで、深度情報を含む背景画像が作成される。
【0228】
図３０は、図２８及び図２９で例示した被写体のうち撮影画像３から抽出される前景領域の三次元分布を例示する。具体的には、図３０は、見守り対象者がベッド上で起き上がった際に抽出される前景領域の三次元分布を例示している。上記のような背景画像を利用して抽出される前景領域は、背景画像で示される実空間内の状態から変化した位置に現れる。そのため、見守り対象者がベッド上で動いた場合、見守り対象者の動作部位の写る領域は、この前景領域として抽出される。例えば、図３０では、見守り対象者がベッド上で上半身を起こす（起き上がり）動作を行っているため、見守り対象者の上半身の写る領域が前景領域として抽出されている。制御部１１は、このような前景領域を用いて、見守り対象者の動作を判定する。【0229】
なお、本ステップＳ２０２において、制御部１１が前景領域を抽出する方法は、以上のような方法に限定されなくてもよく、例えば、背景差分法を用いて背景と前景とを分離してもよい。背景差分法として、例えば、上記のような背景画像と入力画像（撮影画像３）との差分から背景と前景とを分離する方法、異なる３枚の画像を用いて背景と前景とを分離する方法、及び統計的モデルを適用することで背景と前景とを分離する方法を挙げることができる。前景領域を抽出する方法は、特に限定されなくてよく、実施の形態に応じて、適宜、選択されてよい。【0230】
＜ステップＳ２０３＞図２７に戻り、ステップＳ２０３では、制御部１１は、行動検知部２２として機能し、ステップＳ２０２で抽出した前景領域内の画素の深度に基づいて、前景領域に写る対象とベッド上面との位置関係が所定の条件を満たすか否かを判定する。そして、制御部１１は、その判定結果に基づいて、見守り対象者の行動を検知する。
【0231】
ここで、「起き上がり」のみが検知対象の行動に選択されている場合、上記ベッドの位置に関する設定処理では、ベッド上面の範囲の設定は省略され、ベッド上面の高さのみが設定される。そこで、制御部１１は、設定されたベッド上面に対して前景領域に写る対象が実空間内で所定距離以上に高い位置に存在するか否かを判定することで、見守り対象者の起き上がりを検知する。【0232】
一方、「離床」、「端座位」及び「柵越え」のうちの少なくともいずれかが検知対象の行動に選択されている場合、見守り対象者の行動を検知する基準として、ベッド上面の実空間内での範囲が設定される。そこで、制御部１１は、設定されたベッド上面と前景領域に写る対象との実空間内での位置関係が所定の条件を満たすか否かを判定することで、見守りの対象に選択された行動を検知する。【0233】
すなわち、制御部１１は、いずれの場合であっても、前景領域に写る対象とベッド上面との実空間内での位置関係に基づいて、見守り対象者の行動を検知している。そのため、見守り対象者の行動を検知するための所定の条件は、ベッド上面を基準として設定される所定の領域に前景領域に写る対象が含まれるか否かを判定するための条件に相当しうる。この所定領域は、上述の検知領域に相当する。そこで、以下では、説明の便宜のため、この検知領域と前景領域との関係に基づいて、見守り対象者の行動を検知する方法を説明する。【0234】
ただし、見守り対象者の行動を検知する方法は、この検知領域に基づく方法に限られなくてもよく、実施の形態に応じて、適宜、設定されてもよい。また、前景領域に写る対象が検知領域に含まれるか否かを判定する方法は、実施の形態に応じて、適宜、設定されてもよい。例えば、閾値以上の画素数分の前景領域が検知領域に現れるか否かを評価することで、前景領域に写る対象が検知領域に含まれるか否かを判定してもよい。本実施形態では、検知対象の行動として、「起き上がり」、「離床」、「端座位」及び「柵越え」が例示されている。制御部１１は、次のようにしてこれらの行動を検知する。【0235】
（１）起き上がり本実施形態では、ステップＳ１０１において「起き上がり」が検知対象の行動に選択された場合に、見守り対象者の「起き上がり」が本ステップＳ２０３の判定対象となる。起き上がりの検知には、ステップＳ１０３で設定されたベッド上面の高さが用いられる。ステップＳ１０３におけるベッド上面の高さの設定が完了すると、制御部１１は、設定されたベッド上面の高さに基づいて、起き上がりを検知するための検知領域を特定する。
【0236】
図３１は、起き上がりを検知するための検知領域ＤＡを模式的に例示する。検知領域ＤＡは、例えば、図３１で例示されるように、ステップＳ１０３で指定される指定高さ面（ベッド上面）ＤＦからベッドの高さ方向上方に距離ｈｆ以上高い位置に設定される。この距離ｈｆは、本発明の「第２所定距離」に相当する。検知領域ＤＡの範囲は、特に限定されなくてもよく、実施の形態に応じて、適宜、設定されてよい。制御部１１は、閾値以上の画素数分の前景領域に写る対象が検知領域ＤＡに含まれると判定した場合に、見守り対象者のベッド上での起き上がりを検知してもよい。【0237】
（２）離床ステップＳ１０１において「離床」が検知対象の行動に選択された場合に、見守り対象者の「離床」が本ステップＳ２０３の判定対象となる。離床の検知には、ステップＳ１０５で設定されたベッド上面の範囲が用いられる。ステップＳ１０５におけるベッド上面の範囲の設定が完了すると、制御部１１は、設定されたベッド上面の範囲に基づいて、離床を検知するための検知領域を特定することができる。
【0238】
図３２は、離床を検知するための検知領域ＤＢを模式的に例示する。見守り対象者がベッドから離床した場合、ベッドのサイドフレームから離れた位置に前景領域が現れると想定される。そこで、検知領域ＤＢは、図３２で例示されるように、ステップＳ１０５で特定されたベッド上面の範囲に基づいて、ベッドのサイドフレームから離れた位置に設定されてもよい。検知領域ＤＢの範囲は、上記検知領域ＤＡと同様に、実施の形態に応じて、適宜、設定されてよい。制御部１１は、閾値以上の画素数分の前景領域に写る対象が検知領域ＤＢに含まれると判定した場合に、見守り対象者のベッドからの離床を検知してもよい。【0239】
（３）端座位ステップＳ１０１において「端座位」が検知対象の行動に選択された場合に、見守り対象者の「端座位」が本ステップＳ２０３の判定対象となる。端座位の検知には、離床の検知と同様に、ステップＳ１０５で設定されたベッド上面の範囲が用いられる。ステップＳ１０５におけるベッド上面の範囲の設定が完了すると、制御部１１は、設定されたベッド上面の範囲に基づいて、端座位を検知するための検知領域を特定することができる。
【0240】
図３３は、端座位を検知するための検知領域ＤＣを模式的に例示する。見守り対象者がベッドにおいて端座位を行った場合、ベッドのサイドフレーム周辺、かつ、ベッドの上方から下方にかけて、前景領域が現れると想定される。そこで、検知領域ＤＣは、図３３で例示されるように、ベッドのサイドフレーム周辺で、かつ、ベッドの上方から下方にかけて設定されてもよい。制御部１１は、閾値以上の画素数分の前景領域に写る対象が検知領域ＤＣに含まれると判定した場合に、見守り対象者のベッドにおける端座位を検知してもよい。【0241】
（４）柵越えステップＳ１０１において「柵越え」が検知対象の行動に選択された場合に、見守り対象者の「柵越え」が本ステップＳ２０３の判定対象となる。柵越えの検知には、離床及び端座位の検知と同様に、ステップＳ１０５で設定されたベッド上面の範囲が用いられる。ステップＳ１０５におけるベッド上面の範囲の設定が完了すると、制御部１１は、設定されたベッド上面の範囲に基づいて、柵越えを検知するための検知領域を特定することができる。
【0242】
ここで、見守り対象者が柵越えを行った場合、ベッドのサイドフレーム周辺で、かつ、ベッドの上方に、前景領域が現れると想定される。そこで、柵越えを検知するための検知領域は、ベッドのサイドフレーム周辺で、かつ、ベッドの上方に、設定されてもよい。制御部１１は、閾値以上の画素数分の前景領域に写る対象がこの検知領域に含まれると判定した場合に、見守り対象者の柵越えを検知してもよい。【0243】
（５）その他本ステップ２０３では、制御部１１は、上記のようにして、ステップＳ１０１で選択された各行動の検知を行う。すなわち、制御部１１は、対象の行動の上記判定条件を満たすと判定した場合に、当該対象の行動を検知することができる。一方、ステップＳ１０１で選択された各行動の上記判定条件を満たさないと判定した場合には、制御部１１は、見守り対象者の行動を検知することなく、次のステップＳ２０４に処理を進める。
【0244】
なお、上述のとおり、ステップＳ１０５では、制御部１１は、カメラ座標系のベクトルをベッド座標系のベクトルに変換する射影変換行列Ｍを算出することができる。また、制御部１１は、上記数６〜数８に基づいて、撮影画像３内の任意の点ｓのカメラ座標系での座標Ｓ（Ｓx，Ｓy，Ｓz，１）を特定することができる。そこで、制御部１１は、（２）〜（４）において各行動を検知する際に、この射影変換行列Ｍを利用して、前景領域内の各画素のベッド座標系における座標を算出してもよい。そして、制御部１１は、算出したベッド座標系の座標を利用して、前景領域内の各画素に写る対象が各検知領域に含まれるか否かを判定してもよい。【0245】
また、見守り対象者の行動を検知する方法は、上記の方法に限定されなくてもよく、実施の形態に応じて、適宜、設定されてよい。例えば、制御部１１は、前景領域として抽出された各画素の撮影画像３内の位置及び深度の平均を取ることで、前景領域の平均位置を算出してもよい。そして、制御部１１は、実空間内において各行動を検知する条件として設定された検知領域に当該前景領域の平均位置が含まれるか否かを判定することで、見守り対象者の行動を検知してもよい。【0246】
更に、制御部１１は、前景領域の形状に基づいて、前景領域に写る身体部位を特定してもよい。前景領域は、背景画像からの変化を示す。そのため、前景領域に写る身体部位は、見守り対象者の動作部位に対応する。これに基づいて、制御部１１は、特定した身体部位（動作部位）とベッド上面との位置関係に基づいて、見守り対象者の行動を検知してもよい。これと同様に、制御部１１は、各行動の検知領域に含まれる前景領域に写る身体部位が所定の身体部位であるか否かを判定することで、見守り対象者の行動を検知してもよい。【0247】
＜ステップＳ２０４＞ステップＳ２０４では、制御部１１は、危険予兆通知部２６として機能し、ステップＳ２０３において検知した行動が見守り対象者に危険の迫る予兆を示す行動であるか否かを判定する。ステップＳ２０３において検知した行動が見守り対象者に危険の迫る予兆を示す行動である場合、制御部１１は、ステップＳ２０５に処理を進める。一方、ステップＳ２０３において見守り対象者の行動を検知しなかった場合、又は、ステップＳ２０３において検知した行動が見守り対象者に危険の迫る予兆を示す行動ではなかった場合、制御部１１は、本動作例に係る処理を終了する。
【0248】
見守り対象者に危険の迫る予兆を示す行動であると設定される行動は、実施の形態に応じて、適宜、選択されてよい。例えば、転落又は転倒が生じる可能性のある行動として、見守り対象者に危険の迫る予兆を示す行動に端座位が設定されていると仮定する。この場合、制御部１１は、ステップＳ２０３において見守り対象者が端座位の状態にあると検知したとき、ステップＳ２０３において検知した行動が見守り対象者に危険の迫る予兆を示す行動であると判定する。【0249】
このステップＳ２０３において検知した行動が見守り対象者に危険の迫る予兆を示す行動であるか否かを判定する場合に、制御部１１は、見守り対象者の行動の遷移を考慮してもよい。例えば、離床から端座位の状態になるよりも、起き上がりから端座位の状態になった方が、見守り対象者が転落又は転倒する可能性が高いと想定される。そこで、制御部１１は、ステップＳ２０４において、見守り対象者の行動の遷移を踏まえて、ステップＳ２０３において検知した行動が見守り対象者に危険の迫る予兆を示す行動であるか否かを判定してもよい。【0250】
例えば、制御部１１は、見守り対象者の行動を定期的に検知しているところ、ステップＳ２０３において、見守り対象者の起き上がりを検知した後に、見守り対象者が端座位の状態になったと検知したとする。このとき、制御部１１は、本ステップＳ２０４において、ステップＳ２０３において推定した行動が見守り対象者に危険の迫る予兆を示す行動であると判定してもよい。【0251】
＜ステップＳ２０５＞ステップＳ２０５では、制御部１１は、危険予兆通知部２６として機能し、見守り対象者に危険の迫る予兆があることを知らせるための通知を行う。制御部１１が当該通知を行う方法は、上記設定未完了の通知と同様に、実施の形態に応じて、適宜、設定されてよい。
【0252】
例えば、制御部１１は、上記設定未完了の通知と同様に、見守り対象者に危険の迫る予兆があることを知らせるための通知を、ナースコールを利用して行ってもよいし、スピーカ１４を利用して行ってもよい。また、制御部１１は、見守り対象者に危険の迫る予兆があることを知らせるための通知を、タッチパネルディスプレイ１３上に表示してもよいし、電子メール、ショートメッセージサービス、プッシュ通知等を利用して行ってもよい。【0253】
この通知が完了すると、制御部１１は、本動作例に係る処理を終了する。ただし、情報処理装置１は、見守り対象者の行動を定期的に検知する場合、上述の動作例に示される処理を定期的に繰り返してもよい。定期的に処理を繰り返す間隔は、適宜、設定されてもよい。また、情報処理装置１は、利用者の要求に応じて、上述の動作例に示される処理を実行してもよい。【0254】
以上のように、本実施形態に係る情報処理装置１は、前景領域と被写体の深度とを利用して、見守り対象者の動作部位とベッドとの実空間内の位置関係を評価することで、見守り対象者の行動を検知する。そのため、本実施形態によれば、実空間での見守り対象者の状態に適合する行動推定が可能となる。【0255】
§４ 変形例以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
【0256】
（１）面積の利用例えば、カメラ２から被写体が遠ざかるほど、撮影画像３内の被写体の像は小さくなり、カメラ２に被写体が近づくほど、撮影画像３内の被写体の像は大きくなる。撮影画像３内に写る被写体の深度は被写体の表面に対して取得されるが、その撮影画像３の各画素に対応する被写体の表面部分の面積は各画素間で一致するとは限らない。
【0257】
そこで、制御部１１は、被写体の遠近による影響を除外するために、上記ステップＳ２０３において、前置領域に写る被写体のうち検知領域に含まれる部分の実空間における面積を算出してもよい。そして、制御部１１は、算出した面積に基づいて、見守り対象者の行動を検知してもよい。【0258】
なお、撮影画像３内の各画素の実空間における面積は、その各画素の深度に基づいて、次のようにして求めることができる。制御部１１は、以下の数２２及び数２３の関係式に基づいて、図１０及び図１１で例示される任意の点ｓ（１画素）の実空間内における横方向の長さｗ及び縦方向の長さｈをそれぞれ算出することができる。【0259】
【数22】
【数23】
【0260】
したがって、制御部１１は、このように算出されるｗの２乗、ｈの２乗、又はｗとｈとの積によって、深度Ｄｓにおける１画素の実空間内での面積を求めることができる。そこで、制御部１１は、上記ステップＳ２０３において、前置領域内の画素のうちの検知領域に含まれる対象を写した各画素の実空間内での面積の総和を算出する。そして、制御部１１は、算出した面積の総和が所定の範囲内に含まれるか否かを判定することで、見守り対象者のベッドにおける行動を検知してもよい。これにより、被写体の遠近の影響を除外し、見守り対象者の行動の検知精度を高めることができる。【0261】
また、制御部１１は、上記ステップＳ１０５においてベッド上面を自動検出する際に、第１〜第５評価条件を全て満たす指定範囲ＦＤが複数存在する場合、ベッド上面に最も適合する範囲を評価値を利用して特定するときがある。この評価値は、指定面ＦＳを写す画素数と存在確認領域８０〜８２に存在する対象を写す画素数との合計で与えられた。この評価値の計算において、制御部１１は、画素数のカウントに代えて、上記各画素の面積を利用してもよい。【0262】
また、このような面積は、深度情報のノイズ、見守り対象者以外の物体の動き、等によって、大きく変化してしまう場合がある。これに対応するため、制御部１１は、数フレーム分の面積の平均を利用してもよい。また、制御部１１は、処理対象のフレームにおける該当領域の面積と当該処理対象のフレームよりも過去の数フレームにおける当該該当領域の面積の平均との差が所定範囲を超える場合、当該該当領域を処理対象から除外してもよい。【0263】
（２）面積及び分散を利用した行動推定上記のような面積を利用して見守り対象者の行動を検知する場合、行動を検知するための条件となる面積の範囲は、検知領域に含まれると想定される見守り対象者の所定部位に基づいて設定される。この所定部位は、例えば、見守り対象者の頭部、肩部等である。すなわち、見守り対象者の所定部位の面積に基づいて、行動を検知するための条件となる面積の範囲が設定される。
【0264】
ただし、前置領域に写る対象の実空間内における面積だけでは、制御部１１は、その前置領域に写る対象の形状を特定することはできない。そのため、制御部１１は、検知領域に含まれる見守り対象者の身体部位を取り違えて、見守り対象者の行動を誤検知してしまう可能性がある。そこで、制御部１１は、実空間における広がり具合を示す分散を利用して、このような誤検知を防止してもよい。【0265】
図３４を用いて、この分散を説明する。図３４は、領域の拡がり具合と分散との関係を例示する。図３４で例示される領域ＴＡ及び領域ＴＢは、それぞれ、同じ面積であるとする。上記のような面積だけで見守り対象者の行動を推定しようとすると、制御部１１は、制御部１１は、領域ＴＡと領域ＴＢとは同じであると認識してしまうため、見守り対象者の行動を誤検知してしまう可能性がある。【0266】
しかしながら、図３４で例示されるように、領域ＴＡと領域ＴＢとは実空間における広がりが大きく異なる（図３４では水平方向の広がり具合）。そこで、制御部１１は、上記ステップＳ２０３において、前置領域に含まれる画素のうち検知領域に含まれる対象を写した各画素の分散を算出してもよい。そして、制御部１１は、算出した分散が所定の範囲に含まれるか否かの判定に基づいて、見守り対象者の行動を検知してもよい。【0267】
なお、上記面積の例と同様に、行動の検知の条件となる分散の範囲は、検知領域に含まれると想定される見守り対象者の所定部位に基づいて設定される。例えば、検知領域に含まれる所定部位が頭部であると想定される場合には、行動の検知の条件となる分散の値は比較的に小さい値の範囲で設定される。一方、検知領域に含まれる所定部位が肩部であると想定される場合には、行動の検知の条件となる分散の値は比較的に大きな値の範囲で設定される。【0268】
（３）前景領域の不利用上記実施形態では、制御部１１（情報処理装置１）は、ステップＳ２０２で抽出される前景領域を利用して見守り対象者の行動を検知する。しかしながら、見守り対象者の行動を検知する方法は、このような前景領域を利用した方法に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。
【0269】
見守り対象者の行動を検知する際に前景領域を利用しない場合、制御部１１は、上記ステップＳ２０２の処理を省略してもよい。そして、制御部１１は、行動検知部２２として機能し、撮影画像３内の各画素の深度に基づいて、ベッド基準面と見守り対象者との実空間内での位置関係が所定の条件を満たすか否かを判定することで、見守り対象者のベッドに関連する行動を検知してもよい。この例として、例えば、制御部１１は、ステップＳ２０３の処理として、パターン検出、図形要素検出等によって撮影画像３を解析して見守り対象者に関連する像を特定してもよい。この見守り対象者に関連する像は、見守り対象者の全身の像であってもよいし、頭部、肩部等の１又は複数の身体部位の像であってもよい。そして、制御部１１は、特定した見守り対象者に関連する像とベッドとの実空間内での位置関係に基づいて、見守り対象者のベッドに関連する行動を検知してもよい。【0270】
なお、上記のとおり、前景領域を抽出するための処理は、撮影画像３と背景画像との差分を計算する処理に過ぎない。そのため、上記実施形態のように前景領域を利用して見守り対象者の行動を検知する場合、制御部１１（情報処理装置１）は、高度な画像処理を利用せずに、見守り対象者の行動を検知することができるようになる。これにより、見守り対象者の行動の検知に係る処理を高速化することが可能になる。【0271】
（４）ベッド上面の範囲の設定方法上記実施形態のステップＳ１０５では、情報処理装置１（制御部１１）は、ベッドの基準点の位置及びベッドの向きの指定を受け付けることで、ベッド上面の実空間内での範囲を特定した。しかしながら、ベッド上面の実空間内での範囲を特定する方法は、このような例に限定されなくてもよく、実施の形態に応じて、適宜、選択されてもよい。例えば、情報処理装置１は、ベッド上面の範囲を規定する４つの角のうち２つの角の指定を受け付けることで、ベッド上面の実空間内での範囲を特定してもよい。以下では、図３５を用いて、この方法を説明する。
【0272】
図３５は、ベッド上面の範囲の設定を受け付ける際にタッチパネルディスプレイ１３に表示される画面６０を例示する。制御部１１は、上記ステップＳ１０５の処理に置き換えて、当該処理を実行する。すなわち、制御部１１は、ステップＳ１０５においてベッド上面の範囲の指定を受け付けるために、タッチパネルディスプレイ１３に画面６０を表示する。画面６０は、カメラ２から得られる撮影画像３を描画する領域６１、ベッド上面を規定する４つの角のうちの２つの角を指定するための２つのマーカー６２を含んでいる。【0273】
上記のとおり、ベッドのサイズは見守り環境に応じて予め定められている場合が多く、制御部１１は、予め定められた設定値又は利用者による入力値によって、ベッドのサイズを特定することができる。そして、ベッド上面の範囲を規定する４つの角のうち２つの角の実空間内での位置を特定することができれば、これら２つの角の位置にベッドのサイズを示す情報（以下、ベッドのサイズ情報とも称する）を適用することで、ベッド上面の実空間内での範囲を特定することができる。【0274】
そこで、制御部１１は、例えば、上記実施形態においてマーカー５２により指定される基準点ｐのカメラ座標系での座標Ｐを算出した方法と同様の方法で、２つのマーカー６２によりそれぞれ指定される２つの角のカメラ座標系での座標を算出する。これにより、制御部１１は、当該２つの角の実空間上の位置を特定できるようになる。図３５で例示される画面６０では、利用者は、ヘッドボード側の２つの角を指定する。そのため、制御部１１は、この実空間内での位置を特定した２つの角をヘッドボード側の２つの角として取り扱って、ベッド上面の範囲を推定することで、ベッド上面の実空間内での範囲を特定する。【0275】
例えば、制御部１１は、実空間内での位置を特定した２つの角の間を結ぶベクトルの向きをヘッドボードの向きとして特定する。この場合、制御部１１は、いずれの角をベクトルの始点として取り扱ってもよい。そして、制御部１１は、このベクトルと同じ高さで垂直な方向を向いたベクトルの向きをサイドフレームの方向として特定する。サイドフレームの方向として複数の候補がある場合には、制御部１１は、予め定められた設定に従ってサイドフレームの方向を特定してもよいし、利用者による選択に基づいてサイドフレームの方向を特定してもよい。【0276】
また、制御部１１は、ベッドのサイズ情報から特定されるベッドの横幅の長さを、実空間内での位置を特定した２つの角の間の距離に対応付ける。これにより、実空間を表現する座標系（例えば、カメラ座標系）での縮尺が実空間に対応付けられる。そして、制御部１１は、ベッドのサイズ情報から特定されるベッドの縦幅の長さに基づいて、ヘッドボード側の２つの角それぞれからサイドフレームの方向に存在するフットボード側の２つの角の実空間内での位置を特定する。これにより、制御部１１は、ベッド上面の実空間内での範囲を特定することができる。制御部１１は、このようにして特定される範囲をベッド上面の範囲に設定する。詳細には、制御部１１は、「スタート」ボタンが操作されたときに指定されているマーカー６２の位置に基づいて特定される範囲をベッド上面の範囲として設定する。【0277】
なお、図３５では、指定を受け付ける２つの角として、ヘッドボード側の２つの角が例示されている。しかしながら、指定を受け付ける２つの角は、このような例に限定されなくてもよく、ベッド上面の範囲を規定する４つの角から適宜選択されてもよい。【0278】
また、ベッド上面の範囲を規定する４つの角のうちのどの角の位置の指定を受け付けるかは、上述のように予め定められていてもよいし、利用者の選択によって決定されてもよい。この利用者によって位置を指定される対象となる角の選択は、位置を指定する前に行われてもよいし、位置を指定した後に行われてもよい。【0279】
また、制御部１１は、上記実施形態と同様に、指定されている２つのマーカーの位置から特定されるベッドの枠ＦＤを撮影画像３内に描画してもよい。このようにベッドの枠ＦＤを撮影画像３内に描画することで、指定しているベッドの範囲を確認させるとともに、どの角の位置を指定すればよいかを利用者に視認させることが可能である。【0280】
また、制御部１１は、上記実施形態と同様に、指定されている２つのマーカーの位置から特定されるベッドの枠ＦＤの評価を行ってもよいし、上記各評価条件に基づいてベッド上面の範囲を自動検出してもよい。これにより、ベッド上面の範囲の設定をより簡便することができる。【0281】
（５）ベッド上面の自動検出また、上記実施形態では、利用者がベッド上面の範囲を指定することを前提にしている。しかしながら、情報処理装置１は、利用者からの範囲の指定を受け付けずに、範囲推定部２９としての機能を利用し、ベッド上面（ベッド基準面）の範囲を特定してもよい。この場合、制御部１１は、ベッド上面の指定を受け付ける処理、撮影画像３を表示する処理等を省略することができる。具体的には、制御部１１は、画像取得部２０として機能し、深度情報を含む撮影画像３を取得する。次に、制御部１１は、範囲推定部２９として機能し、上述の方法で、ベッド上面の範囲を自動検出する。続いて、制御部１１は、設定部２３として機能し、自動検出された範囲をベッド上面の範囲に設定する。そして、制御部１１は、行動検知部２２として機能し、撮影画像３内に含まれる深度情報に基づいて、設定されたベッド上面の範囲と見守り対象者との実空間内での位置関係に基づいて、見守り対象者のベッドに関連する行動を検知する。これによれば、利用者の手を煩わせることなくベッド上面の範囲を設定することが可能である。そのため、ベッド上面の範囲の設定が容易である。なお、この場合、タッチパネルディスプレイ１３に代えて、表示灯、信号灯、回転灯等によって検知結果が利用者に示されてもよい。
【0282】
（６）評価条件また、上記実施形態では、利用者又は制御部１１により指定される指定範囲がベッド上面の範囲として適正か否かを判定するための所定の評価条件として、５つの評価条件が例示されている。しかしながら、所定の評価条件は、これらの例に限定されなくてもよく、実施の形態に応じて適宜設定されてもよい。上記評価条件の他の例として、例えば、カメラ２の撮影範囲に入るベッド周囲の領域に物が置かれていない場合には、図３６で例示される第６評価条件が利用されてもよい。
【0283】
図３６は、ベッド周囲に関する第６評価条件と指定範囲ＦＤとの関係を例示する。このベッド周囲に関する第６評価条件は、ベッド上面の外側の所定範囲にベッドの配置された床からベッド上面までの高さに存在する対象の写る画素が撮影画像３に含まれているか否かを判定するための条件である。この第６評価条件では、例えば、図３６に例示されるように、この指定範囲ＦＤを囲う所定範囲（例えば、ベッド周囲から外側に５ｃｍの範囲）において、指定範囲ＦＤの高さから下方に確認領域８５が設定される。【0284】
なお、確認領域８５の高さ（図中の上下方向の長さ）は、ベッドの配置された床面からベッド上面までの高さに対応するように設定されてもよい。ここで、ベッドの配置された床面からカメラ２までの高さが設定値として与えられている場合は、制御部１１は、そのカメラ２の高さからベッド上面の高さｈを引くことで、床面からベッド上面までの高さを特定することができる。そのため、制御部１１は、このように特定した床面からベッド上面までの高さを確認領域８５の高さ（上下方向の長さ）に適用してもよい。また、床面からベッド上面までの高さは設定値として与えられていてもよい。この場合、制御部１１は、この設定値を確認領域８５の高さ（上下方向の長さ）に適用してもよい。ただし、確認領域８５の高さ（図中の上下方向の長さ）は必ずしも特定されていなくてもよく、指定範囲ＦＤの高さから下方の領域に適用されるように、確認領域８５の高さ（図中の上下方向の長さ）は無限遠に設定されてもよい。【0285】
この第６評価条件を利用する場合、制御部１１は、指定範囲ＦＤに基づいて確認領域８５に対応する撮影画像３内の領域を特定する。また、制御部１１は、深度情報に基づいて、特定した撮影画像３内の対応領域に、この確認領域８５内に存在する対象を写した画素が含まれているか否かを判定する。【0286】
確認領域８５内に存在する対象を写した画素が撮影画像３内の対応領域に含まれている場合、カメラ２の撮影範囲に入るベッド周囲の領域に物が置かれていないという条件に反するため、指定範囲ＦＤがベッド上面として適正に指定されていないと考えられる。そのため、制御部１１は、確認領域８５内に存在する対象を写した画素が撮影画像３内の対応領域に所定の画素数分以上含まれていると判定した場合に、指定範囲ＦＤはこの第６評価条件を満たしていないと評価する。一方、制御部１１は、確認領域８５内に存在する対象を写した画素が撮影画像３内の対応領域に所定の画素数分以上含まれていないと判定した場合に、指定範囲ＦＤはこの第６評価条件を満たしていると評価する。【0287】
制御部１１は、上記６つの評価条件から、指定範囲ＦＤがベッド上面の範囲として適正か否かを判定するために利用する評価条件を１又は複数選択してもよい。また、制御部１１は、指定範囲ＦＤがベッド上面の範囲として適正か否かを判定するために、上記６つの評価条件以外の評価条件を利用してもよい。更に、指定範囲ＦＤがベッド上面の範囲として適正か否かを判定するために利用する評価条件の組み合わせは、実施の形態に応じて適宜設定されてもよい。【0288】
（７）その他なお、上記実施形態に係る情報処理装置１は、カメラ２のピッチ角αを考慮した関係式に基づいて、ベッドの位置の設定に関する種々の値を算出している。ただし、情報処理装置１が考慮するカメラ２の属性値は、このピッチ角αに限定されなくてもよく、実施の形態に応じて、適宜、選択されてもよい。例えば、上記情報処理装置１は、カメラ２のピッチ角αの他、カメラ２のロール角等を考慮した関係式に基づいて、ベッドの位置の設定に関する種々の値を算出してもよい。
【0289】
また、上記実施形態では、ベッド上面の高さの受付（ステップＳ１０３）とベッド上面の範囲の受付（ステップＳ１０５）とは互いに異なるステップで実行されている。しかしながら、これらのステップは一つのステップで処理されてもよい。例えば、スクロールバー４２及びノブ４３を画面５０又は画面６０に設けることにより、制御部１１は、ベッド上面の高さの指定を受け付けるとともに、ベッド上面の範囲の指定を受け付けることができる。なお、上記ステップＳ１０３は省略され、ベッド上面の高さは予め設定されていてもよい。【符号の説明】
【0290】
１…情報処理装置、２…カメラ、３…撮影画像、５…プログラム、６…記憶媒体、
２０…画像取得部、２１…前景抽出部、２２…行動検知部、２３…設定部、
２４…表示制御部、２５…行動選択部、２６…危険予兆通知部、２７…未完了通知部、
２８…評価部、２９…範囲推定部