知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-02
(45)【発行日】2024-09-10
(54)【発明の名称】設定方法、設定プログラム及び設定装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20240903BHJP
G06V 10/25 20220101ALI20240903BHJP
G06V 40/20 20220101ALI20240903BHJP
【ＦＩ】
G06T7/00 Z
G06V10/25
G06V40/20
【請求項の数】
10
(21)【出願番号】P 2021029293
(22)【出願日】2021-02-25
(65)【公開番号】P2022130227
(43)【公開日】2022-09-06
【審査請求日】2023-11-09
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】條 由花
(72)【発明者】
【氏名】藤本 純也
【審査官】合田 幸裕
(56)【参考文献】
【文献】特開２０１６－１００６９６（ＪＰ，Ａ）
【文献】特開２０１５－１１４９５０（ＪＰ，Ａ）
【文献】特開２０２０－１２３３５２（ＪＰ，Ａ）
【文献】特開２０２０－０８７１６５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０２１３４０６（ＵＳ，Ａ１）
【文献】国際公開第２０１１／１１３０２６（ＷＯ，Ａ２）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ １０／２５
Ｇ０６Ｖ ４０／２０
ＩＥＥＥ Ｘｐｌｏｒｅ
ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）
(57)【特許請求の範囲】
【請求項1】
映像を取得し、前記映像に含まれる第１のオブジェクトに対する骨格検出で得られる骨格情報の時系列データを用いて、骨格部位の位置をマッピングしたマップを前記骨格部位ごとに生成し、
前記骨格部位ごとに生成されたマップに含まれる第２のオブジェクトの周囲でマッピングが観測される頻度に基づいて、前記第１のオブジェクトと空間との関係性を示す空間状態の認識に用いるＲＯＩを設定する、
処理をコンピュータが実行することを特徴とする設定方法。
【請求項2】
前記生成する処理は、前記マップが複数に分割された領域ごとに前記領域にマッピングされたマッピング回数を集計する処理を含み、前記設定する処理は、前記骨格部位ごとに生成されたマップに含まれる領域のうち前記第２のオブジェクトの周囲に対応する領域のマッピング回数に基づいて前記ＲＯＩを設定する処理を含む、
ことを特徴とする請求項１に記載の設定方法。
【請求項3】
前記設定する処理は、前記骨格部位ごとに生成されたマップの間で前記第２のオブジェクトの周囲に対応する領域のマッピング回数を比較し、最高値のマッピング回数が観測される領域に基づいて前記ＲＯＩを設定する処理を含む、ことを特徴とする請求項２に記載の設定方法。
【請求項4】
前記設定する処理は、前記骨格部位ごとに生成されたマップの間で前記第２のオブジェクトの周囲に対応する領域であり、かつ指定を受け付けたＲＯＩの相対位置に対応する領域を比較し、最高値のマッピング回数が観測される領域に基づいて前記ＲＯＩを設定する処理を含む、ことを特徴とする請求項３に記載の設定方法。
【請求項5】
前記設定する処理は、前記最高値のマッピング回数が観測される領域を含むマップに対応する骨格部位を前記ＲＯＩと比較する骨格部位として設定する処理を含む、ことを特徴とする請求項３または４に記載の設定方法。
【請求項6】
前記領域は、前記マップがメッシュ状に分割されたグリッドであることを特徴とする請求項２～５のいずれか１つに記載の設定方法。
【請求項7】
前記設定する処理は、第１のＲＯＩの設定後に第２のＲＯＩを設定する場合、前記骨格部位ごとに生成されたマップのうち前記第１のＲＯＩと比較する部位に設定された骨格部位に対応するマップを除外して前記第２のＲＯＩを設定する処理を含む、ことを特徴とする請求項１～６のいずれか１つに記載の設定方法。
【請求項8】
前記設定する処理は、前記骨格部位ごとに生成されたマップのうち、前記第１のＲＯＩと比較する部位に設定された第１の骨格部位および前記第１の骨格部位との連動性が閾値以上である第２の骨格部位に対応するマップを除外して前記第２のＲＯＩを設定する処理を含む、ことを特徴とする請求項７に記載の設定方法。
【請求項9】
映像を取得し、前記映像に含まれる第１のオブジェクトに対する骨格検出で得られる骨格情報の時系列データを用いて、骨格部位の位置をマッピングしたマップを前記骨格部位ごとに生成し、
前記骨格部位ごとに生成されたマップに含まれる第２のオブジェクトの周囲でマッピングが観測される頻度に基づいて、前記第１のオブジェクトと空間との関係性を示す空間状態の認識に用いるＲＯＩを設定する、
処理をコンピュータに実行させることを特徴とする設定プログラム。
【請求項10】
映像を取得し、前記映像に含まれる第１のオブジェクトに対する骨格検出で得られる骨格情報の時系列データを用いて、骨格部位の位置をマッピングしたマップを前記骨格部位ごとに生成し、
前記骨格部位ごとに生成されたマップに含まれる第２のオブジェクトの周囲でマッピングが観測される頻度に基づいて、前記第１のオブジェクトと空間との関係性を示す空間状態の認識に用いるＲＯＩを設定する、
処理を実行する制御部を含む設定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、設定方法、設定プログラム及び設定装置に関する。
【背景技術】
【0002】
映像から人の行動を認識する行動認識技術が知られている。行動認識技術の１つとして、映像からDeep Learning等の機械学習モデルを用いて認識される基本動作をルールに設定された基本動作の組合せとを照合することにより、基本動作よりも複雑な行動を認識するものがある。この際、映像から認識される人とその周囲の空間との関係性を示す空間状態を条件に含める側面から、いわゆるＲＯＩ（Region of Interest）がルールに設定される場合がある。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平９－０４４７５８号公報
【文献】特開２０１９－０９６００６号公報
【文献】特開２０１２－０５９２７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記のＲＯＩの設定は、行動認識技術を用いたシステムやサービスを提供する事業者やその利用者による手動設定に委ねられる側面がある。さらに、映像ごとに被写体に対するカメラの撮影角度が共通するとは限らないので、同一の行動を認識するために用いるＲＯＩの設定であっても異なるカメラにより撮像される映像に適用することは困難である側面もある。これらの側面からＲＯＩの設定が非効率である一面がある。
【0005】
１つの側面では、本発明は、ＲＯＩの設定の効率化を実現できる設定方法、設定プログラム及び設定装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
一態様の設定方法では、映像を取得し、前記映像に含まれる第１のオブジェクトに対する骨格検出で得られる骨格情報の時系列データを用いて、骨格部位の位置をマッピングしたマップを前記骨格部位ごとに生成し、前記骨格部位ごとに生成されたマップに含まれる第２のオブジェクトの周囲でマッピングが観測される頻度に基づいて、前記第１のオブジェクトと空間との関係性を示す空間状態の認識に用いるＲＯＩを設定する、処理をコンピュータが実行する。
【発明の効果】
【0007】
ＲＯＩの設定の効率化を実現できる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下に添付図面を参照して本願に係る設定方法、設定プログラム及び設定装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例1】
【0010】
［行動認識サービスの一例］
図１は、実施例１に係る行動認識サービスの一例を示す図である。図１に示す行動認識サービス１は、カメラ２の映像から被写体、例えば人の行動を認識するサービスを提供するものである。このような行動認識サービス１では、あくまで一例として、複数の動作が組み合わさることで複雑化する上位行動が認識対象とされる。例えば、上位行動の例として、作業行動や不審行動、購買行動などの他、任意の行動であってよい。
図１は、実施例１に係る行動認識サービスの一例を示す図である。図１に示す行動認識サービス１は、カメラ２の映像から被写体、例えば人の行動を認識するサービスを提供するものである。このような行動認識サービス１では、あくまで一例として、複数の動作が組み合わさることで複雑化する上位行動が認識対象とされる。例えば、上位行動の例として、作業行動や不審行動、購買行動などの他、任意の行動であってよい。
【0011】
上記の行動認識サービス１を除けば、「上位行動」の認識には、その行動が含まれる映像などを学習データとして大量に準備する必要がある。このような大量の学習データの準備は実質的に困難であったり、あるいは大量の学習データの準備ができたとしても時間と手間がかかったりといった一面があるので、現場への導入が困難である側面がある。
【0012】
このような大量の学習データの準備を不要化する側面から、上記の行動認識サービス１は、日常の生活で行われる「基本動作」から後述する空間分析や時系列分析により認識される「要素行動」の組合せに基づいて上位行動を認識する。
【0013】
図１に示すように、行動認識サービス１には、オブジェクト認識機能３、基本動作認識機能４、空間状態認識機能５、上位行動認識機能６などが含まれ得る。
【0014】
オブジェクト認識機能３は、カメラ２により撮像される映像からオブジェクトを認識する機能である。ここで言う「オブジェクト」とは、行動認識の対象とする映像の被写体を指し、例えば、行動認識の対象とする人が含まれ得る。オブジェクトには、人以外にも、行動認識に関連する物体、例えば人が使用する道具や環境に配置される備品、商品あるいは設備なども含まれてもよい。
【0015】
一実施形態として、オブジェクト認識機能３は、映像のフレームごとにオブジェクトを認識する。ここで言う「認識」は、オブジェクトの個体またはクラスの認識の他、オブジェクトが存在する領域の認識、いわゆる物体検出が含まれてよい。このようなオブジェクト認識は、あくまで一例として、任意の機械学習のアルゴリズム、例えばディープラーニングなどにしたがってオブジェクトが訓練済みである機械学習モデル、例えばＣＮＮ（Convolutional Neural Network）により実現され得る。その上で、オブジェクト認識機能３は、オブジェクトのうち人を対象に骨格検出、あるいは姿勢検出（姿勢推定）とも呼ばれる処理を適用することにより、骨格部位、例えば各関節の位置を含む骨格情報を抽出する。なお、各関節の座標は、２次元の座標であってもよいし、３次元の座標であってもよい。
【0016】
基本動作認識機能４は、各フレームの骨格情報から基本動作を認識する機能である。ここで言う「基本動作」には、人の全身に動きが現れる「全身行動」や人の身体の一部に動きが現れる「部分行動」などが含まれ得る。このうち、「全身行動」の例として、「歩く」や「走る」、「止まっている」などの行動が挙げられる。また、「部分行動」の例として、「右手を上げる」や「下を向く」、「前を向く」などの行動が挙げられる。これら「全身行動」や「部分行動」は、日常で行われる「基本動作」であるので、「上位行動」に比べれば単純な動作である。それ故、「基本動作」はその映像の収集が容易であると共に、訓練済みの機械学習モデルにより高精度な認識を実現し得る。あくまで一例として、基本動作の認識は、任意の機械学習のアルゴリズムにしたがって基本動作の認識が訓練済みである機械学習モデル、例えばニューラルネットワークや分類器などのモデルにより実現され得る。
【0017】
空間状態認識機能５は、オブジェクト認識により得られた人と当該人の周囲の空間との関係性を示す空間状態を認識する。ここで言う「空間」とは、あくまで一例として、関心領域、あるいは興味関心領域とも呼ばれるＲＯＩ（Region of Interest）により定義され得る。例えば、空間状態認識機能５は、人および空間の間の領域内外判定や人および空間の間の距離の閾値判定などの空間分析を実行する。
【0018】
１つの側面として、空間状態認識機能５は、人および空間の間の領域内外判定により空間状態を認識することができる。例えば、ＲＯＩの例として、オブジェクト認識により得られるキーボードの領域、あるいはキーボードの領域を含む周辺の領域にＲＯＩが設定される例を挙げる。この場合、空間状態認識機能５は、人の３Ｄ骨格座標がモデル化されたスケルトンに含まれる関節のうち左手首の位置がＲＯＩに含まれるか否かを判定する。この結果、左手首の位置がＲＯＩに含まれる場合、空間状態「キーボード操作」が認識される。
【0019】
他の側面として、空間状態認識機能５は、人および空間の間の距離の閾値判定により空間状態を認識することができる。例えば、ＲＯＩの例として、オブジェクト認識により得られる椅子の領域、あるいは椅子の領域を含む周辺の領域にＲＯＩが設定される例を挙げる。この場合、空間状態認識機能５は、人の３Ｄの骨格座標がモデル化されたスケルトンに含まれる関節のうち右腰の位置および左腰の位置から算出された腰の中央位置と、ＲＯＩの重心位置との距離が閾値以下であるか否かを判定する。この結果、腰の中央位置とＲＯＩの重心位置との距離が閾値以下である場合、空間状態「椅子に座る」が認識される。
【0020】
上位行動認識機能６は、上位行動を認識する機能である。図１に示すように、上位行動認識機能６には、要素行動認識機能６Ａやシナリオ認識機能６Ｂなどが含まれ得る。
【0021】
要素行動認識機能６Ａは、基本動作の認識結果、および／または、空間状態の認識結果の時系列分析を行うことにより、要素行動を認識する機能である。例えば、要素行動認識機能６Ａは、１又は複数の基本動作に関する認識結果の時系列データ、および／または、空間状態の時系列データを要素行動認識ルール７Ａと照合する。要素行動認識ルール７Ａには、認識対象とする要素行動ごとに、１又は複数の基本動作に関する時系列パターンおよび空間状態のうち少なくともいずれか１つまたは両方が定義される。例えば、時系列パターンの例として、基本動作および／または空間状態の継続性や基本動作および／または空間状態の状態遷移などが挙げられる。
【0022】
シナリオ認識機能６Ｂは、要素行動の認識結果をシナリオ認識ルール７Ｂと照合することにより、上位行動を認識する機能である。シナリオ認識ルール７Ｂには、認識対象とする上位行動ごとに要素行動の組合せがシナリオとして定義される。このようなシナリオは、順序や論理演算などにより定義され得る。
【0023】
これら要素行動認識ルール７Ａおよびシナリオ認識ルール７Ｂは、システム定義のみならず、ユーザ定義により設定させることができる。例えば、上記の行動認識サービス１を提供する事業者側のシステムエンジニアや上記の行動認識サービス１の顧客などのユーザＵに要素行動認識ルール７Ａおよびシナリオ認識ルール７Ｂを編集させることにより、ユーザＵによるカスタマイズが可能である。
【0024】
図２は、上位行動の認識方法の一例を示す模式図である。図２には、あくまで一例として、全身と、右腕、顔および腰の各部位とに関する基本動作認識結果の時系列データが示されている。さらに、図２には、あくまで一例として、基本動作認識結果のラベルに対応する基本動作ＩＤ（IDentification）が時系列にプロットされた例が示されている。さらに、図２には、全身および部位ごとにプロットされた基本動作認識結果の時系列データのうち、要素行動認識ルール７Ａに定義された基本動作の時系列パターンを満たす部分がハッチングで示されている。
【0025】
図２に示す例で言えば、時刻ｔ１～時刻ｔ３における全身、右腕および顔の基本動作認識結果の時系列データが、要素行動認識ルール７Ａに要素行動「Ｂ」の認識ルールとして定義された全身、右腕および顔の基本動作に関する時系列パターンを満たす。これによって、要素行動認識機能６Ａが時刻ｔ３で要素行動「Ｂ」を認識する。さらに、時刻ｔ３～時刻ｔ７における右腕の基本動作認識結果の時系列データが、要素行動認識ルール７Ａに要素行動「Ａ」の認識ルールとして定義された右腕の基本動作に関する時系列パターンを満たす。これによって、要素行動認識機能６Ａが時刻ｔ７で要素行動「Ａ」を認識する。さらに、時刻ｔ５～時刻ｔ９における腰の基本動作認識結果の時系列データが、要素行動認識ルール７Ａに要素行動「Ｐ」の認識ルールとして定義された腰の基本動作に関する時系列パターンを満たす。これによって、要素行動認識機能６Ａが時刻ｔ９で要素行動「Ｐ」を認識する。さらに、時刻ｔ６～時刻ｔ１０における全身および右腕の基本動作認識結果の時系列データが、要素行動認識ルール７Ａに要素行動「Ｊ」の認識ルールとして定義された全身および右腕の基本動作に関する時系列パターンを満たす。これによって、要素行動認識機能６Ａが時刻ｔ１０で要素行動「Ｊ」を認識する。これら４つの要素行動の組合せ「Ａ」、「Ｂ」、「Ｊ」および「Ｐ」が認識された順序と、シナリオ認識ルール７Ｂに上位行動「Ｘ」の認識ルールとして定義されたシナリオ順序「Ｂ」、「Ａ」、「Ｐ」、「Ｊ」とが一致する。したがって、シナリオ認識機能６Ｂが時刻ｔ１０で上位行動「Ｘ」を認識する。
【0026】
なお、図２では、基本動作認識結果の時系列データと、要素行動認識ルール７Ａに定義された基本動作の時系列パターンとが照合される例を挙げたが、これに限定されない。例えば、図２に例示された照合に加えて、要素行動認識ルール７Ａに定義された空間状態が空間状態認識機能５により認識されたか否かをさらに要件に加えて要素行動が認識されることとしてもよい。また、基本動作認識結果の時系列データと、要素行動認識ルール７Ａに定義された基本動作の時系列パターンとの照合は必ずしも行われずともよく、要素行動認識ルール７Ａに定義された空間状態が空間状態認識機能５により認識されたか否かだけを要件として要素行動が認識されることとしてもよい。
【0027】
［課題の一側面］
課題の一側面として、上記の背景技術の欄でも説明した通り、ＲＯＩの設定の効率面に課題がある。
課題の一側面として、上記の背景技術の欄でも説明した通り、ＲＯＩの設定の効率面に課題がある。
【0028】
例えば、ＲＯＩの設定は、行動認識サービス１を提供する事業者側のシステムエンジニアや上記の行動認識サービス１の顧客などのユーザＵによる手動設定に委ねられる。さらに、カメラごとに被写体に対するカメラの撮影角度、いわゆるカメラアングルが異なるので、１つのカメラにより撮像される映像に設定されたＲＯＩを共通の要素行動や上位行動が認識対象とされる映像に流用するのは困難である。このため、カメラアングルごとに映像上にＲＯＩの手動設定、例えばＧＵＩ（Graphical User Interface）を介するＲＯＩの描画操作などが必要となる。それ故、１つのＲＯＩの手動設定にも手間が掛かる上、ＲＯＩの設定対象とする映像の数が増加するに従って手動設定の回数も増加するので、非効率である。
【0029】
加えて、ＲＯＩの設定時には、ＲＯＩと比較する骨格の部位、例えば関節も併せて指定しなければ空間状態の認識が機能しない場合がある。なぜなら、カメラアングルごとにＲＯＩと比較する部位の指定を変えなければ、空間状態の認識漏れが発生し得るからである。例えば、ＲＯＩと比較する部位が固定される場合、カメラの光学中心からオブジェクト、例えば人体までの間に存在する障害物などがオクルージョンの一因となって発生する部位の検出漏れに伴って空間状態の認識漏れが発生し得る。このように、カメラアングルごとにＲＯＩと比較する部位を指定する手間も相まってＲＯＩの設定の効率性が低下する。
【0030】
このような効率性が低下は、既存システムの拡張性を低下させるので、上記の行動認識サービス１の導入を妨げるモチベーションの１つとなり得る。例えば、既存システム、例えばモニタリングシステムやインターホンシステムなどが有するカメラの台数が多いほどＲＯＩの設定の手間が増大する。これが妨げとなって、既存システムのカメラを活用できるという行動認識サービス１の長所を活かし切れない。
【0031】
そうであるからと言って、ＲＯＩの自動設定を実現するには、次のような課題がある。例えば、ＲＯＩを設定する位置は映像に含まれるオブジェクトのうち物体の位置に関連性があるという着眼点の下、物体の周囲にＲＯＩを自動設定する進展技術を例に挙げる。この進展技術は公知である特許文献や非特許文献等に記載がある従来技術とは区別される。
【0032】
１つの側面として、上記の進展技術には、空間状態、ひいては要素行動や上位行動の認識に寄与しないＲＯＩが設定されるという一面がある。例えば、ＡＴＭ（Automatic Teller Machine）の利用という上位行動を認識する側面からＡＴＭにＲＯＩが設定される利用シーンを例に挙げる。この場合、上記の進展技術では、たとえＡＴＭの周囲にＲＯＩが設定されたとしても、タッチパネル等の操作部が設置されていない部分、例えばＡＴＭの側面や背面などにＲＯＩが設定される場合がある。このようなＲＯＩにおける人の存在が検知されたとしても、ＡＴＭを操作する行動との関連性が低い。このため、上記の進展技術により設定されるＲＯＩでは、誤認識および認識漏れが発生するので、実用性に耐えられない側面がある。
【0033】
他の側面として、上記の進展技術は、あくまでＲＯＩを設定するものに過ぎない。このため、たとえＲＯＩの位置が適切に設定されたとしても、オクルージョンが発生する部位はカメラアングルに応じて変わる。それ故、上記の進展技術には、ＲＯＩと比較する骨格の部位まで適切に設定することは困難である一面がある。
【0034】
［課題解決アプローチの一側面］
そこで、本実施例では、ＲＯＩの自動設定を実現する側面から、映像の各フレームから検出される骨格部位の位置をマッピングして部位ごとに生成されたヒートマップ上の物体周囲でマッピングが観測される頻度に基づいてＲＯＩを設定する設定機能を提供する。
そこで、本実施例では、ＲＯＩの自動設定を実現する側面から、映像の各フレームから検出される骨格部位の位置をマッピングして部位ごとに生成されたヒートマップ上の物体周囲でマッピングが観測される頻度に基づいてＲＯＩを設定する設定機能を提供する。
【0035】
このようにＲＯＩの自動設定が行われる場合、ユーザ指定の一例として、ＲＯＩの設定対象とするオブジェクトの指定を受け付けることができる。あくまで一例として、ＡＴＭの利用に関する行動認識が行われる利用シーンの下で空間分析に用いるＲＯＩが設定される場合、映像から物体検出で得られる物体のうちＲＯＩの設定対象とするＡＴＭの指定を受け付けることができる。この際、オブジェクトの指定は、物体検出の結果として映像中にオブジェクトごとに表示されたバウンディングボックスの中から選択を受け付けたり、あるいはオブジェクトのクラス名がリスト化されたリストの中から選択を受け付けたりすることができる。さらに、タッチパネル等の操作部が設置されている部分に対する空間状態を認識する側面から、「前」、「後」、「左」、「右」、「上」あるいは「下」などのＡＴＭに対するＲＯＩの相対位置の指定を受け付けることもできる。
【0036】
図３は、利用シーンの一例を示す図である。図３には、あくまで一例として、ＡＴＭの利用に関する行動認識が行われる利用シーンの下で行われる空間分析、時系列分析およびシナリオ分析のユーザ定義が示されている。図３に示す例では、ＡＴＭの前に足が入っているか否かを判定する空間分析により空間状態「ＡＴＭ前のＲＯＩに足が入っている」が行われることが定義されている。つまり、本例では、ＡＴＭがＲＯＩの設定対象として指定されると共にＡＴＭに対するＲＯＩの相対位置として「前」が指定されていることを意味する。さらに、ＡＴＭの前部に足が入っているという空間状態が特定の時間条件を満たすか否か、例えば一定時間以上、あるいは特定のフレーム数以上継続するか否かを判定する時系列分析が行われることが定義されている。その上で、ＡＴＭの前部に足が入っているという空間状態が特定の時間条件を満たすという要素行動を含むシナリオ「ＡＴＭの前に立つ」と一致する要素行動が発生したか否かを判定するシナリオ分析が行われることが定義されている。
【0037】
このようなユーザ指定の下、本実施例に係る設定機能では、行動認識の対象とする行動シーン、例えばＡＴＭが利用されるシーンが撮影された映像のサンプルを用いて、上記のヒートマップが生成される。以下、カメラ２により撮像される映像の中でも上記のヒートマップの生成に用いるサンプルのことを「サンプル映像」と記載する場合がある。
【0038】
ここで、サンプル映像は、必ずしも１つに限定されず、複数であってよい。あくまで一例として、上記のヒートマップの生成には、同一のカメラ２により撮影されたサンプル映像を用いることができる。この際、必ずしも同一のカメラ２により撮影されたサンプル映像に限定されない。例えば、カメラ２と異なるカメラであってもカメラ間で被写体を撮影する構図が共通する場合、行動認識に相応しいＲＯＩも共通する可能性が高まる。このことから、同一のカメラアングルで撮影されたサンプル映像をヒートマップの生成に用いることもできる。
【0039】
このようなサンプル映像を用いて、本実施例に係る設定機能は、サンプル映像ごとに行動認識の対象とする行動シーンを抽出する。あくまで一例として、サンプル映像のうち、上記のオブジェクト認識により人がオブジェクトとして認識される区間の映像を行動シーンとして抽出することができる。
【0040】
続いて、本実施例に係る設定機能は、上記の行動シーンに対する骨格検出で得られる骨格情報の時系列データを用いて、骨格部位、例えば関節の位置をマッピングする。この際、骨格部位の位置は、骨格部位ごとに区別してマッピングされる。あくまで一例として、頭部と左右の手首、肘、肩、腰、膝および足首との１３個の関節により骨格が表現される場合、マッピングにより１３個分のヒートマップが得られる。さらに、マッピングは、ヒートマップの生成に用いるサンプル映像の数に対応する回数の分、繰り返すことができる。
【0041】
そして、本実施例に係る設定機能は、ヒートマップごとに当該ヒートマップが複数に分割された領域のマッピング回数を集計する。これにより、領域ごとにマッピング回数が集計されたヒートマップが得られる。
【0042】
その上で、本実施例に係る設定機能は、各骨格部位のヒートマップに含まれる領域のうちＲＯＩの設定対象としてユーザ指定が行われたオブジェクトおよびその周囲に対応する領域のマッピング回数に基づいてＲＯＩを設定する。
【0043】
［ＲＯＩ設定の一例］
図４は、サンプル映像の一例を示す模式図である。図４には、あくまで一例として、ＡＴＭの前に人が立つ様子が撮影されたサンプル映像２１が示されている。さらに、図４には、サンプル映像２１に対する物体検出の結果として得られたオブジェクトＯｂｊ１及びＯｂｊ２がバウンディングボックスで示されている。
図４は、サンプル映像の一例を示す模式図である。図４には、あくまで一例として、ＡＴＭの前に人が立つ様子が撮影されたサンプル映像２１が示されている。さらに、図４には、サンプル映像２１に対する物体検出の結果として得られたオブジェクトＯｂｊ１及びＯｂｊ２がバウンディングボックスで示されている。
【0044】
図４に示すように、サンプル映像２１からは、人のオブジェクトＯｂｊ１及びＡＴＭのＯｂｊ２の２つのオブジェクトが物体検出で得られる。このような物体検出の結果が表示されたサンプル映像２１上でＡＴＭのＯｂｊ２のバウンディングボックスをＲＯＩの設定対象とするオブジェクトとして選択することができる。この他、物体検出の結果としてオブジェクトＯｂｊ１及びＯｂｊ２がリスト形式で表示されたリストからオブジェクトＯｂｊ２をＲＯＩの設定対象とするオブジェクトとして選択することもできる。なお、図４には、人のオブジェクトＯｂｊ１を含むサンプル映像２１を例示したが、ユーザ指定時には人が必ずしも含まれずともよいので、ユーザ指定には人のオブジェクトＯｂｊ１が含まれないサンプル映像を用いてもよい。
【0045】
図５は、ヒートマップの一例を示す図である。図５には、図４に示すサンプル映像２１の行動シーンに対する骨格検出で得られる骨格情報の時系列データのうち、右足首および左足首の２つの骨格部位の中点の位置がサンプル映像２１上にマッピングされたヒートマップ４１が示される。さらに、図５には、ヒートマップ４１がメッシュに分割されることにより得られたグリッドごとに右足首および左足首の中点がマッピングされたマッピング回数がプロットされている。さらに、図５には、ヒートマップ４１のうちＡＴＭに対するＲＯＩの相対位置としてユーザ指定が行われたＡＴＭの前方に対応するグリッドに絞り込んでマッピング回数の表示が行われている。なお、図５には、左右の手首、肘、肩、腰、膝および足首などの骨格部位が白丸で示されると共に、右足首および左足首の中点の位置がハッチング付きの楕円で示されている。
【0046】
図６は、ヒートマップの一例を示す図である。図６には、図４に示すサンプル映像２１の行動シーンに対する骨格検出で得られる骨格情報の時系列データのうち、右腰および左腰の２つの骨格部位の中点の位置がマッピングされたヒートマップ４２が示されている。さらに、図６には、ヒートマップ４２がメッシュに分割されることにより得られたグリッドごとに右腰および左腰の中点がマッピングされたマッピング回数がプロットされている。さらに、図６には、ヒートマップ４２のうちＡＴＭに対するＲＯＩの相対位置としてユーザ指定が行われたＡＴＭの前方に対応するグリッドに絞り込んでマッピング回数の表示が行われている。なお、図６には、左右の手首、肘、肩、腰、膝および足首などの骨格部位が白丸で示されると共に、右腰および左腰の中点の位置がハッチング付きの楕円で示されている。
【0047】
あくまで一例として、図５に示すヒートマップ４１及び図６に示すヒートマップ４２の２つのヒートマップに基づいてＲＯＩが設定される例を挙げる。この場合、ヒートマップ４１及びヒートマップ４２の間でＡＴＭに対するＲＯＩの相対位置としてユーザ指定が行われたＡＴＭの前方に対応するグリッドのうち最高値のマッピング回数が観測されるグリットが選択される。すなわち、図５に示すヒートマップ４１のうちマッピング回数「８０」が観測されるグリッドが選択された上で当該グリッドの位置および大きさがＲＯＩとして設定される。加えて、最高値のマッピング回数が観測されるグリットを有するヒートマップ４１に対応する骨格部位「右足首および左足首の中点」がＲＯＩと比較する骨格部位として設定される。
【0048】
このように、図４～図６に示すＲＯＩ設定例では、ＡＴＭを操作する行動との関連性が高い領域、例えばＡＴＭの前面などにＲＯＩを設定できる。さらに、図４～図６に示すＲＯＩ設定例では、行動時に骨格検出で検出され易い骨格部位をＲＯＩと比較する部位として設定できると共に、当該骨格部位が検出され易い領域にＲＯＩを設定できる。よって、図４～図６に示すＲＯＩ設定例によれば、空間状態、ひいては要素行動や上位行動の認識に寄与するＲＯＩを設定できる。
【0049】
［ＲＯＩ設定の他の一例］
図７は、サンプル映像の一例を示す模式図である。図７には、あくまで一例として、ＡＴＭの前に人が立つ様子が撮影されたサンプル映像２２が示されている。さらに、図７には、サンプル映像２２に対する物体検出の結果として得られたオブジェクトＯｂｊ３及びＯｂｊ４がバウンディングボックスで示されている。
図７は、サンプル映像の一例を示す模式図である。図７には、あくまで一例として、ＡＴＭの前に人が立つ様子が撮影されたサンプル映像２２が示されている。さらに、図７には、サンプル映像２２に対する物体検出の結果として得られたオブジェクトＯｂｊ３及びＯｂｊ４がバウンディングボックスで示されている。
【0050】
図７に示すように、サンプル映像２２からは、人のオブジェクトＯｂｊ３及びＡＴＭのＯｂｊ４の２つのオブジェクトが物体検出で得られる。このような物体検出の結果が表示されたサンプル映像２２上でＡＴＭのＯｂｊ４のバウンディングボックスをＲＯＩの設定対象とするオブジェクトとして選択することができる。この他、物体検出の結果としてオブジェクトＯｂｊ３及びＯｂｊ４がリスト形式で表示されたリストからオブジェクトＯｂｊ２をＲＯＩの設定対象とするオブジェクトとして選択することもできる。なお、図７には、人のオブジェクトＯｂｊ３を含むサンプル映像２２を例示したが、ユーザ指定時には人が必ずしも含まれずともよいので、ユーザ指定には人のオブジェクトＯｂｊ３が含まれないフレームのサンプル映像を用いてもよい。
【0051】
図８は、ヒートマップの一例を示す図である。図８には、図７に示すサンプル映像２２の行動シーンに対する骨格検出で得られる骨格情報の時系列データのうち、右足首および左足首の２つの骨格部位の中点の位置がサンプル映像２２上にマッピングされたヒートマップ４３が示される。さらに、図８には、ヒートマップ４３がメッシュに分割されることにより得られたグリッドごとに右足首および左足首の中点がマッピングされたマッピング回数がプロットされている。さらに、図８には、ヒートマップ４３のうちＡＴＭに対するＲＯＩの相対位置としてユーザ指定が行われたＡＴＭの前方に対応するグリッドに絞り込んでマッピング回数の表示が行われている。なお、図８には、左右の手首、肘、肩、腰、膝および足首などの骨格部位が白丸で示されると共に、右足首および左足首の中点の位置がハッチング付きの楕円で示されている。
【0052】
図９は、ヒートマップの一例を示す図である。図９には、図７に示すサンプル映像２２の行動シーンに対する骨格検出で得られる骨格情報の時系列データのうち、右腰および左腰の２つの骨格部位の中点の位置がマッピングされたヒートマップ４４が示されている。さらに、図９には、ヒートマップ４４がメッシュに分割されることにより得られたグリッドごとに右腰および左腰の中点がマッピングされたマッピング回数がプロットされている。さらに、図９には、ヒートマップ４４のうちＡＴＭに対するＲＯＩの相対位置としてユーザ指定が行われたＡＴＭの前方に対応するグリッドに絞り込んでマッピング回数の表示が行われている。なお、図９には、左右の手首、肘、肩、腰、膝および足首などの骨格部位が白丸で示されると共に、右腰および左腰の中点の位置がハッチング付きの楕円で示されている。
【0053】
他の一例として、図８に示すヒートマップ４３及び図９に示すヒートマップ４４の２つのヒートマップに基づいてＲＯＩが設定される例を挙げる。この場合にも、ヒートマップ４３及びヒートマップ４４の間でＡＴＭに対するＲＯＩの相対位置としてユーザ指定が行われたＡＴＭの前方に対応するグリッドのうち最高値のマッピング回数が観測されるグリットが選択される。すなわち、図９に示すヒートマップ４４のうちマッピング回数「６０」が観測されるグリッドが選択された上で当該グリッドの位置および大きさがＲＯＩとして設定される。加えて、最高値のマッピング回数が観測されるグリッドを有するヒートマップ４４に対応する骨格部位「右腰および左腰の中点」がＲＯＩと比較する骨格部位として設定される。
【0054】
このように、図７～図９に示すＲＯＩ設定例によれば、図４～図６に示すＲＯＩ設定例と同様に、ＡＴＭを操作する行動との関連性が高い領域、例えばＡＴＭの前面などにＲＯＩを設定できる。さらに、図７～図９に示すＲＯＩ設定例によれば、カメラの光学中心から行動認識の対象とする人のオブジェクトまでの間に存在する壁が障害物となって骨格部位のうち足首にオクルージョンが発生する。このような足首のオクルージョンが発生する状況下でも、足首の代わりに腰部をＲＯＩと比較する部位として設定できると共に、当該骨格部位が検出され易い領域にＲＯＩを設定できる。よって、図７～図９に示すＲＯＩ設定例においても、空間状態、ひいては要素行動や上位行動の認識に寄与するＲＯＩを設定できる。
【0055】
以上のように、本実施例に係る設定機能では、空間状態の認識に寄与するＲＯＩの自動設定を実現できる。したがって、本実施例に係る設定機能によれば、ＲＯＩの設定の効率化を実現できる。さらに、ＲＯＩの設定の効率化が実現されることで、上記の行動認識サービス１を導入するモチベーションを高めることができる。
【0056】
［設定装置の構成］
次に、上記の設定機能を有する設定装置１０の機能的構成について説明する。図１０は、実施例１に係る設定装置１０の機能構成例を示す図である。図１０には、設定装置１０が有する機能に対応するブロックが模式化されている。
次に、上記の設定機能を有する設定装置１０の機能的構成について説明する。図１０は、実施例１に係る設定装置１０の機能構成例を示す図である。図１０には、設定装置１０が有する機能に対応するブロックが模式化されている。
【0057】
図１０に示す設定装置１０は、パッケージソフトウェア又はオンラインソフトウェアとして、上記の設定機能に対応する設定プログラムを任意のコンピュータにインストールさせることによって実装できる。例えば、設定装置１０は、ＳａａＳ（Software as a Service）型のアプリケーションとして実装することで、上記の設定機能をクラウドサービスとして提供することとしてもかまわない。これに限定されず、設定装置１０は、上記の設定機能をオンプレミスに提供するサーバとして実装することができる。
【0058】
図１０に示すように、設定装置１０は、受付部１１と、映像取得部１２と、オブジェクト認識部１３と、ヒートマップ生成部１４と、ＲＯＩ設定部１５と、ＲＯＩ情報記憶部１６とを有する。なお、設定装置１０は、図１０に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば入出力インタフェイスや通信インタフェイスなどに対応する機能が含まれてもかまわない。
【0059】
図１０に示す受付部１１、映像取得部１２、オブジェクト認識部１３、ヒートマップ生成部１４及びＲＯＩ設定部１５などの機能部は、ハードウェアプロセッサにより仮想的に実現される。例えば、ハードウェアプロセッサには、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-Purpose computing on GPU）などが挙げられる。プロセッサは、図示しない記憶装置、例えばＨＤＤ（Hard Disk Drive）、光ディスクやＳＳＤ（Solid State Drive）などからＯＳ（Operating System）の他、上記の設定プログラムなどのプログラムを読み出す。その上で、プロセッサは、上記の設定プログラムを実行することにより、ＲＡＭ（Random Access Memory）等のメモリ上に上記の機能部に対応するプロセスを展開する。このように、上記の設定プログラムが実行される結果、上記の機能部がプロセスとして仮想的に実現される。ここでは、プロセッサの一例として、ＣＰＵやＭＰＵを例示したが、汎用型および特化型を問わず、任意のプロセッサにより上記の機能部が実現されることとしてもかまわない。この他、上記の機能部または機能部の一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによって実現されることとしてもかまわない。
【0060】
上記のＲＯＩ情報記憶部１６などの記憶部は、ＨＤＤや光ディスク、ＳＳＤなどの補助記憶装置として実現したり、補助記憶装置が有する記憶領域の一部を割り当てることにより実現したりすることができる。
【0061】
受付部１１は、各種の情報を受け付ける処理部である。あくまで一例として、受付部１１は、図示しない端末装置などを介して各種の情報を受け付けることができる。例えば、受付部１１は、ＲＯＩ設定のリクエストを受け付ける。
【0062】
このようにＲＯＩ設定のリクエストを受け付ける際、受付部１１は、ＲＯＩの設定に用いるサンプル映像の指定を受け付けることができる。例えば、受付部１１は、カメラ２ごとに行動認識の対象とする行動シーンが撮影されたサンプル映像またはサンプル映像群のリスト上でＲＯＩの設定に用いるサンプル映像またはサンプル映像群の指定を受け付けることができる。
【0063】
この他、受付部１１は、ＲＯＩの設定対象とするオブジェクトの指定を受け付けることができる。あくまで一例として、受付部１１は、ＲＯＩの設定に用いる指定を受け付けたサンプル映像上でＲＯＩの設定対象とするオブジェクトの範囲指定を受け付ける。例えば、オブジェクトの範囲指定は、ドラッグ＆ドロップなどの操作入力、矩形や楕円などの図形を定義する点、例えば頂点や重心、中心などの座標入力、あるいは領域のシルエットの描画入力により実現することができる。なお、ＲＯＩの設定対象とするオブジェクトの指定は、範囲指定に限らず、物体検出で用いられるオブジェクトのクラス名の入力を受け付けることとしてもよい。
【0064】
さらに、ＲＯＩの設定対象とするオブジェクトの指定を受け付ける際、受付部１１は、図４や図７を用いて例示した通り、サンプル映像に対する物体検出の結果を用いることができる。例えば、受付部１１は、物体検出の結果としてサンプル映像中にオブジェクトごとに表示されたバウンディングボックスの中から選択を受け付けたり、あるいはオブジェクトのクラス名がリスト化されたリストの中から選択を受け付けたりすることができる。
【0065】
さらに、受付部１１は、図４や図７を用いて例示した通り、ＲＯＩの相対位置の指定を受け付けることもできる。例えば、受付部１１は、「前」、「後」、「左」、「右」、「上」あるいは「下」などの方向の指定を受け付けることができる。なお、ここで言う方向は、カメラ２の視点を基準としてもよいし、指定のオブジェクトを基準としてもよい。
【0066】
映像取得部１２は、サンプル映像を取得する処理部である。ここで、映像取得部１２は、ＲＯＩの設定対象とするカメラ１つにつき少なくとも１つのサンプル映像を取得することができるが、２つ以上のサンプル映像群を取得することもできる。あくまで一例として、映像取得部１２は、映像を蓄積するストレージ、例えばハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal Serial Bus）メモリなどのリムーバブルメディアからサンプル映像を取得することができる。この他、映像取得部１２は、図示しない外部装置からネットワークＮＷを介してサンプル映像を取得することもできる。
【0067】
オブジェクト認識部１３は、サンプル映像からオブジェクトを認識する処理部である。オブジェクト認識部１３は、図１に示すオブジェクト認識機能３に対応し得る。あくまで一例として、オブジェクト認識部１３は、映像取得部１２により取得されたサンプル映像ごとに次のようなオブジェクト認識を実行する。すなわち、オブジェクト認識部１３は、サンプル映像のフレームごとにオブジェクトを認識する。上述の通り、ここで言う「認識」は、オブジェクトの個体またはクラスの認識の他、オブジェクトが存在する領域の認識、いわゆる物体検出が含まれてよい。このようなオブジェクト認識は、あくまで一例として、任意の機械学習のアルゴリズム、例えばディープラーニングなどにしたがってオブジェクトが訓練済みである機械学習モデル、例えばＣＮＮにより実現され得る。その上で、オブジェクト認識部１３は、オブジェクトのうち人を対象に骨格検出、あるいは姿勢検出（姿勢推定）とも呼ばれる処理を適用することにより、骨格部位、例えば各関節の位置を含む骨格情報を抽出する。
【0068】
ヒートマップ生成部１４は、ヒートマップを生成する処理部である。あくまで一例として、ヒートマップ生成部１４は、映像取得部１２により取得されるＫ個のサンプル映像ごとに行動認識の対象とする行動シーンを抽出する。例えば、サンプル映像のうち、上記のオブジェクト認識により人がオブジェクトとして認識される区間の映像を行動シーンとして抽出することができる。この際、必ずしもオブジェクト認識部１３によるオブジェクト認識の結果が用いられずともよい。例えば、テンプレートマッチング、ブロックマッチング、背景差分、あるいはオプティカルフローなどのアルゴリズムにしたがってフレーム間で変化が現れる区間の映像を行動シーンとして抽出することもできる。
【0069】
上記の行動シーンの抽出後、ヒートマップ生成部１４は、当該行動シーンの区間に対する骨格検出で得られる骨格情報の時系列データを用いて、骨格部位、例えば関節の位置をマッピングする。例えば、ヒートマップ生成部１４は、ヒートマップの生成対象とする単位、例えば骨格部位ごとに骨格部位の位置を区別してマッピングすることができる。この際、ヒートマップ生成部１４は、左右の肩や左右の腰、左右の足首などの複数の骨格部位の中点の位置をマッピングすることにより複数の骨格部位を１つに纏めてマッピングすることもできる。このようにマッピングが実行される際、ヒートマップ生成部１４は、ヒートマップが複数に分割された領域ごとに当該領域にマッピングが行われたマッピング回数を集計する。さらに、ヒートマップ生成部１４は、領域単位で集計されるマッピング回数の集計値を映像取得部１２により取得されるＫ個のサンプル映像ごとに累積して加算する。
【0070】
あくまで一例として、ヒートマップ生成部１４は、サンプル映像の任意のフレームがメッシュに分割されることにより得られたグリッドごとに当該グリッドにマッピングが行われたマッピング回数を集計することができる。ここで、ヒートマップのメッシュ化に用いる格子の数やサイズは、任意の値を設定することができる。例えば、カメラ２ごとにカメラ２から被写体とするオブジェクトまでの距離が異なるので、映像に現れるオブジェクトのサイズも異なる。このことから、骨格検出で得られる腰および首の区間の長さに対応するピクセル数に基づいて格子の数やサイズを設定することができる。例えば、腰および首の間のピクセル数が多くなるに連れて格子の数を少なく、あるいは格子のサイズを大きく設定したり、腰および首の間のピクセル数が少なくなるに連れて格子の数を多く、あるいは格子のサイズを小さく設定したりすることができる。これにより、カメラ２ごとにオブジェクトのサイズが異なる場合でも、腰および首の区間の長さでメッシュサイズを正規化できる。
【0071】
これにより、Ｋ個のサンプル映像の分の骨格部位の所在位置がマッピングされたマッピング回数が領域ごとに累積加算されたヒートマップをヒートマップの生成対象とする単位ごとに生成することができる。
【0072】
ＲＯＩ設定部１５は、ＲＯＩを設定する処理部である。例えば、ＲＯＩ設定部１５は、各骨格部位のヒートマップに含まれる領域のうちＲＯＩの設定対象としてユーザ指定が行われたオブジェクトおよびその周囲に対応する領域のマッピング回数に基づいてＲＯＩを設定する。
【0073】
１つの側面として、ＲＯＩ設定部１５は、ヒートマップ生成部１４により生成されたヒートマップのうち、最高値のマッピング回数が観測されるグリットを有するヒートマップを選択する。
【0074】
より詳細には、ＲＯＩ設定部１５は、ヒートマップ生成部１４により生成されたヒートマップごとに、次のような処理を実行する。すなわち、ＲＯＩ設定部１５は、ＲＯＩの設定対象としてユーザ指定が行われたオブジェクトから閾値以内の距離に位置し、かつユーザ指定が行われたＲＯＩの相対位置に対応するグリッドのうちマッピング回数が最高であるグリッドを抽出する。そして、ＲＯＩ設定部１５は、ヒートマップ生成部１４により生成されたヒートマップごとに抽出されたグリッドの間でマッピング回数を比較する。このとき、ＲＯＩ設定部１５は、各グリッドのうち最高値のマッピング回数が観測されるグリッドを有するヒートマップを選択する。
【0075】
このようにヒートマップが選択されると、ＲＯＩ設定部１５は、選択中のヒートマップに含まれるグリッドのうち最高値のマッピング回数が観測されるグリッドの位置および大きさをＲＯＩとして設定する。さらに、ＲＯＩ設定部１５は、選択中のヒートマップに対応する骨格部位をＲＯＩと比較する骨格部位として設定する。このように設定が行われたＲＯＩの位置、ＲＯＩの大きさおよびＲＯＩと比較する骨格部位がＲＯＩ情報としてＲＯＩ情報記憶部１６へ保存される。
【0076】
なお、ここでは、あくまで一例として、選択中のヒートマップのうち１つのグリッドをＲＯＩとして設定する例を挙げたが、必ずしも１つのグリッドがＲＯＩとして設定されずともよく、複数のグリッドがＲＯＩとして設定されてもよい。例えば、選択中のヒートマップにマッピングされた総マッピング回数に対する割合が上位から特定の割合、例えば上位７０％までに対応するグリッドのブロブ、あるいは上位から特定の割合、例えば７０％に対応するグリッドを包含する突包をＲＯＩとして設定することができる。
【0077】
また、ここでは、マッピング回数が最高値であるグリッドを有するヒートマップを選択する例を挙げたが、必ずしもマッピング回数が最高値であるグリッドを有するヒートマップを選択せずともよい。例えば、各ヒートマップで観測されるマッピング回数の最高値を降順にソートした上で第１位のマッピング回数と、第２位のマッピング回数との差が閾値以下である場合、ヒートマップごとに骨格部位の位置がマッピングされたマッピング位置の分布から分散値を算出する。そして、ヒートマップのうちマッピング位置の分散値が最小であるヒートマップを選択することとしてもよい。この場合、選択されたヒートマップに対応する骨格部位をＲＯＩと比較する部位として設定する。その上で、選択されたヒートマップのうちマッピング位置の分布の平均に対応する位置を中心とし、総マッピング回数に対する割合が上位から特定の割合、例えば７０％までに含まれるマッピング位置を含む領域、例えば多角形や楕円形などをＲＯＩに設定できる。
【0078】
［行動認識装置の構成］
次に、上記の行動認識サービス１に対応する機能を実現する行動認識装置３０の機能的構成について説明する。図１１は、実施例１に係る行動認識装置３０の機能構成例を示す図である。図１１には、行動認識装置３０が有する機能に対応するブロックが模式化されている。
次に、上記の行動認識サービス１に対応する機能を実現する行動認識装置３０の機能的構成について説明する。図１１は、実施例１に係る行動認識装置３０の機能構成例を示す図である。図１１には、行動認識装置３０が有する機能に対応するブロックが模式化されている。
【0079】
一実施形態として、行動認識装置３０は、パッケージソフトウェア又はオンラインソフトウェアとして、上記の行動認識サービス１を実現する行動認識プログラムを任意のコンピュータにインストールさせることによって実装できる。例えば、行動認識装置３０は、ＳａａＳ型のアプリケーションとして実装することで、上記の行動認識サービス１をクラウドサービスとして提供することとしてもよい。これに限定されず、行動認識装置３０は、上記の行動認識サービス１に対応する機能をオンプレミスに提供するサーバとして実装することができる。
【0080】
さらに、行動認識装置３０には、図１１に示すように、撮像装置の一例に対応するカメラ２が接続され得る。これら行動認識装置３０及びカメラ２の間は、任意のネットワークを介して通信可能に接続され得る。例えば、ネットワークは、有線または無線を問わず、インターネットやＬＡＮ（Local Area Network）などの任意の種類の通信網であってかまわない。なお、図１や図１１には、説明の便宜上、１つの行動認識装置３０につき１つのカメラ２が接続される例を挙げたが、１つの行動認識装置３０につき複数のカメラ２が接続されることを妨げない。
【0081】
図１１に示すように、行動認識装置３０は、映像取得部３２と、オブジェクト認識部３３と、基本動作認識部３４と、空間状態認識部３５と、ＲＯＩ情報記憶部１６と、上位行動認識部３６と、第１ルール記憶部３７Ａと、第２ルール記憶部３７Ｂとを有する。なお、行動認識装置３０は、図１１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば入出力インタフェイスや通信インタフェイスなどに対応する機能が含まれてもかまわない。
【0082】
図１１に示す映像取得部３２、オブジェクト認識部３３、基本動作認識部３４と、空間状態認識部３５、ＲＯＩ情報記憶部１６及び上位行動認識部３６などの機能部は、ハードウェアプロセッサにより仮想的に実現される。例えば、ハードウェアプロセッサには、ＣＰＵやＭＰＵ、ＧＰＵやＧＰＧＰＵなどが挙げられる。すなわち、プロセッサは、図示しない記憶装置、例えばＨＤＤ、光ディスクやＳＳＤなどからＯＳの他、上記の行動認識サービス１がパッケージ化された行動認識プログラムなどのプログラムを読み出す。その上で、プロセッサは、上記の行動認識プログラムを実行することにより、ＲＡＭ等のメモリ上に上記の機能部に対応するプロセスを展開する。このように、上記の行動認識プログラムが実行される結果、上記の機能部がプロセスとして仮想的に実現される。ここでは、プロセッサの一例として、ＣＰＵやＭＰＵを例示したが、汎用型および特化型を問わず、任意のプロセッサにより上記の機能部が実現されることとしてもかまわない。この他、上記の機能部または機能部の一部は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによって実現されることとしてもかまわない。
【0083】
ＲＯＩ情報記憶部１６、第１ルール記憶部１７Ａおよび第２ルール記憶部１７Ｂなどの記憶部は、ＨＤＤや光ディスク、ＳＳＤなどの補助記憶装置として実現したり、補助記憶装置が有する記憶領域の一部を割り当てることにより実現したりすることができる。
【0084】
映像取得部３２は、映像を取得する処理部である。１つの側面として、映像取得部３２は、カメラ２から伝送される映像をフレーム単位で取得することができる。他の側面として、映像取得部３２は、カメラ２から伝送される映像を所定の記憶領域でバッファリングし、一連の映像を取得することもできる。ここで、映像取得部３２が映像を取得する情報ソースは、任意の情報ソースであってよく、カメラ２に限定されない。例えば、映像取得部３２は、映像を蓄積するストレージ、例えばハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢメモリなどのリムーバブルメディアから映像を取得することもできる。この他、映像取得部３２は、カメラ２以外の外部装置からネットワークＮＷを介して映像を取得することもできる。
【0085】
オブジェクト認識部３３は、映像からオブジェクトを認識する処理部である。オブジェクト認識部３３は、図１に示すオブジェクト認識機能３に対応し得る。あくまで一例として、オブジェクト認識部３３は、映像取得部３２により取得された映像ごとに次のようなオブジェクト認識を実行する。すなわち、オブジェクト認識部３３は、映像のフレームごとにオブジェクトを認識する。このようなオブジェクト認識は、あくまで一例として、任意の機械学習のアルゴリズム、例えばディープラーニングなどにしたがってオブジェクトが訓練済みである機械学習モデル、例えばＣＮＮにより実現され得る。その上で、オブジェクト認識部３３は、オブジェクトのうち人を対象に骨格検出、あるいは姿勢検出（姿勢推定）とも呼ばれる処理を適用することにより、骨格部位、例えば各関節の位置を含む骨格情報を抽出する。
【0086】
基本動作認識部３４は、各フレームの骨格情報から基本動作を認識する処理部である。基本動作認識部３４は、図１に示す基本動作認識機能４に対応し得る。あくまで一例として、基本動作の認識は、任意の機械学習のアルゴリズムにしたがって基本動作の認識が訓練済みである機械学習モデル、例えばニューラルネットワークや分類器などのモデルにより実現され得る。この場合、基本動作認識部３４は、フレーム単位でオブジェクト認識部３３により取得される骨格部位、例えば各関節の位置を上記のモデルへ入力する。これによって、フレーム単位で全身および各部位に関する基本動作認識結果が得られる。
【0087】
空間状態認識部３５は、オブジェクト認識部３３のオブジェクト認識結果として得られた人と当該人の周囲の空間との関係性を示す空間状態を認識する処理部である。空間状態認識部３５は、図１に示す空間状態認識機能５に対応し得る。
【0088】
１つの側面として、空間状態認識部３５は、ＲＯＩ情報記憶部１６に記憶されたＲＯＩ情報を用いて、人および空間の間の領域内外判定により空間状態を認識することができる。ここで、ＲＯＩ情報記憶部１６には、図１０に示す設定装置１０により設定が行われたＲＯＩ情報が設定され得る。
【0089】
あくまで一例として、ＲＯＩの例として、図５を用いて説明したＲＯＩが設定されると共に、ＲＯＩと比較する部位の例として、左足首および右足首の中点が設定される例を挙げる。この場合、空間状態認識部３５は、人の３Ｄ骨格座標がモデル化されたスケルトンに含まれる骨格部位のうち左足首および右足首の中点の位置が図５に示すＲＯＩ、すなわち図５に示すハッチング部分のグリッドに含まれるか否かを判定する。この結果、左足首および右足首の中点の位置がＲＯＩに含まれる場合、空間状態「ＡＴＭ前のＲＯＩに足首が入っている」が認識される。
【0090】
他の一例として、ＲＯＩの例として、図９を用いて説明したＲＯＩが設定されると共に、ＲＯＩと比較する部位の例として、左腰および右腰の中点が設定される例を挙げる。この場合、空間状態認識部３５は、人の３Ｄ骨格座標がモデル化されたスケルトンに含まれる骨格部位のうち左腰および右腰の中点の位置が図９に示すＲＯＩ、すなわち図９に示すハッチング部分のグリッドに含まれるか否かを判定する。この結果、左腰および右腰の位置がＲＯＩに含まれる場合、空間状態「ＡＴＭ前のＲＯＩに足首が入っている」が認識される。
【0091】
上位行動認識部３６は、上位行動を認識する処理部である。上位行動認識部３６は、図１に示す上位行動認識機能６に対応し得る。図１１に示すように、上位行動認識部３６は、要素行動認識部３６Ａおよびシナリオ認識部３６Ｂを有する。
【0092】
要素行動認識部３６Ａは、基本動作の認識結果、および／または、空間状態の認識結果の時系列分析を行うことにより、要素行動を認識する処理部である。例えば、要素行動認識機能６Ａは、１又は複数の基本動作に関する認識結果の時系列データ、および／または、空間状態の時系列データを第１ルール記憶部３７Ａに記憶された要素行動認識ルール７Ａと照合する。要素行動認識ルール７Ａには、認識対象とする要素行動ごとに、１又は複数の基本動作に関する時系列パターンおよび空間状態のうち少なくともいずれか１つまたは両方が定義される。例えば、時系列パターンの例として、基本動作および／または空間状態の継続性や基本動作および／または空間状態の状態遷移などが挙げられる。
【0093】
シナリオ認識部３６Ｂは、要素行動の認識結果を第２ルール記憶部３７Ｂに記憶されたシナリオ認識ルール７Ｂと照合することにより、上位行動を認識する処理部である。シナリオ認識ルール７Ｂには、認識対象とする上位行動ごとに要素行動の組合せがシナリオとして定義される。このようなシナリオは、順序や論理演算などにより定義され得る。
【0094】
これら要素行動認識ルール７Ａおよびシナリオ認識ルール７Ｂは、システム定義のみならず、ユーザ定義により設定させることができる。例えば、上記の行動認識サービス１を提供する事業者側のシステムエンジニアや上記の行動認識サービス１の顧客などのユーザＵに要素行動認識ルール７Ａおよびシナリオ認識ルール７Ｂを編集させることにより、ユーザＵによるカスタマイズが可能である。
【0095】
［処理の流れ］
次に、本実施例に係る設定装置１０および行動認識装置３０の処理の流れについて説明する。ここでは、設定装置１０により実行される（１）ＲＯＩ設定処理を説明した後に、ＲＯＩ設定処理で設定されたＲＯＩ情報に基づいて行動認識装置３０により実行される（２）行動認識処理を説明することとする。
次に、本実施例に係る設定装置１０および行動認識装置３０の処理の流れについて説明する。ここでは、設定装置１０により実行される（１）ＲＯＩ設定処理を説明した後に、ＲＯＩ設定処理で設定されたＲＯＩ情報に基づいて行動認識装置３０により実行される（２）行動認識処理を説明することとする。
【0096】
（１）ＲＯＩ設定処理
図１２は、実施例１に係るＲＯＩ設定処理の手順を示すフローチャートである。この処理は、あくまで一例として、ＲＯＩ設定のリクエストを受け付けた場合に行われる。図１２に示すように、受付部１１は、ＲＯＩの設定に用いるサンプル映像の指定を受け付ける（ステップＳ１０１）。続いて、映像取得部１２は、ステップＳ１０１で指定を受け付けたサンプル映像を取得する（ステップＳ１０２）。
図１２は、実施例１に係るＲＯＩ設定処理の手順を示すフローチャートである。この処理は、あくまで一例として、ＲＯＩ設定のリクエストを受け付けた場合に行われる。図１２に示すように、受付部１１は、ＲＯＩの設定に用いるサンプル映像の指定を受け付ける（ステップＳ１０１）。続いて、映像取得部１２は、ステップＳ１０１で指定を受け付けたサンプル映像を取得する（ステップＳ１０２）。
【0097】
また、受付部１１は、ＲＯＩの設定対象とするオブジェクトの指定を受け付ける（ステップＳ１０３）。なお、ステップＳ１０３では、ＲＯＩの設定対象とするオブジェクトの指定と共に、ＲＯＩの相対位置の指定をさらに受け付けることもできる。
【0098】
その後、ステップＳ１０２で取得されたサンプル映像の個数Ｋに対応する回数の分、ステップＳ１０４からステップＳ１０８までの処理を繰り返すループ処理１が開始される。
【0099】
すなわち、オブジェクト認識部１３は、サンプル映像のフレームごとにオブジェクトを認識する（ステップＳ１０４）。続いて、ヒートマップ生成部１４は、サンプル映像のうち行動認識の対象とする行動シーンを抽出する（ステップＳ１０５）。
【0100】
そして、生成対象とするヒートマップの数Ｍに対応する回数の分、ステップＳ１０６からステップＳ１０８までの処理を繰り返すループ処理２が開始される。
【0101】
すなわち、ヒートマップ生成部１４は、ステップＳ１０５で抽出された行動シーンの区間に対する骨格検出で得られる骨格情報の時系列データを用いて、ループ処理２で処理中のヒートマップに対応する骨格部位の位置をマッピングする（ステップＳ１０６）。
【0102】
そして、ヒートマップ生成部１４は、ヒートマップが複数に分割された領域ごとに当該領域にステップＳ１０６でマッピングが行われたマッピング回数を集計する（ステップＳ１０７）。
【0103】
その上で、ヒートマップ生成部１４は、ステップＳ１０７で領域ごとに集計されたマッピング回数の集計値をこれまでに領域ごとに累積加算されてきた累積加算値に領域ごとに累積して加算することによりヒートマップを更新する（ステップＳ１０８）。
【0104】
その後、ＲＯＩ設定部１５は、ループ処理１により生成されたヒートマップごとに、次のような処理を実行する。すなわち、ＲＯＩ設定部１５は、ＲＯＩの設定対象としてユーザ指定が行われたオブジェクトから閾値以内の距離に位置し、かつユーザ指定が行われたＲＯＩの相対位置に対応するグリッドの内マッピング回数が最高であるグリッドを抽出する（ステップＳ１０９）。
【0105】
そして、ＲＯＩ設定部１５は、ステップＳ１０９でヒートマップごとに抽出されたグリッドの間でマッピング回数を比較して、各グリッドのうち最高値のマッピング回数が観測されるグリッドを有するヒートマップを選択する（ステップＳ１１０）。
【0106】
続いて、ＲＯＩ設定部１５は、ステップＳ１１０で選択されたヒートマップに含まれるグリッドのうち最高値のマッピング回数が観測されるグリッドの位置および大きさをＲＯＩとして設定する（ステップＳ１１１）。また、ＲＯＩ設定部１５は、ステップＳ１１０で選択されたヒートマップに対応する骨格部位をＲＯＩと比較する骨格部位として設定する（ステップＳ１１２）。
【0107】
その上で、ＲＯＩ設定部１５は、ステップＳ１１１およびステップＳ１１２で設定されたＲＯＩの位置、ＲＯＩの大きさおよびＲＯＩと比較する骨格部位をＲＯＩ情報としてＲＯＩ情報記憶部１６へ保存し（ステップＳ１１３）、処理を終了する。
【0108】
（２）行動認識処理
図１３は、実施例１に係る行動認識処理の手順を示すフローチャートである。この処理は、あくまで一例として、カメラ２、ストレージ、あるいはネットワーク接続された外部装置等から映像が取得された場合に行われる。
図１３は、実施例１に係る行動認識処理の手順を示すフローチャートである。この処理は、あくまで一例として、カメラ２、ストレージ、あるいはネットワーク接続された外部装置等から映像が取得された場合に行われる。
【0109】
図１３に示すように、オブジェクト認識部３３は、映像取得部３２により取得される映像のフレームごとに物体検出や骨格検出などを含むオブジェクト認識を実行する（ステップＳ３０１）。
【0110】
そして、基本動作認識部３４は、ステップＳ３０１で得られた骨格座標の時系列データを基本動作の認識が訓練済みであるモデルへ入力することにより当該モデルから出力される基本動作認識結果を得る（ステップＳ３０２）。
【0111】
また、空間状態認識部３５は、ステップＳ３０１で得られた人の骨格情報のうち図１２に示すステップＳ１１２でＲＯＩと比較する部位として設定された骨格部位の位置と、図１２に示すステップＳ１１１で設定されたＲＯＩにより定義される空間との関係に基づいて空間状態を映像のフレームごとに認識する（ステップＳ３０３）。
【0112】
続いて、要素行動認識部３６Ａは、ステップＳ３０２で得られた基本動作認識結果の時系列データ、および／または、ステップＳ３０３で得られた空間状態の時系列データを第１ルール記憶部３７Ａに記憶された要素行動認識ルール７Ａと照合する。これにより、要素行動認識部３６Ａは、要素行動を認識する（ステップＳ３０４）。
【0113】
そして、シナリオ認識部３６Ｂは、ステップＳ３０４で得られた要素行動の認識結果を第２ルール記憶部３７Ｂに記憶されたシナリオ認識ルール７Ｂと照合することにより、上位行動を認識する（ステップＳ３０５）。
【0114】
その後、シナリオ認識部３６Ｂは、ステップＳ３０５で得られた上位行動のラベルを認識結果として出力し（ステップＳ３０６）、処理を終了する。
【0115】
上記の上位行動の認識結果は、任意の出力先へ出力され得る。ここで言う「出力先」は、任意のハードウェアやソフトウェアでよい。例えば、上位行動の認識結果は、上位行動の認識結果に応じて任意のバックエンドの処理、例えば不審行動の監視処理などを実行するサービスや機能へ出力することができる。この他、上位高度の認識結果の出力先は、上記の行動認識サービス１のユーザＵにより設定された表示デバイスや音声出力デバイス、情報処理装置あるいは携帯端末装置などであってもよい。その通知形態もＷｅｂやメールなどの任意であってよい。
【0116】
［効果の一側面］
上述してきたように、本実施例に係る設定装置１０は、映像の各フレームから検出される骨格部位の位置をマッピングして部位ごとに生成されたヒートマップ上の物体周囲で観測される頻度に基づいてＲＯＩを設定する。このため、本実施例に係る設定装置１０では、空間状態の認識に寄与するＲＯＩの自動設定を実現できる。したがって、本実施例に係る設定機能によれば、ＲＯＩの設定の効率化を実現できる。さらに、本実施例に係る設定機能によれば、ＲＯＩの設定の効率化が実現されることで、上記の行動認識サービス１を導入するモチベーションを高めることができる。
上述してきたように、本実施例に係る設定装置１０は、映像の各フレームから検出される骨格部位の位置をマッピングして部位ごとに生成されたヒートマップ上の物体周囲で観測される頻度に基づいてＲＯＩを設定する。このため、本実施例に係る設定装置１０では、空間状態の認識に寄与するＲＯＩの自動設定を実現できる。したがって、本実施例に係る設定機能によれば、ＲＯＩの設定の効率化を実現できる。さらに、本実施例に係る設定機能によれば、ＲＯＩの設定の効率化が実現されることで、上記の行動認識サービス１を導入するモチベーションを高めることができる。
【実施例2】
【0117】
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【0118】
［シナリオの２番目以降の要素行動認識ルール］
上記の実施例１で説明した設定機能は、シナリオ認識ルール７Ｂのシナリオに含まれる複数の空間状態の各々の認識に用いるＲＯＩを設定する場合にも効果的に適用できる。このようなシナリオの例として、要素行動認識ルール７Ａに定義される空間状態が時系列に累積して増加するシナリオが挙げられる。
上記の実施例１で説明した設定機能は、シナリオ認識ルール７Ｂのシナリオに含まれる複数の空間状態の各々の認識に用いるＲＯＩを設定する場合にも効果的に適用できる。このようなシナリオの例として、要素行動認識ルール７Ａに定義される空間状態が時系列に累積して増加するシナリオが挙げられる。
【0119】
一例を挙げれば、「要素行動１：空間状態Ａ→要素行動２：空間状態Ａ＆空間状態Ｂ→要素行動３：空間状態Ａ＆空間状態Ｂ＆空間状態Ｃ」といった要領で要素行動認識ルール７Ａの論理積に含まれる空間状態が時系列に累積して増加するシナリオが挙げられる。
【0120】
ＡＴＭの例に当てはめれば、「要素行動１：ＡＴＭの前に足が入る→要素行動２：ＡＴＭの前に足が入る＆ＡＴＭのパネル上に手が入る」といったシナリオにより上位行動「ＡＴＭの利用」を認識する例が挙げられる。
【0121】
図１４は、利用シーンの一例を示す図である。図１４には、あくまで一例として、ＡＴＭの利用に関する行動認識が行われる利用シーンの下で行われる空間分析、時系列分析およびシナリオ分析のユーザ定義が示されている。
【0122】
図１４に示す例では、ＡＴＭの前に足が入っているか否かを判定する空間分析により空間状態「ＡＴＭ前のＲＯＩに足が入っている」が行われることが定義されている。さらに、ＡＴＭのパネル上に手が入っているか否かを判定する空間分析により空間状態「ＡＴＭのパネル上のＲＯＩに手が入っている」が行われることが定義されている。また、「ＡＴＭの前部に足が入っている」という空間状態が特定の時間条件を満たすか否か、例えば一定時間以上、あるいは特定のフレーム数以上継続するか否かを判定する時系列分析が行われることが定義されている。さらに、空間状態「ＡＴＭのパネル上に手が入っている」が特定の時間条件を満たすか否か、例えば一定時間以上、あるいは特定のフレーム数以上継続するか否かを判定する時系列分析が行われることが定義されている。その上で、空間状態「ＡＴＭの前部に足が入っている」が特定の時間条件を満たすという要素行動１の認識後に２つの空間状態「ＡＴＭの前部に足が入っている」および「ＡＴＭのパネル上のＲＯＩに手が入っている」が特定の時間条件を満たすという要素行動２を認識するという上位行動「ＡＴＭ利用」のシナリオと一致する要素行動が発生したか否かを判定するシナリオ分析が行われることが定義されている。
【0123】
ここで例に挙げる通り、まず大まかに特定の場所、例えばＡＴＭの前にいることを検知した後、最初の条件を満たしたまま、詳細な条件、例えばＡＴＭの操作などを満たしているか判定するといったルール形式で様々な利用シーンで行動が認識できる。
【0124】
このようなシナリオで２番目以降の要素行動認識ルール７Ａに追加する空間状態の認識時にＲＯＩと比較する部位の対象から、それまでの空間状態の認識に用いるＲＯＩ情報に設定された骨格部位およびその骨格部位との連動性が閾値以上である骨格部位を除外する。一例として、空間状態の認識に未使用である骨格部位のうち、空間状態の認識に使用済みである骨格部位と空間状態の認識に未使用である骨格部位との間でサンプル映像のフレームごとに相対距離が変化する変化量の累積値が閾値以下である骨格部位を除外できる。他の一例として、空間状態の認識に未使用である骨格部位のうち、空間状態の認識に使用済みである骨格部位から閾値以内の関節数に位置する骨格部位を除外できる。
【0125】
より詳細には、シナリオの１番目の要素行動認識ルール７Ａに含まれる空間状態の認識時に用いるＲＯＩ情報が設定された場合、図１２に示すフローチャートの一部の処理を変更できる。例えば、シナリオの２番目以降の要素行動認識ルール７Ａに追加する空間状態の認識時に用いるＲＯＩ情報の設定時には、サンプル映像から骨格部位別のヒートマップを生成済みである。このような側面から、図１２に示すステップＳ１０１からステップＳ１０８までの処理をスキップできる。さらに、図１２に示すステップＳ１０９およびステップＳ１１０では、空間状態の認識に使用済みである骨格部位に対応するヒートマップを処理対象から除外することもできる。これにより、空間状態の認識に使用済みである骨格部位に対応するヒートマップをＲＯＩの設定対象から除外し、ＲＯＩの設定対象を空間状態の認識に未使用である骨格部位に対応するヒートマップに絞り込むことができる。さらに、図１２に示すステップＳ１０９およびステップＳ１１０では、各領域のマッピング回数が合計された総マッピング回数が閾値未満であるヒートマップをステップＳ１０９およびステップＳ１１０の処理対象から除外することもできる。さらに、図１２に示すステップＳ１０９およびステップＳ１１０では、空間状態の認識に未使用である骨格部位のうち、空間状態の認識に使用済みである骨格部位と空間状態の認識に未使用である骨格部位との間でサンプル映像のフレームごとに相対距離が変化する変化量の累積値が閾値以下である骨格部位に対応するヒートマップをステップＳ１０９およびステップＳ１１０の処理対象から除外することもできる。さらに、ステップＳ１０９以降の処理の代わりに、総マッピング回数の多いヒートマップから順に下記の採用判定を実行することができる。例えば、採用判定法の一例として、ユーザ指定のオブジェクト周辺の領域をメッシュ、例えば４行４列に分割し、最もマッピング回数が多い領域に対し、当該領域内におけるマッピング位置の分布の平均位置を中心とする特定のサイズの矩形をＲＯＩ候補とし、ＲＯＩ候補に含まれるマッピング位置のプロット数が総マッピング回数に占める割合が閾値以上である場合、ＲＯＩ候補をＲＯＩに設定し、当該ヒートマップに対応する骨格部位をＲＯＩと比較する部位に設定できる。これらの処理をシナリオに含まれる全ての要素行動認識ルールで用いられるＲＯＩ情報を設定するまで繰り返す。なお、ステップＳ１０９以降の処理の代わりに用いる採用判定はシナリオの１番目の要素行動認識ルール７Ａに含まれる空間状態の認識時に用いるＲＯＩ情報の設定時にも適用できる。
【0126】
［ユーザ指定の優先］
設定装置１０は、ＲＯＩやＲＯＩと比較する部位の設定時にユーザ指定が行われたＲＯＩやＲＯＩと比較する部位を優先することもできる。例えば、ループ処理２で生成された全ヒートマップで観測される最高値のマッピング回数と、ユーザ指定が行われた骨格部位に対応するヒートマップで観測される最高値のマッピング回数の差が閾値以下の場合、ユーザ指定が行われた骨格部位に対応するヒートマップを優先して選択できる。この他、ＲＯＩとして設定する際の矩形のサイズをその判定に使用するＲＯＩとしてユーザ指定が行われた図形のサイズと合わせることもできる。
設定装置１０は、ＲＯＩやＲＯＩと比較する部位の設定時にユーザ指定が行われたＲＯＩやＲＯＩと比較する部位を優先することもできる。例えば、ループ処理２で生成された全ヒートマップで観測される最高値のマッピング回数と、ユーザ指定が行われた骨格部位に対応するヒートマップで観測される最高値のマッピング回数の差が閾値以下の場合、ユーザ指定が行われた骨格部位に対応するヒートマップを優先して選択できる。この他、ＲＯＩとして設定する際の矩形のサイズをその判定に使用するＲＯＩとしてユーザ指定が行われた図形のサイズと合わせることもできる。
【0127】
［ＲＯＩ設定に用いるオブジェクト］
上記の実施例１では、ＲＯＩ設定時にユーザ指定を受け付けるオブジェクトの一例としてＡＴＭを例に挙げたが、必ずしもＲＯＩ設定時に用いるオブジェクトは人以外の物体に限定されない。例えば、行動認識の対象とする人以外の人物をオブジェクトとして指定させることもできる。
上記の実施例１では、ＲＯＩ設定時にユーザ指定を受け付けるオブジェクトの一例としてＡＴＭを例に挙げたが、必ずしもＲＯＩ設定時に用いるオブジェクトは人以外の物体に限定されない。例えば、行動認識の対象とする人以外の人物をオブジェクトとして指定させることもできる。
【0128】
［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、受付部１１、映像取得部１２、オブジェクト認識部１３、ヒートマップ生成部１４またはＲＯＩ設定部１５を設定装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、受付部１１、映像取得部１２、オブジェクト認識部１３、ヒートマップ生成部１４またはＲＯＩ設定部１５を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の設定装置１０の機能を実現するようにしてもよい。
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、受付部１１、映像取得部１２、オブジェクト認識部１３、ヒートマップ生成部１４またはＲＯＩ設定部１５を設定装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、受付部１１、映像取得部１２、オブジェクト認識部１３、ヒートマップ生成部１４またはＲＯＩ設定部１５を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の設定装置１０の機能を実現するようにしてもよい。
【0129】
［設定プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１５を用いて、実施例１及び実施例２と同様の機能を有する設定プログラムを実行するコンピュータの一例について説明する。
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１５を用いて、実施例１及び実施例２と同様の機能を有する設定プログラムを実行するコンピュータの一例について説明する。
【0130】
図１５は、ハードウェア構成例を示す図である。図１５に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０～１８０の各部はバス１４０を介して接続される。
【0131】
ＨＤＤ１７０には、図１５に示すように、上記の実施例１で示した受付部１１、映像取得部１２、オブジェクト認識部１３、ヒートマップ生成部１４及びＲＯＩ設定部１５と同様の機能を発揮する設定プログラム１７０ａが記憶される。この設定プログラム１７０ａは、図１０に示した受付部１１、映像取得部１２、オブジェクト認識部１３、ヒートマップ生成部１４及びＲＯＩ設定部１５の各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７０には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。
【0132】
このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０から設定プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、設定プログラム１７０ａは、図１５に示すように、設定プロセス１８０ａとして機能する。この設定プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうち設定プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、設定プロセス１８０ａが実行する処理の一例として、図１２に示す処理などが含まれる。なお、ＣＰＵ１５０では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
【0133】
なお、上記の設定プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されておらずともかまわない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に設定プログラム１７０ａを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から設定プログラム１７０ａを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに設定プログラム１７０ａを記憶させておき、コンピュータ１００がこれらから設定プログラム１７０ａを取得して実行するようにしてもよい。
【0134】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
【0135】
（付記１）映像を取得し、
前記映像に含まれる第１のオブジェクトに対する骨格検出で得られる骨格情報の時系列データを用いて、骨格部位の位置をマッピングしたマップを前記骨格部位ごとに生成し、
前記骨格部位ごとに生成されたマップに含まれる第２のオブジェクトの周囲でマッピングが観測される頻度に基づいて、前記第１のオブジェクトと空間との関係性を示す空間状態の認識に用いるＲＯＩを設定する、
処理をコンピュータが実行することを特徴とする設定方法。
前記映像に含まれる第１のオブジェクトに対する骨格検出で得られる骨格情報の時系列データを用いて、骨格部位の位置をマッピングしたマップを前記骨格部位ごとに生成し、
前記骨格部位ごとに生成されたマップに含まれる第２のオブジェクトの周囲でマッピングが観測される頻度に基づいて、前記第１のオブジェクトと空間との関係性を示す空間状態の認識に用いるＲＯＩを設定する、
処理をコンピュータが実行することを特徴とする設定方法。
【0136】
（付記２）前記生成する処理は、前記マップが複数に分割された領域ごとに前記領域にマッピングされたマッピング回数を集計する処理を含み、
前記設定する処理は、前記骨格部位ごとに生成されたマップに含まれる領域のうち前記第２のオブジェクトの周囲に対応する領域のマッピング回数に基づいて前記ＲＯＩを設定する処理を含む、
ことを特徴とする付記１に記載の設定方法。
前記設定する処理は、前記骨格部位ごとに生成されたマップに含まれる領域のうち前記第２のオブジェクトの周囲に対応する領域のマッピング回数に基づいて前記ＲＯＩを設定する処理を含む、
ことを特徴とする付記１に記載の設定方法。
【0137】
（付記３）前記設定する処理は、前記骨格部位ごとに生成されたマップの間で前記第２のオブジェクトの周囲に対応する領域のマッピング回数を比較し、最高値のマッピング回数が観測される領域に基づいて前記ＲＯＩを設定する処理を含む、
ことを特徴とする付記２に記載の設定方法。
ことを特徴とする付記２に記載の設定方法。
【0138】
（付記４）前記設定する処理は、前記骨格部位ごとに生成されたマップの間で前記第２のオブジェクトの周囲に対応する領域であり、かつ指定を受け付けたＲＯＩの相対位置に対応する領域を比較し、最高値のマッピング回数が観測される領域に基づいて前記ＲＯＩを設定する処理を含む、
ことを特徴とする付記３に記載の設定方法。
ことを特徴とする付記３に記載の設定方法。
【0139】
（付記５）前記設定する処理は、前記最高値のマッピング回数が観測される領域を含むマップに対応する骨格部位を前記ＲＯＩと比較する骨格部位として設定する処理を含む、
ことを特徴とする付記３に記載の設定方法。
ことを特徴とする付記３に記載の設定方法。
【0140】
（付記６）前記領域は、前記マップがメッシュ状に分割されたグリッドであることを特徴とする付記２に記載の設定方法。
【0141】
（付記７）前記設定する処理は、第１のＲＯＩの設定後に第２のＲＯＩを設定する場合、前記骨格部位ごとに生成されたマップのうち前記第１のＲＯＩと比較する部位に設定された骨格部位に対応するマップを除外して前記第２のＲＯＩを設定する処理を含む、
ことを特徴とする付記１に記載の設定方法。
ことを特徴とする付記１に記載の設定方法。
【0142】
（付記８）前記設定する処理は、前記骨格部位ごとに生成されたマップのうち、前記第１のＲＯＩと比較する部位に設定された第１の骨格部位および前記第１の骨格部位との連動性が閾値以上である第２の骨格部位に対応するマップを除外して前記第２のＲＯＩを設定する処理を含む、
ことを特徴とする付記７に記載の設定方法。
ことを特徴とする付記７に記載の設定方法。
【0143】
（付記９）映像を取得し、
前記映像に含まれる第１のオブジェクトに対する骨格検出で得られる骨格情報の時系列データを用いて、骨格部位の位置をマッピングしたマップを前記骨格部位ごとに生成し、
前記骨格部位ごとに生成されたマップに含まれる第２のオブジェクトの周囲でマッピングが観測される頻度に基づいて、前記第１のオブジェクトと空間との関係性を示す空間状態の認識に用いるＲＯＩを設定する、
処理をコンピュータに実行させることを特徴とする設定プログラム。
前記映像に含まれる第１のオブジェクトに対する骨格検出で得られる骨格情報の時系列データを用いて、骨格部位の位置をマッピングしたマップを前記骨格部位ごとに生成し、
前記骨格部位ごとに生成されたマップに含まれる第２のオブジェクトの周囲でマッピングが観測される頻度に基づいて、前記第１のオブジェクトと空間との関係性を示す空間状態の認識に用いるＲＯＩを設定する、
処理をコンピュータに実行させることを特徴とする設定プログラム。
【0144】
（付記１０）前記生成する処理は、前記マップが複数に分割された領域ごとに前記領域にマッピングされたマッピング回数を集計する処理を含み、
前記設定する処理は、前記骨格部位ごとに生成されたマップに含まれる領域のうち前記第２のオブジェクトの周囲に対応する領域のマッピング回数に基づいて前記ＲＯＩを設定する処理を含む、
ことを特徴とする付記９に記載の設定プログラム。
前記設定する処理は、前記骨格部位ごとに生成されたマップに含まれる領域のうち前記第２のオブジェクトの周囲に対応する領域のマッピング回数に基づいて前記ＲＯＩを設定する処理を含む、
ことを特徴とする付記９に記載の設定プログラム。
【0145】
（付記１１）前記設定する処理は、前記骨格部位ごとに生成されたマップの間で前記第２のオブジェクトの周囲に対応する領域のマッピング回数を比較し、最高値のマッピング回数が観測される領域に基づいて前記ＲＯＩを設定する処理を含む、
ことを特徴とする付記１０に記載の設定プログラム。
ことを特徴とする付記１０に記載の設定プログラム。
【0146】
（付記１２）前記設定する処理は、前記骨格部位ごとに生成されたマップの間で前記第２のオブジェクトの周囲に対応する領域であり、かつ指定を受け付けたＲＯＩの相対位置に対応する領域を比較し、最高値のマッピング回数が観測される領域に基づいて前記ＲＯＩを設定する処理を含む、
ことを特徴とする付記１１に記載の設定プログラム。
ことを特徴とする付記１１に記載の設定プログラム。
【0147】
（付記１３）前記設定する処理は、前記最高値のマッピング回数が観測される領域を含むマップに対応する骨格部位を前記ＲＯＩと比較する骨格部位として設定する処理を含む、
ことを特徴とする付記１１に記載の設定プログラム。
ことを特徴とする付記１１に記載の設定プログラム。
【0148】
（付記１４）前記領域は、前記マップがメッシュ状に分割されたグリッドであることを特徴とする付記１０に記載の設定プログラム。
【0149】
（付記１５）前記設定する処理は、第１のＲＯＩの設定後に第２のＲＯＩを設定する場合、前記骨格部位ごとに生成されたマップのうち前記第１のＲＯＩと比較する部位に設定された骨格部位に対応するマップを除外して前記第２のＲＯＩを設定する処理を含む、
ことを特徴とする付記９に記載の設定プログラム。
ことを特徴とする付記９に記載の設定プログラム。
【0150】
（付記１６）前記設定する処理は、前記骨格部位ごとに生成されたマップのうち、前記第１のＲＯＩと比較する部位に設定された第１の骨格部位および前記第１の骨格部位との連動性が閾値以上である第２の骨格部位に対応するマップを除外して前記第２のＲＯＩを設定する処理を含む、
ことを特徴とする付記１５に記載の設定プログラム。
ことを特徴とする付記１５に記載の設定プログラム。
【0151】
（付記１７）映像を取得し、
前記映像に含まれる第１のオブジェクトに対する骨格検出で得られる骨格情報の時系列データを用いて、骨格部位の位置をマッピングしたマップを前記骨格部位ごとに生成し、
前記骨格部位ごとに生成されたマップに含まれる第２のオブジェクトの周囲でマッピングが観測される頻度に基づいて、前記第１のオブジェクトと空間との関係性を示す空間状態の認識に用いるＲＯＩを設定する、
処理を実行する制御部を含む設定装置。
前記映像に含まれる第１のオブジェクトに対する骨格検出で得られる骨格情報の時系列データを用いて、骨格部位の位置をマッピングしたマップを前記骨格部位ごとに生成し、
前記骨格部位ごとに生成されたマップに含まれる第２のオブジェクトの周囲でマッピングが観測される頻度に基づいて、前記第１のオブジェクトと空間との関係性を示す空間状態の認識に用いるＲＯＩを設定する、
処理を実行する制御部を含む設定装置。
【0152】
（付記１８）前記生成する処理は、前記マップが複数に分割された領域ごとに前記領域にマッピングされたマッピング回数を集計する処理を含み、
前記設定する処理は、前記骨格部位ごとに生成されたマップに含まれる領域のうち前記第２のオブジェクトの周囲に対応する領域のマッピング回数に基づいて前記ＲＯＩを設定する処理を含む、
ことを特徴とする付記１７に記載の設定装置。
前記設定する処理は、前記骨格部位ごとに生成されたマップに含まれる領域のうち前記第２のオブジェクトの周囲に対応する領域のマッピング回数に基づいて前記ＲＯＩを設定する処理を含む、
ことを特徴とする付記１７に記載の設定装置。
【0153】
（付記１９）前記設定する処理は、前記骨格部位ごとに生成されたマップの間で前記第２のオブジェクトの周囲に対応する領域のマッピング回数を比較し、最高値のマッピング回数が観測される領域に基づいて前記ＲＯＩを設定する処理を含む、
ことを特徴とする付記１８に記載の設定装置。
ことを特徴とする付記１８に記載の設定装置。
【0154】
（付記２０）前記設定する処理は、前記骨格部位ごとに生成されたマップの間で前記第２のオブジェクトの周囲に対応する領域であり、かつ指定を受け付けたＲＯＩの相対位置に対応する領域を比較し、最高値のマッピング回数が観測される領域に基づいて前記ＲＯＩを設定する処理を含む、
ことを特徴とする付記１９に記載の設定装置。
ことを特徴とする付記１９に記載の設定装置。
【符号の説明】
【0155】
１０ 設定装置
１１ 受付部
１２ 映像取得部
１３ オブジェクト認識部
１４ ヒートマップ生成部
１５ ＲＯＩ設定部
１６ ＲＯＩ情報記憶部
３０ 行動認識装置
３２ 映像取得部
３３ オブジェクト認識部
３４ 基本動作認識部
３５ 空間状態認識部
３６ 上位行動認識部
３６Ａ 要素行動認識部
３６Ｂ シナリオ認識部
３７Ａ 第１ルール記憶部
３７Ｂ 第２ルール記憶部
１１ 受付部
１２ 映像取得部
１３ オブジェクト認識部
１４ ヒートマップ生成部
１５ ＲＯＩ設定部
１６ ＲＯＩ情報記憶部
３０ 行動認識装置
３２ 映像取得部
３３ オブジェクト認識部
３４ 基本動作認識部
３５ 空間状態認識部
３６ 上位行動認識部
３６Ａ 要素行動認識部
３６Ｂ シナリオ認識部
３７Ａ 第１ルール記憶部
３７Ｂ 第２ルール記憶部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】