IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ NECソリューションイノベータ株式会社の特許一覧

<>
  • 特開-判定装置 図1
  • 特開-判定装置 図2
  • 特開-判定装置 図3
  • 特開-判定装置 図4
  • 特開-判定装置 図5
  • 特開-判定装置 図6
  • 特開-判定装置 図7
  • 特開-判定装置 図8
  • 特開-判定装置 図9
  • 特開-判定装置 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024102720
(43)【公開日】2024-07-31
(54)【発明の名称】判定装置
(51)【国際特許分類】
   G06T 7/00 20170101AFI20240724BHJP
【FI】
G06T7/00 660B
G06T7/00 300E
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023006803
(22)【出願日】2023-01-19
(71)【出願人】
【識別番号】000232092
【氏名又は名称】NECソリューションイノベータ株式会社
(74)【代理人】
【識別番号】100124811
【弁理士】
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【弁理士】
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【弁理士】
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【弁理士】
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】菱沼 和弘
(72)【発明者】
【氏名】油井 夏城
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096EA16
5L096FA09
5L096JA03
5L096JA09
(57)【要約】
【課題】適切な姿勢判定を行うことが難しい場合がある。
【解決手段】判定装置400は、姿勢判定対象となる画像データに基づいて取得される比較姿勢と、少なくとも2種類の画像データに基づいて予め取得された基準姿勢データが示す基準姿勢と、に基づいて、比較姿勢と基準姿勢とが似ているか否かを示す類似度を算出する算出部421と、算出部421が算出した類似度に基づいて比較姿勢が基準姿勢と一致するか否か判定する判定部と、を有する。
【選択図】図9
【特許請求の範囲】
【請求項1】
姿勢判定対象となる画像データに基づいて取得される比較姿勢と、少なくとも2種類の画像データに基づいて予め取得された基準姿勢データが示す基準姿勢と、に基づいて、比較姿勢と基準姿勢とが似ているか否かを示す類似度を算出する算出部と、
前記算出部が算出した類似度に基づいて比較姿勢が基準姿勢と一致するか否か判定する判定部と、
を有する
判定装置。
【請求項2】
請求項1に記載の判定装置であって、
前記算出部は、前記比較姿勢と、被写体が同一の姿勢である少なくとも2種類の画像データに基づいて予め取得された前記基準姿勢データが示す前記基準姿勢と、に基づいて、前記類似度を算出する
判定装置。
【請求項3】
請求項1に記載の判定装置であって、
前記算出部は、前記比較姿勢と、被写体が同一の姿勢でかつ被写体の向きが異なる少なくとも2種類の画像データに基づいて予め取得された前記基準姿勢データが示す前記基準姿勢と、に基づいて、前記類似度を算出する
判定装置。
【請求項4】
請求項1に記載の判定装置であって、
前記算出部は、前記比較姿勢と、被写体の向きが異なる少なくとも2種類の画像データそれぞれから取得した関節点の位置データに基づいて取得された前記基準姿勢データが示す基準姿勢と、に基づいて前記類似度を算出する
判定装置。
【請求項5】
請求項4に記載の判定装置であって、
前記基準姿勢データは、当該基準姿勢データに含まれる各関節点について、少なくとも2種類の画像データそれぞれから取得した位置データのうち予め選択されたいずれか1つの画像データから取得した位置データを含んでいる
判定装置。
【請求項6】
請求項1に記載の判定装置であって、
前記算出部は、任意の基準点を通る垂直方向を軸として前記比較姿勢と類似するように前記基準姿勢を回転させた状態における前記類似度を算出する
判定装置。
【請求項7】
情報処理装置が、
姿勢判定対象となる画像データに基づいて取得される比較姿勢と、少なくとも2種類の画像データに基づいて予め取得された基準姿勢データが示す基準姿勢と、に基づいて、比較姿勢と基準姿勢とが似ているか否かを示す類似度を算出し、
算出した類似度に基づいて比較姿勢が基準姿勢と一致するか否か判定する
判定方法。
【請求項8】
情報処理装置に、
姿勢判定対象となる画像データに基づいて取得される比較姿勢と、少なくとも2種類の画像データに基づいて予め取得された基準姿勢データが示す基準姿勢と、に基づいて、比較姿勢と基準姿勢とが似ているか否かを示す類似度を算出し、
算出した類似度に基づいて比較姿勢が基準姿勢と一致するか否か判定する
処理を実現するためのプログラム。
【請求項9】
画像データに基づいて被写体である人物の骨格を推定して関節点の位置を示す位置データを取得する推定部と、
少なくとも2種類の画像データそれぞれに基づいて前記推定部が取得した2種類の前記位置データに基づいて、基準姿勢を示す基準姿勢データを取得する取得部と、
を有する
取得装置。
【請求項10】
請求項9に記載の取得装置であって、
前記取得部は、前記推定部が推定した2種類の前記位置データを比較することで、少なくとも2種類の画像データそれぞれから取得した位置データのうち比較の結果に基づいて選択したいずれか1つの画像データから取得した位置データを前記基準姿勢データとして取得する
取得装置。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、判定装置、判定方法、プログラム、取得装置に関する。
【背景技術】
【0002】
画像データに基づいて被写体である人物の姿勢を判定する際に用いられる技術が知られている。
【0003】
例えば、特許文献1には、骨格抽出部と、姿勢モデルの記憶部と、姿勢推定部と、を有する姿勢分析プログラムが記載されている。特許文献1によると、骨格抽出部は、画像データを入力とした画像認識により、画像データに写る人物の関節位置を示す特徴点データを含む骨格データを取得する。また、記憶部では、骨格データごとに姿勢ラベルが対応づけられている。そして、姿勢推定部は、骨格抽出部が取得した骨格データをもとに、姿勢モデルに予め決められた姿勢ラベルから、画像データに写る人物の姿勢を判別する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2020-201772号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
比較対象となる基準姿勢データを人物の骨格情報に基づいて取得する際、例えば、カメラに向かって腕を伸ばしている場合など、カメラ光軸方向に人体特徴が存在していることがある。このような姿勢を人物がとっている場合に1枚の画像データに基づく骨格推定を行うと、カメラ光軸方向の骨格情報が2次元骨格推定において消失してしまい、適切な骨格推定を行うことができない。その結果、適切な姿勢判定を行うことが難しい場合がある、という課題が生じていた。
【0006】
そこで、本発明は、上述した課題を解決することが可能な判定装置、判定方法、プログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【0007】
かかる目的を達成するため本発明の一形態である判定装置は、
姿勢判定対象となる画像データに基づいて取得される比較姿勢と、少なくとも2種類の画像データに基づいて予め取得された基準姿勢データが示す基準姿勢と、に基づいて、比較姿勢と基準姿勢とが似ているか否かを示す類似度を算出する算出部と、
前記算出部が算出した類似度に基づいて比較姿勢が基準姿勢と一致するか否か判定する判定部と、
を有する
という構成をとる。
【0008】
また、本発明の他の形態である判定方法は、
情報処理装置が、
姿勢判定対象となる画像データに基づいて取得される比較姿勢と、少なくとも2種類の画像データに基づいて予め取得された基準姿勢データが示す基準姿勢と、に基づいて、比較姿勢と基準姿勢とが似ているか否かを示す類似度を算出し、
算出した類似度に基づいて比較姿勢が基準姿勢と一致するか否か判定する
という構成をとる。
【0009】
また、本発明の他の形態であるプログラムは、
情報処理装置に、
姿勢判定対象となる画像データに基づいて取得される比較姿勢と、少なくとも2種類の画像データに基づいて予め取得された基準姿勢データが示す基準姿勢と、に基づいて、比較姿勢と基準姿勢とが似ているか否かを示す類似度を算出し、
算出した類似度に基づいて比較姿勢が基準姿勢と一致するか否か判定する
処理を実現させるためのプログラムである。
【0010】
また、本発明の他の形態である取得装置は、
画像データに基づいて被写体である人物の骨格を推定して関節点の位置を示す位置データを取得する推定部と、
少なくとも2種類の画像データそれぞれに基づいて前記推定部が取得した2種類の前記位置データに基づいて、基準姿勢を示す基準姿勢データを取得する取得部と、
を有する
という構成をとる。
【発明の効果】
【0011】
上述したような各構成によると、上述したような課題を解決することができる。
【図面の簡単な説明】
【0012】
図1】本開示の第1の実施形態における判定システムの概要を説明するための図である。
図2】基準姿勢データを取得する際の概要を説明するための図である。
図3】判定システムの全体的な構成例を示す図である。
図4】判定装置の構成例を示すブロック図である。
図5】基準姿勢データ情報の一例を示す図である。
図6】基準姿勢データ情報を取得する際における判定装置の動作例を示すフローチャートである。
図7】姿勢判定を行う際における判定装置の動作例を示すフローチャートである。
図8】本開示の第2の実施形態における判定装置のハードウェア構成例を示す図である。
図9】判定装置の構成例を示すブロック図である。
図10】取得装置の構成例を示すブロック図である。
【発明を実施するための形態】
【0013】
[第1の実施形態]
本発明の第1の実施形態を図1から図7までを参照して説明する。図1は、判定システム100の概要を説明するための図である。図2は、基準姿勢データを取得する際の概要を説明するための図である。図3は、判定システム100の全体的な構成例を示す図である。図4は、判定装置300の構成例を示すブロック図である。図5は、基準姿勢データ情報342の一例を示す図である。図6は、基準姿勢データ情報342を取得する際における判定装置300の動作例を示すフローチャートである。図7は、姿勢判定を行う際における判定装置300の動作例を示すフローチャートである。
【0014】
本開示の第1の実施形態では、2次元の画像データから取得される各関節点の位置データなどを含む骨格データに基づいて、画像データ中の人物の姿勢が予め定められたものであるか否か判定する判定システム100について説明する。例えば、判定システム100は、人物が所定の姿勢をしている際における各関節点の位置データを含む基準姿勢データを予め記憶している。また、判定システム100は、姿勢判定対象となる画像データを取得すると、取得した画像データに対する骨格推定を行うことで、比較姿勢における各関節点の位置データを取得する。そして、判定システム100は、取得した比較姿勢における各関節点の位置データと、基準姿勢データが示す各関節点の位置データと、を比較する。その後、判定システム100は、比較の結果に基づいて、判定対象となる画像データにおける人物の姿勢である比較姿勢が予め定められたものであるか否か判定する。つまり、判定システム100は、比較姿勢と基準姿勢とが一致するか否か判定する。
【0015】
また、上記比較を行う際、判定システム100は、任意の基準点を通る垂直方向を軸とした0度~360度の範囲で基準姿勢データが示す基準姿勢を任意に回転させ、比較姿勢ともっとも類似する回転角で上記比較を行うことができる。このような比較により、判定システム100は、基準姿勢データを取得する際の人物の向きと比較対象となる画像データ中の人物の向きとが異なっている場合でも的確な判定を行うことを可能とする。つまり、判定システム100は、基準姿勢データが示す基準姿勢を回転可能とすることで、回転に対して堅牢な姿勢判定を行うことができる。
【0016】
また、図2の正面で例示する場合のように、被写体である人物が撮像装置200の光軸方向に向かって腕を伸ばしているなど、基準姿勢においてカメラ光軸方向に人体特徴が存在している場合がある。このような場合に骨格データを推定すると、伸ばした腕の骨格データが見かけ上小さな線分となり、人体特徴である各関節点の位置が重なるなど適切な骨格データを取得できないおそれがある。そこで、このようなおそれに対処するため、判定システム100は、同一姿勢で被写体の向いている方向が異なる少なくとも2枚の画像データそれぞれから取得した骨格データに基づいて、基準姿勢データを取得する。例えば、図2で例示する場合、判定システム100は、被写体である人物が正面を向いている画像データと、垂直方向を軸として人物が90度回転した右向きの画像データと、のそれぞれから取得した骨格データに基づいて、基準姿勢データを取得する。このような少なくとも2枚の画像データを用いて欠落情報を補完することで、より適切な基準姿勢データを取得することができる。なお、上記例示したような複数の画像データは、撮像装置200の設置位置を変更することなく被写体である人物が回転することで容易に取得できる。そのため、予め設置位置が固定された1台の撮像装置200であっても、問題なく上記のような複数の画像データを取得することができる。
【0017】
なお、本開示においては、判定システム100が判定対象である人物の姿勢が予め定められたものであるか否か判定する場合について説明する。しかしながら、判定システム100は、人物以外の任意の対象の姿勢や状態などが予め定められたものであるか否か判定するよう構成してもよい。また、判定システム100は、人物の関節点の代わりに、対象の切断点、連結点、そのほか任意の着目点の位置などを示す情報を取得して、取得した情報に基づいて姿勢や状態の判定を行うよう構成してもよい。
【0018】
また、本開示において、比較姿勢とは、姿勢判定対象となる画像データに写る人物の姿勢のことをいう。上述したように、判定システム100は、姿勢判定対象となる画像データに基づいて取得した比較姿勢が予め定められたものであるか否か判定することができる。また、基準姿勢とは、判定装置300に予め記憶させる姿勢のことをいう。換言すると、基準姿勢は、予め定められた所定の姿勢であり、上記比較姿勢と比較する対象となる姿勢である。例えば、基準姿勢は、直立姿勢、座っている姿勢、手を挙げている姿勢、膝をついている姿勢、そのほか任意の姿勢であってよい。
【0019】
図3は、判定システム100全体の構成例を示している。図3を参照すると、例えば、判定システム100は、撮像装置200と、判定装置300と、を有している。図3で例示するように、撮像装置200と、判定装置300とは、例えば有線または無線により互いに通信可能なよう接続されている。
【0020】
撮像装置200は、事務所や倉庫、その他任意の監視箇所など所定の場所に予め設置されており、画像データを取得する。撮像装置200は、監視カメラなどの一般的な装置であってよい。また、撮像装置200は、取得した画像データを判定装置300に対して送信することができる。
【0021】
例えば、撮像装置200は、姿勢判定対象となる画像データを取得する。撮像装置200は、被写体である人物が含まれる画像データを姿勢判定対象の画像データとして取得してよい。
【0022】
また、撮像装置200は、基準姿勢データ取得用の画像データを取得することができる。例えば、撮像装置200は、撮像装置200や判定装置300に対する操作者による操作などに応じて、基準姿勢データ取得用の画像データを取得することができる。撮像装置200は、そのほか任意のトリガーに応じて基準姿勢データ取得用の画像データを取得してよい。撮像装置200は、基準姿勢データ取得用の画像データとして、被写体である人物の向きを変えながら、人物の向いている方向が異なる複数の画像データを取得することができる。
【0023】
判定装置300は、画像データから取得される人物の関節点を示す骨格データに基づいて、対象の姿勢が予め定められたものであるか否か判定する情報処理装置である。例えば、判定装置300は、直立姿勢、座っている姿勢、手を挙げている姿勢、膝をついている姿勢そのほか任意の姿勢など、画像データ中の人物の姿勢が予め定められたものであるか否か判定することができる。図4は、判定装置300の構成例を示している。図4を参照すると、判定装置300は、主な構成要素として、例えば、操作入力部310と、画面表示部320と、通信I/F部330と、記憶部340と、演算処理部350と、を有している。
【0024】
なお、図4では、1台の情報処理装置を用いて判定装置300としての機能を実現する場合について例示している。しかしながら、判定装置300は、例えば、クラウド上に実現されるなど、複数台の情報処理装置を用いて実現されてもよい。例えば、判定装置300は、画像データに基づいて基準姿勢データを取得する取得装置と、姿勢判定対象となる画像データ中の人物の姿勢が予め定められたものであるか否か基準姿勢データに基づいて判定する判定装置と、から構成されてもよい。また、判定装置300は、操作入力部310や画面表示部320を有さないなど上記例示した構成の一部を含まなくてもよいし、上記例示した以外の構成を有してもよい。
【0025】
操作入力部310は、キーボード、マウスなどの操作入力装置からなる。操作入力部310は、判定装置300を操作する操作者の操作を検出して演算処理部350に出力する。
【0026】
画面表示部320は、LCD(Liquid Crystal Display、液晶ディスプレイ)などの画面表示装置からなる。画面表示部320は、演算処理部350からの指示に応じて、記憶部340に格納されている各種情報などを画面表示することができる。
【0027】
通信I/F部330は、データ通信回路などからなる。通信I/F部330は、通信回線を介して接続された撮像装置200などとの間でデータ通信を行う。
【0028】
記憶部340は、ハードディスクやメモリなどの記憶装置である。記憶部340は、演算処理部350における各種処理に必要な処理情報やプログラム344を記憶する。プログラム344は、演算処理部350に読み込まれて実行されることにより各種処理部を実現する。プログラム344は、通信I/F部330などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部340に保存されている。記憶部340で記憶される主な情報としては、例えば、基準姿勢用画像データ情報341、基準姿勢データ情報342、比較姿勢用画像データ情報343などがある。
【0029】
基準姿勢用画像データ情報341は、撮像装置200などの撮像装置が取得した、基準姿勢データ取得用の画像データを含んでいる。例えば、基準姿勢用画像データ情報341は、後述する画像データ取得部351が撮像装置200やそのほか外部装置から基準姿勢データ取得用の画像データを取得することに応じて更新される。
【0030】
本開示の場合、基準姿勢用画像データ情報341には、基準姿勢データ取得用の画像データとして、同一の姿勢をしていて、かつ、被写体である人物の向きが異なる少なくとも2種類の画像データが含まれる。一例として、基準姿勢用画像データ情報341には、基準姿勢データ取得用の画像データとして、被写体である人物が撮像装置方向である正面を向いている画像データと、任意の関節点を通る垂直方向を軸として被写体である人物が90度回転した右向きの画像データと、が含まれる。なお、基準姿勢用画像データ情報341には、上記例示した以外の被写体の向きが異なる複数の画像データが含まれてもよい。例えば、基準姿勢用画像データ情報341には、3種類以上の被写体の向きが異なる画像データが含まれてもよい。3種類以上の被写体の向きが異なる画像データに基づいて基準姿勢データを取得することで、より精度を向上させることができる。
【0031】
基準姿勢データ情報342は、基準姿勢データとなる各関節点の位置を示す情報などを含んでいる。例えば、基準姿勢データ情報342は、後述する基準姿勢データ取得部353が基準姿勢用画像データ情報341に含まれる各画像データに基づいて基準姿勢データを取得することなどに応じて更新される。
【0032】
図5は、基準姿勢データ情報342の一例を示している。図5を参照すると、基準姿勢データ情報342では、各関節点の識別情報と、座標など各関節点の位置を示す情報である位置情報と、角度情報と、が関連づけられている。ここで、識別情報は、肩、首、腕などの各関節点に対応する情報である。また、位置情報は、関連する関節点の位置を示す位置データなどを含んでいる。位置情報は、位置情報として関節点の位置を示す座標などを含んでいてよい。また、角度情報は、関連する位置情報が、基準姿勢用画像データ情報341に含まれる画像データのうちのいずれの画像データに基づいて取得されたものであるかを示している。例えば、後述する基準姿勢データ取得部353は、被写体である人物が正面を向いている画像データから取得した位置データと、右向きの画像データから取得した位置データのうちのいずれを基準姿勢データとして採用するか、関節点ごとに判断する。そのため、角度情報には、関連する関節点の位置データを取得する際に用いた画像データが正面向きと右向きのいずれであったかに応じた情報が含まれる。例えば、ある関節点の位置データが正面を向いている画像データに基づいて取得された場合、角度情報は0となる。また、ある関節点の位置データが右を向いている画像データに基づいて取得された場合、角度情報はーπ/2となる。なお、上記は一例であり、基準姿勢データ情報342には上記例示した以外の情報が格納されてもよい。
【0033】
比較姿勢用画像データ情報343は、撮像装置200などの撮像装置が取得した、姿勢判定対象となる画像データを含んでいる。例えば、比較姿勢用画像データ情報343は、後述する画像データ取得部351が撮像装置200やそのほか外部装置から姿勢判定用の画像データを取得することに応じて更新される。
【0034】
演算処理部350は、CPU(Central Processing Unit)などの演算装置とその周辺回路を有する。演算処理部350は、記憶部340からプログラム344を読み込んで実行することにより、上記ハードウェアとプログラム344とを協働させて各種処理部を実現する。演算処理部350で実現される主な処理部としては、例えば、画像データ取得部351、骨格推定部352、基準姿勢データ取得部353、類似度算出部354、判定部355、出力部356などがある。例えば、上記処理部のうち、画像データ取得部351、骨格推定部352、基準姿勢データ取得部353などは、基準姿勢データを取得する際に必要な処理を行うことができる。また、画像データ取得部351、骨格推定部352、類似度算出部354、判定部355などは、基準姿勢データが示す予め定められた姿勢と比較姿勢とが一致するか否か判定する際に必要な処理を行うことができる。
【0035】
なお、演算処理部350は、上述したCPUの代わりに、GPU(Graphic Processing Unit)、DSP(Digital Signal Processor)、MPU(Micro Processing Unit)、FPU(Floating point number Processing Unit)、PPU(Physics Processing Unit)、TPU(Tensor Processing Unit)、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを有してもよい。
【0036】
画像データ取得部351は、撮像装置200やそのほか外部装置から画像データを取得する。例えば、画像データ取得部351は、通信I/F部330などを介して、撮像装置200やそのほか外部装置などから画像データを取得する。
【0037】
例えば、画像データ取得部351は、撮像装置200などから姿勢判定対象となる画像データを取得する。また、画像データ取得部351は、取得した画像データを比較姿勢用画像データ情報343として記憶部340に格納する。
【0038】
また、画像データ取得部351は、撮像装置200などから基準姿勢データ取得用の画像データを取得する。例えば、画像データ取得部351は、基準姿勢データ取得用の画像データとして、同一の姿勢をしていて、かつ、被写体である人物の向きが異なる少なくとも2種類の画像データを取得する。また、画像データ取得部351は、取得した複数の画像データを基準姿勢用画像データ情報341として記憶部340にそれぞれ格納する。
【0039】
骨格推定部352は、基準姿勢用画像データ情報341に含まれる画像データや比較姿勢用画像データ情報343に含まれる画像データに対する骨格推定処理を行うことで、画像データに基づいて、各関節点の位置を示す位置データなどを含む骨格データを取得する。例えば、骨格推定部352は、基準姿勢用画像データ情報341に含まれる各画像データに対する骨格推定処理をそれぞれ行うことで、基準姿勢における骨格データを複数取得する。また、骨格推定部352は、比較姿勢用画像データ情報343に含まれる画像データに対する骨格推定処理を行うことで、比較姿勢における骨格データを取得する。
【0040】
本実施形態においては、骨格推定部352が骨格データを取得する際の処理については特に限定しない。例えば、骨格推定部352は、画像データに基づいて骨格データを出力するよう予め訓練された学習済みモデルに対して画像データを入力することなどにより骨格データを取得するなど、既知の技術を用いて骨格データを取得してよい。
【0041】
基準姿勢データ取得部353は、基準姿勢における骨格データに基づいて、基準姿勢データを取得する。基準姿勢データ取得部353は、複数の骨格データそれぞれに含まれる位置データのうちいずれの位置データを基準姿勢データとして採用するか関節点ごとに判断することができる。例えば、基準姿勢データ取得部353は、被写体である人物が正面を向いている画像データから取得した位置データと、右向きの画像データから取得した位置データのうちのいずれを基準姿勢データとして採用するか、関節点ごとに判断する。また、基準姿勢データ取得部353は、判断の結果に応じて取得した位置データを含む位置情報や採用した画像データに応じた角度情報を基準姿勢データ情報342として記憶部340に格納する。
【0042】
本開示の場合、基準姿勢データ取得部353は、位置データの比較を行うことで、基準姿勢データとして採用する位置データなどを判断する。例えば、基準姿勢データ取得部353は、関節点の位置が互いに一致するようにそれぞれの関節点の位置に対して回転の2次元幾何変換をそれぞれ行う。そして、基準姿勢データ取得部353は、一致度がより高い位置データを基準姿勢データとして採用する。
【0043】
具体的に、例えば、基準姿勢データ取得部353は、正面向きの画像データから取得した位置データに対して、所定の基準点を中心に水平方向にcos(π/2)倍することで、正面向きの画像データから取得した位置データを疑似的に右向きの際の位置データに変換する。そして、基準姿勢データ取得部353は、cos(π/2)倍した値と、右向きの画像データから取得した位置データと、の間の距離である第1距離を算出する。また、基準姿勢データ取得部353は、右向きの画像データから取得した位置データに対して、所定の基準点を中心に水平方向にcos(―π/2)倍することで、右向きの画像データから取得した位置データを疑似的に正面向きの際の位置データに変換する。そして、基準姿勢データ取得部353は、cos(―π/2)倍した値と、正面向きの画像データから取得した位置データと、の間の距離である第2距離を算出する。その後、基準姿勢データ取得部353は、上記算出した第1距離と第2距離に基づいて、基準姿勢データとして採用する位置データを判断する。例えば、第1距離よりも第2距離の方が長い場合、基準姿勢データ取得部353は、正面向きの画像データから取得した位置データを基準姿勢データとして採用する旨を判断する。一方、第1距離が第2距離以上である場合、基準姿勢データ取得部353は、右向きの画像データから取得した位置データを基準姿勢データとして採用する旨を判断する。例えば、以上のように、基準姿勢データ取得部353は、距離の短さに応じて、基準姿勢データとして採用する位置データを判断する。例えば、基準姿勢データ取得部353は、上述した第1距離と第2距離に基づく判断を各関節点について行うことで、人物が正面を向いている画像データから取得した位置データと右向きの画像データから取得した位置データのうちのいずれを基準姿勢データとして採用するか関節点ごとに判断することができる。なお、基準姿勢用画像データ情報341に3種類以上の被写体の向きが異なる画像データが含まれる場合でも、基準姿勢データ取得部353は、上述した例と同様に、例えば、距離の短さに応じて基準姿勢データとして採用する位置データを判断してよい。
【0044】
類似度算出部354は、比較姿勢における骨格データに基づいて、当該骨格データと基準姿勢データ情報342が示す基準姿勢データとが似ているか否かを示す類似度を算出する。例えば、類似度算出部354は、各関節点について基準姿勢データが示す位置データと比較姿勢が示す位置データとの間の差を算出して、各関節点において算出した差の和を計算することで上記類似度を算出する。また、類似度算出部354は、任意の基準点を通る垂直方向を軸とした0度~360度の範囲で基準姿勢データが示す基準姿勢を任意に回転させ、比較姿勢ともっとも類似する回転角を特定して、特定した回転角における類似度を算出することができる。例えば、類似度算出部354は、基準姿勢データ取得部353と同様に、所定の基準点を中心に水平方向に位置データが示す位置を回転させることなどにより基準姿勢を回転させてよい。
【0045】
例えば、類似度算出部354は、下記数1で示す式を解くことなどにより、類似度を算出することができる。
【数1】
ここで、数1で示す式では、関節点が1からNまで存在する場合について例示している。
また、yはk番目の関節点における比較姿勢の位置データを示している。また、(T(θ))は、基準姿勢を回転角θ分回転させた状態におけるk番目の関節点の位置データ(基準姿勢の位置データ)を示している。
【0046】
なお、数1では、一例としてユークリッド距離の和を算出している。しかしながら、類似度算出部354は、ユークリッド距離の代わりに、コサイン類似度やL1ノルムなどを算出してもよい。また、類似度算出部354は、値域を(0,1]の範囲に変換するため、exp(-(類似度))を類似度として算出してもよい。また、類似度算出部354は、制約付き1次元最適化ソルバや一般の制約付き最適化ソルバなどを使用して上述した数1を解いてよい。
【0047】
判定部355は、類似度算出部354が算出した類似度に基づいて、比較姿勢が予め定められたものであるか否か判定する。つまり、判定部355は、類似度に基づいて、比較姿勢と基準姿勢とが一致するか否か判定する。例えば、判定部355は、類似度算出部354が算出した類似度が予め定められた条件を満たすか否かに基づいて、比較姿勢が予め定められたものであるか否か判定する。
【0048】
例えば、類似度が予め定められた条件を満たす場合、判定部355は、比較姿勢が予め定められたものであると判定する。つまり、判定部355は、比較姿勢と基準姿勢データが示す基準姿勢とが一致すると判定する。一方、類似度が予め定められた条件を満たさない場合、判定部355は、比較姿勢が予め定められたものでないと判定する。つまり、判定部355は、比較姿勢と基準姿勢データが示す基準姿勢とが一致しないと判定する。
【0049】
なお、条件は、類似度に応じたものであってよい。例えば、類似度算出部354がexp(-(類似度))を類似度として算出する場合、条件は、予め定められた所定閾値以上であるか否かなどであってよい。また、類似度算出部354が数1で示す式を解くことにより類似度を算出する場合、条件は、予め定められた所定閾値未満であるか否かなどであってよい。なお、閾値は任意に設定されてよい。
【0050】
出力部356は、判定部355による判定結果などを出力する。例えば、出力部356は、判定部355による判定結果を画面表示部320上に画面表示させたり、通信I/F部330を介して外部装置へと送信したりすることができる。出力部356は、記憶部340に格納されている各種情報など上記例示した以外の情報を出力してもよい。
【0051】
以上が、判定装置300の構成例である。続いて、図6図7を参照して、判定装置300の動作例について説明する。
【0052】
図6は、基準姿勢データ取得時における判定装置300の動作例を示すフローチャートである。図6を参照すると、画像データ取得部351は、撮像装置200などから画像データを取得する(ステップS101)。例えば、画像データ取得部351は、基準姿勢データ取得用の画像データとして、同一の姿勢をしていて、かつ、被写体である人物の向きが異なる少なくとも2種類の画像データを取得する。
【0053】
骨格推定部352は、基準姿勢用画像データ情報341に含まれる画像データに対する骨格推定処理を行うことで、画像データに基づいて、被写体である人物における各関節点の位置を示す位置データなどを含む骨格データを取得する(ステップS102)。例えば、骨格推定部352は、基準姿勢用画像データ情報341に含まれる各画像データそれぞれから骨格データを取得する。
【0054】
基準姿勢データ取得部353は、ステップS102の処理で取得した骨格データに基づいて、基準姿勢データを取得する。例えば、基準姿勢データ取得部353は、被写体である人物が正面を向いている画像データから取得した位置データと、右向きの画像データから取得した位置データのうちのいずれを基準姿勢データとして採用するか、関節点ごとに判断する(ステップS103)。例えば、基準姿勢データ取得部353は、関節点の位置が互いに一致するようにそれぞれの関節点の位置に対して回転の2次元幾何変換をそれぞれ行う。そして、基準姿勢データ取得部353は、一致度がより高い位置データを基準姿勢データとして採用する。
【0055】
正面向きの画像データから取得した位置データを基準姿勢データとして採用する旨を判断した場合(ステップS103、正面)、基準姿勢データ取得部353は、正面向きの画像データから取得した位置データを取得する(ステップS104)。また、基準姿勢データ取得部353は、取得した位置データなどを基準姿勢データ情報342として記憶部340に格納する。一方、右向きの画像データから取得した位置データを基準姿勢データとして採用する旨を判断した場合(ステップS103、右向き)、基準姿勢データ取得部353は、右向きの画像データから取得した位置データを取得する(ステップS105)。また、基準姿勢データ取得部353は、取得した位置データなどを基準姿勢データ情報342として記憶部340に格納する。
【0056】
基準姿勢データとして位置データなどを取得していない関節点が残っている場合(ステップS106、No)、基準姿勢データ取得部353は、ステップS103の処理に戻って位置データなどを取得するための処理を再度行う。一方、すべての関節点について基準姿勢データとして位置データなどを取得した場合(ステップS106、Yes)、基準姿勢データ取得部353は、処理を終了する。
【0057】
以上が、基準姿勢データ取得時における判定装置300の動作例である。続いて、図7を参照して、姿勢判定時における判定装置300の動作例について説明する。
【0058】
図7は、姿勢判定時における判定装置300の動作例を示すフローチャートである。図7を参照すると、画像データ取得部351は、撮像装置200などから姿勢判定対象となる画像データを取得する(ステップS201)。
【0059】
骨格推定部352は、比較姿勢用画像データ情報343に含まれる画像データに対する骨格推定処理を行うことで、比較姿勢を示す情報として被写体である人物における各関節点の位置を示す位置データなどを含む骨格データを取得する(ステップS202)。
【0060】
類似度算出部354は、ステップS202の処理で取得した比較姿勢における骨格データと、基準姿勢データ情報342が示す基準姿勢データとに基づいて、類似度を算出する(ステップS203)。例えば、類似度算出部354は、各関節点について基準姿勢データが示す位置データと比較姿勢が示す位置データとの間の差を算出して、各関節点において算出した差の和を計算することで上記類似度を算出する。また、上記算出の際、類似度算出部354は、任意の基準点を通る垂直方向を軸とした0度~360度の範囲で基準姿勢データが示す基準姿勢を任意に回転させ、比較姿勢ともっとも類似する回転角を特定することで、特定した回転角における類似度を算出する。
【0061】
判定部355は、類似度算出部354が算出した類似度に基づいて、比較姿勢が予め定められたものであるか否か判定する。例えば、類似度が予め定められた条件を満たす場合(ステップS204、Yes)、判定部355は、比較姿勢が予め定められたものであると判定する(ステップS205)。一方、類似度が予め定められた条件を満たさない場合(ステップS204、No)、判定部355は、比較姿勢が予め定められたものでないと判定する(ステップS206)。
【0062】
以上が、姿勢判定時における判定装置300の動作例である。なお。判定部355による判定のあと、判定部355による判定の結果を出力部356により出力するよう構成してもよい。
【0063】
このように、判定装置300は、類似度算出部354を有している。また、類似度算出部354は、比較姿勢と類似するように基準姿勢を回転させた状態において基準姿勢と比較姿勢の間の類似度を算出するよう構成されている。このような構成によると、類似度算出部354は、基準姿勢の向きと比較姿勢の向きが異なっている場合でも、基準姿勢の向きを補正した上で類似度を算出することができる。その結果、類似度算出部354は、より適切な類似度を算出することができる。これにより、判定装置300は、より適切な判定を行うことができる。換言すると、判定装置300は、回転に対して堅牢な姿勢判定を行うことができる。
【0064】
また、判定装置300は、基準姿勢データ取得部353を有している。このような構成によると、基準姿勢データ取得部353は、同一の姿勢をしていて、かつ、被写体である人物の向きが異なる少なくとも2種類の画像データに基づいて基準姿勢データを取得することができる。その結果、1枚の画像データに基づいて取得する骨格データが欠落する場合でも他の画像データに基づいて取得する骨格データに基づいて補完することができる。これにより、基準姿勢データ取得部353は、より適切な基準姿勢データを取得することができる。
【0065】
[第2の実施形態]
次に、本開示の第2の実施形態について、図8から図10までを参照して説明する。図8は、判定装置400のハードウェア構成例を示す図である。図9は、判定装置400の構成例を示すブロック図である。図10は、取得装置500の構成例を示すブロック図である。
【0066】
本開示の第2の実施形態においては、画像データ中の人物の姿勢が予め定められたものであるか否か判定する情報処理装置である判定装置400の構成例について説明する。また、本実施形態では、判定装置400が判定する際に用いる基準姿勢データを取得する情報処理装置である取得装置500の構成例について説明する。図8は、判定装置400のハードウェア構成例を示している。図8を参照すると、判定装置400は、一例として、以下のようなハードウェア構成を有している。
・CPU(Central Processing Unit)401(演算装置)
・ROM(Read Only Memory)402(記憶装置)
・RAM(Random Access Memory)403(記憶装置)
・RAM403にロードされるプログラム群404
・プログラム群404を格納する記憶装置405
・情報処理装置外部の記録媒体410の読み書きを行うドライブ装置406
・情報処理装置外部の通信ネットワーク411と接続する通信インタフェース407
・データの入出力を行う入出力インタフェース408
・各構成要素を接続するバス409
【0067】
また、判定装置400は、プログラム群404をCPU401が取得して当該CPU401が実行することで、図9に示す算出部421、判定部422としての機能を実現することができる。なお、プログラム群404は、例えば、予め記憶装置405やROM402に格納されており、必要に応じてCP401がRAM403などにロードして実行する。また、プログラム群404は、通信ネットワーク411を介してCPU401に供給されてもよいし、予め記録媒体410に格納されており、ドライブ装置406が該プログラムを読み出してCPU401に供給してもよい。
【0068】
なお、図8は、判定装置400のハードウェア構成例を示している。判定装置400のハードウェア構成は上述した場合に限定されない。例えば、判定装置400は、ドライブ装置406を有さないなど、上述した構成の一部から構成されてもよい。また、CPU401は、第1の実施形態で例示したGPUなどであってもよい。
【0069】
算出部421は、姿勢判定対象となる画像データに基づいて取得される比較姿勢と、少なくとも2種類の画像データに基づいて予め取得された基準姿勢データが示す基準姿勢と、に基づいて、比較姿勢と基準姿勢とが似ているか否かを示す類似度を算出する。
【0070】
判定部422は、算出部421が算出した類似度に基づいて比較姿勢が基準姿勢と一致するか否か判定する。
【0071】
このように、判定装置400は、算出部421と判定部422とを有している。このような構成によると、判定部422は、比較姿勢と、少なくとも2種類の画像データに基づいて予め取得された基準姿勢データが示す基準姿勢と、に基づいて算出された類似度に基づいた判定を行うことができる。その結果、より適切な基準姿勢データに基づいて算出された類似度に基づいて、より適切に判定を行うことができる。
【0072】
なお、上述した判定装置400は、当該判定装置400などの情報処理装置に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、判定装置400などの情報処理装置に、姿勢判定対象となる画像データに基づいて取得される比較姿勢と、少なくとも2種類の画像データに基づいて予め取得された基準姿勢データが示す基準姿勢と、に基づいて、比較姿勢と基準姿勢とが似ているか否かを示す類似度を算出し、算出した類似度に基づいて比較姿勢が基準姿勢と一致するか否か判定する、処理を実現するためのプログラムである。
【0073】
また、上述した判定装置400などの情報処理装置により実行される判定方法は、判定装置400などの情報処理装置が、姿勢判定対象となる画像データに基づいて取得される比較姿勢と、少なくとも2種類の画像データに基づいて予め取得された基準姿勢データが示す基準姿勢と、に基づいて、比較姿勢と基準姿勢とが似ているか否かを示す類似度を算出し、算出した類似度に基づいて比較姿勢が基準姿勢と一致するか否か判定する、という方法である。
【0074】
上述した構成を有する、プログラム、又は、プログラムを記録したコンピュータが読み取り可能な記録媒体、又は、判定方法、の発明であっても、上述した判定装置400と同様の作用・効果を奏するために、上述した本開示の目的を達成することができる。
【0075】
また、上述した基準姿勢データを取得する情報処理装置である取得装置500も、上述した判定装置400と同様に本発明の目的を達成することができる。例えば、取得装置500は、判定装置400と同様に、プログラム群をCPUが取得して当該CPUが実行することで、図10に示す推定部521、取得部522としての機能を実現することができる。なお、取得装置500のハードウェア構成は、図8で例示した判定装置400のハードウェア構成と同様であってよい。
【0076】
推定部521は、画像データに基づいて被写体である人物の骨格を推定して関節点の位置を示す位置データを取得する。
【0077】
取得部522は、少なくとも2種類の画像データそれぞれに基づいて推定部521が取得した2種類の前記位置データに基づいて、基準姿勢を示す基準姿勢データを取得する。
【0078】
このような構成によると、取得部522は、少なくとも2種類の画像データそれぞれに基づいて推定部521が取得した2種類の前記位置データに基づいて、基準姿勢を示す基準姿勢データを取得することができる。その結果、取得部522はより適切に基準姿勢データを取得することができる。これにより、より適切な判定を行うことができる。
【0079】
<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における判定装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
【0080】
(付記1)
姿勢判定対象となる画像データに基づいて取得される比較姿勢と、少なくとも2種類の画像データに基づいて予め取得された基準姿勢データが示す基準姿勢と、に基づいて、比較姿勢と基準姿勢とが似ているか否かを示す類似度を算出する算出部と、
前記算出部が算出した類似度に基づいて比較姿勢が基準姿勢と一致するか否か判定する判定部と、
を有する
判定装置。
(付記2)
付記1に記載の判定装置であって、
前記算出部は、前記比較姿勢と、被写体が同一の姿勢である少なくとも2種類の画像データに基づいて予め取得された前記基準姿勢データが示す前記基準姿勢と、に基づいて、前記類似度を算出する
判定装置。
(付記3)
付記1または付記2に記載の判定装置であって、
前記算出部は、前記比較姿勢と、被写体が同一の姿勢でかつ被写体の向きが異なる少なくとも2種類の画像データに基づいて予め取得された前記基準姿勢データが示す前記基準姿勢と、に基づいて、前記類似度を算出する
判定装置。
(付記4)
付記1から付記3までのうちのいずれか1項に記載の判定装置であって、
前記算出部は、前記比較姿勢と、被写体の向きが異なる少なくとも2種類の画像データそれぞれから取得した関節点の位置データに基づいて取得された前記基準姿勢データが示す基準姿勢と、に基づいて前記類似度を算出する
判定装置。
(付記5)
付記4に記載の判定装置であって、
前記基準姿勢データは、当該基準姿勢データに含まれる各関節点について、少なくとも2種類の画像データそれぞれから取得した位置データのうち予め選択されたいずれか1つの画像データから取得した位置データを含んでいる
判定装置。
(付記6)
付記1から付記5までのうちのいずれか1項に記載の判定装置であって、
前記算出部は、任意の基準点を通る垂直方向を軸として前記比較姿勢と類似するように前記基準姿勢を回転させた状態における前記類似度を算出する
判定装置。
(付記6-1)
付記1から付記6までのうちのいずれか1項に記載の判定装置であって、
画像データに基づいて被写体である人物の骨格を推定して関節点の位置を示す位置データを取得する推定部と、
少なくとも2種類の画像データそれぞれに基づいて前記推定部が取得した2種類の前記位置データに基づいて前記基準姿勢データを取得する取得部と、
を有する
判定装置。
(付記7)
情報処理装置が、
姿勢判定対象となる画像データに基づいて取得される比較姿勢と、少なくとも2種類の画像データに基づいて予め取得された基準姿勢データが示す基準姿勢と、に基づいて、比較姿勢と基準姿勢とが似ているか否かを示す類似度を算出し、
算出した類似度に基づいて比較姿勢が基準姿勢と一致するか否か判定する
判定方法。
(付記8)
情報処理装置に、
姿勢判定対象となる画像データに基づいて取得される比較姿勢と、少なくとも2種類の画像データに基づいて予め取得された基準姿勢データが示す基準姿勢と、に基づいて、比較姿勢と基準姿勢とが似ているか否かを示す類似度を算出し、
算出した類似度に基づいて比較姿勢が基準姿勢と一致するか否か判定する
処理を実現するためのプログラム。
(付記9)
画像データに基づいて被写体である人物の骨格を推定して関節点の位置を示す位置データを取得する推定部と、
少なくとも2種類の画像データそれぞれに基づいて前記推定部が取得した2種類の前記位置データに基づいて、基準姿勢を示す基準姿勢データを取得する取得部と、
を有する
取得装置。
(付記10)
付記9に記載の取得装置であって、
前記取得部は、前記推定部が推定した2種類の前記位置データを比較することで、少なくとも2種類の画像データそれぞれから取得した位置データのうち比較の結果に基づいて選択したいずれか1つの画像データから取得した位置データを前記基準姿勢データとして取得する
取得装置。
【0081】
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
【0082】
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
【符号の説明】
【0083】
100 判定システム
200 撮像装置
300 判定装置
310 操作入力部
320 画面表示部
330 通信I/F部
340 記憶部
341 基準姿勢用画像データ情報
342 基準姿勢データ情報
343 比較姿勢用画像データ情報
344 プログラム
350 演算処理部
351 画像データ取得部
352 骨格推定部
353 基準姿勢データ取得部
354 類似度算出部
355 判定部
356 出力部
400 判定装置
401 CPU
402 ROM
403 RAM
404 プログラム群
405 記憶装置
406 ドライブ装置
407 通信インタフェース
408 入出力インタフェース
409 バス
410 記録媒体
411 通信ネットワーク
421 算出部
422 判定部
500 取得装置
521 推定部
522 取得部

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10