知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024054909
(43)【公開日】2024-04-18
(54)【発明の名称】姿勢推定システム
(51)【国際特許分類】
G06T 7/70 20170101AFI20240411BHJP
G06T 7/00 20170101ALI20240411BHJP
【ＦＩ】
G06T7/70 Z
G06T7/00 660B
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022161367
(22)【出願日】2022-10-06
(11)【特許番号】
(45)【特許公報発行日】2023-10-20
(71)【出願人】
【識別番号】518126409
【氏名又は名称】株式会社アジラ
(74)【代理人】
【識別番号】100176256
【弁理士】
【氏名又は名称】相田 隆敬
(72)【発明者】
【氏名】稲岡 駿
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096CA02
5L096DA02
5L096FA67
5L096FA69
5L096GA19
5L096KA04
(57)【要約】
【課題】 撮影画像に収差を生じさせる撮影手段によって撮影された画像であっても、当該画像に映った行動体の姿勢を高精度に推定することの可能な姿勢推定システムを提供する。
【解決手段】 姿勢推定システム１では、行動体Ｚの第１の姿勢に関する第１のデータを参照して、撮影画像に収差を生じさせる撮影手段Ｘにより撮影されたサンプル画像Ｙ１に映ったサンプル行動体Ｚ１が第１の姿勢を有していると推定された場合に、推定された姿勢に関するデータと、第１のデータと、の差異に基づき、サンプル画像Ｙ１内のサンプル行動体Ｚ１が位置する領域における撮影手段Ｘの収差の影響度を決定する。その後、行動体Ｚの第２の姿勢に関する第２のデータと、決定された影響度と、を参照して、撮影手段Ｘにより撮影された対象画像Ｙ２内の上記領域に映った対象行動体Ｚ２が第２の姿勢を有しているか否かを推定する。
【選択図】図５
【解決手段】 姿勢推定システム１では、行動体Ｚの第１の姿勢に関する第１のデータを参照して、撮影画像に収差を生じさせる撮影手段Ｘにより撮影されたサンプル画像Ｙ１に映ったサンプル行動体Ｚ１が第１の姿勢を有していると推定された場合に、推定された姿勢に関するデータと、第１のデータと、の差異に基づき、サンプル画像Ｙ１内のサンプル行動体Ｚ１が位置する領域における撮影手段Ｘの収差の影響度を決定する。その後、行動体Ｚの第２の姿勢に関する第２のデータと、決定された影響度と、を参照して、撮影手段Ｘにより撮影された対象画像Ｙ２内の上記領域に映った対象行動体Ｚ２が第２の姿勢を有しているか否かを推定する。
【選択図】図５
【特許請求の範囲】
【請求項1】
行動体の第１の姿勢に関する第１のデータを記憶した第１の記憶部と、
撮影画像に収差を生じさせる撮影手段により撮影されたサンプル画像を取得する第１の取得部と、
前記第１のデータを参照して、前記サンプル画像に映ったサンプル行動体が前記第１の姿勢を有しているか否かを推定する第１の推定部と、
前記サンプル行動体が前記第１の姿勢を有していると推定された場合に、前記推定された姿勢に関するデータと、前記第１のデータと、の差異に基づき、前記サンプル画像内の前記サンプル行動体が位置する領域における前記撮影手段の収差の影響度を決定する決定部と、
行動体の第２の姿勢に関する第２のデータを記憶した第２の記憶部と、
前記撮影手段により撮影された対象画像を取得する第２の取得部と、
前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定する第２の推定部と、
を備えたことを特徴とする姿勢推定システム。
撮影画像に収差を生じさせる撮影手段により撮影されたサンプル画像を取得する第１の取得部と、
前記第１のデータを参照して、前記サンプル画像に映ったサンプル行動体が前記第１の姿勢を有しているか否かを推定する第１の推定部と、
前記サンプル行動体が前記第１の姿勢を有していると推定された場合に、前記推定された姿勢に関するデータと、前記第１のデータと、の差異に基づき、前記サンプル画像内の前記サンプル行動体が位置する領域における前記撮影手段の収差の影響度を決定する決定部と、
行動体の第２の姿勢に関する第２のデータを記憶した第２の記憶部と、
前記撮影手段により撮影された対象画像を取得する第２の取得部と、
前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定する第２の推定部と、
を備えたことを特徴とする姿勢推定システム。
【請求項2】
前記サンプル画像は複数の領域に分割され、
前記決定部は、多数のサンプル画像に映った多数のサンプル行動体について推定された第１の姿勢に基づいて、分割された各領域について前記影響度を決定することを特徴とする請求項１に記載の姿勢推定システム。
前記決定部は、多数のサンプル画像に映った多数のサンプル行動体について推定された第１の姿勢に基づいて、分割された各領域について前記影響度を決定することを特徴とする請求項１に記載の姿勢推定システム。
【請求項3】
前記サンプル画像は複数の領域に分割され、
前記決定部は、多数のサンプル画像に映った多数のサンプル行動体について推定された第１の姿勢に基づいて、分割された一部の領域について前記影響度を決定し、前記一部の領域について決定された影響度の分布を参照して、分割された他の領域についての前記影響度を決定することを特徴とする請求項１に記載の姿勢推定システム。
前記決定部は、多数のサンプル画像に映った多数のサンプル行動体について推定された第１の姿勢に基づいて、分割された一部の領域について前記影響度を決定し、前記一部の領域について決定された影響度の分布を参照して、分割された他の領域についての前記影響度を決定することを特徴とする請求項１に記載の姿勢推定システム。
【請求項4】
行動体の第１の姿勢に関する第１のデータを記憶した第１の記憶部と、
撮影画像に収差を生じさせる撮影手段により撮影されたサンプル画像を取得する第１の取得部と、
前記第１のデータを参照して、前記サンプル画像に映ったサンプル行動体が前記第１の姿勢を有しているか否かを推定する第１の推定部と、
前記サンプル行動体が前記第１の姿勢を有していると推定された場合に、前記推定された姿勢に関するデータと、前記第１のデータと、の差異に基づき、前記サンプル画像内の前記サンプル行動体が位置する領域における前記撮影手段の収差の影響度を決定する決定部と、
を備え、
行動体の第２の姿勢に関する第２のデータを記憶した第２の記憶部と、前記撮影手段により撮影された対象画像を取得する第２の取得部と、前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定する第２の推定部と、を有する姿勢推定装置との間で通信可能であることを特徴とする学習装置。
撮影画像に収差を生じさせる撮影手段により撮影されたサンプル画像を取得する第１の取得部と、
前記第１のデータを参照して、前記サンプル画像に映ったサンプル行動体が前記第１の姿勢を有しているか否かを推定する第１の推定部と、
前記サンプル行動体が前記第１の姿勢を有していると推定された場合に、前記推定された姿勢に関するデータと、前記第１のデータと、の差異に基づき、前記サンプル画像内の前記サンプル行動体が位置する領域における前記撮影手段の収差の影響度を決定する決定部と、
を備え、
行動体の第２の姿勢に関する第２のデータを記憶した第２の記憶部と、前記撮影手段により撮影された対象画像を取得する第２の取得部と、前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定する第２の推定部と、を有する姿勢推定装置との間で通信可能であることを特徴とする学習装置。
【請求項5】
行動体の第１の姿勢に関するデータを記憶した記憶部と、撮影画像に収差を生じさせる撮影手段により撮影されたサンプル画像を取得する第１の取得部と、前記第１のデータを参照して、前記サンプル画像に映ったサンプル行動体が前記第１の姿勢を有しているか否かを推定する第１の推定部と、前記サンプル行動体が前記第１の姿勢を有していると推定された場合に、前記推定された姿勢に関するデータと、前記第１のデータと、の差異に基づき、前記サンプル画像内の前記サンプル行動体が位置する領域における前記撮影手段の収差の影響度を決定する決定部と、を有する学習装置との間で通信可能な姿勢推定装置であって、
行動体の第２の姿勢に関する第２のデータを記憶した第２の記憶部と、
前記撮影手段により撮影された対象画像を取得する第２の取得部と、
前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定する第２の推定部と、
を備えたことを特徴とする推定装置。
行動体の第２の姿勢に関する第２のデータを記憶した第２の記憶部と、
前記撮影手段により撮影された対象画像を取得する第２の取得部と、
前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定する第２の推定部と、
を備えたことを特徴とする推定装置。
【請求項6】
行動体の第１の姿勢に関する第１のデータ及び第２の姿勢に関する第２のデータを記憶したコンピュータで実行されるプログラムであって、
撮影画像に収差を生じさせる撮影手段により撮影されたサンプル画像を取得するステップと、
前記第１のデータを参照して、前記サンプル画像に映ったサンプル行動体が前記第１の姿勢を有しているか否かを推定するステップと、
前記サンプル行動体が前記第１の姿勢を有していると推定された場合に、前記推定された姿勢に関するデータと、前記第１のデータと、の差異に基づき、前記サンプル画像内の前記サンプル行動体が位置する領域における前記撮影手段の収差の影響度を決定するステップと、
前記撮影手段により撮影された対象画像を取得するステップと、
前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定するステップと、
を備えたことを特徴とする姿勢推定プログラム。
撮影画像に収差を生じさせる撮影手段により撮影されたサンプル画像を取得するステップと、
前記第１のデータを参照して、前記サンプル画像に映ったサンプル行動体が前記第１の姿勢を有しているか否かを推定するステップと、
前記サンプル行動体が前記第１の姿勢を有していると推定された場合に、前記推定された姿勢に関するデータと、前記第１のデータと、の差異に基づき、前記サンプル画像内の前記サンプル行動体が位置する領域における前記撮影手段の収差の影響度を決定するステップと、
前記撮影手段により撮影された対象画像を取得するステップと、
前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定するステップと、
を備えたことを特徴とする姿勢推定プログラム。
【請求項7】
行動体の第１の姿勢に関する第１のデータ及び第２の姿勢に関する第２のデータを記憶したコンピュータで実行される方法であって、
撮影画像に収差を生じさせる撮影手段により撮影されたサンプル画像を取得するステップと、
前記第１のデータを参照して、前記サンプル画像に映ったサンプル行動体が前記第１の姿勢を有しているか否かを推定するステップと、
前記サンプル行動体が前記第１の姿勢を有していると推定された場合に、前記推定された姿勢に関するデータと、前記第１のデータと、の差異に基づき、前記サンプル画像内の前記サンプル行動体が位置する領域における前記撮影手段の収差の影響度を決定するステップと、
前記撮影手段により撮影された対象画像を取得するステップと、
前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定するステップと、
を備えたことを特徴とする姿勢推定方法。
撮影画像に収差を生じさせる撮影手段により撮影されたサンプル画像を取得するステップと、
前記第１のデータを参照して、前記サンプル画像に映ったサンプル行動体が前記第１の姿勢を有しているか否かを推定するステップと、
前記サンプル行動体が前記第１の姿勢を有していると推定された場合に、前記推定された姿勢に関するデータと、前記第１のデータと、の差異に基づき、前記サンプル画像内の前記サンプル行動体が位置する領域における前記撮影手段の収差の影響度を決定するステップと、
前記撮影手段により撮影された対象画像を取得するステップと、
前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定するステップと、
を備えたことを特徴とする姿勢推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影画像に収差を生じさせる撮影手段によって撮影された画像であっても、当該画像に映った行動体の姿勢を高精度に推定することの可能な姿勢推定システムに関する。
【背景技術】
【0002】
従来より、映像に映った複数の関節のうち、基本姿勢に含まれるものを判別することで、行動体を特定する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第６５２５１７９号
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記技術により、例えば、映像に映った複数の関節が“直立”に相当する基本姿勢に含まれるならば、当該複数の関節を有する行動体の姿勢は“直立”であると判断することが可能である。
【0005】
しかしながら、撮影画像に収差を生じさせる撮影手段によって撮影された画像の場合、例えば、当該画像の端部には歪みが生じ、当該画像の端部に存在する行動体も歪んで映ってしまうこととなる。このような場合、上記技術では、行動体の姿勢を、実際には“直立”であるのに、“屈曲”と誤って推定してしまうことが生じ得る。
【0006】
そこで、本発明は、撮影画像に収差を生じさせる撮影手段によって撮影された画像であっても、当該画像に映った行動体の姿勢を高精度に推定することの可能な姿勢推定システムを提供することを目的としている。
【課題を解決するための手段】
【0007】
本発明は、行動体の第１の姿勢に関する第１のデータを記憶した第１の記憶部と、撮影画像に収差を生じさせる撮影手段により撮影されたサンプル画像を取得する第１の取得部と、前記第１のデータを参照して、前記サンプル画像に映ったサンプル行動体が前記第１の姿勢を有しているか否かを推定する第１の推定部と、前記サンプル行動体が前記第１の姿勢を有していると推定された場合に、前記推定された姿勢に関するデータと、前記第１のデータと、の差異に基づき、前記サンプル画像内の前記サンプル行動体が位置する領域における前記撮影手段の収差の影響度を決定する決定部と、行動体の第２の姿勢に関する第２のデータを記憶した第２の記憶部と、前記撮影手段により撮影された対象画像を取得する第２の取得部と、前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定する第２の推定部と、を備えたことを特徴とする姿勢推定システムを提供している。
【0008】
また、本発明の別の観点によれば、上記姿勢推定システムに対応する学習装置、推定装置、姿勢推定プログラム、及び、姿勢推定方法を提供している。
【発明の効果】
【0009】
本発明の姿勢推定システムによれば、撮影画像に収差を生じさせる撮影手段によって撮影された画像であっても、当該画像に映った行動体の姿勢を高精度に推定することが可能となる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施の形態による姿勢推定システムの使用状態の説明図
【図2】本発明の実施の形態による姿勢推定システムのブロック図
【図3】本発明の実施の形態による“直立”姿勢に関するデータの説明図
【図4】本発明の実施の形態による撮影手段による収差の影響の説明図
【図5】本発明の実施の形態による姿勢推定のフローチャート
【発明を実施するための形態】
【0011】
【0012】
姿勢推定システム１は、撮影画像に収差を生じさせる撮影手段Ｘによって撮影された画像Ｙ（図１では、映像を構成するフレーム）であっても、当該画像Ｙに映った行動体Ｚの姿勢を高精度に推定するためのものである。本実施の形態では、行動体Ｚとして人間を採用し、理解容易のため、行動体Ｚを骨格だけで簡易的に表示する。また、本実施の形態では、収差として、歪曲収差を例に説明を行う。
【0013】
姿勢推定システム１は、図２に示すように、学習装置２と、推定装置３と、を備えており、学習装置２によって学習されたデータを参照して、推定装置３が行動体Ｚの姿勢を推定する。
【0014】
学習装置２は、第１の記憶部２１と、第１の取得部２２と、第１の推定部２３と、決定部２４と、を備えている。
【0015】
第１の記憶部２１は、行動体の第１の姿勢に関する第１のデータを記憶している。本実施の形態では、“関節識別基準”と、“行動体識別基準”と、を記憶している。
【0016】
“関節識別基準”は、行動体Ｚの複数の関節Ａ（図１では、首、右肘、左肘、腰、右膝、左膝）を識別するためのものであり、関節Ａごとに、それぞれを識別するための形状、方向、サイズ等を示したものである。
【0017】
“行動体識別基準”は、行動体Ｚの様々なバリエーション（“歩行”、“直立”等）の “基本姿勢“、”各関節Ａの可動域“、一の行動体Ｚにおける”各関節Ａ間の距離“等を示したものである。
【0018】
上記行動体Ｚの様々なバリエーションの“基本姿勢”のうちの１つが、本発明の“第１の姿勢”に相当し、第１の記憶部２１には、例えば、“直立”の場合の各関節Ａの位置関係が第１の姿勢に関する第１のデータとして記憶されている。図３は、“直立”の場合の各関節Ａの位置関係を例示したものである。
【0019】
第１の取得部２２は、撮影画像に収差を生じさせる撮影手段Ｘにより撮影されたサンプル画像Ｙ１を取得する。本実施の形態では、映像を構成する一の画像（フレーム）を取得するものとする。
【0020】
第１の推定部２３は、第１のデータを参照して、サンプル画像Ｙ１に映ったサンプル行動体Ｚ１が第１の姿勢を有しているか否かを推定する。
【0021】
上記推定に当たっては、サンプル画像Ｙ１に映ったサンプル行動体Ｚ１を検出する必要があるが、本実施の形態では、第１の記憶部２１に記憶された“関節識別基準”に該当する複数の関節Ａを検出した上で、“行動体識別基準”を参照して、一のサンプル行動体Ｚ１に含まれる複数の関節Ａを特定する。図１の例では、関節Ａ１－Ａ６が一のサンプル行動体Ｚ１に含まれる関節Ａであると特定され、一のサンプル行動体Ｚ１が存在するものと検出される。従って、この方法を用いる場合には、サンプル行動体Ｚ１が存在するものと検出した時点で、サンプル行動体Ｚ１が第１の姿勢を有しているか否かを推定できることとなる。
【0022】
なお、本実施の形態では、第１の推定部２３は、サンプル行動体Ｚ１の姿勢に関するデータが、第１のデータと完全一致していなくても、所定範囲内の誤差であれば、「第１の姿勢を有している」と推定するものとする。
【0023】
ところで、実際のサンプル行動体Ｚ１は“直立”の姿勢をとっている場合でも、撮影手段Ｘの収差の影響により、図４に示すように、サンプル画像Ｙ１にはサンプル行動体Ｚ１が歪んで映ることが考えられる（歪曲収差の場合には、歪みは、サンプル画像Ｙ１の端部に近づくに従い顕著となる）。
【0024】
従って、上記したように、第１の推定部２３は、サンプル行動体Ｚ１の姿勢に関するデータと、第１のデータと、が所定範囲内の誤差であれば「第１の姿勢を有している」と推定することができるが、例えば、所定範囲以上の誤差になってしまったような場合には、第１の姿勢と推定することができなくなってしまう。
【0025】
そこで、本実施の形態では、所定範囲以上の誤差になってしまったような場合等でも姿勢推定が可能となるように、学習装置２側の決定部２４で、撮影手段Ｘの収差の影響度を予め決定しておく。
【0026】
詳細には、決定部２４は、サンプル行動体Ｚ１が第１の姿勢を有していると推定された場合に、推定された姿勢に関するデータと、第１のデータと、の差異に基づき、サンプル画像Ｙ１内のサンプル行動体Ｚ１が位置する領域Ｒにおける撮影手段Ｘの収差の影響度を決定する。
【0027】
影響度は、例えば、図３に示す“直立”の場合の各関節Ａの位置関係を示したデータと、図４に映ったサンプル行動体Ｚ１の各関節Ａの位置関係を示したデータと、を比較し、各関節Ａの位置、角度の差異等に基づき決定することが考えられる。
【0028】
また、本実施の形態では、図４に示すように、サンプル画像Ｙ１を複数の領域に分割しておき、サンプル行動体Ｚ１が含まれる領域Ｒにおける撮影手段Ｘの収差の影響度を決定するものとする。なお、図４に示すように、サンプル行動体Ｚ１が複数の領域Ｒに跨って位置している場合には、複数の領域Ｒについて共通の影響度を決定しても良いし、各領域Ｒに含まれる関節Ａだけで影響度を決定しても良い。
【0029】
更に、本実施の形態では、多数のサンプル画像Ｙ１に映った多数のサンプル行動体Ｚ１について推定された第１の姿勢に基づいて、分割された各領域Ｒについて影響度を決定（ＡＩモデルで学習）し、第１の記憶部２１に記憶するものとする。例えば、一の領域Ｒで推定された多数の第１の姿勢に関するデータの平均値と、第１のデータと、の差異をその領域Ｒでの影響度と決定し、これを各領域について行う方法等が考えられる。
【0030】
推定装置３は、第２の記憶部３１と、第２の取得部３２と、第２の推定部３３と、を備えている。
【0031】
第２の記憶部３１は、第１の記憶部２１と同様に、“関節識別基準”と、“行動体識別基準”と、を記憶していると共に、行動体の第２の姿勢に関する第２のデータを記憶している。本実施の形態では、第２の姿勢に関する第２のデータは、第１の姿勢に関する第２のデータと同一の“直立”に関するものとするが、推定したい姿勢が複数ある場合には、それら複数の姿勢に関する第２のデータをそれぞれ記憶しておくことが好ましい。
【0032】
第２の取得部３２は、撮影手段Ｘにより撮影された対象画像Ｙ２を取得する。撮影手段Ｘは、サンプル画像Ｙ１を撮影した現物である必要はないが、同一モデル等の同一の収差を有するものを用いるものとする。
【0033】
第２の推定部３３は、第２のデータと、決定部２４により決定された影響度と、を参照して、対象画像Ｙ２内の領域Ｒに映った対象行動体Ｚ２が第２の姿勢を有しているか否かを推定する。
【0034】
推定に当たっては、対象行動体Ｚ２を検出することとなるが、本実施の形態では、第１の推定部２３と同様の方法で検出を行うものとする。
【0035】
その上で、検出された対象行動体Ｚ２の姿勢に関するデータを領域Ｒについて決定された影響度で補正し、補正されたデータと、第２のデータと、を比較することで、対象行動体Ｚ２が第２の姿勢を有しているか否かを推定する。
【0036】
これにより、撮影画像に収差を生じさせる撮影手段Ｘによって撮影された対象画像Ｙ２であっても、当該対象画像Ｙ２に映った対象行動体Ｚ２の姿勢を高精度に推定することが可能となる。また、第１の姿勢に関する第１のデータに基づいて影響度を決定しておけば、決定された影響度は、推定段階において第１の姿勢以外の姿勢についてもそのまま援用することが可能となる。
【0037】
続いて、図５のフローチャートを用いて、姿勢推定システム１による姿勢推定の流れについて説明する。
【0038】
本実施の形態の姿勢推定システム１による姿勢推定は、“学習段階”と“推定段階”の２段階で行われる。
【0039】
（１）学習段階
【0040】
学習段階では、まず、サンプル画像Ｙ１が取得されると（Ｓ１）、第１のデータを参照して、サンプル画像Ｙ１に映ったサンプル行動体Ｚ１が第１の姿勢を有しているか否かが推定される（Ｓ２）。
【0041】
第１の姿勢を有していると推定された場合（Ｓ２：ＹＥＳ）、推定された姿勢に関するデータと、第１のデータと、の差異に基づき、サンプル画像Ｙ１内のサンプル行動体Ｚ１が位置する領域Ｒにおける撮影手段Ｘの収差の影響度を決定する（Ｓ３）。Ｓ１－Ｓ３は、多数のサンプル画像Ｙ１に映った多数のサンプル行動体Ｚ１について推定された第１の姿勢について行い、分割された全ての領域Ｒについて影響度を決定することが好ましい。
【0042】
（２）推定段階
【0043】
続いて、推定段階では、撮影手段Ｘにより撮影された対象画像Ｙ２が取得されると（Ｓ４）、第２のデータと、決定された影響度と、を参照して、対象画像Ｙ２内の領域Ｒに映った対象行動体Ｚ２が第２の姿勢を有しているか否かを推定する（Ｓ５）。
【0044】
なお、学習装置２において十分に影響度を学習した後は、推定装置３のみを作動させれば良い。
【0045】
以上説明したように、本実施の形態による姿勢推定システム１では、学習段階において、推定された姿勢に関するデータと、第１の姿勢に関する第１のデータと、の差異に基づき、撮影手段Ｘの収差の影響度を決定しておき、推定段階において、第２の姿勢に関する第２のデータと、決定された影響度と、に基づき、対象画像Ｙ２に映った対象行動体Ｚ２が第２の姿勢を有しているか否かを推定する。
【0046】
このような構成によれば、撮影画像に収差を生じさせる撮影手段Ｘによって撮影された対象画像Ｙ２であっても、当該対象画像Ｙ２に映った対象行動体Ｚ２の姿勢を高精度に推定することが可能となる。また、第１の姿勢に関する第１のデータに基づいて影響度を決定しておけば、決定された影響度は、推定段階において第１の姿勢以外の姿勢についてもそのまま援用することが可能となる。
【0047】
また、本実施の形態による姿勢推定システム１では、決定部２４は、多数のサンプル画像Ｙ１に映った多数のサンプル行動体Ｚ１について推定された第１の姿勢に基づいて、分割された各領域Ｒについて影響度を決定することが好ましい。
【0048】
このような構成によれば、簡易な方法を用いて画像内の全範囲について満遍なく影響度を決定することが可能となる。
【0049】
尚、本発明の姿勢推定システムは、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。
【0050】
例えば、上記実施の形態では、学習段階において、サンプル行動体Ｚ１の姿勢に関するデータと、第１のデータと、が所定領域の誤差であれば、「第１の姿勢を有している」と推定することができたが、撮影手段Ｘの収差が大きい場合には、「第１の姿勢を有している」と全く推定できない（ほとんど推定できない）ことも考えられる。
【0051】
従って、学習段階において上記した方法での推定（ＡＩモデルでの学習）が難しい場合には、ルールベースでの推定を行ってもよく、この場合も本発明の“推定”に含まれる。例えば、第１の姿勢“直立”を推定したい場合には、「各関節Ａが一様に歪んでいる」、「連続するサンプル画像Ｙ１において各関節Ａに動きがない」等のルールに該当する場合に“直立”と推定することが考えられる。
【0052】
また、上記実施の形態では、分割された全ての領域Ｒについて影響度を決定したが、収差の影響度の大きい部分（端部等）についてのみ影響度を決定しても良い。
【0053】
また、上記実施の形態では、画像を領域Ｒに分割したが、必ずしも分割しなくても良い。分割しない場合には、例えば、画像の複数位置で得られた姿勢に関するデータから、画像内の各位置の影響度を統計的に予測することが考えられる。歪曲収差の場合、画像の中央付近は影響度がほぼなく、周辺に近づくに従い影響度が大きくなるような分布となることが考えられる。
【0054】
また、画像を領域Ｒに分割する場合であっても、画像内の各位置の影響度を統計的に予測しても良い。例えば、決定部２４は、多数のサンプル画像Ｙ１に映った多数のサンプル行動体Ｚ１について推定された第１の姿勢に基づいて、分割された一部の領域Ｒについて影響度を決定し、一部の領域について決定された影響度の分布を参照して、分割された他の領域Ｒについての影響度を決定する方法が考えられる。これにより、ある領域Ｒでは姿勢に関するデータを十分に取得できなかったような場合であっても、全ての領域Ｒ又は必要な領域Ｒについて影響度を決定することが可能となる。
【0055】
また、上記実施の形態では、歪曲収差の影響を抑制する例を用いて説明を行ったが、像面湾曲等の他の収差の影響を抑制するために影響度を決定しても良い。
【0056】
また、上記実施の形態では、「検出された対象行動体Ｚ２のデータを影響度で補正し、補正されたデータと、第２のデータと、を比較することで、対象行動体Ｚ２が第２の姿勢を有しているか否かを推定」したが、「第２のデータを影響度で補正し、補正されたデータと、検出された対象行動体Ｚ２のデータと、を比較することで、対象行動体Ｚ２が第２の姿勢を有しているか否かを推定」しても良い。
【0057】
また、上記実施の形態では、第１の姿勢が“直立”の場合を例として説明を行ったが、“直立”以外の姿勢を用いて影響度を決定しても良い。
【0058】
また、行動体の行動（歩行、転倒等）が分かっていれば、より高精度に姿勢推定を行うことが可能となるので、姿勢推定に当たり、行動体の行動を更に考慮しても良い。この場合、第１の記憶部２１（第２の記憶部３１）に、行動体Ｚが様々な行動を行った場合の各関節の動きを示した“行動識別基準”を記憶しておき、サンプル行動体Ｚ１（対象行動体Ｚ２）を特定した後に、連続するサンプル画像Ｙ１（対象画像Ｙ２）において“行動識別基準”に該当する各関節の動きを検出した場合に「サンプル行動体Ｚ１（対象行動体Ｚ２）が該当する行動を行った」と検出することが可能である。
【0059】
また、上記実施の形態では、行動体Ｚが存在することを検出した時点で、行動体Ｚが第１又は第２の姿勢を有しているか否かを推定できたが、行動体Ｚを検出した後に行動体Ｚが第１又は第２の姿勢を有しているか否かを改めて推定しても良いことはもちろんである。
【0060】
また、上記実施の形態では、第１の取得部２２と第２の取得部３２、及び、第１の推定部２３と第２の推定部３３は、学習装置２と推定装置３にそれぞれ設けられていたが、これらは共通して使用されてもよい。また、第１の記憶部２１及び第２の記憶部３１は、学習装置２及び推定装置３のそれぞれに設けられていたが、同一のデータを記憶した記憶部をいずれか一方に設けても良いし、学習装置２及び推定装置３のいずれとも別体に設けても良い。更に、上記実施の形態では、学習装置２と推定装置３は通信可能に別体に設けられていたが、学習装置２と推定装置３は一体であってもよい。
【0061】
また、上記実施の形態では、行動体Ｚとして人間を例に説明したが、動物やロボットについて使用することも可能である。
【0062】
また、上記実施の形態では複数の関節の動きに基づいて行動体の行動を検出したが、関節を検出することなく他の方法で行動体の行動を検出しても良い。
【0063】
また、本発明は、コントローラとしての第１の取得部２２、第１の推定部２３、及び、決定部２４が行う処理、及び、コントローラとしての第２の取得部３２、及び、第２の推定部３３が行う処理に相当するプログラム及び方法や、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体としては、ＣＤ－ＲＯＭ等が考えられるが、それに限定されるものではない。
【符号の説明】
【0064】
１ 姿勢推定システム
２ 学習装置
３ 推定装置
２１ 第１の記憶部
２２ 第１の取得部
２３ 第１の推定部
２４ 決定部
３１ 第２の記憶部
３２ 第２の取得部
３３ 第２の推定部
Ｒ 領域
Ｘ 撮影手段
Ｙ 画像
Ｚ 行動体
２ 学習装置
３ 推定装置
２１ 第１の記憶部
２２ 第１の取得部
２３ 第１の推定部
２４ 決定部
３１ 第２の記憶部
３２ 第２の取得部
３３ 第２の推定部
Ｒ 領域
Ｘ 撮影手段
Ｙ 画像
Ｚ 行動体
【図1】
【図2】
【図3】
【図4】
【図5】
【手続補正書】
【提出日】2023-08-07
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
行動体の第１の姿勢に関する第１のデータを記憶した第１の記憶部と、
撮影画像に収差を生じさせる撮影手段により撮影されたサンプル画像を取得する第１の取得部と、
前記第１のデータを参照して、前記サンプル画像に映ったサンプル行動体が前記第１の姿勢を有しているか否かを推定する第１の推定部と、
前記サンプル行動体が前記第１の姿勢を有していると推定された場合に、前記推定された姿勢に関するデータと、前記第１のデータと、の差異に基づき、前記サンプル画像内の前記サンプル行動体が位置する領域における前記撮影手段の収差の影響度を決定する決定部と、
行動体の第２の姿勢に関する第２のデータを記憶した第２の記憶部と、
前記撮影手段により撮影された対象画像を取得する第２の取得部と、
前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定する第２の推定部と、
を備えたことを特徴とする姿勢推定システム。
撮影画像に収差を生じさせる撮影手段により撮影されたサンプル画像を取得する第１の取得部と、
前記第１のデータを参照して、前記サンプル画像に映ったサンプル行動体が前記第１の姿勢を有しているか否かを推定する第１の推定部と、
前記サンプル行動体が前記第１の姿勢を有していると推定された場合に、前記推定された姿勢に関するデータと、前記第１のデータと、の差異に基づき、前記サンプル画像内の前記サンプル行動体が位置する領域における前記撮影手段の収差の影響度を決定する決定部と、
行動体の第２の姿勢に関する第２のデータを記憶した第２の記憶部と、
前記撮影手段により撮影された対象画像を取得する第２の取得部と、
前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定する第２の推定部と、
を備えたことを特徴とする姿勢推定システム。
【請求項2】
前記サンプル画像は複数の領域に分割され、
前記決定部は、多数のサンプル画像に映った多数のサンプル行動体について推定された第１の姿勢に基づいて、分割された各領域について前記影響度を決定することを特徴とする請求項１に記載の姿勢推定システム。
前記決定部は、多数のサンプル画像に映った多数のサンプル行動体について推定された第１の姿勢に基づいて、分割された各領域について前記影響度を決定することを特徴とする請求項１に記載の姿勢推定システム。
【請求項3】
前記サンプル画像は複数の領域に分割され、
前記決定部は、多数のサンプル画像に映った多数のサンプル行動体について推定された第１の姿勢に基づいて、分割された一部の領域について前記影響度を決定し、前記一部の領域について決定された影響度の分布を参照して、分割された他の領域についての前記影響度を決定することを特徴とする請求項１に記載の姿勢推定システム。
前記決定部は、多数のサンプル画像に映った多数のサンプル行動体について推定された第１の姿勢に基づいて、分割された一部の領域について前記影響度を決定し、前記一部の領域について決定された影響度の分布を参照して、分割された他の領域についての前記影響度を決定することを特徴とする請求項１に記載の姿勢推定システム。
【請求項4】
行動体の第１の姿勢に関する第１のデータを記憶した第１の記憶部と、
撮影画像に収差を生じさせる撮影手段により撮影されたサンプル画像を取得する第１の取得部と、
前記第１のデータを参照して、前記サンプル画像に映ったサンプル行動体が前記第１の姿勢を有しているか否かを推定する第１の推定部と、
前記サンプル行動体が前記第１の姿勢を有していると推定された場合に、前記推定された姿勢に関するデータと、前記第１のデータと、の差異に基づき、前記サンプル画像内の前記サンプル行動体が位置する領域における前記撮影手段の収差の影響度を決定する決定部と、
を備え、
行動体の第２の姿勢に関する第２のデータを記憶した第２の記憶部と、前記撮影手段により撮影された対象画像を取得する第２の取得部と、前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定する第２の推定部と、を有する姿勢推定装置との間で通信可能であることを特徴とする学習装置。
撮影画像に収差を生じさせる撮影手段により撮影されたサンプル画像を取得する第１の取得部と、
前記第１のデータを参照して、前記サンプル画像に映ったサンプル行動体が前記第１の姿勢を有しているか否かを推定する第１の推定部と、
前記サンプル行動体が前記第１の姿勢を有していると推定された場合に、前記推定された姿勢に関するデータと、前記第１のデータと、の差異に基づき、前記サンプル画像内の前記サンプル行動体が位置する領域における前記撮影手段の収差の影響度を決定する決定部と、
を備え、
行動体の第２の姿勢に関する第２のデータを記憶した第２の記憶部と、前記撮影手段により撮影された対象画像を取得する第２の取得部と、前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定する第２の推定部と、を有する姿勢推定装置との間で通信可能であることを特徴とする学習装置。
【請求項5】
行動体の第１の姿勢に関する第１のデータを記憶した記憶部と、撮影画像に収差を生じさせる撮影手段により撮影されたサンプル画像を取得する第１の取得部と、前記第１のデータを参照して、前記サンプル画像に映ったサンプル行動体が前記第１の姿勢を有しているか否かを推定する第１の推定部と、前記サンプル行動体が前記第１の姿勢を有していると推定された場合に、前記推定された姿勢に関するデータと、前記第１のデータと、の差異に基づき、前記サンプル画像内の前記サンプル行動体が位置する領域における前記撮影手段の収差の影響度を決定する決定部と、を有する学習装置との間で通信可能な姿勢推定装置であって、
行動体の第２の姿勢に関する第２のデータを記憶した第２の記憶部と、
前記撮影手段により撮影された対象画像を取得する第２の取得部と、
前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定する第２の推定部と、
を備えたことを特徴とする推定装置。
行動体の第２の姿勢に関する第２のデータを記憶した第２の記憶部と、
前記撮影手段により撮影された対象画像を取得する第２の取得部と、
前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定する第２の推定部と、
を備えたことを特徴とする推定装置。
【請求項6】
行動体の第１の姿勢に関する第１のデータ及び第２の姿勢に関する第２のデータを記憶したコンピュータで実行されるプログラムであって、
撮影画像に収差を生じさせる撮影手段により撮影されたサンプル画像を取得するステップと、
前記第１のデータを参照して、前記サンプル画像に映ったサンプル行動体が前記第１の姿勢を有しているか否かを推定するステップと、
前記サンプル行動体が前記第１の姿勢を有していると推定された場合に、前記推定された姿勢に関するデータと、前記第１のデータと、の差異に基づき、前記サンプル画像内の前記サンプル行動体が位置する領域における前記撮影手段の収差の影響度を決定するステップと、
前記撮影手段により撮影された対象画像を取得するステップと、
前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定するステップと、
を備えたことを特徴とする姿勢推定プログラム。
撮影画像に収差を生じさせる撮影手段により撮影されたサンプル画像を取得するステップと、
前記第１のデータを参照して、前記サンプル画像に映ったサンプル行動体が前記第１の姿勢を有しているか否かを推定するステップと、
前記サンプル行動体が前記第１の姿勢を有していると推定された場合に、前記推定された姿勢に関するデータと、前記第１のデータと、の差異に基づき、前記サンプル画像内の前記サンプル行動体が位置する領域における前記撮影手段の収差の影響度を決定するステップと、
前記撮影手段により撮影された対象画像を取得するステップと、
前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定するステップと、
を備えたことを特徴とする姿勢推定プログラム。
【請求項7】
行動体の第１の姿勢に関する第１のデータ及び第２の姿勢に関する第２のデータを記憶したコンピュータで実行される方法であって、
撮影画像に収差を生じさせる撮影手段により撮影されたサンプル画像を取得するステップと、
前記第１のデータを参照して、前記サンプル画像に映ったサンプル行動体が前記第１の姿勢を有しているか否かを推定するステップと、
前記サンプル行動体が前記第１の姿勢を有していると推定された場合に、前記推定された姿勢に関するデータと、前記第１のデータと、の差異に基づき、前記サンプル画像内の前記サンプル行動体が位置する領域における前記撮影手段の収差の影響度を決定するステップと、
前記撮影手段により撮影された対象画像を取得するステップと、
前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定するステップと、
を備えたことを特徴とする姿勢推定方法。
撮影画像に収差を生じさせる撮影手段により撮影されたサンプル画像を取得するステップと、
前記第１のデータを参照して、前記サンプル画像に映ったサンプル行動体が前記第１の姿勢を有しているか否かを推定するステップと、
前記サンプル行動体が前記第１の姿勢を有していると推定された場合に、前記推定された姿勢に関するデータと、前記第１のデータと、の差異に基づき、前記サンプル画像内の前記サンプル行動体が位置する領域における前記撮影手段の収差の影響度を決定するステップと、
前記撮影手段により撮影された対象画像を取得するステップと、
前記第２のデータと、前記決定された影響度と、を参照して、前記対象画像内の前記領域に映った対象行動体が前記第２の姿勢を有しているか否かを推定するステップと、
を備えたことを特徴とする姿勢推定方法。