ホーム > 特許ランキング > 帝人フロンティア株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023100154
(43)【公開日】2023-07-18
(54)【発明の名称】コンピュータにより実行される身体採寸方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230710BHJP
A61B 5/107 20060101ALI20230710BHJP
G01B 11/02 20060101ALI20230710BHJP
【ＦＩ】
G06T7/00 660B
G06T7/00 350C
A61B5/107 100
G01B11/02 H
【審査請求】有
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2022000630
(22)【出願日】2022-01-05
(71)【出願人】
【識別番号】501270287
【氏名又は名称】帝人フロンティア株式会社
(74)【代理人】
【識別番号】110002734
【氏名又は名称】弁理士法人藤本パートナーズ
(72)【発明者】
【氏名】澤田 泰輔
【テーマコード（参考）】
2F065
4C038
5L096
【Ｆターム（参考）】
2F065AA21
2F065AA25
2F065AA53
2F065CC16
2F065DD03
2F065FF04
2F065JJ07
2F065JJ19
2F065JJ26
2F065QQ04
2F065QQ08
2F065QQ24
2F065QQ25
2F065QQ31
2F065SS02
4C038VA01
4C038VA03
4C038VB01
4C038VB35
4C038VC05
5L096EA43
5L096FA64
5L096HA11
5L096JA03
5L096JA11
5L096KA04
(57)【要約】 （修正有）
【課題】対象者の身体特徴を高い精度で採寸する、コンピュータにより実行される身体採寸方法を提供する。
【解決手段】方法は、身体領域と背景領域とを含む撮影画像を取得し１１、撮影画像に対応するリファレンス二階調画像を生成し１２、該二階調画像をモデル生成用画像として定義し１４、体型テンプレートデータとＣＮＮを使用してモデル生成用画像から対象者の三次元モデルを生成し、三次元モデルに基づいて比較用二階調画像を生成し、リファレンス二階調画像と比較用二階調画像と身体領域を比較して差分値を算出し、差分値が所定の閾値より大きい場合、比較用二階調画像を修正し、モデル生成用画像を修正された比較用二階調画像に変更してモデル出力ステップを再度実行し、最後に生成された対象者の三次元モデルに基づいて、対象者の身体特徴に関連する寸法を測定する１６。
【選択図】図１
【解決手段】方法は、身体領域と背景領域とを含む撮影画像を取得し１１、撮影画像に対応するリファレンス二階調画像を生成し１２、該二階調画像をモデル生成用画像として定義し１４、体型テンプレートデータとＣＮＮを使用してモデル生成用画像から対象者の三次元モデルを生成し、三次元モデルに基づいて比較用二階調画像を生成し、リファレンス二階調画像と比較用二階調画像と身体領域を比較して差分値を算出し、差分値が所定の閾値より大きい場合、比較用二階調画像を修正し、モデル生成用画像を修正された比較用二階調画像に変更してモデル出力ステップを再度実行し、最後に生成された対象者の三次元モデルに基づいて、対象者の身体特徴に関連する寸法を測定する１６。
【選択図】図１
【特許請求の範囲】
【請求項1】
対象者の身体を採寸するためのコンピュータにより実行される方法であって、
前記対象者の身体に対応する身体領域と、前記身体領域以外の領域に対応する背景領域とを含む、少なくとも１つの撮影画像を取得する画像取得ステップと、
前記撮影画像のそれぞれを変換して、前記撮影画像の身体領域に対応する第１色で表された身体領域と、前記撮影画像の背景領域に対応する第２色が表された背景領域とを含む、前記撮影画像に対応するリファレンス二階調画像をそれぞれ生成する二値化ステップと、
前記リファレンス二階調画像のそれぞれを、モデル生成用画像として定義する定義ステップと、
前記対象者の三次元モデルを出力するモデル出力ステップであって、
体型テンプレートデータと畳み込みニューラルネットワークを使用して、前記モデル生成用画像から、前記対象者の三次元モデルを生成するサブステップと、
前記対象者の三次元モデルに基づいて、前記モデル生成用画像のそれぞれに対応する比較用二階調画像をそれぞれ生成するサブステップと、
前記リファレンス二階調画像の身体領域のそれぞれと、前記比較用二階調画像の身体領域のそれぞれとを比較して、両者の差分値を算出するサブステップと、
前記差分値が所定の閾値より大きい場合、かつ、本モデル出力ステップの実行回数が所定の回数より少ない場合、前記比較用二階調画像を修正し、前記モデル生成用画像を修正された前記比較用二階調画像に変更して、本モデル出力ステップを再度実行するサブステップと
を含む、モデル出力ステップと、
最後に算出された前記差分値が所定の閾値以下であった場合、最後に生成された前記対象者の三次元モデルに基づいて、前記対象者の身体特徴に関連する１つ以上の寸法を測定する測定ステップと
を含む、方法。
前記対象者の身体に対応する身体領域と、前記身体領域以外の領域に対応する背景領域とを含む、少なくとも１つの撮影画像を取得する画像取得ステップと、
前記撮影画像のそれぞれを変換して、前記撮影画像の身体領域に対応する第１色で表された身体領域と、前記撮影画像の背景領域に対応する第２色が表された背景領域とを含む、前記撮影画像に対応するリファレンス二階調画像をそれぞれ生成する二値化ステップと、
前記リファレンス二階調画像のそれぞれを、モデル生成用画像として定義する定義ステップと、
前記対象者の三次元モデルを出力するモデル出力ステップであって、
体型テンプレートデータと畳み込みニューラルネットワークを使用して、前記モデル生成用画像から、前記対象者の三次元モデルを生成するサブステップと、
前記対象者の三次元モデルに基づいて、前記モデル生成用画像のそれぞれに対応する比較用二階調画像をそれぞれ生成するサブステップと、
前記リファレンス二階調画像の身体領域のそれぞれと、前記比較用二階調画像の身体領域のそれぞれとを比較して、両者の差分値を算出するサブステップと、
前記差分値が所定の閾値より大きい場合、かつ、本モデル出力ステップの実行回数が所定の回数より少ない場合、前記比較用二階調画像を修正し、前記モデル生成用画像を修正された前記比較用二階調画像に変更して、本モデル出力ステップを再度実行するサブステップと
を含む、モデル出力ステップと、
最後に算出された前記差分値が所定の閾値以下であった場合、最後に生成された前記対象者の三次元モデルに基づいて、前記対象者の身体特徴に関連する１つ以上の寸法を測定する測定ステップと
を含む、方法。
【請求項2】
前記少なくとも１つの撮影画像が、前記対象者を正面から撮影した画像と、前記対象者を側面から撮影した画像とを含む、請求項１に記載の方法。
【請求項3】
前記少なくとも１つの撮影画像が、前記対象者のユーザ端末によって撮影された画像である、請求項１又は２に記載の方法。
【請求項4】
前記少なくとも１つの撮影画像が、前記ユーザ端末に設けられた深度センサによって、前記撮影画像の撮影と同時に取得された深度データに基づいて、歪み補正された画像である、請求項３に記載の方法。
【請求項5】
前記少なくとも１つの撮影画像が、前記ユーザ端末上で動作するアプリケーション上で撮影された画像であり、前記アプリケーションの撮影画面には、撮影に要求される前記対象者の姿勢及び向きに対応するガイド枠が表示されている、請求項３又は４に記載の方法。
【請求項6】
前記二値化ステップの前に、前記撮影画像から前記対象者の骨格を推定し、推定された骨格を用いて、前記撮影画像に含まれる前記身体領域の形状を補正する撮影画像補正ステップ、又は、
前記定義ステップの前に、前記撮影画像又は前記リファレンス二階調画像から前記対象者の骨格を推定し、推定された骨格を用いて、前記リファレンス二階調画像に含まれる前記身体領域の形状を補正する二階調画像補正ステップ
をさらに含む、請求項１～５のいずれか１項に記載の方法。
前記定義ステップの前に、前記撮影画像又は前記リファレンス二階調画像から前記対象者の骨格を推定し、推定された骨格を用いて、前記リファレンス二階調画像に含まれる前記身体領域の形状を補正する二階調画像補正ステップ
をさらに含む、請求項１～５のいずれか１項に記載の方法。
【請求項7】
前記体型テンプレートデータが、前記対象者の備える１つ以上の属性を備えた人物群より生成された体型テンプレートにより構成されている、請求項１～６のいずれか１項に記載の方法。
【請求項8】
前記対象者の備える１つ以上の属性が、前記対象者の国籍又は人種のうち１つ以上を含む、請求項７に記載の方法。
【請求項9】
前記差分値が、前記リファレンス二階調画像と前記比較用二階調画像とをそれぞれ重ね合わせることであって、その際に、前記リファレンス二階調画像内の前記身体領域と前記比較用二階調画像内の前記身体領域とが重なり合わない領域の面積が最小になるように調節することによって算出される、請求項１～８のいずれか１項に記載の方法。
【請求項10】
前記比較用二階調画像の修正が、前記差分値に基づいて推定されるノイズ成分の除去、寸法の補正のうち少なくとも１つを行うことを含む、請求項１～９のいずれか１項に記載の方法。
【請求項11】
対象者の身体を採寸するためのコンピュータにより実行される方法であって、
前記対象者の身体に対応する身体領域と、前記身体領域以外の領域に対応する背景領域とを含む、少なくとも１つの撮影画像を取得する画像取得ステップと、
前記撮影画像のそれぞれを変換して、前記撮影画像の身体領域に対応する第１色で表された身体領域と、前記撮影画像の背景領域に対応する第２色が表された背景領域とを含む、前記撮影画像と同数のリファレンス二階調画像を生成する二値化ステップと、
体型テンプレートデータと畳み込みニューラルネットワークを使用して、前記リファレンス二階調画像から、前記対象者の三次元モデルを生成するモデル出力ステップと、
を含み、
前記リファレンス二階調画像を生成するステップの前に、前記撮影画像から前記対象者の骨格を推定し、推定された骨格を用いて、前記撮影画像に含まれる前記身体領域の形状を補正するステップ、又は、
前記対象者の三次元モデルを生成するステップの前に、前記撮影画像又は前記リファレンス二階調画像から前記対象者の骨格を推定し、推定された骨格を用いて、前記リファレンス二階調画像に含まれる前記身体領域の形状を補正するステップ
をさらに含む、方法。
前記対象者の身体に対応する身体領域と、前記身体領域以外の領域に対応する背景領域とを含む、少なくとも１つの撮影画像を取得する画像取得ステップと、
前記撮影画像のそれぞれを変換して、前記撮影画像の身体領域に対応する第１色で表された身体領域と、前記撮影画像の背景領域に対応する第２色が表された背景領域とを含む、前記撮影画像と同数のリファレンス二階調画像を生成する二値化ステップと、
体型テンプレートデータと畳み込みニューラルネットワークを使用して、前記リファレンス二階調画像から、前記対象者の三次元モデルを生成するモデル出力ステップと、
を含み、
前記リファレンス二階調画像を生成するステップの前に、前記撮影画像から前記対象者の骨格を推定し、推定された骨格を用いて、前記撮影画像に含まれる前記身体領域の形状を補正するステップ、又は、
前記対象者の三次元モデルを生成するステップの前に、前記撮影画像又は前記リファレンス二階調画像から前記対象者の骨格を推定し、推定された骨格を用いて、前記リファレンス二階調画像に含まれる前記身体領域の形状を補正するステップ
をさらに含む、方法。
【請求項12】
撮影画像補正ステップ又は前記二階調画像補正ステップでは、畳み込みニューラルネットワークを使用して、前記対象者の骨格を推定する、請求項１１に記載の方法。
【請求項13】
前記少なくとも１つの撮影画像が、前記対象者を正面から撮影した画像と、前記対象者を側面から撮影した画像とを含む、請求項１１又は１２に記載の方法。
【請求項14】
前記少なくとも１つの撮影画像が、前記対象者のユーザ端末によって撮影された画像である、請求項１１～１３のいずれか１項に記載の方法。
【請求項15】
前記少なくとも１つの撮影画像が、前記ユーザ端末に設けられた深度センサによって、前記撮影画像の撮影と同時に取得された深度データに基づいて、歪み補正された画像である、請求項１４に記載の方法。
【請求項16】
前記少なくとも１つの撮影画像が、前記ユーザ端末上で動作するアプリケーション上で撮影された画像であり、前記アプリケーションの撮影画面には、撮影に要求される前記対象者の姿勢及び向きに対応するガイド枠が表示されている、請求項１４又は１５に記載の方法。
【請求項17】
対象者の身体を採寸するためのコンピュータにより実行される方法であって、
前記対象者の身体に対応する身体領域と、前記身体領域以外の領域に対応する背景領域とを含む、少なくとも１つの撮影画像を取得する画像取得ステップと、
前記撮影画像のそれぞれを変換して、前記撮影画像の身体領域に対応する第１色で表された身体領域と、前記撮影画像の背景領域に対応する第２色が表された背景領域とを含む、前記撮影画像と同数のリファレンス二階調画像を生成する二値化ステップと、
体型テンプレートデータと畳み込みニューラルネットワークを使用して、前記リファレンス二階調画像から、前記対象者の三次元モデルを生成するモデル出力ステップと、
を含み、
前記体型テンプレートデータが、前記対象者の備える１つ以上の属性を備えた人物群より生成された体型テンプレートにより構成されている、方法。
前記対象者の身体に対応する身体領域と、前記身体領域以外の領域に対応する背景領域とを含む、少なくとも１つの撮影画像を取得する画像取得ステップと、
前記撮影画像のそれぞれを変換して、前記撮影画像の身体領域に対応する第１色で表された身体領域と、前記撮影画像の背景領域に対応する第２色が表された背景領域とを含む、前記撮影画像と同数のリファレンス二階調画像を生成する二値化ステップと、
体型テンプレートデータと畳み込みニューラルネットワークを使用して、前記リファレンス二階調画像から、前記対象者の三次元モデルを生成するモデル出力ステップと、
を含み、
前記体型テンプレートデータが、前記対象者の備える１つ以上の属性を備えた人物群より生成された体型テンプレートにより構成されている、方法。
【請求項18】
前記対象者の備える１つ以上の属性が、前記対象者の国籍又は人種のうち１つ以上を含む、請求項１７に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータにより実行される身体採寸方法に関する。
【背景技術】
【0002】
近年のコンピュータ技術の発展に伴い、人物が撮影された映像又は画像から、該人物の身体寸法を自動的に採寸する試みがなされてきている。このような映像又は画像からの自動採寸技術は、特に、衣料品分野において、顧客の身体寸法をネットワーク越しに測定可能な方法として、注目されている。
【0003】
現在よく知られている自動採寸方法は、典型的には、対象者が撮影された二次元の映像又は画像から、畳み込みニューラルネットワーク（ＣＮＮ）を使用して対象者の身体が表現された三次元モデルを生成し、この三次元モデルから寸法を測定することによって行われる。そのような自動採寸技術の例として、非特許文献１に開示されるＢｏｄｙＮｅｔが広く知られている。ＢｏｄｙＮｅｔでは、二次元の映像又は画像内に撮影されている対象者に対して骨格推定を行った後、推定された骨格に肉付け（スキニング）を行うことによって三次元モデルを生成している。
【0004】
一方、自動採寸技術の他の例として、非特許文献２に開示されるＨＳ－Ｎｅｔｓもまた知られている。ＨＳ－Ｎｅｔｓでは、ＢｏｄｙＮｅｔのような骨格推定や肉付けを行うのではなく、対象者が所定の姿勢及び向きで撮影された複数の二次元の画像から、三次元モデルを直接生成する。この方法では、ベースとなる二次元の画像の撮影状態が指定されるが、特許文献１のＢｏｄｙＮｅｔと比較して優れた精度で三次元モデルを生成できる。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】Gul Varol, et al.，“BodyNet: Volumetric Inference of 3D Human Body Shapes”，ECCV 2018，arXiv:1804.04875 [cs.CV]，2018年4月13日
【非特許文献2】Endri Dibra, et al.，“HS-Nets : Estimating Human Body Shape from Silhouettes with Convolutional Neural Networks”，IEEE Conf. Proc.，2016年，3DV，p.108-117.
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、非特許文献１及び２の方法により得られる三次元モデルは、身体の細かな特徴に対する正確な採寸データを得る目的で使用するには精度が不十分であり、これらの方法により得られる三次元モデルから、高精度な採寸データを得ることは難しいという問題がある。
【0007】
また、非特許文献２のＨＳ－Ｎｅｔｓは、理想的な撮影画像を使用できれば、非特許文献１のＢｏｄｙＮｅｔよりも比較的高い精度で三次元モデルを生成できるという利点があるものの、ＨＳ－Ｎｅｔｓのための理想的な撮影画像を個人が撮影することは困難である。そのため、当該方法により高い精度の三次元モデルを得ることは困難であり、高い精度で採寸データが得られないという問題がある。
【0008】
そのため、撮影された二次元画像に基づいて、より高い精度で採寸を行うことが可能な自動採寸方法が求められている。
【0009】
本発明は、上記問題点に鑑み、対象者の身体特徴を高い精度で採寸する、コンピュータにより実行される身体採寸方法を提供することを課題とする。
【課題を解決するための手段】
【0010】
本発明の第一の態様に係る、対象者の身体を採寸するためのコンピュータにより実行される方法は、
前記対象者の身体に対応する身体領域と、前記身体領域以外の領域に対応する背景領域とを含む、少なくとも１つの撮影画像を取得する画像取得ステップと、
前記撮影画像のそれぞれを変換して、前記撮影画像の身体領域に対応する第１色で表された身体領域と、前記撮影画像の背景領域に対応する第２色が表された背景領域とを含む、前記撮影画像に対応するリファレンス二階調画像をそれぞれ生成する二値化ステップと、
前記リファレンス二階調画像のそれぞれを、モデル生成用画像として定義する定義ステップと、
前記対象者の三次元モデルを出力するモデル出力ステップであって、
体型テンプレートデータと畳み込みニューラルネットワークを使用して、前記モデル生成用画像から、前記対象者の三次元モデルを生成するサブステップと、
前記対象者の三次元モデルに基づいて、前記モデル生成用画像のそれぞれに対応する比較用二階調画像をそれぞれ生成するサブステップと、
前記リファレンス二階調画像の身体領域のそれぞれと、前記比較用二階調画像の身体領域のそれぞれとを比較して、両者の差分値を算出するサブステップと、
前記差分値が所定の閾値より大きい場合、かつ、本モデル出力ステップの実行回数が所定の回数より少ない場合、前記比較用二階調画像を修正し、前記モデル生成用画像を修正された前記比較用二階調画像に変更して、本モデル出力ステップを再度実行するサブステップと
を含む、モデル出力ステップと、
最後に算出された前記差分値が所定の閾値以下であった場合、最後に生成された前記対象者の三次元モデルに基づいて、前記対象者の身体特徴に関連する１つ以上の寸法を測定するステップと
を含む方法である。
前記対象者の身体に対応する身体領域と、前記身体領域以外の領域に対応する背景領域とを含む、少なくとも１つの撮影画像を取得する画像取得ステップと、
前記撮影画像のそれぞれを変換して、前記撮影画像の身体領域に対応する第１色で表された身体領域と、前記撮影画像の背景領域に対応する第２色が表された背景領域とを含む、前記撮影画像に対応するリファレンス二階調画像をそれぞれ生成する二値化ステップと、
前記リファレンス二階調画像のそれぞれを、モデル生成用画像として定義する定義ステップと、
前記対象者の三次元モデルを出力するモデル出力ステップであって、
体型テンプレートデータと畳み込みニューラルネットワークを使用して、前記モデル生成用画像から、前記対象者の三次元モデルを生成するサブステップと、
前記対象者の三次元モデルに基づいて、前記モデル生成用画像のそれぞれに対応する比較用二階調画像をそれぞれ生成するサブステップと、
前記リファレンス二階調画像の身体領域のそれぞれと、前記比較用二階調画像の身体領域のそれぞれとを比較して、両者の差分値を算出するサブステップと、
前記差分値が所定の閾値より大きい場合、かつ、本モデル出力ステップの実行回数が所定の回数より少ない場合、前記比較用二階調画像を修正し、前記モデル生成用画像を修正された前記比較用二階調画像に変更して、本モデル出力ステップを再度実行するサブステップと
を含む、モデル出力ステップと、
最後に算出された前記差分値が所定の閾値以下であった場合、最後に生成された前記対象者の三次元モデルに基づいて、前記対象者の身体特徴に関連する１つ以上の寸法を測定するステップと
を含む方法である。
【0011】
斯かる構成によれば、対象者の三次元モデルを出力するにあたって、三次元モデルから生成された比較用二階調画像と撮影画像に基づくリファレンス二階調画像との誤差が十分に小さい三次元モデルが得られるまで、三次元モデル生成のベースとなる二階調画像を修正しつつ三次元モデルの生成を繰り返す。これにより、対象者の身体が高い精度でモデリングされた三次元モデルに基づいて、対象者の身体特徴を高い精度で採寸することができる。
【0012】
本発明の第二の態様に係る、対象者の身体を採寸するためのコンピュータにより実行される方法は、
前記対象者の身体に対応する身体領域と、前記身体領域以外の領域に対応する背景領域とを含む、少なくとも１つの撮影画像を取得する画像取得ステップと、
前記撮影画像のそれぞれを変換して、前記撮影画像の身体領域に対応する第１色で表された身体領域と、前記撮影画像の背景領域に対応する第２色が表された背景領域とを含む、前記撮影画像と同数のリファレンス二階調画像を生成する二値化ステップと、
体型テンプレートデータと畳み込みニューラルネットワークを使用して、前記リファレンス二階調画像から、前記対象者の三次元モデルを生成するモデル出力ステップと、
を含み、
前記リファレンス二階調画像を生成するステップの前に、前記撮影画像から前記対象者の骨格を推定し、推定された骨格を用いて、前記撮影画像に含まれる前記身体領域の形状を補正するステップ、又は、
前記対象者の三次元モデルを生成するステップの前に、前記撮影画像又は前記リファレンス二階調画像から前記対象者の骨格を推定し、推定された骨格を用いて、前記リファレンス二階調画像に含まれる前記身体領域の形状を補正するステップ
をさらに含む方法である。
前記対象者の身体に対応する身体領域と、前記身体領域以外の領域に対応する背景領域とを含む、少なくとも１つの撮影画像を取得する画像取得ステップと、
前記撮影画像のそれぞれを変換して、前記撮影画像の身体領域に対応する第１色で表された身体領域と、前記撮影画像の背景領域に対応する第２色が表された背景領域とを含む、前記撮影画像と同数のリファレンス二階調画像を生成する二値化ステップと、
体型テンプレートデータと畳み込みニューラルネットワークを使用して、前記リファレンス二階調画像から、前記対象者の三次元モデルを生成するモデル出力ステップと、
を含み、
前記リファレンス二階調画像を生成するステップの前に、前記撮影画像から前記対象者の骨格を推定し、推定された骨格を用いて、前記撮影画像に含まれる前記身体領域の形状を補正するステップ、又は、
前記対象者の三次元モデルを生成するステップの前に、前記撮影画像又は前記リファレンス二階調画像から前記対象者の骨格を推定し、推定された骨格を用いて、前記リファレンス二階調画像に含まれる前記身体領域の形状を補正するステップ
をさらに含む方法である。
【0013】
斯かる構成によれば、対象者の三次元モデルを生成するベースとなるリファレンス二階調画像を生成する際に、撮影画像又はその二階調画像に基づいて推定された対象者の骨格に基づいて、撮影画像を取得する際に生じ得る対象者の身体領域の歪みを補正し、三次元モデルの生成に適したリファレンス二階調画像を生成する。これにより、対象者の三次元モデルを高い精度でモデリングすることができ、そのような三次元モデルに基づいて、対象者の身体特徴を高い精度で採寸することができる。
【0014】
本発明の第三の態様に係る、対象者の身体を採寸するためのコンピュータにより実行される方法は、
前記対象者の身体に対応する身体領域と、前記身体領域以外の領域に対応する背景領域とを含む、少なくとも１つの撮影画像を取得する画像取得ステップと、
前記撮影画像のそれぞれを変換して、前記撮影画像の身体領域に対応する第１色で表された身体領域と、前記撮影画像の背景領域に対応する第２色が表された背景領域とを含む、前記撮影画像と同数のリファレンス二階調画像を生成する二値化ステップと、
体型テンプレートデータと畳み込みニューラルネットワークを使用して、前記リファレンス二階調画像から、前記対象者の三次元モデルを生成するモデル出力ステップと、
を含み、
前記体型テンプレートデータが、前記対象者の備える１つ以上の属性を備えた人物群より生成された体型テンプレートにより構成されている方法である。
前記対象者の身体に対応する身体領域と、前記身体領域以外の領域に対応する背景領域とを含む、少なくとも１つの撮影画像を取得する画像取得ステップと、
前記撮影画像のそれぞれを変換して、前記撮影画像の身体領域に対応する第１色で表された身体領域と、前記撮影画像の背景領域に対応する第２色が表された背景領域とを含む、前記撮影画像と同数のリファレンス二階調画像を生成する二値化ステップと、
体型テンプレートデータと畳み込みニューラルネットワークを使用して、前記リファレンス二階調画像から、前記対象者の三次元モデルを生成するモデル出力ステップと、
を含み、
前記体型テンプレートデータが、前記対象者の備える１つ以上の属性を備えた人物群より生成された体型テンプレートにより構成されている方法である。
【0015】
斯かる構成によれば、対象者に近い人物群より生成された体型テンプレートにより構成された体型テンプレートデータを利用することにより、対象者の三次元モデルを高い精度でモデリングすることができ、そのような三次元モデルに基づいて、対象者の身体特徴を高い精度で採寸することができる。
【発明の効果】
【0016】
本発明の対象者の身体を採寸するためのコンピュータにより実行される方法によれば、対象者の身体特徴を高い精度で採寸することができる。
【図面の簡単な説明】
【0017】
【発明を実施するための形態】
【0018】
以下、図面を参照して、本発明の対象者の身体を採寸するためのコンピュータにより実行される方法の実施形態について説明する。ただし、下記の実施形態は、単なる例示である。本発明は、下記の実施形態に何ら限定されない。
【0019】
本発明の対象者の身体を採寸するためのコンピュータにより実行される方法は、
前記対象者の身体に対応する身体領域と、前記身体領域以外の領域に対応する背景領域とを含む、少なくとも１つの撮影画像を取得する画像取得ステップと、
前記撮影画像のそれぞれを変換して、前記撮影画像の身体領域に対応する第１色で表された身体領域と、前記撮影画像の背景領域に対応する第２色が表された背景領域とを含む、前記撮影画像に対応するリファレンス二階調画像をそれぞれ生成する二値化ステップと、
前記リファレンス二階調画像のそれぞれを、モデル生成用画像として定義する定義ステップと、
前記対象者の三次元モデルを出力するモデル出力ステップと、
前記対象者の三次元モデルに基づいて、前記対象者の身体特徴に関連する１つ以上の寸法を測定する測定ステップと、を含む。
前記対象者の身体に対応する身体領域と、前記身体領域以外の領域に対応する背景領域とを含む、少なくとも１つの撮影画像を取得する画像取得ステップと、
前記撮影画像のそれぞれを変換して、前記撮影画像の身体領域に対応する第１色で表された身体領域と、前記撮影画像の背景領域に対応する第２色が表された背景領域とを含む、前記撮影画像に対応するリファレンス二階調画像をそれぞれ生成する二値化ステップと、
前記リファレンス二階調画像のそれぞれを、モデル生成用画像として定義する定義ステップと、
前記対象者の三次元モデルを出力するモデル出力ステップと、
前記対象者の三次元モデルに基づいて、前記対象者の身体特徴に関連する１つ以上の寸法を測定する測定ステップと、を含む。
【0020】
本発明の方法の第１の特徴は、対象者の三次元モデルを出力するにあたって、三次元モデルから生成された比較用二階調画像と撮影画像に基づくリファレンス二階調画像との誤差が十分に小さい三次元モデルが得られるまで、必要に応じて三次元モデル生成のベースとなる二階調画像を修正しつつ三次元モデルの生成を繰り返すことにある。
具体的には、本発明の方法の第１の特徴は、
前記対象者の三次元モデルを出力するモデル出力ステップが、
体型テンプレートデータと畳み込みニューラルネットワークを使用して、前記モデル生成用画像から、前記対象者の三次元モデルを生成するサブステップと、
前記対象者の三次元モデルに基づいて、前記モデル生成用画像のそれぞれに対応する比較用二階調画像をそれぞれ生成するサブステップと、
前記リファレンス二階調画像の身体領域のそれぞれと、前記比較用二階調画像の身体領域のそれぞれとを比較して、両者の差分値を算出するサブステップと、
前記差分値が所定の閾値より大きい場合、かつ、本モデル出力ステップの実行回数が所定の回数より少ない場合、前記比較用二階調画像を修正し、前記モデル生成用画像を修正された前記比較用二階調画像に変更して、本モデル出力ステップを再度実行するサブステップと
を含み、
前記測定ステップにおいて使用される対象者の三次元モデルが、前記モデル出力ステップにおいて最後に出力された三次元モデルである。
具体的には、本発明の方法の第１の特徴は、
前記対象者の三次元モデルを出力するモデル出力ステップが、
体型テンプレートデータと畳み込みニューラルネットワークを使用して、前記モデル生成用画像から、前記対象者の三次元モデルを生成するサブステップと、
前記対象者の三次元モデルに基づいて、前記モデル生成用画像のそれぞれに対応する比較用二階調画像をそれぞれ生成するサブステップと、
前記リファレンス二階調画像の身体領域のそれぞれと、前記比較用二階調画像の身体領域のそれぞれとを比較して、両者の差分値を算出するサブステップと、
前記差分値が所定の閾値より大きい場合、かつ、本モデル出力ステップの実行回数が所定の回数より少ない場合、前記比較用二階調画像を修正し、前記モデル生成用画像を修正された前記比較用二階調画像に変更して、本モデル出力ステップを再度実行するサブステップと
を含み、
前記測定ステップにおいて使用される対象者の三次元モデルが、前記モデル出力ステップにおいて最後に出力された三次元モデルである。
【0021】
これにより、対象者の身体が高い精度でモデリングされた三次元モデルに基づいて、対象者の身体特徴を高い精度で採寸することができる。
【0022】
本発明の方法の第２の特徴は、撮影画像を取得する際に生じ得る対象者の身体領域の歪みを補正することである。
具体的には、本発明の方法の第２の特徴は、
前記二値化ステップの前に、前記撮影画像から前記対象者の骨格を推定し、推定された骨格を用いて、前記撮影画像に含まれる前記身体領域の形状を補正する撮影画像補正ステップ、又は、
前記定義ステップの前に、前記撮影画像又は前記リファレンス二階調画像から前記対象者の骨格を推定し、推定された骨格を用いて、前記リファレンス二階調画像に含まれる前記身体領域の形状を補正する二階調画像補正ステップを含む。
具体的には、本発明の方法の第２の特徴は、
前記二値化ステップの前に、前記撮影画像から前記対象者の骨格を推定し、推定された骨格を用いて、前記撮影画像に含まれる前記身体領域の形状を補正する撮影画像補正ステップ、又は、
前記定義ステップの前に、前記撮影画像又は前記リファレンス二階調画像から前記対象者の骨格を推定し、推定された骨格を用いて、前記リファレンス二階調画像に含まれる前記身体領域の形状を補正する二階調画像補正ステップを含む。
【0023】
これにより、対象者の三次元モデルを高い精度でモデリングすることができ、そのような三次元モデルに基づいて、対象者の身体特徴を高い精度で採寸することができる。
【0024】
本発明の方法の第３の特徴は、前記体型テンプレートデータが、前記対象者の備える１つ以上の属性を備えた人物群より生成された体型テンプレートにより構成されていることである。
【0025】
これにより、対象者の三次元モデルを高い精度でモデリングすることができ、そのような三次元モデルに基づいて、対象者の身体特徴を高い精度で採寸することができる。
【0026】
本発明の方法は、これらの第１～第３の特徴をそれぞれ単独で備えていてもよく、これらの特徴の任意の組み合わせを備えていてもよい。本発明の方法がこれらの第１～第３の特徴を複数組み合わせて備えている場合には、対象者の身体特徴をより高い精度で採寸することが可能になる。
【0027】
図１は、本発明のコンピュータにより実行される身体採寸方法の実施形態である方法１を示す。本実施形態の方法は、上述の本発明の第１～第３の特徴を備えている。
方法１は、例えば、後述するコンピュータシステム３によって実行され得る。
方法１は、例えば、後述するコンピュータシステム３によって実行され得る。
【0028】
本方法１では、まず、ステップ１１において、対象者の身体に対応する身体領域と、身体領域以外の領域に対応する背景領域とを含む、少なくとも１つの撮影画像を取得する（画像取得ステップ）。
【0029】
具体的には、本ステップ１１では、後のモデル出力ステップ１４にて行われるモデル生成のために要求される１つ以上の身体の向き及び姿勢について、それぞれに対応する撮影画像が取得される。本実施形態では、一般的に「Ａポーズ」と呼ばれるニュートラルな姿勢の対象者を正面から撮影した撮影画像（正面撮影画像）と、該対象者を側面から撮影した撮影画像（側面撮影画像）とを含む、２つの撮影画像が取得される。
【0030】
本ステップ１１は、撮影に使用されるコンピュータが備えた、あるいは該コンピュータに接続されたカメラによって、対象者が撮影されることにより取得され得る。
【0031】
ここで、撮影に使用されるコンピュータ又はカメラが、撮影画像の歪みを補正する機能を有している場合には、その機能を使用して歪み補正された撮影画像を取得することが望ましい。
例えば、撮影に使用されるコンピュータ又はカメラが傾きセンサを備えている場合には、その傾きデータを使用して歪み処理を行ってもよい。例えば、被写体である対象者が撮影される際のカメラの傾きによって生じる身体領域の上下寸法の歪みが、傾きデータに基づいて補正され得る。
例えば、撮影に使用されるコンピュータ又はカメラが傾きセンサを備えている場合には、その傾きデータを使用して歪み処理を行ってもよい。例えば、被写体である対象者が撮影される際のカメラの傾きによって生じる身体領域の上下寸法の歪みが、傾きデータに基づいて補正され得る。
【0032】
また、撮影に使用されるコンピュータ又はカメラが深度センサを備えている場合には、撮影時に被写体の深度データを取得しておくことが好ましい。深度データに基づいて得られる奥行情報に基づいて、予め取得されていた対象者の身長等の身体情報に大きな誤差がないかを確認することができる。さらに、奥行情報は、後の二値化ステップ１２において身体領域と背景領域とを区別する際に、両者の境界を高い精度で判別するためにも使用され得る。
【0033】
次に、ステップ１２において、撮影画像のそれぞれを変換して、撮影画像の身体領域に対応する第１色で表された身体領域と、撮影画像の背景領域に対応する第２色が表された背景領域とを含む、撮影画像に対応するリファレンス二階調画像をそれぞれ生成する（二値化ステップ）。
【0034】
本ステップ１２において行われる撮影画像の二値化変換によって、生成された二階調画像内において、身体領域及び背景領域に含まれていたディテールが省略されると共に、身体領域と背景領域とが明確に区別されるようになる。このようにして生成された二階調画像では、対象者の身体に対応する身体領域が、背景領域から明確に分離されているため、後のモデル出力ステップ１５にてモデル生成を行う際に、対象者の身体に対応する身体領域を認識し易くなる。
なお、本ステップ１１によって得られた二階調画像は、後のモデル出力ステップ１５において生成された三次元モデルの正確さを確認するためのリファレンス画像（リファレンス二諧調画像）として利用されることになる。
なお、本ステップ１１によって得られた二階調画像は、後のモデル出力ステップ１５において生成された三次元モデルの正確さを確認するためのリファレンス画像（リファレンス二諧調画像）として利用されることになる。
【0035】
本ステップ１２では、前述の画像取得ステップ１１にて取得された１つ以上の撮影画像のそれぞれについて二値化変換を行い、それぞれに対応する二階調画像を生成する。本実施形態では、画像取得ステップ１１にて取得された正面撮影画像と側面撮影画像とをそれぞれ二値化して、リファレンス正面二階調画像とリファレンス側面二階調画像とが生成される。
【0036】
本ステップ１２における撮影画像の二値化変換は、従来公知の任意の方法により実行され得る。そのような方法としては、大域コントラスト正規化（ＧＣＮ）、セマンティックセグメンテーション、インスタンスセグメンテーション（例えば、ＤｅｅｐＭａｓｋ）等のディープラーニング技術を用いた二値化手法を採用することができる。これらの方法は、単独で採用されてもよく、複数組み合わせて採用されてもよい。
【0037】
リファレンス二諧調画像内において身体領域及び背景領域をそれぞれ表す第１色及び第２色は互いに異なる色であればよく、それらの領域の境界の区別が容易となる、色彩やコントラストが大きく異なる色であることが好ましい。通常、第１色及び第２色は、白及び黒から選択され、第１色が白かつ第２色が黒であってもよく、逆であってもよい。
【0038】
次に、ステップ１３において、撮影画像又はリファレンス二階調画像から対象者の骨格を推定し、推定された骨格を用いて、リファレンス二階調画像に含まれる身体領域の形状を補正する（二階調画像補正ステップ）。本ステップ１３は、本発明の上記第２の特徴に対応する。
【0039】
具体的には、本ステップ１３では、撮影画像又はリファレンス二階調画像に含まれる身体領域における対象者の骨格を推定し、推定された骨格に基づいて、後のモデル出力ステップ１５にて行われるモデル生成に適した画像となるように、リファレンス二階調画像をそれぞれ補正する。
対象者の骨格の推定は、通常は二値化変換された後のリファレンス二階調画像に基づいて行われるが、対象者の骨格を十分な精度で推定できるのであれば、二値化変換される前の撮影画像に基づいて行われてもよい。
対象者の骨格の推定は、通常は二値化変換された後のリファレンス二階調画像に基づいて行われるが、対象者の骨格を十分な精度で推定できるのであれば、二値化変換される前の撮影画像に基づいて行われてもよい。
【0040】
対象者の骨格を推定する方法は、特に限定されず、ＯｐｅｎＰｏｓｅ、ＰｏｓｅＮｅｔ等の二次元骨格推定法や、三次元骨格推定法など、従来公知の任意の骨格推定方法を採用することができる。
【0041】
リファレンス二階調画像に含まれる身体領域の形状の補正は、例えば、身体領域の撮影画像又はリファレンス二諧調画像の身体領域に表される姿勢を、後のモデル出力ステップ１５にて行われるモデル生成に適した姿勢となるよう補正することによって行われる。例えば、対象者の身体の歪み等の原因により、撮影される際に対象者がモデル生成に適した姿勢を取れず、身体領域に表される対象者の姿勢において、一方の肩が他方の肩よりも下がっていたり、首が曲がっていたりすることがある。このような場合に、推定された骨格に基づいて、モデル生成に適した姿勢を表す骨格となるようにリファレンス二諧調画像の身体領域を補正することが考えられる。
【0042】
なお、本実施形態では、骨格の推定及びそれに続く歪み補正は、二階調画像補正ステップ１３にてリファレンス二階調画像に対して行っているが、この二階調画像補正ステップ１３に代えて又はこれに加えて、二値化する前の撮影画像に対して骨格の推定及びそれに続く歪み補正を行ってもよい。
具体的には、本実施形態の方法１は、二階調画像補正ステップ１３に代えて又はこれに加えて、撮影画像から対象者の骨格を推定し、推定された骨格を用いて、撮影画像に含まれる身体領域の形状を補正するステップ１３Ａを含んでいてもよい（撮影画像補正ステップ）。この撮影画像補正ステップ１３Ａは、二値化ステップ１２の後に行われる二階調画像補正ステップ１３とは異なり、二値化ステップ１２の前に行われる。
具体的には、本実施形態の方法１は、二階調画像補正ステップ１３に代えて又はこれに加えて、撮影画像から対象者の骨格を推定し、推定された骨格を用いて、撮影画像に含まれる身体領域の形状を補正するステップ１３Ａを含んでいてもよい（撮影画像補正ステップ）。この撮影画像補正ステップ１３Ａは、二値化ステップ１２の後に行われる二階調画像補正ステップ１３とは異なり、二値化ステップ１２の前に行われる。
【0043】
次に、ステップ１４において、リファレンス二階調画像のそれぞれを、モデル生成用画像として定義する（定義ステップ）。
【0044】
本ステップ１４では、次のモデル出力ステップ１５において対象者の三次元モデルを最初に生成する際に使用される画像として、二諧調画像補正ステップ１３にて補正されたリファレンス二階調画像のそれぞれを、最初のモデル生成用画像として定義している。本実施形態では、モデル生成用正面画像とモデル生成用側面画像の２つが生成される。
【0045】
次に、ステップ１５において、対象者の三次元モデルを出力する（モデル出力ステップ）。
【0046】
上記の通り、本実施形態は、本ステップ１５において、三次元モデルから生成された比較用二階調画像と撮影画像に基づくリファレンス二階調画像との誤差が十分に小さい三次元モデルが得られるまで、三次元モデル生成のベースとなる二階調画像を修正しつつ三次元モデルの生成を繰り返す、本発明の上記第１の特徴を備えている。
本ステップ１５は、図２に示されるサブステップ２１～２４を含み、必要に応じてこれらを繰り返すことによって、高い精度の三次元モデルを生成することができる。これらのサブステップ２１～２４について、以下に詳細に説明する。
本ステップ１５は、図２に示されるサブステップ２１～２４を含み、必要に応じてこれらを繰り返すことによって、高い精度の三次元モデルを生成することができる。これらのサブステップ２１～２４について、以下に詳細に説明する。
【0047】
本実施形態のモデル出力ステップ１５では、まず、サブステップ２１において、体型テンプレートデータと畳み込みニューラルネットワークを使用して、二次元画像であるモデル生成用画像から、対象者の三次元モデルを生成する（モデル生成サブステップ）。
【0048】
本サブステップ２１では、体型テンプレートデータと畳み込みニューラルネットワークを使用した三次元モデル生成方法として、例えば、上記特許文献２に記載されるＨＳ－Ｎｅｔｓを使用することができる。ＨＳ－Ｎｅｔｓを使用した三次元モデリングでは、体型テンプレートデータに基づいて、正面及び側面から撮影された対象者に対応する身体領域をそれぞれ含むモデル生成用正面画像及びモデル生成用側面画像から、それらの画像に含まれる対象者の向き及び姿勢に対応する三次元モデルを、それぞれ直接生成することができる。
【0049】
体型テンプレートデータは、所定の人物群より生成された学習済みデータである。具体的には、体型テンプレートデータは、所定の人物群から取得された複数の身体の三次元スキャンデータから、機械学習を使用して作成されたテンプレートメッシュであり得る。
このとき、三次元スキャンデータが機械学習に供される前に、生の三次元スキャンデータが前処理され、さらに前処理された三次元スキャンデータに手動で複数の特徴点（ランドマーク）が指定されることが望ましい。ここで行われ得る前処理には、例えば、三次元スキャンデータ内のノイズ成分の除去や欠落部分の手動修正、及び、三次元スキャンデータの表面のスムージング処理が含まれる。
このとき、三次元スキャンデータが機械学習に供される前に、生の三次元スキャンデータが前処理され、さらに前処理された三次元スキャンデータに手動で複数の特徴点（ランドマーク）が指定されることが望ましい。ここで行われ得る前処理には、例えば、三次元スキャンデータ内のノイズ成分の除去や欠落部分の手動修正、及び、三次元スキャンデータの表面のスムージング処理が含まれる。
【0050】
本実施形態は、上述の本発明の第３の特徴として、体型テンプレートデータが、対象者の備える１つ以上の属性を備えた人物群より生成された体型テンプレートにより構成されているといった特徴を有している。ここで、対象者の備える１つ以上の属性とは、対象者の人種、国籍、年齢、性別、体組成値、ＢＭＩ等の体型等であり、例えば、対象者の人種又は国籍である。
一般的なＨＳ－Ｎｅｔｓは、広範囲の人物の体型をモデル化するため、偏りの少ない広い範囲の人物のデータから学習された体型テンプレートを使用するが、広い範囲の人物像を対象としてモデル生成できる代償として、十分な精度が得られないといった問題があった。本実施形態では、体型テンプレートとして、対象者と人種や国籍が同じ等、体型の傾向が対象者に近い人物群より生成されたものを利用することにより、そのような用途に絶え得る高精度なモデルを生成することが可能になる。
一般的なＨＳ－Ｎｅｔｓは、広範囲の人物の体型をモデル化するため、偏りの少ない広い範囲の人物のデータから学習された体型テンプレートを使用するが、広い範囲の人物像を対象としてモデル生成できる代償として、十分な精度が得られないといった問題があった。本実施形態では、体型テンプレートとして、対象者と人種や国籍が同じ等、体型の傾向が対象者に近い人物群より生成されたものを利用することにより、そのような用途に絶え得る高精度なモデルを生成することが可能になる。
【0051】
本サブステップ２１にて生成される三次元モデルは、例えば、１０，０００枚程度のポリゴンによって構成される。もっとも、三次元モデルを構成するポリゴン数は特に限定されず、要求される計算資源及び求められる三次元モデルにおける曲線のスムーズさによって、適宜決定され得る。
【0052】
次に、サブステップ２２において、対象者の三次元モデルに基づいて、モデル生成用画像のそれぞれに対応する比較用二階調画像をそれぞれ生成する（比較用画像生成サブステップ）。
【0053】
具体的には、本サブステップ２２では、モデル生成用画像の身体領域に表される対象者の身体の姿勢及び向きのそれぞれについて、比較用二階調画像をそれぞれ生成する。これらの比較用二階調画像は、続く画像比較サブステップ２３においてリファレンス二階調画像との比較を行う画像であり、リファレンス二階調画像内に含まれる身体領域に対応する姿勢及び向きを備えた対象者の三次元モデルに対応する身体領域と、身体領域以外の領域に対応する背景領域とを含む。比較用二階調画像に含まれる身体領域及び背景領域はそれぞれ、リファレンス二階調画像に含まれる身体領域及び背景領域と同一の第１色及び第２色によって表される。
【0054】
本実施形態では、ＨＳ－Ｎｅｔｓを使用して三次元モデルを生成しているため、前述のモデル生成サブステップ２１において、モデル生成用正面画像に含まれる身体領域に対応する姿勢及び向きを有する正面三次元モデルと、モデル生成用側面画像に含まれる身体領域に対応する姿勢及び向きを有する側面三次元モデルがそれぞれ生成されている。そのため、本実施形態では、これら正面三次元モデル及び側面三次元モデルを二値化することによって、リファレンス二階調画像内に含まれる身体領域に対応する姿勢及び向きを備えた比較用正面二階調画像及び比較用側面二階調画像を生成することができる。
【0055】
次に、サブステップ２３において、リファレンス二階調画像の身体領域のそれぞれと、比較用二階調画像の身体領域のそれぞれとを比較して、両者の差分値を算出する（比較サブステップ）。
【0056】
本サブステップ２３における画像の比較及び差分値の算出は、例えば、リファレンス二階調画像と比較用二階調画像とをそれぞれ重ね合わせることによって行うことができる。その際、２つの画像の差分をより正確に測定するために、リファレンス二階調画像内の身体領域と比較用二階調画像内の身体領域とが重なり合わない領域の面積が最小になるように、２つの画像を調節して重ね合わせた上で、差分値を算出することが望ましい。
例えば、２つの画像の位置を調節する際に、これらに含まれる身体領域の縦方向（身長方向）をフィッティングさせるように調節してから、重ね合わせることが望ましい。また、身体領域における手足の開き方の影響を低減又は削除するように２つの画像を調整したり、身体領域の胴部及び脚部の長さを、前述のステップ１３（又はステップ１３Ａ）により推定された骨格に基づいて補正してから、重ね合わせを行ってもよい。
また、
例えば、２つの画像の位置を調節する際に、これらに含まれる身体領域の縦方向（身長方向）をフィッティングさせるように調節してから、重ね合わせることが望ましい。また、身体領域における手足の開き方の影響を低減又は削除するように２つの画像を調整したり、身体領域の胴部及び脚部の長さを、前述のステップ１３（又はステップ１３Ａ）により推定された骨格に基づいて補正してから、重ね合わせを行ってもよい。
また、
【0057】
２つの画像を比較して算出される差分値は、例えば、２つの画像の身体領域の距離の差を算出し、その差を積分することによって、決定することができる。
【0058】
本サブステップ２３では、２つの画像が全体的に比較されて、１つの差分値が算出されてもよく、２つの画像内の特定の領域毎に比較されて、複数の差分値が算出されてもよい。例えば、差分値は、複数の身体領域における予め定められた複数の身体部位について、それぞれ算出されてもよい。例えば、２つの画像の比較によって、身体部位の胸部、胴部、右腕、左腕、右足、左足、・・・等のそれぞれについての差分値が算出されてもよい。
【0059】
次に、サブステップ２４において、差分値が所定の閾値より大きい場合、かつ、本モデル出力ステップ１５の実行回数が所定の回数より少ない場合、比較用二階調画像を修正し、モデル生成用画像を修正された比較用二階調画像に変更する（画像修正サブステップ）。
【0060】
具体的には、本サブステップ２４では、前述の比較サブステップ２３にて算出された差分値が所定の閾値以下である場合、本モデル出力ステップ１５を終了し、次の測定ステップ１５へと移行する。一方、前述の比較サブステップ２３にて算出された差分値が所定の閾値より大きい場合、換言すれば、リファレンス二階調画像と比較用二階調画像との差異が大きく、モデル生成サブステップ２１により生成された三次元モデルが対象者の身体を十分に正確に表していない場合には、別のモデル生成用画像を使用して本モデル出力ステップ１５を再度実行するために、比較用二階調画像を修正し、モデル生成用画像を修正された比較用二階調画像に変更する。
【0061】
上記所定の閾値は、生成される三次元モデルの所望の精度に応じて、任意に決定され得る。
なお、複数の差分値が算出されている場合には、複数の差分値のうち少なくとも１つの差分値が所定の閾値より大きければ本モデル出力ステップ１５を再度実行する判断を行ってもよく、複数の差分値の平均が所定の閾値より大きい場合に本モデル出力ステップ１５を再度実行する判断を行ってもよい。また、画像内における差分値が算出された複数の領域ごとに、それぞれ異なる閾値が定められており、それらの領域ごとに差分値と閾値との比較が行われてもよい。
なお、複数の差分値が算出されている場合には、複数の差分値のうち少なくとも１つの差分値が所定の閾値より大きければ本モデル出力ステップ１５を再度実行する判断を行ってもよく、複数の差分値の平均が所定の閾値より大きい場合に本モデル出力ステップ１５を再度実行する判断を行ってもよい。また、画像内における差分値が算出された複数の領域ごとに、それぞれ異なる閾値が定められており、それらの領域ごとに差分値と閾値との比較が行われてもよい。
【0062】
もっとも、使用されるリファレンス二階調画像によっては、本モデル出力ステップ１５を多くの回数繰り返しても差分値が所定の閾値以下とならず、もはやその期待もできないと考えられる場合もあり得る。そのような状況となった際に本ステップ１５の繰り返しを停止するため、本サブステップ２４では、前述の比較サブステップ２３にて算出された差分値が所定の閾値より大きい場合であっても、本モデル出力ステップ１５の実行回数が所定の回数に達した場合には、本モデル出力ステップ１５の繰り返しを終了し、次の測定ステップ１５へと移行する。
ここで、本ステップ１５の繰り返しの終了を決定するために設定される本ステップ１５の所定の実行回数は、三次元モデルの生成のために許容される計算資源や所要時間に応じて、任意に決定される。また、繰り返しをできる限り停止させたくない場合には、所定の実行回数を十分に大きい値（例えば、設定可能な最大の値）に設定しておけばよい。
ここで、本ステップ１５の繰り返しの終了を決定するために設定される本ステップ１５の所定の実行回数は、三次元モデルの生成のために許容される計算資源や所要時間に応じて、任意に決定される。また、繰り返しをできる限り停止させたくない場合には、所定の実行回数を十分に大きい値（例えば、設定可能な最大の値）に設定しておけばよい。
【0063】
比較用二階調画像は、任意の方法によって修正されてもよい。例えば、比較用二階調画像の修正は、比較用二階調画像から、差分値に基づいて推定されるノイズ成分を除去することによって行うことができる。
あるいは、比較用二階調画像の修正は、比較用二階調画像の寸法を補正することによって行うこともできる。ここで、寸法の補正は、比較用二階調画像全体に対して行われてもよく、比較用二階調画像内の身体領域における１つ以上の特定の身体部位に対して行われてもよい。例えば、前述の比較サブステップ２３において、対象者の右腕に対応する身体領域に関して比較され、算出された差分値が比較的大きい場合に、比較用二階調画像内の身体領域の右腕に対応する領域の寸法を、リファレンス画像に近づくように大きく又は小さく補正してもよい。
なお、ここに挙げた方法は、単独で行われてもよく、複数の方法を組み合わせて行われてもよい。
あるいは、比較用二階調画像の修正は、比較用二階調画像の寸法を補正することによって行うこともできる。ここで、寸法の補正は、比較用二階調画像全体に対して行われてもよく、比較用二階調画像内の身体領域における１つ以上の特定の身体部位に対して行われてもよい。例えば、前述の比較サブステップ２３において、対象者の右腕に対応する身体領域に関して比較され、算出された差分値が比較的大きい場合に、比較用二階調画像内の身体領域の右腕に対応する領域の寸法を、リファレンス画像に近づくように大きく又は小さく補正してもよい。
なお、ここに挙げた方法は、単独で行われてもよく、複数の方法を組み合わせて行われてもよい。
【0064】
本サブステップ２４において比較用二階調画像の修正を行った後、修正された比較用二階調画像を、新たなモデル生成用画像として設定して、本モデル出力ステップ１５を再度実行する。再度実行されたモデル出力ステップ１５は、再びサブステップ２１から始まり、この新たに設定されたモデル生成用画像から新たな三次元モデルを生成して、これをサブステップ２２～２４において評価する。
【0065】
このようにして、本モデル出力ステップ１５では、生成される三次元モデルが撮影された対象者の身体を所望の精度で正確に表していることが確認できるまで、三次元モデルの生成に使用するモデル生成用語画像を変更して三次元モデルの生成を繰り返す。その結果、本実施形態の方法１は、高い精度の三次元モデルを生成することができる。
【0066】
その後、ステップ１６において、最後に算出された差分値が所定の閾値以下であった場合、最後に生成された対象者の三次元モデルに基づいて、対象者の身体特徴に関連する１つ以上の寸法を測定する（測定ステップ）。
【0067】
本ステップ１６において測定される、対象者の身体特徴に関連する寸法とは、対象者の任意の身体部位に関連する、長さ、高さ、周長等の任意の寸法であってもよく、例えば、対象者の身体にフィットする衣装サイズの寸法として測定されてもよい。当該寸法は、例えば、対象者の肩幅、胸囲、胴囲、首回り、腕回り、腰回り、手首回り、太腿回り、ウエスト、ヒップ、背丈、袖丈、裄丈、股上長、股下長等であり得る。
【0068】
なお、当該寸法を測定するにあたり、予め取得されていた対象者の身体情報を参照してもよい。例えば、対象者の身長の値が予め与えられていた場合には、当該寸法は、対象者の三次元モデルの身長との比率に基づいて計算することができる。
【0069】
以上のように、本実施形態の方法１では、対象者の三次元モデルを出力するモデル出力ステップ１５が、三次元モデルから生成された比較用二階調画像と撮影画像に基づくリファレンス二階調画像との誤差が十分に小さい三次元モデルが得られるまで、必要に応じてサブステップ２１～２４を繰り返すこと（第１の特徴）によって、対象者の身体が高い精度でモデリングされた三次元モデルを出力することができ、そのような三次元モデルに基づいて、対象者の身体特徴を高い精度で採寸することができる。
【0070】
さらに、本実施形態の方法１では、二値化ステップ１２の後に、二階調画像補正ステップ１３を実行し、撮影画像を取得する際に生じ得る対象者の身体領域の歪みを補正すること（第２の特徴）によって、モデル出力ステップ１５において対象者の三次元モデルを高い精度でモデリングすることができ、そのような三次元モデルに基づいて、対象者の身体特徴を高い精度で採寸することができる。
【0071】
さらに、本実施形態の方法１では、体型テンプレートデータが、対象者の備える１つ以上の属性を備えた人物群より生成された体型テンプレートにより構成されていること（第３の特徴）によって、モデル出力ステップ１５において対象者の三次元モデルを高い精度でモデリングすることができ、そのような三次元モデルに基づいて、対象者の身体特徴を高い精度で採寸することができる。
【0072】
これにより、対象者の三次元モデルを高い精度でモデリングすることができ、そのような三次元モデルに基づいて、対象者の身体特徴を高い精度で採寸することができる。
【0073】
図３は、図１に示される身体採寸方法を実行可能なコンピュータを含むシステム３の一実施形態を示す。
なお、図１で示される身体採寸方法は、必ずしもシステム３によって実行される必要はなく、任意のコンピュータシステムによって実行され得る。
なお、図１で示される身体採寸方法は、必ずしもシステム３によって実行される必要はなく、任意のコンピュータシステムによって実行され得る。
【0074】
システム３は、図１に示される身体採寸方法を実行するコンピュータとして、ユーザ端末３１と、サーバ３２とを備えている。
【0075】
ユーザ端末３１は、対象者又はその他の者によってサーバ３２から離れた位置にて操作され、サーバ３２とネットワークを介してデータを送受信可能な任意の端末であり得る。例えば、ユーザ端末１は、デスクトップコンピュータ、モバイルコンピュータ、タブレットコンピュータ、携帯電話、スマートフォン、ウェアラブルデバイス、ハンドヘルドデバイス、任意の組み込みデバイス等であってもよい。
【0076】
サーバ３２は、ユーザ端末３１よりネットワークを介して送信されたデータをコンピューティング処理可能な任意のサーバであり得る。例えば、サーバ３２は、１つ又は複数のコンピュータ資源によって構成されたオンプレミスのサーバであってもよく、クラウドネットワーク上で実現されるクラウドサーバであってもよい。
【0077】
ユーザ端末３１及びサーバ３２は、ネットワークを介して両者の間でデータを送受信することによって、以下に詳細に説明される本発明の身体採寸方法において実行される各ステップを、任意に分担して実行することができる。
例えば、ユーザ端末３１では、対象者の撮影等、対象者の近くで取得可能なデータを取得するためのステップや、計算負荷の比較的小さい処理を行うステップを実行する一方で、通常ユーザ端末２よりも計算資源の豊富なサーバ３２において、計算負荷の大きい処理を行うステップを実行してもよい。
例えば、ユーザ端末３１では、対象者の撮影等、対象者の近くで取得可能なデータを取得するためのステップや、計算負荷の比較的小さい処理を行うステップを実行する一方で、通常ユーザ端末２よりも計算資源の豊富なサーバ３２において、計算負荷の大きい処理を行うステップを実行してもよい。
【0078】
具体的には、本実施形態のシステム３では、ユーザ端末３１は、画像取得モジュール３１１と、二値化モジュール３１２と、通信モジュール３１０とを備えている。ユーザ端末３１は、さらに、カメラ３１５と、深度センサ３１６とを備えている。
画像取得モジュール３１１は、上述の画像取得ステップ１１を実行するように構成されており、具体的には、ユーザ端末に備えられたカメラ３１５によって、撮影画像を取得するように構成されている。また、画像取得モジュール３１１は、深度センサ３１６により取得された深度データを利用して、撮影画像に対して歪み補正処理を行うようにも構成されている。
二値化モジュール３１２は、上述の二値化ステップ１２を実行するように構成されている。
通信モジュール３１０は、サーバ３２の通信モジュール３２０とデータを送受信するように構成されており、一例として、二値化モジュール３１２により生成されたリファレンス二階調画像を、以降の処理をサーバ３２上で行うために、サーバ３２の通信モジュール３２０へと送信する。
画像取得モジュール３１１は、上述の画像取得ステップ１１を実行するように構成されており、具体的には、ユーザ端末に備えられたカメラ３１５によって、撮影画像を取得するように構成されている。また、画像取得モジュール３１１は、深度センサ３１６により取得された深度データを利用して、撮影画像に対して歪み補正処理を行うようにも構成されている。
二値化モジュール３１２は、上述の二値化ステップ１２を実行するように構成されている。
通信モジュール３１０は、サーバ３２の通信モジュール３２０とデータを送受信するように構成されており、一例として、二値化モジュール３１２により生成されたリファレンス二階調画像を、以降の処理をサーバ３２上で行うために、サーバ３２の通信モジュール３２０へと送信する。
【0079】
また、サーバ３２は、通信モジュール３２０と、二階調画像補正モジュール３２３と、定義モジュール３２４と、モデル出力モジュール３２５と、測定モジュール３２６とを備えている。
通信モジュール３２０は、ユーザ端末３１の通信モジュール３１０とデータを送受信するように構成されており、一例として、ユーザ端末３１の通信モジュール３１０から送信されたリファレンス二階調画像を受信する。
二階調画像補正モジュール３２３は、上述の二階調画像補正ステップ１３を実行するように構成されている。
定義モジュール３２４は、上述の定義ステップ１４を実行するように構成されている。
モデル出力モジュール３２５は、上述のモデル出力ステップ１５を実行するように構成されている。
測定モジュール３２６は、上述の測定ステップ１６を実行するように構成されている。
通信モジュール３２０は、ユーザ端末３１の通信モジュール３１０とデータを送受信するように構成されており、一例として、ユーザ端末３１の通信モジュール３１０から送信されたリファレンス二階調画像を受信する。
二階調画像補正モジュール３２３は、上述の二階調画像補正ステップ１３を実行するように構成されている。
定義モジュール３２４は、上述の定義ステップ１４を実行するように構成されている。
モデル出力モジュール３２５は、上述のモデル出力ステップ１５を実行するように構成されている。
測定モジュール３２６は、上述の測定ステップ１６を実行するように構成されている。
【0080】
ここで、モデル出力モジュール３２５は、図４に示されるように、モデル生成サブモジュール４２１と、比較用画像生成サブモジュール４２２と、比較サブモジュール４２３と、画像修正サブモジュール４２４とを備えている。
これらのサブモジュール４２１～４２４は、上述のサブステップ２１～２４をそれぞれ実行するように構成されている。
これらのサブモジュール４２１～４２４は、上述のサブステップ２１～２４をそれぞれ実行するように構成されている。
【0081】
上記のように、本実施形態のシステム３では、ユーザ端末３１が、本発明の方法１に含まれる各ステップのうち、対象者から撮影画像を取得し得る画像取得ステップ１１、及び、計算負荷の比較的小さい二値化ステップ１２を実行するように構成されている一方で、サーバ３２において、計算負荷の大きい二階調画像補正ステップ１３及びモデル出力ステップ１５を実行するように構成されている。
したがって、本実施形態のシステム３は、ユーザ端末３１とサーバ３２との間で計算負荷を効率的に分散することができる。
したがって、本実施形態のシステム３は、ユーザ端末３１とサーバ３２との間で計算負荷を効率的に分散することができる。
【0082】
なお、本実施形態のシステム３では、二階調画像補正ステップ１３を実行するように構成された二階調画像補正モジュール３２３が、サーバ３２に備えられているが、これに代えて又はこれに加えて、ユーザ端末３１がステップ１３Ａを実行するように構成されたモジュール３１３（図示せず）を備えていてもよい。
【0083】
図５は、本発明の方法の画像取得ステップにおいて（例えば、上記実施形態のステップ１１において）取得される撮影画像を撮影する際に使用されるアプリケーション５上に表示される撮影画面５０の例を示す。アプリケーション５は、例えば、システム３のユーザ端末３１上において動作し得る。以下では、ユーザ端末３１はスマートフォンであり、アプリケーション５がスマートフォンアプリであることを前提として説明する。
【0084】
図５（ａ）及び（ｂ）に示されるように、アプリケーション５の撮影画面５０には、撮影に要求される対象者の姿勢及び向きに対応するガイド枠５１が表示されている。ここで、図５（ａ）及び（ｂ）に示される当該姿勢はＡポーズであり、図５（ａ）に示される当該向きは正面向き、図５（ｂ）に示される当該向きは側方向きである。
【0085】
撮影者がアプリケーション５を用いて対象者を撮影する際、撮影画面５０上には、アプリケーションが動作するユーザ端末３１に設けられるカメラ３１５のレンズに映った映像が表示され、ガイド枠５１は、その映像と重なるように撮影画面５０上に表示され続ける。
撮影者は、被写体である対象者の身体を撮影する際に、対象者の身体がガイド枠５１の枠内に概ね収まるように、カメラ３１５（及び、必要であれば、カメラ３１５が設けられているユーザ端末３１）の向き、対象者までの距離、レンズに映って撮影画面５０上に表示されている映像の撮影画面５０上における拡大率等を調節する。このような調節によって撮影画面５０上において対象者の身体がガイド枠５１の枠内に十分に収まるようになってから、撮影者は対象者の身体を撮影する。
撮影者は、被写体である対象者の身体を撮影する際に、対象者の身体がガイド枠５１の枠内に概ね収まるように、カメラ３１５（及び、必要であれば、カメラ３１５が設けられているユーザ端末３１）の向き、対象者までの距離、レンズに映って撮影画面５０上に表示されている映像の撮影画面５０上における拡大率等を調節する。このような調節によって撮影画面５０上において対象者の身体がガイド枠５１の枠内に十分に収まるようになってから、撮影者は対象者の身体を撮影する。
【0086】
このように、アプリケーション５の撮影画面５０に表示されたガイド枠５１によって、後のモデル出力ステップ（例えば、ステップ１５）にて要求される姿勢及び向きの対象者を容易に撮影することができるため、モデル生成に適した歪みの少ない撮影画像を容易に取得することができる。
【0087】
アプリケーション５は、撮影者が対象者を撮影する際に、撮影画面５０上において対象者の身体がガイド枠５１の枠内に十分に収まっていない場合には撮影を許可せず、対象者の身体がガイド枠５１の枠内に十分に収まっている場合にのみ、アプリケーション５の画面上に文字「撮影」が表示されている範囲のタッチ領域をアクティブ化して、撮影を許可するように構成されていてもよい。
アプリケーション５が上記のように構成されている場合には、撮影者は、撮影に要求される姿勢及び向きの対象者をより容易に撮影することができる。
アプリケーション５が上記のように構成されている場合には、撮影者は、撮影に要求される姿勢及び向きの対象者をより容易に撮影することができる。
【0088】
アプリケーション５は、主として画像取得ステップにおいて取得される少なくとも１つの撮影画像を撮影するために使用されるが、本発明の身体採寸方法を実行するにあたって有用な他の情報を取得するために使用されてもよい。
例えば、アプリケーション５は、対象者の身長、体重、年齢等、三次元モデルに基づく採寸において参照され得る有用な情報を、対象者が直接入力するためのインタフェースをさらに備えていてもよい。
例えば、アプリケーション５は、対象者の身長、体重、年齢等、三次元モデルに基づく採寸において参照され得る有用な情報を、対象者が直接入力するためのインタフェースをさらに備えていてもよい。
【0089】
なお、本実施形態に係るコンピュータにより実行される身体採寸方法は、上記の実施形態の構成に限定されるものではない。また、本発明に係るコンピュータにより実行される身体採寸方法は、上記した作用効果によって限定されるものでもない。本発明に係るコンピュータにより実行される身体採寸方法は、本発明の要旨を逸脱しない範囲で種々の変更が可能である。
【0090】
例えば、図１に示される方法１では、本発明の上記第１の特徴に係る三次元モデルの生成を繰り返すサブステップ２１～２４と、本発明の上記第２の特徴に係る骨格推定に基づいて画像を補正するステップ１３（又はステップ１３Ａ）との両方を備えているが、本発明の方法は、これらの特徴の両方を必ずしも有していなくてもよい。
【0091】
例えば、本発明の身体採寸方法では、三次元モデルの生成を繰り返すサブステップ２１～２４を含んでいるのであれば、骨格推定に基づいて画像を補正するステップ１３（又はステップ１３Ａ）を必ずしも行わなくてもよい。同様に、骨格推定に基づいて画像を補正するステップ１３（又はステップ１３Ａ）を実行するのであれば、三次元モデルの生成を繰り返すサブステップ２１～２４を行わず、三次元モデルの生成を一度だけ実行する者であってもよい。本発明の身体採寸方法は、これらの特徴に係るステップのうち片方だけを含んでいる場合であっても、対象者の身体特徴を高い精度で採寸することができる。
【0092】
また、ここではこれ以上の詳細な説明を繰り返して行うことをしないが、上記に直接的に記載がされていない事項であっても、身体採寸方法について従来公知の技術事項については、本発明においても適宜採用可能である。
【図1】
【図2】
【図3】
【図4】
【図5】