(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6341646
(24)【登録日】2018年5月25日
(45)【発行日】2018年6月13日
(54)【発明の名称】試着支援装置及び方法
(51)【国際特許分類】
G06T 19/00 20110101AFI20180604BHJP
G06Q 30/06 20120101ALI20180604BHJP
【FI】
G06T19/00 300A
G06Q30/06 320
【請求項の数】4
【全頁数】10
(21)【出願番号】特願2013-216301(P2013-216301)
(22)【出願日】2013年10月17日
(65)【公開番号】特開2015-79362(P2015-79362A)
(43)【公開日】2015年4月23日
【審査請求日】2016年10月11日
(73)【特許権者】
【識別番号】000107907
【氏名又は名称】セーレン株式会社
(74)【代理人】
【識別番号】100111855
【弁理士】
【氏名又は名称】川崎 好昭
(72)【発明者】
【氏名】小形 憲弘
(72)【発明者】
【氏名】永田 浩造
(72)【発明者】
【氏名】橋本 純一
(72)【発明者】
【氏名】川端 利郎
【審査官】
岡本 俊威
(56)【参考文献】
【文献】
特開2013−101528(JP,A)
【文献】
特開2013−097699(JP,A)
【文献】
特開2012−118948(JP,A)
【文献】
特開平09−106419(JP,A)
【文献】
国際公開第2003/069526(WO,A1)
【文献】
米国特許出願公開第2012/0299912(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00
G06T 19/00
G06Q 30/06
(57)【特許請求の範囲】
【請求項1】
利用者を撮影する撮影部と、利用者の体型を検知する検知部と、衣服の選択操作を行う操作部と、前記撮影部から得られた撮影画像データ及び前記検知部から得られた体型データに基づいて前記操作部で選択された衣服データに関する試着画像データを作成する処理部と、作成された前記試着画像データを表示する表示部とを備えている試着支援装置であって、
前記処理部は、前記撮影画像データに基づいて利用者の肌の色に関する色特性データを取得する色特性処理部と、前記体型データに基づいて3次元人体形状データを取得するとともに前記色特性データに基づいて当該3次元人体形状データを着色して人体画像データを作成する人体処理部と、前記衣服データに基づいて前記色特性データに対応する色柄データを取得する色柄処理部と、前記人体画像データ及び前記色柄データに基づいて着装画像データを作成する着装処理部と、前記撮影画像データに基づいて利用者の頭部画像データを取得するとともに当該頭部画像データ及び前記着装画像データを合成して前記試着画像データを作成する試着処理部とを備えており、前記検知部は、利用者の姿勢をリアルタイムで検知するようになっており、前記試着処理部は、リアルタイムで検知された姿勢データに基づいて前記試着画像データを作成する試着支援装置。
【請求項2】
前記色特性処理部は、前記撮影画像データの肌の部分に関する画素の色相、明度及び彩度に基づいて前記色特性データを取得する請求項1に記載の試着支援装置。
【請求項3】
前記試着処理部は、前記撮影部で撮影された背景画像データを組み込んで試着画像データを作成する請求項1又は2に記載の試着支援装置。
【請求項4】
利用者の撮影画像データ及び体型データに基づいて利用者が選択した衣服データに関する試着画像データを表示する試着支援方法であって、前記撮影画像データに基づいて利用者の肌の色に関する色特性データを取得し、前記体型データに基づいて3次元人体形状データを取得するとともに前記色特性データに基づいて当該3次元人体形状データに着色して人体画像データを作成し、前記衣服データに基づいて前記色特性データに対応する色柄データを取得し、前記人体画像データ及び前記色柄データに基づいて着装画像データを作成し、前記撮影画像データに基づいて利用者の頭部画像データをリアルタイムで抽出し、抽出された前記頭部画像データに前記着装画像データを追従させるように合成して前記試着画像データをリアルタイムで作成する試着支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、3次元人体形状に衣服等の服飾物に関する画像データを合成した3次元画像データを利用者の画像データと組み合せて着装状態を仮想的に表示する試着支援装置及び方法に関する。
【背景技術】
【0002】
顧客は、身につける衣服等の服飾物を店舗等において購入するにあたって、購入する予定の商品を店舗に設置されている試着室等で予め試着して、その衣服のサイズ、着心地、或いは自分の容姿に似合うか否かを確認することが一般的である。
【0003】
顧客が複数の衣服等を試着して、その中から顧客の最も好みの衣服を探すには、それぞれの衣服を試着した状態で比較する必要があるが、顧客はその比較を試着したときの記憶に頼って行わざるを得ない。試着の対象となる衣服が多いときには、最初に試着したときの記憶が薄れて、十分な比較ができずに顧客の好みの衣服を誤って選択してしまったり、再度試着する必要が生じて時間がかかる虞がある。
【0004】
こうした試着に関する課題に対処するために、仮想的に着装状態を表示する試着支援装置が提案されている。例えば、特許文献1では、試着用として選択された衣服(試着服)に対応する衣服型紙情報及び標準人体モデルの体型に関する標準人体情報を読出し、体型情報、生地情報及び縫製情報に基づいて試着人の体型に適合した衣服を示す衣服画像を作成し、作成された衣服画像及び試着人の人物画像に基づいて合成画像(試着画像)を作成する仮想試着システムが記載されている。また、特許文献2では、予め用意されたボディ部のデータにお客の選んだ生地の衣服をまとわせた3次元データを構築するとともに、お客自身を撮影した頭部の2次元データを組み合わせて表示することで、リアル感のある試着シミュレーションを簡易に実現する点が記載されている。また、特許文献3では、試着したい服装を着用したモデル画像と試着する人物の人物画像を表示装置に同時に表示し、人物画像の顔画像を切取りモデル画像の位置に移動させて合成して試着シミュレーションを行うようにした点が記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第3314704号公報
【特許文献2】特開2000−315262号公報
【特許文献3】特開2001−134745号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
実際に試着する場合には、利用者の容姿にマッチしたものを選択することが理想であり、特に、利用者の肌の色にマッチした色合いの衣服を選択することが望ましい。上述した特許文献では、人体モデルの体型に衣服画像を組み合せて利用者の画像データと合成することで、実際の試着に近い着装状態を表示するようにしているものの、利用者の容姿にマッチした衣服については、表示された画像を見て利用者の好みに応じて選択されることになる。その際に、衣服のデザインが利用者の体型にマッチしているか、といった観点から主に検討されて、利用者の肌の色にマッチする色合いの衣服であるか、といった観点からの検討を利用者が自ら行うことは困難である。そのため、利用者の容姿にマッチした衣服を色々な観点から選択することが難しかった。
【0007】
そこで、本発明は、利用者の容姿にマッチした衣服等の服飾物を確実に選択することができる試着支援装置及び方法を提供することを目的とするものである。
【課題を解決するための手段】
【0008】
本発明に係る試着支援装置は、利用者を撮影する撮影部と、利用者の体型を検知する検知部と、衣服の選択操作を行う操作部と、前記撮影部から得られた撮影画像データ及び前記検知部から得られた体型データに基づいて前記操作部で選択された衣服データに関する試着画像データを作成する処理部と、作成された前記試着画像データを表示する表示部とを備えている試着支援装置であって、
前記処理部は、前記撮影画像データに基づいて利用者の肌の色に関する色特性データを取得する色特性処理部と、前記体型データに基づいて3次元人体形状データを取得するとともに前記色特性データに基づいて当該3次元人体形状データを着色して人体画像データを作成する人体処理部と、前記衣服データに基づいて前記色特性データに対応する色柄データを取得する色柄処理部と、前記人体画像データ及び前記色柄データに基づいて着装画像データを作成する着装処理部と、前記撮影画像データに基づいて利用者の頭部画像データを取得するとともに当該頭部画像データ及び前記着装画像データを合成して前記試着画像データを作成する試着処理部とを備えて
おり、前記検知部は、利用者の姿勢をリアルタイムで検知するようになっており、前記試着処理部は、リアルタイムで検知された姿勢データに基づいて前記試着画像データを作成する。さらに、前記色特性処理部は、前記撮影画像データの肌の部分に関する画素の色相、明度及び彩度に基づいて前記色特性データを取得する。さらに、前記試着処理部は、前記撮影部で撮影された背景画像データを組み込んで試着画像データを作成する。
【0009】
本発明に係る試着支援方法は、利用者の撮影画像データ及び体型データに基づいて利用者が選択した衣服データに関する試着画像データを表示する試着支援方法であって、前記撮影画像データに基づいて利用者の肌の色に関する色特性データを取得し、前記体型データに基づいて3次元人体形状データを取得するとともに前記色特性データに基づいて当該3次元人体形状データに着色して人体画像データを作成し、前記衣服データに基づいて前記色特性データに対応する色柄データを取得し、前記人体画像データ及び前記色柄データに基づいて着装画像データを作成し、前記撮影画像データに基づいて利用者の頭部画像データを
リアルタイムで抽出し、抽出された前記頭部画像データに前記着装画像データを追従させるように合成して前記試着画像データを
リアルタイムで作成する。
【発明の効果】
【0010】
本発明は、上記の構成を有することで、利用者の肌の色にマッチした色柄の衣服に関する試着画像を表示することが可能となり、利用者の容姿にマッチした衣服等の服飾物を効率よく選択することができる。
【図面の簡単な説明】
【0011】
【
図1】本発明に係る試着支援装置に関する概略構成図である。
【
図2】試着支援装置に関する機能ブロック構成図である。
【
図6】操作表示装置の表示画面の一例を示す説明図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について図面を用いて説明する。なお、以下に説明する実施形態は、本発明を実施するにあたって好ましい具体例であるから、技術的に種々の限定がなされているが、本発明は、以下の説明において特に本発明を限定する旨明記されていない限り、これらの形態に限定されるものではない。
【0013】
図1は、本発明に係る試着支援装置に関する概略構成図である。試着支援装置は、試着画像を表示するための処理を行う情報処理装置1、試着画像を表示する表示装置2、利用者が操作してデータ入力を行う操作表示装置3、利用者を撮影する撮影装置4及び利用者の体型を検知する検知センサ5を備えている。
【0014】
情報処理装置1としては、CPU、メモリ、ハードディスク、送受信部等を備えた公知のコンピュータを用いることができ、試着画像を表示処理するための各種機能を実現するプログラムがインストールされている。表示装置2は、利用者の等身大の試着画像を表示可能な液晶表示パネル等の大型のディスプレイを備えており、表示装置2の前に立った利用者が鏡の前に立っているような感覚で試着画像を視認することができるようになっている。操作表示装置3は、タブレット端末等の公知の装置を用いることができ、試着画像の表示処理に必要な操作を行うための操作表示機能を備えている。また、操作表示装置3には、色柄や衣服のタイプを示すアイコンを表示するための画像データが登録されている。撮影装置4は、表示装置2の前に立った利用者を撮影する撮影カメラを用いることができ、撮影された利用者のカラー画像は情報処理装置1に送信されるようになっている。検知センサ5は、赤外線深度センサ等を用いることができ、表示装置の前に立った利用者の体型や姿勢を検知する機能を備えている。
【0015】
図2は、試着支援装置に関する機能ブロック構成図である。処理部10は、装置全体の制御処理を行うとともに、試着画像の表示処理を行うための機能として、色特性処理部100、人体処理部101、色柄処理部102、着装処理部103及び試着処理部104を備えている。撮影部11は、撮影装置4により撮影された利用者のカラー画像を処理部10に送信する。検知部12は、検知センサ5から得られた検知データを処理部10に送信する。操作表示部13は、操作に必要な画像を表示するとともに利用者の操作信号を処理部10に送信する。また、処理部10から送信された衣服及び色柄の選択に必要なデータを保存して表示する。表示部14は、処理部10から送信された試着画像の表示を行う。
【0016】
記憶部15は、装置の制御処理及び表示処理に必要なプログラム及びデータを記憶するとともに、撮影された利用者の撮影画像を保存する撮影情報DB150、人体の肌の色の解析に必要なデータを保存する色特性情報DB151、人体の体型を類型化して表示する3次元人体形状データを保存する体型情報DB152、衣服等の服飾物の様々なデザインに関する3次元データ(例、型紙データ等)を示す衣服データを保存する衣服情報DB153、衣服等の服飾物に使用される色柄に関する色柄データを保存する色柄情報DB154、及び、利用者の体型、肌の色等の属性情報やこれまでの試着状況に関する情報を保存する顧客情報DB155を備えている。
【0017】
色特性処理部100は、撮影部11から送信された撮影画像データに基づいて利用者の肌の色に関する色特性データを取得する。色特性データとしては、例えば、肌の色について色相、明度及び彩度といったデータを取得するとよい。これらのデータに基づいて利用者の肌の色をウォーム系又はクール系に分類することができる(参考文献;門田真乍子、肌色の測定によるパーソナルカラーの設計方法−その2:洋服の選定方法−、日本色彩学会誌、1995年5月、日本色彩学会)。こうしたウォーム系又はクール系の分類方法では、色相、明度及び彩度を、細密色票体系クロスコスモス6000(財団法人日本色彩研究所)を用いて解析している。ウォーム系の肌の色は、色相が黄色の方向に寄った、黄みの強いオークル系の色で、クール系の肌の色は、色相が紫みの赤で、青みがかったピンク色にみえる。色特性処理部100では、こうしたウォーム系又はクール系といった肌の色の解析データを色特性データとして取得する。
【0018】
人体処理部101は、検知部12から送信された利用者の体型データに基づいて体型情報DB152から3次元人体形状データを取得し、色特性処理部100から得られた色特性データに基づいて3次元人体形状データを着色して人体画像データを作成する。利用者の体型データについては、例えば、赤外線を照射して物体の奥行きを検知することができる深度センサを検知センサに用いることで、利用者の骨格を検知することができる。そして、利用者の骨格に対応する3次元人体形状データを体型情報DB152から読み出す。体型情報DB152には、例えば、JIS規格で定められた9AR、11ATといったサイズ区分に基づいて作成された3次元人体形状データが登録されており、利用者の骨格の特徴的な部位のサイズ(例;肩幅、身長)からサイズ区分を決定して利用者の体型に近い3次元人体形状データを取得する。取得した3次元人体形状データに色特性データに基づいて着色処理を行って人体画像データを作成する。
【0019】
色柄処理部102は、操作表示部13において利用者が選択した衣服データに基づいて色特性処理部100から得られた色特性データに対応する色柄データを色柄情報DB154から取得する。例えば、色特性データとして、肌の色がウォーム系又はクール系に設定されている場合には、肌の色に対応する色柄データは、以下の色合いのものが選択される。
<女性の場合>
ウォーム系;アイボリー、キャメル、赤、茶、カーキ
クール系 ;グレー、チャコールグレー、黒、白、紺、ワインレッド
<男性の場合>
ウォーム系;キャメル、こげ茶、オリーブグリーン
クール系 ;グレー、チャコールグレー、紺
そして、色柄処理部102により取得された色柄データは、操作表示部13に送信されて表示される。利用者は、操作表示部13に表示された色柄データから好みの色柄を選択する。この場合、操作表示部13には、予め利用者の肌の色に合った色合いの色柄が選択されて表示されているため、利用者は、自分の肌の色に合った色柄の中から選択することができるようになる。操作表示部13に表示される色柄データについては、肌の色に合うものから優先的に表示すれば、利用者が色柄データを選択する際の利便性を向上させることができる。
【0020】
着装処理部103は、操作表示部13において利用者が選択した衣服データに関する3次元データを衣服情報DB153から読み出し、人体処理部101から得られた人体画像データに衣服データの3次元データに基づいて仮想的に着せ付けるように画像処理する。例えば、衣服データの布地の力学的特性に応じて垂れ、襞等の形状変化の処理も行われる。衣服データの3次元データは、人体画像データを作成する際に用いられた利用者のサイズ区分に合うように選択される。そして、着せ付けられた3次元データに対して操作表示部13において選択された色柄データに基づいて着色処理し、着色された人体画像データに着色された衣服データを重ね合わせて着装画像データを作成する。着装画像データは、利用者のサイズ区分に合わせた人体画像データ及び衣服データを重ね合せるので、衣服データから人体画像データがはみ出すことのない着装画像データを得ることができる。また、着装画像データは、3次元画像データとして作成されているので、利用者の前方だけでなく前後左右の様々な方向から見た着装画像データを得ることが可能となる。
【0021】
試着処理部104は、撮影部11から得られた撮影画像データに基づいて利用者の頭部画像データを取得し、頭部画像データと着装処理部103から得られた着装画像データとを合成して試着画像データを作成する。利用者の頭部画像データを取得する場合、検知部12により検知された利用者の位置及び姿勢に関するデータに基づいて、利用者の首から上の部分の画像領域を画定して頭部画像データを撮影画像データから切り出して取得する。そして、取得した頭部画像データに位置合せして着装画像データを合成することで試着画像データを作成する。この場合、着装画像データに頭部画像データを位置合せして試着画像データを合成することもできる。
【0022】
試着画像は、利用者の位置及び姿勢に対応して表示部14に表示処理される。そのため、利用者が位置を移動したり回動した場合には、検知部12により移動状態や回動状態がリアルタイムで検知されて試着画像データに反映されるようになっている。利用者の姿勢については、例えば、検知部12からの利用者の検知信号に基づいて骨格データを作成し、骨格データの形状変化に基づいて利用者の姿勢を認識することができる。そして、撮影画像データからリアルタイムで頭部画像データを抽出し、利用者に合わせた動く頭部画像データに着装画像データを追従させるように合成して試着画像データを作成することで、利用者が違和感なく試着画像を視認することができる。このように試着画像を表示することで、利用者の着用している衣服を削除して頭部画像のみを利用者の体型や肌の色に合わせた着装画像と合成するので、試着画像を実際に近い状態で表示することが可能となる。
【0023】
また、予め背景画像を静止画像として撮影しておき、背景画像を試着画像と組み合せることで、鏡を見ているような現実感覚で試着状態を確認することができる。利用者の頭部画像の一部に背景画像が含まれている場合には、背景画像に合うように頭部画像を位置合せして着装画像を頭部画像に位置合せして試着画像を作成することで、試着状態の現実感を高めることが可能となる。
【0024】
試着画像は3次元画像で表示されるため、利用者が横向き又は後ろ向きで試着を確認したい場合にも、利用者の位置及び姿勢に対応して試着画像が変化して鏡を見ているように視認可能となっている。また、後ろ向きといった視認しにくい姿勢の場合には、後ろ向きの状態で操作表示部13において静止画で保存する操作を行うことで、操作した後で静止画を見て試着状態を確認することもできる。
【0025】
こうして、利用者は、実際の着用状態に近い画像データを視認しながら、自分の肌の色やスタイルに合った衣服等の服飾物とその色合いを確認することができ、利用者の容姿にマッチした衣服等の服飾物を効率よく選択することができる。そして、利用者の体型データ、選択された衣服データ及び色柄データは、顧客情報DB155に保存されて、以後利用者が試着支援装置を使用する際に、履歴情報として活用される。
【0026】
図3は、試着支援処理に関するフローである。まず、利用者が
図1に示す試着支援装置の表示装置2の前に立ち、所定位置に足を置いて表示装置2に向かって直立する。この状態で利用者を撮影装置4により撮影するとともに検知センサ5により利用者の体型が検知される。背景画像を試着画像に組み込む場合には、利用者を撮影する前に撮影装置4により背景画像を静止画で撮影しておく。
【0027】
そして、利用者の撮影画像データから肌の色の抽出処理が行われ(S100)、抽出された肌の色のデータを解析して色特性データを取得する(S101)。肌の色は、利用者の地色が表出される耳の下や頬の位置の色を抽出するとよい。抽出位置については、利用者の顔の撮影画像に基づいて目、鼻、口等の部位を画像認識して特定することができる。
【0028】
検知センサ5からの検知信号に基づいて肩幅及び身長といった体型データを算出し(S102)、算出された体型データに基づいて利用者の体型に近いサイズ区分の3次元人体形状データを取得する(S103)。
図4は、取得された3次元人体形状データを示す説明図である。サイズ区分に対応した標準的な体型の3次元人体形状データが表示されている。そして、取得された3次元人体形状データに色特性データに対応した着色処理を行い、
図5に示すように、人体画像データを作成する(S104)。作成された人体画像データは、利用者の体型及び肌の色に近い画像となっており、利用者が試着をする際に自分の容姿に合ったものか確認することができる。
【0029】
次に、操作表示装置3に衣服デザインに関するアイコン表示が行われ(S105)、利用者が表示されたアイコンを選択して衣服デザインの選択処理が行われる(S106)。そして、選択処理された衣服デザインについて色特性データに基づいて利用者の肌の色に合う色柄データが抽出されて操作表示装置3にアイコン表示される(S107)。
図6は、操作表示装置3の表示画面の一例を示している。表示画面には、後述する試着画像の表示領域30、衣服デザインのアイコンを表示する表示領域31及び色柄のアイコンを表示する表示領域32が設定されており、表示領域32には、利用者の肌の色に合う色柄が優先的に表示される。そして、表示領域32をスクロール操作して色柄を表示させて利用者が好みの色柄を選択操作する。
【0030】
操作表示装置3にアイコン表示された色柄について利用者が選択することで色柄の選択処理が行われる(S108)。そして、選択された色柄及び衣服デザインに基づいて人体画像データに衣服デザインの3次元データが着せ付けられて色柄により着色処理が行われ、着装画像データが作成される(S109)。そして、撮影装置4により撮影された撮影画像データから利用者の頭部画像データが抽出処理されて(S110)、利用者の頭部画像データに着装画像データを位置合せして合成し、試着画像データを作成する(S111)。背景画像データを組み込む場合には、背景画像データに頭部画像データを位置合せした後頭部画像データに着装画像データを位置合せして合成することで試着画像データを作成する。
【0031】
試着画像は、検知センサ5により検知された利用者の位置及び姿勢に基づいて表示装置2に表示される(S112)。利用者の位置及び姿勢はリアルタイムで検知されて、利用者の位置及び姿勢に合わせて試着画像が表示されるため、利用者は鏡を見るように試着状態を視認することができる。利用者の撮影画像データからリアルタイムで頭部画像データを抽出して頭部画像データの動きに合わせて着装画像データを位置合せして試着画像データを合成することで、違和感のない試着状態を表示することが可能となる。また、横向き及び後ろ向きの試着画像を保存しておき、後で表示させて確認することもできるため、選択された衣服デザインと色柄が自分の容姿に合ったものかじっくりと検討することが可能となる。
【0032】
利用者が試着状態を確認した後、別の色柄を選択したかチェックし(S113)、選択操作が行われた場合には、色柄が変更されたものとして、ステップS108に戻り、色柄の選択処理が行われる。そして、選択された色柄に基づいて着装画像データが作成される。別の色柄が選択されていない場合には、別の衣服デザインが選択されたかチェックし(S114)、別の衣服デザインが選択された場合には、衣服デザインが変更されたものとして、ステップS106に戻り、衣服デザインの選択処理が行われる。そして、別の衣服デザインに基づく色柄の選択処理及び着装画像データの作成処理が行われる。色柄及び衣服デザインが選択されていない場合には、終了操作が行われたかチェックし(S115)、終了操作が行われた場合には終了処理が行われる。
【0033】
以上説明した例では、衣服データとして衣服等の服飾物を使用した例について説明したが、アニメーションやドラマ等のキャラクターの装身具を衣服データとして保存しておき、こうした装身具を仮想的に着装した画像を表示する仮装支援装置としても使用することができる。
【符号の説明】
【0034】
1・・・情報処理装置、2・・・表示装置、3・・・操作表示装置、4・・・撮影装置、5・・・検知センサ