特許 5791812 衣服画像処理装置、衣服画像表示方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5791812

(24)【登録日】2015年8月14日

(45)【発行日】2015年10月7日

(54)【発明の名称】衣服画像処理装置、衣服画像表示方法、およびプログラム

(51)【国際特許分類】

   H04N 5/74 20060101AFI20150917BHJP

   G09G 5/00 20060101ALI20150917BHJP

   G09G 5/38 20060101ALI20150917BHJP

   G09G 5/36 20060101ALI20150917BHJP

   G06F 3/048 20130101ALI20150917BHJP

【ＦＩ】

   H04N5/74 Z

   G09G5/00 550C

   G09G5/00 510B

   G09G5/00 530H

   G09G5/38 Z

   G09G5/36 520E

   G09G5/36 520P

   G06F3/048 656A

【請求項の数】13

【全頁数】23

(21)【出願番号】特願2014-532831(P2014-532831)

(86)(22)【出願日】2013年5月10日

(86)【国際出願番号】JP2013063126

(87)【国際公開番号】WO2014034188

(87)【国際公開日】20140306

【審査請求日】2015年1月27日

(31)【優先権主張番号】特願2012-190412(P2012-190412)

(32)【優先日】2012年8月30日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天株式会社

(74)【代理人】

【識別番号】110000154

【氏名又は名称】特許業務法人はるか国際特許事務所

(72)【発明者】

【氏名】益子 宗

(72)【発明者】

【氏名】林 靖之

(72)【発明者】

【氏名】星 鉄矢

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２００３−５５８２６（ＪＰ，Ａ）

【文献】 特開２００１−２１１３７２（ＪＰ，Ａ）

【文献】 国際公開第２０１１／１４９０９２（ＷＯ，Ａ１）

【文献】 特開２００２−２９７１１９（ＪＰ，Ａ）

【文献】 特開２００８−２０３４９１（ＪＰ，Ａ）

【文献】 特開２００９−２６１１２（ＪＰ，Ａ）

【文献】 特開２００６−２０９５６３（ＪＰ，Ａ）

【文献】 特開２０００−１０１９４（ＪＰ，Ａ）

【文献】 特開２００６−３２３１２７（ＪＰ，Ａ）

【文献】 特開２００６−１４５６４５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／７４

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３８

Ｇ０９Ｇ ５／３６

Ｇ０６Ｆ ３／０４８

(57)【特許請求の範囲】

【請求項1】

投影装置の投影方向にある第１のアイテムであって、人体の複数の部位のうちいずれかである第１の部位に身につけられるアイテムである第１のアイテムが撮影された画像を撮影手段から取得する画像取得手段と、
前記取得された画像から前記第１のアイテムのうち前記第１の部位により定まる特有部分の位置を測定する測定手段と、
前記複数の部位のうち前記第１の部位と異なる第２の部位に身につけられるアイテムである第２のアイテムの画像における当該第２の部位により定まる特有部分の位置を取得する取得手段と、
ユーザの身体がモデル化された人体モデルを示す情報に基づいて、前記第１の部位に対する前記第２の部位の相対位置を取得する身体情報取得手段と、
前記測定された前記第１のアイテムの特有部分の位置および、前記取得された相対位置に基づいて、前記第２のアイテムの特有部分が投影される位置を決定する位置決定手段と、
前記投影装置が投影する先にある投影対象を認識する投影先認識手段と、
前記認識された投影対象までの距離と、前記第２のアイテムの特有部分の前記決定された位置と、前記取得された前記第２のアイテムの画像における前記特有部分の位置とに基づいて、アイテム情報記憶手段から読み出された前記第２のアイテムの画像であって前記投影対象に向けて投影される画像の大きさおよび位置を、前記第２のアイテムの特有部分の投影される位置が前記決定された位置にあうように調整する画像調整手段と、
前記調整された前記第２のアイテムの画像を前記投影装置に投影させる投影制御手段と、
を含むことを特徴とする衣服画像処理装置。

【請求項2】

前記取得手段は、前記第２のアイテムの画像を左右方向に横断する複数の画素ラインの各々について取得された画素の個数であって、衣服が表された領域に含まれる画素の個数の度数分布に基づいて特定された画素ラインの位置および幅を、前記第２のアイテムの画像における前記第２の部位により定まる特有部分の位置として取得し、
前記画像調整手段は、前記投影対象の上における前記第２のアイテムの前記特有部分の横幅を示す値と、前記第２のアイテムの画像における前記特有部分の横幅に対応するピクセル数との相違の程度に基づいて、前記第２のアイテムの画像を投影する大きさを調整する、
ことを特徴とする請求項１に記載の衣服画像処理装置。

【請求項3】

前記位置決定手段は、前記第１のアイテムの前記特有部分の縦方向の位置と、前記関係を示す情報と、前記投影対象までの距離とに基づいて、前記投影される画像における前記第２のアイテムの前記特有部分の縦方向の位置を決定する、
ことを特徴とする請求項２に記載の衣服画像処理装置。

【請求項4】

前記投影先認識手段は、前記投影装置から前記第２のアイテムが投影される位置までの距離を検出し、
前記画像調整手段は、前記検出された距離に基づいて、投影される前記第２のアイテムの大きさを調整する、
ことを特徴とする請求項１から３のいずれかに記載の衣服画像処理装置。

【請求項5】

前記画像調整手段は、前記第２のアイテムのサイズの情報に基づいて、投影される前記第２のアイテムの画像の大きさが前記サイズとなるように第２のアイテムの画像の大きさを調整する、
ことを特徴とする請求項１から４のいずれかに記載の衣服画像処理装置。

【請求項6】

前記投影先認識手段は、前記第２のアイテムが投影される先にある投影面の位置および傾きを検出し、
前記画像調整手段は、前記検出された投影面の位置および傾きに応じて、前記投影面に向けて投影される前記第２のアイテムの画像の形状を補正する、
ことを特徴とする請求項１から５のいずれかに記載の衣服画像処理装置。

【請求項7】

前記画像調整手段は、前記第１のアイテムが、前記投影される第２のアイテムの画像と重複しないように前記第２のアイテムの画像を加工する、
ことを特徴とする請求項１から６のいずれかに記載の衣服画像処理装置。

【請求項8】

第１のアイテムが撮影された画像に基づいて前記第１のアイテムが身につけられる第１の部位を判定する手段をさらに含む、
ことを特徴とする請求項１から７のいずれかに記載の衣服画像処理装置。

【請求項9】

前記画像調整手段は、衣服に関するユーザのサイズと、前記第２のアイテムのサイズとの比較結果に基づいて、前記第２のアイテムの表示態様を変更する、
ことを特徴とする請求項１から８のいずれかに記載の衣服画像処理装置。

【請求項10】

ユーザの撮影された身体の動きに基づいて、前記第２のアイテムを変更する手段をさらに含む、
ことを特徴とする請求項１から９のいずれかに記載の衣服画像処理装置。

【請求項11】

ユーザの撮影された身体の動きに基づいて、前記第２のアイテムについて電子商取引の処理を進める手段をさらに含む、
ことを特徴とする請求項１から１０のいずれかに記載の衣服画像処理装置。

【請求項12】

投影装置の投影方向にある第１のアイテムであって、人体の複数の部位のうちいずれかである第１の部位に身につけられるアイテムである第１のアイテムが撮影された画像を撮影手段から取得するステップと、
前記取得された画像から前記第１のアイテムのうち前記第１の部位により定まる特有部分の位置を測定するステップと、
前記複数の部位のうち前記第１の部位と異なる第２の部位に身につけられるアイテムである第２のアイテムの画像における当該第２の部位により定まる特有部分の位置を取得するステップと、
ユーザの身体がモデル化された人体モデルを示す情報に基づいて、前記第１の部位に対する前記第２の部位の相対位置を取得するステップと、
前記測定された前記第１のアイテムの特有部分の位置および、前記取得された相対位置に基づいて、前記第２のアイテムの特有部分が投影される位置を決定するステップと、
前記投影装置が投影する先にある投影対象を認識するステップと、
前記認識された投影対象までの距離と、前記第２のアイテムの特有部分の前記決定された位置と、前記取得された前記第２のアイテムの画像における前記特有部分の位置とに基づいて、アイテム情報記憶手段から読み出された前記第２のアイテムの画像であって前記投影対象に向けて投影される画像の大きさおよび位置を、前記第２のアイテムの特有部分の投影される位置が前記決定された位置にあうように調整するステップと、
前記調整された前記第２のアイテムの画像を前記投影装置に投影させるステップと、
を含むことを特徴とする衣服画像表示方法。

【請求項13】

投影装置の投影方向にある第１のアイテムであって、人体の複数の部位のうちいずれかである第１の部位に身につけられるアイテムである第１のアイテムが撮影された画像を撮影手段から取得し、
前記取得された画像から前記第１のアイテムのうち前記第１の部位により定まる特有部分の位置を測定し、
前記複数の部位のうち前記第１の部位と異なる第２の部位に身につけられるアイテムである第２のアイテムの画像における当該第２の部位により定まる特有部分の位置を取得し、
ユーザの身体がモデル化された人体モデルを示す情報に基づいて、前記第１の部位に対する前記第２の部位の相対位置を取得し、
前記測定された前記第１のアイテムの特有部分の位置および、前記取得された相対位置に基づいて、前記第２のアイテムの特有部分が投影される位置を決定し、
前記投影装置が投影する先にある投影対象を認識し、
前記認識された投影対象までの距離と、前記第２のアイテムの特有部分の前記決定された位置と、前記取得された前記第２のアイテムの画像における前記特有部分の位置とに基づいて、アイテム情報記憶手段から読み出された前記第２のアイテムの画像であって前記投影対象に向けて投影される画像の大きさおよび位置を、前記第２のアイテムの特有部分の投影される位置が前記決定された位置にあうように調整し、
前記調整された前記第２のアイテムの画像を前記投影装置に投影させる、
処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は衣服画像処理装置、衣服画像表示方法、およびプログラムに関する。

【背景技術】

【0002】

プロジェクタのように画像をスクリーンなどに投影する装置がある。また、投影面とプロジェクタの位置や画像のサイズを調整しておくことで、実物大の大きさの物体を投影させ、ユーザに投影された物体の大きさを実感させることも行われている。

【0003】

特許文献１には、物体の画像を投影する際に、プロジェクタにとって最適となる投影面の距離を取得し、その距離にある投影面に投影された物体が実物大となるよう物体の画像の大きさを変える投影型の表示システムが開示されている。さらにそのシステムは、実際の投影面への距離をチェックし、その距離と最適となる距離との差を示すメッセージを表示することで、投影面とプロジェクタとの距離を人に調整させ、投影された物体の大きさの誤差を抑えている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０−０６１０２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

電子商取引が一般的になり、衣服や靴、帽子などの身につけるものをインターネット上で注文してそれらを購入することが盛んに行われている。電子商取引などで衣服等を探す場合には、通常は商品を選択するための情報は、ディスプレイ上に表示される商品の画像と、サイズといった定型的な文字情報とだけである。このような場合には、ユーザは手元にある衣服等や自分の身体などと、手元に実体のない衣服等とのコーディネートを確認することが難しかった。

【0006】

このコーディネートを確認するために、特許文献１に記載の技術を使って実物大の衣服等の画像を投影することも考えられる。しかしながら、衣服等を探す際に、わざわざプロジェクタの位置または組み合わせたい物体の位置を動かすことは非常に面倒である。

【0007】

本発明は上記課題を鑑みてなされたものであって、その目的は、手元にある服などの身につけるものと手元にないものとのコーディネートを従来より容易に確認することができる技術を提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明にかかる衣服画像処理装置は、投影装置の投影方向にある第１のアイテムであって、人体の複数の部位のうちいずれかである第１の部位に身につけられるアイテムである第１のアイテムが撮影された画像を撮影手段から取得する画像取得手段と、前記取得された画像から前記第１のアイテムのうち前記第１の部位により定まる特有部分の位置を測定する測定手段と、前記測定された前記第１のアイテムの特有部分の位置および、前記複数の部位のうちいずれかである第２の部位に身につけられるアイテムである第２のアイテムのうちの特有部分と前記第１のアイテムの特有部分との位置関係に基づいて、前記第２のアイテムの位置を決定する位置決定手段と、前記投影装置が投影する先にある投影対象を認識する投影先認識手段と、前記認識された投影対象と、前記第２のアイテムの位置とに基づいて、アイテム情報記憶手段から読み出された前記第２のアイテムの画像であって前記投影対象に向けて投影される画像の大きさおよび位置を調整する画像調整手段と、前記調整された前記第２のアイテムの画像を前記投影装置に投影させる投影制御手段と、を含むことを特徴とする。

【0009】

また、本発明にかかる衣服画像表示方法は、投影装置の投影方向にある第１のアイテムであって、人体の複数の部位のうちいずれかである第１の部位に身につけられるアイテムである第１のアイテムが撮影された画像を撮影手段から取得するステップと、前記取得された画像から前記第１のアイテムのうち前記第１の部位により定まる特有部分の位置を測定するステップと、前記測定された前記第１のアイテムの特有部分の位置および、前記複数の部位のうちいずれかである第２の部位に身につけられるアイテムである第２のアイテムのうちの特有部分と前記第１のアイテムの特有部分との位置関係に基づいて、前記第２のアイテムの位置を決定するステップと、前記投影装置が投影する先にある投影対象を認識するステップと、前記認識された投影対象と、前記第２のアイテムの位置とに基づいて、アイテム情報記憶手段から読み出された前記第２のアイテムの画像であって前記投影対象に向けて投影される画像の大きさおよび位置を調整するステップと、前記調整された前記第２のアイテムの画像を前記投影装置に投影させるステップと、を含むことを特徴とする。

【0010】

また、本発明にかかるプログラムは、投影装置の投影方向にある第１のアイテムであって、人体の複数の部位のうちいずれかである第１の部位に身につけられるアイテムである第１のアイテムが撮影された画像を撮影手段から取得し、前記取得された画像から前記第１のアイテムのうち前記第１の部位により定まる特有部分の位置を測定し、前記測定された前記第１のアイテムの特有部分の位置および、前記複数の部位のうちいずれかである第２の部位に身につけられるアイテムである第２のアイテムのうちの特有部分と前記第１のアイテムの特有部分との位置関係に基づいて、前記第２のアイテムの位置を決定し、前記投影装置が投影する先にある投影対象を認識し、前記認識された投影対象と、前記第２のアイテムの位置とに基づいて、アイテム情報記憶手段から読み出された前記第２のアイテムの画像であって前記投影対象に向けて投影される画像の大きさおよび位置を調整し、前記調整された前記第２のアイテムの画像を前記投影装置に投影させる、処理をコンピュータに実行させる。

【0011】

本発明によれば、手元にある服などの身につけるものと手元にないものとのコーディネートを従来より容易に確認することができる。

【0012】

本発明の一態様では、前記測定手段は前記第１の部位が上半身である場合に、前記特有部分として前記第１のアイテムの肩の位置を測定してもよい。

【0013】

本発明の一態様では、前記測定手段は前記第１の部位が下半身である場合に、前記特有部分として前記第１のアイテムの腰の位置を測定してもよい。

【0014】

本発明の一態様では、前記第１の部位と前記第２の部位とは異なり、衣服画像処理装置は、前記第１のアイテムの前記特有部分に対応する人体の部分の位置と、前記第２のアイテムの前記特有部分に対応する前記人体の部分の位置との関係を示す情報を取得する身体情報取得手段をさらに含み、前記位置決定手段は、前記第１のアイテムの前記特定部分の位置と、前記関係を示す情報とに基づいて、前記第１のアイテムが前記人体に着せられた場合の前記第２のアイテムの位置を決定してもよい。

【0015】

この態様によれば、ユーザの身体に応じて位置が調整された第２のアイテムの画像を投影することができる。

【0016】

本発明の一態様では、前記画像調整手段は、前記第２のアイテムのサイズの情報に基づいて、投影される前記第２のアイテムの画像の大きさが前記サイズとなるように第２のアイテムの画像の大きさを調整してもよい。

【0017】

この態様によれば、投影される第２のアイテムの大きさを実物に合わせることができる。

【0018】

本発明の一態様では、前記投影先検出手段は、前記第２のアイテムが投影される先にある投影面の位置および傾きを検出し、前記画像調整手段は、前記検出された投影面の位置および傾きに応じて、前記投影面に向けて投影される前記第２のアイテムの画像の形状を補正してもよい。

【0019】

この態様によれば、投影面の向きと投影装置の向きとの間に傾きがある場合であっても、投影される画像の歪みを抑えることができる。

【0020】

本発明の一態様では、前記画像調整手段は、前記第１のアイテムが、前記投影される第２のアイテムの画像と重複しないように前記第２のアイテムの画像を加工してもよい。特に、前記画像調整手段は、前記第２のアイテムのサブ種類が予め定められたサブ種類である場合に、前記第１のアイテムが前記投影される第２のアイテムの画像と重複しないように前記第２のアイテムの画像を加工してよい。

【0021】

この態様によれば、第１のアイテムと第２のアイテムの画像とのコーディネートをより自然に見せることができる。

【0022】

本発明の一態様では、衣服画像処理装置は、第１のアイテムが撮影された画像に基づいて前記第１のアイテムが分類される第１の種類を判定する手段をさらに含んでもよい。

【0023】

この態様によれば、ユーザが第１のアイテムの種類を指定する操作を省略することができる。

【0024】

本発明の一態様では、前記画像調整手段は、衣服に関するユーザのサイズと、前記第２のアイテムのサイズとの比較結果に基づいて、前記第２のアイテムの表示態様を変更してもよい。

【0025】

この態様によれば、ユーザは第２のアイテムのサイズがユーザの身体に合っているかについて、より簡単に確認することができる。

【0026】

本発明の一態様では、前記画像調整手段は、前記ユーザの画像に基づいて、前記衣服に関するユーザのサイズを推定し、前記第２のアイテムのサイズとを比較してもよい。

【0027】

この態様によれば、ユーザが自身のサイズの情報を入力しなくてもよくなる。

【0028】

本発明の一態様では、衣服画像処理装置は、ユーザの撮影された身体の動きに基づいて、前記第２のアイテムを変更する手段をさらに含んでもよい。

【0029】

本発明の一態様では、衣服画像処理装置は、ユーザの撮影された身体の動きに基づいて、前記第２のアイテムについて電子商取引の処理を進める手段をさらに含んでもよい。

【図面の簡単な説明】

【0030】

【図1】本発明の実施形態にかかる電子商取引システムの構成の一例を示す図である。

【図2】カメラ、プロジェクタ、撮影対象物、投影される画像の配置の一例を示す図である。

【図3】ユーザクライアントが実現する機能を示す機能ブロック図である。

【図4】ユーザクライアントの処理フローの一例を示す図である。

【図5】コーディネート画面の一例を示す図である。

【図6】仮想商店街サーバから送信される商品情報の一例を示す図である。

【図7】仮想商店街サーバから送信されるサイズ画像情報の一例を示す図である。

【図8】位置測定部の処理フローの一例を示す図である。

【図9A】背景領域の検出方法の一例を説明するための図である。

【図9B】背景領域の検出方法の一例を説明するための図である。

【図9C】背景領域の検出方法の一例を説明するための図である。

【図10】トップスが撮影された画像から特定ラインを特定する方法の一例を説明するための図である。

【図11】ボトムスが撮影された画像から特定ラインを特定する方法の一例を説明するための図である。

【図12】身体情報取得部および投影位置決定部の処理フローの一例を示す図である。

【図13】人体モデルの一例を説明する図である。

【図14】投影画像調整部の処理フローの一例を示す図である。

【図15】ボトムスの画像を投影する場合に表示される画像の一例を示す図である。

【図16】実在するボトムスと、投影されたトップスの画像との一例を示す図である。

【図17】実在するボトムスと、投影されたトップスの画像との他の一例を示す図である。

【図18】投影画像調整部の処理フローの他の例を示す図である。

【図19】人体に投影されるボトムスの一例を示す図である。

【発明を実施するための形態】

【0031】

以下では、本発明の実施形態について図面に基づいて説明する。同じ符号を付された構成については、重複する説明を省略する。以下では、衣服や靴などの身につけるアイテム（以下では「衣服等」とも記載する）を販売する電子商取引システムに本発明を適用した実施形態を中心に説明する。

【0032】

図１は、本発明の実施形態にかかる電子商取引システムの構成の一例を示す図である。電子商取引システムは、ユーザクライアント１と、カメラ２と、プロジェクタ３と、仮想商店街サーバ４と、を含む。これらは、インターネットなどのネットワーク５を介して接続されている。

【0033】

ユーザクライアント１は、ユーザが操作するコンピュータであり、例えばパーソナルコンピュータや携帯端末などである。ユーザクライアント１は、プロセッサ１１、記憶部１２、通信部１３、入出力部１４を含む。

【0034】

プロセッサ１１は、記憶部１２に格納されているプログラムに従って動作する。またプロセッサ１１は通信部１３、入出力部１４を制御する。なお、上記プログラムは、インターネット等を介して提供されるものであってもよいし、ＤＶＤ−ＲＯＭ等のコンピュータで読み取り可能な記憶媒体に格納されて提供されるものであってもよい。

【0035】

記憶部１２は、ＲＡＭやフラッシュメモリ等のメモリ素子やハードディスクドライブ等によって構成されている。記憶部１２は、上記プログラムを格納する。また、記憶部１２は、各部から入力される情報や演算結果を格納する。

【0036】

通信部１３は、仮想商店街サーバ４などの他の装置と通信する機能を実現するものであり、例えば有線ＬＡＮを構成する集積回路や通信端子を有するネットワークカードにより構成されている。通信部１３は、ＣＰＵ１１の制御に基づいて、他の装置から受信した情報をＣＰＵ１１や記憶部１２に入力し、他の装置に情報を送信する。

【0037】

入出力部１４は、表示出力デバイスや他の入出力デバイスとのやりとりを行う回路であり、例えば表示出力デバイスに画像を出力させるグラフィックボードや、キーボード、マウス、カメラ２などの入力デバイスからのデータを取得するＵＳＢコントローラなどにより構成される。入出力部１４は、プロセッサ１１の制御に基づいて、画像データ等を表示出力デバイスに対して出力し、入力デバイスより操作者（ユーザ）からの情報や、カメラ２が取得した画像のデータなどを取得する。なお、入出力部１４に接続される表示出力デバイスの１つはプロジェクタ３であり、他に液晶表示デバイスなども入出力部１４に接続されてよい。

【0038】

カメラ２は、これから説明する電子商取引システムにおいては、可視画像や距離画像を取得するデバイスである。ここで、距離画像は２次元に並ぶピクセルからなり、その各ピクセルは、そのピクセルの方向にある物体がカメラ２からどれだけ離れているかの情報（距離）を有する。なお、距離画像に含まれる各ピクセルはそのピクセルの方向にある物体の３次元座標を有してもよい。このカメラ２のうち距離画像を取得する部分は、例えばＫＩＮＥＣＴ（登録商標）のように、物体に照射された赤外線の反射光に基づいて距離を判断するものである。他に、距離を取得するために、レーザーレンジファインダーや、カメラプロジェクションシステム、ステレオカメラなどが用いられてもよい。

【0039】

プロジェクタ３は、ライトと、レンズと、画素ごとに出力光の大きさを制御する素子とを含む投影デバイスである。プロジェクタ３は、入出力部１４から入力される画像データが示す画像を、レンズの先にある投影対象に投影する。ここで、プロジェクタ３に対する投影面がプロジェクタ３から遠いほど投影される画像の大きさが大きくなるという特徴がある。カメラ２が物体を撮影する際のカメラ２の撮影範囲と、プロジェクタ３が画像を投影する際の投影範囲とは重なっている。また、カメラ２が撮影する画像における位置とプロジェクタ３が投影する画像の位置とのずれを予め補正しておく必要がある。ここではその位置ずれに対するキャリブレーションが予めなされているものとして説明する。

【0040】

仮想商店街サーバ４は、電子商取引を行う店舗の機能を実現するサーバである。より具体的には、仮想商店街サーバ４は複数の電子店舗からなる仮想商店街を実現し、商品検索、商品紹介、決済物流支援などの機能を提供する。各店舗の運営者はネットワーク５を介して仮想商店街サーバ４に格納される商品データベースを更新し、ユーザが購入する商品の情報を取得する。仮想商店街サーバ４は、例えばデータセンタなどに設置されるサーバコンピュータであってよい。また、仮想商店街サーバ４はプログラムを実行することにより、販売対象となる商品情報のデータベースを記憶手段に記憶する機能や、電子商取引を進めるための機能を実現する。後者は例えばユーザが購入を希望する商品の購入処理を行う機能や、購入の検討対象をお気に入りリストとして記憶する機能である。

【0041】

図２は、カメラ２、プロジェクタ３、撮影対象物、投影される画像の配置の一例を示す図である。図２では、ユーザが所有するなど実在する衣服であるボトムス７が、ハンガーによって壁に掛けられている。このボトムス７がカメラ２の撮影対象物となっており、壁がプロジェクタ３が投影する画像の投影面となる。カメラ２は、距離画像を取得するための赤外光を照射するユニットを有し、カメラ２の長手方向は撮影方向と直交する方向になっている。カメラ２で取得された距離画像および可視画像はユーザクライアント１に送られ、プロジェクタ３は衣服の一種であるトップスの画像であるトップス画像８を壁に投影している。このトップス画像８については、撮影対象物の位置や投影面の距離などに応じて位置や大きさが調整されている。ここで、カメラ２が撮影する撮影対象物はプロジェクタ３が画像を投影する空間的な範囲のうちにあり、言い換えれば、撮影対象物はプロジェクタ３からみてプロジェクタ３が画像を投影する方向（投影方向）に存在するものとする。

【0042】

図３は、ユーザクライアント１が実現する機能を示す機能ブロック図である。ユーザクライアント１は機能的に、選択制御部５１と、画像取得部５２と、位置測定部５３と、身体情報取得部５４と、投影位置決定部５５と、投影先認識部５６と、投影画像調整部５７と、投影制御部５８とを含む。これらの機能は、プロセッサ１１が記憶部１２に格納されたプログラムを実行し、通信部１３等を制御することで実現される。なお、画像取得部５２、位置測定部５３、投影位置決定部５４、投影先認識部５６、投影画像調整部５７、投影制御部５８、身体情報取得部５４は、それぞれ特許請求の範囲の画像取得手段、測定手段、位置決定手段、投影先認識手段、画像調整手段、投影制御手段、身体情報取得手段に対応する。

【0043】

以下では、ユーザクライアント１が実現する各機能について、処理フローやその他の図面を用いて説明する。図４は、選択制御部５１の概略的な処理フローを示す図である。

【0044】

選択制御部５１は、プロセッサ１１、記憶部１２、および通信部１３を中心として実現される。選択制御部５１は投影される対象としてユーザにより選択された衣服などの情報を仮想商店街サーバ４から取得する（ステップＳ１０１）。

【0045】

図５は、コーディネート画面３０の一例を示す図である。選択制御部５１は、コーディネート画面３０を、ユーザクライアント１に接続される表示パネル等に出力させる。また仮想商店街サーバ４は、ユーザクライアント１がコーディネート画面３０を表示するためのデータを、ユーザが入力する検索条件等の操作に応じてユーザクライアント１に送信する。

【0046】

図５に示すようにコーディネート画面３０にはトップス画像３２Ａ、ボトムス画像３２Ｂ、及び靴画像３２Ｃの組合せが表示される。トップス画像３２Ａは、仮想商店街で販売されているトップス（上半身に着用される衣服）のうちから選択されたトップスの画像である。同様に、ボトムス画像３２Ｂは、仮想商店街で販売されているボトムス（下半身に着用される衣服）のうちから選択されたボトムスの画像であり、靴画像３２Ｃは、仮想商店街で販売されている靴のうちから選択された靴の画像である。なおここでは、画像が表示されているトップスの商品やボトムスの商品等が、投影対象として選択される。

【0047】

また、コーディネート画面３０には、進むボタン３４Ａ，３４Ｂ，３４Ｃと、戻るボタン３６Ａ，３６Ｂ，３６Ｃとが表示されている。ユーザはこれらのボタンを押下することによって、コーディネート画面３０に表示され、投影対象として選択されるトップス画像３２Ａ、ボトムス画像３２Ｂ、及び靴画像３２Ｃを変更することができる。

【0048】

コーディネート画面３０では複数種類のトップス画像３２Ａが所定の順序に従って表示されるようになっている。進むボタン３４Ａ及び戻るボタン３６Ａは、コーディネート画面３０に表示されるトップス画像３２Ａを変えるためのボタンである。進むボタン３４Ａが押下された場合、次のトップス画像３２Ａがコーディネート画面３０に表示される。一方、戻るボタン３６Ａが押下された場合には、一つ前のトップス画像３２Ａがコーディネート画面３０に表示される。

【0049】

同様に、コーディネート画面３０では複数種類のボトムス画像３２Ｂが所定の順序に従って表示されるようになっている。進むボタン３４Ｂ及び戻るボタン３６Ｂは、コーディネート画面３０に表示されるボトムス画像３２Ｂを変えるためのボタンである。進むボタン３４Ｂが押下された場合、次のボトムス画像３２Ｂがコーディネート画面３０に表示される。一方、戻るボタン３６Ｂが押下された場合には、一つ前のボトムス画像３２Ｂがコーディネート画面３０に表示される。

【0050】

また、コーディネート画面３０では複数種類の靴画像３２Ｃが所定の順序に従って表示されるようになっている。進むボタン３４Ｃ及び戻るボタン３６Ｃは、コーディネート画面３０に表示される靴画像３２Ｃを変えるためのボタンである。進むボタン３４Ｃが押下された場合、次の靴画像３２Ｃがコーディネート画面３０に表示される。一方、戻るボタン３６Ｃが押下された場合には、一つ前の靴画像３２Ｃがコーディネート画面３０に表示される。

【0051】

また、コーディネート画面３０にはトップスボタン３８Ａ、ボトムスボタン３８Ｂ、及び靴ボタン３８Ｃが表示されている。これらのボタンのいずれかが押下されると、コーディネート画面３０に表示され選択されるトップス画像３２Ａ等のうち対応するものが所定時間（例えば２秒）ごとに所定の順序に従って自動的に変更されるようになる。なお、もう一度トップスボタン３８Ａ等のいずれかが押下された場合には、トップス画像３２Ａ等のうち対応するものに対する自動的な変更が停止される。

【0052】

また、コーディネート画面３０にはサイズ選択欄３９Ａ〜３９Ｃが表示されている。このサイズ選択欄３９Ａ〜３９Ｃにより、現在表示されている商品の衣服のサイズのうちいずれかを選択することができる。また、これらにより投影対象として選択される衣服等のサイズが決定される。このサイズは商品となる衣服等により異っていてもよく、それぞれの衣服等がどのようなサイズを有するかについては、仮想商店街サーバ４に含まれる商品情報（アイテム情報）のデータベースにおいて商品の情報の中に登録されている。

【0053】

例えば、商品情報の中にサイズとしてＳ、Ｍ、Ｌが設定されている場合には選択制御部５１はＳ，Ｍ，Ｌを取得し、サイズ選択欄の選択肢にこれらを表示する。また商品情報の中に７号、９号、１１号が設定されている場合には、選択制御部５１は７号、９号、１１号を取得し表示する。また、サイズごとに実物と画像との関係を示す実測値が対応付けられており、選択制御部５１は画像をその実測値に応じた大きさに拡大または縮小し、コーディネート画面３０に表示する。図５の画像上においては、仮想的なモデルのサイズの肩の位置が分かっているので、その画面内で１ｍは何ドットに対応するといった縮尺は決まっている。そのため、選択制御部５１はＳＭＬ等に対応する実測値を用いて画像の拡大縮小を行い、適正な大きさで画像を表示する。

【0054】

また、コーディネート画面３０には背景欄４０が表示されている。背景欄４０はコーディネート画面３０の背景を選択するためのものである。

【0055】

選択制御部５１は、上述のようにして選択されたトップス、ボトムス、靴といった衣服等の情報を、仮想商店街サーバ４から取得する。図６は、仮想商店街サーバ４から送信され選択制御部５１が取得する商品情報の一例を示す図である。図７は、仮想商店街サーバ４から送信され選択制御部５１が取得するサイズ画像情報の一例を示す図である。商品情報およびサイズ画像情報は選択された衣服等についての情報であり、仮想商店街サーバ４が商品情報のデータベースから読み出して送信した情報である。

【0056】

商品情報に含まれる項目は、店舗ＩＤ、商品ＩＤ、商品の名称、カテゴリ、サブカテゴリである。店舗ＩＤはこの衣服等を商品として販売する仮想商店の店舗ＩＤであり、カテゴリは商品がトップスであるかボトムスであるか靴であるかなどの種類を示す情報であり、サブカテゴリは、例えばトップスの中でのＴシャツといった、さらに詳細化された商品の種類を示すものである。

【0057】

サイズ画像情報に含まれる項目は、店舗ＩＤ、商品ＩＤの他、サイズ区分、画像ＩＤ、特定ライン幅、特定ラインの左右端の位置、身幅、ウェスト、ヒップ、上腕囲、丈といったものである。特定ラインとは、衣服等の位置を決めるために衣服の特定の箇所を左右方向に横断するラインである。特定ラインの幅は、その特定ラインの左右の幅の実測値を示す。特定ラインの幅は、具体的にはトップスの場合には肩幅であり、ボトムスの場合には腰の幅である。また特定ラインの左右端の位置は、そのサイズの商品の画像（画像ＩＤが示す画像）において、特定ラインに相当する部分の左右端の座標の情報である。言い換えれば、左右端の位置は特定ラインがその画像上のどこにあるかを示している。ここでは、特定ラインの左右端の位置はデータとして持たせているが、ユーザクライアント１が画像からその位置を求めることも可能である。その処理フローは、後述する図８のフローに示す処理において、撮影された画像の代わりに商品の画像を用いればよい。特定ラインの左右端の位置から求められる画像における距離と、特定ラインの幅とから、実物と画像との縮尺がわかる。また、身幅、ウェスト、ヒップ、上腕囲、丈といった情報は、衣服の細かなサイズを示す情報である。衣服等がＴシャツであれば身幅、ウェスト、丈の情報が入り、例えばワンピースであればこれらの項目の全てに情報が入る。これらの情報の利用の仕方については後述する。

【0058】

画像取得部５２は、プロセッサ１１、記憶部１２および入出力部１４を中心として実現される。画像取得部５２は、選択された衣服などの情報が取得されると、カメラ２から投影面のそばに配置された衣服等（アイテム）が撮影された画像（可視画像、距離画像）を取得する（ステップＳ１０２）。このアイテムの種類がトップスであれば上半身に身につけられ、ボトムスであれば下半身に身につけられ、靴であれば足に身につけられる。このアイテムは特許請求の範囲の第１のアイテムに対応し、このアイテムが身につけられる部分である上半身や下半身や足が特許請求の範囲の第１の部位に対応する。ここで、取得する衣服等の画像は、ハンガーなどに掛けられた衣服の画像でもよいし、人が着用している衣服の画像でもよい。

【0059】

位置測定部５３は、プロセッサ１１および記憶部１２を中心として実現される。位置測定部５３は、画像取得部５２が取得した画像から、その画像に含まれる衣服等のカテゴリに応じた特有部分である特定ラインの位置を測定することで、その衣服等の位置を測定する（ステップＳ１０３）。以下では位置測定部５３の処理についてさらに細かく説明する。

【0060】

図８は、位置測定部５３の処理フローの一例を示す図である。はじめに、位置測定部５３は撮影された画像のうちから背景領域を検出する（ステップＳ２０１）。ここで、「背景領域」とは、衣服が写されている領域（衣服領域）以外の領域のことを意味している。

【0061】

図９Ａ、図９Ｂ、及び図９Ｃは背景領域の検出方法の一例を説明するための図である。図９Ａは、背景領域の検出処理の対象となる可視画像の一例を示している。図９Ａに示す可視画像６０は、ハンガーを用いて壁等につるされたトップスを撮影した画像である。なお、ここでは撮影された可視画像６０の背景は単色又は類似色であることとする。また、図９Ａに示す可視画像６０において、衣服領域の色はそれ以外の領域の色と同一又は類似の色でないこととする。

【0062】

可視画像６０の背景領域を検出する場合、まず位置測定部５３は、図９Ｂに示すように、可視画像６０の四辺に隣接する画素ライン（画素行及び画素列）を背景領域６２として初期設定する。

【0063】

その後、位置測定部５３は、背景領域６２内の画素の色と同一又は類似の色を、該画素の隣接画素が有しているか否かを判定する。なお、「隣接画素」とは、背景領域６２内の画素に隣接する画素であって、かつ、背景領域６２に含まれていない画素である。

【0064】

例えば、位置測定部５３は、背景領域６２内の画素の色と、隣接画素の色と、の間の類似度が基準類似度よりも高いか否かを判定する。そして、類似度が基準類似度よりも高い場合に、位置測定部５３は、背景領域６２内の画素の色と同一又は類似の色を隣接画素が有していると判定する。

【0065】

より具体的には、位置測定部５３は、背景領域６２内の画素の色値（例えばＲＧＢ値）と、隣接画素の色値（例えばＲＧＢ値）と、の間のユークリッド距離を算出する。また位置測定部５３は、算出されたユークリッド距離が基準値よりも小さいか否かを判定する。そして、ユークリッド距離が基準値よりも小さい場合に、位置測定部５３は、背景領域６２内の画素の色と同一又は類似の色を隣接画素が有していると判定する。

【0066】

なお、色はＲＧＢ値以外の色値によって表される場合もある。例えば、ＣＩＥＬＡＢ色空間又はＨＳＶ色空間における色値が用いられる場合もある。また、二つの色が同一又は類似であるか否かを判定するための手法はユークリッド距離を用いる手法に限られない。例えば、二乗誤差、マハラノビス距離、又はアースムーバーズ距離等を用いて、二つの色が同一又は類似であるか否かを判定するようにしてもよい。

【0067】

背景領域６２内の画素の色と同一又は類似の色を隣接画素が有していると判定された場合、位置測定部５３は該隣接画素を背景領域６２に加える。このようにして、位置測定部５３は背景領域６２を拡張していく。

【0068】

以上の処理は、背景領域６２内の画素の色と同一又は類似の色を有する隣接画素が見つからなくなるまで繰り返し実行される。その結果、図９Ｃに示すような背景領域６２が検出される。

【0069】

ステップＳ２０１の処理が実行された後、位置測定部５３は可視画像６０の背景領域６２を除去する（ステップＳ２０２）。位置測定部５３は可視画像６０の背景領域６２を透明に設定する。

【0070】

背景領域の検出は、別の方法を用いてもよい。例えば、位置測定部５３は予め背景の可視画像を撮影しておき、衣服等が投影された状態との輝度等の差分が一定の値より小さい領域を背景領域として検出してもよい。

【0071】

なお、背景領域の検出や除去のために距離画像を用いてもよい。衣服は背景より前にあることから、距離画像における隣接するピクセルの距離の違い等に基づいて背景を識別するための閾値を求め、その閾値より後ろにあるものを背景として除去すればよい。

【0072】

ステップＳ２０２の処理が実行された後、位置測定部５３は、撮影された衣服のカテゴリを判定する（ステップＳ２０３）。このカテゴリは、例えばトップス、ボトムス、靴であり、それぞれそのカテゴリに属する衣服等が身につけられる人体の部分（上半身、下半身、足）に対応している。位置測定部５３は、この判定をサポートベクトルマシンなどの機械学習技術を用いた画像認識技術により行えばよい。なお、このように自動的に判定する代わりに、コーディネート画面３０に対してユーザに撮影される衣服のカテゴリを入力させ、その情報を位置測定部５３が取得するようにしてもよい。また、実在の服と手元にない服とのコーディネートを確認する設定がされている場合には、この処理により判定されたカテゴリの衣服等について、以下の処理で投影対象から自動的に除外するように制御されてもよい。

【0073】

次に、位置測定部５３は特定ラインを特定する（Ｓ２０４）。特定ラインは、トップスであれば肩に相当する部分、ボトムスであれば腰に相当する部分を左右方向に延びるラインであり、特定ラインは衣服等の属するカテゴリに応じて決まっている。特定ラインの位置は、衣服等を着用した場合に、その衣服等のカテゴリが同じであればほぼ同じ位置になるように予め設定されている。

【0074】

図１０は、トップスが撮影された画像から特定ラインを特定する方法の一例について説明するための図である。可視画像６０がトップスの画像である場合、肩のライン７２Ａを検出することによって特定ライン８０Ａを取得する。

【0075】

より具体的には、まず位置測定部５３は可視画像６０を二値化する。図１０は二値化された可視画像６０を示している。次に、位置測定部５３は、可視画像６０の各画素行（すなわち、衣服の横方向に対応する方向に延伸する各画素ライン）について、衣服領域７０に含まれる画素の個数（Ｎ）を計数する。図１０におけるグラフは各画素行の上記個数（Ｎ）のヒストグラムを示している。

【0076】

トップスの場合、肩部分の曲率が大きくなる傾向があるため、上記のヒストグラムの勾配を調べることによって肩のライン７２Ａを検出する。具体的には、位置測定部５３は、ヒストグラムの曲率θ（ｙ）の変化を可視画像６０の上部から順に調べる。

【0077】

曲率θ（ｙ）の変化は、上記のヒストグラムｈｉｓｔ（ｙ）に基づき下記の式（１）によって内積を計算することによって算出される。例えば、可視画像６０の縦辺及び横辺のサイズがともに４００ピクセルの場合、曲率θ（ｙ）を求める際の高さｈは５ピクセルに設定される。

【0078】

【数1】

【0079】

位置測定部５３は、可視画像６０の上部から順に曲率θ（ｙ）を調べていき、最初に所定値（例えば１８０°）よりも大きな曲率θ（ｙ）の変化がある位置を肩の位置として検出する。すなわち、位置測定部５３は、最初に所定値（例えば１８０°）よりも大きな曲率θ（ｙ）の変化がある画素行を肩のライン７２Ａとして検出する。

【0080】

そして位置測定部５３は、肩のライン７２Ａとして検出された画素行のうちの、衣服領域７０の左端７４Ｌから右端７４Ｒまでの部分を特定ライン８０Ａとして取得する。

【0081】

図１１は、ボトムスが撮影された画像から特定ラインを特定する方法の一例について説明するための図である。可視画像６０がボトムスの画像である場合、腰のライン７２Ｂを検出することによって特定ライン８０Ｂを取得する。

【0082】

まず位置測定部５３は可視画像６０を二値化する。図１０と同様、図１１は二値化された可視画像６０を示している。

【0083】

その後、位置測定部５３は、可視画像６０の各画素行（すなわち、衣服の横方向に対応する方向に延伸する各画素ライン）について、衣服領域７０に含まれる画素の個数（Ｎ）を計数する。図９におけるグラフは各画素行の上記個数（Ｎ）のヒストグラムを示している。

【0084】

トップスの場合と同様、ボトムスの場合、腰部分の曲率が大きくなる傾向があるため、上記のヒストグラムの勾配を調べることによって腰のライン７２Ｂを検出する。具体的には、位置測定部５３は、ヒストグラムの曲率θ（ｙ）の変化を可視画像６０の上部から順に調べる。曲率θ（ｙ）の変化は、上記のヒストグラムｈｉｓｔ（ｙ）に基づき上記の式（１）によって内積を計算することによって算出される。

【0085】

位置測定部５３は、可視画像６０の上部から順に曲率θ（ｙ）を調べていき、最初に所定値（例えば１８０°）よりも大きな曲率θ（ｙ）の変化がある位置を腰の位置として検出する。すなわち、位置測定部５３は、最初に所定値（例えば１８０°）よりも大きな曲率θ（ｙ）の変化がある画素行を腰のライン７２Ｂとして検出する。

【0086】

そして位置測定部５３は、腰のライン７２Ｂとして検出された画素行のうちの、衣服領域７０の左端７４Ｌから右端７４Ｒまでの部分を特定ライン８０Ｂとして取得する。なお以下では、特定ライン８０Ａ，８０Ｂのことを総称して「特定ライン８０」と記載する場合がある。

【0087】

次に、位置測定部５３は、特定ライン８０の位置を取得する（ステップＳ２０５）。ここで、特定ライン８０の位置は、特定ライン８０の中央点の３次元的な位置であり、特定ライン８０の中央点の画像内での位置と、距離画像から取得される特定ライン８０のカメラ２からの距離とにより取得される。なお、この位置は、上述の画像内での位置と距離とで表されてもよいし、カメラ２の位置や向きにより定まる座標系における３次元座標により表されてもよい。なお、ここでは特定ライン８０の上下方向もしくは前後方向の傾きを検出していないが、それらを検出してもよい。

【0088】

なお、服を着ているユーザが撮影された場合でも、上述の方法で特定ライン８０の位置を取得できる。また、この場合には、位置測定部５３は距離画像から取得される人体の骨格の情報を用いて特定ライン８０の位置を取得してもよい。例えば、ＫＩＮＥＣＴ（登録商標）などの距離画像センサのために提供されているプログラムライブラリを用いれば、容易にユーザの人体の骨格の情報、つまり肩や腰などの位置を取得することができ、この情報から特定ライン８０が求められる。またこの方法は特に腰に相当する特定ライン８０を検出する上で有用である。

【0089】

身体情報取得部５４や投影位置決定部５５は、プロセッサ１１および記憶部１２を中心として実現される。投影位置決定部５５は、撮影された衣服等の位置が測定された後に、特定ライン８０の位置、および、選択制御部５１により選択されかつ投影されるアイテムの特有部分である特定ラインと特定ライン８０との位置関係（例えば空間上の相対位置）に基づいて、その投影されるアイテムの位置を決定する（ステップＳ１０４）。この投影されるアイテムは、特許請求の範囲の第２のアイテムに対応する。またこの投影されるアイテムが身につけられる部分（上半身や下半身や足などのうちいずれか）は特許請求の範囲の第２の部位に対応する。また、ここではその服の位置の決定に身体情報取得部５４が取得する人体モデルの情報も用いる。以下ではこの処理についてさらに詳細に説明する。

【0090】

図１２は、身体情報取得部５４および投影位置決定部５５の処理フローの一例を示す図である。はじめに、身体情報取得部５４は、予め記憶部１２に記憶された人体モデル情報を読み出す（ステップＳ３０１）。人体モデル情報は、このコーディネートを確認する操作を行うユーザの身体をモデル化した人体モデルを示す情報である。図１３は、人体モデルの一例を示す図である。人体モデルのパラメータとなる箇所は、人体の肩に相当するラインの中央である肩ポイント８１Ａ、人体の腰に相当するラインの中央である腰ポイント８１Ｂ、人体の右足の先に相当するラインの中央である右足ポイント８１Ｃ、人体の左足の先に相当するラインの中央である左足ポイント８１Ｄを含む。人体モデル情報は、ユーザの身体について予め測定された、これらのポイントの座標を含んでいる。また、人体モデル情報は、これらの他に、ウェスト、バスト、ヒップといったユーザのサイズの情報を含んでいてもよい。

【0091】

人体モデル情報が読み出されると、投影位置決定部５５は、その人体モデル情報に基づいて、撮影された衣服等の位置から投影される衣服等の位置を決定する（ステップＳ３０２）。ここで、例えばトップスにおける特定ライン８０Ａの位置は肩ポイント８１Ａに、ボトムスにおける特定ライン８０Ｂの位置は腰ポイント８１Ｂに対応しており、特定ライン８０の位置と、人体モデルのポイントの位置とは、同じであるか、あるいは簡単なオフセットにより互いに変換することができる。例えばトップスにおける特定ライン８０Ａの位置が肩ポイント８１Ａと同じであり、腰ポイント８１Ｂの位置がボトムスの位置（例えば特定ライン８０Ｂの位置）と同じであるとすると、トップスの特定ライン８０Ａの位置に対して肩ポイント８１Ａに対する腰ポイント８１Ｂの相対位置を加算することで、ボトムスの画像についての特定ラインの中央部の位置を求めることができる。この求められる位置は投影される画像における位置であってよい。この場合、撮影された衣服等の特定ライン８０の画像における座標に対し、上述の相対位置の値に特定ライン８０のカメラ２からの距離に応じた倍率をかけた値を加算すれば、投影される衣服等の画像上の位置が求められる。このようにすることで、投影位置決定部５５は仮にカメラ２により撮影されたアイテムが人体モデル情報に対応する人体に着せられた場合における投影されるアイテムの位置を決定する。なお画像の拡大縮小率は、後述する方法で求められる投影対象への距離から計算される。

【0092】

なお、服を着ている人体の画像を撮影し、人体に対して投影してもよい。この場合には、必ずしも人体モデル情報を用いなくてもよい。その場合、撮影された衣服等の特定ラインをそのまま投影する衣服等の位置として用いることが可能である。つまり、人体モデルを用いる代わりに、位置測定部５３が人体の骨格または着ている服から検出した、投影対象となるカテゴリの衣服等の特定ラインが用いられる。投影位置決定部５５はこの特定ラインの位置を投影される衣服等の位置として決定すればよい。

【0093】

投影先認識部５６は、プロセッサ１１、記憶部１２を中心として実現される。投影先認識部５６は、プロジェクタ３の投影領域にある投影先（投影対象）を認識する（ステップＳ１０５）。ここで認識される投影先は、壁といった投影面である。より具体的には、投影先認識部５６は、距離画像から、投影位置決定部５５が決定した衣服等の位置における距離を取得する。また、投影先認識部５６は、さらにその周囲、特に投影面のうち衣服等の画像が投影される可能性の高い領域の距離に基づいて、投影面の傾きも取得する。なお、投影先として人体を認識してもよい。この場合には、距離画像などから人体の位置や姿勢を検出し、内部的な計算で用いる人体の形状は、予め作成され簡略化された形状とする。

【0094】

投影画像調整部５７は、プロセッサ１１および記憶部１２を中心として実現される。投影画像調整部５７は、投影されるアイテムの位置や投影先の位置などに応じて、投影される衣服等の画像を加工する（ステップＳ１０６）。以下ではこの処理についてさらに詳細に説明する。

【0095】

図１４は、投影画像調整部５７の処理フローの一例を示す図である。はじめに、投影画像調整部５７は、投影されるアイテムの元の画像である投影画像の画像データを取得する（ステップＳ４０１）。この画像データは、ステップＳ１０１で仮想商店街サーバ４から衣服等の情報の一部として取得されたものである。次に、投影されるアイテムのカテゴリがボトムスであり、かつ足の画像を表示する設定がされている場合には、投影画像に足の画像を合成する（ステップＳ４０２）。より具体的には、投影画像調整部５７は投影画像と足の画像との縮尺を互いにあわせるよう（例えば足の画像を）拡大縮小等し、次に腰の位置を合わせ、かつボトムスが前面にくるようにボトムスの画像と足の画像を重ね合わせる。こうすることで、スカートやパンツの丈に応じて足がどこから下（例えばひざ下）がでるかがわかるように画像が調整される。

【0096】

図１５は、ボトムスの画像を投影する場合に表示される画像の一例を示す図である。衣服等の画像を実物大にして見たい大きな理由として、その衣服等のサイズを確認したいということがある。ボトムス画像９１をみてサイズを確認する際に、足画像９２を表示することで、ボトムスの長さの見え方をより具体的にイメージすることが可能となる。

【0097】

次に、投影画像調整部５７は、投影先（例えば投影面の位置や傾き）に応じて、投影画像を拡大縮小する（ステップＳ４０３）。より具体的には、例えば、投影画像調整部５７はサイズ画像情報が示す投影対象となる衣服等の横幅が、投影面上の特定ラインに相当する距離でどれだけのピクセル数になるかを確認し、それと投影画像におけるその横幅に対応するピクセル数との比から倍率を求めて拡大縮小するとよい。投影画像調整部５７は、さらに投影された衣服等の画像の歪みを軽減するために、投影面の傾きに応じて投影画像を台形補正してもよい。

【0098】

次に、投影画像調整部５７は、拡大縮小された投影画像の特定ラインの位置が、投影位置決定部５５により決定された特定ラインの位置にあうように投影画像を位置あわせする（ステップＳ４０４）。こうして投影画像調整部５７は、上述の加工がされた投影画像のデータを生成する。

【0099】

また、投影画像調整部５７は、以下に示すように、さらに撮影された衣服と投影画像との重複に基づいて、投影されるアイテムの画像がカメラ２の前で撮影されたアイテムと重複しないように投影されるアイテムの画像（投影画像）を加工する処理を行う。この処理はトップスの画像を投影する場合に、トップスをボトムスの中に入れること等を表現するための処理である。投影画像調整部５７は、撮影された実在する服と、投影画像とが重複する領域を有するか確認する（ステップＳ４０５）。これらが重複する領域を有し（ステップＳ４０６のＹ）、かつ投影される衣服等のサブカテゴリが重複を許さないサブカテゴリの場合には（ステップＳ４０７のＹ）、重複部分を表示しないように投影画像をさらに加工する（ステップＳ４０８）。この重複を許さないサブカテゴリとしては、トップスのうちビジネス用ブラウスなどがある。ステップＳ４０８の処理では、トップスとボトムスが重複する領域の上端を求め、その上端より下の領域の画像を削除する。

【0100】

次に、投影画像調整部５７は、ボトムスの上端の部分の近傍で、投影される服（トップス）の左右端が実在の服（ボトムス）の左右端に近づくように投影画像を加工する（ステップＳ４０９）。例えば、投影画像調整部５７は投影画像のうちボトムスの上端より一定だけ上側の領域について、ラインごとに定まる縮小率で縮小し、左右端の位置の違いを緩和するように画像を平行移動させればよい。この縮小率は、ボトムスの上端ではボトムスの幅をトップスの幅で割った値にし、上に行くにつれてその縮小率を１に向けて増加させればよい。

【0101】

投影制御部５８は、プロセッサ１１、記憶部１２および入出力部１４を中心として実現される。投影制御部５８は、加工された投影画像のデータをプロジェクタ３に向けて出力し、プロジェクタ３に投影画像を投影させる（ステップＳ１０７）。

【0102】

図１６は、実在するボトムス７と、投影されたトップス画像８との一例を示す図である。このトップスのサブカテゴリはＴシャツであり、重複を許すサブカテゴリになっている。トップスが表示される位置は、ボトムス７の位置に応じて変化する。また、投影されるサイズは、投影面の距離を考慮しているため、プロジェクタ３の位置にかかわらず一定である。また、肩と腰に相当する位置の関係は、ユーザのものとほぼ一致している。このようにサイズと位置を調整した衣服等の画像を表示することで、ユーザはコーディネートを容易に確認することが可能となる。

【0103】

図１７は、実在するボトムス７と、投影されたトップス画像８との他の一例を示す図である。こちらは、トップスのサブカテゴリが、重複を許さないものになっている場合の例である。こちらの場合には、ステップＳ４０８，Ｓ４０９の処理を行うことで、図１６に示す一点鎖線の部分が表示されないようになっている。また、ボトムス７の上端部分でトップス画像８が横方向に飛び出すような不自然な描画もされていない。

【0104】

なお、投影画像調整部５７は、投影先の物体の色による色調の変化を抑えるように、画像データにおける色調を変化させてもよい。

【0105】

その後、選択制御部５１は、ユーザからの操作があるか確認し（ステップＳ１０８）、操作がない場合には（ステップＳ１０８のＮ）、ステップＳ１０２からの処理を繰返し、撮影される服が移動しても追随できるようにする。一方、ユーザの操作があり（ステップＳ１０８のＹ）、その操作が投影する衣服等を切替える操作である場合には（ステップＳ１０９のＹ）、選択制御部５１はその操作が次の衣服等にするか前の衣服等にするかの内容に応じて他の衣服等を選択し（ステップＳ１１０）、ステップＳ１０１から繰り返す。ここで、このユーザの操作は、図５に示すような画面におけるボタンの操作に限られず、カメラ２の前にいる人の身体の動きによるジェスチャー操作（例えば腕を右や左に向ける操作）であってもよい。例えば服をきている人に画像を投影する場合には、端末等の操作をすることなく衣服等を切替えることが可能となる。

【0106】

また、ユーザの操作が投影される服について電子商取引の処理を進めることを意味する操作であれば（ステップＳ１１１のＹ）、その情報をその処理の対象として選択し、仮想商店街サーバ４に向けて送信し、電子商取引の処理を進める（ステップＳ１１２）。この電子商取引の処理は、例えば今投影されている衣服等について購入を進める購入処理や、購入を検討する対象のリストであるお気に入りリストに追加する処理である。こちらの操作についても、ボタンの操作だけでなく、ジェスチャー操作を可能にしてよい。例えば腕を右上に向ければ購入処理に入る操作、左上に向ければお気に入りリストに追加する操作というようにジェスチャーを割り当てておけばよい。

【0107】

ここで、投影画像調整部５７が行うステップＳ１０６の処理の詳細は、図１４に示すものには限られない。図１８は、投影画像調整部５７の処理フローの他の例を示す図である。この例では、ユーザが服を着用している場合の処理について説明する。

【0108】

はじめに、投影画像調整部５７は投影画像のデータを取得する（ステップＳ４５１）。次に、ユーザのウェスト等のサイズを取得する（ステップＳ４５２）。ここで、ウェスト等のサイズは、予め身体情報として設定されている情報を取得してもよいし、例えばウェスト等については、投影画像調整部５７は距離画像からサイズとの相関が大きい情報（肩幅や身幅、おなかの出っ張りなど）を取得し、それらからウェストなどのサイズを推定してもよい。

【0109】

次に、投影画像調整部５７はユーザのサイズと衣服等のサイズとを比較する（ステップＳ４５３）。衣服等のサイズは、サイズ画像情報の一部として取得されている。そして、投影画像調整部５７は、サイズについての複数の項目のうち、ユーザと衣服等とで差が予め定められた量より大きいサイズ項目については、ユーザに知らせる対象とし、投影画像にそれを知らせるマークを付加したり、その項目に強く関連する投影画像の領域を点滅させるなど、投影画像を変更する（ステップＳ４５４）。なお、この処理は人体に投影しない場合にも行ってよい。

【0110】

そして、投影画像調整部５７は３次元空間上にユーザに応じた形状の物体を設定し、その物体に実物大に拡大または縮小した投影画像をテクスチャマッピングする（ステップＳ４５５）。このユーザに応じた形状の物体は、投影先認識部５６が位置を決めた投影先となる人体のモデルである。また、マッピングする際には、投影画像の特定の位置が、人体のモデルの特定の位置になるような位置あわせもあわせて行う。

【0111】

次に、投影画像調整部５７はテクスチャマッピングされた画像をレンダリングし、出力される画像のデータを生成する（ステップＳ４５６）。なお、さらにその画像について、トップスの形のラインなど、サイズ感に影響が少ない部分について実際の人体の形にあわせるよう画像を変形させてもよい。また、投影制御部５８は、投影されるべき画像をカメラ２が取得した可視画像と合成し、ユーザクライアント１に接続される画面に出力させてもよい。

【0112】

図１９は、人体に投影されるボトムスの一例を示す図である。本図の例では、ユーザのバストのサイズが、トップスのバストのサイズより大きく、きつい場合の例である。このような場合、ユーザが着用しているトップス９には、バストがきついことを示す画像が付加されたトップス画像８が投影される（図１９の斜線部分参照）。

【0113】

なお、人体に衣服等の画像を投影する場合には、上述のテクスチャマッピングを用いない簡易な方法を用いてもよい。例えば、投影画像調整部５７は、予めマネキン等に着せられた画像を取得し、その画像をユーザの位置から求められる仮想的な投影面に出力するようにしてもよい。

【0114】

自宅で衣服等を人体に投影し、衣服等のコーディネートを行うことは、家族で衣服のコーディネートを確認したい場合に特に有効である。例えば奥さんが旦那や子どもの衣服のコーディネートを確認したい場合、実在の店舗で着替えさせる手間が不要になる。

【0115】

これまでに説明したシステムを利用するケースは、自宅で電子商取引を行う場合に限られない。実在する店舗でも用いることができる。

【0116】

例えば、店舗に実在する衣服のそばに他の実在しない衣服の画像を投影してもよい。例えば以前ユーザがその店で購入したが着用していない衣服との比較をしたい場合に有用である。このようなケースでは、お店で以前販売していた衣服等のデータベースや、以前ユーザが購入した衣服のデータベースを整備しておけばよい。

【0117】

他にも、店舗に実在する衣服の画像を人体に投影してもよい。この場合、人体に投影することは試着するために着替えることよりも容易であるから、例えばプリントされたデザインのみ異なるＴシャツとのコーディネートを短時間で行いたいような場合に特に有効である。

【符号の説明】

【0118】

１ ユーザクライアント、２ カメラ、３ プロジェクタ、４ 仮想商店街サーバ、５ ネットワーク、７ ボトムス、８ トップス画像、９ トップス、９１ ボトムス画像、９２ 足画像、１１ プロセッサ、１２ 記憶部、１３ 通信部、１４ 入出力部、３０ コーディネート画面、３２Ａ トップス画像、３２Ｂ ボトムス画像、３２Ｃ 靴画像、３４Ａ，３４Ｂ，３４Ｃ 進むボタン、３６Ａ，３６Ｂ，３６Ｃ 戻るボタン、３８Ａ トップスボタン、３８Ｂ ボトムスボタン、３８Ｃ 靴ボタン、３９Ａ，３９Ｂ，３９Ｃ サイズ選択欄、４０ 背景欄、５１ 選択制御部、５２ 画像取得部、５３ 位置測定部、５４ 身体情報取得部、５５ 投影位置決定部、５６ 投影先認識部、５７ 投影画像調整部、５８ 投影制御部、６０ 可視画像、６２ 背景領域、７０ 衣服領域、７２Ａ 肩のライン、７２Ｂ 腰のライン、８０Ａ，８０Ｂ 特定ライン、７４Ｌ 左端、７４Ｒ 右端、８１Ａ 肩ポイント、８１Ｂ 腰ポイント、８１Ｃ 右足ポイント、８１Ｄ 左足ポイント。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】