(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-21
(45)【発行日】2022-07-29
(54)【発明の名称】商品サイズ判定装置および商品サイズ判定方法
(51)【国際特許分類】
G06T 7/62 20170101AFI20220722BHJP
G01B 11/02 20060101ALI20220722BHJP
【ＦＩ】
G06T7/62
G01B11/02 H
【請求項の数】
6
(21)【出願番号】P 2017187569
(22)【出願日】2017-09-28
(65)【公開番号】P2019012503
(43)【公開日】2019-01-24
【審査請求日】2020-07-07
(31)【優先権主張番号】62/526,702
(32)【優先日】2017-06-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】599083411
【氏名又は名称】株式会社 ＭＴＧ
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(72)【発明者】
【氏名】ジョン マクレアー
(72)【発明者】
【氏名】サティア マリック
(72)【発明者】
【氏名】プラナフ ミシュラ
【審査官】佐藤 実
(56)【参考文献】
【文献】特開２００５－０２３４９８（ＪＰ，Ａ）
【文献】特開２０１７－０７５９６１（ＪＰ，Ａ）
【文献】米国特許第０８９０８９２８（ＵＳ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／６２
Ｇ０１Ｂ １１／０２
(57)【特許請求の範囲】
【請求項1】
既知の幅および長さの長方形の物品とともに商品を装着する身体部位を撮影した撮影画像を取得する画像取得部と、前記撮影画像において前記物品の画像上の幅および長さを検出する検出部と、
前記撮影画像において前記身体部位の画像上の大きさを測定する測定部と、
前記物品の既知の幅と検出された前記物品の画像上の幅の比率および前記物品の既知の長さと検出された前記物品の画像上の長さの比率にもとづいて、前記身体部位の画像上の大きさの測定値から前記身体部位の現実の大きさを推定する推定部とを含み、
前記検出部は、前記撮影画像における前記物品の歪んだ四辺形の形状を元の長方形の形状に変換する射影変換を施すことにより、前記物品の画像上の幅および長さを検出し、
前記測定部は、前記撮影画像に前記射影変換を施した上で、前記身体部位の画像上の大きさを測定することを特徴とする商品サイズ判定装置。
【請求項2】
前記身体部位の現実の大きさの推定値にもとづいて前記商品のサイズを判定する判定部をさらに含むことを特徴とする請求項１に記載の商品サイズ判定装置。
【請求項3】
前記判定部は、判定された前記商品のサイズの適否に関するユーザからのフィードバックにもとづいて、前記身体部位の現実の大きさの推定値にもとづいて判定される前記商品のサイズを調整することを特徴とする請求項２に記載の商品サイズ判定装置。
【請求項4】
前記画像取得部は、既知の幅および長さの長方形の物品とともに手を撮影した撮影画像を取得し、前記測定部は、前記撮影画像において指輪用の指の関節の画像上の太さを測定し、
前記推定部は、前記物品の既知の幅または長さと検出された前記物品の画像上の幅または長さの比率にもとづいて、指輪用の指の関節の画像上の太さの測定値から指輪用の指の関節の現実の太さを推定することを特徴とする請求項１から３のいずれかに記載の商品サイズ判定装置。
【請求項5】
既知の幅および長さの長方形の物品とともに商品を装着する身体部位を撮影した撮影画像を取得する画像取得ステップと、前記撮影画像において前記物品の画像上の幅および長さを検出する検出ステップと、
前記撮影画像において前記身体部位の画像上の大きさを測定する測定ステップと、
前記物品の既知の幅と検出された前記物品の画像上の幅の比率および前記物品の既知の長さと検出された前記物品の画像上の長さの比率にもとづいて、前記身体部位の画像上の大きさの測定値から前記身体部位の現実の大きさを推定する推定ステップとを含み、
前記検出ステップは、前記撮影画像における前記物品の歪んだ四辺形の形状を元の長方形の形状に変換する射影変換を施すことにより、前記物品の画像上の幅および長さを検出し、
前記測定ステップは、前記撮影画像に前記射影変換を施した上で、前記身体部位の画像上の大きさを測定することを特徴とする商品サイズ判定方法。
【請求項6】
既知の幅および長さの長方形の物品とともに商品を装着する身体部位を撮影した撮影画像を取得する画像取得ステップと、前記撮影画像において前記物品の画像上の幅および長さを検出する検出ステップと、
前記撮影画像において前記身体部位の画像上の大きさを測定する測定ステップと、
前記物品の既知の幅と検出された前記物品の画像上の幅の比率および前記物品の既知の長さと検出された前記物品の画像上の長さの比率にもとづいて、前記身体部位の画像上の大きさの測定値から前記身体部位の現実の大きさを推定する推定ステップとをコンピュータに実行させ、
前記検出ステップは、前記撮影画像における前記物品の歪んだ四辺形の形状を元の長方形の形状に変換する射影変換を施すことにより、前記物品の画像上の幅および長さを検出し、
前記測定ステップは、前記撮影画像に前記射影変換を施した上で、前記身体部位の画像上の大きさを測定することを特徴とする商品サイズ判定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、商品サイズ判定技術に関する。
【背景技術】
【0002】
ＩＣカードは、リーダライタに接近すると無線通信して各種データを送受信する。取り扱いが容易であり、入退出管理カードや、社員カード、交通機関の乗車カード、クレジットカードなどとして普及している。
【0003】
ＩＣカードと同様の機能を備える指輪も知られている。特許文献１に開示されているＲＦＩＤ組込リングを用いれば、カバンや衣服のポケットからＩＣカードを取り出すことなく、鉄道の自動改札機を通ったり、買い物の代金を支払ったりできる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１５－９３００４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
指輪は通常、店頭で試着して購入するため、自分の指にぴったり合ったサイズの指輪を購入することができる。しかし、リング型ウェアラブル端末の場合は、インターネットや雑誌などのメディアを通じて通信販売で購入することが多くなる。自分の指のサイズを知らない場合、リング型ウェアラブル端末の最適なサイズを選択して注文することができない。自分の指に合わないものを購入してしまった場合、返品などの煩雑な手続きが必要になり、消費者にとっても販売者にとっても無駄なコストを払うことになってしまう。
【0006】
同様に、靴、服、帽子など身体に装着する商品をインターネットや通信販売で購入する場合、試着ができないため、自分の身体にぴったり合ったサイズを選択することが難しい。
【0007】
本発明は、こうした課題に鑑みてなされたものであり、その目的は、ユーザの身体に装着する商品のサイズを判定する技術を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明のある態様の商品サイズ判定装置は、既知のサイズの物品とともに商品を装着する身体部位を撮影した撮影画像を取得する画像取得部と、前記撮影画像において前記物品の画像上のサイズを検出する検出部と、前記撮影画像において前記身体部位の画像上の大きさを測定する測定部と、前記物品の既知のサイズと検出された前記物品の画像上のサイズの比率にもとづいて、前記身体部位の画像上の大きさの測定値から前記身体部位の現実の大きさを推定する推定部とを含む。
【0009】
前記身体部位の現実の大きさの推定値にもとづいて前記商品のサイズを判定する判定部をさらに含んでもよい。
【0010】
ユーザのプロファイルにもとづいて前記判定部により判定された前記商品のサイズの妥当性を判定する検証部をさらに含んでもよい。
【0011】
前記画像取得部は、既知のサイズの物品とともに手を撮影した撮影画像を取得し、前記測定部は、前記撮影画像において指輪用の指の関節の画像上の太さを測定し、前記推定部は、前記物品の既知のサイズと検出された前記物品の画像上のサイズの比率にもとづいて、指輪用の指の関節の画像上の太さの測定値から指輪用の指の関節の現実の太さを推定し、前記判定部は、指輪用の指の関節の現実の太さの推定値にもとづいて指輪サイズを判定してもよい。
【0012】
前記画像取得部は、既知のサイズの物品とともに手を撮影した撮影画像として、フラッシュ有りの撮影画像とフラッシュ無しの撮影画像を取得し、前記フラッシュ有りの撮影画像と前記フラッシュ無しの撮影画像を用いて、手を撮影した撮影画像から背景を除去するフィルタリング処理を行う背景除去部をさらに含んでもよい。
【0013】
前記判定部は、前記撮影画像の付属情報にもとづいて、指輪用の指の関節の現実の太さの推定値にもとづいて判定される指輪サイズを調整してもよい。
【0014】
前記画像取得部は、既知のサイズの物品とともに足を撮影した撮影画像を取得し、前記測定部は、前記撮影画像において画像上の足幅、足長、および足囲を測定し、前記推定部は、前記物品の既知のサイズと検出された前記物品の画像上のサイズの比率にもとづいて、画像上の足幅、足長、および足囲の測定値から現実の足幅、足長、および足囲を推定し、前記判定部は、現実の足幅、足長、および足囲の推定値にもとづいて靴のサイズを判定してもよい。
【0015】
前記画像取得部は、既知のサイズの物品とともに足を撮影した撮影画像として、足を上から撮影した画像と足を横から撮影した画像を取得してもよい。
【0016】
前記画像取得部は、既知のサイズの物品とともに上半身を撮影した撮影画像を取得し、前記測定部は、前記撮影画像において画像上の肩幅、胸囲、および胴囲を測定し、前記推定部は、前記物品の既知のサイズと検出された前記物品の画像上のサイズの比率にもとづいて、画像上の肩幅、胸囲、および胴囲の測定値から現実の肩幅、胸囲、および胴囲を推定し、前記判定部は、現実の肩幅、胸囲、および胴囲の推定値にもとづいてシャツのサイズを判定してもよい。
【0017】
前記画像取得部は、既知のサイズの物品とともに上半身を撮影した撮影画像として、上半身を前方から撮影した画像と上半身を側方から撮影した画像を取得してもよい。
【0018】
本発明の別の態様は、商品サイズ判定方法である。この方法は、既知のサイズの物品とともに商品を装着する身体部位を撮影した撮影画像を取得する画像取得ステップと、前記撮影画像において前記物品の画像上のサイズを検出する検出ステップと、前記撮影画像において前記身体部位の画像上の大きさを測定する測定ステップと、前記物品の既知のサイズと検出された前記物品の画像上のサイズの比率にもとづいて、前記身体部位の画像上の大きさの測定値から前記身体部位の現実の大きさを推定する推定ステップとを含む。
【発明の効果】
【0019】
本発明によれば、ユーザの身体に装着する商品のサイズを判定することができる。
【図面の簡単な説明】
【0020】
【図3A】カードを手に載せて撮影した画像を説明する図である。
【図3B】カードを手に載せて撮影した別の画像を説明する図である。
【図3C】カードを手に載せて撮影したさらに別の画像を説明する図である。
【図4A】カードを手に載せて撮影した画像から検出される指の関節を示す図である。
【図4B】カードを手に載せて撮影した別の画像から検出される指の関節を示す図である。
【図5】カードの実際のサイズを説明する図である。
【図7】実施の形態に係る指輪サイズ判定装置の構成図である。
【図9A】カードを足の横に置いて足を上から撮影した画像を説明する図である。
【図9B】カードを足の横に置いて足を横から撮影した画像を説明する図である。
【図12A】カードを手にもってユーザの上半身を前方から撮影した画像を説明する図である。
【図12B】カードを手にもってユーザの上半身を側方から撮影した画像を説明する図である。
【発明を実施するための形態】
【0021】
図１（ａ）は、リング型ウェアラブル端末１００の斜視図である。リング型ウェアラブル端末１００は、第１リング１０２と、第１リング１０２の外側に接合される第２リング１０４とを備える。
【0022】
図１（ｂ）は、図１（ａ）のリング型ウェアラブル端末１００に内蔵される通信部１１０の斜視図である。通信部１１０は、ＩＣチップおよびアンテナを含むＩＣタグである。通信部１１０は、両面にアンテナ１４０が形成されたフレキシブル基板１５０と、フレキシブル基板１５０に設けられたＩＣチップ１２０とを備える。フレキシブル基板１５０は、両端部が接合されてリング状に形成される。フレキシブル基板１５０の両面に形成されたアンテナ１４０は、基板に形成されているスルーホールを通じて接続され、フレキシブル基板１５０がリング状にされた状態でループアンテナを構成する。ＩＣチップ１２０は、ＣＰＵ、メモリ、受信部、および送信部を含み、アンテナ１４０の端部に設けられたアンテナ端子１３０に図示しない配線を介して接続されている。ＩＣチップ１２０は、既知の技術により、リーダライタからの電波を受けたアンテナ１４０が生み出す電力で動作し、リーダライタと各種データを送受信する。
【0023】
図２は、リング型ウェアラブル端末１００を装着したユーザがリーダー端末２００を利用する様子を説明する図である。リング型ウェアラブル端末１００をリーダー端末２００の読み取り部に向けると、リング型ウェアラブル端末１００のＩＣチップ１２０が、リーダー端末２００から受けた電波によって駆動し、リーダー端末２００との間でデータを送受信する。これにより、ユーザ認証やオンライン決済などが可能になる。
【0024】
リング型ウェアラブル端末１００のサイズがユーザの指の太さに合っていない場合、リング型ウェアラブル端末１００が指からずれ落ちたり、逆にきつくてはめづらくなったりする。ユーザの指の太さにぴったり合ったリング型ウェアラブル端末１００を使用する必要があるが、ユーザは必ずしも自分の指に適した指輪サイズを知っているとは限らない。ユーザにリング型ウェアラブル端末１００を対面販売する場合は、店頭でいろいろなサイズのリング型ウェアラブル端末１００をユーザに試着させることができる。しかし、インターネットや雑誌などの通信販売では、ユーザはリング型ウェアラブル端末１００を試着することができない。そこで、本実施の形態では、ユーザの手の撮影画像からユーザの指輪サイズを判定することができる指輪サイズ判定装置４００を提供する。
【0025】
図３Ａは、カード３００を手に載せて撮影した画像を説明する図である。ここではカード３００を手の甲に載せて撮影した画像を説明するが、カード３００を手のひらに載せて撮影した画像を用いてもよい。
【0026】
クレジットカードやデビットカードなどサイズが既知であるカード３００をユーザの手の甲に載せて、デジタルカメラや携帯電話に装備されたカメラなどでユーザの手の甲を上から撮影する。カード３００のちょうど真上から撮影した場合、カード３００は同図のように歪みなく長方形で撮影される。カード３００のサイズは既知であるから、カード３００の画像上のサイズとカード３００の現実のサイズの比率から、ユーザの手の指の画像上の太さをユーザの手の指の現実の太さに変換することができる。
【0027】
しかしながら、手の甲の上に載せたカード３００をちょうど真上から撮影することは難しく、たとえば、図３Ｂのようにカード３００に対して斜め右から撮影したり、図３Ｃのようにカード３００に対して斜め左から撮影することもある。この場合、カード３００は歪みのある四辺形で撮影され、長方形にはならない。このような場合、画像上のカード３００の歪みを補正して長方形に変換する射影変換を行った上で、カード３００の画像上のサイズとカード３００の現実のサイズの比率から、ユーザの手の指の画像上の太さをユーザの手の指の現実の太さに変換する必要がある。
【0028】
図４Ａは、カード３００を手に載せて撮影した画像から検出される指の関節を示す図である。同図は、カード３００の真上から撮影した画像であり、カード３００は歪みのない長方形で撮影されている。撮像画像からカード３００の領域を抽出し、カード３００の画像上の幅ｗ、高さｈをピクセル数で測定する。
【0029】
また、図４Ａの撮像画像から人間の手の特徴を抽出することにより、手の５本指を識別する。さらに識別された各指において人間の指の特徴を抽出することにより、各指の関節を識別する。これにより、親指からは第１関節、残りの４本の指からは第１関節と第２関節が図示するように識別される。
【0030】
リング型ウェアラブル端末１００を装着する指が中指である場合、中指の第２関節３１０の太さによってリング型ウェアラブル端末１００の適正サイズが決まる。ここで指の関節の太さは、指を真上から見たときの指の関節の最大幅である。通常、指は楕円形状であり、指の厚さよりも指を真上から見たときの指の幅の方が大きいため、指の幅が実質的に指輪の適正サイズを決める。中指の第２関節３１０の太さに対応する直径をもつリング型ウェアラブル端末１００がユーザの指に合う。図４Ａの撮影画像から中指の第２関節３１０の画像上の太さｄをピクセル数で測定する。
【0031】
図４Ｂは、カード３００を手に載せて撮影した別の画像から検出される指の関節を示す図である。同図は、カード３００の斜め右から撮影した画像であり、カード３００は歪みのある四辺形で撮影されている。撮像画像からカード３００の領域を抽出し、カード３００の四辺形の４頂点Ａ、Ｂ、Ｃ、Ｄの座標値を検出する。
【0032】
また、図４Ａと同様に、図４Ｂの撮像画像から手の５本指を識別し、さらに各指の関節を識別する。図４Ｂの撮影画像からリング型ウェアラブル端末１００を装着する中指の第２関節３１０の画像上の太さｄをピクセル数で測定する。
【0033】
図５は、カード３００の現実のサイズを説明する図である。クレジットカードやデビットカードなどのカード３００は、国際規格によりサイズが定められており、幅Ｗは５３．９８ｍｍ、高さＨは８５．６０ｍｍである。
【0034】
図４Ａのように、カード３００の真上から撮影した画像の場合、カード３００の画像上の幅の測定値ｗに対する現実の幅Ｗの比率ｒ＝Ｗ／ｗを求め、中指の第２関節３１０の画像上の太さｄに比率ｒを掛けることで、中指の第２関節３１０の現実の太さＤ＝ｒ＊ｄを求めることができる。カード３００の画像上の高さの測定値ｈに対する現実の幅Ｈの比率ｒ＝Ｈ／ｈを求めて、中指の第２関節３１０の画像上の太さｄに掛けることでも、中指の第２関節３１０の現実の太さＤを求めることができる。カード３００の画像上の幅と高さの両方の測定値を用いることで測定誤差を抑制し、より正確な中指の第２関節３１０の現実の太さＤを求めることができる。
【0035】
図４Ｂのように、カード３００の斜め右から撮影した画像の場合、カード３００は歪んだ四辺形であるため、長方形に補正する射影変換が必要になる。図６（ａ）は、歪んだ四辺形のカード３００の画像を示し、図６（ｂ）は、射影変換後の長方形のカード３００の画像を示す図である。歪んだ四辺形を長方形に補正する射影変換Ｈにより、図６（ａ）の歪んだ四辺形のカード３００の４頂点Ａ、Ｂ、Ｃ、Ｄの座標値が、図６（ｂ）の長方形のカード３００の４頂点Ａ、Ｂ、Ｃ、Ｄの座標値にマッピングされる。射影変換後の長方形のカード３００の幅ｗ’と高さｈ’を求める。
【0036】
図４Ｂの歪んだカード３００に施した射影変換Ｈを図４Ｂの中指の第２関節３１０にも適用する。これにより、図４Ｂの中指の第２関節３１０の画像は、図４Ａのように真上から撮影した状態に変換される。射影変換後の中指の第２関節３１０の画像において第２関節３１０の画像上の太さｄ’を測定する。射影変換Ｈにより、元の撮影画像における第２関節３１０の画像上の太さｄはｄ’に補正される。
【0037】
射影変換後のカード３００の画像上の幅の測定値ｗ’に対する現実の幅Ｗの比率ｒ’＝Ｗ／ｗ’を求め、射影変換後の中指の第２関節３１０の画像上の太さｄ’に比率ｒ’を掛けることで、中指の第２関節３１０の現実の太さＤ＝ｒ’＊ｄ’を求めることができる。射影変換後のカード３００の画像上の高さの測定値ｈ’に対する現実の幅Ｈの比率ｒ’＝Ｈ／ｈ’を求めて、射影変換後の中指の第２関節３１０の画像上の太さｄ’に掛けることでも、中指の第２関節３１０の現実の太さＤを求めることができる。射影変換後のカード３００の画像上の幅と高さの両方の測定値を用いることで測定誤差を抑制し、より正確な中指の第２関節３１０の現実の太さＤを求めることができる。
【0038】
図７は、実施の形態に係る指輪サイズ判定装置４００の構成図である。
【0039】
画像取得部１０は、カード３００を置いた手の撮影画像を取得する。撮影画像はネットワーク経由でユーザの端末などから送信される。画像取得部１０は、フラッシュ有りの撮影画像と、フラッシュ無しの撮影画像の２枚を取得し、画像記憶部１４に保存する。
【0040】
背景除去部１２は、画像記憶部１４に保存されたフラッシュ有りの撮影画像とフラッシュ無しの撮影画像を用いて、背景を除去して、手とカード３００の撮影領域を抽出し、抽出された手とカード３００の撮影領域の画像を画像記憶部１４に記憶する。
【0041】
カード検出部２０は、画像記憶部１４に記憶された手とカード３００の撮影領域の画像からカード３００の領域を検出し、カード３００の画像上のサイズを検出する。カード３００の領域が歪みのある四辺形である場合、カード３００の形状を長方形に変換する射影変換を施した上で、カード３００の画像上のサイズを検出する。カード検出部２０は、検出されたカード３００のサイズを指太さ推定部４０に供給する。
【0042】
指識別部３０は、画像記憶部１４に記憶された手とカード３００の撮影領域の画像から手の５本指を識別し、リング型ウェアラブル端末１００を装着する指（以下、「指輪用の指」と呼ぶ）を特定する。どの指にリング型ウェアラブル端末１００を装着するかはユーザが指定する。指識別部３０は、特定された指輪用の指の領域を指関節識別部３２に通知する。
【0043】
指関節識別部３２は、指輪用の指の領域から関節を識別し、第２関節を特定する。特定された第２関節の画像上の位置を指関節測定部３４に通知する。
【0044】
指関節測定部３４は、指輪用の指の第２関節の画像上の太さを測定する。カード３００の領域が歪みのある四辺形である場合、指関節測定部３４は、指輪用の指の第２関節の領域（あるいは手の画像全体）に、カード３００の形状を長方形に変換したときと同じ射影変換を施した上で、指輪用の指の第２関節の画像上の太さを測定する。指関節測定部３４は、指輪用の指の第２関節の画像上の太さの測定値を指太さ推定部４０に与える。
【0045】
指太さ推定部４０は、カード３００の既知のサイズとカード検出部２０により検出されたカード３００の画像上のサイズの比率にもとづいて、指関節識別部３２により測定された指輪用の指の第２関節の太さの測定値から指輪用の指の第２関節の現実の太さを推定する。指太さ推定部４０は、指輪用の指の第２関節の現実の太さの推定値を指輪サイズ判定部５０に与える。
【0046】
指輪サイズ判定部５０は、指輪サイズ判定テーブル記憶部５２に記憶された指輪サイズ判定テーブルにもとづいて、指輪用の指の第２関節の現実の太さの推定値に対応する指輪サイズを決定し、決定された指輪サイズを検証部６０に与える。たとえば、指輪用の指の第２関節の現実の太さの推定値が２０ミリメートルである場合、指輪サイズとしてアメリカの規格では１０．５号、日本の規格では２２号を選択する。
【0047】
指輪サイズ判定部５０が、指輪用の指の第２関節の現実の太さの推定値から指輪サイズを判定する方法には、機械学習を用いない判定方法と機械学習を用いる判定方法がある。
【0048】
まず、機械学習を用いない判定方法を説明する。指輪用の指の第２関節の太さに対応する指輪サイズを学習するためにテストを実施する。指輪用の指の第２関節の太さに対して指輪サイズの推奨値を割り当てたデータを手動で生成し、判定アルゴリズムにそのデータを適用する。撮影画像から指輪用の指の第２関節の太さを検出し、判定アルゴリズムにしたがって第２関節の太さの推定値に対応する指輪サイズの推奨値を決定し、ユーザにその指輪サイズの指輪の購入を勧める。指輪を購入したユーザから指輪サイズの適否に関するフィードバックを受け取り、指輪がゆるいとユーザが感じている場合は、推奨する指輪サイズを一段階小さいものに変更し、指輪がきついとユーザが感じている場合は、推奨する指輪サイズを一段階大きいものに変更する。
【0049】
次に、機械学習を用いる判定方法を説明する。撮影画像から指輪用の指の第２関節の太さを検出し、判定アルゴリズムにしたがって第２関節の太さの推定値に対応する指輪サイズの推奨値を決定し、ユーザにその指輪サイズの指輪の購入を勧める。指輪を購入したユーザから指輪サイズの適否に関するフィードバックを受け取り、判定アルゴリズムは自動的に指輪サイズの推奨値を改善する。たとえば、判定アルゴリズムがユーザの指輪サイズを１４号と判定し、正確な指輪サイズが１５号であったときは、判定アルゴリズムは、１５号を推奨値とする確率がより高くなるように学習する。指輪を購入したユーザからのフィードバックが多く得られるほど、機械学習により判定アルゴリズムの判定精度は改良されていく。
【0050】
あるいは、指輪用の指の第２関節の太さの推定値（あるいはユーザの指の画像自体）と正しい指輪サイズの対応関係をディープラーニングによって学習してもよい。指輪を購入したユーザからの指輪サイズの適否に関するフィードバックを反映させることでディープラーニングによる学習結果の精度をさらに改善することもできる。
【0051】
検証部６０は、知識データベース６２に格納された人間の指の特徴に関する知識にもとづいて決定された指輪サイズの妥当性を判断する。たとえば、ユーザの性別、年齢、国籍などのプロファイルにより、平均的な指輪サイズがわかる場合、指輪サイズ判定部５０により決定された指輪サイズが平均的な指輪サイズから大きく離れている場合は、指輪サイズ判定部５０による判定結果は妥当ではないと判定される。
【0052】
指関節測定部３４は、撮影画像において手の各指の関節の画像上の太さを測定し、検証部６０は、知識データベース６２に格納された人間の各指の関節の太さの大小関係に関する規則にもとづいて、指輪用の指の第２関節の画像上の太さの測定値の妥当性を判定してもよい。たとえば、指輪用の指の第２関節の太さの測定値が同じ指の第１関節の太さの測定値よりも小さい場合、指輪用の指の第２関節の画像上の太さの測定値は妥当ではないと判定される。
【0053】
検証部６０は、撮影画像の付属情報にもとづいて、指輪サイズの妥当性を判定してもよい。撮影画像の付属情報には撮影日時、撮影場所などが含まれ、また、ここでは、撮影日時および撮影場所から特定される湿度、気温などの情報も撮影画像の付属情報に含める趣旨である。ユーザの指は、朝と夜では太さに違いが生じることがある。朝は指は細く、夜になるとむくみなどにより指が太くなることがある。検証部６０は、撮影画像の撮影時間が夜であった場合、撮影画像から推定される指輪用の指の第２関節の太さから判定される指輪サイズを１段階落としたサイズに調整するように指輪サイズ判定部５０に指示してもよい。また、気温や湿度などの影響で指の太さが微妙に異なることもあり、撮影画像の付属情報から特定される天気に関する情報にもとづいて指輪サイズを調整してもよい。
【0054】
検証部６０により決定された指輪サイズが妥当であると判定された場合、通知部７０は決定された指輪サイズをユーザ端末に送信してユーザに通知する。ユーザは、決定された指輪サイズのリング型ウェアラブル端末１００を購入する。
【0055】
通知部７０は、リング型ウェアラブル端末１００を購入したユーザからリング型ウェアラブル端末１００の装着具合についてフィードバックを受け取る。リング型ウェアラブル端末１００のサイズがゆるい、きついなどのユーザの感想にもとづいて、機械学習部８０は、指輪サイズ判定部５０の指輪サイズ判定のパラメータを調整したり、指輪サイズ判定テーブル記憶部５２に記憶された指輪サイズ判定テーブルを更新する。
【0056】
図８は、指輪サイズ判定装置４００による指輪サイズ判定手順を示すフローチャートである。
【0057】
画像取得部１０は、カード３００を置いたユーザの手の撮影画像を取得する（Ｓ１０）。撮影画像は２枚あることが好ましく、１枚はフラッシュ有りの画像、もう１枚はフラッシュ無しの画像であれば、背景と手とを区別するためにより好ましい。
【0058】
背景除去部１２は、ユーザの手の撮影画像から背景を除去するフィルタリング処理を行う（Ｓ１２）。背景除去部１２は、ユーザの手の色と背景の色の違いなどの特徴からユーザの手と背景を区別する。フラッシュなしの撮影画像とフラッシュありの撮影画像を利用できる場合は、フラッシュによる反射効果の違いからユーザの手と背景をより正確に区別することができる。
【0059】
カード検出部２０は、ユーザの手の撮影画像からカード３００の領域を抽出し、カード３００の幅、高さ、歪みを測定する（Ｓ１４）。検出されたカード３００の形状が歪んだ四辺形である場合は、射影変換により長方形に変換した上で、カード３００の幅と高さをピクセル数で測定する。
【0060】
指識別部３０は、撮影画像からユーザがリング型ウェアラブル端末１００を装着する予定の指輪用の指を識別する（Ｓ１６）。指関節識別部３２は、指輪用の指の第２関節を識別する（Ｓ１８）。
【0061】
指関節測定部３４は、指輪用の指の第２関節の画像上の大きさを測定する（Ｓ２０）。カード３００の形状が歪みのある四辺形である場合は、指関節測定部３４は、指輪用の指の第２関節の画像（あるいは手の画像全体）についても同じ射影変換を施した上で指輪用の指の第２関節の画像上の大きさを測定することで第２関節の大きさの測定値を補正する（Ｓ２２）。
【0062】
指太さ推定部４０は、カード３００の規定サイズと画像上のサイズの測定値の比率にもとづいて、指輪用の指の第２関節の実寸サイズを推定する（Ｓ２４）。
【0063】
指輪サイズ判定部５０は、指輪用の指の第２関節の実寸サイズに基づいて指輪サイズを決定する（Ｓ２６）。
【0064】
検証部６０は、指輪サイズの判定結果の妥当性を検証する（Ｓ２８）。指輪サイズの判定結果が妥当であれば、通知部７０はユーザに指輪サイズを通知する（Ｓ３０）。
【0065】
以上、商品サイズ判定装置の一例として、指輪サイズ判定装置４００の構成と動作を説明したが、同様の技術思想は、指輪以外の靴、服、帽子など身体に装着する商品のサイズ判定の場合にも適用することができる。一般的に既知のサイズの物品とともに商品を装着する身体部位を撮影した撮影画像を用いて、同様の判定手法により、商品を装着する身体部位のサイズを判定することができる。以下、いくつかの商品を例に商品サイズ判定方法を説明する。
【0066】
まず、靴のサイズを判定する方法を説明する。靴の場合、ユーザの足のサイズを正確に判定する必要がある。
【0067】
図９Ａは、カード３００を足の横に置いて足を上から撮影した画像を説明する図であり、図９Ｂは、カード３００を足の横に置いて足を横から撮影した画像を説明する図である。図１０（ａ）および図１０（ｂ）は、足のサイズを測る方法を説明する図である。
【0068】
靴のサイズを決めるためには、図１０（ａ）に示すように、足の裏に対して親指の付け根と小指の付け根の間の長さである足幅Ｗ、足の縦方向の長さである足長Ｌを測定し、図１０（ｂ）に示すように、足の親指の付け根と小指の付け根を通った足の周りの長さである足囲Ｃを測定する必要がある。また、足の甲の高さである甲高Ｈを測定する場合もある。足幅Ｗと足長Ｌは、図９Ａのように足の上から撮影した画像から推定することができ、足囲Ｃと甲高Ｈは、図９Ｂのように足の横から撮影した画像から推定することができる。
【0069】
図１１Ａは、図９Ａの撮影画像から検出される画像上の足幅の測定値ｗと足長の測定値ｌを説明する図である。カード３００の画像に歪みがある場合は歪んだ四辺形を長方形に補正する射影変換Ｈを画像に施した上で足幅の測定値ｗ’と足長の測定値ｌ’を得る。画像上のカード３００のサイズを現実のサイズに変換する比率ｒ’を求め、射影変換後の画像上の足幅の測定値ｗ’と足長の測定値ｌ’に掛けることで現実の足幅の推定値Ｗ＝ｒ’＊ｗ’と現実の足長の推定値Ｌ＝ｒ’＊ｌ’を求めることができる。
【0070】
図１１Ｂは、図９Ｂの撮影画像から検出される画像上の足囲の測定値ｃと甲高の測定値ｈを説明する図である。カード３００の画像に歪みがある場合は歪んだ四辺形を長方形に補正する射影変換Ｈを画像に施した上で足囲の測定値ｃ’と甲高の測定値ｈ’を得る。画像上のカード３００のサイズを現実のサイズに変換する比率ｒ’を求め、射影変換後の画像上の足囲の測定値ｃ’と甲高の測定値ｈ’に掛けることで現実の足囲の推定値Ｃ＝ｒ’＊ｃ’と現実の甲高の推定値Ｈ＝ｒ’＊ｈ’を求めることができる。
【0071】
足幅の推定値Ｗ、足長の推定値Ｌ、および足囲の推定値Ｃからユーザの足に合う靴のサイズを判定する。オプションとして、さらに甲高の推定値Ｈを用いて靴のサイズを判定してもよい。
【0072】
次に、シャツのサイズを判定する方法を説明する。シャツの場合、ユーザの上半身のサイズを正確に判定する必要がある。
【0073】
【0074】
シャツのサイズを決めるためには、肩幅Ｓ、胸囲Ｂ、胴囲Ｗを測定する必要がある。肩幅Ｓは、図１２Ａの上半身を前方から撮影した画像から推定することができ、胸囲Ｂおよび胴囲Ｗは、図１２Ａの上半身を前方から撮影した画像と、図１２Ｂの上半身を側方から撮影した画像とを組み合わせて推定することができる。
【0075】
図１２Ａの上半身の正面画像から、画像上の肩幅の測定値ｓを測定する。カード３００の画像に歪みがある場合は歪んだ四辺形を長方形に補正する射影変換Ｈを画像に施した上で肩幅の測定値ｓ’を測定する。画像上のカード３００のサイズを現実のサイズに変換する比率ｒ’を求め、射影変換後の画像上の肩幅の測定値ｓ’に掛けることで現実の肩幅の推定値Ｓ＝ｒ’＊ｓ’を求めることができる。
【0076】
図１２Ａの上半身の正面画像および図１２Ｂの上半身の側面画像から、画像上の胸囲の測定値ｂおよび胴囲の測定値ｗを測定する。カード３００の画像に歪みがある場合は歪んだ四辺形を長方形に補正する射影変換Ｈを画像に施した上で胸囲の測定値ｂ’および胴囲の測定値ｗ’を測定する。画像上のカード３００のサイズを現実のサイズに変換する比率ｒ’を求め、射影変換後の画像上の胸囲の測定値ｂ’および画像上の胴囲の測定値ｗ’に掛けることで現実の胸囲の推定値Ｂ＝ｒ’＊ｂ’および現実の胴囲の推定値Ｗ＝ｒ’＊ｗ’を求めることができる。
【0077】
肩幅の推定値Ｓ、胸囲の推定値Ｂ、および胴囲の推定値Ｗからユーザの上半身に合うシャツのサイズを判定する。
【0078】
帽子のサイズを判定する場合は、ユーザの頭部をカード３００とともに前方および側方から撮影した画像を用いて、同様にユーザの頭の周囲の長さなどを推定して帽子の適正サイズを判定する。
【0079】
以上、本発明について、実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、また、そうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【0080】
上記の説明は、手の甲にカード３００を載せた撮影画像を用いて指の関節の太さを検出したが、手のひらにカードを載せた撮影画像を用いて指の関節の太さを検出してもよい。また、カード３００以外にも形状とサイズが既知であるものであれば任意の物体を手に載せて撮影し、既知のサイズの物体のサイズを測定して比較することにより、指の関節の太さを求めることができる。たとえば、紙幣や硬貨などを手に載せてもよい。硬貨の場合、撮影画像上で楕円形に歪んだ硬貨の形状を元の円形に変換する射影変換を撮影画像に適用すればよい。
【符号の説明】
【0081】
１０ 画像取得部、 １２ 背景除去部、 １４ 画像記憶部、 ２０ カード検出部、 ３０ 指識別部、 ３２ 指関節識別部、 ３４ 指関節測定部、 ４０ 指太さ推定部、 ５０ 指輪サイズ判定部、 ５２ 指輪サイズ判定テーブル記憶部、 ６０ 検証部、 ６２ 知識データベース、 ７０ 通知部、 ８０ 機械学習部、 １００ リング型ウェアラブル端末、 １０２ 第１リング、 １０４ 第２リング、 １１０ 通信部、 １２０ ＩＣチップ、 １３０ アンテナ端子、 １４０ アンテナ、 １５０ フレキシブル基板、 ２００ リーダー端末、 ３００ カード、 ４００ 指輪サイズ判定装置。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11A】
【図11B】
【図12A】
【図12B】