特許 6813839 眼鏡試着支援装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6813839

(24)【登録日】2020年12月22日

(45)【発行日】2021年1月13日

(54)【発明の名称】眼鏡試着支援装置およびプログラム

(51)【国際特許分類】

   G02C 13/00 20060101AFI20201228BHJP

   G06F 30/10 20200101ALI20201228BHJP

【ＦＩ】

   G02C13/00

   G06F17/50 680J

   G06F17/50 610C

【請求項の数】7

【全頁数】14

(21)【出願番号】特願2019-164058(P2019-164058)

(22)【出願日】2019年9月9日

【審査請求日】2019年11月28日

【早期審査対象出願】

(73)【特許権者】

【識別番号】519327504

【氏名又は名称】株式会社カザック

(73)【特許権者】

【識別番号】519286418

【氏名又は名称】株式会社ネフロック

(74)【代理人】

【識別番号】100128886

【弁理士】

【氏名又は名称】横田 裕弘

(72)【発明者】

【氏名】新居 和博

(72)【発明者】

【氏名】▲鶴▼見 敏行

【審査官】 植野 孝郎

(56)【参考文献】

【文献】 米国特許出願公開第２０１８／０００５４４８（ＵＳ，Ａ１）

【文献】 特開２０１５−１６２０３３（ＪＰ，Ａ）

【文献】 特開２００３−３０４９４（ＪＰ，Ａ）

【文献】 特開２００３−１６２６５９（ＪＰ，Ａ）

【文献】 特開２０１５−６６０４６（ＪＰ，Ａ）

【文献】 特開２００９−２８９０３５（ＪＰ，Ａ）

【文献】 特開２００４−９４７７３（ＪＰ，Ａ）

【文献】 特開２００８−１２９９０１（ＪＰ，Ａ）

【文献】 特開２００５−１１０８２０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｃ １／００−１３／００

Ｇ０６Ｆ３０／１０

Ｇ０６Ｑ３０／０２

Ｇ０６Ｑ３０／０６

Ｇ０６Ｔ１１／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

第１眼鏡を装着しているユーザの画像であるユーザ画像を取り込む取込部と、
前記取込部が取り込んだ前記ユーザ画像における前記第１眼鏡の画像である第１眼鏡画像の視認性を低下させる低下部と、
前記第１眼鏡とは異なる第２眼鏡に設けられた識別体から当該第２眼鏡に関する情報を読み取る読取部と、
前記低下部が前記第１眼鏡画像の視認性を低下させた前記ユーザ画像に、前記読取部によって読み取られた前記第２眼鏡に関する情報に基づいて当該第２眼鏡の画像である第２眼鏡画像を追加する追加部と、
前記追加部が前記第２眼鏡画像を追加した前記ユーザ画像を、前記第１眼鏡を装着しているユーザに表示させる表示部と
を有する眼鏡試着支援装置。

【請求項2】

前記表示部は、前記ユーザ画像として前記第１眼鏡を装着しているユーザの頭から胸までを含む画像を表示する
請求項１記載の眼鏡試着支援装置。

【請求項3】

前記表示部は、前記第１眼鏡を装着しているユーザが姿勢を変化させることに応じて、前記ユーザ画像を変化させる
請求項１または２記載の眼鏡試着支援装置。

【請求項4】

前記取込部は、複数のユーザが含まれる前記ユーザ画像である複数ユーザ画像を取り込み可能であり、
前記追加部は、前記複数ユーザ画像に含まれる前記ユーザ画像の各々に、前記第２眼鏡画像を追加する
請求項１乃至３のいずれか１項記載の眼鏡試着支援装置。

【請求項5】

前記表示部は、前記追加部が前記第２眼鏡画像を追加した前記ユーザ画像の評価を示す評価画像を、前記第１眼鏡を装着しているユーザに表示する
請求項１乃至４のいずれか１項記載の眼鏡試着支援装置。

【請求項6】

前記表示部は、前記第２眼鏡画像を追加した前記ユーザ画像を、前記第１眼鏡を装着しているユーザに対して表示する表示領域を有する
請求項１乃至５のいずれか１項記載の眼鏡試着支援装置。

【請求項7】

第１眼鏡を装着しているユーザの画像であるユーザ画像を取り込むステップと、
取り込まれた前記ユーザ画像における前記第１眼鏡の画像である第１眼鏡画像の視認性を低下させるステップと、
前記第１眼鏡とは異なる第２眼鏡に設けられた識別体から当該第２眼鏡に関する情報を読み取るステップと、
前記第１眼鏡画像の視認性を低下させた前記ユーザ画像に、前記読み取られた第２眼鏡に関する情報に基づいて当該第２眼鏡の画像である第２眼鏡画像を追加するステップと、
前記第２眼鏡画像が追加された前記ユーザ画像を、前記第１眼鏡を装着しているユーザに表示するステップと
をコンピュータに実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、眼鏡試着支援装置およびプログラムに関する。

【背景技術】

【0002】

特許文献１には、個人が所有のパーソナルコンピュータのウエブブラウザを用いて眼鏡店が開設するホームページにインターネットを経由してアクセスし、ホームページで提供された眼鏡フレームを選択して、選択された眼鏡フレームを顔画像と合成してモニター画面上に表示させる眼鏡フレーム合成システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００１−３３０８０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、眼鏡の販売店などにおいて顧客が眼鏡を購入する際、顧客が眼鏡を試着し、自身の姿を鏡などで確認することがある。ここで、試着用の眼鏡には、視力を矯正しないレンズ、所謂度無しのレンズが用いられていることが多い。したがって、例えば顧客が視力を矯正する眼鏡を既に着用している場合、顧客が着用している眼鏡を外すと、試着用の眼鏡を着用しても自身の姿を鏡などで見ることが困難となる。
そこで、本発明では、ユーザが視力を矯正する眼鏡を着用している状態で、このユーザが他の眼鏡を装着している姿をユーザ自身が確認可能な眼鏡試着装置などを提供することを目的とする。

【課題を解決するための手段】

【0005】

かかる目的のもと、本明細書に開示される技術は、第１眼鏡を装着しているユーザの画像であるユーザ画像を取り込む取込部と、前記取込部が取り込んだ前記ユーザ画像における前記第１眼鏡の画像である第１眼鏡画像の視認性を低下させる低下部と、前記第１眼鏡とは異なる第２眼鏡に設けられた識別体から当該第２眼鏡に関する情報を読み取る読取部と、前記低下部が前記第１眼鏡画像の視認性を低下させた前記ユーザ画像に、前記読取部によって読み取られた前記第２眼鏡に関する情報に基づいて当該第２眼鏡の画像である第２眼鏡画像を追加する追加部と、前記追加部が前記第２眼鏡画像を追加した前記ユーザ画像を、前記第１眼鏡を装着しているユーザに表示させる表示部とを有する眼鏡試着支援装置である。
また、前記表示部は、前記ユーザ画像として前記第１眼鏡を装着しているユーザの頭から胸までを含む画像を表示するとよい。
また、前記表示部は、前記第１眼鏡を装着しているユーザが姿勢を変化させることに応じて、前記ユーザ画像を変化させるとよい。
また、前記取込部は、複数のユーザが含まれる前記ユーザ画像である複数ユーザ画像を取り込み可能であり、前記追加部は、前記複数ユーザ画像に含まれる前記ユーザ画像の各々に、前記第２眼鏡画像を追加するとよい。
また、前記表示部は、前記追加部が前記第２眼鏡画像を追加した前記ユーザ画像の評価を示す評価画像を、前記第１眼鏡を装着しているユーザに表示するとよい。
また、前記表示部は、前記第２眼鏡画像を追加した前記ユーザ画像を、前記第１眼鏡を装着しているユーザに対して表示する表示領域を有するとよい。

【0006】

他の観点から捉えると、本明細書に開示される技術は、第１眼鏡を装着しているユーザの画像であるユーザ画像を取り込むステップと、取り込まれた前記ユーザ画像における前記第１眼鏡の画像である第１眼鏡画像の視認性を低下させるステップと、前記第１眼鏡とは異なる第２眼鏡に設けられた識別体から当該第２眼鏡に関する情報を読み取るステップと、前記第１眼鏡画像の視認性を低下させた前記ユーザ画像に、前記読み取られた第２眼鏡に関する情報に基づいて当該第２眼鏡の画像である第２眼鏡画像を追加するステップと、前記第２眼鏡画像が追加された前記ユーザ画像を、前記第１眼鏡を装着しているユーザに表示するステップとをコンピュータに実行させる、プログラムである。

【発明の効果】

【0007】

本発明によれば、ユーザが視力を矯正する眼鏡を着用している状態で、このユーザが他の眼鏡を装着している姿をユーザ自身が確認可能な眼鏡試着装置などが提供される。

【図面の簡単な説明】

【0008】

【図1】本実施の形態が適用される眼鏡試着システムの概略構成図である。

【図2】眼鏡試着端末および眼鏡試着サーバの詳細構成を説明する図である。

【図3-1】眼鏡試着システムの動作例を示す図である。

【図3-2】眼鏡試着システムの動作例を示す図である。

【図4-1】眼鏡試着システムにおける眼鏡試着端末の動作を示すフローチャートである。

【図4-2】眼鏡試着システムにおける眼鏡試着端末の動作を示すフローチャートである。

【図5】眼鏡試着システムにおける眼鏡試着サーバの動作を示すフローチャートである。

【図6】眼鏡試着端末のハードウェア構成例を示した図である。

【図7】眼鏡試着サーバのハードウェア構成例を示した図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本発明の実施の形態について説明する。
＜眼鏡試着システム１＞
図１は、本実施の形態が適用される眼鏡試着システム１の概略構成図である。
図１に示すように、眼鏡試着システム１は、ユーザが眼鏡を試着している画像である試着画像を表示する眼鏡試着端末１０と、ユーザが眼鏡を試着した結果を評価する眼鏡試着サーバ５０と、眼鏡試着端末１０および眼鏡試着サーバ５０を接続するネットワーク９０とを有する。

【0010】

眼鏡試着端末１０は、コンピュータ装置によって構成される。この眼鏡試着端末１０は、眼鏡試着システム１におけるクライアントとして機能する。眼鏡試着端末１０は、ユーザの画像を取得するカメラ１１と、ユーザに試着画像を表示するディスプレイ１３と、ユーザが試着する眼鏡である試着眼鏡を検知するスキャナ１５と、試着画像を形成する処理を行う画像処理部１７（詳細は後述）とを有する。

【0011】

カメラ１１は、眼鏡試着端末１０の前に立つユーザの顔に対峙する位置に設けられている。このカメラ１１は、ユーザの静止画像および動画を取得可能である。図示の例においては、カメラ１１は、ユーザの動画を取得する。

【0012】

ディスプレイ１３は、ユーザに画像を表示する表示領域を有する。図示のディスプレイ１３は所謂大型ディスプレイであり、表示領域の大きさは、ユーザの頭部よりも大きい。図示の例において、ディスプレイ１３の表示領域における上下方向の寸法は、ユーザの胸から頭部までの寸法よりも大きい。また、図示の例において、ディスプレイ１３の表示領域における水平方向の寸法は、ユーザの肩幅の寸法よりも大きい。付言すると、ディスプレイ１３は、ユーザの試着画像を、いわゆる等身大で表示することが可能である。さらに説明をすると、ディスプレイ１３の表示領域は、複数のユーザの試着画像を等身大で表示することが可能な大きさである。なお、等身大とは、実物と一致する寸法だけでなく、実物との差が例えば３０％以内であることを含む。

【0013】

スキャナ１５は、試着眼鏡に取り付けられたＩＣチップ（不図示）などを検知することにより試着眼鏡を識別する。図示の例においては、スキャナ１５は試着眼鏡を載せるテーブル型の形状をしている。

【0014】

眼鏡試着サーバ５０は、コンピュータ装置によって構成される。この眼鏡試着サーバ５０は、眼鏡試着システム１におけるサーバとして機能する。眼鏡試着サーバ５０は、眼鏡試着端末１０を操作するユーザの試着を評価する機能を備えている。詳細は後述するが、眼鏡試着サーバ５０は、試着の結果を数値化（スコア化）することで、試着の評価を行う。

【0015】

ネットワーク９０は、装置間のデータ交換に用いられる通信ネットワークである。図示のネットワーク９０は、インターネットにより構成されるが、特に限定されるものではなく、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。また、ネットワーク９０の通信回線は、有線か無線かを問わず、これらを併用してもよい。

【0016】

なお、図示の例においては、眼鏡試着システム１が２つの眼鏡試着端末１０を有しているが、眼鏡試着端末１０の数は特に限定されない。眼鏡試着システム１は、１つまたは３つ以上の眼鏡試着端末１０を有する構成であってもよい。

【0017】

さて、眼鏡試着システム１は、ユーザが眼鏡の販売店などにおいて行う眼鏡の試着を支援する装置である。ここで、眼鏡などの試着は、鏡などに映る自身の姿を見ながら行うことが一般的である。また、試着眼鏡は、所謂度無しのレンズが装着されたフレームであることが一般的である。

【0018】

したがって、例えばユーザが視力を矯正するレンズの眼鏡を既に着用している場合、ユーザが着用している眼鏡を外すと、ユーザは裸眼、すなわちユーザの視力が矯正されない状態となる。この状態においては、仮にユーザが試着眼鏡を着用しても、ユーザが自身の姿を鏡などで明確に見ることは困難である。さらに説明をすると、例えばユーザが自身の上半身全体におけるバランスを見ながら試着をしたい場合などにおいて、ユーザは鏡から離れた位置に立つことがある。この状態においては、ユーザが近視であると、試着用眼鏡を着用したとしても鏡に映る自身の姿を明確に視認することができない。

【0019】

そこで、眼鏡試着システム１は、ユーザが眼鏡(以下、ユーザ眼鏡ということがある。）を着用した状態で、ユーザの顔画像を取得し、画像処理によりユーザ眼鏡の画像を消去する。そして、新たに試着眼鏡の画像を追加する。このことにより、ユーザがユーザ眼鏡を着用した状態で、試着の結果を視認することができる。

【0020】

＜眼鏡試着端末１０＞
図２は、眼鏡試着端末１０および眼鏡試着サーバ５０の詳細構成を説明する図である。
次に、図２を参照しながら眼鏡試着端末１０の詳細構成について説明をする。
図２に示すように、眼鏡試着端末１０は、カメラ１１と、ディスプレイ１３と、スキャナ１５と、画像処理部１７とを有する。

【0021】

ここで、画像処理部１７は、ユーザ検出部１７１と、ユーザ眼鏡検出部１７３と、ユーザ眼鏡消去部１７５と、試着眼鏡検出部１７７と、試着眼鏡合成部１８１と、スコア画像形成部１８３とを有する。この画像処理部１７は、カメラ１１が取得した動画に画像処理を施し、ディスプレイ１３へ表示する。すなわち、画像処理部１７は、映像のリアルタイム処理を実行する。

【0022】

ユーザ検出部１７１は、カメラ１１からの画像を取得するとともに、取得した画像に含まれるユーザの画像(以下、ユーザ画像ということがある。）を検出する。
ユーザ眼鏡検出部１７３は、ユーザ検出部１７１が検出したユーザ画像におけるユーザ眼鏡の画像(以下、ユーザ眼鏡画像ということがある。）を検出する。

【0023】

ユーザ眼鏡消去部１７５は、カメラ１１が取得した画像においてユーザ眼鏡検出部１７３が検出したユーザ眼鏡画像を消去する。また、ユーザ眼鏡消去部１７５は、ユーザ眼鏡が消去された後のユーザ画像をディスプレイ１３に表示する。ここで、ユーザ眼鏡消去部１７５は、例えば、ある人物が眼鏡を装着した画像と、同一の人物が眼鏡を装着していない画像との組を教師データとした機械学習などにより構築されるモデルによって構成される。なお、以下の説明においては、ユーザ眼鏡が消去された後のユーザ画像を消去画像ということがある。

【0024】

試着眼鏡検出部１７７は、試着眼鏡をユーザに選択させる指示を示す画像である指示画像をディスプレイ１３に表示する。また、試着眼鏡検出部１７７は、スキャナ１５が取得した信号から、ユーザが選択した試着眼鏡を検出する。また、試着眼鏡検出部１７７は、試着眼鏡の詳細な製品情報を示す画像である眼鏡情報画像をディスプレイ１３に表示する。なお、試着眼鏡検出部１７７は、複数の試着眼鏡の製品情報を予め記憶しており、スキャナ１５が取得した信号に従い、対応する試着眼鏡の製品情報の画像をディスプレイ１３に表示する。

【0025】

試着眼鏡合成部１８１は、消去画像に試着眼鏡の画像(以下、試着眼鏡画像ということがある。）を合成した画像である合成画像を形成する。ここで、試着眼鏡合成部１８１は、例えば、ある人物が眼鏡を装着した画像と、同一の人物が眼鏡を装着していない画像との組を教師データとした機械学習などにより構築されるモデルによって構成される。また、試着眼鏡合成部１８１は、形成した合成画像をディスプレイ１３に表示する。また、試着眼鏡合成部１８１は、ネットワーク９０を介して眼鏡試着サーバ５０に合成画像を送信する。また、試着眼鏡合成部１８１は、ユーザに待機することを指示する画像である待機画像をディスプレイ１３に表示する。

【0026】

スコア画像形成部１８３は、試着眼鏡をユーザが試着した結果を示すスコアに関する情報をスコア算出部５５から受け取る。また、スコア画像形成部１８３は、受け取った情報に応じて、スコアを示す画像であるスコア画像を形成する。また、スコア画像形成部１８３は、スコア画像をディスプレイ１３に表示する。

【0027】

＜眼鏡試着サーバ５０＞
次に、図２を参照しながら眼鏡試着サーバ５０の詳細構成について説明をする。
図２に示すように、眼鏡試着サーバ５０は、顔画像検出部５１と、試着眼鏡検出部５３と、スコア算出部５５とを有する。

【0028】

顔画像検出部５１は、ネットワーク９０を介して、眼鏡試着端末１０の試着眼鏡合成部１８１から合成画像を受信する。また、顔画像検出部５１は、受信した合成画像におけるユーザの顔の画像である顔画像を検出する。
試着眼鏡検出部５３は、顔画像検出部５１が受信した合成画像における試着眼鏡画像を検出する。
スコア算出部５５は、顔画像検出部５１が検出した顔画像、および試着眼鏡検出部５３が検出した顔画像試着眼鏡画像に基づいて、試着の結果を示すスコアを算出する。また、スコア算出部５５は、ネットワーク９０を介して、眼鏡試着端末１０のスコア画像形成部１８３に算出したスコアを送信する。ここで、スコア算出部５５は、例えば、ある人物が眼鏡を装着した画像と、その画像のスコアとの組を教師データとした機械学習などにより構築されるモデルによって構成される。なお、教師データとして用いられるスコアは、例えば、眼鏡が似合う／似合わないなどの評価を行う評価者によって定められる。

【0029】

＜眼鏡試着システム１の動作＞
図３−１および図３−２は、眼鏡試着システム１の動作例を示す図である。
次に、図２、図３−１および図３−２を参照しながら、眼鏡試着システム１の動作例を具体的に説明する。

【0030】

まず、図３−１（ａ）に示すように、眼鏡試着システム１の前に第１ユーザＵ１および第２ユーザＵ２が立つ。具体的には、眼鏡試着システム１のカメラ１１が画像を取得可能な範囲に、第１ユーザＵ１および第２ユーザＵ２が入る。ここで、第１ユーザＵ１は、第１ユーザ眼鏡Ｇ１を装着している。また、第２ユーザＵ２は、第２ユーザ眼鏡Ｇ２を装着している。

【0031】

そして、カメラ１１が取得した画像から画像処理部１７が第１ユーザ眼鏡Ｇ１および第２ユーザ眼鏡Ｇ２のユーザ眼鏡画像を消去し、ディスプレイ１３に消去画像が表示される。図示の例においては、消去画像は、第１ユーザ画像Ｒ１および第２ユーザ画像Ｒ２を有する。ここで、ディスプレイ１３に表示される第１ユーザ画像Ｒ１および第２ユーザ画像Ｒ２は、第１ユーザ眼鏡Ｇ１および第２ユーザ眼鏡Ｇ２のユーザ眼鏡画像を含まない。

【0032】

次に、図３−１（ｂ）に示すように、第１ユーザ画像Ｒ１および第２ユーザ画像Ｒ２に重ねて、指示画像Ｒ３がディスプレイ１３に表示される。図示の例においては、指示画像Ｒ３は「眼鏡を置いてください」の文字列を有する。この指示画像Ｒ３が表示されることにより、ユーザ（第１ユーザＵ１および第２ユーザＵ２）が試着眼鏡をスキャナ１５に乗せる、すなわち試着眼鏡を選択するべきタイミングであることが分かる。

【0033】

次に、図３−２（ｃ）に示すように、ユーザ（第１ユーザＵ１および第２ユーザＵ２）によって、試着眼鏡Ｇ３がスキャナ１５に置かれる。このことにともない、指示画像Ｒ３に替えて、待機画像Ｒ４がディスプレイ１３に表示される。図示の例においては、待機画像Ｒ４は、待機時間の残り時間をそれぞれ示す数字画像Ｒ４１および時計画像Ｒ４２を有する。

【0034】

次に、図３−２（ｄ）に示すように、ディスプレイ１３に試着画像が表示される。具体的には、既に表示されている第１ユーザ画像Ｒ１および第２ユーザ画像Ｒ２に、第１試着眼鏡画像Ｒ５および第２試着眼鏡画像Ｒ６が各々合成されて表示される。また、図示の試着画像には、第１ユーザＵ１が試着眼鏡Ｇ３を試着した結果を示す第１スコア画像Ｒ７と、第２ユーザＵ２が試着眼鏡Ｇ３を試着した結果を示す第２スコア画像Ｒ８と、試着眼鏡Ｇ３の情報を示す眼鏡情報画像Ｒ９とが含まれる。

【0035】

上記のように、眼鏡試着システム１によれば、ユーザはユーザ眼鏡を外す動作をすることなく、試着の結果を視認することができる。したがって、例えばスキャナ１５に載せる試着眼鏡を取り換えるだけで、試着を繰り返すことが可能となる。また、眼鏡試着システム１によれば、ディスプレイ１３に試着画像が動画として表示されるため、ユーザはディスプレイ１３を鏡などのように利用することが可能となる。付言すると、眼鏡試着システム１においては、ユーザが姿勢を変化させることに応じて、ディスプレイ１３に表示される試着画像が変化する。

【0036】

ここで、本実施の形態においては、第１ユーザ画像Ｒ１および第２ユーザ画像Ｒ２においてユーザ眼鏡画像を消去した上で、試着眼鏡画像を合成する。このことにより、ディスプレイ１３上において、試着眼鏡画像とユーザ眼鏡画像とが重なって表示されることが抑制できる。

【0037】

なお、眼鏡試着システム１においては、ユーザ眼鏡画像を消去した画像に対して、試着眼鏡画像を重ねて表示する。このように試着眼鏡画像が重ねて表示されることから、ユーザ眼鏡画像を消去する画像処理において、ユーザ眼鏡画像が全て消去されない状態であっても許容される。すなわち、眼鏡試着システム１においては、ユーザ眼鏡画像の一部が消去されない状態であってもよい。また、例えば、ユーザ眼鏡画像を消去する画像処理としては、ユーザ眼鏡画像を消去することだけでなく、ユーザ眼鏡画像の透明度を上げるなど、ユーザ眼鏡画像の視認性を低下させる処理を行ってもよい。

【0038】

＜眼鏡試着システム１の動作＞
図４−１および図４−２は、眼鏡試着システム１における眼鏡試着端末１０の動作を示すフローチャートである。
図５は、眼鏡試着システム１における眼鏡試着サーバ５０の動作を示すフローチャートである。

【0039】

次に、図１乃至図５を参照しながら、眼鏡試着システム１の動作について説明をする。ここでは、眼鏡試着システム１における眼鏡試着端末１０の動作について説明をしたのちに、眼鏡試着サーバ５０の動作について説明をする。

【0040】

図４−１に示すように、まず、カメラ１１に対向する位置にユーザが立つことで、ユーザ検出部１７１がユーザを検出し、ユーザを含めた画像を取得する（Ｓ４０１、図３−１（ａ）参照）。そして、ユーザ眼鏡検出部１７３が、ユーザ眼鏡画像を検出する（Ｓ４０２）。そして、ユーザ眼鏡消去部１７５が、ユーザ眼鏡画像を消去し、消去画像（第１ユーザ画像Ｒ１および第２ユーザ画像Ｒ２）をディスプレイ１３に表示する（Ｓ４０３、図３−１（ａ）参照）。そして、試着眼鏡検出部１７７が、指示画像Ｒ３をディスプレイ１３に表示する（Ｓ４０４、図３−１（ｂ）参照）。

【0041】

次に、試着眼鏡検出部１７７が、試着眼鏡を検出したか否かを判断する（Ｓ４０５）。試着眼鏡検出部１７７が試着眼鏡Ｇ３を検出した場合（Ｓ４０５でＹＥＳ、図３−２（ｃ）参照）、試着眼鏡合成部１８１が待機画像Ｒ４をディスプレイ１３に表示する（Ｓ４０６）。

【0042】

次に、図４−２に示すように、試着眼鏡合成部１８１が、試着眼鏡画像（第１試着眼鏡画像Ｒ５および第２試着眼鏡画像Ｒ６）を合成する（Ｓ４０７）。そして、試着眼鏡合成部１８１が、ネットワーク９０を介して、眼鏡試着サーバ５０に合成画像を送信する（Ｓ４０８）。そして、スコア画像形成部１８３が、ネットワーク９０を介して、眼鏡試着サーバ５０からスコアに関する情報を受信する（Ｓ４０９）。そして、スコア画像形成部１８３がスコア画像（第１スコア画像Ｒ７および第２スコア画像Ｒ８）を形成する（Ｓ４１０、図３−２（ｄ））。

【0043】

次に、試着眼鏡検出部１７７が、眼鏡情報画像Ｒ９を形成する（Ｓ４１１）。そして、試着眼鏡検出部１７７およびスコア画像形成部１８３が、試着眼鏡画像（第１試着眼鏡画像Ｒ５および第２試着眼鏡画像Ｒ６）を含む合成画像、および眼鏡情報画像Ｒ９をディスプレイ１３に表示する（Ｓ４１２）。

【0044】

次に、図５を参照しながら、眼鏡試着サーバ５０の動作について説明をする。
図５に示すように、まず、顔画像検出部５１が、スコア画像形成部１８３から合成画像を受信したかを判断する（Ｓ５０１）。そして、顔画像検出部５１が合成画像を受信した場合（Ｓ５０１でＹＥＳ）、顔画像検出部５１が、合成画像における顔画像を検出する（Ｓ５０２）。また、試着眼鏡検出部５３が、合成画像における試着眼鏡画像を検出する（Ｓ５０３）。

【0045】

次に、スコア算出部５５が、検出された顔画像および試着眼鏡画像に基づいてスコアを算出する（Ｓ５０４）。そして、スコア算出部５５は、算出したスコアを眼鏡試着端末１０に送信する（Ｓ５０５）。

【0046】

＜眼鏡試着端末１０のハードウェア構成＞
図６は、眼鏡試着端末１０のハードウェア構成例を示した図である。
図６に示すように、眼鏡試着端末１０は、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、記憶部１０４と、ディスプレイ１３と、スピーカ１０６と、マイク１０７と、カメラ１１と、ＧＰＳセンサ１０９と、通信Ｉ／Ｆ１１０とを備える。

【0047】

ＣＰＵ１０１は、ＲＯＭ１０３等に記憶された各種プログラムをＲＡＭ１０２にロードして実行することにより、眼鏡試着端末１０の上記各機能を実現する。
ＲＡＭ１０２は、ＣＰＵ１０１の作業用メモリ等として用いられるメモリである。
ＲＯＭ１０３は、ＣＰＵ１０１が実行する各種プログラム等を記憶するメモリである。
記憶部１０４は、各種アプリのプログラム、および当該プログラムによって使用される各種データ等を記憶する例えばフラッシュメモリである。
ディスプレイ１３は、各種情報の表示やユーザからの操作入力の受付を行う例えばタッチパネルである。

【0048】

スピーカ１０６は、通話先から受信された受話音声を含む種々の音声を出力する。
マイク１０７は、ユーザの発話音声を含む種々の音声を取得する。
カメラ１１は、レンズと、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ-Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子（画像センサ）とを含み、被写体を撮影する。

【0049】

ＧＰＳセンサ１０９は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を取得し、眼鏡試着端末１０の位置情報を取得する。
通信Ｉ／Ｆ１１０は、ネットワーク９０（図１参照）などを介して他の通信機器との間でデータを送受信する。

【0050】

ここで、ＣＰＵ１０１によって実行されるプログラムは、半導体メモリなどのコンピュータが読取可能な記録媒体に記憶した状態で、眼鏡試着端末１０へ提供し得る。また、ＣＰＵ１０１によって実行されるプログラムは、ネットワーク９０を介して眼鏡試着端末１０へダウンロードしてもよい。例えば、眼鏡試着端末１０の上記各機能を実現するプログラムを、アプリとして眼鏡試着端末１０へダウンロードしてもよい。

【0051】

＜眼鏡試着サーバ５０のハードウェア構成＞
図７は、眼鏡試着サーバ５０のハードウェア構成例を示した図である。
図７に示すように、眼鏡試着サーバ５０は、ＣＰＵ５０１と、ＲＡＭ（Random Access Memory）５０２と、ＲＯＭ（Read Only Memory）５０３と、ＨＤＤ（Hard Disk Drive）５０４と、通信Ｉ／Ｆ５０５とを備える。

【0052】

ＣＰＵ５０１は、ＲＯＭ５０３等に記憶された各種プログラムをＲＡＭ５０２にロードして実行することにより、眼鏡試着サーバ５０の上記各機能を実現する。
ＲＡＭ５０２は、ＣＰＵ５０１の作業用メモリ等として用いられるメモリである。
ＲＯＭ５０３は、ＣＰＵ５０１が実行する各種プログラム等を記憶するメモリである。
ＨＤＤ５０４は、各ユーザの基本情報等を記憶する例えば磁気ディスク装置である。
通信Ｉ／Ｆ５０５は、ネットワーク９０（図１参照）を介して他の装置との間で各種情報の送受信を行う。

【0053】

ここで、ＣＰＵ５０１によって実行されるプログラムは、半導体メモリなどのコンピュータが読取可能な記録媒体に記憶した状態で、眼鏡試着サーバ５０へ提供しうる。また、ＣＰＵ５０１によって実行されるプログラムは、ネットワーク９０を介して眼鏡試着サーバ５０へダウンロードしてもよい。例えば、眼鏡試着サーバ５０の上記各機能を実現するプログラムを、アプリとして眼鏡試着サーバ５０へダウンロードしてもよい。

【0054】

＜変形例＞
上記においては、眼鏡試着システム１の眼鏡試着端末１０において、ユーザ眼鏡画像の消去や試着眼鏡画像の合成などの画像処理を行ったが、この構成に限定されない。例えば、眼鏡試着端末１０が画像処理部１７を備えず、眼鏡試着サーバ５０が上記画像処理部１７の機能を備える構成としてもよい。なお、眼鏡試着端末１０は、携帯電話（例えば、所謂スマートフォン）、情報端末（例えば、所謂タブレット）、あるいはパソコンなどにより構成されても良い。

【0055】

また、上記においては、眼鏡試着システム１が眼鏡試着端末１０および眼鏡試着サーバ５０を有する構成を説明したが、これに限定されない。例えば、眼鏡試着サーバ５０を設けず、眼鏡試着端末１０においてスコアを算出する構成としてもよい。また、スコアの算出およびスコア画像の表示を行わない構成としてもよい。なお、眼鏡試着端末１０は、携帯電話、情報端末、あるいはパソコンなどで構成される場合において、これら携帯電話などにおいてスコアを算出する構成としてもよいし、スコアの算出およびスコア画像の表示を行わない構成としてもよい。

【0056】

また、上記においては、テーブル型のスキャナ１５に試着眼鏡を置くことで、ユーザが選択した試着眼鏡を検知することを説明したが、これに限定されない。例えば、各試着眼鏡に識別画像が形成されたシールなどを貼り付けておき、この識別画像を読み取ることでユーザが選択した試着眼鏡を検知してもよい。また、ディスプレイ１３に試着眼鏡を複数表示し、ユーザがディスプレイ１３に触れることなどにより、試着眼鏡を検知してもよい。さらに説明をすると、眼鏡試着システム１にスキャナ１５を設けない構成であってもよい。

【0057】

また、上記においては、２人のユーザの試着画像が同時に表示されることを説明したが、ユーザの人数は特に限定されない。１人のユーザの試着画像を表示してもよいし、３人以上の試着画像を表示してもよい。
また、上記においては、試着画像が動画として表示されることを説明したが、静止画で表示されてもよい。
また、上記においては、眼鏡試着システム１を眼鏡の試着に用いることについて説明をしたが、ユーザの身に付けるもの、あるいはユーザの体の一部に関するものであれば眼鏡に限定されるものではない。例えば、眼鏡試着システム１を、衣服の試着、化粧品の試用、メイク方法の提案、整形方法の検討、髪型の決定などにおいて用いてもよい。

【0058】

なお、上記では種々の実施形態および変形例を説明したが、これらの実施形態や変形例同士を組み合わせて構成してももちろんよい。
また、本開示は上記の実施形態に何ら限定されるものではなく、本開示の要旨を逸脱しない範囲で種々の形態で実施することができる。

【0059】

眼鏡試着端末１０は、眼鏡試着支援装置の一例である。ユーザ検出部１７１は、取込部の一例である。ユーザ眼鏡消去部１７５は、低下部の一例である。試着眼鏡合成部１８１は、追加部および表示部の一例である。第１ユーザ眼鏡Ｇ１は、第１眼鏡の一例である。試着眼鏡Ｇ３は、第２眼鏡の一例である。試着眼鏡検出部１７７は、取得部の一例である。ＩＣチップは、識別子の一例である。第１スコア画像Ｒ７は、評価画像の一例である。ディスプレイ１３は、表示領域の一例である。

【符号の説明】

【0060】

１…眼鏡試着システム、１０…眼鏡試着端末、５０…眼鏡試着サーバ、９０…ネットワーク、１７５…ユーザ眼鏡消去部、１８１…試着眼鏡合成部

【要約】

【課題】ユーザが視力を矯正する眼鏡を着用している状態で、このユーザが他の眼鏡を装着している姿をユーザ自身が確認可能な眼鏡試着装置などを提供する。
【解決手段】本発明の眼鏡試着支援装置は、第１眼鏡を装着しているユーザの画像であるユーザ画像を取り込む取込部と、取込部が取り込んだユーザ画像における第１眼鏡の画像である第１眼鏡画像の視認性を低下させる低下部と、低下部が第１眼鏡画像を除去したユーザ画像に、第１眼鏡とは異なる第２眼鏡の画像である第２眼鏡画像を追加する追加部と、追加部が第２眼鏡画像を追加したユーザ画像を、第１眼鏡を装着しているユーザに表示させる表示部とを有する。
【選択図】図４−１

【図1】

【図2】

【図3-1】

【図3-2】

【図4-1】

【図4-2】

【図5】

【図6】

【図7】