特開 2022-164348 ミラー型表示装置及び情報提供システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022164348

(43)【公開日】2022-10-27

(54)【発明の名称】ミラー型表示装置及び情報提供システム

(51)【国際特許分類】

   G06Q 30/02 20120101AFI20221020BHJP

   G06F 3/01 20060101ALI20221020BHJP

   G06F 3/0481 20220101ALI20221020BHJP

   G06Q 40/08 20120101ALI20221020BHJP

   A47G 1/00 20060101ALI20221020BHJP

【ＦＩ】

G06Q30/02 398

G06F3/01 510

G06F3/0481

G06Q40/08

A47G1/00 J

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021069783

(22)【出願日】2021-04-16

(71)【出願人】

【識別番号】518112996

【氏名又は名称】アフラック生命保険株式会社

(71)【出願人】

【識別番号】521165747

【氏名又は名称】ゼネラ株式会社

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100147991

【弁理士】

【氏名又は名称】鳥居 健一

(74)【代理人】

【識別番号】100201743

【弁理士】

【氏名又は名称】井上 和真

(72)【発明者】

【氏名】二見 通

(72)【発明者】

【氏名】藤田 正則

(72)【発明者】

【氏名】金井 由紀子

(72)【発明者】

【氏名】相馬 秀樹

(72)【発明者】

【氏名】橋口 健一

(72)【発明者】

【氏名】永山 美紀

(72)【発明者】

【氏名】高垣 遼資

【テーマコード（参考）】

3B111

5E555

5L049

5L055

【Ｆターム（参考）】

3B111AA04

3B111AB00

3B111AD01

5E555AA01

5E555AA59

5E555AA71

5E555BA15

5E555BA38

5E555BA45

5E555BB15

5E555BB38

5E555BC04

5E555BD01

5E555BE10

5E555CA12

5E555CA42

5E555CA47

5E555CB12

5E555CB33

5E555CC01

5E555DB20

5E555EA05

5E555EA19

5E555EA22

5E555EA23

5E555EA27

5E555FA00

5L049BB05

5L049BB08

5L055BB61

(57)【要約】

【課題】個々のユーザに適した保険商品に関する情報を提示することができるミラー型表示装置を提供する。
【解決手段】ミラー型表示装置は、ミラー型ディスプレイと、外部空間におけるユーザの画像情報を含むセンサ情報を検出する少なくとも１つのセンサと、外部のサーバ装置とデータの送受信を行う通信インタフェースと、通信インタフェースを介してセンサ情報をサーバ装置に送信するプロセッサとを備える。サーバ装置は、当該送信されたセンサ情報に基づいてユーザの属性を推定し、当該推定された属性を示すユーザ属性情報を通信インタフェースに送信する。プロセッサは、通信インタフェースで受信されたユーザ属性情報に適合する保険シミュレーション情報をミラー型ディスプレイに表示させるように構成されている。
【選択図】図２

【特許請求の範囲】

【請求項1】

表示画像の光を出力する画像出力部と、前記画像出力部から出力された光を透過させ、外部空間内の物体から入射した光を反射させて当該物体の鏡像を形成するミラー部とを有するミラー型ディスプレイと、
前記外部空間における前記ミラー部と対向する位置に存在するユーザの画像情報を含むセンサ情報を検出する少なくとも１つのセンサと、
外部のサーバ装置とデータの送受信を行う通信インタフェースと、
前記通信インタフェースを介して前記センサ情報を前記サーバ装置に送信するように構成されたプロセッサと
を備え、
前記サーバ装置は、当該送信されたセンサ情報に基づいて前記ユーザの属性を推定し、当該推定された属性を示すユーザ属性情報を前記通信インタフェースに送信し、
前記プロセッサは、前記通信インタフェースで受信された当該ユーザ属性情報に適合する保険シミュレーション情報を前記ミラー型ディスプレイに表示させるように構成されている、
ことを特徴とするミラー型表示装置。

【請求項2】

請求項１に記載のミラー型表示装置であって、前記サーバ装置は、データベースを参照して前記保険シミュレーション情報を生成し、前記保険シミュレーション情報を前記通信インタフェースに送信することを特徴とすることを特徴とするミラー型表示装置。

【請求項3】

請求項１または２に記載のミラー型表示装置であって、前記サーバ装置は、人の画像情報と人の属性との間の関係を規定する学習済みモデルを用いて、前記ミラー型表示装置の当該ユーザの属性を推定することを特徴とするミラー型表示装置。

【請求項4】

請求項１から３のうちのいずれか１項に記載のミラー型表示装置であって、前記ユーザ属性情報は、少なくとも、前記ユーザの推定された年齢及び性別を含むことを特徴とするミラー型表示装置。

【請求項5】

請求項１から４のうちのいずれか１項に記載のミラー型表示装置であって、前記画像情報は、前記少なくとも１つのセンサで検出された２次元画像及び深度画像のうちの少なくとも１つを含むことを特徴とするミラー型表示装置。

【請求項6】

請求項１から５のうちのいずれか１項に記載のミラー型表示装置であって、
前記プロセッサは、
前記保険シミュレーション情報を表示するための保険シミュレーションと、保険に直接関連しない画像コンテンツを表示するための非保険コンテンツ処理とのいずれかを選択する入力を前記ユーザに促すメニュー画像を前記ミラー型ディスプレイに表示させ、
前記保険シミュレーションを選択する入力があったときは、前記センサ情報を前記サーバ装置に送信するとともに前記保険シミュレーション情報を前記ミラー型ディスプレイに表示させ、
前記非保険コンテンツ処理を選択する入力があったときは、非保険コンテンツを前記ミラー型ディスプレイに表示させる
ように構成されていることを特徴とするミラー型表示装置。

【請求項7】

請求項６に記載のミラー型表示装置であって、
前記ユーザによる入力を受け付けるユーザインタフェースをさらに備え、
前記ミラー型ディスプレイは、前記ミラー部の表面におけるユーザによるタッチ位置を感知するタッチパネル機能をさらに有し、
前記ユーザインタフェースは、当該感知されたタッチ位置を当該入力として受け付けるタッチ操作検出部を含むことを特徴とするミラー型表示装置。

【請求項8】

請求項６に記載のミラー型表示装置であって、
前記ユーザによる入力を受け付けるユーザインタフェースをさらに備え、
前記ユーザインタフェースは、前記少なくとも１つのセンサで検出された深度画像に基づいて前記ユーザの特定部位のジェスチャを検出するジェスチャ検出部を含むことを特徴とするミラー型表示装置。

【請求項9】

請求項６に記載のミラー型表示装置であって、
前記ユーザによる入力を受け付けるユーザインタフェースと、
前記外部空間から到来した音響信号を検出して電気信号を出力するマイクロフォンと
をさらに備え、
前記ユーザインタフェースは、前記電気信号に音声認識処理を施して音声入力情報を生成する音声認識部を含むことを特徴とするミラー型表示装置。

【請求項10】

請求項１から９のうちのいずれか１項に記載のミラー型表示装置と、前記サーバ装置とを備えることを特徴とする情報提供システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、鏡の機能とディスプレイ機能とを併せもつミラー型表示装置及びこれを用いた情報提供技術に関する。

【背景技術】

【0002】

近年、ユーザの容姿などの物体の光学像を映し出すミラー（鏡）の機能と、天気予報情報や報道情報などの電子情報の映像を表示するディスプレイ機能とを併せもつスマートミラーと呼ばれるミラー型表示装置が普及している。通常、スマートミラーは、ディスプレイ機能が動作しないとき（映像非表示時）はミラーとしてのみ機能し、ディスプレイ機能が動作するとき（映像表示時）は、ミラーとして機能すると同時にディスプレイとしても機能し得る。このようなスマートミラーは、たとえば、特許文献１（国際公開第２０１８／００４６１５号公報）に開示されている。

【0003】

特許文献１に開示されているスマートミラーは、ディスプレイと、当該ディスプレイに映像を表示させるコントローラと、当該ディスプレイの前面に配置されたハーフミラーと、当該スマートミラーを使用するユーザの生体情報を検知し得る複数のセンサと、ユーザインタフェース（ＵＩ）部とを備えている。このスマートミラーでは、ハーフミラーは、前方の物体から入射した光の一部を反射させてその物体の像を映し出し、後方のディスプレイから入射した映像の光を透過させるように機能する。またコントローラは、センサで検知された生体情報からユーザの焦点距離を決定することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１８／００４６１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記したようなミラー型表示装置は、理美容分野などの様々な分野において使用されているが、保険商品に関する画像コンテンツを提示するミラー型表示装置は提供されていなかった。保険会社は、多種多様な保険商品を提供しているところ、一般的な顧客がそのような多種多様な保険商品の中から自らに適した保険商品を選択することは必ずしも容易なことではない。

【0006】

上記に鑑みて本開示の目的は、個々のユーザに適した保険商品に関する情報を提示することを可能とするミラー型表示装置及びこれを用いた情報提供システムを提供する点にある。

【課題を解決するための手段】

【0007】

本開示の第１の態様によるミラー型表示装置は、表示画像の光を出力する画像出力部と、前記画像出力部から出力された光を透過させ、外部空間内の物体から入射した光を反射させて当該物体の鏡像を形成するミラー部とを有するミラー型ディスプレイと、前記外部空間における前記ミラー部と対向する位置に存在するユーザの画像情報を含むセンサ情報を検出する少なくとも１つのセンサと、外部のサーバ装置とデータの送受信を行う通信インタフェースと、前記通信インタフェースを介して前記センサ情報を前記サーバ装置に送信するように構成されたプロセッサとを備え、前記サーバ装置は、当該送信されたセンサ情報に基づいて前記ユーザの属性を推定し、当該推定された属性を示すユーザ属性情報を前記通信インタフェースに送信し、前記プロセッサは、前記通信インタフェースで受信された当該ユーザ属性情報に適合する保険シミュレーション情報を前記ミラー型ディスプレイに表示させるように構成されている。

【0008】

本開示の第２の態様による情報提供システムは、第１の態様によるミラー型表示装置と、サーバ装置とを備えることを特徴とする。

【発明の効果】

【0009】

本開示の第１及び第２の態様によれば、ミラー型表示装置のユーザは、ミラー型ディスプレイに映し出された自らの容姿や顔を視つつ、当該ユーザの属性（たとえば年齢や性別）に適合する保険シミュレーション情報を極めて簡便に短時間で得ることができる。このようなミラー型表示装置を利用することにより、ユーザは、多種多様な保険商品の中から、自らの属性に適した保険商品を探し出す労力を大幅に削減することができる。

【図面の簡単な説明】

【0010】

【図1】本開示の一実施形態に係る情報提供システムの概略構成を示すブロック図である。

【図2】ミラー型表示装置の構成例を概略的に示す機能ブロック図である。

【図3】ミラー型ディスプレイの概略断面図である。

【図4】ミラー型ディスプレイを有するミラー型表示装置の構成例を示す外観図である。

【図5】ミラー型表示装置と連携して動作するサーバ装置の構成例を概略的に示すブロック図である。

【図6】ミラー型表示装置のプロセッサによる処理手順の例を概略的に示すフローチャートである。

【図7】ミラー型表示装置のプロセッサによる処理手順の例を概略的に示すフローチャートである。

【図8】メニュー画像を例示する図である。

【図9】メッセージ画像を例示する図である。

【図10】確認・変更用画像を例示する図である。

【図11】保険プラン選択用画像を例示する図である。

【図12】保険シミュレーション情報を表示する画像を例示する図である。

【図13】変更用画像を例示する図である。

【図14】変更用画像を例示する図である。

【図15】変更用画像を例示する図である。

【図16】プロセッサ及びユーザインタフェースの機能を実現するハードウェア構成例を概略的に示すブロック図である。

【発明を実施するための形態】

【0011】

次に、図面を参照しつつ、本開示に係る種々の実施形態及びその変形例について詳細に説明する。なお、図面全体において同一符号が付された構成要素は、同一構成及び同一機能を有するものとする。

【0012】

図１は、本開示の一実施形態に係る情報提供システム１の概略構成を示すブロック図である。この情報提供システム１は、サーバ装置１０と、このサーバ装置１０と通信ネットワーク２を介して相互接続可能なミラー型表示装置２０_１，２０_２，…，２０_Ｎとを備えて構成されている。ここで、Ｎは、ミラー型表示装置２０_１～２０_Ｎの台数を示す３以上の整数である。

【0013】

通信ネットワーク２としては、たとえば、インターネットなどの広域ネットワーク、またはローカルエリアネットワーク（ＬＡＮ）が挙げられるが、これらに限定されるものではない。また図１の例では、ミラー型表示装置２０_１～２０_Ｎの台数は３以上であるが、これに限定されるものではない。１台または２台のミラー型表示装置とサーバ装置１０とで構成された情報提供システムの形態もあり得る。

【0014】

図２は、ミラー型表示装置２０_ｎの構成例を概略的に示す機能ブロック図である（ｎは１～Ｎの範囲内の整数）。図２に示されるミラー型表示装置２０_ｎは、ミラー型ディスプレイ３０、プロセッサ４０、ユーザインタフェース（ＵＩ）４４、入出力インタフェース（入出力Ｉ／Ｆ）４２、通信インタフェース（通信Ｉ／Ｆ）４３、及び、光学センサ５１，画像センサ５２及び赤外線センサ５３からなるセンサ群を備えて構成されている。ユーザインタフェース４４は、ジェスチャ検出部４４Ａ，タッチ操作検出部４４Ｂ及び音声認識部４４Ｃを有する。

【0015】

入出力インタフェース４２は、スピーカ５５，マイクロフォン５６及びセンサ群とユーザインタフェース４４との間、及び、スピーカ５５，マイクロフォン５６及びセンサ群とユーザインタフェース４４との間に配置されている。入出力インタフェース４２は、マイクロフォン５６，光学センサ５１，画像センサ５２及び赤外線センサ５３のそれぞれの出力をプロセッサ４０及びユーザインタフェース４４に転送する機能を有し、プロセッサ４０及びユーザインタフェース４４から出力された電気信号をスピーカ５５に転送する機能を有している。

【0016】

光学センサ５１は、対象物との距離すなわち深度（Ｄｅｐｔｈ）に関する深度画像を生成してその深度画像情報ＤＤを出力する深度センサ５１Ａと、対象物のＲＧＢ画像などの２次元画像を生成してその画像情報ＩＤａを出力する画像センサ５１Ｂとを有する。たとえば、深度センサ５１Ａは、公知のステレオカメラまたはＴｏＦ（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ）センサにより実現可能である。深度画像情報ＤＤ及び画像情報ＩＤａは、対象物のスケルトン（人物の姿勢や骨格）の動き推定（スケルトントラッキング）を行うために使用可能である。ジェスチャ検出部４４Ａは、深度画像情報ＤＤ及び画像情報ＩＤａを用いて、対象となる人物の特定部位（たとえば、頭部、手、瞼または視線）のジェスチャを検出することができる。またプロセッサ４０は、深度画像情報ＤＤ及び画像情報ＩＤａを用いて、対象となる人物の姿勢をリアルタイムに推定することができる。

【0017】

画像センサ５２は、対象物の２次元画像を生成してその画像情報ＩＤｂを出力する光学センサである。後述するようにプロセッサ４０は、ミラー型表示装置２０_ｎのユーザの属性（たとえば、人物の年齢や性別）を推定するために画像情報ＩＤｂを利用することができる。またプロセッサ４０は、対象となる人物の血圧、呼吸数及び心拍数を検出するために画像情報ＩＤｂを利用することもできる。

【0018】

赤外線センサ５３は、対象物から放射された赤外線波長領域の光を検出してその赤外線検出情報ＴＤを出力する光学センサである。プロセッサ４０は、赤外線検出情報ＴＤを用いて、対象物の温度分布を推定することができる。

【0019】

マイクロフォン５６は、音源から到来した音響信号を検出して電気信号ＤＳを生成する。音声認識部４４Ｃは、電気信号ＤＳに音声認識処理を施してテキスト情報などの音声入力情報を生成することができる。スピーカ５５は、プロセッサ４０から供給された電気信号を音響信号に変換して当該音響信号を外部空間に放射する。

【0020】

次に、ミラー型ディスプレイ３０は、プロセッサ４０で生成されたデジタル表示画像ＩＳを表す光を出力する画像出力部と、この画像出力部の前面（光出射面）に配置されたミラー部とで構成されている。画像出力部は、たとえば、液晶表示パネル（ＬＣＤパネル）または有機ＥＬパネルにより実現可能であり、ミラー部は、たとえばハーフミラーにより実現可能である。図３は、ミラー型ディスプレイ３０の概略断面図である。図３に示されるように、ミラー型ディスプレイ３０は、デジタル表示画像ＩＳを表す光ＤＬを出力する画像出力部３０Ｄと、背面から入射した光ＤＬを透過させる一方で、外部空間内の物体から入射した光ＩＬを反射させて当該物体の鏡像を形成するミラー部３０Ｍとで構成されている。

【0021】

またミラー型ディスプレイ３０は、ミラー部３０Ｍの表面におけるユーザによるタッチ位置を感知するタッチパネル機能を有している。ユーザがミラー部３０Ｍの表面をタッチすると、図２のタッチ操作検出部４４Ｂは、そのタッチ位置をユーザによる操作入力として検出することができる。

【0022】

図４は、ミラー型ディスプレイ３０を有するミラー型表示装置２０_ｎの構成例を示す外観図である。図４は、ミラー型表示装置２０_ｎを正面から視たときの図である。図４に示されるミラー型表示装置２０_ｎは、当該ミラー型表示装置２０_ｎの正面を向くように配置されたミラー部３０Ｍと、ミラー型表示装置２０_ｎの筐体３０Ｃの上部ベゼルに取り付けられた画像センサ５２と、筐体３０Ｃの上端に取り付けられたセンサモジュール５０とを備えている。センサモジュール５０内には、画像センサ５２以外のセンサ群を配置することができる。図４の例では、ミラー部３０Ｍは、当該ミラー部３０Ｍと対向する位置に存在するユーザの鏡像７０Ｉを映し出すと同時に、デジタル表示画像ＩＳを表す画像コンテンツ７０Ｄａ，７０Ｄｂをユーザに向けて表示している。したがって、ユーザは、自らの容姿の状態を視認できると同時に、画像コンテンツ７０Ｄａ，７０Ｄｂを視認できる。

【0023】

次に、図２に示されるプロセッサ４０の構成について詳細に説明する。

【0024】

プロセッサ４０は、センサ群で取得されたセンサ情報を用いて、ミラー型表示装置２０_ｎのユーザの属性に適合する保険シミュレーション情報を取得してミラー型ディスプレイ３０に表示するための保険シミュレーション処理を実行する機能と、センサ情報を用いて、保険とは直接関連しない画像コンテンツ（たとえば、広告画像、あるいはゲームもしくは占いに使用される画像）をミラー型ディスプレイ３０に表示するための非保険コンテンツ処理を実行する機能とを有している。

【0025】

プロセッサ４０は、サーバ装置１０と連携して保険シミュレーション処理を実行する。具体的には、プロセッサ４０は、ミラー型ディスプレイ３０と対向する位置に存在するユーザの生体的特徴を表す画像情報を含むセンサ情報を取得し、そのセンサ情報を通信インタフェース４３を介してサーバ装置１０に送信する。ここで、センサ情報としては、たとえば、画像センサ５２で取得された画像情報ＩＤｂ（特に、顔画像情報）が利用できるが、これに限定されるものではない。深度画像情報ＤＤ及び画像情報ＩＤａを利用することもできる。サーバ装置１０は、ミラー型表示装置２０_ｎから送信されたセンサ情報に基づいて当該ユーザの属性（たとえば、年齢や性別）を推定し、当該推定された属性を示すユーザ属性情報をミラー型表示装置２０_ｎに送信することができる。また、サーバ装置１０は、そのユーザ属性情報に適合する保険シミュレーション情報をミラー型表示装置２０_ｎに送信することもできる。ミラー型表示装置２０_ｎは、通信インタフェース４３で受信されたユーザ属性情報及び保険シミュレーション情報をミラー型ディスプレイ３０に表示させる。これにより、ユーザは、自らの属性に適合する保険商品に関連する情報を極めて簡便に短時間で知ることができる。

【0026】

図５は、ミラー型表示装置２０_ｎと連携して動作するサーバ装置１０の構成例を概略的に示すブロック図である。図５に示されるようにサーバ装置１０は、属性推定部１２及び保険シミュレーション部１３を含むプロセッサ１１と、保険シミュレーションに使用されるデータベース１４と、ミラー型表示装置２０_ｎとデータの送受信を行う通信インタフェース（通信Ｉ／Ｆ）１５とを備えている。

【0027】

属性推定部１２は、ミラー型表示装置２０_ｎから送信されたセンサ情報に基づいて、学習済みモデル１２Ｍを用いてユーザの属性（たとえば年齢及び性別）を推定する。学習済みモデル１２Ｍは、多種多様な人の画像情報と人の属性との間の関係を規定する数理モデルである。学習済みモデル１２Ｍとしては、機械学習により生成されたニューラルネットワークモデルまたは統計的なモデルが使用されればよい。属性推定部１２は、当該推定された属性を示すユーザ属性情報を通信インタフェース１５を介してミラー型表示装置２０_ｎに送信する。

【0028】

一方、保険シミュレーション部１３は、多種多様な保険プランに関連する情報が格納されたデータベース１４を参照して、属性推定部１２で生成されたユーザ属性情報に適合する保険シミュレーション情報を生成することができる。また、保険シミュレーション部１３は、ミラー型表示装置２０_ｎから送信され通信インタフェース１５で受信されたユーザ属性情報に適合する保険シミュレーション情報をデータベース１４を参照して生成することもできる。保険シミュレーション部１３は、そのような保険シミュレーション情報を通信インタフェース１５を介してミラー型表示装置２０_ｎに送信する。

【0029】

次に、図６及び図７を参照しつつ、ミラー型表示装置２０_ｎの動作例について以下に説明する。図６及び図７は、ミラー型表示装置２０_ｎのプロセッサ４０による処理手順の例を概略的に示すフローチャートである。

【0030】

ユーザがミラー型ディスプレイ３０と対向する近接領域に位置すると、プロセッサ４０は、センサ情報に基づいて当該ユーザの存在を感知して図６の処理を開始することができる。ユーザの存在を感知すると、プロセッサ４０は、保険シミュレーションと非保険コンテンツ処理とのいずれかを選択する入力をユーザに促すメニュー画像をミラー型ディスプレイ３０に表示させる（ステップＳ１１）。プロセッサ４０は、ユーザによる入力があるまで待機する（ステップＳ１２のＮＯ）。ユーザは、自らの身体部位のジェスチャ、ミラー型ディスプレイ３０へのタッチ、及び音声入力のうちのいずれかを行うことにより、保険シミュレーションと非保険コンテンツ処理とのいずれかを選択することができる。

【0031】

ユーザによる入力があったとき（ステップＳ１２のＹＥＳ）、保険シミュレーションが選択された場合には（ステップＳ１３のＹＥＳ）、プロセッサ４０は保険シミュレーション処理を実行する（ステップＳ１４）。一方、保険シミュレーションが選択されず（ステップＳ１３のＮＯ）、非保険コンテンツ処理が選択された場合には（ステップＳ１５のＹＥＳ）、プロセッサ４０は非保険コンテンツ処理を実行する（ステップＳ１６）。保険シミュレーションと非保険コンテンツ処理との双方が選択されない場合には（ステップＳ１５のＮＯ）、処理は終了し、保険シミュレーション処理（ステップＳ１４）または非保険コンテンツ処理（ステップＳ１６）の実行後、処理は終了する。

【0032】

図８は、メニュー画像Ｄ１を例示する図である。このメニュー画像Ｄ１は、「保険シミュレーション」を選択するための項目Ｂ１１と、クイズや占いなどの「エンターテインメント」を選択するための項目Ｂ１２と、「検温」を選択するための項目Ｂ１３と、「体操チャレンジ」を選択するための項目Ｂ１４とを含む。項目Ｂ９９は、ミラー型表示装置２０_ｎが設置されている店舗に店員がいる場合に、その店員を呼び出すための項目である。図８の例での非保険コンテンツ処理は、「エンターテインメント」、「検温」及び「体操チャレンジ」であるが、これらに限定されるものではない。プロセッサ４０は、ジェスチャ検出部４４Ａで検出された特定のジェスチャ（たとえば、手のジェスチャ）、もしくはタッチ操作検出部４４Ｂで検出されたタッチ位置を操作入力として検知し、この操作入力に応じて所望の項目を選択することができる。あるいは、プロセッサ４０は、音声認識部４４Ｃで認識された特定の発話パターンの音声入力に応じて所望の項目を選択してもよい。「検温」が選択された場合は、プロセッサ４０は、赤外線検出情報ＴＤを用いてユーザの体温を測定し、体温の測定値を示す画像をミラー型ディスプレイ３０に表示させる。「体操チャレンジ」が選択された場合は、スケルトントラッキングのアルゴリズムを使用してユーザの身体を動かせるゲーム画像をミラー型ディスプレイ３０に表示させる。

【0033】

図７は、保険シミュレーション処理（ステップＳ１４）の例を概略的に示すフローチャートである。図７を参照すると、プロセッサ４０は、ユーザによる保険シミュレーションの選択に応じて、ユーザの属性を推定中であることを示すメッセージ画像をミラー型ディスプレイ３０に表示させる（ステップＳ２１）。図９は、そのようなメッセージ画像Ｄ２を例示する図である。

【0034】

次いで、プロセッサ４０は、ユーザの生体的特徴を表す画像情報を含むセンサ情報を取得し（ステップＳ２２）、当該センサ情報を通信インタフェース４３を介してサーバ装置１０に送信する（ステップＳ２３）。その後、プロセッサ４０は、サーバ装置１０からユーザ属性情報を受信すなわち取得するまで待機している（ステップＳ２４のＮＯ）。

【0035】

サーバ装置１０からユーザ属性情報を取得すると（ステップＳ２４のＹＥＳ）、プロセッサ４０は、取得されたユーザ属性情報をユーザを確認または変更するための確認・変更用画像をミラー型ディスプレイ３０に表示させる（ステップＳ２５）。図１０は、確認・変更用画像Ｄ３を例示する図である。確認・変更用画像Ｄ３は、推定されたユーザ属性情報が「３０歳」かつ「男性」であることを表示している。また確認・変更用画像Ｄ３は、ユーザ属性情報を変更せずに確定するための「確認」の項目Ｂ３３と、ユーザ属性情報を変更するための「年齢変更」の項目Ｂ３１及び「性別変更」の項目Ｂ３２とを含む。ユーザは、ユーザ属性情報の変更を希望しない場合には、項目Ｂ３３を選択し、ユーザ属性情報の変更を希望する場合には、項目Ｂ３１，Ｂ３２を選択することができる。

【0036】

プロセッサ４０は、ユーザによるユーザ属性情報の確認または変更指示が生ずるまで待機している（ステップＳ２６のＮＯ及びステップＳ３１のＮＯ）。ユーザによる確認が得られた場合は（ステップＳ２６のＹＥＳ）、プロセッサ４０は、保険プラン選択用画像をミラー型ディスプレイ３０に表示させる（ステップＳ２７）。その後、プロセッサ４０は、ユーザが保険プランを選択するまで待機する（ステップＳ２８のＮＯ）。図１１は、保険プラン選択用画像Ｄ４を例示する図である。この画像Ｄ４は、「保険プランＸ」を選択するための項目Ｂ４１と、「保険プランＹ」を選択するための項目Ｂ４２と、「保険プランＺ」を選択するための項目Ｂ４３と、「保険プランＨ」を選択するための項目Ｂ４４とを含む。

【0037】

その後、ユーザが保険プランを選択したとき（ステップＳ２８のＹＥＳ）、プロセッサ４０は、当該保険プラン及びユーザ属性情報に適合する保険シミュレーション情報をサーバ装置１０に要求して当該保険シミュレーション情報を取得する（ステップＳ２９）。そして、プロセッサ４０は、当該保険シミュレーション情報をミラー型ディスプレイ３０に表示させる（ステップＳ２９）。図１２は、保険シミュレーション情報を表示する画像Ｄ５を例示する図である。この画像Ｄ５は、保険プランの内容を表示する領域Ｂ５０と、保険プランを選び直すために直前の画像Ｄ４に戻るための項目Ｂ５１と、店員を呼び出すための項目Ｂ５２と、保険プランの表示内容を下方へスクロールさせるための項目Ｂ５３と、保険プランの表示内容を上方へスクロールさせるための項目Ｂ５４とを含む。

【0038】

一方、ユーザによるユーザ属性情報の変更指示があったときは（ステップＳ３１のＹＥＳ）、プロセッサ４０は、ユーザ属性情報を変更するための画像をミラー型ディスプレイ３０に表示させる（ステップＳ３２）。図１３～図１５は、そのような変更用画像Ｄ６，Ｄ７，Ｄ８を例示する図である。図１３に示される年代変更用の画像Ｄ６は、０～２０歳までの年代を選択するための項目Ｂ６１と、２１～４０歳までの年代を選択するための項目Ｂ６２と、４１～６０歳までの年代を選択するための項目Ｂ６３と、６１～８５歳までの年代を選択するための項目Ｂ６４とを含む。ユーザが図１３のいずれかの年代の項目を選択すると、図１４に示される年齢変更用の画像Ｄ７がミラー型ディスプレイ３０に表示され得る。変更用画像Ｄ７は、ユーザによる選択を受けて年齢を段階的に下げるための項目Ｂ７１と、ユーザによる選択を受けて年齢を段階的に上げるための項目Ｂ７２と、年代を選び直すために直前の画像Ｄ６に戻るための項目Ｂ７３と、年齢を確定するための確認用の項目Ｂ７４とを含む。一方、図１５に示される性別変更用の画像Ｄ８は、「男性」を選択するための項目Ｂ８１と、「女性」を選択するための項目Ｂ８２とを含む。

【0039】

プロセッサ４０は、ユーザが変更用画像の表示に応じてユーザ属性情報を入力するまで待機している（ステップＳ３３のＮＯ）。ユーザがユーザ属性情報を入力すると（ステップＳ３３のＹＥＳ）、処理手順はステップＳ２５に移行する。ステップＳ２５では、プロセッサ４０は、変更後のユーザ属性情報を確認または変更するための確認・変更用画像をミラー型ディスプレイ３０に表示させる。その後、ステップＳ２６が再度実行される。

【0040】

以上に説明したようにミラー型表示装置２０_ｎのユーザは、ミラー型ディスプレイ３０に映し出された自らの容姿や顔を視つつ、ユーザの属性（たとえば年齢や性別）に適合する保険シミュレーション情報を極めて簡便に短時間で得ることができる。よって、ミラー型表示装置２０_ｎを利用することにより、ユーザは、多種多様な保険商品の中から、自らの属性に適した保険商品を探し出す労力を大幅に削減することができる。

【0041】

上記したミラー型表示装置２０_ｎにおけるプロセッサ４０及びユーザインタフェース４４の機能の全部または一部は、不揮発性メモリから読み出されたソフトウェアまたはファームウェアのプログラムコードを実行する、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置を含む単数または複数のプロセッサで実現されてもよい。あるいは、プロセッサ４０及びユーザインタフェース４４の機能の全部または一部は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ），ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの半導体集積回路を有する単数または複数のプロセッサにより実現可能である。あるいは、ＤＳＰ，ＡＳＩＣまたはＦＰＧＡなどの半導体集積回路と、ＣＰＵまたはＧＰＵなどの演算装置との組み合わせを含む単数または複数のプロセッサによってプロセッサ４０及びユーザインタフェース４４の機能の全部または一部を実現することも可能である。

【0042】

図１６は、プロセッサ４０及びユーザインタフェース４４の機能を実現するハードウェア構成例である信号処理装置９０の構成を概略的に示すブロック図である。信号処理装置９０は、デジタル信号処理を実行するプロセッサ９１，ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９２，不揮発性メモリ９３，大容量メモリ９４，入出力インタフェース回路９５，通信インタフェース回路９６及び信号路９７を含んで構成されている。信号路９７は、プロセッサ９１，ＲＡＭ９２，不揮発性メモリ９３，大容量メモリ９４，入出力インタフェース回路９５及び通信インタフェース回路９６を相互に接続するためのバスである。ＲＡＭ９２は、プロセッサ９１がディジタル信号処理を実行する際に使用されるデータ記憶領域である。プロセッサ９１がＣＰＵなどの演算装置を内蔵する場合には、不揮発性メモリ９３は、プロセッサ９１により実行されるソフトウェアまたはファームウェアのプログラムコードを記憶するデータ記憶領域を有する。図１６の入出力インタフェース回路９５は図２の入出力インタフェース４２に相当し、図１６の通信インタフェース回路９６は、図２の通信インタフェース４３に相当する。

【0043】

以上、本開示に係る種々の実施形態及びその変形例について説明したが、上記の実施形態及びその変形例は例示に過ぎず、本発明の範囲を限定するものではない。たとえば、ミラー型表示装置２０_ｎは、店舗に設置したり壁面に取り付けられたりする大型の表示機器として構成されてもよいし、あるいは、タブレット端末などの可搬型の表示機器として構成されてもよい。

【0044】

また、本発明の趣旨及び範囲から逸脱することなく、上記実施形態の変更、追加及び改良を適宜行うことができることが理解されるべきである。本発明の範囲は、特許請求の範囲の記載に基づいて解釈されるべきであり、さらにその均等物を含むものと理解されるべきである。

【産業上の利用可能性】

【0045】

本開示に係るミラー型表示装置及び情報提供システムは、個々のユーザの属性に適した保険シミュレーション情報を提供することができるので、保険関連業務で利用することに適している。

【符号の説明】

【0046】

１：情報提供システム、２：通信ネットワーク、１０：サーバ装置、１１：プロセッサ、１２：属性推定部、１２Ｍ：学習済みモデル、１３：保険シミュレーション部、１４：データベース、１５：通信インタフェース（通信Ｉ／Ｆ）、２０_１，２０_２，…，２０_Ｎ：ミラー型表示装置、３０：ミラー型ディスプレイ、３０Ｄ：画像出力部、３０Ｍ：ミラー部、３０Ｃ：筐体、４０：プロセッサ、４２：入出力インタフェース（入出力Ｉ／Ｆ）、４３：通信インタフェース（通信Ｉ／Ｆ）、４４：ユーザインタフェース（ＵＩ）、４４Ａ：ジェスチャ検出部、４４ｂ：タッチ操作検出部、４４ｃ：音声認識部、５０：センサモジュール、５１：光学センサ、５１Ａ：深度センサ（デプスセンサ）、５１Ｂ：画像センサ、５２：画像センサ、５３：赤外線センサ、５５：スピーカ、５６：マイクロフォン、９０：信号処理装置、９１：プロセッサ、９２：ＲＡＭ、９３：不揮発性メモリ、９４：大容量記録媒体（大容量メモリ）、９５：入出力インタフェース回路、９６：通信インタフェース回路、９７：信号路。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【手続補正書】

【提出日】2022-08-22

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

サーバ装置と、通信ネットワークを介して前記サーバ装置と相互通信可能なミラー型表示装置とを備えた情報提供システムであって、
前記ミラー型表示装置は、
当該ミラー型表示装置の背面側から正面側へ表示画像の光を出力する画像出力部と、前記画像出力部から出力された光を透過させて前記表示画像を表示すると同時に、外部空間内の前記正面側に位置するユーザから入射した光を反射させて当該ユーザの鏡像を映し出すミラー部とを有するミラー型ディスプレイと、
前記ユーザの画像情報を含むセンサ情報を検出する少なくとも１つのセンサと、
前記サーバ装置とデータの送受信を行う通信インタフェースと、
前記通信インタフェースを介して前記センサ情報を前記サーバ装置に送信するように構成されたプロセッサと
を備え、
前記サーバ装置は、
当該送信されたセンサ情報に基づいて前記ユーザの属性を推定し、
データベースを参照して、当該推定された属性を示すユーザ属性情報に適合する保険シミュレーション情報を生成し、
前記ユーザ属性情報及び前記保険シミュレーション情報を前記通信インタフェースに送信する
ように構成されており、
前記プロセッサは、前記通信インタフェースで受信された当該ユーザ属性情報及び当該保険シミュレーション情報のうち少なくとも前記保険シミュレーション情報を前記表示画像として前記ミラー型ディスプレイに表示させるように構成されている、
ことを特徴とする情報提供システム。

【請求項2】

請求項１に記載の情報提供システムであって、前記サーバ装置は、人の画像情報と人の属性との間の関係を規定する学習済みモデルを用いて、前記ミラー型表示装置の当該ユーザの属性を推定することを特徴とする情報提供システム。

【請求項3】

請求項１または２に記載の情報提供システムであって、前記ユーザ属性情報は、少なくとも、前記ユーザの推定された年齢及び性別を含むことを特徴とする情報提供システム。

【請求項4】

請求項１から３のうちのいずれか１項に記載の情報提供システムであって、前記画像情報は、前記少なくとも１つのセンサで検出された２次元画像及び深度画像のうちの少なくとも１つを含むことを特徴とする情報提供システム。

【請求項5】

請求項１から４のうちのいずれか１項に記載の情報提供システムであって、
前記プロセッサは、
前記保険シミュレーション情報を表示するための保険シミュレーションと、保険に直接関連しない画像コンテンツを表示するための非保険コンテンツ処理とのいずれかを選択する入力を前記ユーザに促すメニュー画像を前記ミラー型ディスプレイに表示させ、
前記保険シミュレーションを選択する入力があったときは、前記センサ情報を前記サーバ装置に送信するとともに前記保険シミュレーション情報を前記ミラー型ディスプレイに表示させ、
前記非保険コンテンツ処理を選択する入力があったときは、非保険コンテンツを前記ミラー型ディスプレイに表示させる
ように構成されていることを特徴とする情報提供システム。

【請求項6】

請求項５に記載の情報提供システムであって、
前記ユーザによる入力を受け付けるユーザインタフェースをさらに備え、
前記ミラー型ディスプレイは、前記ミラー部の表面におけるユーザによるタッチ位置を感知するタッチパネル機能をさらに有し、
前記ユーザインタフェースは、当該感知されたタッチ位置を当該入力として受け付けるタッチ操作検出部を含むことを特徴とする情報提供システム。

【請求項7】

請求項５に記載の情報提供システムであって、
前記ユーザによる入力を受け付けるユーザインタフェースをさらに備え、
前記ユーザインタフェースは、前記少なくとも１つのセンサで検出された深度画像に基づいて前記ユーザの特定部位のジェスチャを検出するジェスチャ検出部を含むことを特徴とする情報提供システム。

【請求項8】

請求項５に記載の情報提供システムであって、
前記ユーザによる入力を受け付けるユーザインタフェースと、
前記外部空間から到来した音響信号を検出して電気信号を出力するマイクロフォンと
をさらに備え、
前記ユーザインタフェースは、前記電気信号に音声認識処理を施して音声入力情報を生成する音声認識部を含むことを特徴とする情報提供システム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００３７

【補正方法】変更

【補正の内容】

【0037】

その後、ユーザが保険プランを選択したとき（ステップＳ２８のＹＥＳ）、プロセッサ４０は、当該保険プラン及びユーザ属性情報に適合する保険シミュレーション情報をサーバ装置１０に要求して当該保険シミュレーション情報を取得する（ステップＳ２９）。そして、プロセッサ４０は、当該保険シミュレーション情報をミラー型ディスプレイ３０に表示させる（ステップＳ３０）。図１２は、保険シミュレーション情報を表示する画像Ｄ５を例示する図である。この画像Ｄ５は、保険プランの内容を表示する領域Ｂ５０と、保険プランを選び直すために直前の画像Ｄ４に戻るための項目Ｂ５１と、店員を呼び出すための項目Ｂ５２と、保険プランの表示内容を下方へスクロールさせるための項目Ｂ５３と、保険プランの表示内容を上方へスクロールさせるための項目Ｂ５４とを含む。