(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024167624
(43)【公開日】2024-12-04
(54)【発明の名称】表示システム、情報処理装置、評価方法、及びコンピュータ読み取り可能な記録媒体
(51)【国際特許分類】
G06Q 30/0242 20230101AFI20241127BHJP
【FI】
G06Q30/0242
【審査請求】有
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2023083830
(22)【出願日】2023-05-22
(11)【特許番号】
(45)【特許公報発行日】2024-01-23
(71)【出願人】
【識別番号】000236056
【氏名又は名称】三菱電機ビルソリューションズ株式会社
(74)【代理人】
【識別番号】110003199
【氏名又は名称】弁理士法人高田・高橋国際特許事務所
(72)【発明者】
【氏名】嶋江 聡
【テーマコード(参考)】
5L030
5L049
【Fターム(参考)】
5L030BB08
5L049BB08
(57)【要約】 (修正有)
【課題】施設内に表示されるコンテンツの、利用者に対する有効性の評価を的確に行う上で有利な表示システム、情報処理装置、評価方法及び記録媒体を提供する。
【解決手段】床面又は壁面に情報を表示する表示システム100は、利用者による所定の行動を誘導するための第一コンテンツを施設内における第一位置P1に表示する第一コンテンツ表示装置10と、第一位置の周辺の利用者を撮像した第一画像データを出力する第一撮像装置12と、施設内における第一位置とは異なる第二位置P2a、P2bの周辺の利用者を撮像した第二画像データを出力する第二撮像装置22a、22bと、第一画像データ及び第二画像データに基づいて利用者の行動を解析し、解析した利用者の行動に基づいて第一コンテンツの表示の有効性を判断するコンテンツサーバと30と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
利用者による所定の行動を誘導するための第一コンテンツを施設内における第一位置に表示する第一コンテンツ表示装置と、
前記第一位置の周辺の前記利用者を撮像した第一画像データを出力する第一撮像装置と、
前記施設内における前記第一位置とは異なる第二位置の周辺の前記利用者を撮像した第二画像データを出力する第二撮像装置と、
前記第一画像データ及び前記第二画像データに基づいて前記利用者の行動を解析する解析部と、前記解析部が解析した前記利用者の行動に基づいて前記第一コンテンツの表示の有効性を判断する判断部と、を有するコンテンツサーバと、
を備えた表示システム。
【請求項2】
前記コンテンツサーバは、
前記判断部が前記第一コンテンツの表示が有効でないと判断した場合、前記第一コンテンツに代えて前記第一位置に表示する代替コンテンツを生成する代替コンテンツ生成部を更に備える
請求項1に記載の表示システム。
【請求項3】
前記第一コンテンツ、前記第一画像データ及び前記第二画像データと、前記代替コンテンツとの関係を学習することによって予め生成された学習済モデルを含み、
前記代替コンテンツ生成部は、
前記第一コンテンツ、前記第一画像データ及び前記第二画像データを取得するデータ取得部と、
前記学習済モデルを用いて、前記データ取得部により取得された前記第一画像データ、前記第二画像データ及び前記第一コンテンツに基づいて前記代替コンテンツを出力する推論部と、を含む
請求項2に記載の表示システム。
【請求項4】
前記解析部は、
前記第一画像データ及び前記第二画像データの少なくとも一方又は両方に基づいて利用者の属性をさらに解析するように構成され、
前記判断部は、前記解析部が解析した前記利用者の属性及び行動に基づいて、前記第一コンテンツの表示の有効性を判断する
ように構成される請求項1から請求項3の何れか1項に記載の表示システム。
【請求項5】
前記第一コンテンツ表示装置に記憶されている前記第一コンテンツの情報は、対象とする利用者の属性情報を含み、
前記判断部は、前記対象とする利用者の属性情報に基づいて、前記第一コンテンツの表示の有効性を判断する
ように構成される請求項4に記載の表示システム。
【請求項6】
前記利用者による所定の行動を誘導するための第二コンテンツを前記第二位置に表示する第二コンテンツ表示装置を備え、
前記解析部は、
前記第一画像データ及び前記第二画像データの少なくとも一方又は両方に基づいて利用者の属性を解析するように構成され、
前記判断部は、前記解析部が解析した前記利用者の属性及び行動に基づいて、前記第二コンテンツの表示の有効性を判断する請求項1から請求項3の何れか1項に記載の表示システム。
【請求項7】
前記第二コンテンツ表示装置に記憶されている前記第二コンテンツの情報は、対象とする利用者の属性情報を含み、
前記判断部は、前記対象とする利用者の属性情報に基づいて、前記第二コンテンツの表示の有効性を判断する請求項6に記載の表示システム。
【請求項8】
前記コンテンツサーバは、
前記判断部において判断された有効性の判断結果を外部サーバへ出力する出力部を更に備える請求項1から請求項3の何れか1項に記載の表示システム。
【請求項9】
施設内における第一位置において利用者に対して表示され、利用者による所定の行動を誘導するための第一コンテンツの有効性を判断する情報処理装置であって、
少なくとも1つのプロセッサと、
少なくとも1つのプログラムが格納されたメモリと、を備え、
前記少なくとも1つのプロセッサは、前記少なくとも1つのプログラムを実行することにより、
前記第一位置の周辺の前記利用者を撮像した第一画像データ及び前記施設内における前記第一位置とは異なる第二位置の周辺の前記利用者を撮像した第二画像データを取得する取得処理と、
前記第一画像データ及び前記第二画像データに基づいて前記利用者の行動を解析する解析処理と、
前記解析処理によって解析された前記利用者の行動に基づいて前記第一コンテンツの表示の有効性を判断する判断処理と、
を実行するように構成される情報処理装置。
【請求項10】
施設内における第一位置において利用者に対して表示され、利用者による所定の行動を誘導するための第一コンテンツの有効性を評価する評価方法であって、
前記第一位置の周辺の前記利用者を撮像した第一画像データ及び前記施設内における前記第一位置とは異なる第二位置の周辺の前記利用者を撮像した第二画像データを取得する取得ステップと、
前記第一画像データ及び前記第二画像データに基づいて前記利用者の行動を解析する解析ステップと、
前記解析ステップによって解析された前記利用者の行動に基づいて前記第一コンテンツの表示の有効性を判断する判断ステップと、
を備える評価方法。
【請求項11】
施設内における第一位置において利用者に対して表示され、利用者による所定の行動を誘導するための第一コンテンツの有効性を判断することをコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記プログラムは、
前記第一位置の周辺の前記利用者を撮像した第一画像データ及び前記施設内における前記第一位置とは異なる第二位置の周辺の前記利用者を撮像した第二画像データを取得し、
前記第一画像データ及び前記第二画像データに基づいて前記利用者の行動を解析し、
解析された前記利用者の行動に基づいて前記第一コンテンツの表示の有効性を判断する
ことをコンピュータに実行させる
ように構成されるコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、床面又は壁面に情報を表示する表示システムの技術に関する。
【背景技術】
【0002】
特許文献1には、投影システムに関する技術が開示されている。この投影システムは、例えばショッピングモールに設置した第1投影装置で商品情報を表示し、この投影画像を見ている人の停止時間に基づいて当該投影画像に興味を持った人を特定する。そして、投影システムは、特定した人を第2投影装置による床面表示で当該商品の店舗等に誘導する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の技術では、投影システムの設置者は、施設内に投影表示される動的コンテンツが利用者にとって有効であったかを判断することができない。
【0005】
本開示は、上述のような課題を解決するためになされたもので、施設内に表示されるコンテンツの、利用者に対する有効性の評価を的確に行う上で有利な技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の表示システムは、利用者による所定の行動を誘導するための第一コンテンツを施設内における第一位置に表示する第一コンテンツ表示装置と、第一位置の周辺の利用者を撮像した第一画像データを出力する第一撮像装置と、施設内における第一位置とは異なる第二位置の周辺の利用者を撮像した第二画像データを出力する第二撮像装置と、第一画像データ及び第二画像データに基づいて利用者の行動を解析する解析部と、解析部が解析した利用者の行動に基づいて第一コンテンツの表示の有効性を判断する判断部と、を有するコンテンツサーバと、を備えたものである。
【0007】
また、本開示の情報処理装置は、施設内における第一位置において利用者に対して表示され、利用者による所定の行動を誘導するための第一コンテンツの有効性を判断する情報処理装置であって、少なくとも1つのプロセッサと、少なくとも1つのプログラムが格納されたメモリと、を備え、少なくとも1つのプロセッサは、少なくとも1つのプログラムを実行することにより、第一位置の周辺の利用者を撮像した第一画像データ及び施設内における第一位置とは異なる第二位置の周辺の利用者を撮像した第二画像データを取得する取得処理と、第一画像データ及び第二画像データに基づいて利用者の行動を解析する解析処理と、解析処理によって解析された利用者の行動に基づいて第一コンテンツの表示の有効性を判断する判断処理と、を実行するように構成されるものである。
【0008】
また、本開示の評価方法は、施設内における第一位置において利用者に対して表示され、利用者による所定の行動を誘導するための第一コンテンツの有効性を評価する評価方法であって、第一位置の周辺の利用者を撮像した第一画像データ及び施設内における第一位置とは異なる第二位置の周辺の利用者を撮像した第二画像データを取得する取得ステップと、第一画像データ及び第二画像データに基づいて利用者の行動を解析する解析ステップと、解析ステップによって解析された利用者の行動に基づいて第一コンテンツの表示の有効性を判断する判断ステップと、を備えるものである。
【0009】
さらに、本開示のコンピュータ読み取り可能な記録媒体は、施設内における第一位置において利用者に対して表示され、利用者による所定の行動を誘導するための第一コンテンツの有効性を判断することをコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、プログラムは、第一位置の周辺の利用者を撮像した第一画像データ及び施設内における第一位置とは異なる第二位置の周辺の利用者を撮像した第二画像データを取得し、第一画像データ及び第二画像データに基づいて利用者の行動を解析し、解析された利用者の行動に基づいて第一コンテンツの表示の有効性を判断することをコンピュータに実行させるように構成されるものである。
【発明の効果】
【0010】
本開示の技術によれば、施設内に表示されるコンテンツの、利用者に対する有効性の評価を的確に行うことが可能となる。
【図面の簡単な説明】
【0011】
【
図1】実施の形態における表示システムの構成例を示す図である。
【
図2】実施の形態の表示システムの構成の一例を示すブロック図である。
【
図3】コンテンツサーバのプロセッサがプログラムを実行することによって実現される機能を示すブロック図である。
【
図4】判断処理の具体例を説明するための図である。
【
図5】判断処理の第一実施例を説明するための図である。
【
図6】判断処理の第二実施例を説明するための図である。
【
図7】判断処理の第三具体例を説明するための図である。
【
図8】代替コンテンツ生成部の内部機能を示す機能ブロック図である。
【
図9】代替コンテンツ生成部において実行される代替コンテンツ生成処理のルーチンを示すフローチャートである。
【
図10】モデル学習部の内部機能を示す内部ブロック図である。
【
図11】実施の形態の表示システムにおいて実行されるルーチンのフローチャートである。
【
図12】コンテンツサーバのハードウェア資源の変形例を示す図である。
【発明を実施するための形態】
【0012】
以下、図面を参照して実施の形態について説明する。なお、各図において共通する要素には、同一の符号を付して、重複する説明を省略する。
【0013】
実施の形態.
1.実施の形態における表示システムの概要
図1は、実施の形態における表示システムの構成例を示す図である。表示システム100は、施設の利用者への広告、誘導又は注意喚起等の用途として、図、文字、或いはこれらの組み合わせからなるコンテンツを施設内の床面又は壁面に表示させ、表示されたコンテンツの利用者への有効性を評価するシステムである。ここで、床面又は壁面へのコンテンツの表示は、床面又は壁面に設けられたディスプレイによりコンテンツを表示するものであってもよいし、投影機器により床面又は壁面上にコンテンツを投影して表示するものであってもよい。また、コンテンツは、静止画コンテンツであってもよいし、その一部または全部に動画素材やアニメーション効果のある動画コンテンツであってもよい。また、広告は、例えば商品又は店舗等の広告が例示される。また、ここでの誘導又は注意喚起は、施設内の案内方向を示す表示、通行可不可を示す表示、等が例示される。また、施設は、空港施設、駅、商業施設、病院等を対象としている。以下の説明では、表示システム100が商業施設内を誘導又は注意喚起するものであり、表示が投影表示によるものである場合を例に説明する。
【0014】
表示システム100は、第一コンテンツ表示装置10と、第一撮像装置12と、第二コンテンツ表示装置20と、第二撮像装置22と、コンテンツサーバ30と、を備える。
【0015】
第一コンテンツ表示装置10は、施設内の床面の第一位置に第一コンテンツを投影して表示する装置である。第一コンテンツ表示装置10の投影方式及びその構造に限定はない。第一コンテンツは、利用者による所定の行動を誘導するためのものである。例えば所定の行動が「直進して右折する行動」である場合に、施設内のそのような所定の行動を誘導するためのコンテンツとして、
図1の第一コンテンツのように、直進して右に曲がる矢印を表示する。また、所定の行動が「直進して左折する行動」である場合に、施設内のそのような行動を誘導するためのコンテンツとして、直進して左に曲がる矢印(図示せず)を表示する。
【0016】
第一撮像装置12は、第一コンテンツが表示されている第一位置P1及びその周辺を撮像するように設置されたカメラである。第一撮像装置12は、第一位置P1及びその周辺に居る人々を定期的に撮像して出力する。第一撮像装置12の種類、個数、及び設置場所に限定はない。第一撮像装置12は、第一コンテンツ表示装置10と一体に構成されていてもよい。第一撮像装置12によって撮像された画像データは、以下「第一画像データ」と呼ばれる。第一画像データは静止画データに限らず、動画データでもよい。第一画像データは、インターネット等の通信ネットワーク8を介してコンテンツサーバ30へ送信される。
【0017】
第二コンテンツ表示装置20は、第一位置とは異なる施設内の床面の第二位置に第二コンテンツを投影して表示する装置である。第二コンテンツ表示装置20の個数、設置場所、投影方式及びその構造に限定はない。
図1に示す例では、第二コンテンツ表示装置20として2つの第二コンテンツ表示装置20a,20bが設置されている。第二コンテンツ表示装置20aは、第一コンテンツによる誘導案内による案内経路の途中の第二位置P2aに第二コンテンツ(OK)を投影して表示する。第二コンテンツも、利用者による所定の行動を誘導するためのものである。ここでの「第二コンテンツ(OK)」は、例えば所定の行動が「直進」である場合に、施設内のそのような所定の行動を誘導するためのコンテンツとして、例えば直進方向を矢印で示す表示を表示する。
【0018】
第二コンテンツ表示装置20bは、第二コンテンツによる誘導案内による案内経路から逸れた経路の途中の第二位置P2bに第二コンテンツ(NG)を投影して表示する。ここでの「第二コンテンツ(NG)」は、例えば所定の行動が「停止」である場合に、施設内のそのような所定の行動を誘導するためのコンテンツとして、例えば進行方向が誤方向であることを表す「×」表示を表示する。
【0019】
第二撮像装置22は、第二コンテンツが表示されている第二位置P2及びその周辺を含む範囲を撮像するように設置されたカメラである。第二撮像装置22は、第二位置P2及びその周辺に居る人々を定期的に撮像して出力する。第二撮像装置22の種類、個数、及び設置場所に限定はない。
図1に示す例では、第二撮像装置22として2つの第二撮像装置22a,22bが設置されている。第二撮像装置22aは、第二コンテンツ表示装置20aの第二コンテンツ(OK)が表示されている第二位置P2a及びその周辺を含む範囲を撮像するように設置されている。第二撮像装置22bは、第二コンテンツ表示装置20bの第二コンテンツ(NG)が表示されている第二位置P2b及びその周辺を含む範囲を撮像するように設置されている。なお、第二撮像装置22a,22bは、第二コンテンツ表示装置20a,20bとそれぞれ一体に構成されていてもよい。第二撮像装置22によって撮像された画像データは、以下「第二画像データ」と呼ばれる。また、第二撮像装置22a,22bによって撮像された第二画像データを区別する場合、これらは以下「第二画像データ(OK)」,「第二画像データ(NG)」と呼ばれる。第二画像データは静止画データに限らず、動画データでもよい。第二画像データは、インターネット等の通信ネットワーク8を介してコンテンツサーバ30へ送信される。
【0020】
コンテンツサーバ30は、第一撮像装置12及び第二撮像装置22によって定期的に撮像された画像データを受信する。この処理は、以下「取得処理」と呼ばれる。コンテンツサーバ30は、取得した画像データに基づいて利用者の属性及び行動を解析することにより、属性情報と行動情報を得る。この処理は、以下「解析処理」と呼ばれる。ここでの行動情報は、利用者の性別、年齢等、が例示される。また、ここでの行動情報は、利用者の位置、滞在時間、移動方向、等が例示される。解析処理では、例えばPerson Re-Identificationと呼ばれる追跡処理の技術が利用される。追跡処理の一例については説明を後述する。なお、ここでは、コンテンツサーバ30が、取得した画像データに基づいて利用者の属性及び行動を解析するものである場合を例示しているが、利用者の行動を解析する機能のみを有するものであってもよい。
【0021】
また、コンテンツサーバ30は、解析処理によって解析された利用者の行動に基づいて、表示されているコンテンツの内容が有効であるかを判断する。解析処理において、利用者の行動に加えて、属性がさらに解析されている場合、コンテンツサーバ30は、その解析された利用者の属性及び行動に基づいて、利用者の属性ごとに、表示されているコンテンツの内容が有効であるかを判断するものであってもよい。また、コンテンツの対象とする利用者の属性情報を入手可能な場合は、その情報をさらに考慮してコンテンツの有効性を判断するようにしてもよい。この処理は、以下「判断処理」と呼ばれる。判断処理の幾つかの例については説明を後述する。
【0022】
コンテンツサーバ30は、判断処理による判断結果を表示システム100のシステム設置者の外部サーバ4に出力する。この処理は、以下「出力処理」と呼ばれる。出力処理において、コンテンツサーバ30は、同業種の施設に設置された表示システムのシステム設置者の外部サーバ6に判断処理による判断結果を出力してもよい。これにより、表示システムのシステム設置者は、施設内に表示されているコンテンツの有効性及びその要因に関する情報を収集することができる。
【0023】
更に、コンテンツサーバ30は、判断処理による判断結果に基づいて、代替コンテンツを生成する。この処理は、以下「代替コンテンツ生成処理」と呼ばれる。ここでの代替コンテンツとは、第一コンテンツよりも有効なコンテンツである。例えば矢印によって行先を示すようなコンテンツの場合、第一コンテンツよりも太い矢印のコンテンツを代替コンテンツとしてもよい。この場合、代替コンテンツの方が第一コンテンツよりも可視性が高いという意味でより有用といえる。また別の例では第一コンテンツの矢印部分と背景部分のコントラストを高めたものを代替コンテンツとしてもよい。さらに第一コンテンツとしての矢印がわかり難くて有用ではない場合、文字での案内を代替コンテンツとしてもよい。文字の案内の代替コンテンツとして日本語を用いても英語を用いてもよい。代替コンテンツ生成処理では、代替コンテンツを推論する学習済モデルが利用される。ここでの学習済モデルは、第一コンテンツ、第一画像データ及び第二画像データの入力を受けて、代替コンテンツを出力するモデルである。学習済モデルは、モデル学習処理によって予め生成される。モデル学習処理では、第一コンテンツ、第一画像データ及び第二画像データと、利用者に対する有効性が既知である代替コンテンツとの関係を機械学習することによって学習済モデルを生成する。モデル学習処理については説明を後述する。
【0024】
コンテンツサーバ30は、学習済モデルから出力された代替コンテンツを第一コンテンツ表示装置10又は第二コンテンツ表示装置20の新たなコンテンツとして反映させる。この処理は、以下「反映処理」と呼ばれる。
【0025】
以上のような表示システム100によれば、利用者の属性及び動作に応じて、施設内に表示されるコンテンツの利用者に対する有効性の評価を的確に行うことが可能となる。
【0026】
2.表示システムの構成
図2は、実施の形態の表示システムの構成の一例を示すブロック図である。表示システム100は、上述した第一コンテンツ表示装置10と、第一撮像装置12と、1又は複数の第二コンテンツ表示装置20と、1又は複数の第二撮像装置22と、コンテンツサーバ30と、を備える。
【0027】
コンテンツサーバ30は、コンピュータとしての情報処理装置の機能を備える。コンテンツサーバ30は、制御対象の施設内に設けられる。或いは、コンテンツサーバ30は、制御対象の施設とは異なる遠隔地に設けられてもよい。他の例として、コンテンツサーバ30は、クラウド上のサーバによって実現されてもよい。コンテンツサーバ30が遠隔地に設けられる場合、コンテンツサーバ30は、インターネット等の通信ネットワーク8を介して、第一コンテンツ表示装置10、第一撮像装置12、第二コンテンツ表示装置20、及び第二撮像装置22との間でデータの送信または受信を行う。
【0028】
コンテンツサーバ30は、少なくとも1つのプロセッサ40と、少なくとも1つのメモリ50とを備えている。記憶装置としてのメモリ50には、プロセッサ40で実行可能な少なくとも1つのプログラム52と、学習済モデル記憶部54と、関連する種々のデータ60とが記憶されている。プログラム52は、コンピュータ読み取り可能な記録媒体に記録されていてもよい。データ60には、第一コンテンツ表示装置10及び第二コンテンツ表示装置20において表示可能なコンテンツの情報が予め記憶されている。ここでのコンテンツの情報は、コンテンツの用途とその意味合いを含む。コンテンツの意味合いは、例えば、誘導/注意喚起用途であれば「行先」、広告用途であれば「どのような属性の利用者を対象としたものか」等が例示される。
【0029】
プロセッサ40がプログラム52を実行することにより、プロセッサ40による各種処理が実現される。
図3は、コンテンツサーバのプロセッサがプログラムを実行することによって実現される機能を示すブロック図である。
図3に示すように、プロセッサ40は、取得部41と、解析部42と、判断部43と、代替コンテンツ生成部44と、出力部45と、モデル学習部46と、反映部47と、を備える。以下、
図1も参照しながらプロセッサ40の機能について説明する。なお、ここでは、プロセッサ40が、モデル学習部46を備えている場合を例示しているが、モデル学習部46はプロセッサ40において必須の構成ではない。すなわち、プロセッサ40は、外部システムより学習済モデルを取得し、その取得した学習済モデルを代替コンテンツ生成部44による処理に供する構成であってもよい。
【0030】
取得部41は、取得処理を行うための機能ブロックである。取得処理では、取得部41が、第一撮像装置12及び第二撮像装置22から第一画像データ及び第二画像データをそれぞれ取得する。
【0031】
解析部42は、解析処理を行うための機能ブロックである。解析処理では、解析部42が、取得した第一画像データ及び第二画像データの一方又は両方の画像データに対する画像解析処理によって、利用者の性別、年齢等の属性を推定する。このとき、利用者ごとに固有のID情報を付与し、推定された属性の情報をそのID情報に紐付けて随時データ60に格納するようにしてもよい。
【0032】
また、解析処理では、取得した第一画像データ及び第二画像データを用いた追跡処理によって、利用者の行動を表す行動情報を随時取得する。追跡処理では、画像データを用いて利用者の行動情報を取得するための公知の追跡処理を採用し得る。例えば、追跡処理では、解析部42は、Person Re-Identificationと呼ばれる技術を利用する。Person Re-Identificationでは、先ず、入力された画像データの中から人のいる人物領域が検出される。検出された人物領域に含まれる人物の画像情報は、以下「人物画像データ」と呼ばれる。検出された人物画像データは、Person Re-Identification用のニューラルネットワークモデルに検索クエリとして入力される。
【0033】
また、ニューラルネットワークモデルには、候補先のテンプレート画像データが入力される。テンプレート画像データは、過去の画像データにて識別された人物画像データに識別用の固有のID情報が紐づけられたデータである。ニューラルネットワークモデルでは、検索クエリとして入力された人物画像データに最も類似度の高い候補先のテンプレート画像データが出力結果として出力される。また、人物画像データに類似する候補先のテンプレート画像データが存在しない場合、当該人物画像データに新たなID情報を紐づけたデータが新たなテンプレート画像データの一部として記憶される。解析部42は、入力される時系列に沿った画像データにそれぞれPerson Re-Identificationによる追跡処理を行い、それぞれの利用者の行動情報をデータ60に格納する。
【0034】
判断部43は、判断処理を行うための機能ブロックである。判断処理では、判断部43が、解析部42により解析された利用者の属性情報及び行動情報に基づいて、第一コンテンツの内容が有効であるかを判断する。
【0035】
図4は、判断処理の具体例を説明するための図である。この図に示す例では、時間T=t1において第一コンテンツが表示されている第一位置P1の周辺の範囲に3人の利用者がいる様子を示している。3人の利用者は、解析処理によってそれぞれの属性情報及び行動情報が解析されている。
図4に示す例では、3人の利用者の属性は、男性/年配、男性/子供、女性/成人である。第一コンテンツには、直進して右折する案内を矢印で示す行先表示が描かれている。
【0036】
図5は、判断処理の第一実施例を説明するための図である。
図5に示す第一具体例は、
図4に示す時間T=t1の状態の後の時間T=t2において、第二コンテンツ(OK)が表示されている第二位置P2aの周辺に3人の利用者が移動した様子を示している。3人の利用者は、解析処理によってそれぞれの属性情報及び行動情報が解析されている。
【0037】
このように、解析処理において、第一位置の周辺の3人の利用者全員が第二位置P2aの周辺の範囲に移動したと解析された場合、第一コンテンツによる誘導に従い利用者が正しい方向へ移動したといえる。この場合、判断処理において、第一コンテンツはどの属性の利用者に対しても理解しやすいコンテンツであると判断される。
【0038】
図6は、判断処理の第二実施例を説明するための図である。
図6に示す第二具体例は、
図4に示す時間T=t1の状態の後の時間T=t3において、第二コンテンツ(NG)が表示されている第二位置P2bの周辺に3人の利用者が移動した様子を示している。3人の利用者は、解析処理によってそれぞれの属性情報及び行動情報が解析されている。
【0039】
このように、解析処理において、第一位置の周辺の3人の利用者全員が第二位置P2bの周辺に移動したと解析された場合、第一コンテンツによる誘導に従わずに利用者が誤った方向へと移動したといえる。この場合、判断処理において、第一コンテンツはどの属性の利用者に対しても理解しがたいコンテンツであると判断される。
【0040】
また、解析処理において、第二位置P2bの周辺の範囲に移動した利用者がその後引き返さなかったと解析された場合、または第二位置P2bの周辺の範囲に移動した利用者が予め定められた基準滞在時間を超えて滞在したと解析された場合、第二コンテンツによる利用者への誘導が失敗したといえる。この場合、判断処理において、第二コンテンツ(NG)がどの属性の利用者に対しても理解しがたいコンテンツであると判断される。
【0041】
図7は、判断処理の第三具体例を説明するための図である。
図7に示す第三具体例は、
図4に示す時間T=t1の状態の後の時間T=t4において、第二コンテンツ(NG)が表示されている第二位置P2bの周辺に男性/子供の利用者が移動し、第二コンテンツ(OK)が表示されている第二位置P2aの周辺に男性/年配及び女性/成人の利用者が移動した様子を示している。これら3人の利用者は、解析処理によってそれぞれの属性情報及び行動情報が解析されている。
【0042】
このように、解析処理において、第一位置の周辺の3人の利用者のうち、男性/子供の利用者のみが第二位置P2bの周辺に移動したと解析された場合、第一コンテンツによる男性/子供の利用者への誘導が失敗したといえる。この場合、判断処理において、第一コンテンツは男性/子供の利用者に対して理解しがたいコンテンツであると判断される。
【0043】
また、解析処理において、第二位置P2bの周辺に移動した男性/子供の利用者がその後引き返さなかったと解析された場合、または第二位置P2bの周辺に移動した男性/子供の利用者が予め定められた基準滞在時間を超えて滞在したと解析された場合、第二コンテンツによる男性/子供の利用者への誘導が失敗したといえる。判断処理において、第二コンテンツ(NG)が男性/子供の利用者に対して理解しがたいコンテンツであると判断される。
【0044】
代替コンテンツ生成部44は、代替コンテンツ生成処理を行うための機能ブロックである。代替コンテンツ生成処理では、代替コンテンツ生成部44は、判断処理による判断結果に基づいて、代替コンテンツを生成する。代替コンテンツ生成処理では、具体的には、学習済モデルが利用される。
【0045】
図8は、代替コンテンツ生成部44の内部機能を示す機能ブロック図である。代替コンテンツ生成部44は、データ取得部442と、推論部444と、を含む。データ取得部442は、代替コンテンツを推論するために必要な入力情報を取得するための機能ブロックである。入力情報は、例えば、第一コンテンツ、第一画像データ及び第二画像データが例示される。推論部444は、学習済モデル記憶部54に記憶されている学習済モデルを用いて、代替コンテンツを出力するための機能ブロックである。
【0046】
図9は、代替コンテンツ生成部44において実行される代替コンテンツ生成処理のルーチンを示すフローチャートである。
図9に示すルーチンのステップS10では、データ取得部442において、第一画像データ及び第二画像データが取得される。次のステップS12では、取得した第一画像データ及び第二画像データが推論部444に入力される。推論部444では、入力された判断結果に基づいて、理解しがたいと判断されたコンテンツに対する代替コンテンツが推論される。そして、ステップS14では、推論部444において推論された代替コンテンツが表示対象の第一コンテンツ表示装置10へ出力される。
【0047】
出力部45は、出力処理を行うための機能ブロックである。出力部45は、表示システム100のシステム設置者の外部サーバ4又は同業種の施設に設置された表示システムのシステム設置者の外部サーバ6に判断処理による判断結果を出力する。
【0048】
モデル学習部46は、モデル学習処理を事前に行うための機能ブロックである。
図10は、モデル学習部の内部機能を示す内部ブロック図である。モデル学習部46は、データ取得部462と、モデル生成部464と、を含む。データ取得部462は、学習用データを取得するための機能ブロックである。学習用データは、入力1と、入力1に対する正解としての入力2とを互いに関連付けたデータである。例えば、入力1は、第一コンテンツ、第一画像データ及び第二画像データである。入力2は、利用者に対する有効性が既知である代替コンテンツが例示される。
【0049】
モデル生成部464は、学習アルゴリズムに従い入力に対する出力を学習する。ここでの学習アルゴリズムには、上述の教師あり学習に限らず、教師なし学習、半教師あり学習、強化学習等の公知の学習アルゴリズムを採用することができる。典型的には、学習アルゴリズムは、ニューラルネットワーク、深層学習(Deep Learning)、遺伝的プログラミング、機能論理プログラミング、SVM(Support Vector Machine)、k-NN(k-nearest neighbor algorism)等が例示される。
【0050】
反映部47は、反映処理を行うための機能ブロックである。反映処理において、反映部47は、代替コンテンツ生成部44において生成された代替コンテンツを表示対象の第一コンテンツ表示装置10又は第二コンテンツ表示装置20の新たなコンテンツとして反映させる。
【0051】
3.表示システムにおいて実行される具体的処理
図11は、実施の形態の表示システムにおいて実行されるルーチンのフローチャートである。なお、このルーチンは、表示システム100において表示されたコンテンツの有効性を評価する評価方法の一部を表してもいる。
【0052】
ステップS100において、表示システム100の各コンテンツ装置にコンテンツが表示される。ここでは、具体的には、第一コンテンツ表示装置10に第一コンテンツが表示され、第二コンテンツ表示装置20に第二コンテンツが表示される。
【0053】
ステップS102において、現在表示している各コンテンツの情報がコンテンツサーバ30によって取得される。ここでは、コンテンツサーバ30は、現在表示している各コンテンツに対応するコンテンツ情報をメモリ50のデータ60から読み出す。
【0054】
ステップS104において、第一撮像装置12及び第二撮像装置22で撮像された画像データがコンテンツサーバ30に送信される。ステップS106において、画像データ中の利用者の属性情報及び行動情報が解析処理によって取得される。ステップS108において、表示している第一コンテンツ及び第二コンテンツが有効か否かが、判断処理によって判断される。その結果、第一コンテンツ及び第二コンテンツが有効と判断された場合、本ルーチンは終了され、第一コンテンツ及び第二コンテンツの何れかが有効でないと判断された場合、処理はステップS110に進む。
【0055】
ステップS110において、表示システム100のシステム設置者の外部サーバ4に判断処理の判断結果が提示される。ステップS112において、ステップS108において有効でないと判断されたコンテンツに対して、代替コンテンツ生成処理によって代替コンテンツが生成される。ステップS114において、コンテンツを代替コンテンツに差し替えるか否かが判定される。ここでは、例えば代替コンテンツへの差し替え指令をシステム設置者から受信したかどうかが判定される。その結果、判定の成立が認められない場合、本ルーチンは終了され、判定の成立が認められた場合、処理はステップS116に進む。
【0056】
ステップS116において、ステップS108において有効でないと判断されたコンテンツが、ステップS112において生成された代替コンテンツへと変更される。
【0057】
以上説明した表示システム100によれば、施設内に表示されるコンテンツの利用者に対する有効性の評価を的確に行うことが可能となる。また、表示されるコンテンツが有効でない場合に、学習用データに基づいて代替コンテンツを生成して差し替えることが可能となる。
【0058】
3.変形例
本実施の形態の表示システム100は、以下のように変形した態様を採用してもよい。
【0059】
3-1.情報処理装置のハードウェア資源
【0060】
図12は、情報処理装置としてのコンテンツサーバのハードウェア資源の変形例を示す図である。
図12に示す例では、情報処理装置としてのコンテンツサーバ30は、例えばプロセッサ40、メモリ50、及び専用ハードウェア70を含む処理回路72を備える。
図12は、コンテンツサーバ30が有する機能の一部を専用ハードウェア70によって実現する例を示す。コンテンツサーバ30が有する機能の全部を専用ハードウェア70によって実現しても良い。専用ハードウェア70として、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGA、又はこれらの組み合わせを採用できる。
【0061】
3-2.コンテンツサーバ30の機能配置
コンテンツサーバ30が有する機能の一部は、第一コンテンツ表示装置10、第二コンテンツ表示装置20、第一撮像装置12、第二撮像装置22等の他の機器に搭載されていてもよい。
【0062】
3-3.モデル学習処理
モデル学習部46は、利用者の年齢、性別、行動、滞在時間等の情報の入力を受けて、その情報も考慮して代替コンテンツを生成することができる学習済モデルを生成するものであってもよい。この場合、データ取得部442は、第一コンテンツ、第一画像データ及び第二画像データに加えて、利用者の年齢、性別、行動、滞在時間等に関する情報、例えば、利用者の属性情報、行動情報、混雑度等を取得する。そして、推論部444は、それらの取得した情報を入力として、学習済モデルにより代替コンテンツを推論する。
【0063】
3-4.判断処理
判断部43において行われる判断処理は、第一コンテンツの有効性の判断に限らず、第二コンテンツの有効性の判断も行うこととしてもよい。この場合、判断部43は、例えば第二画像データから解析された利用者の行動情報、又は行動情報と属性情報に基づいて、第二コンテンツの有効性を判断することができる。
【0064】
また、第一コンテンツ及び第二コンテンツの少なくとも一つは、特定の属性に対して行動を誘導するために提供されるものであってもよい。具体的には、第一コンテンツ表示装置10に記憶されている第一コンテンツの情報は、対象とする利用者の属性情報を含み、判断部43は、その対象とする利用者の属性情報に基づいて、第一コンテンツの表示の有効性を判断するようにしてもよい。同様に、第二コンテンツ表示装置20に記憶されている第二コンテンツの情報は、対象とする利用者の属性情報を含み、判断部43は、その対象とする利用者の属性情報に基づいて、第二コンテンツの表示の有効性を判断するようにしてもよい。この場合、施設内に表示されるコンテンツの、所定の属性を有する利用者に対する有効性の評価をより的確に行うことが可能となる。
【0065】
4.その他
以上、好ましい実施の形態等について詳説したが、本開示は上述した実施の形態等に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態等に種々の変形及び置換を加えることができる。
【0066】
以下、本開示の諸態様を付記としてまとめて記載する。
【0067】
(付記1)
利用者による所定の行動を誘導するための第一コンテンツを施設内における第一位置に表示する第一コンテンツ表示装置と、
前記第一位置の周辺の前記利用者を撮像した第一画像データを出力する第一撮像装置と、
前記施設内における前記第一位置とは異なる第二位置の周辺の前記利用者を撮像した第二画像データを出力する第二撮像装置と、
前記第一画像データ及び前記第二画像データに基づいて前記利用者の行動を解析する解析部と、前記解析部が解析した前記利用者の行動に基づいて前記第一コンテンツの表示の有効性を判断する判断部と、を有するコンテンツサーバと、
を備えた表示システム。
(付記2)
前記コンテンツサーバは、
前記判断部が前記第一コンテンツの表示が有効でないと判断した場合、前記第一コンテンツに代えて前記第一位置に表示する代替コンテンツを生成する代替コンテンツ生成部を更に備える
付記1に記載の表示システム。
(付記3)
前記第一コンテンツ、前記第一画像データ及び前記第二画像データと、前記代替コンテンツとの関係を学習することによって予め生成された学習済モデルを含み、
前記代替コンテンツ生成部は、
前記第一コンテンツ、前記第一画像データ及び前記第二画像データを取得するデータ取得部と、
前記学習済モデルを用いて、前記データ取得部により取得された前記第一画像データ、前記第二画像データ及び前記第一コンテンツに基づいて前記代替コンテンツを出力する推論部と、を含む
付記2に記載の表示システム。
(付記4)
前記解析部は、
前記第一画像データ及び前記第二画像データの少なくとも一方又は両方に基づいて利用者の属性をさらに解析するように構成され、
前記判断部は、前記解析部が解析した前記利用者の属性及び行動に基づいて、前記第一コンテンツの表示の有効性を判断する
ように構成される付記1から付記3の何れか1項に記載の表示システム。
(付記5)
前記第一コンテンツ表示装置に記憶されている前記第一コンテンツの情報は、対象とする利用者の属性情報を含み、
前記判断部は、前記対象とする利用者の属性情報に基づいて、前記第一コンテンツの表示の有効性を判断する
ように構成される付記4に記載の表示システム。
(付記6)
前記利用者による所定の行動を誘導するための第二コンテンツを前記第二位置に表示する第二コンテンツ表示装置を備え、
前記解析部は、
前記第一画像データ及び前記第二画像データの少なくとも一方又は両方に基づいて利用者の属性を解析するように構成され、
前記判断部は、前記解析部が解析した前記利用者の属性及び行動に基づいて、前記第二コンテンツの表示の有効性を判断する付記1から付記5の何れか1項に記載の表示システム。
(付記7)
前記第二コンテンツ表示装置に記憶されている前記第二コンテンツの情報は、対象とする利用者の属性情報を含み、
前記判断部は、前記対象とする利用者の属性情報に基づいて、前記第二コンテンツの表示の有効性を判断する付記6に記載の表示システム。
(付記8)
前記コンテンツサーバは、
前記判断部において判断された有効性の判断結果を外部サーバへ出力する出力部を更に備える付記1から付記7の何れか1項に記載の表示システム。
(付記9)
施設内における第一位置において利用者に対して表示され、利用者による所定の行動を誘導するための第一コンテンツの有効性を判断する情報処理装置であって、
少なくとも1つのプロセッサと、
少なくとも1つのプログラムが格納されたメモリと、を備え、
前記少なくとも1つのプロセッサは、前記少なくとも1つのプログラムを実行することにより、
前記第一位置の周辺の前記利用者を撮像した第一画像データ及び前記施設内における前記第一位置とは異なる第二位置の周辺の前記利用者を撮像した第二画像データを取得する取得処理と、
前記第一画像データ及び前記第二画像データに基づいて前記利用者の行動を解析する解析処理と、
前記解析処理によって解析された前記利用者の行動に基づいて前記第一コンテンツの表示の有効性を判断する判断処理と、
を実行するように構成される情報処理装置。
(付記10)
施設内における第一位置において利用者に対して表示され、利用者による所定の行動を誘導するための第一コンテンツの有効性を評価する評価方法であって、
前記第一位置の周辺の前記利用者を撮像した第一画像データ及び前記施設内における前記第一位置とは異なる第二位置の周辺の前記利用者を撮像した第二画像データを取得する取得ステップと、
前記第一画像データ及び前記第二画像データに基づいて前記利用者の行動を解析する解析ステップと、
前記解析ステップによって解析された前記利用者の行動に基づいて前記第一コンテンツの表示の有効性を判断する判断ステップと、
を備える評価方法。
(付記11)
施設内における第一位置において利用者に対して表示され、利用者による行動を誘導するための第一コンテンツの有効性を判断することをコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記プログラムは、
前記第一位置の周辺の前記利用者を撮像した第一画像データ及び前記施設内における前記第一位置とは異なる第二位置の周辺の前記利用者を撮像した第二画像データを取得し、
前記第一画像データ及び前記第二画像データに基づいて前記利用者の行動を解析し、
解析された前記利用者の行動に基づいて前記第一コンテンツの表示の有効性を判断する
ことをコンピュータに実行させる
ように構成されるコンピュータ読み取り可能な記録媒体。
【符号の説明】
【0068】
4,6 外部サーバ、 8 通信ネットワーク、 10 第一コンテンツ表示装置、 12 第一撮像装置、 20,20a,20b 第二コンテンツ表示装置、 22,22a,22b 第二撮像装置、 30 コンテンツサーバ、 40 プロセッサ、 41 取得部、 42 解析部、 43 判断部、 44 代替コンテンツ生成部、 45 出力部、 46 モデル学習部、 47 反映部、 50 メモリ、 52 プログラム、 54 学習済モデル記憶部、 60 データ、 70 専用ハードウェア、 72 処理回路、 100 表示システム、 442 データ取得部、 444 推論部、 462 データ取得部、 464 モデル生成部
【手続補正書】
【提出日】2023-11-27
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
利用者による所定の行動を誘導するための第一コンテンツを施設内における第一位置に表示する第一コンテンツ表示装置と、
前記第一位置の周辺の前記利用者を撮像した第一画像データを出力する第一撮像装置と、
前記施設内における前記第一位置とは異なる第二位置の周辺の前記利用者を撮像した第二画像データを出力する第二撮像装置と、
前記第一画像データ及び前記第二画像データに基づいて前記利用者の行動を解析する解析部と、前記解析部が解析した前記利用者の行動に基づいて前記第一コンテンツの表示の有効性を判断する判断部と、前記判断部が前記第一コンテンツの表示が有効でないと判断した場合、前記第一コンテンツに代えて前記第一位置に表示する代替コンテンツを生成する代替コンテンツ生成部と、を有するコンテンツサーバと、
を備え、
前記第一コンテンツ、前記第一画像データ及び前記第二画像データと、前記代替コンテンツとの関係を学習することによって予め生成された学習済モデルを含み、
前記代替コンテンツ生成部は、
前記第一コンテンツ、前記第一画像データ及び前記第二画像データを取得するデータ取得部と、
前記学習済モデルを用いて、前記データ取得部により取得された前記第一画像データ、前記第二画像データ及び前記第一コンテンツに基づいて前記代替コンテンツを出力する推論部と、を含む表示システム。
【請求項2】
前記解析部は、
前記第一画像データ及び前記第二画像データの少なくとも一方又は両方に基づいて利用者の属性をさらに解析するように構成され、
前記判断部は、前記解析部が解析した前記利用者の属性及び行動に基づいて、前記第一コンテンツの表示の有効性を判断する
ように構成される請求項1に記載の表示システム。
【請求項3】
前記第一コンテンツ表示装置に記憶されている前記第一コンテンツの情報は、対象とする利用者の属性情報を含み、
前記判断部は、前記対象とする利用者の属性情報に基づいて、前記第一コンテンツの表示の有効性を判断する
ように構成される請求項2に記載の表示システム。
【請求項4】
前記コンテンツサーバは、
前記判断部において判断された有効性の判断結果を外部サーバへ出力する出力部を更に備える請求項1から請求項3の何れか1項に記載の表示システム。
【請求項5】
利用者による所定の行動を誘導するための第一コンテンツを施設内における第一位置に表示する第一コンテンツ表示装置と、
前記第一位置の周辺の前記利用者を撮像した第一画像データを出力する第一撮像装置と、
前記施設内における前記第一位置とは異なる第二位置の周辺の前記利用者を撮像した第二画像データを出力する第二撮像装置と、
前記第一画像データ及び前記第二画像データに基づいて前記利用者の行動を解析する解析部と、前記解析部が解析した前記利用者の行動に基づいて前記第一コンテンツの表示の有効性を判断する判断部と、を有するコンテンツサーバと、
前記利用者による所定の行動を誘導するための第二コンテンツを前記第二位置に表示する第二コンテンツ表示装置と、を備え、
前記解析部は、
前記第一画像データ及び前記第二画像データの少なくとも一方又は両方に基づいて利用者の属性を解析するように構成され、
前記判断部は、前記解析部が解析した前記利用者の属性及び行動に基づいて、前記第二コンテンツの表示の有効性を判断するように構成される表示システム。
【請求項6】
前記コンテンツサーバは、
前記判断部が前記第一コンテンツの表示が有効でないと判断した場合、前記第一コンテンツに代えて前記第一位置に表示する代替コンテンツを生成する代替コンテンツ生成部を更に備える
請求項5に記載の表示システム。
【請求項7】
前記第二コンテンツ表示装置に記憶されている前記第二コンテンツの情報は、対象とする利用者の属性情報を含み、
前記判断部は、前記対象とする利用者の属性情報に基づいて、前記第二コンテンツの表示の有効性を判断する請求項5に記載の表示システム。
【請求項8】
前記コンテンツサーバは、
前記判断部において判断された有効性の判断結果を外部サーバへ出力する出力部を更に備える請求項5から請求項7の何れか1項に記載の表示システム。
【請求項9】
施設内における第一位置において利用者に対して表示され、利用者による所定の行動を誘導するための第一コンテンツの有効性を判断する情報処理装置であって、
少なくとも1つのプロセッサと、
少なくとも1つのプログラムが格納されたメモリと、を備え、
前記少なくとも1つのプロセッサは、前記少なくとも1つのプログラムを実行することにより、
前記第一位置の周辺の前記利用者を撮像した第一画像データ及び前記施設内における前記第一位置とは異なる第二位置の周辺の前記利用者を撮像した第二画像データを取得する取得処理と、
前記第一画像データ及び前記第二画像データに基づいて前記利用者の行動を解析する解析処理と、
前記解析処理によって解析された前記利用者の行動に基づいて前記第一コンテンツの表示の有効性を判断する判断処理と、
前記判断処理において前記第一コンテンツの表示が有効でないと判断された場合、前記第一コンテンツに代えて前記第一位置に表示する代替コンテンツを生成する代替コンテンツ生成処理と、
を実行するように構成され、
前記代替コンテンツ生成処理は、
前記第一コンテンツ、前記第一画像データ及び前記第二画像データを取得する処理と、
前記第一コンテンツ、前記第一画像データ及び前記第二画像データと、前記代替コンテンツとの関係を学習することによって予め生成された学習済モデルを用いて、取得された前記第一画像データ、前記第二画像データ及び前記第一コンテンツに基づいて前記代替コンテンツを出力する処理と、を含む情報処理装置。
【請求項10】
施設内における第一位置において利用者に対して表示され、利用者による所定の行動を誘導するための第一コンテンツの有効性を判断する情報処理装置であって、
少なくとも1つのプロセッサと、
少なくとも1つのプログラムが格納されたメモリと、を備え、
前記少なくとも1つのプロセッサは、前記少なくとも1つのプログラムを実行することにより、
前記第一コンテンツが表示された前記第一位置の周辺の前記利用者を撮像した第一画像データ及び前記施設内における前記第一位置とは異なる位置であり、前記利用者による所定の行動を誘導するための第二コンテンツが表示された第二位置の周辺の前記利用者を撮像した第二画像データを取得する取得処理と、
前記第一画像データ及び前記第二画像データに基づいて前記利用者の行動を解析する解析処理と、
前記解析処理によって解析された前記利用者の行動に基づいて前記第一コンテンツの表示の有効性を判断する判断処理と、
を実行するように構成され、
前記解析処理は、
前記第一画像データ及び前記第二画像データの少なくとも一方又は両方に基づいて利用者の属性を解析するように構成され、
前記判断処理は、前記解析処理によって解析された前記利用者の属性及び行動に基づいて、前記第二コンテンツの表示の有効性を判断するように構成される情報処理装置。
【請求項11】
コンピュータによって実行され、施設内における第一位置において利用者に対して表示され、利用者による所定の行動を誘導するための第一コンテンツの有効性を評価する評価方法であって、
前記第一位置の周辺の前記利用者を撮像した第一画像データ及び前記施設内における前記第一位置とは異なる第二位置の周辺の前記利用者を撮像した第二画像データを取得する取得ステップと、
前記第一画像データ及び前記第二画像データに基づいて前記利用者の行動を解析する解析ステップと、
前記解析ステップによって解析された前記利用者の行動に基づいて前記第一コンテンツの表示の有効性を判断する判断ステップと、
前記判断ステップにおいて前記第一コンテンツの表示が有効でないと判断した場合、前記第一コンテンツに代えて前記第一位置に表示する代替コンテンツを生成する代替コンテンツ生成ステップと、を備え、
前記代替コンテンツ生成ステップは、
前記第一コンテンツ、前記第一画像データ及び前記第二画像データを取得するステップと、前記第一コンテンツ、前記第一画像データ及び前記第二画像データと、前記代替コンテンツとの関係を学習することによって予め生成された学習済モデルを用いて、取得した前記第一画像データ、前記第二画像データ及び前記第一コンテンツに基づいて前記代替コンテンツを出力するステップと、を含む評価方法。
【請求項12】
コンピュータによって実行され、施設内における第一位置において利用者に対して表示され、利用者による所定の行動を誘導するための第一コンテンツの有効性を評価する評価方法であって、
前記第一位置の周辺の前記利用者を撮像した第一画像データ及び前記施設内における前記第一位置とは異なる第二位置の周辺の前記利用者を撮像した第二画像データを取得する取得ステップと、
前記第一画像データ及び前記第二画像データに基づいて前記利用者の行動を解析する解析ステップと、
前記解析ステップによって解析された前記利用者の行動に基づいて前記第一コンテンツの表示の有効性を判断する判断ステップと、
前記利用者による所定の行動を誘導するための第二コンテンツを前記第二位置に表示するステップと、を備え、
前記解析ステップは、
前記第一画像データ及び前記第二画像データの少なくとも一方又は両方に基づいて利用者の属性を解析するように構成され、
前記判断ステップは、前記解析ステップにおいて解析した前記利用者の属性及び行動に基づいて、前記第二コンテンツの表示の有効性を判断するように構成される評価方法。
【請求項13】
施設内における第一位置において利用者に対して表示され、利用者による所定の行動を誘導するための第一コンテンツの有効性を判断することをコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記プログラムは、
前記第一位置の周辺の前記利用者を撮像した第一画像データ及び前記施設内における前記第一位置とは異なる第二位置の周辺の前記利用者を撮像した第二画像データを取得し、
前記第一画像データ及び前記第二画像データに基づいて前記利用者の行動を解析し、
解析された前記利用者の行動に基づいて前記第一コンテンツの表示の有効性を判断し、
前記第一コンテンツの表示が有効でないと判断した場合、前記第一コンテンツ、前記第一画像データ及び前記第二画像データを取得し、前記第一コンテンツ、前記第一画像データ及び前記第二画像データと、前記第一コンテンツに代えて前記第一位置に表示する代替コンテンツとの関係を学習することによって予め生成された学習済モデルを用いて、取得された前記第一画像データ、前記第二画像データ及び前記第一コンテンツに基づいて、前記代替コンテンツを生成する
ことをコンピュータに実行させる
ように構成されるコンピュータ読み取り可能な記録媒体。
【請求項14】
施設内における第一位置において利用者に対して表示され、利用者による所定の行動を誘導するための第一コンテンツの有効性を判断することをコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記プログラムは、
前記第一位置の周辺の前記利用者を撮像した第一画像データ及び前記施設内における前記第一位置とは異なる第二位置の周辺の前記利用者を撮像した第二画像データを取得し、
前記第一画像データ及び前記第二画像データに基づいて前記利用者の行動を解析し、
解析された前記利用者の行動に基づいて前記第一コンテンツの表示の有効性を判断し、 前記利用者による所定の行動を誘導するための第二コンテンツを前記第二位置に表示し、
前記第一画像データ及び前記第二画像データの少なくとも一方又は両方に基づいて利用者の属性を解析し、
解析した前記利用者の属性及び行動に基づいて、前記第二コンテンツの表示の有効性を判断する
ことをコンピュータに実行させる
ように構成されるコンピュータ読み取り可能な記録媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0006
【補正方法】変更
【補正の内容】
【0006】
本開示の表示システムは、利用者による所定の行動を誘導するための第一コンテンツを施設内における第一位置に表示する第一コンテンツ表示装置と、第一位置の周辺の利用者を撮像した第一画像データを出力する第一撮像装置と、施設内における第一位置とは異なる第二位置の周辺の利用者を撮像した第二画像データを出力する第二撮像装置と、第一画像データ及び第二画像データに基づいて利用者の行動を解析する解析部と、解析部が解析した利用者の行動に基づいて第一コンテンツの表示の有効性を判断する判断部と、判断部が第一コンテンツの表示が有効でないと判断した場合、第一コンテンツに代えて第一位置に表示する代替コンテンツを生成する代替コンテンツ生成部と、を有するコンテンツサーバと、を備え、第一コンテンツ、第一画像データ及び第二画像データと、代替コンテンツとの関係を学習することによって予め生成された学習済モデルを含み、代替コンテンツ生成部は、第一コンテンツ、第一画像データ及び第二画像データを取得するデータ取得部と、学習済モデルを用いて、データ取得部により取得された第一画像データ、第二画像データ及び第一コンテンツに基づいて代替コンテンツを出力する推論部と、を含むものである。
また、本開示の表示システムは、利用者による所定の行動を誘導するための第一コンテンツを施設内における第一位置に表示する第一コンテンツ表示装置と、第一位置の周辺の利用者を撮像した第一画像データを出力する第一撮像装置と、施設内における第一位置とは異なる第二位置の周辺の利用者を撮像した第二画像データを出力する第二撮像装置と、第一画像データ及び第二画像データに基づいて利用者の行動を解析する解析部と、解析部が解析した利用者の行動に基づいて第一コンテンツの表示の有効性を判断する判断部と、を有するコンテンツサーバと、利用者による所定の行動を誘導するための第二コンテンツを第二位置に表示する第二コンテンツ表示装置と、を備え、解析部は、第一画像データ及び第二画像データの少なくとも一方又は両方に基づいて利用者の属性を解析するように構成され、判断部は、解析部が解析した利用者の属性及び行動に基づいて、第二コンテンツの表示の有効性を判断するように構成されるものである。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】変更
【補正の内容】
【0007】
また、本開示の情報処理装置は、施設内における第一位置において利用者に対して表示され、利用者による所定の行動を誘導するための第一コンテンツの有効性を判断する情報処理装置であって、少なくとも1つのプロセッサと、少なくとも1つのプログラムが格納されたメモリと、を備え、少なくとも1つのプロセッサは、少なくとも1つのプログラムを実行することにより、第一位置の周辺の利用者を撮像した第一画像データ及び施設内における第一位置とは異なる第二位置の周辺の利用者を撮像した第二画像データを取得する取得処理と、第一画像データ及び第二画像データに基づいて利用者の行動を解析する解析処理と、解析処理によって解析された利用者の行動に基づいて第一コンテンツの表示の有効性を判断する判断処理と、判断処理において第一コンテンツの表示が有効でないと判断された場合、第一コンテンツに代えて第一位置に表示する代替コンテンツを生成する代替コンテンツ生成処理と、を実行するように構成され、代替コンテンツ生成処理は、第一コンテンツ、第一画像データ及び第二画像データを取得する処理と、第一コンテンツ、第一画像データ及び第二画像データと、代替コンテンツとの関係を学習することによって予め生成された学習済モデルを用いて、取得された第一画像データ、第二画像データ及び第一コンテンツに基づいて代替コンテンツを出力する処理と、を含むものである。
また、本開示の情報処理装置は、施設内における第一位置において利用者に対して表示され、利用者による所定の行動を誘導するための第一コンテンツの有効性を判断する情報処理装置であって、少なくとも1つのプロセッサと、少なくとも1つのプログラムが格納されたメモリと、を備え、少なくとも1つのプロセッサは、少なくとも1つのプログラムを実行することにより、第一コンテンツが表示された第一位置の周辺の利用者を撮像した第一画像データ及び施設内における第一位置とは異なる位置であり、利用者による所定の行動を誘導するための第二コンテンツが表示された第二位置の周辺の利用者を撮像した第二画像データを取得する取得処理と、第一画像データ及び第二画像データに基づいて利用者の行動を解析する解析処理と、解析処理によって解析された利用者の行動に基づいて第一コンテンツの表示の有効性を判断する判断処理と、を実行するように構成され、解析処理は、第一画像データ及び第二画像データの少なくとも一方又は両方に基づいて利用者の属性を解析するように構成され、判断処理は、解析処理によって解析された利用者の属性及び行動に基づいて、第二コンテンツの表示の有効性を判断するように構成されるものである。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0008
【補正方法】変更
【補正の内容】
【0008】
また、本開示の評価方法は、コンピュータによって実行され、施設内における第一位置において利用者に対して表示され、利用者による所定の行動を誘導するための第一コンテンツの有効性を評価する評価方法であって、第一位置の周辺の利用者を撮像した第一画像データ及び施設内における第一位置とは異なる第二位置の周辺の利用者を撮像した第二画像データを取得する取得ステップと、第一画像データ及び第二画像データに基づいて利用者の行動を解析する解析ステップと、解析ステップによって解析された利用者の行動に基づいて第一コンテンツの表示の有効性を判断する判断ステップと、判断ステップにおいて第一コンテンツの表示が有効でないと判断した場合、第一コンテンツに代えて第一位置に表示する代替コンテンツを生成する代替コンテンツ生成ステップと、を備え、代替コンテンツ生成ステップは、第一コンテンツ、第一画像データ及び第二画像データを取得するステップと、第一コンテンツ、第一画像データ及び第二画像データと、代替コンテンツとの関係を学習することによって予め生成された学習済モデルを用いて、取得した第一画像データ、第二画像データ及び第一コンテンツに基づいて代替コンテンツを出力するステップと、を含むものである。
また、本開示の評価方法は、コンピュータによって実行され、施設内における第一位置において利用者に対して表示され、利用者による所定の行動を誘導するための第一コンテンツの有効性を評価する評価方法であって、第一位置の周辺の利用者を撮像した第一画像データ及び施設内における第一位置とは異なる第二位置の周辺の利用者を撮像した第二画像データを取得する取得ステップと、第一画像データ及び第二画像データに基づいて利用者の行動を解析する解析ステップと、解析ステップによって解析された利用者の行動に基づいて第一コンテンツの表示の有効性を判断する判断ステップと、利用者による所定の行動を誘導するための第二コンテンツを第二位置に表示するステップと、を備え、解析ステップは、第一画像データ及び第二画像データの少なくとも一方又は両方に基づいて利用者の属性を解析するように構成され、判断ステップは、解析ステップにおいて解析した利用者の属性及び行動に基づいて、第二コンテンツの表示の有効性を判断するように構成されるものである。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0009
【補正方法】変更
【補正の内容】
【0009】
さらに、本開示のコンピュータ読み取り可能な記録媒体は、施設内における第一位置において利用者に対して表示され、利用者による所定の行動を誘導するための第一コンテンツの有効性を判断することをコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、プログラムは、第一位置の周辺の利用者を撮像した第一画像データ及び施設内における第一位置とは異なる第二位置の周辺の利用者を撮像した第二画像データを取得し、第一画像データ及び第二画像データに基づいて利用者の行動を解析し、解析された利用者の行動に基づいて第一コンテンツの表示の有効性を判断し、第一コンテンツの表示が有効でないと判断した場合、第一コンテンツ、第一画像データ及び第二画像データを取得し、第一コンテンツ、第一画像データ及び第二画像データと、第一コンテンツに代えて第一位置に表示する代替コンテンツとの関係を学習することによって予め生成された学習済モデルを用いて、取得された第一画像データ、第二画像データ及び第一コンテンツに基づいて、代替コンテンツを生成することをコンピュータに実行させるように構成されるものである。
また、本開示のコンピュータ読み取り可能な記録媒体は、施設内における第一位置において利用者に対して表示され、利用者による所定の行動を誘導するための第一コンテンツの有効性を判断することをコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、プログラムは、第一位置の周辺の利用者を撮像した第一画像データ及び施設内における第一位置とは異なる第二位置の周辺の利用者を撮像した第二画像データを取得し、第一画像データ及び第二画像データに基づいて利用者の行動を解析し、解析された利用者の行動に基づいて第一コンテンツの表示の有効性を判断し、利用者による所定の行動を誘導するための第二コンテンツを第二位置に表示し、第一画像データ及び第二画像データの少なくとも一方又は両方に基づいて利用者の属性を解析し、解析した利用者の属性及び行動に基づいて、第二コンテンツの表示の有効性を判断することをコンピュータに実行させるように構成されるものである。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0020
【補正方法】変更
【補正の内容】
【0020】
コンテンツサーバ30は、第一撮像装置12及び第二撮像装置22によって定期的に撮像された画像データを受信する。この処理は、以下「取得処理」と呼ばれる。コンテンツサーバ30は、取得した画像データに基づいて利用者の属性及び行動を解析することにより、属性情報と行動情報を得る。この処理は、以下「解析処理」と呼ばれる。ここでの属性情報は、利用者の性別、年齢等、が例示される。また、ここでの行動情報は、利用者の位置、滞在時間、移動方向、等が例示される。解析処理では、例えばPerson Re-Identificationと呼ばれる追跡処理の技術が利用される。追跡処理の一例については説明を後述する。なお、ここでは、コンテンツサーバ30が、取得した画像データに基づいて利用者の属性及び行動を解析するものである場合を例示しているが、利用者の行動を解析する機能のみを有するものであってもよい。