【文献】
永田 英一、外1名,MIYUKA誘導AGVについて,流通ネットワーキング,日本,日本工業出版(株),2015年11月10日,通巻292号,p.6−9
(58)【調査した分野】(Int.Cl.,DB名)
複数の対象施設の各々について、対象施設の識別情報と、対象施設に設置され且つ対象施設毎に異なる模様を有するマットの模様の特徴点データと、を紐付けて記憶する記憶手段と、
撮像手段で撮像された撮像画像から第1の制御手段によって生成された特徴点データと、前記記憶手段に記憶されている各マットの模様の特徴点データとを比較することで、前記撮像画像にいずれかのマットが含まれているか否かを判断し、含まれていると判断したときは、前記記憶手段から、前記撮像画像に含まれていると判断されたマットの模様の特徴点データと紐づけられている、対象施設の識別情報を取得する第2の制御手段と、を含み、
前記記憶手段に記憶されている各マットの模様の特徴点データは、各マットの模様の設計画像から生成されている、
施設特定装置。
各設計画像は、前記第1の制御手段による特徴点の抽出が所定の特徴点抽出アルゴリズムを利用して行われる場合に、特徴点として抽出される部分を所定個数以上有するようにデザインされている、
請求項1から8のいずれか1項に記載の施設特定装置。
前記第2の制御手段は、前記第1の制御手段によって生成された特徴点データと、前記記憶手段に記憶されている各マットの模様の特徴点データとを比較してそれぞれ一致度を求め、所定一致度以上の一致度を有する特徴点データのうち最も高い一致度を有する特徴点データと紐づけられている、対象施設の識別情報を取得する、
請求項1から11のいずれか1項に記載の施設特定装置。
【発明を実施するための形態】
【0010】
本発明の実施の形態に係る施設特定装置について図面を参照して説明する。
【0011】
(実施の形態1)
1.構成
図1は、実施の形態1に係る情報検索システムの構成図である。
【0012】
本実施の形態の情報検索システムは、携帯型電子機器10と、サーバ20とを含む。携帯型電子機器10とサーバ20とは、インターネット等のネットワークを介して接続される。本実施の形態では、本発明に係る施設特定装置を携帯型電子機器10に適用した例を説明する。
【0013】
1−1.携帯型電子機器の構成
図2は、携帯型電子機器10の外観図である。
【0014】
携帯型電子機器10の外面には、表示部11、カメラ12、及び操作部13が備えられている。表示部11の表面には、タッチパネル14が備えられている。本実施の形態では、一例として、携帯型電子機器10がスマートフォンである場合を示している。
【0015】
図3は、携帯型電子機器10の構成を示したブロック図である。
【0016】
携帯型電子機器10は、上記の表示部11、カメラ12、操作部13及びタッチパネル14に加え、中央演算処理装置15(以後、適宜「CPU15」という)、リードオンリメモリ16(以後、適宜「ROM16」という)、ランダムアクセスメモリ17(以後、適宜「RAM17」という)、及び通信インタフェース18(以後、適宜「通信I/F18」という)を備える。
【0018】
ROM16は、CPU15で演算処理されるプログラムや種々のデータを記憶する。
【0019】
RAM17は、CPU15がプログラムを実行する際、プログラムやデータ等を一時的に記憶する。
【0020】
表示部11は、CPU15から出力される表示用の画像データに基づく画像を表示する。表示部11は、例えば液晶ディスプレイパネルや有機ELディスプレイパネルである。
【0021】
操作部13は、複数のボタンを有する。ボタンは、例えば押しボタン式のスイッチであり、機能選択や機能実行の指示を行うことができる。
【0022】
タッチパネル14は、平面状のポインティングデバイスである。タッチパネル14は、表示部11の表示面に重ねて設けられ、ユーザによりタッチされた位置を示す信号を出力する。
【0023】
カメラ12は、被写体を撮像して画像データを生成する。
【0024】
通信I/F18は、サーバ20等の外部機器との間で通信を行うためのインタフェースである。通信I/F18は、例えば、IEEE等で規定された種々の通信規格に基づいて通信を行う。
【0025】
図4は、携帯型電子機器10のROM16に記憶されているデータを示した図である。
【0026】
ROM16には、プログラムや種々のデータとして、オペレーティングシステム31(以後、適宜「OS31」という)、アプリケーションプログラム32、特徴点データベース33(以後、適宜「特徴点DB33」という)が記憶されている。
【0027】
1−2.サーバの構成
図5は、サーバ20の構成を示したブロック図である。
【0028】
サーバ20は、中央演算処理装置21(以後、適宜「CPU21」という)、ハードディスクドライブ22(以後、適宜「HDD22」という)、ランダムアクセスメモリ23(以後、適宜「RAM23」という)、及び通信インタフェース24(以後、適宜「通信I/F24」という)を備える。
【0030】
HDD22は、CPU21で演算処理されるプログラム及び種々のデータを記憶する。なお、ハードディスクドライブに代えて、ソリッドステートドライブ(SSD)を設け、同じデータを記憶させてもよい。
【0031】
RAM23は、CPU21がプログラムを実行する際、プログラムやデータ等を一時的に記憶する。
【0032】
図6は、サーバ20のHDD22に記憶されているデータを示した図である。
【0033】
HDD22には、プログラムや種々のデータとして、オペレーティングシステム41(以下、適宜「OS41」という)、アプリケーションプログラム42、特徴点データベース43(以後、適宜「特徴点DB43」という)、及び店舗情報データベース44(以後、適宜「店舗情報DB44」という)が記憶されている。なお、特徴点DB43は、実施の形態1、2において、携帯型電子機器10のROM16に記憶されている特徴点DB33のマスターとなる。また、店舗情報DB44は、実施の形態2において、携帯型電子機器10のROM16に記憶されている店舗情報DB34のマスターとなるデータベースである。
【0034】
図7は、サーバ20のHDD22に記憶されている店舗情報DB44の構成を示した図である。
【0035】
店舗情報DB44は、店舗の名称に紐付けて、販促情報(販売促進情報)、位置情報、及び階数情報を記憶(格納)している。「店舗」は、本発明における対象施設の一例である。店舗の名称は、本発明における対象施設の識別情報の一例である。販促情報は、例えばその店舗におけるバーゲンセール等の情報である。位置情報は、例えばその店舗においてマットMが設置された位置の緯度、経度等を示す情報である。階数情報は、当該店舗がデパート、ショッピングモール等の複数階を有する建物内に存在している場合に、当該店舗が存在するフロア(階数)に関する情報である。これらの情報は、情報検索システムの管理者により登録される。
【0036】
図8は、サーバ20のHDD22に記憶されている特徴点DB43の構成を示した図である。
【0037】
特徴点DB43は、各店舗の名称に紐付けて、店舗の入口に配置されたマットの模様の特徴点データを記憶している。特徴点データは、マットの模様の設計画像から生成されている。具体的に、特徴点データは、所定の特徴点抽出アルゴリズムを用いてマットの模様の設計画像から抽出された複数個の特徴点に関する特徴量等の情報を含むデータである。特徴点データは、例えば、本システムの管理主体により生成され、特徴点DB43に登録される。所定の特徴点抽出アルゴリズムは、任意のアルゴリズムで良く、公知のアルゴリズムを利用できる。なお、所定の特徴点抽出アルゴリズムは、後述するように、カメラ12の撮像画像から特徴点を抽出する際に用いる特徴点抽出アルゴリズムと同じアルゴリズムとすることが好ましい。
【0038】
図9は、マットの模様の設計画像の一例を示した図である。
図10(a)は、マットの構造を模式的に示した図である。
【0039】
図10(a)では、本実施の形態で用いられるマットMの一例として、一定間隔で植設された複数のパイルPiを有するパイルマットを示している。複数のパイルPiは、例えば2.5ミリメートル間隔で、1センチメートル当たり4本、1平方センチメートル当たり16本植設されている。なお、植設間隔は上記以外の間隔でももちろんよいが、例えばパイルが太くなり植設間隔が大きくなると、模様にがたつきが生じるとともに、特徴点として検出させることが可能な部分が減少することとなる。また、
図10(a)では、複数のパイルPiが均一に植設されている例を示したが、本発明は、パイルマットが、パイルが植設されない歯抜け状の部分を有する場合にも適用できる。また、
図10(a)では、各パイルがループパイルである例を示しているが、本発明は、各パイルがカットパイルである場合にも適用できる。なお、使用中におけるパイルの倒れ等による模様の変化による影響を少なくするために、パイル目付量は100g/平方メートル以上とすることが好ましい。
【0040】
図10(b)は、
図9のX9部分の拡大図である。
【0041】
図10(b)に示すように、設計画像は、複数のドットDoを有するビットマップ形式の画像である。設計画像において、複数のドットDoの各々は、複数のパイルPiの各々と1対1で対応している。なお、上述したような歯抜け状の部分を有するパイルマットの設計画像では、パイルが植設されない部分は、例えば、パイルが植設される基材の上面の色と同じ色のドットで示される。
【0042】
図11は、
図9の設計画像に対して特徴点抽出処理を施して抽出された特徴点を重畳表示した図である。
【0043】
図11では、所定の特徴点抽出アルゴリズムを利用して抽出された特徴点を○で示している。
図11では、所定の特徴点抽出アルゴリズムとして、色や濃淡の相違により形成される模様の角部、閉鎖部、直線部等を特徴点として抽出するアルゴリズムを用いた例を示している。なお、画像から特徴点を抽出するアルゴリズムとしては、KAZE、ORB、AKAZE、MSER、GFTT、BRISK、FAST等、種々存在する。本発明では所定の特徴点抽出アルゴリズムとしてどのようなアルゴリズムを用いてもよい。なお、利用する特徴点抽出アルゴリズムによって抽出される特徴点は異なってくるため、設計画像から特徴点を抽出する際に用いるアルゴリズムと、撮像画像から特徴点を抽出する際に用いるアルゴリズムとを同じものとすることが好ましい。
【0044】
また、本実施の形態では、マットの模様の設計画像を、所定の特徴点抽出アルゴリズムを利用して特徴点の抽出を行うことを前提として作成している。例えば、利用する特徴点抽出アルゴリズムが、上述のような、色や濃淡の相違により形成される模様の角部、閉鎖部、直線部等を特徴点として抽出するアルゴリズムである場合、マットの模様が、角部、閉鎖部、直線部等のうち少なくとも1つ以上の要素を含むようにデザインしている。また、特徴点として抽出される上記のような部分を所定個数以上有するようにマットの模様をデザインしている。所定個数は例えば2個である。1個だけであると、特徴点間の位置関係に基づく比較を適切に行うことができないため、2個以上とするものである。なお、撮像画像に含まれるマットでは、マットの輪郭に関する角部や直線部が特徴点として検出されるが、上記の所定個数には、マットの輪郭に関して検出される特徴点の個数を含まない。所定個数を大きくすれば、比較に用いる特徴点が増加してマットの特定精度を向上させることができるが、処理の時間は長くなる。
【0045】
図9の設計画像は、文字「A」を毛筆体風にデザインした模様を有しているが、所定の特徴点抽出アルゴリズムを用いて特徴点を抽出することを考慮して、矢印Ca、Cbで示す、はらいの部分を切り落とし、それぞれ2つの角部が形成されるように書体を修正している。はらいの部分は一般に徐々に細くなり先端が丸みをおびるが、本実施の形態では、特徴点として抽出されるように、はらいの部分を切り落とし、意図的に角部を形成したものである。
【0046】
図12は、マットの模様として適切でない模様の一例を示した図である。
【0047】
図12では、マットの模様に、所定のアルゴリズムとして、色や濃淡の相違により形成される模様の角部、閉鎖部、直線部等を特徴点として抽出するアルゴリズムを用いて抽出した特徴点を重畳表示している。
図12に示す設計画像は、文字「u」を毛筆体風にデザインした模様を有しているが、角部が1個しか含まれていないため、上記のアルゴリズムで検出される特徴点は1個だけである。検出される特徴点が1個だけでは特徴点間の位置関係に基づく比較が考慮されなくなり、誤判定が増加するため、
図12の模様は適切でない。これを適切な模様とするためには、例えば、
図9の文字「A」の場合のように、文字「u」のはらいの部分を切り落とし、それぞれ2つの角部が形成されるように書体を修正すればよい。このようにデザインすることにより、特徴点として抽出可能な2つの角部が形成されることとなる。
【0048】
2.動作
2−1.携帯型電子機器の動作
図13は、携帯型電子機器10の動作の一例を示したフローチャートである。このフローチャートに基づく動作は、携帯型電子機器10のROM16に記憶されているアプリケーションプログラム32が例えば利用者により起動されてCPU15で実行されることにより、実現される。
【0049】
アプリケーションプログラム32が起動されると、携帯型電子機器10のCPU15は、特徴点DB33の更新処理を行う(S20)。具体的に、携帯型電子機器10のCPU15は、通信I/F18を介してサーバ20と通信を行って、サーバ20に記憶されている特徴点DB43のバージョンと、携帯型電子機器10のROM16に記憶されている特徴点DB33のバージョンとを比較し、携帯型電子機器10側の特徴点DB33のバージョンの方が古い場合は、サーバ20に記憶されている特徴点DB43をダウンロードして特徴点DB33の内容を更新する。これにより、携帯型電子機器10側の特徴点DB33が最新のバージョンで維持される。
【0050】
携帯型電子機器10のCPU15は、カメラ12を利用して画像が撮像されたか否かを判断する(S21)。
【0051】
カメラ12を利用して画像が撮像されていない場合(S21でNO)、携帯型電子機器10のCPU15は、ステップS21の判断を再度実行する。
【0052】
カメラ12を利用して画像が撮像された場合(S21でYES)、携帯型電子機器10のCPU15は、カメラ12で撮像された画像(撮像画像)から特徴点を抽出する処理を行って、特徴点データを生成する(S22)。
【0053】
携帯型電子機器10のCPU15は、カメラ12で撮像された画像(撮像画像)から生成された特徴点データと、特徴点DB33に記憶されている各特徴点データとを比較し、各特徴点データについて一致度を求める(S23)。比較は、例えば、公知の特徴ベースマッチングの手法(SIFT, SURF, ORB 等)を用いて行うことができる。例えば、携帯型電子機器10のCPU15は、設計画像から生成され特徴点DB33に記憶されている各対象施設のマットの模様の特徴点データの各々について、撮像画像から生成された特徴点データと照合し、撮像画像から生成された特徴点データに含まれる特徴点に関し、設計画像から生成された特徴点データに含まれる特徴点群と配置や色が最も近い(一致または類似する)特徴点群を探索する。そして、各特徴点データについて、探索した結果最も近い色や位置関係を有する特徴点群について、位置関係の相違量や色の相違量を定量的に評価することで一致度を求める。一致度は、両者の類似の程度(類似度)を示す値であり、類似の程度が高いほど大きい値となる。
【0054】
携帯型電子機器10のCPU15は、特徴点DB33に記憶されている特徴点データの中に、所定一致度(所定類似度)以上の一致度を有する特徴点データが存在するか否かを判断する(S24)。所定一致度は、例えば、比較される両者がほぼ同一であるときの一致度に設定される。
【0055】
所定一致度以上の一致度を有する特徴点データが存在する場合(S24でYES)、携帯型電子機器10のCPU15は、最も高い一致度を有する特徴点データに紐付けられている店舗名の情報を特徴点DBから読み出す(S25)。
【0056】
ここで、ステップS22〜S25において、携帯型電子機器10のCPU15は、撮像手段(カメラ12)で撮像された撮像画像から第1の制御手段(CPU15)によって生成された特徴点データと記憶手段(ROM16(特徴点DB33)に記憶されている各マットの模様の特徴点データとを比較することで、撮像画像にいずれかのマットが含まれているか否かを判断し、含まれていると判断したときは、記憶手段から、撮像画像に含まれていると判断されたマットの模様の特徴点データと紐づけられている、対象施設(店舗)の識別情報(店舗名の情報)を取得している。なお、所定一致度以上の一致度を有する特徴点データが存在するときは、それだけで撮像画像にいずれかのマットが含まれていると判断できるが、所定一致度以上の一致度を有する特徴点データが複数存在することもある。その場合、本実施の形態では、最も高い一致度を有する特徴点データに紐付けられている対象施設(店舗)の識別情報(店舗名の情報)を取得することで信頼性をより向上させている。
【0057】
携帯型電子機器10のCPU15は、読み出した店舗名の情報を通信I/F18を介してサーバ20に送信する(S26)。
【0058】
携帯型電子機器10のCPU15は、送信した店舗名の情報に対する応答として、サーバ20から店舗情報を受信したか否かを判断する(S27)。
【0059】
サーバ20から店舗情報を受信していない場合(S27でNO)、携帯型電子機器10のCPU15は、ステップS27の判断を再度実行する。
【0060】
サーバ20から店舗情報を受信した場合(S27でYES)、携帯型電子機器10のCPU15は、受信した店舗情報を、例えば
図14に示すように、表示部11に表示させる(S28)。
【0061】
図14は、携帯型電子機器10の表示部11に表示された画像の一例を示した図である。
【0062】
携帯型電子機器10のCPU15は、例えば、サーバ20から受信した店舗情報に含まれる販促情報Jを、カメラ12で撮像した画像Gに重畳して表示部11に表示させる。
図14では、例えば、「○△ドーナツ 本日チョコドーナツ50円引き」という情報Jを表示した例を示している。なおこのとき、携帯型電子機器10のCPU15は、さらに、ステップS25で読み出した店舗名の情報(識別情報の一例)を表示部11に重畳表示させてもよい。このように重畳表示させる技術としては、公知の拡張現実ARの技術が利用可能である。
図14の例では、携帯型電子機器10は、マットMをマーカにして販促情報を表示させている。なおこのとき、携帯型電子機器10は、取得した店舗情報に含まれる位置情報及び階数情報に基づいて、現地付近の地図を表示させるとともに、地図上に当該店舗の位置を表示させてもよい。
【0063】
ステップS24の判断において所定一致度以上の一致度を有する特徴点データが存在しない場合(S24でNO)、携帯型電子機器10のCPU15は、エラー情報を表示部11に表示させる(S29)。例えば、「認識できませんでした。再度、マットを撮影してください」等の情報が表示される。所定一致度以上の一致度を有する特徴点データが存在しないと判断される理由としては、例えば、カメラ12で撮像された画像が不鮮明であることや、撮像画像中のマットが小さすぎることや、撮像画像中のマットが特徴点DB33に登録されていないこと等が挙げられる。
【0064】
ステップS28またはS29の実行後、携帯型電子機器10のCPU15は、利用者によるアプリ終了操作があったか否かを判断する(S30)。
【0065】
アプリ終了操作がない場合(S30でNO)、携帯型電子機器10のCPU15は、ステップS21の処理に戻る。
【0066】
アプリ終了操作があった場合(S30でYES)、携帯型電子機器10のCPU15は、アプリケーションプログラム32の実行を終了し、本フローチャートの処理を終了する。
【0067】
2−2.サーバの動作
図15は、サーバの動作の一例を示したフローチャートである。このフローチャートに基づく動作は、サーバ20のHDD22に記憶されているアプリケーションプログラム42がCPU21で実行されることにより、実現される。
【0068】
サーバ20のCPU21は、携帯型電子機器10から店舗名の情報を受信したか否かを判断する(S40)。
【0069】
携帯型電子機器10から店舗名の情報を受信していない場合(S40でNO)、サーバ20のCPU21は、ステップS40の判断を再度実行する。
【0070】
携帯型電子機器10から店舗名の情報を受信した場合(S40でYES)、サーバ20のCPU21は、受信した店舗名の情報に紐づけられている店舗情報(販促情報、位置情報、階数情報)を店舗情報DB44から読み出す(S41)。
【0071】
サーバ20のCPU21は、ステップS41で読み出した店舗情報(販促情報、位置情報、階数情報)を送信元の携帯型電子機器10に送信し(S42)、ステップS40の処理に戻る。
【0072】
3.作用
3−1.情報検索処理
本実施の形態に係る情報検索システムのサーバ20によれば、カメラ12で撮像された画像に複数のマットMのいずれかが含まれているときは、当該含まれているマットMが設置された店舗に関連する情報を表示部11に表示させることができる。例えばGPSを利用できないような場合でも、当該含まれているマットMが設置された店舗に関連する情報をユーザに提供することができる。
【0073】
例えば、ユーザがアプリケーションプログラム32を起動させた状態で、携帯型電子機器10で風景を撮影しながら歩いているときに、マットMが画像中に検出されると、自動的にマットMが設置された店舗に関連する情報が風景の画像に重畳されて表示されることとなる。したがって、ユーザは現在位置に関連する店舗等の情報を容易に取得することができ、ユーザの利便性が向上することとなる。
【0074】
また、本実施の形態によれば、カメラ12で撮像された画像に複数のマットMのいずれかが含まれているときは、当該含まれているマットMに基づいて、マットMの設置位置、つまりユーザの現在位置をほぼ特定することができる。したがって、例えばGPSを利用できないような場合でも、マットMの設置位置の情報に基づいて、現在位置を示す情報をユーザに提供することができる。
【0075】
3−2.店舗特定処理
特許文献1では、サーバに各店舗のマットのマスター画像が記憶されており、サーバは、携帯型電子機器から受信した撮像画像と各店舗のマットのマスター画像とを画像比較することで、マットが配置されている店舗を特定する。画像比較の処理は、コンピュータを利用したサーバにとって比較的高い負荷となるため、例えばサーバに多数の携帯型電子機器からほぼ同時期に多数の撮像画像が送信されてくると、サーバにおける画像比較の負荷が高くなり、レスポンスが低下する可能性がある。
【0076】
サーバにおける処理負荷を軽減するために、例えば、画像比較を携帯型電子機器側で行うことが考えられる。しかし、精度のよい画像比較を行うためには、できるだけ高い解像度を有するマスター画像が必要となり、マスター画像のデータ量が大きくなる。そのような大きいデータ量のマスター画像を多数の店舗分、利用者の携帯型電子機器等の比較的小さい容量の記憶手段(ROM等)に記憶させると、携帯型電子機器の記憶手段(ROM等)の容量が圧迫されるため、好ましくない。マスター画像の解像度を低下させて、携帯情報端末の記憶手段に記憶させることも考えられるが、画像の比較において誤った判断が行われ、店舗特定の精度が低下するおそれがある。
【0077】
これを解決するため、本発明では、画像比較のためのデータとして各マットの模様の特徴点データを記憶手段に記憶させる。そのため、画像比較のためのデータの容量を小さくできる。
【0078】
加えて、本発明では、各マットの模様の特徴点データを各マットの模様の設計画像から生成している。そのため、比較の基準の特徴点データの精度を高くできる。したがって、高い精度の比較を行うことが可能となる。記憶手段に記憶させる、比較の基準となるデータが例えば対象施設の管理者等により撮像装置を利用して撮像された撮像画像である場合、撮像時のピント精度、解像度、手ぶれ等によっては、マスター画像の品質が十分でない場合がある。しかし、本発明では、設計画像から特徴点を抽出して特徴点データを生成するため、上記のような撮影に伴う問題が生じない。したがって、一定の品質及び精度での比較が可能となる。
【0079】
また、本発明では、各設計画像は、ビットマップ形式の画像である、これにより、各マットの模様の特徴点データとして、精度の高い特徴量の情報を格納した特徴点データを生成することができる。特徴点の抽出元の画像が例えばJPG形式やGIF形式等の圧縮形式の画像であると、圧縮に伴うブロックノイズ等の画像ノイズにより、得られる特徴点の特徴量も精度が低下する場合がある。しかし、本実施の形態では、各設計画像は、ビットマップ形式の画像であるため、ノイズ等の影響が抑制され、精度の高い特徴量等の情報を格納した特徴点データを生成することができる。したがって、比較の精度が向上することとなる。なお、本発明では、各設計画像を、JPG形式やGIF形式等の圧縮形式の画像とすることを排除するものではない。
【0080】
また、各設計画像は、複数のパイルの各々と1対1で対応する複数のドットを有するビットマップ形式の画像であるので、各マットの模様の特徴点データとして、より一層精度の高い特徴点データを生成することができる。したがって、比較の精度がより一層向上することとなる。
【0081】
さらに、本発明では、各設計画像は、模様の特徴点として抽出される部分を所定個数以上有するようにデザインされているので、マット及びマットと紐付けられた店舗の特定精度をより一層向上させることができる。
【0082】
(実施の形態2)
実施の形態2について説明する。
【0083】
1.構成
実施の形態1では、店舗情報の検索処理をサーバ20が行うが、本実施の形態では、携帯型電子機器10が店舗情報の検索処理を行う。また、店舗情報の検索処理を携帯型電子機器10が行うため、
図16に示すように、携帯型電子機器10のROM16にも店舗情報DB34が記憶されている。なお、実施の形態1同様、サーバ20のHDD22にも店舗情報DB44(マスター)が記憶されている。以下、実施の形態1における携帯型電子機器10及びサーバ20との相違点を中心に説明する。
【0084】
2.動作
2−1.携帯型電子機器の動作
図17は、実施の形態2における携帯型電子機器10の動作の一例を示したフローチャートである。
【0085】
本実施の形態におけるフローチャートでは、実施の形態1における
図13のフローチャートのステップS20、S26、S27に代えて、ステップS20B、S26Aが設けられている。
【0086】
具体的に、ステップS20Bでは、携帯型電子機器10のCPU15は、特徴点DB33及び店舗情報DB34の更新処理を行う。具体的に、携帯型電子機器10のCPU15は、通信I/F18を介してサーバ20と通信を行って、サーバ20に記憶されている特徴点DB43及び店舗情報DB44のバージョンと、携帯型電子機器10のROM16に記憶されている特徴点DB33及び店舗情報DB34のバージョンと、をそれぞれ比較し、携帯型電子機器10側の特徴点DB33及び/または店舗情報DB34のバージョンが古い場合は、サーバ20に記憶されている特徴点DB43及び/または店舗情報DB34をダウンロードし特徴点DB43及び/または店舗情報DB34の内容を更新する。これにより、携帯型電子機器10側の特徴点DB33及び店舗情報DB34のいずれも最新のバージョンで維持される。
【0087】
また、ステップS25において特徴点DBから最も高い一致度を有する特徴点データに紐付けられている店舗名の情報(識別情報の一例)を読み出すと(S25)、携帯型電子機器10のCPU15は、店舗情報DB34から、ステップS25で読み出した店舗名の情報に紐付けられている店舗情報(販促情報、位置情報、階数情報)を読み出す(S26A)
【0088】
携帯型電子機器10のCPU15は、ステップ26Aで読み出した店舗情報(販促情報、位置情報、階数情報)が示す内容を表示部11に表示させ(S28)、実施の形態1同様、ステップS30の判断を行う。
【0089】
2−2.サーバの動作
サーバ20は、携帯型電子機器10から、特徴点DB33や店舗情報DB34の更新要求があったときに、更新用データの送信処理等を行う。
【0090】
3.作用
本実施の形態によると、画像の比較処理を携帯型電子機器10が行う場合に、携帯型電子機器10のROM16に記憶させる、比較の基準となる各マットの模様のデータをできるだけ少なくしつつ、マット及びマットと紐付けられた店舗の特定精度をより一層向上させることができる。
【0091】
また、本実施の形態によると、携帯型電子機器10のカメラ12でマットが撮像されてから表示部11(表示手段)へ施設関連情報を表示するまでの処理を、携帯型電子機器10側だけで、サーバ20との通信を行うことなく、完結することができる。そのため、例えば、サーバ20における店舗情報の検索負担が軽減されるとともに、携帯型電子機器10での店舗情報表示のレスポンスを向上させることができる。
【0092】
(実施の形態3)
実施の形態3について説明する。
【0093】
1.構成
実施の形態1では、撮像画像からの特徴点の抽出処理と、特徴点の比較処理との両方を携帯型電子機器10が行うが、本実施の形態では、撮像画像からの特徴点の抽出処理については携帯型電子機器10が行い、特徴点の比較処理についてはサーバ20が行う。また、特徴点の比較処理についてはサーバ20で行われるため、携帯型電子機器10のROM16は特徴点DBを記憶していない(
図18参照)。なお、実施の形態1同様、サーバ20のHDD22に特徴点DB43(マスター)が記憶されている。以下、実施の形態1における携帯型電子機器10及びサーバ20との相違点を中心に説明する。
【0094】
2.動作
2−1.携帯型電子機器の動作
図19は、実施の形態3における携帯型電子機器10の動作の一例を示したフローチャートである。
【0095】
本実施の形態におけるフローチャートでは、実施の形態1におけるフローチャートのステップS20が削除されるとともに、ステップS23、24、S25に代えて、ステップS27Bが設けられている。
【0096】
具体的には、ステップS22において、携帯型電子機器10のCPU15は、カメラ12で撮像された画像(撮像画像)から、特徴点を抽出する処理を行って、特徴点データを生成すると(S22)、生成した特徴点データを、通信I/F18を介してサーバ20に送信する(S22A)。
【0097】
携帯型電子機器10のCPU15は、送信した特徴点データに対する応答として、サーバ20から店舗情報を受信したか否かを判断する(S27)。
【0098】
サーバ20から店舗情報を受信した場合(S27でYES)、携帯型電子機器10のCPU15は、受信した店舗情報が示す内容を表示部11に表示させる(S28)。
【0099】
これに対し、サーバ20から店舗情報を受信していない場合(S27でNO)、携帯型電子機器10のCPU15は、送信した特徴点データに対する応答として、サーバ20からエラー情報を受信したか否かを判断する(S27B)。
【0100】
サーバ20からエラー情報を受信していない場合(S27BでNO)、携帯型電子機器10のCPU15は、ステップS27の判断を実行する。
【0101】
サーバ20からエラー情報を受信した場合(S27BでYES)、携帯型電子機器10のCPU15は、受信したエラー情報が示す内容を、表示部11に表示させる(S29)。
【0102】
ステップS28またはS29の実行後、携帯型電子機器10のCPU15は、実施の形態1同様、ステップS30の判断を行う。
【0103】
2−2.サーバの動作
図20は、実施の形態3におけるサーバ20の動作の一例を示したフローチャートである。
【0104】
本実施の形態におけるフローチャートでは、実施の形態1における
図15のフローチャートのステップS40に代えてステップS40Bが設けられている。また、ステップS41に代えて、ステップS40C、S40D、S40E、S42Bが設けられている。
【0105】
具体的に、サーバ20のCPU21は、携帯型電子機器10から特徴点データを受信したか否かを判断する(S40B)。
【0106】
携帯型電子機器10から特徴点データを受信していない場合(S40BでNO)、サーバ20のCPU21は、ステップ30Bの判断を再度実行する。
【0107】
携帯型電子機器10から特徴点データを受信した場合(S40BでYES)、携帯型電子機器10から受信した特徴点データ、つまりカメラ12で撮像された画像(撮像画像)の特徴点データと、特徴点DB43に格納されている各特徴点データとを比較し、各特徴点データについて一致度を求める(S40C)。このステップS40Cの処理は、実施の形態1の
図13のステップS23で携帯型電子機器10が行う処理と同様の処理である。また、実施の形態1同様、一致度は両者の類似の程度を示す値であり、特徴点の比較は、例えば、公知の特徴ベースマッチングの手法を用いて行うことができる。
【0108】
サーバ20のCPU21は、特徴点DB43に格納されている特徴点データの中に、所定一致度以上の一致度を有する特徴点データが存在するか否かを判断する(S40D)。このステップS40Dの処理は、実施の形態1の
図13のステップS24で携帯型電子機器10が行う処理と同様の処理である。また、実施の形態1同様、所定一致度は、例えば、比較される両者がほぼ同一であるときの一致度に設定される。
【0109】
所定一致度以上の一致度を有する特徴点データが存在する場合(S40DでYES)、サーバ20のCPU21は、特徴点DBから、最も高い一致度を有する特徴点データに紐付けられている店舗名の情報を読み出す(S40E)。
【0110】
サーバ20のCPU21は、店舗情報DB44から、ステップS40Eで読み出された店舗名の情報に紐づけられている店舗情報(販促情報、位置情報、階数情報)を店舗情報DB44から読み出す(S41)。
【0111】
サーバ20のCPU21は、ステップS41で読み出した店舗情報(販促情報、位置情報、階数情報)を、送信元の携帯型電子機器10に送信し(S42)、ステップS40Bの処理に戻る。
【0112】
ステップS40Dにおいて、所定一致度以上の一致度を有する特徴点データが存在しない場合(S40DでNO)、サーバ20のCPU21は、エラー情報を送信元の携帯型電子機器10に送信し(S42B)、ステップS40Bの処理に戻る。
【0113】
3.作用
本実施の形態によると、比較処理をサーバ20が行う場合に、サーバ20のHDD22に記憶させる、比較の基準となる各マットの模様のデータの容量をできるだけ少なくしつつ、マット及びマットと紐付けられた店舗の特定精度をより一層向上させることができる。
【0114】
(実施の形態4)
実施の形態4について説明する。
【0115】
1.構成
実施の形態1では、撮像画像からの特徴点の抽出処理と、特徴点の比較処理との両方を携帯型電子機器10が行うが、本実施の形態ではこれらの処理の両方をサーバ20が行う。また、特徴点の比較処理をサーバ20が行うため、実施の形態3同様に、携帯型電子機器10のROM16には特徴点DBを格納していない。なお、実施の形態1〜3同様、サーバ20のHDD22に特徴点DB43(マスター)が格納されている。以下、実施の形態3における携帯型電子機器10及びサーバ20と相違点を中心に説明する。
【0116】
2.動作
2−1.携帯型電子機器の動作
図21は、実施の形態4における携帯型電子機器10の動作の一例を示したフローチャートである。
【0117】
本実施の形態におけるフローチャートでは、実施の形態3における
図19のフローチャートのステップS22が削除されるとともに、ステップS22、S22Bに代えて、ステップS22Cが設けられている。
【0118】
具体的には、カメラ12を利用して画像が撮像された場合(S21でYES)、携帯型電子機器10のCPU15は、通信I/F18を介してカメラ12の撮像画像をサーバ20に送信する(S22C)。そして、ステップS27以後において実施の形態3と同様の処理を行う。
【0119】
2−2.サーバの動作
図22は、実施の形態4におけるサーバ20の動作の一例を示したフローチャートである。
【0120】
本実施の形態におけるフローチャートでは、実施の形態3における
図20のフローチャートのステップS40Bに代えてステップS40F,S40Gが設けられている。
【0121】
具体的には、サーバ20のCPU21は、携帯型電子機器10から撮像画像データを受信したか否かを判断する(S40F)。
【0122】
携帯型電子機器10から撮像画像データを受信していない場合(S40FでNO)、サーバ20のCPU21は、ステップS40Fの判断を再度実行する。
【0123】
携帯型電子機器10から撮像画像データを受信した場合(S40FでYES)、サーバ20のCPU21は、撮像画像データから特徴点を抽出する処理を行って、特徴点データを生成する(S40G)。そして、ステップS40C以後において実施の形態3と同様の処理を行う。サーバ20のCPU21は、ステップS40Gで生成した特徴点データ、つまりカメラ12で撮像された画像(撮像画像)から生成した特徴点データと、特徴点DB43に格納されている各特徴点データとを比較し、各特徴点データについて一致度を求める(S40C)等の処理を行う、そして以後、実施の形態3と同様の処理を行う。
【0124】
3.作用
本実施の形態によると、比較処理をサーバ20が行う場合に、サーバ20のHDD22に記憶させる、比較の基準となる各マットの模様のデータの容量をできるだけ少なくしつつ、マット及びマットと紐付けられた店舗の特定精度をより一層向上させることができる。
【0125】
また、携帯型電子機器10において撮像画像からの特徴点の抽出処理が不要であるため、CPU15の演算能力の高低によらず、一定のレスポンスが得られる。
【0126】
(まとめ)
以上、本発明に係る施設特定装置を、実施の形態1、2では携帯型電子機器10に適用した例を説明し、実施の形態3、4ではサーバ20に適用した例を説明した。以下、上述した各実施の形態の構成を特許請求の範囲と対比する形式で説明する。なお、この対比は、特許請求の範囲に記載の各請求項に係る発明の理解を容易化させためのものであって、各発明を限定するものではない。他の態様については、他の実施の形態で説明する。
【0127】
(1)施設特定装置(実施の形態1、2における携帯型電子機器10、または実施の形態3、4におけるサーバ20)は、
複数の対象施設(店舗(一例))の各々について、対象施設の識別情報(店舗名(一例))と、対象施設に設置され且つ対象施設毎に異なる模様を有するマットの模様の特徴点データと、を紐付けて記憶する記憶手段(実施の形態1、2におけるROM16、または実施の形態3、4におけるHDD22)と、
撮像手段(カメラ12)で撮像された撮像画像から第1の制御手段(実施の形態1、2、4におけるCPU15、または実施の形態3におけるCPU21)によって生成された特徴点データと、記憶手段に記憶されている複数のマットの模様の特徴点データの各々とを比較することで、撮像画像に複数のマットのいずれかが含まれているか否かを判断し、含まれていると判断したときは、記憶手段から、撮像画像に含まれていると判断されたマットの模様の特徴点データと紐づけられている、対象施設の識別情報(店舗の名称)を取得する第2の制御手段(実施の形態1、2におけるCPU15、または実施の形態3、4におけるCPU21)と、を含む。
記憶手段に記憶されている各マットの模様の特徴点データは、各マットの模様の設計画像から生成されている。
【0128】
これにより、マットを利用して対象施設を特定する場合に、記憶手段に記憶させる各対象施設のマットの画像に関するデータ量を減少させつつ、高い精度での施設特定が可能となる。特に、記憶手段が一般にROMで構成される携帯型電子機器では、記憶手段の容量に制約があるが、本発明の施設特定装置は、このような携帯型電子機器であっても好適に適用できる。また、各マットの模様の特徴点データを各マットの模様の設計画像から生成しているため、記憶手段に記憶させる、比較の基準となる各対象施設の特徴点データの精度を高くできる。したがって、高い精度の比較を行うことが可能となる。
【0129】
(2)施設特定装置(実施の形態1、2、4における携帯型電子機器10、または実施の形態3におけるサーバ20)は、
撮像画像から特徴点を抽出して特徴点データを生成する第1の制御手段(実施の形態1、2、4におけるCPU15、または実施の形態3におけるCPU21)と、をさらに含む。
【0130】
これにより、施設特定装置自体によって、撮像画像から特徴点データを生成することができる。
【0131】
(3)施設特定装置(実施の形態1、2における携帯型電子機器10)は、
撮像手段(カメラ12)をさらに含む。
【0132】
これにより、施設特定装置自体によって、画像を撮像して撮像画像を得ることができる。
【0133】
(4)施設特定装置(実施の形態2における携帯型電子機器10、または実施の形態3、4におけるサーバ20)は、
複数の対象施設の各々について、対象施設の識別情報と、対象施設に関連する施設関連情報(店舗情報)とを紐付けて記憶する第2の記憶手段(実施の形態2におけるROM16、または実施の形態1、3、4におけるHDD22)と、
第2の制御手段によって取得された識別情報と紐付けられている施設関連情報を読み出す第3の制御手段(実施の形態2におけるCPU15、または実施の形態1、3、4におけるCPU21)と、をさらに含む。
【0134】
これにより、マットが設置されている対象施設についての施設関連情報を取得することができる。
【0135】
(5)施設特定装置(実施の形態1、2における携帯型電子機器10)は、
画像を表示する第1の表示手段(表示部11)と、
第3の制御手段(実施の形態2におけるCPU15、または実施の形態1、3、4におけるCPU21)で読み出された施設関連情報が示す内容を第1の表示手段に表示させる第4の制御手段(実施の形態1、2におけるCPU15)と、をさらに含む。
【0136】
これにより、施設特定装置(実施の形態1、2における携帯型電子機器10)の利用者に、第1の表示手段により施設関連情報を提示することができる。
【0137】
(6)施設特定装置(実施の形態1、2における携帯型電子機器10)は、
画像を表示する第2の表示手段(表示部11)と、
第2の制御手段(実施の形態1、2におけるCPU15、または実施の形態3、4におけるCPU21)で取得された識別情報が示す内容を第2の表示手段に表示させる第5の制御手段(実施の形態1、2におけるCPU15)と、をさらに含む。
【0138】
これにより、施設特定装置(実施の形態1、2における携帯型電子機器10)の利用者に、第2の表示手段により対象施設の識別情報を提示することができる。
【0139】
(7)施設特定装置(実施の形態1、2における携帯型電子機器10、または実施の形態3、4におけるサーバ20)において、
各設計画像は、ビットマップ形式の画像である、
【0140】
これにより、各マットの模様の特徴点データとして、精度の高い特徴量等の情報を格納した特徴点データを生成することができる。具体的には、特徴点の抽出元の画像が例えばJPG形式やGIF形式等の圧縮形式の画像であると、圧縮に伴う画像ノイズにより、得られる特徴点の特徴量も精度が低下する場合がある。しかし、本実施の形態では、各設計画像は、ビットマップ形式の画像であるため、ノイズ等の影響が抑制され、精度の高い特徴量等の情報を格納した特徴点データを生成することができる。したがって、比較の精度が向上することとなる。
【0141】
(8)施設特定装置(実施の形態1、2における携帯型電子機器10、または実施の形態3、4におけるサーバ20)において、
各マットは、複数のパイルを有するパイルマットであり、
各設計画像は、各マットの模様を示す画像であって、複数のパイルの各々と1対1で対応する複数のドットを有するビットマップ形式の画像である。
【0142】
これにより、各マットの模様の特徴点データとして、より一層精度の高い特徴点データを生成することができる。したがって、比較の精度がより一層向上することとなる。
【0143】
(9)施設特定装置(実施の形態1、2における携帯型電子機器10、または実施の形態3、4におけるサーバ20)において、
設計画像に係るマットは、第1の制御手段による特徴点の抽出が所定の特徴点抽出アルゴリズムを利用して行われる場合に、特徴点として抽出される部分を所定個数以上有するようにデザインされている。
【0144】
これにより、特定精度をより一層向上させることができる。
【0145】
(10)実施の形態における施設特定装置において、
施設関連情報は、マットが設置されている対象施設の位置を示す情報である。
【0146】
これにより、表示手段に、マットが設置されている対象施設の位置を表示させることができる。
【0147】
(11)実施の形態における施設特定装置において、
施設関連情報は、マットが設置されている対象施設における販売促進情報である。
【0148】
これにより、表示手段に、マットが設置されている対象施設における販売促進情報を表示させることができる。
【0149】
(12)実施の形態における施設特定装置において、
第2の制御手段は、第1の制御手段によって生成された特徴点データと、記憶手段に記憶されている各マットの模様の特徴点データとを比較してそれぞれ一致度を求め、所定一致度以上の一致度を有する特徴点データのうち最も高い一致度を有する特徴点データと紐づけられている、対象施設の識別情報を取得する。
【0150】
これにより、より高い精度での対象施設の特定が可能となる。
【0151】
(13)実施の形態における施設特定プログラム(実施の形態1、2におけるアプリケーションプログラム32、または実施の形態3、4におけるアプリケーションプログラム42)は、
コンピュータ(実施の形態1、2におけるCPU15、または実施の形態3、4におけるCPU21)を、施設特定装置(実施の形態1、2における携帯型電子機器10、または実施の形態3、4におけるサーバ20)における第1の制御手段及び/または第2の制御手段として機能させる。
【0152】
(その他の実施の形態)
前記各実施の形態では、マットがパイルマットである場合を例示したが、本発明に係る施設特定装置では、マットがパイルマット以外のマットであってもよい。例えば、マットは、ゴム素材の表面に印刷により模様を形成したゴムマットであってもよい。また、無地のパイルマットの表面にインクジェットプリンタなどを利用して印刷により模様を形成したマットであってもよい。なお、無地のパイルマットの表面にインクジェットプリンタなどで印刷により模様を形成した場合には、設計画像上でパイルとドットが1対1で対応していても、出来上がったマットでは1つのパイルに複数の色が付着することがあるが、これは本発明の想定しているところであり、本発明の効果に影響を与えるものではない。本発明は、比較の基準となるマットの模様の特徴点データを、各マットの模様の設計画像から生成するということに特徴があり、この特徴により、比較の基準となるマットの模様の特徴点データを実物のマットを撮影した画像から作成する場合よりも、比較の基準となる特徴点データの精度を高くできるものである。そして、利用者の携帯型電子機器で撮像された撮像画像に含まれるマットとの比較を精度よく行うことができるものである。
【0153】
また、前記各実施の形態では、マットの模様の設計画像がビットマップ形式の画像であって、設計画像のドットとパイルとが1対1で対応する例を示した。しかし、本発明におけるマットの模様の設計画像では、例えば、パイル1本に対して複数のドットを対応させたり、パイルn本に対して1個のドットを対応させたりしてもよい。
【0154】
前記実施の形態1、2では、本発明に係る施設特定装置を携帯型電子機器に適用し、携帯型電子機器がスマートフォンである場合を例示した。しかし、本発明における施設特定装置としての携帯型電子機器は、例えば、折りたたみ式の携帯電話機、タブレット型のコンピュータ、ノートブック型コンピュータ、スカウター型ツール、コンパクトデジタルカメラ、デジタル一眼カメラ等であってもよい。
【0155】
また、前記実施の形態3、4では、本発明に係る施設特定装置をサーバに適用し、サーバが1台である例を説明した。しかし、本発明における施設特定装置としてのサーバは、インターネットや専用のネットワークを介して接続された複数台のコンピュータで構成されてもよい。すなわち、本発明における記憶手段、第2の記憶手段、第1〜第3の制御手段を、1つずつ、あるいは任意に組み合わせて分散配置してもよい。分散配置する場合、分散配置したコンピュータ間で、記憶手段、第2の記憶手段で記憶されているデータや、第1〜第3の制御手段で生成されたデータあるいは処理結果を示すデータを、インターネットや専用のネットワークを介して送受信すればよい。ネットワークを介したデータの授受では、任意のプロトコルを利用すればよい。
【0156】
また、前記各実施の形態では、マットが設置されている対象施設が店舗である場合について説明したが、これに限定されない。本発明は、報知してもよい情報を有する種々の施設を対象施設とすることができる。
【0157】
例えば、対象施設は、都道府県庁、市役所、町村役場、その他の官公庁施設であってもよい。また、対象施設は、小学校、中学校、高校、大学、専門学校、その他の教育施設であってもよい。あるいは、対象施設は、老人ホーム、病院等の施設であってもよい。店舗以外の対象施設の場合、上記各実施の形態における店舗情報DBに代えて、対象施設に関するデータベース(対象施設情報データベース)を設ければよい。対象施設情報データベースには、対象施設に対応させて、少なくとも、対象施設に関して報知させたい所定の情報(対象施設情報)を記憶させておけばよい。また、対象施設情報データベースには、位置情報や対象施設の階数情報を記憶させておいてもよい。なお、上記のような種々のカテゴリの対象施設のうちの複数または全てのカテゴリの対象施設を対象とする場合、対象施設情報データベースは、対象とする全ての対象施設に関する対象施設情報を含むように構成すればよい。
【0158】
一例として、対象施設が官公庁施設の場合について説明する。この場合、官公庁施設の入口の前にマットを設置するとともに、対象施設情報データベースに対象施設情報として例えばご当地キャラクタ画像や観光案内情報を記憶させておき、撮像画像中にマットが含まれていると判定したときに、対象施設情報をサーバ20から出力して、携帯型電子機器10の表示部11に、ご当地キャラクタ画像や観光案内情報を表示させるようにしてもよい。
【0159】
なお、前記実施の形態においては、店舗情報DB(対象施設情報DB)に、位置情報として、店舗においてマットが設置された位置の情報を記憶させているが、マットの位置情報に代えて、店舗(対象施設)の位置情報(対象施設が所在する位置の緯度、経度等の情報)を記憶させてもよい。これによっても、ユーザの現在位置とほぼ等しい位置を、ユーザに対して報知することができる。
【0160】
また、本発明においては、マットが設置される対象施設として、建築物だけでなく、建築物内のテナント施設、建築物内の通路、複数の建築物間の通路、テナント等の仮設施設等を設定することができる。例えば、対象施設として店舗内の通路を設定してもよく、この場合、店舗内の通路上にマットを設置するとともに、対象施設情報DBに対象施設情報として例えば当該通路近傍に陳列されている商品に関する情報を記憶させておき、撮像画像中にマットが含まれていると判定したときに、当該通路近傍に陳列されている商品に関する情報を表示してもよい。また、対象施設として、複数のテナントが入居するショッピングモールやデパート等の大規模商業施設等の通路を設定してもよい。この場合、対象施設情報DBに対象施設情報としてショッピングモール全体としての情報や通路近傍に存在するテナントに関する情報等を記憶させておき、撮像画像中にマットが含まれていると判定したときに、対象施設情報をサーバ20から出力して、携帯型電子機器10の表示部11に、ショッピングモール全体としての情報や通路近傍に存在するテナントに関する情報等を表示させるようにしてもよい。
【0161】
また、対象施設は、建築物等の内外に設置される種々の設備であってもよい。例えば、対象施設としての設備は、店舗内に配置される商品陳列棚であってもよい。この場合、商品陳列棚の前にマットを設置するとともに、対象施設情報DBに対象施設情報として例えば商品陳列棚に陳列されている商品の情報を記憶させておき、撮像画像中にマットが含まれていると判定したときに、商品陳列棚に陳列されている商品の情報をサーバ20から出力して、携帯型電子機器10の表示部11に表示させるようにしてもよい。
【0162】
また、対象施設としての設備は、例えば、自動販売機であってもよい。この場合、自動販売機の前にマットを設置するとともに、対象施設情報DBに対象施設情報として例えば自動販売機で販売されている商品の情報を記憶させておき、撮像画像中にマットが含まれていると判定したときに、自動販売機で販売している商品の情報をサーバ20から出力して、携帯型電子機器10の表示部11に表示させるようにしてもよい。
【0163】
また、本実施の形態では、撮像された画像Gに、情報J及び枠を重畳して表示する例を説明したが、これに限らない。例えば、情報Jに関する文字のみを表示してもよい。また、情報の表示とともに音声により情報を伝達するようにしてもよい。この場合、スマートフォン等の携帯型電子機器にほぼ標準的に実装されているスピーカから音声を発生させればよい。さらに、マットM上にあたかも店員が存在しているかのように、店員のキャラクタを表示させるとともに、情報Jの表示を行ったり、当該キャラクタが喋っているかのように音声を発生させたりしてもよい。店舗においては、通常、マットMは店舗の入口に配置されるので、上記のように、マットM上に店員を表示させることにより、店舗の入口を案内することにもなる。