(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022083256
(43)【公開日】2022-06-03
(54)【発明の名称】意匠体認識情報提供システム、意匠体認識情報提供方法、および意匠体認識情報提供プログラム
(51)【国際特許分類】
G06F 16/29 20190101AFI20220527BHJP
G06T 7/00 20170101ALI20220527BHJP
G06F 16/532 20190101ALI20220527BHJP
G06F 16/587 20190101ALI20220527BHJP
【FI】
G06F16/29
G06T7/00 300E
G06F16/532
G06F16/587
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2020194599
(22)【出願日】2020-11-24
(71)【出願人】
【識別番号】592193683
【氏名又は名称】株式会社ダイカン
(74)【代理人】
【識別番号】100135781
【弁理士】
【氏名又は名称】西原 広徳
(72)【発明者】
【氏名】仁義 修
(72)【発明者】
【氏名】齋藤 明男
【テーマコード(参考)】
5B175
5L096
【Fターム(参考)】
5B175DA03
5B175GA04
5B175GB05
5L096BA08
5L096BA17
5L096BA18
5L096CA02
5L096CA24
5L096GA51
5L096JA03
5L096KA15
(57)【要約】 (修正有)
【課題】顧客が短時間で容易に情報コンテンツを取得することができる意匠体認識情報提供システム、意匠体認識情報提供方法及び意匠体認識情報提供プログラムを提供する。
【解決手段】意匠体認識情報提供システム1において、制御部のプログラムは、意匠体の少なくとも一部を一つの撮像画像の内に収めた撮像画像と撮像画像を撮像した撮像位置を示す撮像位置情報を取得するステップS12と、撮像画像の撮像位置と意匠体位置データとが所定の位置関係範囲内の意匠体データを抽出するステップS14と、意匠および/または全体画像が一致または類似する意匠体画像データを有する意匠体データを抽出するステップS16と、一致意匠体データ抽出手段によって抽出した意匠体データが有するデータの内一以上か、意匠体データにあらかじめ関連付けられたホームページを表示するステップS17と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
文字または図形を表す意匠を有する意匠体の少なくとも一部を撮像した意匠体画像である意匠体画像データと、前記意匠体が設置されている設置位置を示す意匠体位置データと、情報コンテンツを表示するための情報コンテンツ関連データとを関連付けた意匠体データを記憶する記憶手段と、
前記意匠体の少なくとも一部を一つの撮像画像の内に収めた撮像画像データを取得する撮像画像取得手段と、
前記撮像画像を撮像した撮像位置を示す撮像位置情報を取得する撮像位置情報取得手段と、
前記意匠体位置データの前記設置位置と前記撮像位置とが所定の位置関係範囲内にある前記意匠体データを抽出する範囲内意匠体データ抽出手段と、
前記範囲内意匠体データ抽出手段によって抽出した前記意匠体データのうち前記撮像画像における前記意匠および/または全体画像が一致または類似する前記意匠体画像データを有する前記意匠体データを抽出する一致意匠体データ抽出手段と、
前記一致意匠体データ抽出手段によって抽出した前記意匠体データが有する前記情報コンテンツ関連データに基づく前記情報コンテンツを表示する情報表示手段とを備えた
意匠体認識情報提供システム。
【請求項2】
前記意匠体データは、前記一致意匠体データ抽出手段による前記抽出の判定基準となる類似度の閾値を示す閾値データを有し、
前記一致意匠体データ抽出手段は、前記撮像画像に対して前記閾値より高い類似度の前記意匠体画像データを有する前記意匠体データを抽出する
請求項1記載の意匠体認識情報提供システム。
【請求項3】
前記位置関係範囲は、前記設置位置を含む対象範囲であり、
前記対象範囲を地図上で閉じた1つの領域として設定する対象範囲設定手段を有し、
前記対象範囲設定手段は、地図上に任意の点を順番に特定していくことで点を順番に線でつないで対象範囲を設定する構成である
請求項1または2記載の意匠体認識情報提供システム。
【請求項4】
前記意匠体は、少なくとも文字を表す意匠を一以上有し、
前記意匠体データは、前記文字を示す判定文字データを有し、
前記撮像画像は、前記文字の少なくとも一部を収めて撮像されたものであり、
前記撮像画像内の前記文字を認識する文字認識手段を備え、
前記一致意匠体データ抽出手段は、前記文字認識手段によって認識した前記文字と一致または類似する前記判定文字データを有する前記意匠体データを抽出する
請求項1、2または3記載の意匠体認識情報提供システム。
【請求項5】
文字または図形を表す意匠を有する意匠体の少なくとも一部を撮像した意匠体画像である意匠体画像データと、前記意匠体が設置されている設置位置を示す意匠体位置データと、情報コンテンツを表示するための情報コンテンツ関連データとを関連付けた意匠体データを記憶手段によって記憶し、
前記意匠体の少なくとも一部を一つの撮像画像の内に収めた撮像画像データを撮像画像取得手段により取得し、
前記撮像画像を撮像した撮像位置を示す撮像位置情報を撮像位置情報取得手段によって取得し、
前記意匠体位置データの前記設置位置が前記撮像位置から所定の距離範囲内にある前記意匠体位置データを有する前記意匠体データを範囲内意匠体データ抽出手段によって抽出し、
前記範囲内意匠体データ抽出手段によって抽出した前記意匠体データのうち前記撮像画像における前記意匠および/または全体画像が一致または類似する前記意匠体画像データを有する前記意匠体データを一致意匠体データ抽出手段によって抽出し、
前記一致意匠体データ抽出手段によって抽出した前記意匠体データが有する前記情報コンテンツ関連データに基づく前記情報コンテンツを情報表示手段によって表示する
意匠体認識情報提供方法。
【請求項6】
コンピュータを、
文字または図形を表す意匠を有する意匠体の少なくとも一部を撮像した意匠体画像である意匠体画像データと、前記意匠体が設置されている設置位置を示す意匠体位置データと、情報コンテンツを表示するための情報コンテンツ関連データとを関連付けた意匠体データを記憶する記憶手段と、
前記意匠体の少なくとも一部を一つの撮像画像の内に収めた撮像画像データを取得する撮像画像取得手段と、
前記撮像画像を撮像した撮像位置を示す撮像位置情報を取得する撮像位置情報取得手段と、
前記意匠体位置データの前記設置位置が前記撮像位置から所定の距離範囲内にある前記意匠体位置データを有する前記意匠体データを抽出する範囲内意匠体データ抽出手段と、
前記範囲内意匠体データ抽出手段によって抽出した前記意匠体データのうち前記撮像画像における前記意匠および/または全体画像が一致または類似する前記意匠体画像データを有する前記意匠体データを抽出する一致意匠体データ抽出手段と、
前記一致意匠体データ抽出手段によって抽出した前記意匠体データが有する前記情報コンテンツ関連データに基づく前記情報コンテンツを表示する情報表示手段として機能させる
意匠体認識情報提供プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、撮像した意匠体画像の画像認識を実施して特定の情報を提供する意匠体認識情報提供システム、意匠体認識情報提供方法、および意匠体認識情報提供プログラムに関する。
【背景技術】
【0002】
従来、特定の商品やサービスを提供する店舗について、店舗までの経路や取り扱っている商品またはサービスといった情報を得ようとする場合、顧客が所有する端末を使用してインターネット上に開設された該当店舗のホームページにアクセスする方法が用いられてきた。
【0003】
このようなホームページへのアクセス手順を簡略化するため、種々の方法が提案されている。
【0004】
例えば、顧客が所有する端末を用いて、タグ識別情報を格納した二次元コードを読み取ることで、顧客に対して二次元コードに対応した店舗情報を提供する方法が提案されている。(特許文献1参照)
【0005】
また、撮像した方向あるいは角度あるいは方角を特定し、撮像した画像データに写された物体(例えば、ランドマークとなるような建造物である外界構造物)を画像認識によって識別し、その物体に関連する情報を提示する方法も提案されている。(特許文献2参照)
【0006】
しかし、顧客が端末を使用して該当店舗の検索を行う場合は、検索ワード等の条件を設定しなければならず手間がかかり、さらに検索ワードの絞り込みが不十分だった場合には多くの検索結果から該当店舗のホームページを探さなければならず手間がかかるという問題があった。また、二次元コードを使用する方法は、あらかじめ情報を格納した二次元コードを作成して店舗内または店舗外の広告看板に記載する必要があり、見た目の美しさに影響を与えるという問題もあった。さらに、単に撮像した画像について画像認識を使用する方法は、撮影する位置や方向や距離や周囲の様子の変化等による影響を受けやすく対象とできる問題もあった。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2014-44642号公報
【特許文献2】特開2009-251774公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
この発明は、上述の問題に鑑みて、顧客が短時間で容易に情報コンテンツを取得することができる意匠体認識情報提供システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
この発明は、文字または図形を表す意匠を有する意匠体の少なくとも一部を撮像した意匠体画像である意匠体画像データと、前記意匠体が設置されている設置位置を示す意匠体位置データと、情報コンテンツを表示するための情報コンテンツ関連データとを関連付けた意匠体データを記憶する記憶手段と、前記意匠体の少なくとも一部を一つの撮像画像の内に収めた撮像画像データを取得する撮像画像取得手段と、前記撮像画像を撮像した撮像位置を示す撮像位置情報を取得する撮像位置情報取得手段と、前記意匠体位置データの前記設置位置と前記撮像位置とが所定の位置関係範囲内にある前記意匠体データを抽出する範囲内意匠体データ抽出手段と、前記範囲内意匠体データ抽出手段によって抽出した前記意匠体データのうち前記撮像画像における前記意匠および/または全体画像が一致または類似する前記意匠体画像データを有する前記意匠体データを抽出する一致意匠体データ抽出手段と、前記一致意匠体データ抽出手段によって抽出した前記意匠体データが有する前記情報コンテンツ関連データに基づく前記情報コンテンツを表示する情報表示手段とを備えた意匠体認識情報提供システムであることを特徴とする。
【発明の効果】
【0010】
この発明により、顧客が短時間で容易に情報コンテンツを取得することができる意匠体認識情報提供システムを提供することができる。
【図面の簡単な説明】
【0011】
【
図1】意匠体認識情報提供システムのシステム構成図。
【
図4】意匠体データ検索条件登録画面の画面構成図。
【
図5】判定用意匠体画像データ一覧画面の画面構成図。
【
図7】意匠体検索画面および検索結果画面の画面構成図。
【
図8】意匠体データ登録プログラムによる意匠体データ登録フロー図。
【
図9】意匠体データ抽出プログラムによる意匠体データ抽出フロー図。
【発明を実施するための形態】
【0012】
以下、この発明の一実施形態を図面と共に説明する。
【0013】
図1は、本実施例における意匠体認識情報提供システム1のシステム構成を示すブロック図である。
図1に示すように、意匠体認識情報提供システム1は、主に少なくとも文字または意匠を有する意匠体の所有者が使用する意匠体登録端末2と、データを記憶し、記憶されたデータの管理を行う管理サーバ3と、意匠体の検索を希望する顧客が使用する検索端末4とを備えている。意匠体登録端末2と、管理サーバ3と、検索端末4は、インターネット5に接続されている。なお、管理サーバ3と、検索端末4は、コンピュータとして機能する。
【0014】
意匠体登録端末2は、ハードウェア要素として、CPUとROMとRAM等で構成されて各種演算や制御動作を実行する制御部20と、ハードディスクやフラッシュメモリ等で構成されて情報のリードライトを許容する記憶部21と、LANボードやWiFiユニット等で構成されて有線または無線でインターネット5に接続されてデータの送受信を行う通信部22と、タッチパネル、キーボード、マウス、押下ボタン、又はこれらの複数で構成されて接触操作による入力を受け付ける入力部23と、液晶ディスプレイや有機ELディスプレイ等で構成されて文字や図等の画像を表示する表示部24とを備えている。
【0015】
管理サーバ3は、ハードウェア要素として、CPUとROMとRAM等で構成されて各種演算や制御動作を実行する制御部30と、ハードディスクやフラッシュメモリ等で構成されて情報のリードライトを許容する記憶部31と、LANボードやWiFiユニット等で構成されて有線または無線でインターネット5に接続されてデータの送受信を行う通信部32と、タッチパネル、キーボード、マウス、押下ボタン、又はこれらの複数で構成されて接触操作による入力を受け付ける入力部33と、液晶ディスプレイや有機ELディスプレイ等で構成されて文字や図等の画像を表示する表示部34とを備えている。
【0016】
記憶部31には、制御部30によって実行される意匠体データ登録プログラム310と、意匠体データ抽出プログラム311と、意匠体データを記憶する意匠体データベース312が格納されている。
【0017】
検索端末4は、ハードウェア要素として、CPUとROMとRAM等で構成されて各種演算や制御動作を実行する制御部40と、ハードディスクやフラッシュメモリ等で構成されて情報のリードライトを許容する記憶部41と、LANボードやWiFiユニット等で構成されて有線または無線でインターネット5に接続されてデータの送受信を行う通信部42と、タッチパネル、押下ボタン、又はこれらの複数で構成されて接触操作による入力を受け付ける入力部43と、液晶ディスプレイや有機ELディスプレイ等で構成されて文字や図等の画像を表示する表示部44とを備える。
【0018】
図2は、意匠体データ3121のデータ構成図である。
図2に示すように、意匠体データベース312に記憶される意匠体データ3121は、意匠体名称データ、店舗名称データ、電話番号データ、住所データ、意匠体位置データ(意匠体の設置位置の位置データ)、表示用意匠体画像データ、判定用意匠体画像データ、判定条件データ、判定文字列データ(判定文字データの集まり)、文字判定閾値データ、画像判定閾値データ、WEBページ設定データ、および対象範囲データを有する。
【0019】
意匠体名称データは、意匠体の名称を記憶している。
店舗名称データは、意匠体が設置される店舗の名称を記憶している。
電話番号データは、意匠体が設置される店舗の電話番号を記憶している。
住所データは、意匠体が設置される店舗の住所を記憶している。
【0020】
意匠体位置データは、意匠体が設置される位置の緯度・経度を記憶していえる。
表示用意匠体画像データは、ユーザー等による確認用の意匠体の画像を記憶している。ここで、意匠体とは、ストロークにより文字や図形や模様を表す意匠体であり、いわゆる看板(サイン)として使用されるようなもの(特に識別標識とされるような標章)を指す。具体的には、金属製サイン、LEDサイン、蛍光灯サイン、印刷されたサインなど、文字や図形や模様を表す様々な意匠体が該当する。このような意匠体は、人に明瞭に視認されるように作成されているため、この意匠体を画像認識の対象として設定することで認識精度を高めることができる。
判定用意匠体画像データは、画像認識によって判定するための意匠体の画像を記憶している。この画像は、1つでも複数でも良い。
【0021】
判定条件データは、文字列判定と画像判定の両方が一致した場合に一致とするANDか、文字列判定と画像判定のどちらか一方が一致した場合に一致とするORかを記憶している。なお、文字列判定と画像判定のどちらかのみを使用するか、どちらか一方が一致であれば一致とするか、あるいは両方が一致であれば一致とするかの条件としてもよい。
判定文字列データは、文字判定に使用する文字列を記憶しており、一文字単位の判定文字データを文字列分まとめたデータとなっている。
文字判定閾値データは、文字判定用の一致と判定する閾値を記憶している。
画像判定閾値データは、画像判定用の一致と判定する閾値を記憶している。この閾値は、撮像画像における意匠および/または全体画像について一致と判定する閾値とすることができる。
【0022】
WEBページ設定データは、WEBページのアドレス(URL)を記憶している。
対象範囲データは、意匠体を検索する撮像手段(カメラ)がどの範囲に存在すればヒットさせるかを示す地図上の範囲を記憶している。この設定範囲は、緯度経度で示される2次元上の1つの閉じた領域であり、円形、四角形、任意の多角形、あるいは線で囲まれた領域など、適宜の領域として設定される。なお、意匠体毎に対象範囲を設定する構成としているが、これにかぎらず、地球の地図上を複数のエリアグループに分割し、どのエリアグループに所属するかを対象範囲データに記憶してもよい。この場合、エリアグループは、地球上の領域を緯度経度の範囲で適宜に分割してあらかじめ設定されている。なお、緯度経度による分割に限らず、都道府県や市町村などの住所単位で分割してもよい。
【0023】
図3は、意匠体登録端末2の表示部24に表示される意匠体データ登録画面201の画面構成図である。
意匠体データ登録画面201は、各種画面を読み出す画面呼び出しタブ202と、検索端末4に表示する意匠体画像の指定を受け付ける表示意匠体画像設定部203と、意匠体の名称の入力を受け付ける意匠体名称入力部204と、意匠体が表示する店舗名の入力を受け付ける店舗名入力部205と、意匠体が表示する店舗のホームページにアクセス可能なURLの設定を受け付けるWEBページ設定部206と、WEBページ設定部206において設定したURLリンクを検索端末4に表示する際の表記の入力を受け付けるリンク名入力部207と、意匠体が表示する店舗の連絡先である電話番号の入力を受け付ける電話番号入力部208と、意匠体が表示する店舗の所在地住所の入力を受け付ける住所入力部209と、店舗周辺の地図を示す周辺地
図210と、周辺地
図210における店舗の所在地を示す店舗所在地ピン211と、店舗所在地ピン211から所定の範囲を示す対象範囲212と、意匠体が表示する店舗の所在地について緯度および経度の形式で入力を受け付ける緯度経度入力部213と、店舗を検索対象とする検索者の検索位置範囲の設定を受け付ける対象範囲設定部214とを備えている。
【0024】
なお、周辺地
図210を表示する際、撮像が多く行われている位置、意匠体が設定されている位置、エラーの発生回数が多い位置、またはこれらの複数をそれぞれ異なる種類のマークで表示する。この場合、撮像が行われた位置、意匠体が設定されている位置、エラーの発生回数が多い位置をそれぞれ管理サーバ3の記憶部31に記憶しておき、表示している周辺地
図210上に該当するものがあればマークを表示すればよい。異なる種類のマークは、例えば色の違い、形の違い、もしくはこの両方の違いによって異なる種類とすればよい。また、建物内の階数や、地上か地下か等、高さのわかる高さ情報も表示してもよい。これにより、対象範囲212を広くするか狭くするか等の参考にすることができる。
【0025】
本実施例の意匠体データ登録画面201は、インターネット5を通じてWEBページ上で公開および各意匠体データ入力を受け付ける構成である。意匠体データを登録する登録者は、意匠体登録端末2を使用し、インターネット5を通じて意匠体データ登録画面201を表示するWEBページにアクセスする。このとき、登録者はあらかじめ意匠体データ登録機能を使用するためのアカウントを取得するか、はじめて意匠体データ登録画面201を表示するWEBページにアクセスした際にアカウントを作成し、ログインを行う。ログインを行った登録者は、画面呼び出しタブ202から意匠体データ登録画面201を呼び出すことができる。
【0026】
画面呼び出しタブ202は、入力および選択を受け付けることで受け付けた入力および選択項目に応じて意匠体登録端末2の表示部24に各種画面を表示させる。各種画面とは、例えば意匠体データ登録画面201であったり、登録した意匠体データの一覧表示画面であったり、登録者の情報であるユーザー情報画面であったり、画像認識を行った際の判定結果一覧画面である。
【0027】
表示意匠体画像設定部203は、抽出結果として検索端末4に表示する表示意匠体画像の設定を受け付ける。表示意匠体画像の設定方法としては、例えば意匠体登録端末2の記憶部21に記憶されている画像を読み込むことで設定される。表示意匠体画像は、意匠体および意匠体を設置した店舗の外観を確認できる画像とすることが好ましい。
【0028】
意匠体名称入力部204は、登録者が登録した意匠体データ3121の名称である意匠体名称の入力を受け付ける。
【0029】
店舗名入力部205は、抽出結果として検索端末4に表示する店舗名の入力を受け付ける。すなわち、ここで設定される店舗名は、検索者が一見して容易に店舗を判別できる店舗名とすることが好ましい。また、全国にチェーン展開している店舗等、複数の支店を所有する場合は店舗名に加えて登録しようとしている意匠体が設置されている支店名の入力を受け付けることができる。
【0030】
WEBページ設定部206は、抽出結果として検索端末4に表示する特定のWEBページへ誘導するためのURLリンクの設定を受け付ける。すなわち、ここで設定されるURLリンクは、店舗名入力部205で受け付けた店舗が管理するホームページへのアクセス誘導リンクや店舗紹介動画の配信を行っている配信サイトページへのアクセス誘導リンクといった、当該店舗に関係するWEBページへ誘導するためのURLリンクである。
【0031】
リンク名入力部207は、WEBページ設定部206を検索端末4に表示する際、URLの文字羅列に置換してハイパーリンクとして表示する際の表示名であるリンク名の入力を受け付ける。
【0032】
周辺地
図210は、店舗の周辺地
図210を表示する。このとき、店舗の所在地の指定を店舗所在地ピン211についてドラッグといった画面上の点を移動させる手段を用いて店舗所在地の設定を受け付ける。また、対象範囲212は、対象範囲設定部214で設定された店舗所在地ピン211からの所定の範囲を、店舗所在地ピン211を中心とした円形で示す。なお、店舗所在地ピン211は、住所入力部209で入力された住所に基づいて自動で設定されてもよい。
【0033】
緯度経度入力部213は、意匠体の位置について緯度および経度での入力を受け付ける。緯度経度入力部213で受け付ける緯度および経度は、意匠体の位置(店舗の所在地)をより明らかとすることから小数点以下第六位まで入力を受け付けることが好ましい。なお、緯度経度入力部213は、住所入力部209で住所が入力されるとその住所の緯度経度が自動的に入力される。
【0034】
対象範囲設定部214は、登録する意匠体が検索対象となるための検索端末4の位置範囲の設定(すなわち、その意匠体を検索できる検索端末4の位置範囲)を、意匠体の位置(緯度経度)からの半径距離の設定により受け付ける。対象範囲は、意匠体の位置を中心とした円の半径として設定する。受け付けた対象範囲は、周辺地
図210上において対象範囲212として反映される。
【0035】
なお、対象範囲設定部214による位置範囲の設定は、半径距離による設定に限らず、2次元地図上で任意形状の1つの閉じた領域を登録者が指定して設定される構成であってもよい。この場合、登録者が2次元地図上で位置を指定する毎に、1つ前に指定された位置から今回指定された位置までの直線を描き最初に指定された位置が再度指定された際に、それまで点を線で繋ぐようにして描かれた領域が閉じ、1つの対象範囲212が完成する。なお、点を繋ぐ線は直線とすることが好ましいが、曲線としてもよい。この設定を行う処理を実行する意匠体登録端末2の制御部20は、対象範囲設定手段として機能する。
【0036】
図4は、意匠体登録端末2の表示部24に表示される意匠体データ検索条件登録画面221の画面構成図である。
意匠体データ検索条件登録画面221は、判定条件をANDとするかORとするかの選択を受け付ける判定条件選択部222と、認識に使用する対象を文字および/または画像の中から設定を受け付ける使用判定設定部223と、文字による判定を行う際に使用する文字列の入力を受け付ける判定文字列入力部224と、文字による判定の結果、入力中の意匠体データを抽出対象とするために必要な一致度の閾値入力を受け付ける文字判定閾値入力部225と、画像による判定の結果、入力中の意匠体データを抽出対象とするために必要な一致度の閾値入力を受け付ける画像判定閾値入力部226と、入力中の意匠体データについて特筆すべき事柄の入力を受け付ける備考入力部227と、意匠体データ登録画面201および意匠体データ検索条件登録画面221で入力および設定した項目を保存する保存ボタン228と、意匠体データ登録画面201および意匠体データ検索条件登録画面221で入力および設定した項目をキャンセルするキャンセルボタン229とを備えている。
【0037】
判定条件選択部222は、画像判定結果および文字判定結果について、一つの撮像画像(撮像画像データ)に基づいたそれぞれの判定結果が、どちらも抽出対象となったとき(一致と判定されたとき)に意匠体データを抽出する(AND)か、どちらかが抽出対象となったときに意匠体データを抽出する(OR)かの選択を受け付ける。
【0038】
使用判定設定部223は、判定に使用する項目について画像認識および/または文字認識から選択を受け付ける。画像認識とは、例えば撮像した一つの撮像画像(撮像画像データ)と登録されている判定用意匠体画像237とを照合して、一致度が一定以上である場合は判定用意匠体画像237に関連付けられた意匠体データを抽出する認識方法である。文字認識とは、例えば撮像した一つの撮像画像に含まれる文字を識別し、登録されている判定文字列と照合して、一致度が一定以上である判定文字列に関連付けられた意匠体データを抽出する認識方法である。
【0039】
判定文字列入力部224は、文字判定に使用する文字列の入力を一つ以上受け付ける。文字列が複数登録された意匠体データは、複数の文字列のいずれかにおいて抽出対象と判定された場合に当該意匠体データが抽出対象となる。すなわち、抽出される機会が多くなる。
【0040】
文字判定閾値入力部225は、入力中の意匠体データを抽出対象の判定とする閾値となる、撮像画像に含まれる文字列と判定文字246との一致度について、パーセントの単位で0以上100以下の数値入力を受け付ける。すなわち、撮像画像に含まれると認識した文字列と判定文字列入力部224で受け付けた文字列とを照合した際に、一致度がここで入力された数値以上であった場合、入力中の意匠体データが抽出される。
【0041】
画像判定閾値入力部226は、入力中の意匠体データを抽出対象の判定とする閾値となる、撮像画像と判定用意匠体画像237との一致度について、パーセントの単位で0以上100以下の数値入力を受け付ける。すなわち、撮像画像と判定用意匠体画像237とを照合した際に、一致度がここで入力された数値以上であった場合、入力中の意匠体データが抽出される。なお、この画像判定閾値入力部226は、2つとするなど複数に設定することもできる。この場合、画像判定用の画像認識エンジンを複数種類搭載し、その種類の数だけ画像判定閾値249aを記憶する構成とすればよい。また、この場合、どの画像認識エンジンを使用するか、あるいは複数の画像認識エンジンを使用するかの選択を判定条件選択部222に追加するとよい。このようにした場合は、意匠体によって、その意匠体の画像認識に適した画像認識エンジンを使用することができる。実際の検索時には、全ての画像認識エンジンで画像認識を実施し、意匠体毎に設定されている画像認識エンジンや文字認識での閾値を超えていれば一致と判定して抽出することで、タイムラグなくその意匠体に適した判定方法で一致と判定して抽出できる。
【0042】
備考入力部227は、入力中の意匠体データに関するメモの入力を受け付ける。受け付けた備考の入力内容は、意匠体データが詳細に表示された場合に表示される。
【0043】
保存ボタン228の押下を受け付けると、意匠体登録端末2は入力された各入力項目のデータを関連付けて意匠体データ3141とし、管理サーバ3に送信する。
【0044】
図5は、意匠体登録端末2の表示部24に表示される判定用意匠体画像データ一覧画面231の画面構成図である。
判定用意匠体画像データ一覧画面231は、登録済みの意匠体データの一覧画面から一つの意匠体データについて登録されている判定用意匠体画像237の一覧を表示させる入力を受け付けることで表示される。判定用意匠体画像データ一覧画面231は、判定用意匠体画像データ追加部232と、判定用意匠体画像データ削除部233と、判定用意匠体画像データ詳細表示部234とを備えている。
【0045】
判定用意匠体画像データ追加部232は、文字判定または画像判定を行う際に使用する判定用意匠体画像237の設定を受け付ける。設定された判定用意匠体画像データは、意匠体データ3121として各データと関連付けられて記憶されている。判定用意匠体画像237の設定方法としては、例えば意匠体登録端末2の記憶部21に記憶されている画像を読み込むことで設定される。このとき、意匠体を様々な角度から撮影した複数の判定用意匠体画像237を判定用意匠体画像データとして登録しておくことが好ましい。また、判定用意匠体画像237は意匠体に含まれる文字または図形を表す意匠が画像内に50%以上収まっていることが好ましく、意匠すべてが画像内に収まっていることがより好ましい。画像判定においては、全ての判定用意匠体画像データをユーザによる撮像画像と画像比較して最も一致度が高いものを判定結果として採用すると良い。
【0046】
判定用意匠体画像データ詳細表示部234は、入力項目として選択チェック部235を備え、表示項目として画像ID236と、意匠体画像を表示する判定用意匠体画像237と、意匠体画像を登録した日付である判定用意匠体画像登録日238とを有する。
【0047】
判定用意匠体画像データ削除部233は、クリック等で選択されることによって選択チェック部235でチェックされた判定用意匠体画像データを消去する。
【0048】
図6は、判定結果ログ画面241の画面構成図である。
判定結果ログ画面241は、判定結果ログの選択を受け付ける判定結果ログ選択チェック部242と、判定した写真である撮像写真243と、写真を撮像した位置(緯度経度、あるいは住所)を地図上で表示する撮像位置表示244と、判定に要した時間である判定時間245と、写真に含まれる文字として認識し判定に使用した判定文字246と、判定結果247と、抽出された意匠体データである抽出意匠体データ248と、画像認識の詳細な判定結果を示す画像認識結果249と、文字認識の詳細な判定結果を示す文字認識結果250とを備えている。
【0049】
判定文字246は、判定に使用した撮像写真243に含まれていた文字列、すなわち文字認識(OCR)により認識した文字列を表示する。また、詳細表示リンクアクセスを受け付けることで認識した文字が撮像写真243のどの部位に写っているかを詳細に表示する。この例では、第1文字列「DAIKAN」と第2文字列「AIKAN」の2つの文字列が認識されている。このようにして複数の文字列が認識されている場合は、登録されている文字列と一致するかどうかを全ての文字列と比較し、最も高かった一致度を判定結果として使用する。
【0050】
判定結果247は、総合判定結果247aと、画像判定結果247bと、文字判定結果247cとを有する。
【0051】
画像判定結果247bは、画像認識結果249に基づいて最終的な画像判定の結果を表示する。すなわち、画像判定閾値入力部226で入力された画像判定閾値249aの数値より、撮像写真243の判定用意匠体画像237に対する一致度の数値が高ければ抽出対象となり「OK」と表示する。
【0052】
文字判定結果247cは、文字認識結果250に基づいて最終的な文字判定の結果を表示する。すなわち、文字判定閾値入力部225で入力された文字判定閾値の数値より、判定文字246の判定文字列入力部224に対する一致度の数値が高ければ抽出対象となり「OK」と表示する。
【0053】
総合判定結果247aは、画像判定結果247b、文字判定結果247c、および判定条件選択部222に基づいた総合判定結果を表示する。すなわち、判定条件選択部222でAND検索が選択されていた場合は画像判定結果247bおよび文字判定結果247cの両方において抽出対象と判定したとき「OK」と表示する。一方、判定条件選択部222でOR検索が選択されていた場合は画像判定結果247bまたは文字判定結果247cのいずれかにおいて抽出対象と判定したとき「OK」と表示する。
【0054】
抽出意匠体データ248は、抽出された意匠体データの名称を表示する。また、意匠体データの名称は当該意匠体データの詳細画面を表示するリンクとなっている。登録者は、抽出された意匠体データがどのような設定を行った意匠体データであるかを、意匠体データの名称に埋め込まれたリンクにアクセスすることで確認することができる。
【0055】
画像認識結果249は、画像判定閾値入力部226で入力された画像判定閾値の数値を表示する画像判定閾値249aと、撮像写真243の判定用意匠体画像237に対する一致度の数値である画像判定数値249bとを有する。
【0056】
文字認識結果250は、文字判定閾値入力部225で入力された文字判定閾値の数値を表示する文字判定閾値250aと、判定文字246の判定文字列入力部224に対する一致度の数値である文字判定数値250bとを有する。
【0057】
図7(A)は、検索端末4の表示部44に表示される意匠体検索画面400の画面構成図である。
意匠体検索画面400は、検索端末4が備えている撮像部45を起動する撮像部起動ボタン401および撮像部起動アイコン402を備えている。
【0058】
撮像部起動ボタン401は、意匠体を撮影することを検索者に対して促す文章401aを有する。検索者が撮像部起動ボタン401を押下すると、検索端末4は、備え付けのカメラ等で構成される撮像部45を起動して撮像モードに移行する。撮像された画像は、検索端末4によって管理サーバ3に送信される。
【0059】
撮像部起動アイコン402は、文章401aを有さない以外は撮像部起動ボタン401と同じ機能を有する。すなわち、検索者が撮像部起動アイコン402を押下すると、検索端末4は、備え付けのカメラ等で構成される撮像部45を起動して撮像モードに移行する。
【0060】
図7(B)は、検索端末4の表示部44に表示される抽出意匠体結果表示画面410の画面構成図である。
抽出意匠体結果表示画面410は、画像判定および/または文字判定の結果、抽出した意匠体データ3121の件数を示す抽出意匠体データ件数表示部411と、抽出対象となった意匠体データ3121の項目を表示する意匠体データ表示部412と、検索端末4が備えている撮像部45を起動する再撮影ボタン413とを備えている。
【0061】
意匠体データ表示部412は、表示項目として、表示意匠体画像設定部203で設定された表示意匠体画像と、店舗名入力部205で入力された店舗名および支店名と、電話番号入力部208で入力された電話番号と、住所入力部209で入力された住所と、WEBページ設定部206で入力されたURLリンクを埋め込んだリンク名入力部207で入力されたリンク名とを有する。このリンク名(URLリンク)が情報コンテンツ関連データであり、リンク名が選択されて表示されるホームページが情報コンテンツとなる。なお、この抽出意匠体結果表示画面410を表示せず、リンク名(URLリンク)にあるWEBページ(情報コンテンツ)を直接表示する構成としてもよい。
【0062】
抽出した意匠体データ3121が複数件であった場合は、複数の意匠体データ3121について意匠体データ表示部412を意匠体データ3121毎に検索端末4の表示部44の上部から縦に並べて表示する。このとき、検索端末4が撮像を行った位置から距離が近い位置データを有する意匠体データ3121であるほど表示部44の上部に表示することが好ましい。
【0063】
図7(C)は、検索端末4の表示部44に表示される意匠体検索結果画面420の画面構成図である。
意匠体検索結果画面420は、検索の結果抽出対象となる意匠体データ3121が登録されていないことを示す文章421を有する。
【0064】
図8は、管理サーバ3の制御部30によって実行される意匠体データ登録プログラム310による意匠体データ登録時のフローチャートである。
【0065】
制御部30は、意匠体登録端末2から、意匠体データ登録画面201および意匠体データ検索条件登録画面221において入力および設定された意匠体データ3121と、判定用意匠体画像データ追加部232において設定された判定用意匠体画像データを取得する(ステップS1)。
【0066】
続いて制御部30は、取得した意匠体データ3121が有する意匠体位置データについて、対象範囲212の設定を行う(ステップS2)。この対象範囲212の設定は、半径を指定して意匠体位置からその半径内の領域に設定する、登録者が地図上の領域を指定して手作業で設定する、あるいは、すでに登録されている対象範囲212を呼び出し複製して設定するなど、適宜の方法で設定できる。この対象範囲212の設定は、意匠体毎に行われる。
なお、対象範囲212の設定は、これに限らず、地図上を複数のエリアグループに分けて、どのエリアグループに意匠体が存在するか指定してそのエリアグループの領域を対象範囲212とする構成としてもよい。この場合、エリアグループは、地球上の地図上を所定の範囲で複数に分割したグループとすることができる。エリアグループのグループ分け方法としては、例えば緯度経度の範囲で分割する、あるいは市や区といった地域で分割する方法を使用できる。
【0067】
続いて制御部30は、意匠体データ3121とステップS2で割り当てた対象範囲212のデータとを関連付けて、意匠体データベース312に記憶する(ステップS3)。
【0068】
図9は、管理サーバ3の制御部30によって実行される意匠体データ抽出プログラム311による意匠体データ抽出フローのフローチャートである。
【0069】
制御部30は、検索端末4から意匠体の画像を収めた撮像画像を取得する(ステップS11)。このとき取得する画像は、意匠体に含まれる文字または図形を表す意匠が画像内に50%以上収まっていることが好ましく、意匠すべてが画像内に収まっていることがより好ましい。
【0070】
制御部30は、検索端末4が撮像画像を取得した際の検索端末4の撮像位置を示す撮像位置情報を取得する(ステップS12)。この撮像位置は、撮像された意匠体が設置されている位置情報(設置位置の位置情報)の近傍位置となる。
【0071】
制御部30は、ステップS12で取得した撮像位置情報が各意匠体の対象範囲212内か否かを判定する(ステップS13)。すなわち、意匠体の設置位置と撮像位置が所定の位置関係範囲内にあるか否かとして、意匠体毎に設定された対象範囲212内に撮像位置が位置するか否か、あるいは意匠体毎に選択されたエリアグループ内に撮像位置が位置するか否かを判定する。
【0072】
制御部30は、ステップS13で前記撮像位置情報が前記意匠体の対象範囲212内であると判定した撮影範囲を有する意匠体データ3121を抽出する(ステップS14)。すなわち、撮像位置から一定の距離範囲内に設置されている意匠体の意匠体データ3121を抽出する。この一定の距離範囲は、スマートフォン等の携帯端末のカメラ(撮像手段)で意匠体をある程度の大きさで写るように撮影しようとした際の撮像距離よりも広く、かつ、同じ形状又は見た目の意匠体が設置される距離よりも狭く(例えば統一看板が設置されている同一ブランドの複数店舗の店舗間最短距離よりも狭く)設定されている。
【0073】
制御部30は、ステップS11にて取得した撮像画像に含まれる文字列を文字認識(OCR)により認識する。その後、ステップS14で抽出した意匠体データに含まれる判定用意匠体画像237と撮像画像とを照合し、画像一致度を算出する。また、ステップS14で抽出した意匠体データに含まれる判定用文字列データと認識した撮像画像に含まれる文字列とを照合し、文字列一致度を算出する(ステップS15)。画像一致度の算出は、適宜の画像マッチングプログラムを使用することができ、例えばモノクロ二値画像として両方の画像の縮尺や角度を合わせて一致度を算出する等の適宜の手法を用いることができる。
【0074】
制御部30は、ステップS15で算出した文字列一致度および画像一致度を、算出に使用した判定用意匠体画像237と関連付けられた文字判定閾値および画像判定閾値と比較し、意匠体データ3121に関連付けられた判定条件データに基づいて両方の一致度または一方の一致度が閾値よりも高い数値である場合に、該当意匠体データを一致する意匠体データとして抽出する(ステップS16)。
【0075】
制御部30は、ステップS16によって抽出した意匠体データ3121すべてを検索端末4に送信し、抽出意匠体結果表示画面410の画面構成で表示部44に表示させる(ステップS17)。これにより、URLリンクを表示し、このURLリンクが選択されることで情報コンテンツを表示することができる。
【0076】
制御部30は、検索端末4から撮像画像を新たに取得した場合ステップS12からステップS17を取得した撮像画像について再度実行する(ステップS18)。
【0077】
以上の構成により、顧客が短時間で容易に情報コンテンツを取得することができる意匠体認識情報提供システム1を提供することができる。
制御部30は、設置する意匠体について判定用意匠体画像データと、位置データとを含む意匠体データ3121を取得し、さらに検索端末4から意匠体を収めた撮像画像と、撮像位置の位置情報とを取得し、撮像位置の位置情報から所定の距離範囲内の位置データを有する意匠体データ3121から、文字判定または画像判定によって一致または類似の判定用意匠体画像データを有する意匠体データ3121を抽出する。この構成により、文字判定または画像判定のみを用いて照合を行う場合と比較して、制御部30は登録しているすべての判定用意匠体画像237を照合する必要がなく、撮像画像の取得から意匠体データ抽出までの時間を短縮できる。また、位置情報のみを用いて照合を行う場合と比較して、同じショッピングモールの建物内に存在する別の店舗を抽出する可能性が低くなり、検索者が希望する店舗情報をより確実に提供できる。さらに、検索者は検索端末4の撮像部45を使用して意匠体を収めた撮像画像を取得するだけで、意匠体データ3121を確認することができ、従来の情報提供方法と比較して容易に情報を得ることができる。また、複数店舗を持つブランドが全ての店舗で同じ看板を意匠体として登録するような場合でも、意匠体の位置によって店舗をきちんと区別でき、かつ、画像認識によって他のブランドと混同せずに正しく認識されるため、ブランド内で店舗毎に異なる情報コンテンツを提供するといったことにも適切に対応できる。
【0078】
また、制御部30は、意匠体データ3121として判定文字列データを取得し、検索端末4から取得した撮像画像に含まれる文字列を認識して判定文字列データと照合し、文字列が一致または類似の判定文字列データを有する意匠体データ3121を抽出する。この構成により、画像認識による判定よりも確実に目的の意匠体データ3121を抽出することができ、検索者はより確実に撮像した意匠体に関する情報を得ることができる。
【0079】
また、意匠体データ検索条件登録画面221は、判定条件をANDとするかORとするかの選択を受け付ける判定条件選択部222と、使用する判定条件の選択を画像判定と文字判定から受け付ける使用判定設定部223とを有する。この構成により、意匠体データ3121の登録者は、登録する意匠体のデザインに応じて、抽出されたいと希望する検索条件通りに意匠体データ3121が抽出される条件を設定できる。これにより、文字判定と画像判定を駆使して様々な意匠体について意匠体毎に認識精度が高くなる判定条件を設定して適切に認識することができる。
【0080】
また、意匠体データ3121は、意匠体が設置されている設置位置を含む範囲で、かつ、撮像画像で撮像された位置が前記設置位置からどの範囲にあれば検索でヒット可能とするか(抽出可能とするか)を定める対象範囲212を示す対象範囲データを有する。そして、制御部30は、取得した撮像画像の撮像位置が含まれる対象範囲212を有する意匠体データ3121をすべて抽出し、抽出した意匠体データ3121に対して文字判定および画像判定を実行する。この構成により、あらかじめ文字判定および画像判定を実行する対象となる判定用意匠体画像データを限定することができ、判定にかかる時間を短縮することができる。この対象範囲212は、意匠体の多い都心部では狭い領域に設定し、意匠体の少ない郊外では対象範囲212を広く設定する、あるいは意匠体毎に任意の範囲に設定することで、どの対象範囲212であっても適切なデータ量で迅速確実に意匠体を認識して情報コンテンツを表示することができる。なお、対象範囲212をエリアグループとする場合、意匠体データ3121は、意匠体があらかじめ設定されたエリアグループのいずれに所属するかを示すエリアグループデータを有すると良い。
【0081】
また、意匠体データ3121は、画像判定および文字判定における判定基準となる類似度の閾値を示す閾値データを有し、制御部30は、判定用意匠体画像237と撮像画像とを照合し、画像一致度を算出し、意匠体データに含まれる判定用文字列データと認識した撮像画像に含まれる文字列とを照合し、文字列一致度を算出する。この構成により、登録者は詳細に意匠体データ3121が抽出対象となる境界線を定めることができる。
【0082】
また、抽出意匠体結果表示画面410は、意匠体データ表示部412の表示項目としてWEBページ設定部206であらかじめ設定された意匠体に関するWEBページへアクセスするURLリンクを備えている。この構成により、検索者は抽出結果として表示された意匠体が設置された店舗について、希望するのであればURLリンク先のWEBページにアクセスすることでより詳細な情報を得ることができる。
【0083】
また、文字列閾値と画像閾値を意匠体毎に設定でき、かつ、判定条件も意匠体毎に設定できるため、多様な意匠体についてその意匠体に適した形での認識を実行することができる。
【0084】
この発明における記憶手段は、管理サーバ3の記憶部31が有する意匠体データベース312に対応し、以下同様に、
撮像画像取得手段は、ステップS11を実行する制御部30に対応し、
撮像位置情報取得手段は、ステップS12を実行する制御部30に対応し、
範囲内意匠体データ抽出手段は、ステップS14を実行する制御部30に対応し、
一致意匠体データ抽出手段は、ステップS16を実行する制御部30に対応し、
情報表示手段は、ステップS17を実行する制御部30および検索端末4の表示部44に対応し、
文字認識手段は、ステップS15を実行する制御部30に対応し、
位置分割手段は、ステップS2を実行する制御部30に対応するが、
この発明は本実施形態に限られず他の様々な実施形態とすることができる。
【0085】
なお、この発明は、上述の実施形態の構成のみに限定されるものではなく、多くの実施の形態を得ることができる。
例えば、本実施例では管理サーバ3の制御部30が文字判定および画像判定を実施する形態としたが、制御部30がインターネット5で接続された判定用サーバに判定条件、判定用画像データ、および撮像画像を送信し、判定用サーバが各判定を実施し、判定結果を管理サーバ3に送信する形態としてもよい。このような構成であっても、上述した実施例と同等の効果を奏する。
【0086】
また、本実施例では抽出結果として意匠体データ表示部412を備えている抽出意匠体結果表示画面410を表示する形態としたが、WEBページ設定部206であらかじめ設定された意匠体に関するWEBページに直接アクセスし、表示する形態としてもよい。
【0087】
また、意匠体検索画面400(
図7(A)参照)は、現在地の周辺地
図210を表示してもよい。この場合、周辺地図上に意匠体が設置されている位置を示すとよい。これにより、意匠体の有無を地図上でユーザが認識でき、撮影の契機や撮影方向の決定等に利用することができるとともに、意匠体を探すことを促して利用を促すこともできる。意匠体の位置を周辺地図上に表示する場合、建物の階数や地上や地下といった高さ情報も認識可能に表示してもよい。この場合、屋内で意匠体が見当たらなくてもどの高さ(階)に存在するか認識でき、その高さ(階)に移動して意匠体を撮像することができる。
【0088】
また、意匠体認識情報提供システム1は、検索端末4にメンテナンスモードを備えてもよい。メンテナンスモードでは、検索端末4は、撮像部45により撮像した撮像画像と、位置情報と、適宜のメッセージを管理サーバ3へ送信できる構成にするとよい。これにより、例えば意匠体としてのLEDサインの一部が点灯しなくなった場合に、そのLEDサインを撮像した撮像画像と修理依頼のメッセージを送信するといったことができる。これにより、意匠体のメンテナンスに利用することができる。また、撮像画像に写っている意匠体に一部消灯等の異常があった場合に異常を管理サーバ3へ通知する機能を備えてもよい。この場合はユーザが撮像した撮像画像から修理等のメンテナンスの必要性を把握することができる。
【産業上の利用可能性】
【0089】
この発明は、撮像した意匠体画像の画像認識を実施して特定の情報を提供する意匠体認識情報提供システムの産業に利用することができる。
【符号の説明】
【0090】
1…意匠体認識情報提供システム
2…意匠体登録端末
3…管理サーバ
4…検索端末
5…インターネット
30…制御部
31…記憶部
44…表示部
45…撮像部
312…意匠体データベース
3121…意匠体データ
201…意匠体データ登録画面
221…意匠体データ検索条件登録画面
231…判定用意匠体画像データ一覧画面
237…判定用意匠体画像
241…判定結果ログ画面