ホーム > 特許ランキング > 株式会社Ｓｐｅｃｔｅｅ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022051069
(43)【公開日】2022-03-31
(54)【発明の名称】画像処理装置、画像処理方法及びプログラム
(51)【国際特許分類】
G06F 16/583 20190101AFI20220324BHJP
G06F 16/587 20190101ALI20220324BHJP
G06F 16/55 20190101ALI20220324BHJP
G06Q 50/00 20120101ALI20220324BHJP
【ＦＩ】
G06F16/583
G06F16/587
G06F16/55
G06Q50/00 300
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2020157334
(22)【出願日】2020-09-18
(71)【出願人】
【識別番号】516083461
【氏名又は名称】株式会社Ｓｐｅｃｔｅｅ
(74)【代理人】
【識別番号】100173646
【弁理士】
【氏名又は名称】大森 桂子
(72)【発明者】
【氏名】岩井 清彦
(72)【発明者】
【氏名】藤田 伸之祐
【テーマコード（参考）】
5B175
5L049
【Ｆターム（参考）】
5B175DA02
5B175FA03
5B175FB02
5B175GA04
5L049CC12
(57)【要約】
【課題】本発明は、インターネットを介して収集した投稿画像から、撮影された場所をピンポイントで特定可能な画像処理装置、画像処理方法及びプログラムを提供する。
【解決手段】投稿画像に含まれる看板の文字を認識して店の名前を抽出する店名抽出部１と、地図データベースから店名抽出部１で抽出された名前を有する店の位置情報を取得する位置情報取得部２と、名前が異なる２以上の店についてその位置情報をクラスター分析し、それぞれの距離が近い店舗を選択することにより投稿画像の撮影場所を特定する撮影場所特定部３とを備える画像処理装置１０を用いて、インターネットを介して収集した投稿画像を処理する。
【選択図】図１
【解決手段】投稿画像に含まれる看板の文字を認識して店の名前を抽出する店名抽出部１と、地図データベースから店名抽出部１で抽出された名前を有する店の位置情報を取得する位置情報取得部２と、名前が異なる２以上の店についてその位置情報をクラスター分析し、それぞれの距離が近い店舗を選択することにより投稿画像の撮影場所を特定する撮影場所特定部３とを備える画像処理装置１０を用いて、インターネットを介して収集した投稿画像を処理する。
【選択図】図１
【特許請求の範囲】
【請求項1】
インターネットを介して収集した投稿画像の撮影場所を特定する画像処理装置であって、
前記投稿画像に含まれる看板の文字を認識して店の名前を抽出する店名抽出部と、
地図データベースから、前記店名抽出部で抽出された名前を有する店の位置情報を取得する位置情報取得部と、
店名が異なる２以上の店についてその位置情報をクラスター分析し、その結果から前記投稿画像の撮影場所を特定する撮影場所特定部と
を備える画像処理装置。
前記投稿画像に含まれる看板の文字を認識して店の名前を抽出する店名抽出部と、
地図データベースから、前記店名抽出部で抽出された名前を有する店の位置情報を取得する位置情報取得部と、
店名が異なる２以上の店についてその位置情報をクラスター分析し、その結果から前記投稿画像の撮影場所を特定する撮影場所特定部と
を備える画像処理装置。
【請求項2】
更に、店舗の外観から店の名前を推定する店名推定部を備え、
該店名推定部で推定された名前を有する店についても、前記位置情報取得部において位置情報を取得し、前記撮影場所特定部においてその位置情報をクラスター分析する請求項１に記載の画像処理装置。
該店名推定部で推定された名前を有する店についても、前記位置情報取得部において位置情報を取得し、前記撮影場所特定部においてその位置情報をクラスター分析する請求項１に記載の画像処理装置。
【請求項3】
更に、前記投稿画像に含まれる文字を認識して地名を抽出する地名抽出部を備え、
前記位置情報取得部では、前記地名抽出部で抽出された地名の地域にある店に限定して位置情報を取得する請求項１又は２に記載の画像処理装置。
前記位置情報取得部では、前記地名抽出部で抽出された地名の地域にある店に限定して位置情報を取得する請求項１又は２に記載の画像処理装置。
【請求項4】
インターネットを介して収集した投稿画像について、１又は複数の画像処理装置によってその撮影場所を特定する方法であって、
前記投稿画像に含まれる看板の文字を認識して店の名前を抽出する店名抽出工程と、
地図データベースから、前記店名抽出工程で抽出された名前を有する店の位置情報を取得する位置情報取得工程と、
店名が異なる２以上の店についてその位置情報をクラスター分析し、その結果から前記投稿画像の撮影場所を特定する撮影場所特定工程と
を有する画像処理方法。
前記投稿画像に含まれる看板の文字を認識して店の名前を抽出する店名抽出工程と、
地図データベースから、前記店名抽出工程で抽出された名前を有する店の位置情報を取得する位置情報取得工程と、
店名が異なる２以上の店についてその位置情報をクラスター分析し、その結果から前記投稿画像の撮影場所を特定する撮影場所特定工程と
を有する画像処理方法。
【請求項5】
更に、店舗の外観から店の名前を推定する店名推定工程を有し、
該店名推定工程で推定された名前を有する店についても、前記位置情報取得工程において位置情報を取得し、前記撮影場所特定工程においてその位置情報をクラスター分析する請求項４に記載の画像処理方法。
該店名推定工程で推定された名前を有する店についても、前記位置情報取得工程において位置情報を取得し、前記撮影場所特定工程においてその位置情報をクラスター分析する請求項４に記載の画像処理方法。
【請求項6】
更に、前記投稿画像に含まれる文字を認識して地名を抽出する地名抽出工程を有し、
前記位置情報取得工程では、前記地名抽出工程で抽出された地名の地域にある店に限定して位置情報を取得する請求項４又は５に記載の画像処理方法。
前記位置情報取得工程では、前記地名抽出工程で抽出された地名の地域にある店に限定して位置情報を取得する請求項４又は５に記載の画像処理方法。
【請求項7】
インターネットを介して収集した投稿画像の撮影場所を特定するプログラムであって、
前記投稿画像に含まれる看板の文字を認識して店の名前を抽出する店名抽出機能と、
地図データベースから、前記店名抽出機能で抽出された名前を有する店の位置情報を取得する位置情報取得機能と、
店名が異なる２以上の店についてその位置情報をクラスター分析し、その結果から前記投稿画像の撮影場所を特定する撮影場所特定機能と
をコンピュータに実行させるプログラム。
前記投稿画像に含まれる看板の文字を認識して店の名前を抽出する店名抽出機能と、
地図データベースから、前記店名抽出機能で抽出された名前を有する店の位置情報を取得する位置情報取得機能と、
店名が異なる２以上の店についてその位置情報をクラスター分析し、その結果から前記投稿画像の撮影場所を特定する撮影場所特定機能と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ＳＮＳ（social networking service）などに投稿された写真（静止画）や動画（以下、これらを合わせて「画像」という。）から、当該画像の撮影場所を特定する画像処理装置、画像処理方法及びプログラムに関する。より詳しくは、投稿画像に含まれる文字から撮影場所を特定する技術に関する。
【背景技術】
【0002】
インターネット上には、日々、数多くの画像が投稿されている。特に、ＳＮＳは、手軽に写真や動画を投稿できるため、事件、事故、火事、気象及び災害などの情報がリアルタイムで投稿されることがあり、ニュースや報道で投稿写真や投稿動画が利用される機会が増えている。また、本出願人は、報道機関以外にも、官公庁・地方自治体及び交通機関・インフラ企業などの様々なユーザに対して、災害・危機管理情報などをリアルタイムに知ることができる「ＳＮＳリアルタイム速報サービス（サービス名：Ｓｐｅｃｔｅｅ）」を提供している。
【0003】
投稿画像を災害情報や危機管理情報などとして利用するには、画像に写っている事象が「いつ」・「どこで」発生しているかを正確に特定することが重要である。投稿画像の撮影場所を特定する方法としては、例えば、画像に付された位置情報や投稿位置情報を用いる方法があるが、ＳＮＳに投稿された画像の中には撮影した場所の位置情報が付されていないものも多く、また、画像を投稿した場所の情報が付されている場合でも、撮影場所と投稿場所が一致しないケースもある。
【0004】
従来、撮影場所のメタデータがない画像について、映っている人物の認証を行い、その人物のスケジュールを適宜更新していくことで、撮影日時と人物のスケジュールから、その撮影場所を特定する方法が提案されている（特許文献１参照）。また、本出願人は、投稿者に関する情報、同一投稿者の過去の投稿及び付帯画像などを解析することにより、投稿画像の撮影場所（撮影された事件・事故・災害などの発生位置）を特定する方法を提案している（特許文献２参照）。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１１－８１６８９号公報
【特許文献2】特開２０１８－１９０１１３号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
前述した特許文献１に記載の方法では、人物やその人物がいつどこにいたかが登録されたデータベースを用いて画像に写っている人物のスケジュール情報から撮影場所を特定しているが、ＳＮＳなどに投稿される画像は、写っている対象が不特定で、撮影場所も広範であるため、このようなデータベースを構築することは困難である。このような理由から、特許文献１に記載の方法は、投稿画像の撮影場所の特定には適さない。
【0007】
一方、特許文献２に記載の方法は、投稿者に関する情報、同一投稿者の過去の投稿及び付帯画像などから地名に関する情報を抽出して解析しているため、撮影された地域や写っている対象は限定されず、様々な投稿画像に適用することができるが、この方法では撮影場所が都道府県レベルや市町村レベルまでしか特定できない場合があり、更に詳しく町名や番地レベルで撮影場所を特定する方法が求められている。
【0008】
そこで、本発明は、インターネットを介して収集した投稿画像から、撮影された場所をピンポイントで特定可能な画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る画像処理装置は、インターネットを介して収集した投稿画像の撮影場所を特定する画像処理装置であって、前記投稿画像に含まれる看板の文字を認識して店の名前を抽出する店名抽出部と、地図データベースから、前記店名抽出部で抽出された名前を有する店の位置情報を取得する位置情報取得部と、店名が異なる２以上の店についてその位置情報をクラスター分析し、その結果から前記投稿画像の撮影場所を特定する撮影場所特定部とを備えるものである。
本発明の画像処理装置は、店舗の外観から店の名前を推定する店名推定部を設け、該店名推定部で推定された名前を有する店についても、前記位置情報取得部において位置情報を取得し、前記撮影場所特定部においてその位置情報をクラスター分析してもよい。
更に、前記投稿画像に含まれる文字を認識して地名を抽出する地名抽出部を設け、前記位置情報取得部では、前記地名抽出部で抽出された地名の地域にある店に限定して位置情報を取得することもできる。
本発明の画像処理装置は、店舗の外観から店の名前を推定する店名推定部を設け、該店名推定部で推定された名前を有する店についても、前記位置情報取得部において位置情報を取得し、前記撮影場所特定部においてその位置情報をクラスター分析してもよい。
更に、前記投稿画像に含まれる文字を認識して地名を抽出する地名抽出部を設け、前記位置情報取得部では、前記地名抽出部で抽出された地名の地域にある店に限定して位置情報を取得することもできる。
【0010】
本発明に係る画像処理方法は、インターネットを介して収集した投稿画像について、１又は複数の画像処理装置によってその撮影場所を特定する方法であり、前記投稿画像に含まれる看板の文字を認識して店の名前を抽出する店名抽出工程と、地図データベースから、前記店名抽出工程で抽出された名前を有する店の位置情報を取得する位置情報取得工程と、店名が異なる２以上の店についてその位置情報をクラスター分析し、その結果から前記投稿画像の撮影場所を特定する撮影場所特定工程とを行う。
本発明の画像処理方法では、更に、店舗の外観から店の名前を推定する店名推定工程を行い、該店名推定工程で推定された名前を有する店についても、前記位置情報取得工程において位置情報を取得し、前記撮影場所特定工程においてその位置情報をクラスター分析してもよい。
また、前述した各工程に加えて、前記投稿画像に含まれる文字を認識して地名を抽出する地名抽出工程を行い、前記位置情報取得工程では、前記地名抽出工程で抽出された地名の地域にある店に限定して位置情報を取得してもよい。
本発明の画像処理方法では、更に、店舗の外観から店の名前を推定する店名推定工程を行い、該店名推定工程で推定された名前を有する店についても、前記位置情報取得工程において位置情報を取得し、前記撮影場所特定工程においてその位置情報をクラスター分析してもよい。
また、前述した各工程に加えて、前記投稿画像に含まれる文字を認識して地名を抽出する地名抽出工程を行い、前記位置情報取得工程では、前記地名抽出工程で抽出された地名の地域にある店に限定して位置情報を取得してもよい。
【0011】
本発明に係るプログラムは、インターネットを介して収集した投稿画像の撮影場所を特定するプログラムであって、前記投稿画像に含まれる看板の文字を認識して店の名前を抽出する店名抽出機能と、地図データベースから、前記店名抽出機能で抽出された名前を有する店の位置情報を取得する位置情報取得機能と、店名が異なる２以上の店についてその位置情報をクラスター分析し、その結果から前記投稿画像の撮影場所を特定する撮影場所特定機能とをコンピュータに実行させるものである。
【発明の効果】
【0012】
本発明によれば、画像に含まれる看板から得られる情報を利用しているため、位置情報が付されていなくても、投稿画像が撮影された場所をピンポイントで特定することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の第１の実施形態の画像処理装置の構成例を示す概念図である。
【図3】投稿画像の例を模式的に示す図である。
【図4】本発明の第１の実施形態の第１変形例の画像処理装置の構成例を示す概念図である。
【図6】本発明の第１の実施形態の第２変形例の画像処理装置の構成例を示す概念図である。
【図8】本発明の第２の実施形態に係る画像処理システムの構成例を示す概念図である。
【発明を実施するための形態】
【0014】
以下、本発明を実施するための形態について、添付の図面を参照して、詳細に説明する。なお、本発明は、以下に説明する実施形態に限定されるものではない。
【0015】
（第１の実施形態）
先ず、本発明の第１の実施形態に係る画像処理装置について説明する。図１は本実施形態の画像処理装置の構成例を示す概念図である。図１に示すように、本実施形態の画像処理装置１０は、投稿画像を解析してその撮影場所を特定するものであり、店名抽出部１、位置情報取得部２及び撮影位置特定部３を少なくとも備える。
先ず、本発明の第１の実施形態に係る画像処理装置について説明する。図１は本実施形態の画像処理装置の構成例を示す概念図である。図１に示すように、本実施形態の画像処理装置１０は、投稿画像を解析してその撮影場所を特定するものであり、店名抽出部１、位置情報取得部２及び撮影位置特定部３を少なくとも備える。
【0016】
［投稿画像］
本実施形態のデータ処理装置１０で処理される投稿画像は、インターネットを介して収集されたものであり、例えば事件、事故、火事、気象及び災害などの任意の事象や出来事を撮影したものである。また、投稿画像の撮影場所は国内に限られず、海外も含む。本実施形態のデータ処理装置１０は、特に「位置情報が付されていない」、「投稿した場所に関する位置情報（ＧＰＳデータ）は付されているが、投稿場所と撮影場所が異なる」、「投稿画像に付随する情報からでは具体的な住所までは特定できない」などの理由から、撮影場所が特定できない投稿画像に好適である。
本実施形態のデータ処理装置１０で処理される投稿画像は、インターネットを介して収集されたものであり、例えば事件、事故、火事、気象及び災害などの任意の事象や出来事を撮影したものである。また、投稿画像の撮影場所は国内に限られず、海外も含む。本実施形態のデータ処理装置１０は、特に「位置情報が付されていない」、「投稿した場所に関する位置情報（ＧＰＳデータ）は付されているが、投稿場所と撮影場所が異なる」、「投稿画像に付随する情報からでは具体的な住所までは特定できない」などの理由から、撮影場所が特定できない投稿画像に好適である。
【0017】
［店名抽出部１］
店名抽出部１は、機械学習法を用いた物体検出法により、投稿画像に看板が含まれるか否かを判定し、看板が含まれていた場合はＯＣＲなどの文字認識技術などにより看板の文字を認識し、店の名前を抽出するものである。ここでいう「店の名前」には、一般的な「店名」の他に、チェーン店やなどのような多店舗経営やフランチャイズ店における「ブランド（ビジネス）名」及び「店舗（支店）名」などのように店を識別するための全ての名称を含み、以下これらをまとめて「店名」という。
店名抽出部１は、機械学習法を用いた物体検出法により、投稿画像に看板が含まれるか否かを判定し、看板が含まれていた場合はＯＣＲなどの文字認識技術などにより看板の文字を認識し、店の名前を抽出するものである。ここでいう「店の名前」には、一般的な「店名」の他に、チェーン店やなどのような多店舗経営やフランチャイズ店における「ブランド（ビジネス）名」及び「店舗（支店）名」などのように店を識別するための全ての名称を含み、以下これらをまとめて「店名」という。
【0018】
文字認識を行う看板の種類は、特に限定されず、ポール看板、袖看板、突き出し看板、スタンド看板の他、建物の壁面や屋上に設置されている看板も含む。これらの看板を検出する物体検出方法は、特に限定されるものではなく、ＳＳＤ（Single Shot MultiBox Detector）やＹＯＬＯ（You Only Look Once）などの公知のアルゴリズムを用いることができる。
【0019】
また、店名抽出部１において抽出される店名は完全で正確なものでなくてもよく、店名の一部した抽出できなかったり、文字認識に間違いがあったりしてもよい。更に、店名抽出部１では、店の名前に加えて、看板の文字から、販売している商品（米・生鮮品・薬・本・車など）や提供しているサービス（クリーニング・駐車場・フォトスタジオなど）に関する情報を抽出してもよい。
【0020】
［位置情報取得部２］
店名抽出部１で抽出された名前を有する店の位置情報を、地図データベース４から取得するものである。具体的には、地図データベース４に店の名前を入力し、地図データベース４から該当する店名を有する全ての店舗の位置情報を得る。地図データベース４から取得する位置情報としては、例えば緯度及び経度、住所表示などが挙げられ、取得した位置情報はリストで表示したり、地図上にピンで表示したりすることもできる。
店名抽出部１で抽出された名前を有する店の位置情報を、地図データベース４から取得するものである。具体的には、地図データベース４に店の名前を入力し、地図データベース４から該当する店名を有する全ての店舗の位置情報を得る。地図データベース４から取得する位置情報としては、例えば緯度及び経度、住所表示などが挙げられ、取得した位置情報はリストで表示したり、地図上にピンで表示したりすることもできる。
【0021】
また、店の名前の一部しか抽出できなかった場合や類似する名前の店が多数存在するような場合は、地図データベース４に店名抽出部１で抽出された「商品名」や「サービス名」を「店の名前」と共に入力することにより、取得する位置情報の精度を高めることができる。
【0022】
［地図データベース４］
地図データベース４としては、インターネット上で提供されている地図情報サービスを利用することができるが、それに限定されるものではなく、店舗の位置情報が取得できる場合は一般的な検索エンジンを利用することもできる。地図情報サービスでは、店名などのキーワードを入力すると、データベースに登録されている情報の中から該当する店を抽出し、所在地（位置情報）、登録されている店名や店舗名及びＵＲＬなどその店に関する各種情報が出力される。地図データベース４は、装置内に設けることもできるが、情報量及び更新頻度の観点から、インターネット上で提供されている地図情報サービスを利用することが好ましい。
地図データベース４としては、インターネット上で提供されている地図情報サービスを利用することができるが、それに限定されるものではなく、店舗の位置情報が取得できる場合は一般的な検索エンジンを利用することもできる。地図情報サービスでは、店名などのキーワードを入力すると、データベースに登録されている情報の中から該当する店を抽出し、所在地（位置情報）、登録されている店名や店舗名及びＵＲＬなどその店に関する各種情報が出力される。地図データベース４は、装置内に設けることもできるが、情報量及び更新頻度の観点から、インターネット上で提供されている地図情報サービスを利用することが好ましい。
【0023】
［撮影場所特定部３］
撮影場所特定部３は、店名が異なる２以上の店について、その位置情報に対してクラスター分析を行い、それぞれの距離が予め設定した範囲内にある店舗群（店舗の組み合わせ）を抽出し、抽出された店舗の住所（所在地）及び／又は緯度・経度から投稿画像の撮影場所を特定するものである。クラスター分析の結果、複数の店舗群が抽出された場合は、その中から投稿画像の条件に最も近い店舗群を選択すればよい。
撮影場所特定部３は、店名が異なる２以上の店について、その位置情報に対してクラスター分析を行い、それぞれの距離が予め設定した範囲内にある店舗群（店舗の組み合わせ）を抽出し、抽出された店舗の住所（所在地）及び／又は緯度・経度から投稿画像の撮影場所を特定するものである。クラスター分析の結果、複数の店舗群が抽出された場合は、その中から投稿画像の条件に最も近い店舗群を選択すればよい。
【0024】
例えば、投稿画像から抽出された店名が２つであり、看板の設置位置も近接している場合は、各店舗間の距離が最も近い組み合わせを選択すればよい。また、投稿画像から抽出された店名が３つ以上である場合は、２店舗間の距離を求めた上で、予め設定した範囲内に全ての店舗が存在する組み合わせを抽出することができる。更に、投稿画像に含まれる看板は２つであったが、そこから抽出された名前が同じブランド名であった場合は、ブランド名が同じで店舗（支店）名が異なる店についてクラスター分析を行い、予め設定した範囲内に存在する２店舗を抽出し、店舗の住所（所在地）及び／又は緯度・経度から投稿画像の撮影場所を特定すればよい。
【0025】
［動作］
次に、本実施形態の画像処理装置１０の動作、即ち、画像処理装置１０を用いて投稿画像を解析し、その撮影場所を特定する方法について説明する。図２は本実施形態の画像処理方法を示すフローチャートであり、図３は処理対象の投稿画像の例を模式的に示す図である。図２に示すように、本実施形態の画像処理方法は、インターネットを介して収集した投稿画像についてその撮影場所を特定する方法であって、１又は複数の画像処理装置１０により、店名抽出工程Ｓ１、位置情報取得工程Ｓ２、撮影場所特定工程Ｓ３を行う。
次に、本実施形態の画像処理装置１０の動作、即ち、画像処理装置１０を用いて投稿画像を解析し、その撮影場所を特定する方法について説明する。図２は本実施形態の画像処理方法を示すフローチャートであり、図３は処理対象の投稿画像の例を模式的に示す図である。図２に示すように、本実施形態の画像処理方法は、インターネットを介して収集した投稿画像についてその撮影場所を特定する方法であって、１又は複数の画像処理装置１０により、店名抽出工程Ｓ１、位置情報取得工程Ｓ２、撮影場所特定工程Ｓ３を行う。
【0026】
＜店名抽出工程Ｓ１＞
店名抽出工程Ｓ１では、入力された投稿画像データを解析し、投稿画像に含まれる看板の文字を認識して店の名前を抽出する。具体的には、機械学習法を用いた物体検出手法などにより、投稿画像に２以上の看板が含まれるか否かを判定し（ステップＳ１ａ）、看板が含まれている場合はＯＣＲなどの文字認識技術などにより各看板の文字を認識して店の名前を抽出する（ステップＳ１ｂ）。
店名抽出工程Ｓ１では、入力された投稿画像データを解析し、投稿画像に含まれる看板の文字を認識して店の名前を抽出する。具体的には、機械学習法を用いた物体検出手法などにより、投稿画像に２以上の看板が含まれるか否かを判定し（ステップＳ１ａ）、看板が含まれている場合はＯＣＲなどの文字認識技術などにより各看板の文字を認識して店の名前を抽出する（ステップＳ１ｂ）。
【0027】
一方、投稿画像に看板が含まれていない、投稿画像に含まれる看板が１つである又は１つの店名しか認識できないなどの理由で、投稿画像から２以上の店名を抽出できない場合は、処理を終了する。なお、店名抽出工程Ｓ１では、店の名前に加えて、看板の文字から、販売している商品（米・生鮮品・薬・本・車など）や提供しているサービス（クリーニング・駐車場・フォトスタジオなど）に関する情報を抽出してもよい（ステップＳ１ｃ）。
【0028】
＜位置情報取得工程Ｓ２＞
位置情報取得工程Ｓ２では、店名抽出工程Ｓ１で抽出された名前を有する店の位置情報を、地図データベースから取得する。具体的には、地図データベースに対して店名抽出工程Ｓ１で抽出された店の名前を出力し、店の名前でその所在地を検索し（ステップＳ２ａ）、地図データベースからその名前を有する全ての店について緯度・経度、住所表示など位置に関する情報を取得する（ステップＳ２ｃ）。
位置情報取得工程Ｓ２では、店名抽出工程Ｓ１で抽出された名前を有する店の位置情報を、地図データベースから取得する。具体的には、地図データベースに対して店名抽出工程Ｓ１で抽出された店の名前を出力し、店の名前でその所在地を検索し（ステップＳ２ａ）、地図データベースからその名前を有する全ての店について緯度・経度、住所表示など位置に関する情報を取得する（ステップＳ２ｃ）。
【0029】
例えば、名前が同じで、住所が異なる店が複数存在している場合は、地図データベースから全ての店の位置情報を取得する。また、店名抽出工程Ｓ１で抽出された店名が、飲食店、コンビニエンスストア、スーパーマーケット、ドラッグストア、クリーニング店などように同一のブランド名で多店舗経営を行っている店のブランド名であった場合は、同一ブランドの店舗全ての位置情報を取得する。
【0030】
なお、店名抽出工程Ｓ１で店の名前の一部しか抽出できなかった場合や同じ名前の店が多数存在するような場合は、店名抽出工程Ｓ１で抽出された「商品名」や「サービス名」を用いて検索結果を絞り込んでもよい（ステップＳ２ｂ）。これにより、取得する位置情報の精度を高めることができる。
【0031】
＜撮影場所特定工程Ｓ３＞
撮影場所特定工程Ｓ３では、位置情報取得工程Ｓ２で取得した店名が異なる２以上の店の位置情報をクラスター分析し、その結果から投稿画像の撮影場所を特定する。具体的には、それぞれの距離が予め設定した範囲内にある店舗群（店舗の組み合わせ）を抽出し、抽出された店舗の住所（所在地）及び／又は緯度・経度から投稿画像の撮影場所を特定する。クラスター分析の結果、複数の店舗群が抽出された場合は、その中から投稿画像の条件に最も近い店舗群を選択すればよい。
撮影場所特定工程Ｓ３では、位置情報取得工程Ｓ２で取得した店名が異なる２以上の店の位置情報をクラスター分析し、その結果から投稿画像の撮影場所を特定する。具体的には、それぞれの距離が予め設定した範囲内にある店舗群（店舗の組み合わせ）を抽出し、抽出された店舗の住所（所在地）及び／又は緯度・経度から投稿画像の撮影場所を特定する。クラスター分析の結果、複数の店舗群が抽出された場合は、その中から投稿画像の条件に最も近い店舗群を選択すればよい。
【0032】
例えば、投稿画像から抽出された店名が２つであり、看板の設置位置も近接している場合は、各店舗間の距離が最も近い組み合わせを選択すればよい。また、投稿画像から抽出された店名が３つ以上である場合は、２店舗間の距離を求めた上で、予め設定した範囲内に全ての店舗が存在する組み合わせを抽出することができる。更に、投稿画像に含まれる看板は２つであったが、そこから抽出された名前が同じブランド名であった場合は、ブランド名が同じで店舗（支店）名が異なる店についてクラスター分析を行い、予め設定した範囲内に存在する２店舗を抽出し、店舗の住所（所在地）及び／又は緯度・経度から投稿画像の撮影場所を特定すればよい。
【0033】
［プログラム］
前述した各工程は、画像処理装置１０の各部の機能を実現するためのコンピュータプログラムを作成し、１又は２以上のコンピュータに実装することにより実施することができる。即ち、本実施形態の画像処理方法は、投稿画像に含まれる看板の文字を認識して店の名前を抽出する店名抽出機能と、地図データベースから、店名抽出機能で抽出された名前を有する店の位置情報を取得する位置情報取得機能と、店名が異なる２以上の店についてその位置情報をクラスター分析し、その結果から投稿画像の撮影場所を特定する撮影場所特定機能とをコンピュータに実行させるプログラムを、コンピュータ又は画像処理装置で動作させることにより実施することができる。
前述した各工程は、画像処理装置１０の各部の機能を実現するためのコンピュータプログラムを作成し、１又は２以上のコンピュータに実装することにより実施することができる。即ち、本実施形態の画像処理方法は、投稿画像に含まれる看板の文字を認識して店の名前を抽出する店名抽出機能と、地図データベースから、店名抽出機能で抽出された名前を有する店の位置情報を取得する位置情報取得機能と、店名が異なる２以上の店についてその位置情報をクラスター分析し、その結果から投稿画像の撮影場所を特定する撮影場所特定機能とをコンピュータに実行させるプログラムを、コンピュータ又は画像処理装置で動作させることにより実施することができる。
【0034】
なお、前述した各機能は、一のプログラムに搭載されている必要はなく、機能毎にプログラムを作成し、それらを連動させることにより実行してもよい。その場合、各プログラムを２台以上のコンピュータ又は装置に分割して実装し、動作させることもできる。
【0035】
以上詳述したように、本実施形態の画像処理装置は、投稿画像に含まれる２以上の看板から店の名前を抽出し、地図データベースからその名前を有する全ての店の位置情報を取得して、クラスター分析によりその店の所在を特定しているため、画像データのみから撮影場所をピンポイントで特定することができる。
【0036】
（第１の実施形態の第１変形例）
次に、本発明の第１の実施形態の第１変形例に係る画像処理装置について説明する。図４は本変形例の画像処理装置の構成例を示す概念図である。なお、図４においては、図１に示す画像処理装置１０の構成要素と同じものには同じ符号を付し、その詳細な説明は省略する。図４に示すように、本変形例の画像処置装置１１は、前述した第１の実施形態の画像処理装置１０の各部に加えて、店名推定部５を備えており、位置情報取得部２は店名推定部５で推定された名前を有する店についても位置情報を取得する。
次に、本発明の第１の実施形態の第１変形例に係る画像処理装置について説明する。図４は本変形例の画像処理装置の構成例を示す概念図である。なお、図４においては、図１に示す画像処理装置１０の構成要素と同じものには同じ符号を付し、その詳細な説明は省略する。図４に示すように、本変形例の画像処置装置１１は、前述した第１の実施形態の画像処理装置１０の各部に加えて、店名推定部５を備えており、位置情報取得部２は店名推定部５で推定された名前を有する店についても位置情報を取得する。
【0037】
［店名推定部５］
店名推定部５は、店舗の外観から店の名前を推定するものである。例えば、ファミリーレストラン、ファストフード店、カフェ、喫茶店及び居酒屋などの飲食店、コンビニエンスストア、スーパーマーケット及びドラッグストアなどの小売店、クリーニング店などように同一のブランド名で多店舗経営を行っている店の場合、店舗外観のデザインを統一しているケースが多い。
店名推定部５は、店舗の外観から店の名前を推定するものである。例えば、ファミリーレストラン、ファストフード店、カフェ、喫茶店及び居酒屋などの飲食店、コンビニエンスストア、スーパーマーケット及びドラッグストアなどの小売店、クリーニング店などように同一のブランド名で多店舗経営を行っている店の場合、店舗外観のデザインを統一しているケースが多い。
【0038】
そこで、本変形例では、店名推定部５において、機械学習法を用いた物体検出アルゴリズムであるＹＯＬＯやＳＳＤ、又は画像処理エンジンのＯｐｅｎＣＶに搭載されているＨａａｒ-ｌｉｋｅ検出器などの公知の技術を用いて投稿画像を解析し、その画像に含まれる建物（店舗）の外観から店の名前を推定する。店名推定部５で名前が推定された店は、位置情報取得部２において店名抽出部１で文字から名前を抽出された店と共に地図データベースで検索され、その位置情報が取得される。なお、店名推定部５で推定された名前と、店名抽出部１で抽出された名前が同じであった場合、それらは同一店舗であるとして処理される。
【0039】
［動作］
図５は図４に示す画像処理装置１１を用いて投稿画像を処理する方法を示すフローチャートである。図５に示すように、本変形例の画像処理方法では、店名抽出工程Ｓ１１、位置情報取得工程Ｓ１３、撮影場所特定工程Ｓ１４に加えて、店舗の外観から店の名前を推定する店名推定工程Ｓ１２を行う。
図５は図４に示す画像処理装置１１を用いて投稿画像を処理する方法を示すフローチャートである。図５に示すように、本変形例の画像処理方法では、店名抽出工程Ｓ１１、位置情報取得工程Ｓ１３、撮影場所特定工程Ｓ１４に加えて、店舗の外観から店の名前を推定する店名推定工程Ｓ１２を行う。
【0040】
店名推定工程Ｓ１２では、ＹＯＬＯ、ＳＳＤ、ＯｐｅｎＣＶなどの公知の物体検出技術を用いて投稿画像を解析し、その画像に特徴的な店舗デザインが含まれているか否かを判定し、含まれていた場合はその店舗のブランド名を出力する。本変形例の画像処理方法では、店名抽出工程Ｓ１１と店名推定工程Ｓ１２の両方に同一の投稿画像データが入力され、両工程で同時並行して店名の抽出・推定を行うことができる。また、前述した第１の実施形態では、店名抽出工程Ｓ１で２つの店名を抽出できなかった場合は処理を終了しているが、本変形例の画像処理方法では、店名推定工程Ｓ１２において別の店の名前を推定することができるため、店名抽出工程Ｓ１１で１つの店の名前しか抽出できなかった場合でも処理を続行する。
【0041】
位置情報取得工程Ｓ１３では、店名抽出工程Ｓ１１及び店名推定工程Ｓ１２で抽出・推定された名前の店について、地図データベースから位置情報を取得する。その際、店名抽出工程Ｓ１１で抽出された名前と及び店名推定工程Ｓ１２で推定された名前が同一店舗のものであり、両工程で得られた名前が２以上であった場合のみ処理を行い、店名が１以下であった場合は処理を終了する。そして、位置情報取得工程Ｓ１３で取得した２以上の店の位置情報について、撮影場所特定工程Ｓ１４においてクラスター分析し、その結果から投稿画像の撮影場所を特定する。
【0042】
なお、図５では記載を省略しているが、店名抽出工程Ｓ１１において看板から商品・サービスに関する情報を抽出し、位置情報取得工程Ｓ１３において検索結果の絞り込みに、看板から抽出された商品名・サービス名を利用することもできる。
【0043】
［プログラム］
前述した各工程は、画像処理装置１１の各部の機能を実現するためのコンピュータプログラムを作成し、１又は２以上のコンピュータに実装することにより実施することができる。即ち、本変形例の画像処理方法は、投稿画像に含まれる看板の文字を認識して店の名前を抽出する店名抽出機能と、投稿画像に含まれる店舗の外観から店の名前を推定する店名推定機能と、地図データベースから、店名抽出機能で抽出された名前を有する店及び店名推定処理で推定された名前を有する店の位置情報を取得する位置情報取得機能と、店名が異なる２以上の店についてその位置情報をクラスター分析し、その結果から投稿画像の撮影場所を特定する撮影場所特定機能とをコンピュータに実行させるプログラムを、コンピュータ又は画像処理装置で動作させることにより実施することができる。
前述した各工程は、画像処理装置１１の各部の機能を実現するためのコンピュータプログラムを作成し、１又は２以上のコンピュータに実装することにより実施することができる。即ち、本変形例の画像処理方法は、投稿画像に含まれる看板の文字を認識して店の名前を抽出する店名抽出機能と、投稿画像に含まれる店舗の外観から店の名前を推定する店名推定機能と、地図データベースから、店名抽出機能で抽出された名前を有する店及び店名推定処理で推定された名前を有する店の位置情報を取得する位置情報取得機能と、店名が異なる２以上の店についてその位置情報をクラスター分析し、その結果から投稿画像の撮影場所を特定する撮影場所特定機能とをコンピュータに実行させるプログラムを、コンピュータ又は画像処理装置で動作させることにより実施することができる。
【0044】
本変形例の画像処理装置１１では、看板からの店名抽出に加えて、店舗外観デザインから店名を推定しているため、投稿画像中に看板が１つしかない又は店名が１つしか抽出できなかった場合でも、店舗外観から推定した店名を利用して、撮影場所を特定することが可能となる。また、店名抽出と店名推定は、同時並行で行うことができるため、処理時間を短縮することもできる。なお、本変形例における上記以外の構成及び効果は、前述した第１の実施形態と同様である。
【0045】
（第１の実施形態の第２変形例）
次に、本発明の第１の実施形態の第２変形例に係る画像処理装置について説明する。図６は本変形例の画像処理装置の構成例を示す概念図である。なお、図６においては、図１に示す画像処理装置１０及び図４に示す画像処理装置１１の構成要素と同じものには同じ符号を付し、詳細な説明は省略する。
次に、本発明の第１の実施形態の第２変形例に係る画像処理装置について説明する。図６は本変形例の画像処理装置の構成例を示す概念図である。なお、図６においては、図１に示す画像処理装置１０及び図４に示す画像処理装置１１の構成要素と同じものには同じ符号を付し、詳細な説明は省略する。
【0046】
図６に示すように、本変形例の画像処置装置１２は、前述した第１の実施形態の画像処理装置１０又はその第１変形例の画像処理装置１１の各部に加えて、地名抽出部６を備えている。そして、位置情報取得部２において、地名抽出部６で抽出された地名の地域にある店に限定して位置情報を取得する。
【0047】
［地名抽出部６］
地名抽出部６は、投稿画像に含まれる文字を認識して地名を抽出するものである。投稿画像中で地域を示す文字を含むものとしては、各種看板の他に、案内標識、交差点名を示す標識、警察車両、消防車両又は救急車の表示、警察官、消防士又は救急隊員の制服の表示、電柱番号、車のナンバーなどが挙げられる。
地名抽出部６は、投稿画像に含まれる文字を認識して地名を抽出するものである。投稿画像中で地域を示す文字を含むものとしては、各種看板の他に、案内標識、交差点名を示す標識、警察車両、消防車両又は救急車の表示、警察官、消防士又は救急隊員の制服の表示、電柱番号、車のナンバーなどが挙げられる。
【0048】
［動作］
図７は図６に示す画像処理装置１２を用いて投稿画像を処理する方法を示すフローチャートである。図７に示すように、本変形例の画像処理方法では、店名抽出工程Ｓ２１、店名推定工程Ｓ２２、位置情報取得工程Ｓ２４、撮影場所特定工程Ｓ２５に加えて、投稿画像から地名に関する文字を抽出する地名抽出工程Ｓ２３を行う。なお、店名推定工程Ｓ２２は、必須ではなく、必要に応じて実施すればよい。
図７は図６に示す画像処理装置１２を用いて投稿画像を処理する方法を示すフローチャートである。図７に示すように、本変形例の画像処理方法では、店名抽出工程Ｓ２１、店名推定工程Ｓ２２、位置情報取得工程Ｓ２４、撮影場所特定工程Ｓ２５に加えて、投稿画像から地名に関する文字を抽出する地名抽出工程Ｓ２３を行う。なお、店名推定工程Ｓ２２は、必須ではなく、必要に応じて実施すればよい。
【0049】
地名抽出工程Ｓ２３には、店名抽出工程Ｓ２１や店名推定工程Ｓ２２と同一の投稿画像データが入力され、ＯＣＲなどの文字認識技術を用いて投稿画像を解析して、画像中の文字を認識し、それらの文字から地名を抽出する。この地名抽出工程Ｓ３は、店名抽出工程Ｓ１１や店名推定工程Ｓ１２と並行して行うことができ、抽出された地名の情報は位置情報取得工程Ｓ２４で利用される。
【0050】
具体的には、位置情報取得工程２４において、店名抽出工程Ｓ２１及び店名推定工程Ｓ２２で抽出・推定された店名を地名抽出工程Ｓ２３で抽出された地名の地域にある店に限定して位置情報を取得する。この方法は、抽出・推定された店の数が多い場合に、場所特定の精度を向上すると共に処理時間を短縮する効果がある。
【0051】
［プログラム］
前述した各工程は、画像処理装置１２の各部の機能を実現するためのコンピュータプログラムを作成し、１又は２以上のコンピュータに実装することにより実施することができる。即ち、本変形例の画像処理方法は、投稿画像に含まれる看板の文字を認識して店の名前を抽出する店名抽出機能と、必要に応じて投稿画像に含まれる店舗の外観から店の名前を推定する店名推定機能と、投稿画像に含まれる文字を認識して地名を抽出する地名抽出機能と、地図データベースから、店名抽出機能で抽出された名前を有する店及び店名推定処理で推定された名前を有し、かつ、地名抽出機能で抽出された地名の地域にある店の位置情報を取得する位置情報取得機能と、店名が異なる２以上の店についてその位置情報をクラスター分析し、その結果から投稿画像の撮影場所を特定する撮影場所特定機能をコンピュータに実行させるプログラムを、コンピュータ又は画像処理装置で動作させることにより実施することができる。
前述した各工程は、画像処理装置１２の各部の機能を実現するためのコンピュータプログラムを作成し、１又は２以上のコンピュータに実装することにより実施することができる。即ち、本変形例の画像処理方法は、投稿画像に含まれる看板の文字を認識して店の名前を抽出する店名抽出機能と、必要に応じて投稿画像に含まれる店舗の外観から店の名前を推定する店名推定機能と、投稿画像に含まれる文字を認識して地名を抽出する地名抽出機能と、地図データベースから、店名抽出機能で抽出された名前を有する店及び店名推定処理で推定された名前を有し、かつ、地名抽出機能で抽出された地名の地域にある店の位置情報を取得する位置情報取得機能と、店名が異なる２以上の店についてその位置情報をクラスター分析し、その結果から投稿画像の撮影場所を特定する撮影場所特定機能をコンピュータに実行させるプログラムを、コンピュータ又は画像処理装置で動作させることにより実施することができる。
【0052】
本変形例の画像処理装置１２では、地名抽出部６で抽出された地名の地域に限定して位置情報を取得しているため、地図データベースから取得する位置情報が多い場合にその数を絞りこむことが可能であり、撮影場所特定部３の負荷を軽減して処理時間を短縮できると共に、撮影場所の特定精度を高めることができる。なお、本変形例における上記以外の構成及び効果は、前述した第１の実施形態又はその第１変形例と同様である。
【0053】
（第２の実施形態）
次に、本発明の第２の実施形態に係る画像処理システムについて説明する。図８は本実施形態の画像処理システムの構成例を示す概念図である。図８に示すように、本実施形態の画像処理システム４０は、前述した第１の実施形態の画像処理装置１０と、インターネット５０を介して任意の事象に関する投稿画像３０ａ，３０ｂを収集する投稿画像データ収集装置４１を備える。
次に、本発明の第２の実施形態に係る画像処理システムについて説明する。図８は本実施形態の画像処理システムの構成例を示す概念図である。図８に示すように、本実施形態の画像処理システム４０は、前述した第１の実施形態の画像処理装置１０と、インターネット５０を介して任意の事象に関する投稿画像３０ａ，３０ｂを収集する投稿画像データ収集装置４１を備える。
【0054】
この画像処理システム４０は、投稿画像データ収集装置４１で収集した投稿画像３０ａ，３０ｂを、画像処理装置１０で処理し、外部の地図データベース４などを利用して画像の撮影場所を特定する。また、本実施形態の画像処理システム４０には、前述した特許文献２（特開２０１８－１９０１１３号公報）に記載のデータ処理装置が設けられていてもよく、また、これらの装置で特定された撮影場所情報を付加して、投稿画像を外部配信する配信装置４２が設けられていてもよい。
【0055】
本実施形態の画像処理システムは、投稿画像に含まれる看板から２以上の店の名前を抽出し、その名前を有する全ての店の位置情報を取得してクラスター分析を行っているため、投稿画像データからピンポイントで撮影場所を特定することができる。
【0056】
なお、本実施形態における上記以外の構成及び効果は、前述した第１の実施形態と同様である。また、図８には図１に示す第１の実施形態の画像処置装置１０を用いた構成を示しているが、本発明はこれに限定されるものではなく、図４に示す第１変形例の画像処置装置１１又は図６に示す第２変形例の画像処理装置１２を用いることも可能であり、その場合も同様の効果が得られる。
【符号の説明】
【0057】
１ 店名抽出部
２ 位置情報取得部
３ 撮影場所特定部
４ 地図データベース
５ 店名推定部
６ 地名抽出部
１０、１１、２０ 画像処理装置
３０ａ、３１ｂ 投稿画像
４０ 画像処理システム
４１ 投稿画像データ収集装置
４２ 配信装置
５０ インターネット
２ 位置情報取得部
３ 撮影場所特定部
４ 地図データベース
５ 店名推定部
６ 地名抽出部
１０、１１、２０ 画像処理装置
３０ａ、３１ｂ 投稿画像
４０ 画像処理システム
４１ 投稿画像データ収集装置
４２ 配信装置
５０ インターネット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】