(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-01-23
(45)【発行日】2023-01-31
(54)【発明の名称】情報処理装置、プログラムおよび情報処理方法
(51)【国際特許分類】
G06Q 50/00 20120101AFI20230124BHJP
【FI】
G06Q50/00 300
(21)【出願番号】P 2022073936
(22)【出願日】2022-04-28
【審査請求日】2022-04-28
【早期審査対象出願】
(73)【特許権者】
【識別番号】514323246
【氏名又は名称】株式会社JX通信社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】米重 克洋
(72)【発明者】
【氏名】柳 佳音
(72)【発明者】
【氏名】鴻谷 宙輝
【審査官】松田 岳士
(56)【参考文献】
【文献】特開2018-190113(JP,A)
【文献】特開2019-164788(JP,A)
【文献】米国特許第08131118(US,B1)
【文献】特開2011-159009(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
G06F 16/00-16/958
(57)【特許請求の範囲】
【請求項1】
ソーシャルネットワーキングサービスにおける投稿から判定対象投稿を取得する投稿取得部と、
前記判定対象投稿の内容が示す第1事象を判定する事象判定部と、
前記判定対象投稿に含まれる判定対象画像と、前記判定対象投稿とは別の投稿であって、前記別の投稿の内容が示す第2事象の発生位置が特定された比較対象投稿に含まれる比較対象画像とに基づいて、前記第1事象の発生位置を特定する第1位置特定処理を行う第1位置特定部と、を備え
、
前記第1位置特定部は、前記第1事象と事象の種類が共通する前記第2事象を示す内容の投稿を前記比較対象投稿とするか、前記判定対象投稿と投稿時間帯が共通する投稿を前記比較対象投稿とするか、または、前記第1事象と前記事象の種類が共通する前記第2事象を示す内容の投稿であってかつ前記判定対象投稿と前記投稿時間帯が共通する投稿を前記比較対象投稿とする
ことを特徴とする情報処理装置。
【請求項2】
前記判定対象投稿に含まれるテキスト情報に基づいて、前記第1事象の発生位置を特定する第2位置特定処理を行う第2位置特定部を備え、
前記第2位置特定部が前記第1事象の発生位置を特定できない場合に、前記第1位置特定部は前記第1位置特定処理を行う、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記テキスト情報には、前記判定対象投稿のメタデータとしてのテキスト、前記判定対象投稿の本文テキスト、および、前記判定対象画像内のテキストが含まれ、
前記第2位置特定部は、前記メタデータにおける投稿位置情報、前記メタデータにおける前記判定対象画像の撮影位置情報、前記本文テキストに含まれる地名、または、前記判定対象画像内のテキストに含まれる地名に基づいて、前記第2位置特定処理を行う、
ことを特徴とする請求項2に記載の情報処理装置。
【請求項4】
前記判定対象画像の特徴量および前記比較対象画像の特徴量を抽出する特徴量抽出部を備え、
前記第1位置特定部は、前記判定対象画像の特徴量と前記比較対象画像の特徴量との一致度合いに基づいて、前記第1事象の発生位置を特定する、
ことを特徴とする請求項1から請求項3のいずれか1項に記載の情報処理装置。
【請求項5】
前記特徴量抽出部は、前記判定対象画像の特徴量および前記比較対象画像の特徴量として、前記判定対象画像の局所特徴量および前記比較対象画像の局所特徴量を抽出する
ことを特徴とする請求項4に記載の情報処理装置。
【請求項6】
前記特徴量抽出部は、前記判定対象画像の特徴量および前記比較対象画像の特徴量として、前記判定対象画像の画像統計量および前記比較対象画像の画像統計量を抽出する、
ことを特徴とする請求項4に記載の情報処理装置。
【請求項7】
前記特徴量抽出部は、前記判定対象画像の特徴量および前記比較対象画像の特徴量として、前記判定対象画像内の被写体を示す文字列の出現情報および前記比較対象画像内の被写体を示す文字列の出現情報を抽出する、
ことを特徴とする請求項4に記載の情報処理装置。
【請求項8】
前記特徴量抽出部は、前記判定対象画像の特徴量および前記比較対象画像の特徴量として、前記判定対象画像内の被写体のうち地理的な位置が固定された被写体の特徴量および前記比較対象画像内の被写体のうち地理的な位置が固定された被写体の特徴量を抽出する ことを特徴とする請求項4に記載の情報処理装置。
【請求項9】
前記第1位置特定部は、前記第1事象と前記事象の種類が共通する前記第2事象を示す内容の投稿であってかつ前記判定対象投稿と前記投稿時間帯が共通する投稿を前記比較対象投稿とする場合、前記投稿時間帯として、前記事象の種類ごとに長さが設定された前記投稿時間帯を用いる
ことを特徴とする請求項
1から請求項3のいずれか1項に記載の情報処理装置。
【請求項10】
コンピュータを、請求項1に記載の情報処理装置として機能させるためのプログラム。
【請求項11】
情報処理装置が行う情報処理方法であって、
投稿取得部が、ソーシャルネットワーキングサービスにおける投稿から判定対象投稿を取得するステップと、
事象判定部が、前記判定対象投稿の内容が示す第1事象を判定するステップと、
第1位置特定部が、前記判定対象投稿に含まれる判定対象画像と、前記判定対象投稿とは別の投稿であって、前記別の投稿の内容が示す第2事象の発生位置が特定された比較対象投稿に含まれる比較対象画像とに基づいて、前記第1事象の発生位置を特定する第1位置特定処理を行うステップと、を備え、
前記第1位置特定処理を行うステップにおいて、前記第1位置特定部は、前記第1事象と事象の種類が共通する前記第2事象を示す内容の投稿を前記比較対象投稿とするか、前記判定対象投稿と投稿時間帯が共通する投稿を前記比較対象投稿とするか、または、前記第1事象と前記事象の種類が共通する前記第2事象を示す内容の投稿であってかつ前記判定対象投稿と前記投稿時間帯が共通する投稿を前記比較対象投稿とする
ことを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、プログラムおよび情報処理方法に関する。
【背景技術】
【0002】
ソーシャルネットワーキングサービス(以下「SNS」ともいう。)における投稿(以下「SNS投稿」ともいう。)の中には、世の中で発生した様々な事象に関する内容を含むものがある。このため、SNS投稿の内容をニュース等の発信に利用する事業者も現れている。このようなSNS投稿の内容をニュース等で利用する場合、事象が発生した位置(以下「事象の発生位置」という。)を伝えることが重要であるが、SNS投稿から得られる情報には限りがあり、その位置の特定が困難なことがある。
例えば、特許文献1には、SNS投稿の投稿位置情報等が得られない場合に、SNS投稿の内容が示す事象の発生位置を特定するため、投稿者情報または投稿者の過去の投稿を用いて投稿者の居住地等の生活圏を特定し、特定した生活圏を事象の発生位置として特定するデータ処理装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載された従来の技術では、事象の発生位置と投稿者の生活圏とは必ずしも一致しないため、事象の発生位置が誤って特定される可能性があるという課題があった。
【0005】
本発明は上記課題を解決するものであり、SNSにおける投稿の内容が示す事象の発生位置をより正確に特定することができる情報処理装置、プログラムおよび情報処理方法を得ることを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る情報処理装置は、SNSにおける投稿から判定対象投稿を取得する投稿取得部と、判定対象投稿の内容が示す第1事象を判定する事象判定部と、判定対象投稿に含まれる判定対象画像と、判定対象投稿とは別の投稿であって、別の投稿の内容が示す第2事象の発生位置が特定された比較対象投稿に含まれる比較対象画像とに基づいて、第1事象の発生位置を特定する第1位置特定処理を行う第1位置特定部を備え、第1位置特定部は、第1事象と事象の種類が共通する第2事象を示す内容の投稿を比較対象投稿とするか、判定対象投稿と投稿時間帯が共通する投稿を比較対象投稿とするか、または、第1事象と事象の種類が共通する第2事象を示す内容の投稿であってかつ判定対象投稿と投稿時間帯が共通する投稿を比較対象投稿とする。
【発明の効果】
【0007】
本発明によれば、SNSにおける投稿から判定対象投稿を取得し、判定対象投稿の内容が示す第1事象を判定し、判定対象投稿に含まれる判定対象画像と、判定対象投稿とは別の投稿であって、別の投稿の内容が示す第2事象の発生位置が特定された比較対象投稿に含まれる比較対象画像とに基づいて、第1事象の発生位置を特定する。これにより、本発明に係る情報処理装置は、SNSにおける投稿が示す事象の発生位置をより正確に特定することができる。
【図面の簡単な説明】
【0008】
【
図1】実施の形態1に係る情報処理システムの構成を示すブロック図である。
【
図2】実施の形態1に係る情報処理装置の機能を実現するハードウェア構成を示すブロック図である。
【
図3】判定対象画像および比較対象画像の例を示す図である。
【
図4】実施の形態1に係る情報処理システムの変形例(1)の構成を示すブロック図である。
【
図5】実施の形態1に係る情報処理システムの変形例(2)の構成を示すブロック図である。
【
図6】実施の形態1に係る情報処理方法を示すフローチャートである。
【発明を実施するための形態】
【0009】
実施の形態1.
図1は、実施の形態1に係る情報処理システム1の構成を示すブロック図である。
図1において、情報処理システム1は、情報処理装置2、サービスユーザ端末3、SNSサーバ4およびSNSユーザ端末5が、ネットワーク6を介して接続されたシステムである。情報処理システム1は、SNSにおける投稿の内容が示す第1事象の発生位置を特定する。ネットワーク6は、インターネットを含む電気通信回線である。
【0010】
情報処理装置2は、SNSにおける投稿から判定対象投稿を取得し、判定対象投稿の内容が示す第1事象を判定し、判定対象投稿に含まれる判定対象画像と、判定対象投稿とは別の投稿であって、当該別の投稿の内容が示す第2事象の発生位置が特定された比較対象投稿に含まれる比較対象画像とに基づいて第1事象の発生位置を特定する。
なお、位置は、緯度および経度の組み合わせ、緯度、経度および標高の組み合わせ、地名、住所、施設名、建物名、または、店舗名等の情報として特定される。
【0011】
情報処理装置2は、例えばサーバであり、世の中で発生した事象をその事象の発生位置とともに通知する通知サービスを、サービスユーザ端末に提供するものである。例えば、情報処理装置2は、発生した事象についての速報を、その事象の発生位置およびその事象の発生を話題にした投稿とともに、サービスユーザ端末3に通知する。
通知サービスの対象となる事象は、世の中で発生する事象であれば、どのような種類の事象でもよい。例えば、通知サービスの対象となる事象の種類は、各種催し物の開催、映画等のロケ、天文現象、珍しい気象現象、有名人との遭遇、スポーツの試合経過、新商材の販売開始、商材に対するユーザの行動、商材のキャンペーンの開催、店舗等での商材の価格設定、店舗の混雑、店舗の改装、新店舗のオープン、各種の花の開花、都会での野生動物の出現、火災、地震、浸水、台風、豪雨、豪雪、竜巻、発雷、地滑り、交通事故、交通渋滞、道路寸断、道路工事、道路付帯物の破損、通行止め、公共交通機関の遅延もしくは停止等の運行障害、停電、断水、ガス供給停止、帰宅困難状態、工場内での事故、特定の企業の営業停止、建造物の倒壊、集団感染、システム障害、ストライキ、犯罪、暴動、株価の下落、為替の変動、または、規制法案の成立等である。
【0012】
比較対象投稿は、比較対象画像となる画像を含む投稿である。画像とは、静止画像または動画像のことである。また、比較対象投稿は、その内容が示す事象、つまり第2事象となる事象の種類が既知であり、さらに、第2事象の発生位置が特定された投稿である。
【0013】
情報処理装置2は、SNSにおける投稿を比較対象投稿としてもよいし、例えば、企業等が実施するアンケートへの回答等として得られた投稿を比較対象投稿としてもよい。企業等が実施するアンケートへの回答には、例えば、上述の通知サービス等を含むニュース配信サービスにおいて、配信されたニュースの読者に対して実施されたアンケートへの回答が含まれる。また、情報処理装置2は、例えば、保険の契約者から保険会社に対して送信された損害物もしくは事故の画像を含む投稿、道路管理会社が保有するライブカメラの画像、または、ドライブレコーダーの画像等を、比較対象投稿に含めてもよい。
情報処理装置2がSNSにおける投稿を比較対象投稿とする場合、情報処理装置2は、判定対象投稿が投稿されたSNSと同じSNSにおける投稿を比較対象投稿としてもよいし、判定対象投稿が投稿されたSNSとは異なるSNSにおける投稿を比較対象投稿としてもよい。
【0014】
また、情報処理装置2がSNSにおける投稿を比較対象投稿とする場合、比較対象投稿は、過去に、情報処理装置2がその比較対象投稿を判定対象投稿として事象の発生位置を特定して、後述する記憶部23等の記憶装置に記憶させておいた投稿であってもよいし、人手により事象の発生位置が特定されて、記憶装置に記憶させておいた投稿であってもよい。
なお、記憶装置に記憶させておいた投稿とは、より正確には、記憶装置に記憶させておいた投稿のデータのことである。記憶装置には、比較対象投稿として利用可能な投稿のデータとともに、当該データと紐づけて、第2事象の種類を示す情報(以下「第2事象種類情報」という。)と、第2事象の発生位置を示す情報(以下「第2事象位置情報」という。)とが、記憶されている。
また、記憶装置には、比較対象投稿として利用可能な投稿のデータとともに、当該データと紐づけて、比較対象投稿として利用可能な投稿の投稿日時の情報(以下「比較投稿日時情報」という。)を示すテキスト情報が、記憶されていてもよい。この比較投稿日時情報には、比較対象投稿として利用可能な投稿に含まれる画像の撮影日時を示すテキスト情報も含まれ得る。また、記憶装置には、比較対象投稿のデータとともに、当該データと紐づけて、比較対象投稿の投稿者の情報(以下「比較投稿者情報」という。)を示すテキスト情報が、記憶されていてもよい。
以下では、記憶部23に、比較対象投稿として利用可能な投稿が、第2事象種類情報、第2事象位置情報、および、比較投稿日時情報とともに、予め記憶されているものとして説明する。
【0015】
サービスユーザ端末3は、情報処理装置2が提供する通知サービスを利用するユーザ(以下「サービスユーザ」という。)が使用する端末である。サービスユーザ端末3は、ネットワーク6を介して、少なくとも情報処理装置2と通信可能な端末装置であり、例えば、スマートフォン、タブレット端末またはPC(Personal Computer)である。
サービスユーザ端末3には、例えば、通知サービスを利用するための専用アプリケーションがインストールされている。また、サービスユーザ端末3では、SaaS(Software as a Service)の形態で提供される通知サービスが利用可能であってもよい。つまり、通知サービスを提供するためのサービス用アプリケーションは、情報処理装置2で実行されており、サービスユーザ端末3は、サービス専用のアプリケーションをインストールすることなく、Webブラウザ上で通知サービスの提供を受けることもできる。
サービスユーザ端末3は、情報処理装置2から事象の発生に関する通知を受信して、サービスユーザ端末3が有する表示部(不図示)に、適宜の態様で通知を表示することができる。
【0016】
なお、実施の形態1では、情報処理装置2が通知サービスをサービスユーザ端末3に提供する形態を説明するが、サービスユーザ端末3自体が、SNSにおける投稿から取得した判定対象投稿に含まれる判定対象画像と比較対象投稿に含まれる比較対象画像とに基づいて第1事象の発生位置を特定する機能を有してもよい。サービスユーザ端末3は、自身が特定した事象の発生位置を利用して、上述の表示部(不図示)に、事象の発生の通知を表示することができる。この場合、情報処理システム1には、サーバとしての情報処理装置2は不要であり、サービスユーザ端末3自体が情報処理装置2として機能する。
【0017】
SNSサーバ4は、ネットワーク6を介して、SNSユーザ端末5にSNSを提供するサーバである。SNSとしては、例えば、Twitter(登録商標)、Instagram(登録商標)、TikTok(登録商標)、YouTube(登録商標)、Facebook(登録商標)、LINE(登録商標)、LINE WORKS(登録商標)、または、LoGoチャット(登録商標)等がある。また、SNSは、社内でのみ使用される社内SNSであってもよい。また、SNSは、GIS(Geographic Information System)ソフトを利用した投稿であってもよい。
SNSユーザ端末5は、SNSを利用するユーザ(以下「SNSユーザ」という。)が用いる端末である。例えば、SNSユーザは、SNSユーザ端末5を用いてSNSサーバ4が提供するSNSにログインすることによりSNSの利用が可能となる。SNSユーザ端末5は、ネットワーク6を介して、少なくともSNSサーバ4と通信可能な端末装置であり、例えば、スマートフォン、タブレット端末またはPCである。
【0018】
情報処理装置2についてより詳細に説明する。情報処理装置2は、
図1に示すように、通信部21、演算部22および記憶部23を備える。
通信部21は、ネットワーク6を介して、サービスユーザ端末3、SNSサーバ4またはSNSユーザ端末5と通信を行う。例えば、通信部21は、LTE、3G、4Gまたは5G等の通信方式によるモバイル通信が可能なサービスユーザ端末3またはSNSユーザ端末5との間で、ネットワーク6を介して通信可能である。
演算部22は、情報処理装置2の全体動作を制御する。演算部22は、投稿取得部221、事象判定部222および第1位置特定部223を備える。演算部22が、情報処理アプリケーションを実行することで、投稿取得部221、事象判定部222および第1位置特定部223の各機能が実現される。
記憶部23は、例えば、情報処理アプリケーションと、演算部22の演算処理に用いられる情報を記憶する。記憶部23は、演算処理に用いられる情報として、例えば、判定対象投稿、判定対象投稿の判定対象画像、比較対象投稿、および比較対象投稿の比較対象画像を記憶する。記憶部23は、情報処理装置2として機能するコンピュータが備える記憶装置であり、HDD(Hard Disk Drive)もしくはSSD(Solid State Drive)等のストレージ、または、
図2のメモリ103等を含むものである。
【0019】
図2は、情報処理装置2の機能を実現するハードウェア構成を示すブロック図である。例えば、情報処理装置2は、ハードウェア構成として、通信インタフェース100、入出力インタフェース101、プロセッサ102およびメモリ103を有する。情報処理装置2が備える、投稿取得部221、事象判定部222および第1位置特定部223の各機能は、これらのハードウェア構成において、情報処理アプリケーションが実行されることで実現される。
【0020】
通信インタフェース100は、ネットワーク6を介して外部装置から受信されたデータをプロセッサ102へ出力し、プロセッサ102が生成したデータを、ネットワーク6を介して、サービスユーザ端末3へ送信する。プロセッサ102は、入出力インタフェース101を介して、
図1における記憶部23に対しデータを読み書きする。
【0021】
投稿取得部221、事象判定部222および第1位置特定部223の各機能を実現するための情報処理アプリケーションを構成するプログラムは、記憶部23に記憶されている。プロセッサ102は、入出力インタフェース101を介して記憶部23に記憶されたプログラムを読み出してメモリ103にロードし、メモリ103にロードされたプログラムを実行する。これにより、プロセッサ102は、投稿取得部221、事象判定部222および第1位置特定部223の各機能を実現する。メモリ103は、例えば、RAM(Random Access Memory)である。
【0022】
投稿取得部221は、SNSにおける投稿(SNS投稿)から判定対象投稿を取得する。投稿取得部221は、例えば、予め定められた時間間隔ごとに、SNSサーバ4にアクセスし、SNSサーバ4が管理するSNS投稿のうち過去に取得していないSNS投稿を判定対象投稿として取得する取得処理を行う。投稿取得部221が取得処理を行う時間間隔は、任意に設定可能である。投稿取得部221が取得処理を行う時間間隔は、例えば、1分間隔である。また、投稿取得部221は、特定のキーワードに基づく検索結果として、判定対象投稿を取得してもよい。この場合、投稿取得部221は、取得処理を行う時間間隔を、検索に使用するキーワードに応じて変えてもよい。例えば、投稿取得部221は、頻繁に投稿を取得すべき際のキーワードを使用する場合、5~10秒程度の時間間隔で取得処理を行い、それ以外の場合、1~10分程度の時間間隔で取得処理を行う。
また投稿取得部221は、メディア関連のアカウント等の特定のアカウントから投稿を取得してもよい。
【0023】
投稿取得部221による判定対象投稿の取得処理は、より正確には、判定対象投稿となるSNS投稿のデータを取得する処理である。
SNS投稿のデータには、例えば、SNS投稿の本文のテキストを示すテキスト情報(以下「本文テキスト」という。)、または、SNS投稿に含まれる画像の画像情報が含まれる。ここで、画像とは、静止画像または動画像のことである。
また、SNS投稿のデータには、例えば、SNS投稿のメタデータが含まれる。
SNS投稿のメタデータには、例えば、SNS投稿の投稿位置の情報(以下「投稿位置情報」という。)を示すテキスト情報、または、画像の撮影位置の情報(以下「撮影位置情報」という。)を示すテキスト情報が含まれ得る。以下、投稿位置情報を示すテキスト情報、または、画像の撮影位置情報を示すテキスト情報等の、メタデータに含まれ得るテキスト情報を総称して、「メタデータとしてのテキスト」ともいう。
また、SNS投稿のメタデータには、SNS投稿の投稿日時の情報(以下「判定投稿日時情報」という。)を示すテキスト情報が含まれ得る、つまり、メタデータとしてのテキストには、判定投稿日時情報が含まれ得る。また、SNS投稿のメタデータには、SNS投稿に含まれる画像の撮影日時の情報を示すテキスト情報が含まれ得る、つまり、メタデータとしてのテキストには、判定対象画像の撮影日時を示すテキスト情報が含まれ得る。判定対象画像の撮影日時の情報を示すテキスト情報は、例えば、投稿日時の情報を示すテキスト情報が得られない場合に、当該投稿日時の情報を示すテキスト情報に代えて利用される。以下では、判定投稿日時情報には、判定対象画像の撮影日時を示す情報も含まれ得るものとして説明する。稿のメタデータには、SNS投稿の投稿者の情報(以下「判定投稿者情報」という。)を示すテキスト情報が含まれ得る、つまり、メタデータとしてのテキストには、判定投稿者情報が含まれ得る。
投稿取得部221は、取得した判定対象投稿を、事象判定部222に出力する。また、投稿取得部221は、取得した判定対象投稿を、記憶部23に出力して、記憶部23に記憶させてもよい。
【0024】
事象判定部222は、判定対象投稿の内容が示す第1事象を判定する。ここで、判定対象投稿の内容とは、判定対象投稿の本文テキストが言及している内容、または、判定対象投稿に含まれる画像に写された内容を意味する。また、第1事象を判定するとは、第1事象について、その事象の種類を判定することを意味する。
事象判定部222は、例えば、自然言語処理を利用して、本文テキストの解析を行い、第1事象を判定する。自然言語処理には、人間の話し言葉または書き言葉を学習させた機械学習モデルを用いてもよい。
また、事象判定部222は、例えば、画像情報を入力すると画像に撮影された事象を出力するように学習させた機械学習モデルを利用して、SNS投稿に含まれる画像の解析を行い、第1事象を判定してもよい。画像が動画像の場合、事象判定部222は、動画像に含まれる全フレームのうち、1または複数のフレームを抽出して、機械学習モデルに入力することにより、第1事象を判定してもよい。
事象判定部222は、判定対象投稿と、判定した第1事象の種類を示す情報(以下「第1事象種類情報」という。)とを、第1位置特定部223に出力する。なお、以下、判定対象投稿には、判定対象画像となる画像が含まれるものとして説明する。
【0025】
第1位置特定部223は、判定対象投稿に含まれる判定対象画像と、判定対象投稿とは別の投稿であって、当該別の投稿の内容が示す第2事象の発生位置が特定された比較対象投稿に含まれる比較対象画像とに基づいて、第1事象の発生位置を特定する第1位置特定処理を行う。
上述のとおり、比較対象投稿は、比較対象画像となる画像を含む投稿であり、その内容が示す事象、つまり第2事象となる事象がどのような事象であるかが既知であり、さらに、第2事象の発生位置が特定された投稿である。また、記憶部23には、比較対象投稿として利用可能な投稿が、第2事象種類情報、第2事象位置情報、および、比較投稿日時情報とともに、予め記憶されている。
第1位置特定部223は、記憶部23から、比較対象投稿を取得して、判定対象投稿に含まれる判定対象画像と、比較対象投稿に含まれる比較対象画像とに基づいて、第1位置判定処理を行う。第1位置特定部223は、記憶部23から、1または複数の比較対象投稿を取得する。
【0026】
第1位置特定部223は、例えば、第1事象と事象の種類が共通する第2事象を示す内容の投稿を比較対象投稿とするか、判定対象投稿と投稿時間帯が共通する投稿を比較対象投稿とするか、または、第1事象と事象の種類が共通する第2事象を示す内容の投稿であってかつ判定対象投稿と投稿時間帯が共通する投稿を比較対象投稿とする。
比較対象投稿を利用した第1位置特定処理を行う場合、比較対象投稿として利用可能な投稿の全てを対象とするよりも、種々の観点から、判定対象投稿に近い投稿のみを比較対象投稿とする方が、より効果的または効率的である。第1位置特定部223が、上記の各条件のいずれかを満たす投稿を比較対象投稿とすることで、第1位置特定部223は、より効果的または効率的に、第1位置特定処理を行うことができる。
【0027】
例えば、第1位置特定部223が、第1事象と事象の種類が共通する第2事象を示す内容の投稿を比較対象投稿とするものである場合、第1位置特定部223は、事象判定部222から取得した第1事象種類情報を用いて、記憶部23から、比較対象投稿を取得する。
より具体的には、第1位置特定部223は、記憶部23に記憶されている投稿のうち、投稿に紐づけられた第2事象種類情報が示す事象の種類と、第1事象種類情報が示す事象の種類とが共通する1または複数の投稿を抽出して、1または複数の比較対象投稿として取得する。
例えば、第1事象種類情報が示す事象の種類が「火災」であった場合、第1位置特定部223は、記憶部23に記憶されている投稿のうち、投稿に紐づけられた第2事象種類情報が示す事象の種類が「火災」である1または複数の投稿を抽出して、1または複数の比較対象投稿として取得する。
【0028】
また、例えば、第1位置特定部223が、判定対象投稿と投稿時間帯が共通する投稿を比較対象投稿とするものである場合、第1位置特定部223は、事象判定部222から取得した判定対象投稿のメタデータに含まれる判定投稿日時情報を用いて、記憶部23から、比較対象投稿を取得する。
より具体的には、第1位置特定部223は、記憶部23に記憶されている投稿のうち、投稿に紐づけられた比較投稿日時情報が示す投稿日時と、判定投稿日時情報が示す投稿日時とが、共通の投稿時間帯に含まれる、1または複数の投稿を抽出して、1または複数の比較対象投稿として取得する。
【0029】
例えば、第1位置特定部223が、記憶部23に記憶されている投稿のうち、判定投稿日時情報が示す投稿日時の前後1時間の範囲内の投稿時間帯に投稿された投稿を、比較対象投稿として取得する場合を想定する。
この想定の場合、第1位置特定部223は、例えば、判定投稿日時情報が示す投稿日時の1時間前を開始時刻とし、また、その投稿日時の1時間後を終了時刻とする、投稿時間帯を設定し、記憶部23に記憶されている投稿のうち、投稿に紐づけられた比較投稿日時情報が示す投稿日時が、設定された投稿時間帯に含まれる1または複数の投稿を抽出して、1または複数の比較対象投稿として取得する。
また、上記想定の場合、第1位置特定部223は、例えば、記憶部23に記憶されている投稿のうち、投稿に紐づけられた比較投稿日時情報が示す投稿日時と、判定投稿日時情報が示す投稿日時との差分を算出し、その差分が1時間以内の1または複数の投稿を抽出して、1または複数の比較対象投稿として取得する。
例えば、判定投稿日時情報が示す投稿日時が「2022年4月15日16時43分」であり、第1位置特定部223がその投稿日時の前後1時間の範囲内の投稿時間帯に投稿された投稿を比較対象投稿として取得する場合、第1位置特定部223は、記憶部23に記憶されている投稿のうち、「2022年4月15日15時43分」から「2022年4月15日17時43分」までの投稿時間帯に投稿された1または複数の投稿を抽出して、1または複数の比較対象投稿として取得する。
【0030】
また、例えば、第1位置特定部223が、第1事象と事象の種類が共通する第2事象を示す内容の投稿であってかつ判定対象投稿と投稿時間帯が共通する投稿を比較対象投稿とする場合、第1位置特定部223は、事象判定部222から取得した第1事象種類情報と、事象判定部222から取得した判定対象投稿のメタデータに含まれる判定投稿日時情報とを用いて、記憶部23から、比較対象投稿を取得する。
例えば、第1事象種類情報が示す事象の種類が「火災」であり、判定投稿日時情報が示す投稿日時が「2022年4月15日16時43分」であり、第1位置特定部223がその投稿日時の前後1時間の範囲内の投稿時間帯に投稿された投稿を比較対象投稿として取得する場合を想定する。
この場合、第1位置特定部223は、記憶部23に記憶されている投稿のうち、投稿に紐づけられた第2事象種類情報が示す事象の種類が「火災」であり、かつ、「2022年4月15日15時43分」から「2022年4月15日17時43分」までの投稿時間帯に投稿された1または複数の投稿を抽出して、1または複数の比較対象投稿として取得する。
【0031】
第1位置特定部223は、第1事象と事象の種類が共通する第2事象を示す内容の投稿であってかつ判定対象投稿と投稿時間帯が共通する投稿を比較対象投稿とする場合、例えば、投稿時間帯として、事象の種類ごとに長さが設定された投稿時間帯を用いてもよい。
例えば、事象の種類によって、事象が継続する時間も異なる。したがって、事象の種類と投稿時間帯を利用して、判定対象投稿に近い投稿のみを比較対象投稿とする場合は、事象の種類に応じて投稿時間帯の長さを設定すると、事象の種類に無関係に投稿時間帯の長さが固定である場合に比べ、より効率的かつ効果的である。
事象の種類と、投稿時間帯の長さの関係は、例えば、記憶部23に予め記憶されている。例えば、第1事象種類情報が示す事象の種類が、一般的に長く継続する種類の事象であるほど、投稿時間帯の長さが長く設定される。
第1事象種類情報が示す事象の種類が、例えば、「火災」の場合、第1位置特定部223は、判定投稿日時情報が示す投稿日時の前後1時間の範囲内の投稿時間帯に投稿された投稿を比較対象投稿とする。また、第1事象種類情報が示す事象の種類が、例えば、「地滑り」の場合、第1位置特定部223は、判定投稿日時情報が示す投稿日時の前後5時間の範囲内の投稿時間帯に投稿された投稿を比較対象投稿とする。
【0032】
なお、第1位置特定部223による、比較対象投稿の取得の条件は、上述の各条件に限るものではなく、適切な比較対象投稿を取得できるものであれば、どのような条件であってもよい。
第1位置特定部223は、例えば、判定対象投稿の投稿者と、家族関係または友人関係にある者が投稿した投稿を、比較対象投稿としてもよい。SNSでは、当該SNSのユーザ同士の家族関係または友人関係などの人間関係が登録されている場合がある。SNSのユーザ同士が家族関係または友人関係にある場合、ユーザ同士が行動を共にしている可能性も高い。ユーザ同士が行動を共にしていて、例えば、同一の事象に遭遇した場合、各ユーザがその事象を撮影してSNSに投稿している可能性がある。したがって、第1位置特定部223は、判定対象投稿の投稿者と、家族関係または友人関係にある者が投稿した投稿を比較対象投稿とすることで、適切な投稿を比較対象投稿とすることができる。
より具体的には、第1位置特定部223は、記憶部23に記憶されている投稿のうち、投稿に紐づけられた比較投稿者情報が示す投稿者と、判定投稿者情報が示す投稿者とが、家族関係または友人関係にある、1または複数の投稿を抽出して、1または複数の比較対象投稿として取得する。
また、第1位置特定部223は、例えば、上述の事象の種類または投稿時間帯の条件のうち、いずれかまたは両方と、上述の人間関係の条件とを組み合わせて、判定対象投稿の取得の条件として用いるものであってもよい。
【0033】
第1位置特定部223は、記憶部23から、1または複数の比較対象投稿を取得すると、判定対象投稿に含まれる判定対象画像と、比較対象投稿に含まれる比較対象画像とに基づいて、第1位置判定処理を行う。第1位置判定処理は、判定対象画像と比較対象画像とを比較することで、判定対象画像に写っている第1事象と比較対象画像に写っている第2事象とが、同一の事象であるか否かを判定する処理である。なお、ある2つの事象が同一の事象であるとは、それら2つの事象が同一の種類の事象であるだけでなく、同一の位置かつ同一の日時に発生している事象であることを意味する。
図3は、判定対象画像30Aおよび比較対象画像30Bの例を示す図である。
判定対象画像30Aには、信号機31、火災が発生している建物32、2本の街路樹33,33、2台の消防車34,34、看板35、および、マンホールの蓋36が写っている。比較対象画像30Bには、信号機31、火災が発生している建物32、街路樹33、2台の消防車34,34、および、看板35が写っている。
第1位置特定部223は、判定対象画像30Aと比較対象画像30Bとを比較することで、判定対象画像30Aに写っている火災が、比較対象画像30Bに写っている火災と同一の火災であると判定した場合、第1事象である火災が発生した位置が、第2事象位置情報が示す位置であると特定する。
【0034】
なお、第1位置特定部223は、判定対象画像と比較対象画像とを比較することで、判定対象画像に写っている第1事象が、比較対象画像に写っている第2事象と同一の事象ではないと判定した場合、他の比較対象画像との比較を行う。第1位置特定部223は、判定対象画像に写っている第1事象が、比較対象画像に写っている第2事象と同一の事象であると判定できるまで、順次、他の比較対象画像との比較を行う。
第1位置特定部223は、取得された1または複数の判定対象投稿の全てについて、判定対象画像と比較対象画像とを比較した結果、判定対象画像に写っている第1事象が、比較対象画像に写っている第2事象と同一の事象であると判定される判定対象投稿が存在しなかった場合、例えば、第1事象の発生位置を特定できないものとして、第1位置判定処理を終了してもよい。また、この場合、投稿取得部221によって、記憶部23に判定対象投稿が出力され、判定対象投稿が記憶されている場合は、当該判定対象投稿を削除する。
また、第1位置特定部223は、投稿時間帯を条件に含めて取得されている1または複数の判定対象投稿の全てについて、判定対象画像と比較対象画像とを比較した結果、判定対象画像に写っている第1事象が、比較対象画像に写っている第2事象と同一の事象であると判定される判定対象投稿が存在しなかった場合、例えば、一定の合理的な範囲まで投稿時間帯を順次拡大して、新たな判定投稿対象を取得する等して、第1位置判定処理を継続してもよい。
【0035】
第1位置特定部223は、第1事象の発生位置を特定できた場合、記憶部23に、比較対象投稿とともに、当該比較対象投稿と紐づけて、第1事象の種類を示す情報と、第1事象の発生位置を示す情報とを記憶させてもよい。このように記憶部23に記憶された比較対象投稿等の情報は、新たな判定対象投稿が取得された場合に、比較対象投稿として利用可能な投稿となる。
【0036】
このように、実施の形態1に係る情報処理装置2では、投稿取得部221が、SNSにおける投稿から判定対象投稿を取得し、事象判定部222が、判定対象投稿の内容が示す第1事象を判定し、第1位置特定部223が、判定対象投稿に含まれる判定対象画像と比較対象投稿に含まれる比較対象画像とに基づいて、前記第1事象の発生位置を特定する第1位置特定処理を行うことで、SNSにおける投稿が示す事象の発生位置を特定することができる。
【0037】
次に、実施の形態1に係る情報処理システムの変形例について説明する。
図4は、情報処理システム1の変形例(1)である情報処理システム1Aの構成を示すブロック図である。
図4に示すように、情報処理装置2Aは、通信部21、演算部22Aおよび記憶部23Aを備える。
演算部22Aは、情報処理装置2Aの全体動作を制御する。演算部22Aは、投稿取得部221、事象判定部222、第1位置特定部223Aおよび第2位置特定部224を備える。演算部22Aが、情報処理アプリケーションを実行することで、投稿取得部221、事象判定部222、第1位置特定部223Aおよび第2位置特定部224の各機能が実現される。
【0038】
第2位置特定部224は、判定対象投稿に含まれるテキスト情報に基づいて、第1事象の発生位置を特定する第2位置特定処理を行う。第1位置特定部223Aは、第2位置特定部224が第1事象の発生位置を特定できない場合に、第1位置特定部223は、第1位置特定処理を行う。
第1事象の発生位置を特定する場合、判定対象投稿に含まれるテキスト情報に基づいて位置を特定することができれば、テキスト情報に基づかない場合に比べて、位置の特定がより正確にできる可能性が高く、また、効率的である。したがって、まず、第2位置特定部224が判定対象投稿に含まれるテキスト情報に基づいて第1事象の発生位置を特定する第2位置特定処理を行い、第2位置特定部224が第1事象の発生位置を特定できない場合に、第1位置特定部223Aが判定対象画像と比較対象画像とに基づく第1位置特定処理を行うことで、第1事象の発生位置の特定を、より正確かつ効率的に行うことができる。
【0039】
上述のとおり、判定対象投稿となるSNS投稿のデータには、SNS投稿の本文のテキストを示すテキスト情報である「本文テキスト」と、SNS投稿の投稿位置の情報である投稿位置情報を示すテキスト情報、SNS投稿に含まれる画像の撮影位置の情報である撮影位置情報を示すテキスト情報、または、SNS投稿の投稿日時の情報である判定投稿日時情報を示すテキスト情報を含む「メタデータとしてのテキスト」とが含まれる。
また、判定対象投稿となるSNS投稿のデータから得られるテキスト情報には、上記の各テキスト情報以外に、SNS投稿に含まれる画像に写った文字、つまり、判定対象画像に写った文字を示すテキスト情報(以下「判定対象画像内のテキスト」ともいう。)がある。第2位置特定部224は、例えば、判定対象画像内のテキストを、公知の画像解析手段を利用して判定対象画像を解析することによって取得することができる。
このように、テキスト情報には、例えば、判定対象投稿のメタデータとしてのテキスト、判定対象投稿の本文テキスト、および、判定対象画像内のテキストが含まれる。
第2位置特定部224は、例えば、メタデータにおける投稿位置情報、メタデータにおける判定対象画像の撮影位置情報、本文テキストに含まれる地名、または、判定対象画像内のテキストに含まれる地名に基づいて、第2位置特定処理を行う。
【0040】
第2位置特定部224は、例えば、以下の順番で第2位置特定処理を行う。
まず、第2位置特定部224は、メタデータに、判定対象画像の撮影位置情報が含まれているか否かを確認する。第2位置特定部224は、メタデータに、判定対象画像の撮影位置情報が含まれており、判定対象画像の撮影位置情報が取得できた場合、その撮影位置情報が示す位置の情報を、第1事象の発生位置として特定する。
第2位置特定部224は、メタデータに判定対象画像の撮影位置情報が含まれていないことが確認できた場合、次に、メタデータに、投稿位置情報が含まれているか否かを確認する。第2位置特定部224は、メタデータに、投稿位置情報が含まれており、投稿位置情報が取得できた場合、その投稿位置情報が示す位置の情報を、第1事象の発生位置として特定する。
第2位置特定部224は、メタデータに投稿位置情報が含まれていないことが確認できた場合、次に、本文テキストに第1事象の発生位置を示す地名が含まれているか否かを確認する。第2位置特定部224は、例えば、自然言語処理を利用して、本文テキストの解析を行い、地名の有無を判定する。自然言語処理には、人間の話し言葉または書き言葉を学習させた機械学習モデルを用いてもよい。なお、第2位置特定部224は、第1事象の発生位置を示す地名として、本文テキストに含まれる地名を単に取得してもよいし、または、例えば上述の機械学習モデルを用いて、文脈の意味を考慮した上で、特に第1事象の発生位置としての意味を持つ地名を取得してもよい。第2位置特定部224は、本文テキストに地名が含まれており、その地名が取得できた場合、その地名、または、地名が示す位置の情報を、第1事象の発生位置として特定する。
第2位置特定部224は、本文テキストに地名が含まれていないことが確認できた場合、次に、判定対象画像を解析することによって、判定対象画像内のテキストとしての地名を取得することができるか否かを確認する。第2位置特定部224は、判定対象画像内のテキストとしての地名を取得することができた場合は、その地名、または、地名が示す位置の情報を、第1事象の発生位置として特定する。なお、判定対象画像内のテキストとしての地名には、例えば、交差点名標識に記載された交差点名、電柱に記載された住所もしくは電柱管理番号、または、街区表示板に記載された街区等も含まれる。
【0041】
第2位置特定部224は、例えば上記のように第2位置特定処理を行い、その結果、第1事象の発生位置を特定できた場合は、記憶部23Aに、比較対象投稿とともに、当該比較対象投稿と紐づけて、第1事象の種類を示す情報と、第1事象の発生位置を示す情報とを記憶させてもよい。このように記憶部23Aに記憶された比較対象投稿等の情報は、新たな判定対象投稿が取得された場合に、比較対象投稿として利用可能な投稿となる。
また、演算部22Aは、第2位置特定部224が第1事象の発生位置を特定できた場合は、第1位置特定部223Aによる第1位置特定処理を行うことなく、現在の判定対象投稿についての処理を終了する。
また、演算部22Aは、第2位置特定部224が第1事象の発生位置を特定できない場合に、第1位置特定部223Aに、第1位置特定処理を行わせる。
ただし、判定対象投稿に、判定対象画像が含まれていない場合、第1位置特定部223Aは、第1位置特定処理を行うことができないため、演算部22Aは、第1位置特定部223Aによる第1位置特定処理を行うことなく、現在の判定対象投稿についての処理を終了する。また、この場合、投稿取得部221によって、記憶部23Aに判定対象投稿が出力され、判定対象投稿が記憶されている場合は、当該判定対象投稿を削除する。
【0042】
図5は、情報処理システム1の変形例(2)である情報処理システム1Bの構成を示すブロック図である。
図5に示すように、情報処理装置2Bは、通信部21、演算部22Bおよび記憶部23Bを備える。
演算部22Bは、情報処理装置2Bの全体動作を制御する。演算部22Bは、投稿取得部221、事象判定部222、第1位置特定部223Bおよび特徴量抽出部225を備える。演算部22Bが、情報処理アプリケーションを実行することで、投稿取得部221、事象判定部222、第1位置特定部223Bおよび特徴量抽出部225の各機能が実現される。
なお、変形例(2)では、
図1に示した情報処理装置2に特徴量抽出部225が追加された例を示すが、
図4に示した変形例(1)の情報処理装置2Aに特徴量抽出部225を追加してもよい。
【0043】
特徴量抽出部225は、判定対象画像の特徴量および比較対象画像の特徴量を抽出する。第1位置特定部223Bは、判定対象画像の特徴量と比較対象画像の特徴量との一致度合いに基づいて第1事象の発生位置を特定する。
第1位置特定部223Bが行う第1位置判定処理は、判定対象画像と比較対象画像とを比較することで、判定対象画像に写っている第1事象と比較対象画像に写っている第2事象とが、同一の事象であるか否かを判定する処理である。例えば、
図3に示した判定対象画像30Aには、信号機31、火災が発生している建物32、街路樹33、2台の消防車34,34、看板35、および、マンホールの蓋36が写っている。また、
図3に示した比較対象画像30Bには、信号機31、火災が発生している建物32、2本の街路樹33,33、2台の消防車34,34、および、看板35が写っている。
図3に示した判定対象画像30Aに写っている被写体と比較対象画像30Bに写っている被写体とでは、信号機31、火災が発生している建物32、1本の街路樹33、および、2台の消防車34,34が共通している。
同一の事象を撮影した画像であれば、判定対象画像30Aと比較対象画像30Bのように、それぞれの画像に写っている被写体の多くが共通している可能性が高い。そして、判定対象画像と比較対象画像のそれぞれの画像に写っている被写体の多くが共通している場合、それぞれの画像の特徴量を比較すると、特徴量の一致度合いが高くなる可能性が高い。したがって、特徴量抽出部225が、判定対象画像の特徴量および比較対象画像の特徴量を抽出し、第1位置特定部223Bが、判定対象画像の特徴量と比較対象画像の特徴量との一致度合いに基づいて、判定対象画像に写っている第1事象と比較対象画像に写っている第2事象とが、同一の事象であるか否かの判定をすることで、第1位置判定処理を正確に行うことができる。
なお、特徴量の比較を適切に行えるようにするため、特徴量抽出部225は、判定対象画像の特徴量の抽出と、比較対象画像の特徴量の抽出とを、同一の抽出手法を用いて行う。
また、以下、特徴量の具体例をいくつか示すが、これらの特徴量は1種類のみを用いてもよいし、これらの特徴量のうち複数種類を組み合わせて用いてもよい。複数種類の特徴量を用いる場合は、例えば、それぞれの特徴量を用いた一致度合いを正規化し、そのまま加算してもよいし、また、特徴量に応じて重みづけをした上で加算してもよい。
【0044】
特徴量抽出部225による特徴量の抽出処理に先立って、例えば、第1位置特定部223Bは、事象判定部222から取得した判定対象投稿に含まれる判定対象画像と、第1位置特定部223Bが取得した比較対象投稿に含まれる比較対象画像とを、特徴量抽出部225に出力する。その後、特徴量抽出部225は、判定対象画像の特徴量および比較対象画像の特徴量を抽出し、抽出した各画像の特徴量を、第1位置特定部223Bに出力する。
【0045】
特徴量抽出部225は、例えば、判定対象画像の特徴量および比較対象画像の特徴量として、判定対象画像の局所特徴量および比較対象画像の局所特徴量を抽出する。
判定対象画像に写っている第1事象と比較対象画像に写っている第2事象とが、同一の事象であった場合でも、判定対象画像と比較対象画像とは、互いに異なる撮影方向から当該事象を撮影して得られたものであることが多い。また、判定対象画像に写っている当該事象以外の被写体と比較対象画像に写っている当該事象以外の被写体も、異なる撮影方向から撮影されていることが多い。ここで、一般に、画像の回転、スケール変化および照明変化等に対してロバストな特徴量として、局所特徴量が知られている。
したがって、特徴量抽出部225が、各画像の局所特徴量を特徴量として抽出すれば、特徴量抽出部225は、両画像の撮影方向の違いにかかわらず、効果的な特徴量を抽出することができる。局所特徴量を抽出する公知のアルゴリズムとしては、例えば、SIFT(Scale-Invariant Feature Transform)、SURF(Speed-Upped Robust Feature)、または、AKAZE(Accelerated KAZE)等がある。
特徴量抽出部225は、局所特徴量を抽出する公知のアルゴリズムのいずれかを利用して、判定対象画像の特徴量および比較対象画像の特徴量として、判定対象画像の局所特徴量および比較対象画像の局所特徴量を抽出することができる。
第1位置特定部223Bは、特徴量抽出部225から、各画像の局所特徴量を取得する。第1位置特定部223Bは、2つの局所特徴量について、例えばBoVW(Bag of Visual Words)等の公知の手法を用いてその一致度を比較する。第1位置特定部223Bは、例えば、判定対象画像の特徴量と比較対象画像の特徴量との一致度合いが比較的高いと判定した場合、判定対象画像に写っている第1事象と比較対象画像に写っている第2事象とが、同一の事象であると判定し、第2事象位置情報が示す位置を第1事象の発生位置として特定する。
【0046】
また、特徴量抽出部225は、例えば、判定対象画像の特徴量および比較対象画像の特徴量として、判定対象画像の画像統計量および比較対象画像の画像統計量を抽出してもよい。
上述のように、判定対象画像と比較対象画像とが同一の事象を撮影した画像であれば、
図3の判定対象画像30Aと比較対象画像30Bのように、それぞれの画像に写っている被写体の多くが共通している可能性が高い。一般に、被写体の多くが共通していれば、各画像の画像統計量の一致度合いが高くなる。したがって、特徴量抽出部225が、各画像の輝度分布または色分布等の画像統計量を特徴量として抽出すれば、特徴量抽出部225は、両画像内の被写体における共通の被写体の多寡を考慮可能な、効果的な特徴量を抽出することができる。
特徴量抽出部225は、例えば、画像の輝度分布または色分布等の画像統計量を算出する公知のアルゴリズムを利用することで、判定対象画像の特徴量および比較対象画像の特徴量として、判定対象画像の画像統計量および比較対象画像の画像統計量を抽出することができる。
第1位置特定部223Bは、特徴量抽出部225から、各画像の画像統計量を取得する。第1位置特定部223Bは、2つの画像統計量について、例えば、例えばHistgram Intersection等の公知の手法を用いてそれらの一致度を比較する。第1位置特定部223Bは、例えば、判定対象画像の特徴量と比較対象画像の特徴量との一致度合いが比較的高いと判定した場合、判定対象画像に写っている第1事象と比較対象画像に写っている第2事象とが、同一の事象であると判定し、第2事象位置情報が示す位置を第1事象の発生位置として特定する。
【0047】
また、特徴量抽出部225は、例えば、判定対象画像の特徴量および比較対象画像の特徴量として、判定対象画像内の被写体を示す文字列の出現情報および比較対象画像内の被写体を示す文字列の出現情報を抽出してもよい。
上述のように、同一の事象を撮影した画像であれば、
図3の判定対象画像30Aと比較対象画像30Bのように、それぞれの画像に写っている被写体の多くが共通している可能性が高い。したがって、特徴量抽出部225が、例えば、画像に写っている物体の検出アルゴリズムとして公知のYOLO(You Only Look Once)等を利用して、判定対象画像に写っている被写体が何であるか、および、比較対象画像に写っている被写体が何であるかを、特徴量として抽出すれば、特徴量抽出部225は、両画像内の被写体における共通の被写体の多寡を判定可能な、効果的な特徴量を抽出することができる。
ここで、特徴量抽出部225は、特に、YOLO等を利用して行った、各画像に写っている被写体の検出結果を、種々の被写体を示すそれぞれの文字列が検出されたものとして捉え、それぞれの文字列の出現情報を特徴量として抽出するよう構成されている。
【0048】
特徴量抽出部225が各画像の特徴量として各画像内の被写体を示す文字列の出現情報を抽出する場合、特徴量抽出部225は、例えば、判定対象画像と比較対象画像のそれぞれに、特定のランドマークとなるような建造物等が被写体として写っていることを、当該被写体としてのランドマークを示す文字列の出現情報として抽出する。
例えば、判定対象画像と比較対象画像の両方に、東京タワーが被写体として写っていた場合、それぞれの画像の特徴量として、東京タワーを示す文字列の出現情報に「1」等のフラグを付与した特徴量を抽出する。
第1位置特定部223Bは、特徴量抽出部225から、各画像の特徴量としての文字列の出現情報を取得する。第1位置特定部223Bは、例えば、上述の例のように各画像に東京タワーを示す文字列が出現しており、判定対象画像の特徴量と比較対象画像の特徴量との一致度合いが比較的高いと判定した場合、判定対象画像に写っている第1事象と比較対象画像に写っている第2事象とが、同一の事象であると判定し、第2事象位置情報が示す位置を第1事象の発生位置として特定する。
【0049】
また、特徴量抽出部225が各画像の特徴量として各画像内の被写体を示す文字列の出現情報を抽出する場合、特徴量抽出部225は、例えば、判定対象画像と比較対象画像のそれぞれに、特定の種類の被写体が写っていることを、当該被写体を示す文字列の出現情報として抽出してもよい。
この際、特徴量抽出部225は、例えば、一般にBoW(Bag of Words)として公知の文書をベクトルで表現する手法を応用した特徴量抽出を行う。より具体的には、特徴量抽出部225は、各画像に、特定の種類の被写体が写っていることが検出された場合、それらの被写体が写っていることを、各被写体を示す文字列の出現回数を示すベクトルとして表現する。
例えば、判定対象画像と比較対象画像が、
図3の判定対象画像30Aと比較対象画像30Bの例の場合であって、抽出される特徴量としての、特定の種類の被写体を示す文字列の出現回数を示すN次元ベクトルの配列が、[信号機,建物,街路樹,消防車,看板、マンホールの蓋,電柱,・・・]であった場合を想定する。なお、Nは、2以上の整数であり、特徴量の抽出対象となる特定の種類の被写体の数として設定される。
図3に示した判定対象画像30Aには、信号機31が1本、火災が発生している建物32を含め建物が4棟、街路樹33を含め街路樹が2本、消防車34が2台、看板35が1枚、および、マンホールの蓋36が1つ、写っている。したがって、判定対象画像30Aの特徴量は、[1,4,2,2,1,1,0,・・・]のN次元ベクトルとして抽出される。
図3に示した比較対象画像30Bには、信号機31が1本、建物32として建物が1棟、街路樹33が1本、消防車34が2台、および、看板35が1枚、写っている。したがって、比較対象画像30Bの特徴量は、[1,1,1,2,1,0,0,・・・]のN次元ベクトルとして抽出される。
第1位置特定部223Bは、特徴量抽出部225から、各画像の特徴量としてのN次元ベクトルを取得する。第1位置特定部223Bは、2つのN次元ベクトルについて、例えばベクトル同士のなす角度を用いてそれらの一致度を比較する。第1位置特定部223Bは、例えば、判定対象画像の特徴量と比較対象画像の特徴量との一致度合いが比較的高いと判定した場合、判定対象画像に写っている第1事象と比較対象画像に写っている第2事象とが、同一の事象であると判定し、第2事象位置情報が示す位置を第1事象の発生位置として特定する。
【0050】
特徴量抽出部225は、判定対象画像の特徴量および比較対象画像の特徴量として、判定対象画像内の被写体のうち地理的な位置が固定された被写体の特徴量および比較対象画像内の被写体のうち地理的な位置が固定された被写体の特徴量を抽出する。
発生した事象の位置には、人物、動物または車両等、一時的にしかその位置に存在しないものが多く存在する。事象が発生した位置を特定する場合に、判定対象画像および比較対象画像から、これらの一時的にしかその位置に存在しないものを含めて特徴量として抽出してしまうと、判定対象画像に写っている第1事象と比較対象画像に写っている第2事象とが、同一の事象であるか否かの判定が、不正確になるおそれがある。
したがって、特徴量抽出部225が、各画像に写っている被写体のうち、地理的な位置が固定された被写体の特徴量を抽出すれば、特徴量抽出部225は、効果的な特徴量を抽出することができる。地理的な位置が固定された被写体としては、例えば、建築物、看板、交通標識、信号機、電柱、マンホールの蓋、街路樹、公園、線路、踏切、または、高速道路等がある。
例えば、特徴量抽出部225は、上述のように、判定対象画像の特徴量および比較対象画像の特徴量として、判定対象画像内の被写体を示す文字列の出現情報および比較対象画像内の被写体を示す文字列の出現情報を抽出する場合に、地理的な位置が固定された被写体を示す文字列の出現情報だけを抽出するように構成される。このことにより、特徴量抽出部225は、一時的にしかその位置に存在しないものを除外して特徴量を抽出するため、判定対象画像に写っている第1事象と比較対象画像に写っている第2事象とが、同一の事象であるか否かを正確に判定でき、第1事象の発生位置の判定を正確なものとすることができる。
なお、特徴量抽出部225が、両画像の特徴量として、それぞれの画像内の被写体のうち地理的な位置が固定された被写体の特徴量を抽出する場合であっても、例外的に、発生した事象に特徴的な被写体は、特徴量の抽出の対象としてもよい。例えば、救急車(救急用自動車)、消防車(消防用自動車)またはパトカー(交通取締用四輪車)などの、緊急車両(緊急自動車)が複数台集まっている場合は、災害、事件または事故等の事象に関係が深い被写体として考えられるため、特徴量の抽出の対象となる被写体に含めてもよい。
例えば、
図3に示した判定対象画像30Aおよび比較対象画像30Bの例では、信号機、建物、街路樹、看板、マンホールの蓋等の地理的な位置が固定された被写体に加え、火災に関係が深い消防車を含めて特徴量を抽出してもよい。
【0051】
図6は、実施の形態1に係る情報処理方法を示すフローチャートである。
投稿取得部221が、SNSにおける投稿から判定対象投稿を取得する(ステップST1)。事象判定部222が、判定対象投稿の内容が示す第1事象を判定する(ステップST2)。第1位置特定部223が、判定対象投稿に含まれる判定対象画像と、判定対象投稿とは別の投稿であって、別の投稿の内容が示す第2事象の発生位置が特定された比較対象投稿に含まれる比較対象画像とに基づいて、第1事象の発生位置を特定する第1位置特定処理を行う(ステップST3)。
【0052】
以上のように、実施の形態1に係る情報処理装置2は、SNSにおける投稿から判定対象投稿を取得する投稿取得部221と、判定対象投稿の内容が示す第1事象を判定する事象判定部222と、判定対象投稿に含まれる判定対象画像と、判定対象投稿とは別の投稿であって、別の投稿の内容が示す第2事象の発生位置が特定された比較対象投稿に含まれる比較対象画像とに基づいて、第1事象の発生位置を特定する第1位置特定処理を行う第1位置特定部223を備える。これにより、実施の形態1に係る情報処理装置2は、SNSにおける投稿が示す事象の発生位置をより正確に特定することができる。
【0053】
実施の形態1に係る情報処理装置2Aは、判定対象投稿に含まれるテキスト情報に基づいて、第1事象の発生位置を特定する第2位置特定処理を行う第2位置特定部224を備える。第2位置特定部224が第1事象の発生位置を特定できない場合に、第1位置特定部223は、第1位置特定処理を行う。
第1事象の発生位置を特定する際には、判定対象投稿に含まれるテキスト情報に基づいて位置を特定することができれば、テキスト情報に基づかない場合に比べて、位置の特定をより正確にできる可能性が高く、また、効率的である。したがって、実施の形態1に係る情報処理装置2Aは、上記の構成により、第1事象の発生位置の特定を、より正確かつ効率的に行うことができる。
【0054】
実施の形態1に係る情報処理装置2Aにおいて、テキスト情報には、判定対象投稿のメタデータとしてのテキスト、判定対象投稿の本文テキスト、および、判定対象画像内のテキストが含まれる。第2位置特定部224は、メタデータにおける投稿位置情報、メタデータにおける判定対象画像の撮影位置情報、本文テキストに含まれる地名、または、判定対象画像内のテキストに含まれる地名に基づいて、第2位置特定処理を行う。これにより、実施の形態1に係る情報処理装置2Aは、様々なテキスト情報を用いて、第2位置特定処理を行うことができる。また、情報処理装置2Aは、様々なテキスト情報を用いることで、例えば、テキスト情報の種類に応じた優先順位に従って、第2位置特定処理を行うことができる。
【0055】
実施の形態1に係る情報処理装置2Bにおいて、判定対象画像の特徴量および比較対象画像の特徴量を抽出する特徴量抽出部225を備える。第1位置特定部223Bは、判定対象画像の特徴量と比較対象画像の特徴量との一致度合いに基づいて、第1事象の発生位置を特定する。
同一の事象を撮影した画像であれば、それぞれの画像に写っている被写体の多くが共通している可能性が高い。そして、判定対象画像と比較対象画像のそれぞれの画像に写っている被写体の多くが共通している場合、それぞれの画像の特徴量を比較すると、特徴量の一致度合いが高くなる可能性が高い。したがって、実施の形態1に係る情報処理装置2Bは、上記の構成により、第1事象と第2事象とが、同一の事象であるか否かの判定を正確に行うことができる。
【0056】
実施の形態1に係る情報処理装置2Bにおいて、特徴量抽出部225は、判定対象画像の特徴量および比較対象画像の特徴量として、判定対象画像の局所特徴量および比較対象画像の局所特徴量を抽出する。これにより、実施の形態1に係る情報処理装置2Bは、判定対象画像と比較対象画像の撮影方向の違いにかかわらず、効果的な特徴量を抽出することができる。
【0057】
実施の形態1に係る情報処理装置2Bにおいて、特徴量抽出部225は、判定対象画像の特徴量および比較対象画像の特徴量として、判定対象画像の画像統計量および比較対象画像の画像統計量を抽出する。これにより、実施の形態1に係る情報処理装置2Bは、判定対象画像内の被写体および比較対象画像内の被写体における共通の被写体の多寡を考慮可能な、効果的な特徴量を抽出することができる。
【0058】
実施の形態1に係る情報処理装置2Bにおいて、特徴量抽出部225は、判定対象画像の特徴量および比較対象画像の特徴量として、判定対象画像内の被写体を示す文字列の出現情報および比較対象画像内の被写体を示す文字列の出現情報を抽出する。これにより、実施の形態1に係る情報処理装置2Bは、判定対象画像内の被写体および比較対象画像内の被写体における共通の被写体の多寡を判定可能な、効果的な特徴量を抽出することができる。
【0059】
実施の形態1に係る情報処理装置2Bにおいて、特徴量抽出部225は、判定対象画像の特徴量および比較対象画像の特徴量として、判定対象画像内の被写体のうち地理的な位置が固定された被写体の特徴量および比較対象画像内の被写体のうち地理的な位置が固定された被写体の特徴量を抽出する。このことにより、実施の形態1に係る情報処理装置2Bは、一時的にしかその位置に存在しないものを除外して特徴量を抽出するため、判定対象画像に写っている第1事象と比較対象画像に写っている第2事象とが、同一の事象であるか否かを正確に判定でき、第1事象の発生位置の判定を正確なものとすることができる。
【0060】
実施の形態1に係る情報処理装置2において、第1位置特定部223は、第1事象と事象の種類が共通する第2事象を示す内容の投稿を比較対象投稿とするか、判定対象投稿と投稿時間帯が共通する投稿を比較対象投稿とするか、または、第1事象と事象の種類が共通する第2事象を示す内容の投稿であってかつ判定対象投稿と投稿時間帯が共通する投稿を比較対象投稿とする。
比較対象投稿を利用した第1位置特定処理を行う場合、比較対象投稿として利用可能な投稿の全てを対象とするよりも、種々の観点から、判定対象投稿に近い投稿のみを比較対象投稿とする方が、より効果的または効率的である。実施の形態1に係る情報処理装置2において、第1位置特定部223が、上記の各条件のいずれかを満たす投稿を比較対象投稿とすることで、第1位置特定部223は、より効果的または効率的に、第1位置特定処理を行うことができる。
【0061】
実施の形態1に係る情報処理装置2において、第1位置特定部223は、第1事象と事象の種類が共通する第2事象を示す内容の投稿であってかつ判定対象投稿と投稿時間帯が共通する投稿を比較対象投稿とする場合、投稿時間帯として、事象の種類ごとに長さが設定された投稿時間帯を用いる。
例えば、事象の種類によって、事象が継続する時間も異なる。したがって、事象の種類と投稿時間帯を利用して、判定対象投稿に近い投稿のみを比較対象投稿とする場合は、事象の種類に応じて投稿時間帯の長さを設定すると、事象の種類に無関係に投稿時間帯の長さが固定である場合に比べ、より効率的かつ効果的である。
【0062】
実施の形態1に係るプログラムは、コンピュータを情報処理装置2,2A,2Bとして機能させる。実施の形態1に係るプログラムは、コンピュータを、SNSにおける投稿の内容が示す事象の発生位置をより正確に特定することができる情報処理装置2、2Aおよび2Bとして機能させることができる。
【0063】
実施の形態1に係る情報処理方法は、投稿取得部221が、SNSにおける投稿から判定対象投稿を取得するステップと、事象判定部222が、判定対象投稿の内容が示す第1事象を判定するステップと、第1位置特定部223が、判定対象投稿に含まれる判定対象画像と、判定対象投稿とは別の投稿であって、別の投稿の内容が示す第2事象の発生位置が特定された比較対象投稿に含まれる比較対象画像とに基づいて、第1事象の発生位置を特定する第1位置特定処理を行うステップを備える。
これにより、実施の形態1に係る情報処理方法は、SNSにおける投稿の内容が示す事象の発生位置をより正確に特定することができる。
【0064】
なお、実施の形態の任意の構成要素の変形または実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【0065】
1,1A,1B 情報処理システム、2,2A,2B 情報処理装置、3 サービスユーザ端末、4 SNSサーバ、5 SNSユーザ端末、6 ネットワーク、21 通信部、22,22A,22B 演算部、23,23A,23B 記憶部、31 信号機、32 火災が発生している建物、33 街路樹、34 消防車、35 看板、36 マンホールの蓋、100 通信インタフェース、101 入出力インタフェース、102 プロセッサ、103 メモリ、221 投稿取得部、222 事象判定部、223,223A,223B 第1位置特定部、224 第2位置特定部、225 特徴量抽出部。
【要約】
【課題】 SNSにおける投稿の内容が示す事象の発生位置をより正確に特定することができる情報処理装置、プログラムおよび情報処理方法を得る。
【解決手段】 情報処理装置は、ソーシャルネットワーキングサービスにおける投稿から判定対象投稿を取得する投稿取得部と、判定対象投稿の内容が示す第1事象を判定する事象判定部と、判定対象投稿に含まれる判定対象画像と、判定対象投稿とは別の投稿であって、別の投稿の内容が示す第2事象の発生位置が特定された比較対象投稿に含まれる比較対象画像とに基づいて、第1事象の発生位置を特定する第1位置特定処理を行う第1位置特定部とを備える。
【選択図】
図1