特開 2023-68487 情報処理方法、プログラム及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023068487

(43)【公開日】2023-05-17

(54)【発明の名称】情報処理方法、プログラム及び情報処理装置

(51)【国際特許分類】

   G06Q 10/04 20230101AFI20230510BHJP

   G06T 7/00 20170101ALI20230510BHJP

【ＦＩ】

G06Q10/04

G06T7/00 300F

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021179638

(22)【出願日】2021-11-02

(71)【出願人】

【識別番号】500323188

【氏名又は名称】東京エレクトロンデバイス株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】谷脇 俊之

(72)【発明者】

【氏名】杉本 拓也

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049AA04

5L096CA02

5L096FA70

5L096HA11

5L096JA03

5L096JA11

5L096JA16

5L096KA01

(57)【要約】

【課題】対象物の識別精度を向上することが可能な情報処理方法等を提供すること。
【解決手段】一つの側面に係る情報処理方法は、情報処理端末で撮影した対象物の画像に関する画像情報を取得し、前記対象物の撮影時に前記情報処理端末のセンサにより検出されたセンサ情報を取得し、複数の対象物候補に対応する画像情報及びセンサ情報を記憶した記憶部を参照し、取得した画像情報及びセンサ情報に基づいて、前記複数の対象物候補の中から撮影した対象物を特定する処理を実行させることを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

情報処理端末で撮影した対象物の画像に関する画像情報を取得し、
前記対象物の撮影時に前記情報処理端末のセンサにより検出されたセンサ情報を取得し、
複数の対象物候補に対応する画像情報及びセンサ情報を記憶した記憶部を参照し、取得した画像情報及びセンサ情報に基づいて、前記複数の対象物候補の中から撮影した対象物を特定する
情報処理方法。

【請求項2】

前記情報処理端末は複数のセンサを備え、
取得した画像情報、及び各センサにより検出された複数のセンサ情報と、前記記憶部に記憶した各対象物候補に対応する画像情報及び複数のセンサ情報とに基づき、対象物候補ごとに前記対象物と前記対象物候補との類似度を算出し、
類似度の最も高い対象物候補を、撮影した対象物として特定する
請求項１に記載の情報処理方法。

【請求項3】

前記対象物の画像情報及び複数のセンサ情報に係る各評価項目、及び各評価項目に対応する重みづけを取得し、
取得した各評価項目及び各評価項目に対応する重みづけに基づいて、前記対象物候補ごとに類似度を算出する
請求項２に記載の情報処理方法。

【請求項4】

対象物ごとに前記各評価項目に対応する重みづけの設定を受け付ける
請求項３に記載の情報処理方法。

【請求項5】

複数の対象物候補に対応する画像情報及びセンサ情報を前記記憶部から取得し、
前記対象物に対応する画像情報及びセンサ情報と、前記対象物候補に対応する画像情報及びセンサ情報とを入力した場合に、前記対象物と前記対象物候補との類似度を出力するよう学習された学習モデルに、前記対象物に対応する画像情報及びセンサ情報と、取得した対象物候補に対応する画像情報及びセンサ情報とを入力して、対象物候補ごとに類似度を出力し、
類似度の最も高い対象物候補を、撮影した対象物として特定する
請求項１に記載の情報処理方法。

【請求項6】

前記複数の対象物候補から、類似度における所定の上位順位までの対象物候補を取得し、
取得したすべての対象物候補に関する情報を出力する
請求項２から５までのいずれかひとつに記載の情報処理方法。

【請求項7】

特定した対象物に関する情報を出力する
請求項１から６までのいずれかひとつに記載の情報処理方法。

【請求項8】

前記画像情報は、前記対象物の画像に含まれている文字もしくは特徴点、または前記画像の特徴量を含む
請求項１から７までのいずれかひとつに記載の情報処理方法。

【請求項9】

前記センサ情報は、無線ＬＡＮ情報、衛星測位システムデータ、気圧データ、高度データ、ジャイロセンサデータ、またはライダーセンサデータを含む
請求項１から８までのいずれかひとつに記載の情報処理方法。

【請求項10】

情報処理端末で撮影した対象物の画像に関する画像情報を取得し、
前記対象物の撮影時に前記情報処理端末のセンサにより検出されたセンサ情報を取得し、
複数の対象物候補に対応する画像情報及びセンサ情報を記憶した記憶部を参照し、取得した画像情報及びセンサ情報に基づいて、前記複数の対象物候補の中から撮影した対象物を特定する
処理をコンピュータに実行させるプログラム。

【請求項11】

情報処理端末で撮影した対象物の画像に関する画像情報を取得する第１取得部と、
前記対象物の撮影時に前記情報処理端末のセンサにより検出されたセンサ情報を取得する第２取得部と、
複数の対象物候補に対応する画像情報及びセンサ情報を記憶した記憶部を参照し、取得した画像情報及びセンサ情報に基づいて、前記複数の対象物候補の中から撮影した対象物を特定する特定部と
を備える情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、プログラム及び情報処理装置に関する。

【背景技術】

【0002】

近年、画像に基づいて対象物を識別するニーズが高まっている。特許文献１には、それぞれ異なる複数の撮影条件毎に生成された複数の識別器の中から、撮影条件に応じた識別器を選択し、選択した識別器を用いて画像データ中の対象物を識別する識別方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－０８１４０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に係る発明は、撮影した対象物が同一形状である場合、対象物の背景に変化がない場合、または同一形状の対象物が複数存在している場合に、対象物を識別（特定）することができない問題がある。

【0005】

一つの側面では、対象物の識別精度を向上することが可能な情報処理方法等を提供することを目的とする。

【課題を解決するための手段】

【0006】

一つの側面に係る情報処理方法は、情報処理端末で撮影した対象物の画像に関する画像情報を取得し、前記対象物の撮影時に前記情報処理端末のセンサにより検出されたセンサ情報を取得し、複数の対象物候補に対応する画像情報及びセンサ情報を記憶した記憶部を参照し、取得した画像情報及びセンサ情報に基づいて、前記複数の対象物候補の中から撮影した対象物を特定する処理を実行させることを特徴とする。

【発明の効果】

【0007】

一つの側面では、対象物の識別精度を向上することが可能となる。

【図面の簡単な説明】

【0008】

【図1】対象物特定システムの概要を示す説明図である。

【図2】サーバの構成例を示すブロック図である。

【図3】対象物ＤＢのレコードレイアウトの一例を示す説明図である。

【図4】端末の構成例を示すブロック図である。

【図5】端末で撮影した対象物を特定する処理動作を示す説明図である。

【図6】重みづけに基づいて類似度を算出する処理を説明する説明図である。

【図7】対象物の特定画面の一例を示す説明図である。

【図8】撮影した対象物を特定する際の処理手順を示すフローチャートである。

【図9】類似度を算出する処理のサブルーチンの処理手順を示すフローチャートである。

【図10】実施形態２におけるサーバの構成例を示すブロック図である。

【図11】訓練データＤＢのレコードレイアウトの一例を示す説明図である。

【図12】類似度出力モデルを説明する説明図である。

【図13】類似度出力モデルを用いる類似度の算出処理のサブルーチンの処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明をその実施形態を示す図面に基づいて詳述する。

【0010】

（実施形態１）
実施形態１は、情報処理端末で撮影した対象物の画像情報、及び当該情報処理端末のセンサにより検出されたセンサ情報に基づき、複数の対象物候補の中から撮影した対象物を特定する形態に関する。対象物は、例えば配電盤もしくは分電盤等の受変電設備、環境測定装置、パーソナルコンピュータ等のあらゆる装置、車両、物体、動物または人等である。

【0011】

図１は、対象物特定システムの概要を示す説明図である。本実施形態のシステムは、情報処理装置１及び情報処理端末２を含み、各装置はインターネット等のネットワークＮを介して情報の送受信を行う。

【0012】

情報処理装置１は、種々の情報に対する処理、記憶及び送受信を行う情報処理装置である。情報処理装置１は、例えばサーバ装置、パーソナルコンピュータまたは汎用のタブレットＰＣ（パソコン）等である。本実施形態において、情報処理装置１はサーバ装置であるものとし、以下では簡潔のためサーバ１と読み替える。

【0013】

情報処理端末２は、対象物の画像に関する画像情報の取得、当該情報処理端末２のセンサによるセンサ情報の検出、並びに、画像情報及びセンサ情報の送信等を行う端末装置である。情報処理端末２は、例えばスマートフォン、携帯電話、アップルウォッチ（Apple Watch:登録商標）等のウェアラブルデバイス、タブレット、ウェアラブルグラス、パーソナルコンピュータ端末等の情報処理機器である。以下では簡潔のため、情報処理端末２を端末２と読み替える。

【0014】

本実施形態に係るサーバ１は、複数のセンサを備える端末２で撮影した対象物の画像に関する画像情報を取得する。サーバ１は、当該対象物の撮影時に端末２の各センサにより検出された複数のセンサ情報を取得する。サーバ１は、複数の対象物候補に対応する画像情報及びセンサ情報を記憶した記憶部を参照し、取得した画像情報及び複数のセンサ情報に基づいて、対象物候補ごとに対象物と当該対象物候補との類似度を算出する。サーバ１は、類似度の最も高い対象物候補を、撮影した対象物として特定する。なお、画像情報及びセンサ情報に関しては後述する。

【0015】

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、記憶部１２、通信部１３、読取部１４及び大容量記憶部１５を含む。各構成はバスＢで接続されている。

【0016】

制御部１１はＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を含み、記憶部１２に記憶された制御プログラム１Ｐ（プログラム製品）を読み出して実行することにより、サーバ１に係る種々の情報処理、制御処理等を行う。なお、制御プログラム１Ｐは、単一のコンピュータ上で、または１つのサイトにおいて配置されるか、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。なお、図２では制御部１１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

【0017】

記憶部１２はＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ素子を含み、制御部１１が処理を実行するために必要な制御プログラム１Ｐ又はデータ等を記憶している。また、記憶部１２は、制御部１１が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部１３は通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、端末２等との間で情報の送受信を行う。

【0018】

読取部１４は、ＣＤ（Compact Disc）－ＲＯＭ又はＤＶＤ（Digital Versatile Disc）－ＲＯＭを含む可搬型記憶媒体１ａを読み取る。制御部１１が読取部１４を介して、制御プログラム１Ｐを可搬型記憶媒体１ａより読み取り、大容量記憶部１５に記憶しても良い。また、ネットワークＮ等を介して他のコンピュータから制御部１１が制御プログラム１Ｐをダウンロードし、大容量記憶部１５に記憶しても良い。さらにまた、半導体メモリ１ｂから、制御部１１が制御プログラム１Ｐを読み込んでも良い。

【0019】

大容量記憶部１５は、例えばＨＤＤ（Hard disk drive:ハードディスク）、ＳＳＤ(Solid State Drive:ソリッドステートドライブ)等の記録媒体を備える。大容量記憶部１５は、対象物ＤＢ（database）１５１を含む。対象物ＤＢ１５１は、対象物に関する情報、当該対象物の画像情報、及び当該対象物の撮影時に端末２のセンサにより検出されたセンサ情報等を記憶している。

【0020】

なお、本実施形態において記憶部１２及び大容量記憶部１５は一体の記憶装置として構成されていても良い。また、大容量記憶部１５は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部１５はサーバ１に接続された外部記憶装置であっても良い。

【0021】

サーバ１は、種々の情報処理及び制御処理等をコンピュータ単体で実行しても良いし、複数のコンピュータで分散して実行しても良い。また、サーバ１は、１台のサーバ内に設けられた複数の仮想マシンによって実現されても良いし、クラウドサーバを用いて実現されても良い。なお、サーバ１の処理は端末２で実行されても良い。

【0022】

図３は、対象物ＤＢ１５１のレコードレイアウトの一例を示す説明図である。対象物ＤＢ１５１は、対象物ＩＤ（Identifier）列、種類列、設置情報列、画像情報列及びセンサ情報列を含む。対象物ＩＤ列は、各対象物を識別するために、一意に特定される対象物のＩＤを記憶している。種類列は、対象物の種類（配電盤または分電盤など）を記憶している。設置情報列は、対象物を所有している人の氏名等の所有者情報、または設置位置等を記憶している。

【0023】

画像情報列は、文字列、特徴点列及び特徴量列を含む。文字列は、対象物の画像に含まれている文字及び当該文字の座標等を記憶している。特徴点は、対象物の画像に含まれている特徴点及び当該特徴点の座標等を記憶している。特徴点は、例えばプレスの抜き加工形状もしくはドリル穴、エッジ形状、塗料、シール、強制打痕穴、レーザー捺印、または立体文字等である。

【0024】

特徴量列は、対象物の画像の特徴量データを記憶している。特徴量データは、画像におけるＲＧＢ（Red, Blue, Green）階調値、ＹＭＣＫ（Yellow, Cyan, Magenta, Key plate）階調値、明度、輝度、色相、濃度、彩度もしくはコントラストに関する特徴量、またはＬＢＰ（Local Binary Pattern）特徴量等を含む。ＬＢＰ特徴量は、画像の局所的な表現を特徴量として、各画素を周囲の近傍画素と比較した相対値で構成される。

【0025】

センサ情報列は、無線ＬＡＮ列、ＧＰＳ（Global Positioning System, Global Positioning Satellite）列、気圧列、高度列、ジャイロセンサ列及びライダー（LiDAR：Light Detection and Ranging）センサ列を含む。無線ＬＡＮ列は、端末２の無線ＬＡＮ情報を記憶している。なお、無線ＬＡＮ情報に関しては後述する。ＧＰＳ列は、端末２のＧＰＳ機能を介して読み取ったＧＰＳデータ（経緯度等）を記憶している。

【0026】

気圧列は、端末２に内蔵されている圧力センサ（気圧計）により取得された気圧データを記憶している。高度列は、端末２に内蔵されている高度センサ（高度計）により取得された高度データを記憶している。ジャイロセンサ列は、端末２に内蔵されているジャイロセンサ（角速度センサ）により取得されたジャイロセンサデータを記憶している。ジャイロセンサは、回転角速度（物体が回転している速度）の測定を実現する慣性センサの一種である。

【0027】

ライダーセンサ列は、端末２に内蔵されているライダーセンサにより取得されたライダーセンサデータを記憶している。ライダーセンサは、レーザー光を走査しながら対象物に照射してその散乱または反射光を観測することにより、離れた場所にある対象物までの距離、位置または形状等を検知する。

【0028】

なお、上述した各ＤＢの記憶形態は一例であり、データ間の関係が維持されていれば、他の記憶形態であっても良い。

【0029】

図４は、端末２の構成例を示すブロック図である。端末２は、制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５、撮影部２６、ＧＰＳモジュール２７、気圧モジュール２８、高度モジュール２９、ジャイロモジュール３０及びライダーモジュール３１を含む。各構成はバスＢで接続されている。

【0030】

制御部２１はＣＰＵ、ＭＰＵ等の演算処理装置を含み、記憶部２２に記憶された制御プログラム２Ｐ（プログラム製品）を読み出して実行することにより、端末２に係る種々の情報処理、制御処理等を行う。なお、図４では制御部２１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。記憶部２２はＲＡＭ、ＲＯＭ等のメモリ素子を含み、制御部２１が処理を実行するために必要な制御プログラム２Ｐ又はデータ等を記憶している。また、記憶部２２は、制御部２１が演算処理を実行するために必要なデータ等を一時的に記憶する。

【0031】

通信部２３は通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、サーバ１等と情報の送受信を行う。入力部２４は、キーボード、マウスまたは表示部２５と一体化したタッチパネルでも良い。表示部２５は、液晶ディスプレイ又は有機ＥＬ（electroluminescence）ディスプレイ等であり、制御部２１の指示に従い各種情報を表示する。

【0032】

撮影部２６は、例えばＣＣＤ(Charge Coupled Device)カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の撮影装置である。なお、撮影部２６は端末２の中に内蔵せず、外部で直接に端末２と接続し、撮影可能な構成としても良い。

【0033】

ＧＰＳモジュール２７は、ＧＰＳ衛星を利用して位置情報（経緯度等）を取得するためのモジュールである。気圧モジュール２８は、気圧データを取得するためのセンサモジュールである。高度モジュール２９は、高度データを取得するためのセンサモジュールである。ジャイロモジュール３０は、ジャイロセンサデータを取得するためのセンサモジュールである。ライダーモジュール３１は、ライダーセンサデータを取得するためのセンサモジュールである。なお、上述したセンサモジュールの種類に限られず、例えば加速度センサデータを取得するための加速度モジュールを設けても良い。

【0034】

なお、気圧モジュール２８、高度モジュール２９、ジャイロモジュール３０またはライダーモジュール３１は端末２の中に内蔵せず、外部で直接に端末２と接続し、センサデータを取得可能な構成としても良い。

【0035】

なお、気圧モジュール２８、高度モジュール２９、ジャイロモジュール３０及びライダーモジュール３１のうちの複数種の併用とすることで、一体とする構造であっても良い。

【0036】

図５は、端末２で撮影した対象物を特定する処理動作を示す説明図である。端末２は、撮影部２６を介して対象物を撮影する。端末２は、撮影した対象物の画像に関する画像情報を取得する。画像情報は、対象物の画像に含まれている文字もしくは特徴点、または当該画像の特徴量を含む。

【0037】

画像の特徴量について、端末２は例えばＡ－ＫＡＺＥ（Accelerated KAZE）、ＳＩＦＴ（Scale Invariant Feature Transform）、ＳＵＲＦ（Speeded-Up Robust Features）、ＯＲＢ（Oriented FAST and Rotated BRIEF）またはＨＯＧ(Histograms of Oriented Gradients)等の局所特徴量抽出方法を用いて、撮影した対象物の画像の特徴量を抽出する。文字または特徴点について、例えば、端末２は対象物の画像の特徴量を抽出し、抽出した特徴量に基づいて撮影画像中の文字または特徴点を認識する。なお、文字または特徴点については、機械学習によって構築した学習モデルを用いて自動認識しても良く、または画像処理ライブラリであるＯｐｅｎＣＶ（Open Source Computer Vision Library）を用いて認識しても良い。

【0038】

端末２は、当該対象物の撮影時に当該端末２のセンサにより検出されたセンサ情報を取得する。センサ情報は、無線ＬＡＮ情報、衛星測位システムデータ（例えば、ＧＰＳデータ）、気圧データ、高度データ、ジャイロセンサデータ、またはライダーセンサデータを含む。なお、これらのセンサデータに限られず、例えばセンサ情報には、ＡＲ（Augmented Reality;拡張現実）データ、ＭＲ（Mixed Reality;複合現実）データ、地磁気（コンパス）センサデータ、加速度センサデータ、輝度センサデータ、近接センサデータまたは指紋センサデータが含まれても良い。すなわち、対象物の撮影時の場所、環境、状況または状態等に応じて、各種類のセンサにより検出されたセンサデータを利用しても良い。

【0039】

端末２は、無線通信方式を用いて無線ＬＡＮ情報を取得する。無線ＬＡＮ情報は、アクセスポイントのＭＡＣアドレス（Media Access Control address）、無線ＬＡＮ機能の識別子であるＳＳＩＤ（Service Set Identifier）、当該ＳＳＩＤの電波強度、及び周波数チャネルのうちの少なくとも一つを含んでも良い。無線通信方式は、ＢＬＥ（Bluetooth Low Energy）通信方式、ＢＬＥ規格以外のBluetooth（登録商標）規格に準拠した通信方式、Bluetooth規格以外の近距離無線通信規格に準拠した通信方式、Ｗｉ－Ｆｉ（登録商標） Ｄｉｒｅｃｔ通信方式、または、ＬＴＥ（Long Term Evolution）、４Ｇ（Generation）もしくは５Ｇ等の端末無線通信方式等を含む。

【0040】

端末２は、端末２のＧＰＳ機能を介して、ＧＰＳの測位衛星からの送信電波を受信してＧＰＳデータ（経緯度等）を取得する。端末２は、当該端末２に内蔵されている圧力センサ、高度センサ、ジャイロセンサ及びライダーセンサから、気圧データ、高度データ、ジャイロセンサデータ、及びライダーセンサデータのそれぞれを取得する。なお、ＧＰＳデータには高度データが含まれても良い。なお、これらのセンサ種類に限られず、他のセンサにも同様に適用することができる。

【0041】

端末２は、取得した対象物の画像情報及びセンサ情報をサーバ１に送信する。なお、本実施形態では、端末２は対象物の画像情報をサーバ１に送信した例を説明したが、これに限るものではない。例えば端末２は、対象物の画像をサーバ１に送信しても良い。この場合、サーバ１は端末２から送信された対象物の画像に基づいて画像情報を取得する。

【0042】

サーバ１は、端末２から送信された対象物の画像情報及びセンサ情報に基づき、対象物ＤＢ１５１に記憶された複数の対象物候補に対応する画像情報及びセンサ情報を参照し、当該複数の対象物候補の中から撮影した対象物を特定する。

【0043】

具体的には、サーバ１は、対象物の画像情報、及び端末２に内蔵されている各センサにより検出された複数のセンサ情報と、対象物ＤＢ１５１に記憶された各対象物候補の画像情報及び複数のセンサ情報とに基づき、対象物候補ごとに対象物と当該対象物候補との類似度を算出する。例えばサーバ１は、対象物の画像情報及び複数のセンサ情報に係る各評価項目、及び各評価項目に対応する重みづけに基づいて、類似度を算出する。

【0044】

図６は、重みづけに基づいて類似度を算出する処理を説明する説明図である。サーバ１は、対象物の画像情報及び複数のセンサ情報に係る各評価項目、及び各評価項目に対応する重みづけを取得する。評価項目は、画像情報及びセンサ情報に基づいて設けられる。図示のように、サーバ１は、「特徴点」、「文字列」、「無線ＬＡＮ情報」、「高度」及び「ジャイロ」を含む評価項目を取得する。

【0045】

サーバ１は、各評価項目に対応する重みづけを取得する。重みづけは、評価項目の重要度との相関を表す係数である。例えば、重要度に応じて、各評価項目に対して５段階の重みづけが設けられ、各段階における重みづけの点数のそれぞれが９点、７点、５点、３点及び１点である。各評価項目に対応する重みづけは、予め記憶部１２または大容量記憶部１５に記憶されても良く、または、重みづけの設定が受け付けられも良い。

【0046】

重みづけの設定の受付処理に関しては、サーバ１側または端末２側で行われても良い。例えば、端末２は、各評価項目に対応する重みづけの入力を受け付け、受け付けた重みづけをサーバ１に送信する。サーバ１は、端末２から送信された重みづけを受信して記憶部１２または大容量記憶部１５に記憶する。

【0047】

また、対象物ごとに各評価項目に対応する重みづけの設定を受け付けることができる。例えば、配電盤である対象物に対し、各評価項目における５段階の重みづけが「９点、７点、５点、３点及び１点」である。環境測定装置である対象物に対し、各評価項目における５段階の重みづけが「１０点、８点、６点、４点及び２点」である。

【0048】

サーバ１は、取得した各評価項目及び各評価項目に対応する重みづけに基づき、所定の計算式を用いて、類似度の各評価項目のスコアを算出する。計算式は、各評価項目のスコアを算出可能な計算式であれば、特に限定されない。

【0049】

「特徴点」評価項目におけるスコアの計算式の一例としては、以下の式（１）で表される。
「特徴点」スコア＝係数×一致率×重みづけ …（１）
係数は、計算の便宜上に設けられた任意の数値（例えば、２５５）である。一致率は、例えばＯｐｅｎＣＶ（Open Source Computer Vision Library）を用いて得られた特徴点の比較結果である。

【0050】

「文字列」評価項目におけるスコアの計算式の一例としては、以下の式（２）で表される。
「文字列」スコア＝係数×同一文字列数×重みづけ …（２）
係数は、式（１）の係数と同様である。同一文字列数は、画像情報に含まれている文字列に対し、同一の文字列の数である。

【0051】

「無線ＬＡＮ情報」評価項目におけるスコアの計算式の一例としては、以下の式（３）で表される。
「無線ＬＡＮ情報」スコア＝係数×アクセスポイント数×重みづけ …（３）
係数は、式（１）の係数と同様である。アクセスポイント数は、複数のアクセスポイントのうち一致したアクセスポイントの数である。

【0052】

「高度」評価項目におけるスコアの計算式の一例としては、以下の式（４）で表される。
「高度」スコア＝係数×高度点数×重みづけ …（４）
係数は、式（１）の係数と同様である。高度点数は、高度の差分に基づいて設けられても良い。高度の差分は、対象物の高度の検出値と対象物候補の高度の検出値との差である。例えば、高度の差分が５ｍ未満である場合、建物における同一フロアとして判定され、高度点数は１点である。高度の差分が５ｍ以上である場合、建物における異なるフロアとして判定され、高度点数は０点である。

【0053】

「ジャイロ」評価項目におけるスコアの計算式の一例としては、以下の式（５）で表される。
「ジャイロ」スコア＝係数×角速度係数×重みづけ …（５）
係数は、式（１）の係数と同様である。角速度は、単位時間あたりの回転角である。角速度係数は、角速度の変化を示す指標である。Ｘ軸、Ｙ軸及びＺ軸方向への回転角度を用いて、角速度係数＝１－（Ｘ－Ｙ－Ｚ）／３６０により角速度係数が算出されても良い。例えば、端末２が３軸方向とも回転していない場合、角速度係数＝１－（０－０－０）／３６０により算出された角速度係数が１である。または、端末２がＸ軸方向へ１０°を回転し、Ｙ軸方向へ４０°を回転し、且つ、Ｚ軸方向へ回転していない場合、角速度係数＝１－（１０－４０－０）／３６０により算出された角速度係数が０．９２である。

【0054】

サーバ１は、「特徴点」、「文字列」、「無線ＬＡＮ情報」、「高度」及び「ジャイロ」評価項目に対応する重みづけ、画像情報及びセンサ情報を取得した場合、上述した計算式（１）～（５）を用いて、各評価項目のスコアを算出する。なお、サーバ１は、「特徴点」、「文字列」、「無線ＬＡＮ情報」、「高度」及び「ジャイロ」評価項目のうちの少なくとも一つの評価項目のスコアを算出しても良い。サーバ１は、算出した各評価項目のスコアの合計を算出する。サーバ１は、各評価項目のスコアの最大値を算出する。スコアの最大値は、係数（例えば、２５５）に重みづけを乗算することにより算出される。例えば「特徴点」評価項目に対応する重みづけが９点である場合、サーバ１は、当該評価項目のスコアの最大値が２２９５（255×9）であると算出する。

【0055】

サーバ１は、算出した各評価項目のスコアの合計と、各評価項目のスコアの最大値の合計とに基づき、対象物と当該対象物候補との類似度（スコアの合計／スコアの最大値 × １００％）を算出する。図示のように、スコアの合計は６０２４．８であり、スコアの最大値の合計は９４３５である。サーバ１は、スコアの合計とスコアの最大値の合計とに基づき、対象物と当該対象物候補との類似度が６３．８６％（6024.8/9435×100%）であると算出する。

【0056】

このように、サーバ１は、対象物候補ごとに対象物と当該対象物候補との類似度を算出する。サーバ１は、類似度の最も高い対象物候補を、撮影した対象物として特定する。また、類似度の所定閾値を利用して対象物を特定しても良い。例えば、類似度の所定閾値（例えば、７０％）が予め設けられた場合、サーバ１は、対象物と対象物候補との類似度が所定閾値以上であるか否かを判定する。サーバ１は、類似度が所定閾値以上であると判定した場合、当該対象物候補を、撮影した対象物として特定する。サーバ１、類似度が所定閾値未満であると判定した場合、当該対象物候補を排除する。

【0057】

なお、単純に類似度が高い対象物候補を撮影対象物として特定する処理に限るものではない。例えばサーバ１は、複数の対象物候補から、類似度における所定の上位順位（例えば、第３位）までの対象物候補を取得する。このように、類似度にしたがった順位付けして、複数の対象物候補を特定することができる。

【0058】

なお、類似度の算出処理に関しては、上述した重みづけに基づく処理に限るものではない。例えば、コサイン類似度、ピアソンの相関係数、又は偏差パターン類似度を類似度として用いても良い。また、機械学習モデルを利用して類似度を算出することができる。なお、機械学習モデルによる類似度の算出処理に関しては、実施形態２で説明する。

【0059】

サーバ１は、特定した対象物の対象物ＩＤに基づき、当該対象物に関する情報を対象物ＤＢ１５１から取得する。対象物に関する情報は、対象物ＩＤ、対象物の種類または位置情報等を含む。なお、対象物に関する情報には、対象物の画像情報及び当該対象物の撮影時に端末２のセンサにより検出されたセンサ情報が含まれても良い。サーバ１は、取得した対象物に関する情報を端末２に送信する。端末２は、サーバ１から送信された対象物に関する情報を受信し、受信した対象物に関する情報を画面に表示する。

【0060】

なお、サーバ１は、複数の対象物候補から、類似度における所定の上位順位までの対象物候補を取得した場合、取得したすべての対象物候補に関する情報を端末２に送信する。端末２は、サーバ１から送信されたすべての対象物候補に関する情報を受信し、受信したすべての対象物候補に関する情報を画面に表示する。なお、対象物候補に関する情報は、対象物に関する情報と同様であるため、説明を省略する。

【0061】

図７は、対象物の特定画面の一例を示す説明図である。特定画面は、画像表示欄１１ａ、撮影ボタン１１ｂ、画像選択ボタン１１ｃ、特定ボタン１１ｄ、特定結果表示欄１１ｅ及び候補表示欄１１ｆを含む。

【0062】

画像表示欄１１ａは、対象物の画像を表示する表示欄である。撮影ボタン１１ｂは、対象物を撮影するボタンである。画像選択ボタン１１ｃは、対象物の画像を選択するボタンである。特定ボタン１１ｄは、複数の対象物候補から、撮影した対象物を特定するボタンである。特定結果表示欄１１ｅは、対象物の特定結果を表示する表示欄である。候補表示欄１１ｆは、類似度に従った順位付けして、特定した対象物候補を表示する表示欄である。

【0063】

端末２は、撮影ボタン１１ｂのタッチ操作を受け付けた場合、撮影部２６を介して対象物を撮影し、撮影した対象物の画像を取得する。端末２は、画像選択ボタン１１ｃのタッチ操作を受け付けた場合、記憶部１２または大容量記憶部１５に記憶された対象物の画像を取得する。

【0064】

端末２は、特定ボタン１１ｄのタッチ操作を受け付けた場合、撮影ボタン１１ｂまたは画像選択ボタン１１ｃにより取得された対象物の画像に基づいて、当該画像に関する画像情報（文字、特徴点または特徴量等）を取得する。端末２は、当該対象物の撮影時に当該端末２のセンサにより検出された複数のセンサ情報（無線ＬＡＮ情報、ＧＰＳデータ、気圧データ、高度データ、ジャイロセンサデータ、またはライダーセンサデータ等）を取得する。

【0065】

端末２は、取得した画像情報及び複数のセンサ情報をサーバ１に送信する。サーバ１は、端末２から送信された画像情報及び複数のセンサ情報を受信する。サーバ１は、受信した対象物に対応する画像情報及び複数のセンサ情報と、対象物ＤＢ１５１に記憶された複数の対象物候補に対応する画像情報及び複数のセンサ情報とに基づき、対象物候補ごとに対象物と当該対象物候補との類似度を算出する。

【0066】

サーバ１は、算出した類似度に基づき、複数の対象物候補から、類似度における所定の上位順位（例えば、第３位）までの対象物候補を取得する。サーバ１は、取得した各対象物候補の対象物ＩＤに基づき、各対象物候補に関する情報を対象物ＤＢ１５１から取得する。対象物候補に関する情報は、対象物ＩＤ、対象物の種類、対象物を所有している所有者情報（例えば、所有者の氏名）、または位置情報（例えば、位置名称または経緯度）等を含む。サーバ１は、取得した各対象物候補に関する情報を端末２に送信する。

【0067】

端末２は、サーバ１から送信された各対象物候補に関する情報を受信して画面に表示する。端末２は、対象物候補ごとに対象物と当該対象物候補との類似度に基づき、類似度の最も高い対象物候補に関する情報を特定結果表示欄１１ｅに表示し、次の類似度に対応する対象物候補に関する情報を候補表示欄１１ｆに表示する。

【0068】

図示のように、最も高い対象物候補の対象物ＩＤ、対象物の種類、所有者情報（例えば、Ａ氏）及び位置情報（位置名称及び経緯度等）が特定結果表示欄１１ｅに表示される。次の類似度に対応する各対象物候補の対象物ＩＤ、対象物の種類、所有者情報及び位置情報が候補表示欄１１ｆに表示される。なお、対象物候補の類似度が特定結果表示欄１１ｅ及び候補表示欄１１ｆに表示されても良い。

【0069】

なお、図７では、３つの対象物候補を取得した例を説明したが、対象物候補の数が特に限定されない。なお、対象物候補の数が多い場合、例えば、横方向に並べられた複数の対象物候補が候補表示欄１１ｆに収まりきらない場合、複数の対象物候補を横方向にスクロール可能に表示しても良い。

【0070】

図８は、撮影した対象物を特定する際の処理手順を示すフローチャートである。端末２の制御部２１は、撮影部２６を介して対象物を撮影する（ステップＳ２０１）。なお、撮影された対象物の画像が予め記憶部１２または大容量記憶部１５に記憶された場合、制御部２１は、記憶部１２または大容量記憶部１５から対象物の画像を取得しても良い。制御部２１は、撮影した対象物の画像に関する画像情報（文字、特徴点または特徴量等）を取得する（ステップＳ２０２）。

【0071】

制御部２１は、当該対象物の撮影時に当該端末２のセンサにより検出された複数のセンサ情報（無線ＬＡＮ情報、ＧＰＳデータ、気圧データ、高度データ、ジャイロセンサデータ、またはライダーセンサデータ等）を取得する（ステップＳ２０３）。

【0072】

具体的には、制御部２１は、無線通信方式（例えば、Wi-Fi Direct）を用いて無線ＬＡＮ情報（アクセスポイントのＭＡＣアドレス、ＳＳＩＤ、電波強度または周波数等）を取得する。制御部２１は、ＧＰＳモジュール２７を介して、ＧＰＳの測位衛星からの送信電波を受信してＧＰＳデータ（経緯度等）を取得する。制御部２１は、気圧モジュール２８を介して気圧データを取得する。制御部２１は、高度モジュール２９を介して高度データを取得する。制御部２１は、ジャイロモジュール３０を介してジャイロセンサデータを取得する。制御部２１は、ライダーモジュール３１を介してライダーセンサデータを取得する。なお、これらのセンサ種類に限られず、他のセンサにも同様に適用することができる。

【0073】

制御部２１は、取得した対象物の画像情報及び複数のセンサ情報を通信部２３によりサーバ１に送信する（ステップＳ２０４）。サーバ１の制御部１１は、端末２から送信された対象物の画像情報及び複数のセンサ情報を通信部１３により受信する（ステップＳ１０１）。制御部１１は、受信した画像情報及び複数のセンサ情報に基づき、対象物と当該対象物候補との類似度を算出する処理のサブルーチンを実行する（ステップＳ１０２）。なお、類似度の算出処理のサブルーチンに関しては後述する。

【0074】

制御部１１は、算出した類似度に基づき、類似度の最も高い対象物候補を、撮影した対象物として特定する（ステップＳ１０３）。なお、類似度の所定閾値を利用して対象物を特定しても良い。例えば制御部１１は、対象物と対象物候補との類似度が所定閾値（例えば、７０％）以上であると判定した場合、当該対象物候補を、撮影した対象物として特定する。

【0075】

制御部１１は、特定した対象物の対象物ＩＤに基づき、当該対象物に関する情報（対象物ＩＤ、種類または位置情報等）を大容量記憶部１５の対象物ＤＢ１５１から取得する（ステップＳ１０４）。制御部１１は、取得した対象物に関する情報を通信部１３により端末２に送信する（ステップＳ１０５）。端末２の制御部２１は、サーバ１から送信された対象物に関する情報を通信部２３により受信する（ステップＳ２０５）。制御部２１は、受信した対象物に関する情報を表示部２５により表示し（ステップＳ２０６）、処理を終了する。

【0076】

図９は、類似度を算出する処理のサブルーチンの処理手順を示すフローチャートである。サーバ１の制御部１１は、対象物の画像情報及び複数のセンサ情報に係る各評価項目を記憶部１２または大容量記憶部１５からを取得する（ステップＳ０１）。評価項目は、例えば「特徴点」、「文字列」、「無線ＬＡＮ情報」、「高度」及び「ジャイロ」を含む。

【0077】

制御部１１は、各評価項目に対応する重みづけの設定を受け付ける（ステップＳ０２）。具体的には、端末２の制御部２１は、各評価項目に対応する重みづけの設定を入力部２４により受け付け、受け付けた重みづけを通信部２３によりサーバ１に送信する。サーバ１の制御部１１は、端末２から送信された各評価項目に対応する重みづけを通信部１３により受信する。なお、サーバ１の制御部１１は、各評価項目に対応する重みづけの設定を直接受け付けても良い。

【0078】

なお、各評価項目に対応する重みづけが予め記憶部１２または大容量記憶部１５に記憶された場合、制御部１１は、各評価項目に対応する重みづけを記憶部１２または大容量記憶部１５から取得する。また、対象物ごとに各評価項目に対応する重みづけの設定を受け付けることができる。

【0079】

制御部１１は、複数の対象物候補に対応する画像情報及びセンサ情報を大容量記憶部１５の対象物ＤＢ１５１から取得する（ステップＳ０３）。制御部１１は、取得した複数の対象物候補から、１つの対象物候補に対応する画像情報及びセンサ情報を取得する（ステップＳ０４）。制御部１１は、各評価項目に対応する重みづけ、画像情報及び複数のセンサ情報に基づき、上述した計算式（１）～（５）を用いて、各評価項目のスコアを算出する（ステップＳ０５）。

【0080】

制御部１１は、算出した各評価項目のスコアの合計を算出する（ステップＳ０６）。制御部１１は、係数（例えば、２５５）に重みづけを乗算することにより、各評価項目のスコアの最大値を算出する（ステップＳ０７）。制御部１１は、算出したスコアの合計とスコアの最大値の合計とに基づき、対象物と当該対象物候補との類似度（スコアの合計／スコアの最大値 × １００％）を算出する（ステップＳ０８）。

【0081】

制御部１１は、複数の対象物候補の中に当該対象物候補が最後の対象物候補であるか否かを判定する（ステップＳ０９）。制御部１１は、当該対象物候補が最後の対象物候補でないと判定した場合（ステップＳ０９でＮＯ）、ステップＳ０４の処理に戻る。制御部１１は、当該対象物候補が最後の対象物候補であると判定した場合（ステップＳ０９でＹＥＳ）、対象物候補ごとに算出した類似度を取得する（ステップＳ１０）。制御部１１は、類似度の算出処理のサブルーチンを終了してリターンする。

【0082】

本実施形態によると、画像情報及びセンサ情報に基づいて、複数の対象物候補から撮影した対象物を特定することが可能となる。

【0083】

本実施形態によると、特定した対象物に関する情報を出力することが可能となる。

【0084】

本実施形態によると、複数の対象物候補から、類似度における所定の上位順位までの対象物候補を取得し、取得したすべての対象物候補に関する情報を出力することが可能となる。

【0085】

（実施形態２）
実施形態２は、対象物に対応する画像情報及びセンサ情報と、当該対象物候補に対応する画像情報及びセンサ情報とに基づき、人工知能（ＡＩ：Artificial Intelligence）により対象物と当該対象物候補との類似度を出力する形態に関する。なお、実施形態１と重複する内容については説明を省略する。

【0086】

図１０は、実施形態２におけるサーバ１の構成例を示すブロック図である。なお、図２と重複する内容については同一の符号を付して説明を省略する。サーバ１の大容量記憶部１５には、類似度出力モデル１５２及び訓練データＤＢ１５３が含まれている。

【0087】

類似度出力モデル１５２は、対象物に対応する画像情報及びセンサ情報と、当該対象物候補に対応する画像情報及びセンサ情報とに基づき、対象物と当該対象物候補との類似度を出力（推定）する出力器であり、機械学習により生成された学習済みモデルである。訓練データＤＢ１５３は、類似度出力モデル１５２を構築（作成）するための訓練データを記憶している。

【0088】

図１１は、訓練データＤＢ１５３のレコードレイアウトの一例を示す説明図である。訓練データＤＢ１５３は、入力データ列及び出力データ列を含む。入力データ列は、対象物列及び対象物候補列を含む。対象物列は、対象物に対応する画像情報及びセンサ情報を記憶している。対象物候補列は、当該対象物候補に対応する画像情報及びセンサ情報を記憶している。出力データ列は、対象物と当該対象物候補とが一致するか否かの情報（例えば、一致または不一致）を記憶している。

【0089】

図１２は、類似度出力モデル１５２を説明する説明図である。類似度出力モデル１５２は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。類似度出力モデル１５２は、対象物に対応する画像情報及びセンサ情報と、当該対象物候補に対応する画像情報及びセンサ情報とを入力とし、対象物と当該対象物候補との類似度を出力とするニューラルネットワークを構築済みの出力器である。

【0090】

ニューラルネットワークは、例えばＣＮＮ（Convolutional Neural Network）であり、対象物に対応する画像情報及びセンサ情報と、当該対象物候補に対応する画像情報及びセンサ情報との入力を受け付ける入力層と、活性化関数を用いて対象物と当該対象物候補との類似度を出力する出力層と、バックプロパゲーションにより学習済の中間層とを有する。各層は、１または複数のニューロン（ノード）を持ち、各ニューロンは値を持つ。そして、ある層と次の層の間のニューロン同士はエッジで結ばれ、各エッジは重みやバイアス等の変数（またはパラメータ）を持つ。

【0091】

ＣＮＮにおいて、各層のニューロンの値は、前段の層のニューロンの値とエッジの重み等に基づく所定の演算を実行して求められる。そして、入力データが入力層のニューロンに入力されると、次の層のニューロンの値が所定の演算により求められ、さらに、演算により求められたデータを入力として次の層のニューロンの値がその層の所定の演算により求められる。そして、最終層である出力層のニューロンの値が、入力データに対する出力データとなる。

【0092】

例えばサーバ１は、訓練データＤＢ１５３に蓄積された訓練データを用いて、類似度出力モデル１５２を生成する。訓練データＤＢ１５３の各レコードがそれぞれ訓練データである。出力データ列の値が出力層から出力されるべき正解データ（対象物と当該対象物候補とが一致するか否かの情報）である。入力データ列の対象物に対応する画像情報及びセンサ情報と、当該対象物候補に対応する画像情報及びセンサ情報とが入力データである。

【0093】

訓練データは、対象物に対応する画像情報及びセンサ情報、並びに、当該対象物候補に対応する画像情報及びセンサ情報と、対象物と当該対象物候補とが一致するか否かの情報とが対応付けられた組み合わせのデータである。訓練データは、対象物から収集された大量の経験データに基づいて生成される。なお、訓練データは別途人手で作成されたデータであっても良い。

【0094】

サーバ１は、取得した訓練データを用いて学習を行う。具体的には、サーバ１は、訓練データである対象物に対応する画像情報及びセンサ情報と、当該対象物候補に対応する画像情報及びセンサ情報とを入力層に入力し、中間層での演算処理を経て、出力層から対象物と当該対象物候補との類似度を出力する。出力層は、例えばシグモイド関数またはソフトマックス関数を含み、中間層から出力された特徴量に基づいて、推定された類似度を出力する。

【0095】

サーバ１は、出力層から出力された類似度（推定結果）を、訓練データにおける正解値（出力データ列の値）と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）等である。パラメータの最適化の方法は特に限定されないが、例えばサーバ１は誤差逆伝播法を用いて各種パラメータの最適化を行う。

【0096】

サーバ１は、訓練データＤＢ１５３に記憶してある各レコードについて上記の処理を行い、類似度出力モデル１５２の学習を行う。これにより、対象物と当該対象物候補との類似度を出力可能なモデルを構築することができる。なお、他のコンピュータ（図示せず）により上述の学習処理を行い、類似度出力モデル１５２を生成しても良い。この場合、サーバ１は、他のコンピュータにより生成された類似度出力モデル１５２を取得してインストールする。なお、類似度出力モデル１５２を構築せずに、機械学習モデルを使ったＷＥＢ ＡＰＩ（Application Programming Interface）を利用することにより、類似度を出力しても良い。

【0097】

サーバ１は、対象物に対応する画像情報及びセンサ情報と、当該対象物候補に対応する画像情報及びセンサ情報とを取得した場合、取得した対象物に対応する画像情報及びセンサ情報と、当該対象物候補に対応する画像情報及びセンサ情報とを類似度出力モデル１５２に入力する。サーバ１は、類似度出力モデル１５２の中間層にて、入力層から入力された入力情報の次元数を変化させることで、入力情報が有する特徴を抽出する。サーバ１は、抽出した特徴を類似度出力モデル１５２の出力層に入力して、対象物と当該対象物候補との類似度を推定した推定結果を出力する。

【0098】

図示のように、対象物に対応する画像情報及びセンサ情報と、当該対象物候補に対応する画像情報及びセンサ情報と対し、類似度出力モデル１５２により推定された各類似度の確率値の中に、最も高い確率が出力される。例えば、推定された類似度が７５．４％である。なお、上述した出力結果に限定せず、推定した各類似度の確率値が直接出力されても良い。

【0099】

なお、類似度出力モデル１５２は、ＣＮＮに限られず、ＲＣＮＮ（Regions with Convolutional Neural Network）、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ、ＳＳＤ（Single Shot Multibook Detector）、ＹＯＬＯ（You Only Look Once）、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、トランスフォーマー（Transformer）ネットワーク、回帰木またはランダムフォレストといった他のモデルによって実現されて良い。

【0100】

図１３は、類似度出力モデル１５２を用いる類似度の算出処理のサブルーチンの処理手順を示すフローチャートである。サーバ１の制御部１１は、複数の対象物候補に対応する画像情報及びセンサ情報を大容量記憶部１５の対象物ＤＢ１５１から取得する（ステップＳ２１）。制御部１１は、取得した複数の対象物候補から、１つの対象物候補に対応する画像情報及びセンサ情報を取得する（ステップＳ２２）。

【0101】

制御部１１は、対象物に対応する画像情報及びセンサ情報と、取得した対象物候補に対応する画像情報及びセンサ情報とを類似度出力モデル１５２に入力する（ステップＳ２３）。制御部１１は、対象物と当該対象物候補との類似度を類似度出力モデル１５２から出力する（ステップＳ２４）。

【0102】

制御部１１は、複数の対象物候補の中に当該対象物候補が最後の対象物候補であるか否かを判定する（ステップＳ２５）。制御部１１は、当該対象物候補が最後の対象物候補でないと判定した場合（ステップＳ２５でＮＯ）、ステップＳ２２の処理に戻る。制御部１１は、当該対象物候補が最後の対象物候補であると判定した場合（ステップＳ２５でＹＥＳ）、対象物候補ごとに算出した類似度を取得する（ステップＳ２６）。制御部１１は、類似度の算出処理のサブルーチンを終了してリターンする。

【0103】

本実施形態によると、対象物に対応する画像情報及びセンサ情報と、当該対象物候補に対応する画像情報及びセンサ情報とに基づいて、類似度出力モデル１５２を用いて対象物と当該対象物候補との類似度を出力することが可能となる。

【0104】

本実施形態によると、類似度出力モデル１５２を用いて類似度を出力することにより、精度の高い類似度を得ることが可能となる。

【0105】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0106】

１ 情報処理装置（サーバ）
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 読取部
１５ 大容量記憶部
１５１ 対象物ＤＢ
１５２ 類似度出力モデル
１５３ 訓練データＤＢ
１ａ 可搬型記憶媒体
１ｂ 半導体メモリ
１Ｐ 制御プログラム
２ 情報処理端末（端末）
２１ 制御部
２２ 記憶部
２３ 通信部
２４ 入力部
２５ 表示部
２６ 撮影部
２７ ＧＰＳモジュール
２８ 気圧モジュール
２９ 高度モジュール
３０ ジャイロモジュール
３１ ライダーモジュール
２Ｐ 制御プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】