特開 2020-61146 畳み込みニューラルネットワークを利用してＰＯＩ変化を検出するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-61146(P2020-61146A)

(43)【公開日】2020年4月16日

(54)【発明の名称】畳み込みニューラルネットワークを利用してＰＯＩ変化を検出するためのシステムおよび方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20200319BHJP

【ＦＩ】

   G06T7/00 350C

【審査請求】有

【請求項の数】26

【出願形態】ＯＬ

【全頁数】30

(21)【出願番号】特願2019-185375(P2019-185375)

(22)【出願日】2019年10月8日

(31)【優先権主張番号】18306335.3

(32)【優先日】2018年10月9日

(33)【優先権主張国】EP

(31)【優先権主張番号】16/575,687

(32)【優先日】2019年9月19日

(33)【優先権主張国】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＳＷＩＦＴ

２．ＳＭＡＬＬＴＡＬＫ

３．ＭＡＴＬＡＢ

４．ＳＩＭＵＬＩＮＫ

(71)【出願人】

【識別番号】505205812

【氏名又は名称】ネイバー コーポレーション

【氏名又は名称原語表記】ＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ジェローム レヴォー

(72)【発明者】

【氏名】ラファエル サンパイオ デ レゼンデ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA67

5L096FA69

5L096FA77

5L096GA51

5L096HA11

5L096JA03

5L096KA04

5L096KA15

(57)【要約】      （修正有）

【課題】入力された一対のＰＯＩイメージからＰＯＩ変化を検出する。
【解決手段】ＰＯＩ変化を検出する方法では、ＰＯＩイメージの初期セットおよび合成ＰＯＩイメージセットを含むトレーニングＰＯＩイメージのベースを生成する。トレーニングＰＯＩイメージのベースを用いてトレーニングＰＯＩイメージのトリプレットを生成し、トレーニングＰＯＩイメージのトリプレットに基づき３−ストリームシャム類型の畳み込みニューラルネットワーク（ＣＮＮ）をトレーニングさせる。入力された一対のＰＯＩイメージのそれぞれに対し、３−ストリームシャム類型のＣＮＮのストリームを用いてそのイメージのディスクリプタを計算し、イメージのディスクリプタに基づき類似性スコアを計算し、類似性スコア関数を用いて入力された一対のＰＯＩイメージのイメージのディスクリプタに基づき類似性スコアを計算し、類似性スコアに基づきＰＯＩ変化を選択的に検出する。
【選択図】図１０

【特許請求の範囲】

【請求項1】

入力された一対のＰＯＩイメージからＰＯＩ変化を検出する方法であって、
第１プロセッサにより、トレーニングＰＯＩイメージのトリプレットに基づいて３−ストリームシャム類型の畳み込みニューラルネットワーク（ＣＮＮ）をトレーニングさせる段階、
第２プロセッサにより、前記入力された一対のＰＯＩイメージのそれぞれのイメージに対し、３−ストリームシャム類型のＣＮＮのストリームを用いて該当のイメージのディスクリプタを計算する段階、
前記第２プロセッサにより、類似性スコア関数を用いて前記入力された一対のＰＯＩイメージの前記イメージのディスクリプタに基づいて類似性スコアを計算する段階、および
前記第２プロセッサにより、前記類似性スコアに基づいてＰＯＩ変化を選択的に検出する段階
を含む方法。

【請求項2】

前記ＰＯＩ変化を選択的に検出する段階は、前記第２プロセッサにより、前記類似性スコアが閾値よりも大きい場合、前記ＰＯＩ変化を検出する段階を含む、
請求項１に記載の方法。

【請求項3】

前記ＰＯＩ変化を選択的に検出する段階は、前記第２プロセッサにより、前記類似性スコアが前記閾値よりも小さい場合、前記ＰＯＩ変化を検出しない段階を含む、
請求項２に記載の方法。

【請求項4】

前記入力された一対のＰＯＩイメージのイメージは、２つの異なる時間に同じ位置でキャプチャされる、
請求項１に記載の方法。

【請求項5】

トレーニングＰＯＩイメージのトリプレットに基づいて３−ストリームシャム類型のＣＮＮをトレーニングさせる段階は、
第３プロセッサにより、トレーニングＰＯＩイメージのベースを生成する段階、
前記第１プロセッサにより、前記トレーニングＰＯＩイメージのベースを用いて複数のトレーニングＰＯＩイメージのトリプレットを生成する段階であって、それぞれのトリプレットは、第１トレーニングＰＯＩイメージ、前記第１トレーニングＰＯＩイメージと関連する第２トレーニングＰＯＩイメージ、および前記第１および第２トレーニングＰＯＩイメージとは関連のない第３トレーニングＰＯＩイメージを含む、段階、
前記第１プロセッサにより、トレーニングＰＯＩイメージがそれぞれ前記トレーニングＰＯＩイメージと連関されたラベルに基づいて関連性の有無を判断する段階、および
前記第１プロセッサにより、トレーニングＰＯＩイメージの前記トリプレットに基づいて３−ストリームシャム類型のＣＮＮをトレーニングさせる段階
をさらに含む請求項１に記載の方法。

【請求項6】

前記ラベルそれぞれは、前記連関されたトレーニングＰＯＩイメージの６−自由度ポーズを含む、
請求項５に記載の方法。

【請求項7】

前記トレーニングＰＯＩイメージの関連性の有無を判断する段階は、
前記第１プロセッサにより、２つのトレーニングＰＯＩイメージが第３閾値よりも大きい幾何学的重畳を示す場合、２つのトレーニングＰＯＩイメージが関連するものと判断する段階、および
前記第１プロセッサにより、前記幾何学的重畳が第２閾値よりも小さい場合、前記２つのトレーニングＰＯＩイメージは関連のないものと判断する段階
を含む、請求項６に記載の方法。

【請求項8】

前記第１プロセッサにより、前記２つのＰＯＩイメージそれぞれでそれぞれ見える通路外形のセット間のＩｏＵに基づき、前記２つのトレーニングＰＯＩイメージ間の幾何学的重畳を計算する段階
をさらに含む請求項７に記載の方法。

【請求項9】

少なくとも１つのトリプレットは、第１トレーニングイメージの第１サイネージ領域を他のトレーニングＰＯＩイメージからの第２サイネージ領域と入れ替えることによって生成される合成ＰＯＩイメージを含む、
請求項５に記載の方法。

【請求項10】

トレーニングＰＯＩイメージのベースを生成する段階は、
前記第３プロセッサにより、それぞれ連関されたラベルを有するＰＯＩイメージの初期セットを取得する段階、
前記第３プロセッサにより、初期セットのサブセット内のそれぞれのＰＯＩイメージに対し、該ＰＯＩイメージからサイネージ領域を識別する段階であって、前記サイネージ領域は、前記ＰＯＩイメージによって表現されたＰＯＩ上に位置されるサイネージを含む、段階、
前記第３プロセッサにより、第１ＰＯＩイメージのサイネージ領域を第２ＰＯＩイメージのサイネージ領域と入れ替えることにより、サブセットの第１ＰＯＩイメージに対応する合成ＰＯＩイメージを生成する段階、
前記第３プロセッサにより、前記合成ＰＯＩイメージに前記第２ＰＯＩイメージのラベルを連関させる段階、および
トレーニングＰＯＩイメージの基礎として、前記ＰＯＩイメージの初期セットおよび前記合成ＰＯＩイメージを含むＰＯＩイメージの最終セットを記録する段階
をさらに含む、請求項５に記載の方法。

【請求項11】

前記第３プロセッサにより、第３ＰＯＩイメージのサイネージ領域を第４ＰＯＩイメージのサイネージ領域と入れ替えることにより、前記サブセットの第３ＰＯＩイメージに対応する第２合成ＰＯＩイメージを生成する段階、および
前記第３プロセッサにより、合成ＰＯＩイメージに前記第４ＰＯＩイメージのラベルを連関させる段階をさらに含み、
前記記録する段階は、前記第２合成ＰＯＩイメージを前記最終セットに記録する段階をさらに含む、
請求項１０に記載の方法。

【請求項12】

前記最終セット内でＰＯＩイメージの全体数のうちの少なくとも５％は、他のＰＯＩイメージからサイネージ領域として生成される合成ＰＯＩイメージである
請求項１１に記載の方法。

【請求項13】

最終セット内でＰＯＩイメージの全体数のうちの少なくとも２５％は、他のＰＯＩイメージからサイネージ領域として生成される合成ＰＯＩイメージである
請求項１１に記載の方法。

【請求項14】

クロップされたサイネージイメージのコレクションを取得する段階をさらに含み、
前記合成ＰＯＩイメージを生成する段階は、前記第１ＰＯＩイメージの前記サイネージ領域を前記クロップされたサイネージイメージのコレクションから前記クロップされたサイネージイメージのうちから選択された１つのクロップされたサイネージイメージと入れ替える段階を含む
請求項１０に記載の方法。

【請求項15】

前記クロップされたサイネージイメージのコレクションから前記クロップされたサイネージイメージのうちから前記選択された１つをランダムで選択する段階
をさらに含む請求項１４に記載の方法。

【請求項16】

前記第１ＰＯＩイメージの前記サイネージ領域の大きさおよび形状に適応するために前記クロップされたサイネージイメージのうちから前記選択された１つのアフィンワーピングを実行する段階
をさらに含む請求項１５に記載の方法。

【請求項17】

ポアソンブレンディングを実行する段階
をさらに含む請求項１６に記載の方法。

【請求項18】

前記サイネージは、（ａ）前記ＰＯＩイメージによって表現される前記ＰＯＩ上に位置された名称、および（ｂ）ＰＯＩイメージによって表現される前記ＰＯＩ上に位置されたロゴのうちの少なくとも１つを含む
請求項１０に記載の方法。

【請求項19】

前記ＰＯＩイメージのそれぞれから前記サイネージ領域を識別する段階は、光学文字認識およびロゴ検出のうちの少なくとも１つを用いて前記ＰＯＩイメージのそれぞれから前記サイネージ領域を識別する段階を含む
請求項１８に記載の方法。

【請求項20】

前記ＰＯＩイメージと連関する前記ラベルはそれぞれ、前記ＰＯＩイメージのうちの１つによって表現される前記ＰＯＩを識別するラベルを含む
請求項１０に記載の方法。

【請求項21】

前記ＰＯＩイメージと連関する前記ラベルはそれぞれ、前記ＰＯＩイメージのうちの１つの位置および方向のうちの少なくとも１つを定義するラベルを含む
請求項１０に記載の方法。

【請求項22】

前記ＰＯＩイメージと連関する前記ラベルはそれぞれ、前記ＰＯＩイメージのうちの１つの６−自由度ポーズを定義するラベルを含む
請求項１０に記載の方法。

【請求項23】

イメージ取得装置によってＰＯＩの地理的に局在するイメージを取得することにより、ＰＯＩイメージの前記初期セットを生成する段階
請をさらに含む求項１０に記載の方法。

【請求項24】

前記サブセットは、前記初期セットのすべてを含む
請求項１０に記載の方法。

【請求項25】

入力された一対のＰＯＩイメージからＰＯＩ変化を検出するために畳み込みニューラルネットワーク（ＣＮＮ）をトレーニングさせるためのトレーニングイメージのベースを生成する方法であって、
プロセッサにより、連関するラベルを有するＰＯＩイメージの初期セットをそれぞれ取得する段階、
前記プロセッサにより、前記初期セットのサブセット内のそれぞれのＰＯＩイメージに対し、該ＰＯＩイメージからサイネージ領域を識別する段階であって、前記サイネージ領域は、ＰＯＩイメージによって表現されたＰＯＩ上に位置するサイネージを含む、段階、
前記プロセッサにより、第１ＰＯＩイメージのサイネージ領域を第２ＰＯＩイメージのサイネージ領域と入れ替えることにより、前記サブセットの第１ＰＯＩイメージに対応する合成ＰＯＩイメージを生成する段階、
前記プロセッサにより、前記合成ＰＯＩイメージに前記第２ＰＯＩイメージの前記ラベルを連関させる段階、および
前記トレーニングイメージのベースとして、初期セットのＰＯＩイメージおよび合成ＰＯＩイメージを含むＰＯＩイメージの最終セットを記録する段階
を含む方法。

【請求項26】

入力された一対のＰＯＩイメージからＰＯＩ変化を検出するための畳み込みニューラルネットワーク（ＣＮＮ）をトレーニングさせる方法であって、
第１プロセッサにより、トレーニングＰＯＩイメージのベースを生成する段階、
第２プロセッサにより、複数のトレーニングＰＯＩイメージのトリプレットを生成する段階であって、それぞれのトリプレットは、第１ＰＯＩイメージ、前記第１ＰＯＩイメージと関連する第２ＰＯＩイメージ、および前記第１および第２ＰＯＩイメージとは関係のない第３ＰＯＩイメージを含む、段階、
前記第２プロセッサにより、前記ＰＯＩイメージがそれぞれＰＯＩイメージと連関するラベルに基づいて関連性の有無を判断する段階、および
前記第２プロセッサにより、トレーニングＰＯＩイメージのトリプレットに基づいて３−ストリームシャム類型のＣＮＮをトレーニングさせる段階
を含む方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１８年１０月９日に出願されたヨーロッパ出願第１８３０６３３５．３号の優先権を主張する。参照とした出願の全体開示は、ここに参照として含まれる。

【0002】

本発明は、機械学習に関するものであり、より詳細には、ＰＯＩ（Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ）の変化を検出するための畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）をトレーニングさせるためにトレーニングベースを生成し、ＰＯＩの変化を検出するためにこのような畳み込みニューラルネットワークを利用するためのシステムおよび方法に関する。

【背景技術】

【0003】

ここで提供される背景技術の説明は、本開示の脈絡を一般的に提示するためのものである。本背景技術のセクションに記された内容及び本発明の発明者の作業は、本発明に対する先行技術として明示的にも暗示的にも認められない。

【0004】

コンピュータビジョンは、コンピュータにデジタルビデオの高い水準の理解を提供することを目標とする最近の革新分野である。

【0005】

例えば、特定のランドマークが大規模な写真データセットから検索されたり、カメラ監視ネットワークによって人物が識別されたりできるようになった。

【0006】

畳み込みニューラルネットワークがコンピュータビジョンに用いられている。ＣＮＮとは、ニューロン間の連結パターンが動物の視覚野に基づいて影響を受けるニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＮＮ）の一類型である。ＣＮＮは、ビデオ処理に適しており、イメージのエンティティを効率的に認識することができる。

【0007】

ランドマークがラベリングされているイメージのトレーニングセットを提供することにより、ＣＮＮがトレーニングされた地図学習段階の後、ＣＮＮは、ＣＮＮトレーニングに用いられるイメージのセットにない入力「フレッシュ（ｆｒｅｓｈ）」イメージに基づいて処理される。

【0008】

ＰＯＩｓ（Ｐｏｉｎｔｓ ｏｆ Ｉｎｔｅｒｅｓｔｓ）とは、誰かまたは何か（例えば、自律走行車）が有用であるか興味がある、適切に位置付けられた地理的ランドマークである。ＰＯＩの例としては、レストラン、カフェ、銀行などのようなすべての種類のショップまたは商店などがある。

【0009】

コンピュータビジョン技法は、上述したようなＰＯＩを自動で認識するために利用されるものであるが、これに加え、与えられた領域の各ＰＯＩに対し、一定期間内に変化があったか否かを自動で決定する対応作業を実行できるという点も興味深い（すなわち、他のＰＯＩに変化）。これは、２つの互いに異なるタイムスタンプからキャプチャされた２つの地理的に局在する（ｇｅｏ−ｌｏｃａｌｉｚｅｄ）写真のデータセットに基づいて実行されてよい。

【0010】

ＰＯＩ変化検出は、時間が経過した、地理的に局在する写真をモニタリングすることによって最新のＰＯＩのデータベースの半自動維持を可能にするイニシアティブをマッピングするのに役に立つ。

【0011】

例示的なシナリオとしては、例えば、３６０度カメラを利用し、その領域のうちの特定の領域から周辺の定期的な写真をキャプチャする装置（有人または無人、例えば、自動車、トロリー、ロボット）を含む。キャプチャ装置は、それぞれの写真を６−自由度（６−Ｄｅｇｒｅｅｓ−ｏｆ−Ｆｒｅｅｄｏｍ：６ＤｏＦ）ポーズと連結することのできるいくつかの位置化機能（例えば、ＬＩＤＡＲ）を備える。代案として、６ＤｏＦイメージポーズは、自動３次元（Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ：３Ｄ）再構成技術によって復旧されてよい。

【0012】

「ランキング基盤（Ｒａｎｋｉｎｇ−ｂａｓｅｄ）」処理方式は、２つのインスタンスが同一であるか（または、相異するか）を識別する。しかし、ＰＯＩの変化の検出は、ＰＯＩ形状が時間の経過によって大きく異なるため難しい。ＰＯＩの形状は、例えば、天気／照明条件、時点変化、閉塞（自動車、木、人物など）、境界の季節ごとの変化（クリスマスや特別販売）などによって変化する。トレーニングのためのＰＯＩ変化の実際例を収集することも難しい。

【0013】

ＰＯＩ変化検出は、すべての候補イメージを比較できるアンカーイメージが使用される衛星イメージングまたは医療イメージングに対して実行可能であるが、ＰＯＩイメージに対しては実行が不可能である。

【0014】

これにより、ＰＯＩ変化を明確かつ制限なく検出するためのシステムおよび方法が求められている。

【発明の概要】

【課題を解決するための手段】

【0015】

このような目的のために、本出願は、入力された一対のＰＯＩイメージからＰＯＩ変化を検出するために畳み込みニューラルネットワークをトレーニングさせるためのトレーニングイメージのベースを生成する特徴および方法を提供する。このような方法は、第１サーバのデータプロセッサにより、（ａ１）ラベリングされたＰＯＩイメージの初期セットを取得する段階、（ａ２）初期セットのサブセットからのそれぞれのイメージに対し、イメージ内のサイネージ領域を識別する段階（前記サイネージ領域は、イメージによって描写されたＰＯＩの主要視覚的特徴を描写する）、（ａ３）サブセットの第１イメージに対応する少なくとも１つの合成ＰＯＩイメージを生成する段階（サイネージ領域は、サブセットの第２イメージの該当のイメージに入れ替えられ、合成ＰＯＩイメージに第２イメージのラベルを連関させる）、（ａ４）ＰＯＩイメージの初期セットおよびそれぞれの生成された合成ＰＯＩイメージを含むＰＯＩイメージの最終セットをトレーニングイメージのベースとして提供する段階を含む。

【0016】

本出願の追加の特徴は次のとおりとなる。（ａ２）クロップされた（ｃｒｏｐｐｅｄ）サイネージイメージのコレクションを取得する段階を含み、（ａ３）クロップされたサイネージイメージのコレクションからランダムに選択されたクロップされたサイネージイメージを使用して与えられたイメージのサイネージ領域を代替する段階を含み、（ａ３）与えられたイメージのサイネージ領域の大きさおよび形状に適応するために選択されたクロップされたサイネージイメージのアフィンワーピング（ａｆｉｎｅ ｗａｒｐｉｎｇ）し、以後にポアソンブレンディングする段階を含み、ＰＯＩの主要な視覚的特徴はＰＯＩの名称および／またはロゴであり、サイネージ領域は（ａ２）で光学文字認識および／またはロゴ検出を利用してイメージから識別され、それぞれのＰＯＩイメージは、イメージによって表現されたＰＯＩを識別するラベルに連関されるか、またはそれぞれのＰＯＩイメージは、イメージの位置および／または方向、可能であればイメージの６−自由度ポーズを定義するラベルに連関され、それぞれのＰＯＩイメージは、イメージの６−自由度ポーズを定義するラベルに連関され、（ａ１）は、イメージ取得装置を利用してＰＯＩの地理的に局在する写真を取得することにより、ＰＯＩイメージたちの初期セットを生成する段階を含む。

【0017】

一特徴として、本出願は、入力された一対のＰＯＩイメージからＰＯＩ変化を検出するためにＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をトレーニングさせる方法を提供する。この方法は、第１サーバのデータプロセッサにより、トレーニングイメージのベースを生成する段階、第２サーバのデータプロセッサにより、複数のトレーニングイメージのトリプレット（ｔｒｉｐｌｅｔｓ）を生成する段階（それぞれのトリプレットは、関連する一対のＰＯＩイメージおよび関連のない一対のＰＯＩイメージを含み、２つのＰＯＩイメージは、これらのラベルに基づいて関連するか否かが判断される）、第２サーバのデータプロセッサにより、複数のトリプレットから、３−ストリームシャム（Ｓｉａｍｅｓｅ）類型のＣＮＮをトレーニングさせる段階を含む。

【0018】

追加の特徴は次のとおりとなる。それぞれのＰＯＩイメージは、イメージの６−自由度ポーズを定義するラベルと連関し、２つのＰＯＩイメージは、これらが第１閾値よりも大きい幾何学的重畳を示す場合には関連があると判断され、これらがそれぞれの６−自由度ポーズに基づき、第２閾値よりも小さな幾何学的重畳を示す場合には関係がないと判断される。２つのイメージ間の幾何学的重畳は、２つのイメージそれぞれでそれぞれ見える通路外形（ｃｏｒｒｉｄｏｒ ｏｕｔｌｉｎｅｓ）のセット間のＩｏＵ（ｉｎｔｅｒｓｅｃｔｉｏｎ−ｏｖｅｒ−ｕｎｉｏｎ）によって計算され、少なくとも１つのトリプレットは、関連のない一対のＰＯＩイメージとして合成イメージおよび生成された合成イメージから第１イメージを含む。

【0019】

一特徴として、本出願は、入力された一対のＰＯＩイメージからＰＯＩ変化を検出する方法を提供する。このような方法は、第２サーバのデータプロセッサにより、３−ストリームシャム類型のＣＮＮをトレーニングさせる段階、第３サーバのデータプロセッサにより、入力された一対のＰＯＩイメージのそれぞれのイメージに対し、ＣＮＮのストリームを用いてイメージのディスクリプタを計算する段階、第３サーバのデータプロセッサにより、計算されたディスクリプタの類似性スコア関数に基づいてＰＯＩ変化を検出する段階を含む。

【0020】

追加の特徴は次のとおりとなる。入力された一対のＰＯＩイメージのイメージが同一位置で２つの異なるタイムスタンプとしてキャプチャされる。前記方法は、与えられた領域内で、２つの異なるタイムスタンプとしてキャプチャされた、地理的に局在するイメージの２つの与えられたデータセットから取得される複数の一対の入力されたイメージに対して実行される。

【0021】

追加の特徴によると、本出願は、トレーニングイメージのベースを生成するために、畳み込みニューラルネットワーク（ＣＮＮ）をトレーニングさせるために、または入力された一対のＰＯＩイメージからＰＯＩを検出するために、上述した方法を実行するためのコード命令語を含むコンピュータプログラム製品、およびコンピュータ読み取り可能な媒体を提供し、さらに、トレーニングイメージのベースを生成するために、第１、第２、または第３側面に係る方法を実行するか、畳み込みニューラルネットワーク（ＣＮＮ）をトレーニングさせるか、または入力された一対のＰＯＩイメージからＰＯＩ変化を検出するための、コード命令語を含むコンピュータプログラム製品が記録される。

【0022】

一特徴として、入力された一対のＰＯＩイメージからＰＯＩ変化を検出するための方法は、第１プロセッサにより、トレーニングＰＯＩイメージのトリプレットに基づいて３−ストリームシャム類型の畳み込みニューラルネットワーク（ＣＮＮ）をトレーニングさせる段階、第２プロセッサにより、入力された一対のＰＯＩイメージそれぞれのイメージに対し、３−ストリームシャム類型のＣＮＮのストリームを用いて該当のイメージのディスクリプタを計算する段階、第２プロセッサにより、類似性スコア関数を利用して入力された一対のＰＯＩイメージの前記イメージのディスクリプタに基づいて類似性スコアを計算する段階、および第２プロセッサにより、類似性スコアに基づいてＰＯＩ変化を選択的に検出する段階を含む。

【0023】

他の特徴として、ＰＯＩ変化を選択的に検出する段階は、第２プロセッサにより、類似性スコアが閾値よりも大きい場合にＰＯＩ変化を検出する段階を含む。

【0024】

他の特徴として、ＰＯＩ変化を選択的に検出する段階は、第２プロセッサにより、類似性スコアが閾値よりも小さい場合にＰＯＩ変化を検出しない段階を含む。

【0025】

他の特徴として、入力された一対のＰＯＩイメージのイメージは、２つの異なる時間に同一位置でキャプチャされたものである。

【0026】

他の特徴として、トレーニングＰＯＩイメージのトリプレットに基づいて３−ストリームシャム類型のＣＮＮをトレーニングする段階は、第３プロセッサにより、トレーニングＰＯＩイメージのベースを生成する段階、第１プロセッサにより、トレーニングＰＯＩイメージたちのベースを使用して複数のトレーニングＰＯＩイメージのトリプレットを生成する段階（それぞれのトリプレットは、第１トレーニングＰＯＩイメージ、第１トレーニングＰＯＩイメージと関連する第２トレーニングＰＯＩイメージ、および第１および第２トレーニングＰＯＩイメージとは関係のない第３ＰＯＩトレーニングイメージを含む）、第１プロセッサにより、トレーニングＰＯＩイメージがそれぞれトレーニングＰＯＩイメージと連関するラベルに基づいて関連性の有無を判断する段階、および第１プロセッサにより、トレーニングＰＯＩイメージのトリプレットに基づいて３−ストリームシャム類型のＣＮＮをトレーニングさせる段階を含む。

【0027】

他の特徴として、ラベルそれぞれは、連関するトレーニングＰＯＩイメージの６−自由度ポーズを含む。

【0028】

他の特徴として、トレーニングＰＯＩイメージの関連性を決定する段階は、第１プロセッサにより、２つのトレーニングＰＯＩイメージが第３閾値よりも大きい幾何学的重畳を示す場合には２つのトレーニングＰＯＩイメージが関連するものであると判断する段階、および第１プロセッサにより、幾何学的重畳が第２閾値よりも小さい場合には２つのトレーニングＰＯＩイメージが関係ないものであると判断する段階を含む。

【0029】

他の特徴として、前記方法は、第１プロセッサにより、２つのＰＯＩイメージのそれぞれで見える通路外形のセット間のＩｏＵに基づき、２つのトレーニングＰＯＩイメージ間の幾何学的重畳を計算する段階をさらに含む。

【0030】

他の特徴として、少なくとも１つのトリプレットは、第１トレーニングイメージの第１サイネージ領域を他のトレーニングＰＯＩイメージからの第２サイネージ領域に入れ替えることによって生成される合成ＰＯＩイメージを含む。

【0031】

他の特徴として、トレーニングＰＯＩイメージのベースを生成する段階は、第３プロセッサにより、それぞれ連関するラベルを有するＰＯＩイメージの初期セットを取得する段階、第３プロセッサにより、初期セットのサブセット内のそれぞれのＰＯＩイメージに対し、該当のＰＯＩイメージからサイネージ領域を識別する段階（サイネージ領域は、ＰＯＩイメージによって表現されるＰＯＩ上に位置されたサイネージを含む）、第３プロセッサにより、第１ＰＯＩイメージのサイネージ領域を第２ＰＯＩイメージのサイネージ領域に入れ替えることにより、サブセットの第１ＰＯＩイメージに対応する合成ＰＯＩイメージを生成する段階、第３プロセッサにより、合成ＰＯＩイメージに第２ＰＯＩイメージのラベルを連関させる段階、およびトレーニングＰＯＩイメージのベースとして、ＰＯＩイメージの初期セットおよび合成ＰＯＩイメージを含むＰＯＩイメージの最終セットを記録する段階を含む。

【0032】

他の特徴として、前記方法は、第３プロセッサにより、第３ＰＯＩイメージのサイネージ領域を第４ＰＯＩイメージのサイネージ領域に入れ替えることにより、サブセットの第３ＰＯＩイメージに対応する第２合成ＰＯＩイメージを生成する段階、および第３プロセッサにより、合成ＰＯＩイメージに第４ＰＯＩイメージのラベルを連関させる段階を含み、前記記録する段階は、第２合成ＰＯＩイメージを最終セットに記録する段階をさらに含む。

【0033】

他の特徴として、最終セット内のＰＯＩイメージの全体数のうちの少なくとも５％は、他のＰＯＩイメージからサイネージ領域として生成された合成ＰＯＩイメージである。

【0034】

他の特徴として、最終セット内のＰＯＩイメージの全体数のうちの少なくとも２５％は、他のＰＯＩイメージからサイネージ領域として生成された合成ＰＯＩイメージである。

【0035】

他の特徴として、前記方法は、クロップされたサイネージイメージのコレクションを取得する段階を含み、ここで、合成ＰＯＩイメージを生成する段階は、第１ＰＯＩイメージのサイネージ領域を、クロップされたサイネージイメージのコレクションからクロップされたサイネージイメージのうちから選択された１つのクロップされたサイネージイメージに入れ替える段階を含む。

【0036】

他の特徴として、前記方法は、クロップされたサイネージイメージのコレクションからクロップされたサイネージイメージのうちから選択された１つをランダムで選択する段階をさらに含む。

【0037】

他の特徴として、前記方法は、第１ＰＯＩイメージのサイネージ領域の大きさおよび形状に適応するためにクロップされたサイネージイメージのうちから選択された１つのアフィンワーピング（ａｆｆｉｎｅ ｗａｒｐｉｎｇ）を実行する段階をさらに含む。

【0038】

他の特徴として、前記方法は、ポアソンブレンディングを実行する段階をさらに含む。

【0039】

他の特徴として、サイニジは、（ａ）ＰＯＩイメージによって表現されるＰＯＩ上に位置された名称、および（ｂ）ＰＯＩイメージによって表現されたＰＯＩ上に位置されたロゴのうちの少なくとも１つを含む。

【0040】

他の特徴として、それぞれのＰＯＩイメージからサイネージ領域を識別する段階は、光学文字認識およびロゴ検出のうちの少なくとも１つを利用してそれぞれのＰＯＩイメージからサイネージ領域を識別する段階を含む。

【0041】

他の特徴として、ＰＯＩイメージと連関するラベルそれぞれは、ＰＯＩイメージのうちの１つによって表現されるＰＯＩを識別するラベルを含む。

【0042】

他の特徴として、ＰＯＩイメージと連関するラベルそれぞれは、ＰＯＩイメージのうちの１つの位置および方向のうちの少なくとも１つを定義するラベルを含む。

【0043】

他の特徴として、ＰＯＩイメージと連関するラベルそれぞれは、ＰＯＩイメージうちの１つの６−自由度ポーズを定義するラベルを含む。

【0044】

他の特徴として、前記方法は、イメージ取得装置を使用してＰＯＩの地理的に局在するイメージを取得することにより、ＰＯＩイメージの初期セットを生成する段階をさらに含む。

【0045】

他の特徴として、サブセットは、すべての初期セットを含む。

【0046】

一特徴として、入力された一対のＰＯＩイメージのＰＯＩ変化を検出する畳み込みニューラルネットワーク（ＣＮＮ）をトレーニングさせるためのトレーニングイメージのベースを生成する方法は、プロセッサにより、それぞれ連関するラベルを有するＰＯＩイメージの初期セットを取得する段階、プロセッサにより、初期セットのサブセット内のそれぞれのＰＯＩイメージに対し、ＰＯＩイメージからサイネージ領域を識別する段階（サイネージ領域は、ＰＯＩイメージによって表現されるＰＯＩ上に位置されたサイネージを含む）、プロセッサにより、第１ＰＯＩイメージのサイネージ領域を第２ＰＯＩイメージのサイネージ領域に入れ替えることにより、サブセットの第１ＰＯＩイメージに対応する合成ＰＯＩイメージを生成する段階、プロセッサにより、第２ＰＯＩイメージのラベルを合成ＰＯＩイメージに連関させる段階、およびトレーニングイメージのベースとして、ＰＯＩイメージの初期セットおよび合成ＰＯＩイメージを含むＰＯＩイメージの最終セットを記録する段階を含む。

【0047】

一特徴として、入力された一対のＰＯＩイメージのＰＯＩ変化を検出するための畳み込みニューラルネットワーク（ＣＮＮ）をトレーニングさせる方法は、第１プロセッサにより、トレーニングＰＯＩイメージのベースを生成する段階、第２プロセッサにより、複数のトレーニングＰＯＩイメージのトリプレットを生成する段階（それぞれのトリプレットは、第１ＰＯＩイメージ、第１ＰＯＩイメージと関連する第２ＰＯＩイメージ、および第１および第２ＰＯＩと関連のない第３ＰＯＩイメージを含む）、第２プロセッサにより、ＰＯＩイメージがそれぞれＰＯＩイメージと連関するラベルに基づいて関連性を判断する段階、および第２プロセッサにより、トレーニングＰＯＩイメージのトリプレットに基づいて３−ストリームシャム（Ｓｉａｍｅｓｅ）類型のＣＮＮをトレーニングさせる段階を含む。

【0048】

本開示の内容の他の適用分野は、詳細な説明、特許請求の範囲、および図面から明らかになるであろう。詳細な説明および特定の例示は、本発明の例示に過ぎず、本開示の範囲を制限するものではない。

【図面の簡単な説明】

【0049】

本開示は、詳細な説明および添付の図面によって完全に理解できるであろう。

【図1】ＰＯＩの変化または未変化を示すＰＯＩイメージの比較例である。

【図2】方法が実行されるアーキテクチャの一例を示した図である。

【図3】方法に用いるためのＣＮＮアーキテクチャの一例を示した図である。

【図4a】特に検出が困難な実際のＰＯＩ変化の一例を示した図である。

【図4b】合成ＰＯＩイメージおよび対応する原本ＰＯＩイメージの例を示した図である。

【図5a】問題のある候補ＰＯＩイメージの３つの例を示した図である。

【図5b】問題のある候補ＰＯＩイメージの３つの例を示した図である。

【図5c】問題のある候補ＰＯＩイメージの３つの例を示した図である。

【図6】２つのイメージ間でどのように幾何学的重畳が計算されるかを示した図である。

【図7a】方法の性能を評価するための２種類のテストを示した図である。

【図7b】方法の性能を評価するための２種類のテストを示した図である。

【図8】トレーニングのためにイメージの一セットを生成する例示的な方法を示したフローチャートである。

【図9】例示的なトレーニング方法を示したフローチャートである。

【図10】ＰＯＩ変化を検出する例示的な方法を示したフローチャートである。 図面において、参照番号は類似しており、同じエレメントを追加で識別するために再使用されることもある。

【発明を実施するための形態】

【0050】

アーキテクチャ
本出願は、入力された一対のＰＯＩイメージからＰＯＩ変化を検出するために畳み込みニューラルネットワーク（ＣＮＮ）をトレーニングさせるためのトレーニングイメージのベースを生成する方法、より詳細には、前記第１方法によって生成されるベースから入力された一対のＰＯＩイメージからＰＯＩ変化を検出するためにＣＮＮをトレーニングさせる方法、さらに詳細には、前記第２方法によってトレーニングされたＣＮＮを用いて入力された一対のＰＯＩイメージからＰＯＩ変化を検出する方法を開示する。

【0051】

上述したように、「関心地点（Ｐｏｉｎｔ Ｏｆ Ｉｎｔｅｒｅｓｔ）」とは、誰かまたは何かが有用であるか興味のある、適切に位置化された地理的ランドマークを意味してよい。ＰＯＩの典型的な例としては、レストラン、カフェ、銀行などのようなすべての種類のショップまたは商店がある。ここで、ＰＯＩは、すべての建物のすべての占有に一般化されてよい。ＰＯＩの他の例としては、公共の建物、病院、学校、教会、駐車場、警察署、消防署、鉄道駅、空港などを含む。

【0052】

一般的に、ＰＯＩは、「ウェブマップ」のようにマップに表示されることが可能な「スポット（地点）」を意味する。ウェブマップは、モバイル装置（例えば、スマートフォン、タブレット、ラップトップなど）、または内蔵されているか内蔵されていないアプリケーションを使用するモバイル装置（例えば、自動車コンピュータ、デスクトップ、ディスプレイ、またはプロジェクションユニットなど）のようなクライアント装備１０に提供されるマップであってよい。ウェブマップは、ユーザの要求にしたがい、マップ上にディスプレイするためにＰＯＩのデータベースから生成されてよい。

【0053】

ＰＯＩが使用される状況により、ＰＯＩは、建築物の外部（例えば、観光名所、政府建物など）にあるのか、または構造物の内部（例えば、ＰＯＩは、博物館内の芸術物の位置または施設の位置を識別）にあるのかに関係なく、関心があるか関心がないかの特徴（例えば、旅行のときには、ガソリンスタンド、駐車場、レストランなどのようなＰＯＩに関心があると考えられる）を識別してよい。したがって、ＰＯＩは、互いに異なる状況で互いに異なる意味を有してよい。

【0054】

それぞれのＰＯＩは、特定の位置（一般的に建物）と連関付けて説明され、このような位置のイメージはＰＯＩを示す。

【0055】

「ＰＯＩ変化」とは、入力された一対のイメージに基づき、定義された与えられた期間内（理由は関係なし）に特定の位置のＰＯＩが他のＰＯＩの位置に入れ替わることを意味する。

【0056】

このようなイメージは、２つの異なるタイム−スタンプで同じ位置をキャプチャし（したがって、期間を定義）、それぞれの「以前−イメージ」および「以後−イメージ」として表示される。例えば、同じ位置において、以前−イメージは銀行であり、以後−イメージはファーストフード店である場合、ＰＯＩは銀行からレストランに変化する。

【0057】

本出願は、ＰＯＩ変化の発生を検出する方法について説明する。方法の出力は、ブーリアン値（Ｂｏｏｌｅａｎ ｖａｌｕｅ）、例えば、ＰＯＩ変化が検出されるときの第１値およびＰＯＩ変化が検出されないときの第２値に基づいてよい。ＰＯＩ変化が検出されると、「新たな」ＰＯＩを決定するためにＰＯＩ検出器がトリガーされてよい。

【0058】

上述した方法は、ＰＯＩが時間の経過によって変化したかどうかを、与えられた領域内のそれぞれのＰＯＩに対して自動で決定するために大規模で利用されてよい。言い換えれば、ＰＯＩ変化検出方法は、ほぼ同じ地理的位置（地理的位置の写真）で撮影された２つの与えられた写真（イメージ）のデータセットから取得される複数の入力された一対のイメージに対して実行されてよい。２つのデータセットは、例えば、領域をローミングする車によってキャプチャされてよい。２つのデータセットは、２つの異なる時間（２つの異なるタイム−スタンプを有する）にキャプチャされ、それぞれ「以前−データセット」（「以前−イメージ」のセット）および「以後−データ（「以後−イメージ」のセット）で表示される。

【0059】

図１において、マップは、２つの位置に対してＰＯＩ変化が確認された領域を示している。左側において、第１位置（チェックマークで表示）にはＰＯＩ変化がないことが分かる。右側において、第２位置（Ｘで表示）にはＰＯＩ変化があることが分かる。

【0060】

上述した方法は、第１サーバおよび／または第２サーバおよび／または第３サーバ１ａ、１ｂ、１ｃにより、図２に示すようなアーキテクチャ内で実現される。第１サーバ１ａはベース生成サーバ（第１方法を実現する）であり、第２サーバ１ｂは学習サーバ（第２方法を実現する）であり、第３サーバ１ｃはＰＯＩ変化検出サーバ（第３方法を実現する）である。２つの機能（例えば、第１サーバ１ａおよび第２サーバ１ｂ）またはすべてのサーバの機能は、結合されてよい。代案的に、それぞれのサーバの機能は、プロセッサ回路によって提供されてもよいし、共有プロセッサ回路によって結合されてもよい。

【0061】

第１、第２、および第３サーバ１ａ、１ｂ、１ｃそれぞれは、データ交換のためのインターネットのような拡張ネットワーク２に連結する遠隔コンピュータ装備を含む。第１、第２、および第３サーバ１ａ、１ｂ、１ｃそれぞれは、データプロセッサのようなデータ処理モジュール１１ａ、１１ｂ、１１ｃを含む。第２サーバ１ｂのデータ処理モジュール１１ｂは、データ処理モジュール１１ａおよび１１ｃの機能よりも学習が計算集約的であり得るため、データ処理モジュール１１ａおよび１１ｃよりもさらに大きいデータ処理能力を有してよい。第１、第２、および第３サーバ１ａ、１ｂ、１ｃそれぞれは、メモリのような記録モジュール１２ａ、１２ｂ、１２ｃを含んでもよい。

【0062】

第１および第２サーバ１ａおよび１ｂは、トレーニングベースを記録したり、これにアクセスしたりしてよい。トレーニングベースは、トレーニングイメージのベースを含んでよく、これは「ＰＯＩイメージ」とも呼ばれる。それぞれのＰＯＩイメージは、第１および第２サーバ１ａ、１ｂで、２つのＰＯＩイメージが「関連」であるか「非関連」であるかを決定できるようにするラベル（または「タグ」）と連関してよい。関連は同じＰＯＩを意味する可能性が高く、非関連は同じＰＯＩを意味する可能性が低い。

【0063】

第１例として、ラベルは、ＰＯＩイメージによって描写されるＰＯＩを直接識別する。言い換えれば、ＰＯＩがこのようなイメージによって描写されるトレーニングベースのそれぞれのＰＯＩイメージに対して知らされてよい。例えば、レストランのイメージは、レストラン名のラベルと連関させてよい。

【0064】

第２例として、それぞれのＰＯＩイメージには、位置および／または方向データがラベリングされる。このような例において、ＰＯＩイメージのラベルは、ＰＯＩイメージの位置および／または方向を定義する。例えば、ラベルは、位置の３つのコンポーネントおよび方向の３つのコンポーネントを含む６Ｄポーズを含んでよい。このような場合、これらの位置／方向（ラベル）がほぼ同じであれば（例えば、イメージを取得するとき、カメラが類似する時点を有する場合）、２つのＰＯＩイメージは関連するものと決定されてよい。

【0065】

本出願は、特定のラベリング方式に制限されない。ラベルが図に示すＰＯＩに関する情報を提供し、サーバ１ａ、１ｂ、１ｃが２つのＰＯＩイメージの関連性を決定できる限り、ラベルは任意の適切な特性を有してよい。

【0066】

アーキテクチャは、カメラを備えた自動車および６ＤｏＦポーズのようなそれぞれの取得されたイメージの位置（例えば、３つのコンポーネント）および／または方向（例えば、３つのコンポーネント）を決定するように構成される地理的位置ユニット（ＧＰＳモジュール、ＬＩＤＡＲなどのような）のようなイメージ取得装置３をさらに含んでよい。

【0067】

クライアント装備１０の１つ以上のアイテムは、ユーザ端末（または、ネットワーク２に連結される）であってよく、サーバ１ａ、１ｂ、１ｃから分離されてもよいが、ＰＯＩ情報にアクセスするために１つおよび／またはその他のものと併合されてもよい。例えば、クライアント装備１０は、１つ以上のサーバ１ａ、１ｂ、１ｃからのＰＯＩ情報に基づいてマップ上にＰＯＩを表示するマッピングアプリケーションを実現してよい。

【0068】

シャム（ＳＩＡＭＥＳＥ）ＮＮ
商店正面に関連する事例において、イメージからＰＯＩ変化が検出された後、フランチャイズの認識が検出される。例えば、フランチャイズに変化した場合、ＰＯＩ変化が検出されてよい。本出願では、ＰＯＩ検出器の種類またはＰＯＩフランチャイズに対する明示上な知識は求めない。言い換えれば、本出願は、対応するフランチャイズ（前後）がトレーニング中にまったく見えなかったとしても、商店正面のＰＯＩ変化を検出することができる。

【0069】

ＰＯＩ変化の検出問題は、ランキング問題を含むと説明されてよい。ランキングアクセス方式は、入力クエリによる類似性側面において、このクエリと関連するすべてのデータベースエレメントのランキングを予測することを目標とする。類似性は、典型的に当面の課題によって定義される（例えば、任意）。

【0070】

類似性／非類似性インスタンス（この場合、ＰＯＩの場合）の例示の対から類似性が学習されてよい。ランキングアクセス方式は、「識別」問題を解決し、データセットからクエリに最も類似したインスタンスを見つけ出すもののように見えるが、ランキングアクセス方式が２つのインスタンスの類似性を確認し、２つのインスタンスが類似するかを確認するために利用されてよい。２つのインスタンスが予想どおり類似しない場合、変化がある。

【0071】

ランキングシステムをトレーニングさせる１つ方法は、トリプレット損失を利用する。本出願は、イメージトリプレットに基づいたランキング損失の特定の形態を含む。目標は、クエリイメージで構成されるトリプレット、「関連する」イメージ（クエリイメージと関連するイメージ、すなわち、同じインスタンスのイメージ）と「関連のない」イメージ（言い換えれば、クエリイメージと関連のないイメージ）に明確に適用することにあり、関連イメージのトレーニングされた表現は、関連のないイメージの表現よりもクエリイメージの表現により近い。

【0072】

ＰＯＩと関連して言葉を変えても、以後−イメージ、以前−イメージ、および他のＰＯＩ（例えば、以前イメージのラベルと互換されない／関連のないラベルと連関する任意のＰＯＩイメージ、すなわち、関連がない上に異なるＰＯＩを描写する）のイメージで構成されたトリプレットがある場合、以後−イメージのトレーニングされた表現は、他のＰＯＩのイメージの表現よりも以前−イメージの表現により近い。

【0073】

このために、本出願のＣＮＮは、３−ストリームシャムニューラルネットワークであってよい。３つのストリームそれぞれによって生成されるイメージ表現は、損失によって共同で考慮される。ＰＯＩ変化検出のためのこのようなシャムＮＮの実施形態は、図３に示されている。

【0074】

「シャム（Ｓｉａｍｅｓｅ）」ＮＮは、ストリームと呼ばれる２つ以上の同じサブネットワークを含むニューラルネットワークアーキテクチャの類型である。図３は、３つのストリームが存在する例を示している。「同一」は、同じパラメータおよび加重値で同じ構成を備えることを意味してよい。パラメータアップデートは、すべてのストリームでミラーリングされてよい。

【0075】

畳み込み層（レイヤＣＯＮＶ）および全結合層（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ：ＦＣ）の加重値の大きさは、イメージの大きさとは無関係であるため、ストリーム間で共有される。すなわち、シャムアーキテクチャは、すべての大きさと縦横比のイメージを処理することができ、テスト時に利用される同じ（高）解像度のイメージを利用してトレーニングされてよい。

【0076】

一般的なＲｅｓＮｅｔ−１０１は、一般化されたマックスプーリング（ｍａｘｐｏｏｌｉｎｇ）を基盤とするグローバルプーリング層を有するそれぞれのストリームのバックボーンとして使用されてよい。

【0077】

ＦＣ層は、「ディスクリプタ（ｄｅｓｃｒｉｐｔｏｒ）」を出力する。ディスクリプタは、２つの入力を比較する基礎ベクトルであってよい。ストリームが同じ構成を有するため、入力が与えられれば、取得したディスクリプタはそれぞれのストリームに対して等しい。

【0078】

ＦＣ層以後のシャムＮＮの一部（例えば、層）は、損失を計算し、トレーニング中にだけ使用される。次に、ランキング損失は、トレーニングに使用されてよい。Ｉ_ｑをディスクリプタｄ_ｑを有するクエリイメージであるとすると、Ｉ_＋はディスクリプタｄ_＋を有する関連イメージであり、Ｉ₋はディスクリプタｄ₋とは関係のないイメージである。したがって、ランキングトリプレット損失は、次のように定義される。

【0079】

【数1】

【0080】

ここで、ｍは、マージンを制御するスカラである。

【0081】

トリプレット損失をランキング化する例について説明したが、Ｌ２標準以外の距離関数のような他の損失関数が使用されてよい。

【0082】

３−ストリームシャムＮＮは、トリプレットＩ_ａ、Ｉ_ｂ、Ｉ_ｃによってトレーニングされてよく、ここで、Ｉ_ａおよびＩ_ｂは同じインスタンス（すなわち、同じＰＯＩを示す）を示し、Ｉ_ｃは他のインスタンスを示す（すなわち、異なるＰＯＩを示す）。トリプレット損失に対する次の公式は、インスタンスが何であっても、ディスクリプタｄ_ａとｄ_ｂとの距離が常にｄ_ａとｄ_ｃとの距離よりも小さくなければならないという事実を適用する。このような関係がいずれかのトリプレットに適用される場合、一般的に、同じインスタンスからのイメージが、異なるインスタンスからのイメージよりも空間においてより近いということを意味する。言い換えれば、２つのイメージディスクリプタの距離を測定すれば、２つのインスタンス間の関係が分かる。

【0083】

【数2】

【0084】

ここで、

【0085】

【数3】

は、予め決定されている閾値である（以下を参照）。

【0086】

ベース生成方法
トレーニングイメージのベースを生成する方法は、第１サーバ１ａのデータプロセッサ１１ａによって実現される。このような方法は、ＣＮＮ（特に、３−ストリームシャム類型ＮＮ）をトレーニングするためのトレーニングベースを設定する。

【0087】

シャムＮＮをトレーニングさせるための一般的な設定は、イメージあたりの単一インスタンス（すなわち、単一ＰＯＩを示すそれぞれのイメージ）を有し、連関するラベルがあるイメージのデータセットを生成する。上述したように、それぞれのラベルは、イメージで描写されたＰＯＩを識別する。トリプレットの生成は、次のとおりに行われる。イメージＩ^ａのラベルをＩ_ａで示す。トリプレットＩ_ａ、Ｉ_ｂ、Ｉ_ｃを生成するためにＩ_ａ＝Ｉ_ｂおよびＩ_ａ≠Ｉ_ｃを適用する。

【0088】

ＰＯＩ変化検出のためにネットワークをトレーニングすることは、実際にＰＯＩイメージの対の大規模データセットを使用してよく、そのうちの一部にはＰＯＩ変化があるか、一部にはＰＯＩ変化がない。トレーニングは、データセットをランダムにサンプリングして適切なトリプレットを形成する。しかし、このような大規模データセットを収集することには困難があり、多くの時間が消耗され、費用も多くかかる。

【0089】

ＰＯＩ変化をシミュレーションしてＰＯＩ変化の対ないトリプレットＩ_ａ、Ｉ_ｂ、Ｉ_ｃを直接生成すれば、欠陷が生じる恐れがある。例えば、（トレーニングされた）ＮＮは、天気、閉塞、または季節の商店正面の変化のような変化ではなく、視覚的混乱に対して十分な不変性を学習することができない場合がある。これは、可能な変形の全体パネルを示さないトレーニングに使用される制限されたデータにその原因がある。制限されたデータセットは、ＰＯＩ変化の例示の対だけをシミュレーションすることができる。また、実際のＰＯＩ変化を示す同一場所のイメージの例示の対を提供する代りに、２つの異なる場所からの２つの異なるＰＯＩが使用されてよい。しかし、実際には、図１の右側に示すように、ＰＯＩ「以前」と「以後」の間に特定の類似性または相関関係がある場合がたびたび存在する。

【0090】

本出願は、インスタンスの視覚的アイデンティティの構成を区別する。これを「主要視覚的特徴」と呼ぶ。ＰＯＩの場合、異なる商店が同じ製品やサービスを販売することもあるため、商店正面自体は特に区別されない。特に、２つの異なるＰＯＩを明白に区別することのできる唯一な要因は、このような主要視覚的特徴であり、これは一般的にＰＯＩの名称および／またはロゴである。多様な実現において、３次元エンブレム、特定のパターン、特定のインテリアなどのような異なる視覚的アイデンティティ特徴が利用されてよい。ＰＯＩのこのような主要視覚的特徴は、一般的にイメージで識別されて分離される。

【0091】

例えば、図４ａは、トレーニングされたＮＮの検出が困難な実際のＰＯＩ変化の例を示している。商店の所有者（フランチャイズ）は変化したが、商店コンテンツには変化がなく、維持されている。主要視覚的特徴（サイネージ）だけが変更されたが、比較的独特な方式ではない。

【0092】

商店正面のＰＯＩイメージで示される主要視覚的特徴を「サイネージ（ｓｉｇｎａｇｅ）」とし、ＰＯＩイメージの該当の部分を「サイネージ領域（ｓｉｇｎａｇｅ ｒｅｇｉｏｎ）」とする。サイネージ領域の例は、図４ａにおいて点線の四角形によって定義される。

【0093】

本出願は、サイネージ領域を他のサイネージ領域と合成的に交換し、選択的に、よりリアルなイメージブレンディング技術を利用してトレーニングベースを拡大することにより、ＰＯＩ変化の人工的な例の生成を含む。

【0094】

ベース生成方法は図８に示されており、ＰＯＩイメージの初期セットを取得する段階ａ１から始まり、それぞれのＰＯＩイメージは、記録された連関するラベルを有する。ラベルは、イメージによって描写されたＰＯＩを直接識別するか、イメージの位置および／または方向を定義してよい。以下、２つの実施形態について説明する。初期セットを取得するために多様な技法が利用されてよい。

【0095】

ラベルがＰＯＩを識別する場合、このようなポイントにおける初期セットのそれぞれのイメージは、正しくラベリングされた単一ＰＯＩを示すものと仮定する。

【0096】

段階ａ２で、初期セットのサブセットからのそれぞれのイメージに対し、サイネージ領域がイメージから識別されるが、サイネージ領域はイメージによって描写されたＰＯＩの主要視覚的特徴を説明するものであり、特に、イメージと連関するラベル（一般的に名称および／またはロゴ）である。サブセットは、全体初期セットであってもよく、全体初期セットよりも少なくてもよい。サイネージ領域は、例えば、光学文字認識および／またはロゴ検出によってイメージから識別されてよい。

【0097】

サイネージ領域が識別されるとき、サイネージ領域は、「サイネージイメージ（ｓｉｇｎａｇｅ ｉｍａｇｅ）」、すなわち、サイネージ領域として制限される小さなイメージを得るためにクロップされてよい。段階ａ２は、異なるイメージからクロップされたサイネージイメージのコレクションを取得する段階を含むことに注目しなければならない。

【0098】

段階ａ３で、少なくとも１つの「合成」ＰＯＩイメージが生成される。合成ＰＯＩイメージは、サイネージ領域がサブセットの第２イメージのサイネージ領域に入れ替えられたサブセットの第１イメージに対応する、人工的に構成されるトレーニングイメージである。言い換えれば、実際にＰＯＩイメージ（第１イメージ）が与えられると、このイメージのサイネージ領域が他のサイネージ領域（第２イメージの領域）に入れ替わる。第２イメージ（他のサイネージ領域から取得されるもの）は、サブセットからランダムに選択されてよい。

【0099】

段階ａ３は、与えられたイメージのサイネージ領域の大きさおよび形状に適応するために選択されたクロップされたサイネージイメージのアフィンワーピングを含んでよい。これは、よりリアルなポアソンブレンディングに繋がってよい。

【0100】

生成された合成ＰＯＩイメージの例が図４ｂに示されている。それぞれの例において、左側イメージは原本サイネージ領域を含む原本イメージ（第１イメージ）であり、上のイメージは（第２イメージから）選択されたクロップされたサイネージ領域を示し、右側イメージは第１イメージのサイネージ領域を第２イメージのサイネージ領域に入れ替えることで取得された合成ＰＯＩイメージである。

【0101】

トレーニングに使用するために、合成ＰＯＩイメージはラベリングされている。合成イメージは、クロップされたサイネージ領域のＰＯＩを示すものと見なされる。

【0102】

原本イメージと合成イメージは、トレーニングベースに追加された新たな非類似（非関連）対を構成する。

【0103】

段階ａ４で、初期セットのＰＯＩイメージおよびそれぞれの生成された合成ＰＯＩイメージを含むＰＯＩイメージの最終セットが、トレーニングイメージのベースに提供される。トレーニングは、トレーニングイメージのベースによって実行される。

【0104】

このプロセスは、可視的なサイネージを有するそれぞれのＰＯＩイメージに対して数回にわたって実行されてよい。合成データの生成は、簡単な方式で事前知識を注入できるようにし、不足なデータに対するアクセス方式を強化する。

【0105】

以下でさらに説明するが、トレーニングベースでの最大５０％の合成イメージ（すなわち、原本ＰＯＩイメージあたり最大１つのＰＯＩ合成イメージ）によって有利な結果が得られる。トレーニングベースでの合成ＰＯＩイメージの割合は、４％（および９６％の原本ＰＯＩイメージ）〜８０％（および２０％の原本ＰＯＩイメージ）範囲であってよい。多様な実現において、トレーニングベースは、１０％〜７０％の合成ＰＯＩイメージを含んでよく、残りは原本ＰＯＩイメージである。多様な実現において、トレーニングベースは、２０％〜６０％の合成ＰＯＩイメージを含んでよく、残りは原本ＰＯＩイメージである。多様な実現において、トレーニングベースは、４０％〜５５％の合成ＰＯＩイメージを含んでよく、残りは原本ＰＯＩイメージである。

【0106】

ＰＯＩイメージラベリング
上述した第１例において、それぞれのＰＯＩイメージは、ＰＯＩを識別するラベルと連関する。このような場合に、段階ａ１は、キャプチャされたＰＯＩイメージを手動でラベリングすることによって実行されてよい。しかし、キャプチャされたＰＯＩイメージを手動でラベリングすることは、時間と資源の消耗となる。

【0107】

イメージが自動で収集およびラベリングされてよい。しかし、「誤って形成された三重項」が発生する恐れがある。これには３つの理由がある。（１）例えば、図５ａに示すように、１つ以上のインスタンスがイメージ上に示されることがある。（２）単一イメージは、ＰＯＩの一部だけをカバーするため、同じＰＯＩにおける２つのイメージは、例えば、図５ｂに示すように重ならないこともある。（３）一部のイメージはＰＯＩをまったく含まないこともあるが、このようなイメージと対をなすＰＯＩイメージは、図５ｃに示すように変化として見なされない。

【0108】

それぞれのＰＯＩイメージに示されたＰＯＩを識別するラベルの正確性のために、ラベルおよびＰＯＩイメージの人間による吟味および検証が実行されてよい。それぞれのＰＯＩイメージが単一ＰＯＩだけを含むヒューマンレビューが実行されてもよい。

【0109】

２つ目の例として、それぞれのＰＯＩイメージは、６Ｄポーズのような位置および／または方向データでラベリングされる。これを前提に、トリプレットは、イメージコンテンツ重畳の幾何学的測定に基づいて生成されてよい。２つのイメージが実質的に共通のビューを共有する場合、すなわち、これらが重なる場合に関連をもつ。

【0110】

前記領域のマップが利用可能であると仮定すると、マップは、図１に示すように、通路外形（例えば、それだけ）を示してよい。地図を使用することができない場合、３Ｄ再構成技術によってポーズと地図を取得してよい。

【0111】

通路外形に属するポイントは

【0112】

【数4】

で表示されるが、ここで、Ｗは、図６の例のように、このようなすべてのポイントのセットである。それぞれのイメージＩ_ａに対し、このようなイメージで通路外形のセットを示す幾何学的パラメータＶ_ａが計算されてよい。これは、レイキャスティング（ｒａｙ ｃａｓｔｉｎｇ）によって達成される。イメージのそれぞれのピクセルに対し、カメラレンズから始まる３Ｄ光線は、このピクセルを通過した後に初めて発生する

【0113】

【数5】

に透写される。

【0114】

２つのイメージＩ_ａおよびＩ_ｂ間のオーバーラップ０（Ｉ_ａ；Ｉ_ｂ）は、可視性セット間の領域の共通部分を和集合で除算したもの（ｉｎｔｅｒｓｅｃｔｉｏｎ−ｏｖｅｒ−ｕｎｉｏｎ：ＩｏＵ）を利用して計算されてよい。

【0115】

【数6】

【0116】

２つのイメージに関連性があるか否かは、幾何学的重畳に基づいて決定される。２つのＰＯＩイメージは、第１閾値（０（Ｉ_ａ；Ｉ_ｂ）＞_{τｈｉｇｈ}）以上の幾何学的重畳が存在する場合には関連があると判断され（真の対）、第２閾値（０（Ｉ_ａ；Ｉ_ｂ）≦_τｌｏｗ）未満の幾何学的重畳がある場合には非関連（偽りの対）と判断される。

【0117】

第１閾値（_{τｈｉｇｈ}）は、第２閾値（_τｌｏｗ）よりも大きいか同じである。例示値は、_{τｈｉｇｈ}＝０．５（すなわち、重畳の５０％）および_τｌｏｗ＝０（重畳なし、すなわち、２つのイメージは区分される）である。２つのイメージ間の幾何学的重畳が閾値の範囲内にある場合、_{τｈｉｇｈ}≧（Ｉ_ａ；Ｉ_ｂ）＞_τｌｏｗ）、２つのイメージ間の関係は確実でないと表示されてよい（関連および非関連）。確実でない関係を有する２つのイメージは、同じトリプレットでは使用されない。

【0118】

トレーニング方法
トレーニング方法は、第２サーバ１１ｂのデータプロセッサ１１ｂによって実現され、図９に示されている。トレーニング方法は、ＰＯＩ変化を検出するために３−ストリームシャム類型のＣＮＮをトレーニングさせる。

【0119】

第１段階ａで、トレーニングイメージのベースは、合成ＰＯＩイメージとして「増強」されるように、図８を参照しながら説明した第１例（すなわち、それぞれのＰＯＩイメージがＰＯＩを識別するラベルと連関している場合）によって生成される。

【0120】

第１および第２サーバ１ｂ、１ｃは同じサーバであってよく、段階ａは、メモリ１２ｂに記録するために第１サーバ１ａから第２サーバ１ｂへのトレーニングベースの送信を含んでよい。

【0121】

第２段階ｂにおいて、トレーニングイメージのベースを使用して複数のトレーニングイメージのトリプレットが生成される。それぞれのトリプレットには、一対の関連ＰＯＩイメージとは関連のないＰＯＩイメージが含まれる。言い換えれば、それぞれのトリプレットは、２つの関連ＰＯＩイメージおよび２つの異なるＰＯＩイメージとは関連のない第３ＰＯＩイメージを含む。言い換えれば、トリプレットには３つのイメージが含まれる。トリプレットの第３イメージは、トリプレットの第１イメージまたは第２イメージ（関連あり）とは関連がない。すなわち、Ｉ_ｃがトリプレットＩ_ａ、Ｉ_ｂ、Ｉ_ｃの「関係のないイメージ」である場合、Ｉ_ａは、トリプレットの２つの対Ｉ_ａ、Ｉ_ｂ（関連するイメージの対）およびＩ_ａ、Ｉ_ｃ（関連のないイメージの対）に属する。２つのＰＯＩイメージは、ラベルを基準に関連性の有無を判断する。少なくとも１つのトリプレットは、合成イメージと合成イメージが生成された第１イメージの一対の関連のないＰＯＩイメージを含んでよい。例えば、ペアリングがなされれば、トリプレットがランダムに生成されてよい。

【0122】

ラベルがＰＯＩ自体を識別する場合、２つのＰＯＩイメージが同じラベルを有する場合、２つのＰＯＩイメージが関連するものと識別されてよい。それぞれのＰＯＩイメージがイメージの６−自由度ポーズを定義するラベルに連関する場合、２つのＰＯＩイメージは、これらのそれぞれの６−自由度ポーズに基づき、幾何学的重畳の関数として関連性の有無が識別されてよい。

【0123】

段階ｂは、ＰＯＩ変化およびＰＯＩ変化対がないことをシミュレーションするために幾何学的重畳制約条件によるトリプレットを選択するために、ベース内のすべてのイメージ対の幾何学的重畳を計算する段階を含んでよい。

【0124】

６ＤｏＦの例において、トレーニングベースは、より優れたトレーニングを提供するために実際にＰＯＩ変化がないことがある。そうではない場合、トレーニングベースは、同じポーズを有するが互いに異なるＰＯＩを示す一対のＰＯＩイメージを含んでよい。ＰＯＩ変化は稀に発生する。ＰＯＩイメージが定時または一セッションから近いタイム−スタンプとして収集される場合によりそうなる。

【0125】

３番目の段階ｃで、シャムＮＮは、３つのトリプレットの３つのイメージを３つのストリームの入力として使用し、「ランキングトリプレット損失」を損失関数として利用してトレーニングする。トレーニングのためには次が利用される。１０^−５の学習速度を、Ａｄａｍを利用して２０００回の繰り返しごとに２で割った。配置の大きさは１６であり、３２回の繰り返しごとにハードトリプレットマイニングが実行される。ハードトリプレットマイニング中、５１２個のイメージのフルがランダムでサンプリングされてよい。

【0126】

データ拡大技法（例えば、ランダムスケーリング、カラージッタリング、ランダム回転、ランダムティルティング、ランダム消去、ランダムクロップ）すべてを、実験に対して同じパラメータとともに使用してよい。

【0127】

収斂が数千回繰り返されるまでモデルをトレーニングすれば、すべてのトレーニングトリプレットに対するトリプレットはヌル（ｎｕｌｌ）になる。トリプレット損失がなければ、追加のトレーニング効果が得られないことがある。

【0128】

ＰＯＩ変化検出方法
入力された一対のＰＯＩイメージからＰＯＩ変化を検出する方法は、第２サーバ１ｂのデータプロセッサユニット１１ｃによって実行されてよく、図１０に示されている。この方法は、トレーニングされたＣＮＮによって入力されたＰＯＩイメージを比較することにより、ＰＯＩ変化の発生を判断する。

【0129】

入力された一対のＰＯＩイメージのイメージは、２つの異なるタイムスタンプにおいて同じ位置でキャプチャされてよい。この方法は、２つの異なるタイムスタンプ（「以前−データセット」および「以後−データセット」）からキャプチャされた、地理的に局在するイメージの２つの与えられたデータセット（同じ地理的位置で撮影されたイメージ）から取得された複数の入力イメージ対に対して実行されてよい。特定の領域における周辺のイメージのデータセットは、例えば、Ｘ日、週、月、または年ごとにイメージ取得装置３によって定期的にキャプチャされてよい。

【0130】

イメージ対は、イメージ地理的に局在するメタ−データによって形成される。具体的に、２つのイメージＩ_ａおよびＩ_ｂは、このうちの少なくとも１つが接近写真（例えば、通路外形までの平均距離が閾値

【0131】

【数7】

未満である）であり、可視性ＩｏＵが十分であれば対をなし、

【0132】

【数8】

幾何学的重畳計算方法を参照とする。次の例示的な値または他の適切な値が

【0133】

【数9】

で使用されてよい。

【0134】

第１段階ａ’で、３−ストリームシャムタイプのＣＮＮのトレーニングは、第２サーバ１ｂによって実行される。トレーニングは、図９を参照しながら上述した方法と一致する。シャムＮＮは、一対の関連ＰＯＩイメージおよび一対の関係のないＰＯＩイメージを含むＰＯＩイメージのトリプレットに基づいてトレーニングされる。

【0135】

第２および第３サーバ１ｂ、１ｃは同じ装備であってよく、段階ａ’は、メモリ１２ｃに記録するためにトレーニングされたＣＮＮパラメータおよび加重値を第２サーバ１ｂから第３サーバ１ｃに送信することを含んでよい。

【0136】

第２段階ｂ’で、第２サーバ１ｂのデータプロセッサ１１ｂは、入力されたイメージの評価のためにトレーニングされたＣＮＮを利用する。

【0137】

このために、段階ｂ’は、入力された一対のＰＯＩイメージそれぞれのイメージに対し、ＣＮＮのストリームを用いてイメージのディスクリプタを計算する段階を含む。図３を参照しながら説明したように、２つのストリームがすべて同じであるため、シャムＮＮの単一ストリームを用いるだけでイメージディスクリプタを計算することができる。多様な実現において、２つのストリームは、２つのディスクリプタを並列で計算するために使用されてよい。

【0138】

３番目の段階ｃ’で、２つのイメージに対して計算されたディスクリプタの類似性スコア関数に基づいてＰＯＩ変化を検出してよい。類似性スコアは、２つのディスクリプタの距離を示す。類似性スコアが高いほどＰＯＩが変化する可能性が高まり、その反対も同じである。

【0139】

第１実施形態において、類似性スコアは、予め決定された閾値との比較により、ＰＯＩ変化が発生したかを示す最終結果を判断する。例えば、類似性スコアが予め決定された閾値よりも大きければＰＯＩ変化が検出されてよく（入力されたＰＯＩイメージは相異）、類似性スコアが予め決定された閾値よりも小さければＰＯＩ変化が検出されなくてよい（入力されたＰＯＩイメージは類似）。

【0140】

第２実施形態において、ラベルの代りに、変化確率を決定するためにシグモイド関数（ｓｉｇｍｏｉｄ ｆｕｎｃｔｉｏｎ）のような損失関数が適用されてよい。

【0141】

類似性スコアは、関数Ｓ（Ｉ_ａ；Ｉ_ｂ）＝〈ｄ_ａ、ｄ_ｂ〉に基づき、すなわち、これらのディスクリプタ間のドット積として与えられてよい。差の標準のような他のスコアリング関数も可能である。

【0142】

この方法は、空間に対するすべてのＰＯＩに対して実行されてよく、空間的集計が利用されてよい。それぞれの通路外形

【0143】

【数10】

は、ＰＯＩ変化スコアＳ_ｗを受信し、すべてのイメージ対「（シーイング（ｓｅｅｉｎｇ））」に対する最大スコアとして計算される。

【0144】

【数11】

【0145】

最後に、通路外形スコア｛Ｓ_ｗ｝は、幅が１Ｄであるガウスカーネル（例えば、

【0146】

【数12】

＝２メートル）または他の適切な値を用いて通路外形に沿って局所的に滑らかになる。

【0147】

多様な実現において、与えられた領域から検出されたＰＯＩ変化は、可能性に応じてランキングが付与される。ＰＯＩデータベースをアップデートする前に、変更事項を手動で検討しろという警告が生成（例えば、表示）されてよい。

【0148】

提案されたアクセス法は、多数のイメージ（例えば、数千）を検討してイメージをフィルタリングし、ＰＯＩ変化を示す可能性に対する要約を手動で検討してよい。これは、手動検討および検証にかかる時間と資源消費を減らし、運営の安全性を向上させる。

【0149】

得られた結果は、装備１０に提供されてよい。インタラクティブグラフィックユーザインタフェース（ＧＵＩ）を利用し、ユーザは可能なＰＯＩ変化領域をクリックし、各位置でイメージ対を迅速に報告、ＰＯＩ変化の発生を確認することができる。

【0150】

テスト
本方法の効率は、標準ｍＡＰ（ｍｅａｎ−Ａｖｅｒａｇｅ−Ｐｒｅｃｉｓｉｏｎ）マトリックによって評価されてよい。ｍＡＰは、インスタンス検索システムを評価する方法である。

【0151】

ｍＡＰ測定は、ＰＯＩ変化可能性と関連して与えられた特定の領域のすべての位置を全体的にランキング化することを目標とするＰＯＩ変化検出作業と正確に一致しないこともある。

【0152】

位置をそれぞれの地上−検証ＰＯＩ変化に手動で連結し、地理的地上−検証を定義してよい。テストの際に提案されたシステムの出力（それぞれの位置でＰＯＩ変化が発生する可能性を示す値生を成）を地上−検証と比較してよい。

【0153】

ＰＯＩ変化が発生した地上検証地点付近のすべての位置は「陽性（ｐｏｓｉｔｉｖｅ）」（５メートル半径）と表示され、他のすべての位置は「陰性（ｎｅｇａｔｉｖｅ）」と表示される（ＰＯＩ変化が発生しなかったことを示す）。全体的にすべての位置の０．７５％未満がポジティブと表示されてよい。このような地理的ラベリングが与えられた平均精密度（Ａｖｅｒａｇｅ−Ｐｒｅｃｉｓｉｏｎ）は「ＰＣＤＡＰ」と呼ばれ、提案されたシステムのグローバル性能を反映する。

【0154】

図７ａは、上述した２つのラベリング体系の性能を比較した最初のテストを示している（ＰＯＩを識別するラベル対イメージの位置および／または方向を定義するラベル）。図に示すように、位置および／または方向を定義するラベリングがより適切に実行されている。

【0155】

図７ｂは、トレーニングベースで異なる割合の合成イメージによる性能を比べる第２テストを示している。

【0156】

合成イメージを追加すれば、左側の図から分かるように、トレーニングがより難しくなり長引く。しかし、合成イメージを追加すれば、ｍＡＰに及ぼす影響が少ない。すなわち、合成イメージを追加すれば、イメージランキングにほとんど影響を及ぼさない。

【0157】

しかし、合成イメージは、ＰＣＤ ＡＰマトリックに大きな影響を及ぼす（多いほど優れている）。合成例を追加すれば、ＣＮＮが差別化された視覚的機能である、サイネージに注意を集中させなければならないためである。トレーニング後、最後の畳み込み層の活性化マップは、ＣＮＮがサイネージだけに関心を集中するように学習するということを示す。結果的に、サイネージが異なるイメージ間の距離間隔を強化し、ＰＯＩ変化検出をより正確にさせる。

【0158】

例えば、図４ａに示した２つのイメージＩ_ａおよびＩ_ｂの距離はそれぞれ、合成イメージを追加するか追加せず、トレーニングされるＣＮＮに対して

【0159】

【数13】

のとおりである。

【0160】

コンピュータプログラム製品
多様な実現において、本出願は、次のうちの少なくとも１つを実行するための（特に、第１、第２、および／または第３サーバ１ａ、１ｂ、１ｃのデータプロセッサ１１ａ、１１ｂ、１１ｃ上で）コード命令を含むコンピュータプログラム製品を含む、上述したトレーニングイメージのベースを生成する方法、上述した畳み込みニューラルネットワークＣＮＮをトレーニングさせる方法、および上述した入力された一対のＰＯＩイメージからＰＯＩ変化を検出する方法を提供する。コンピュータプログラム製品は、コンピュータ装備（例えば、第１、第２、および第３サーバ１ａ、１ｂ、１ｃのうちの少なくとも１つ）によって読み取り可能かつ実行可能な記録手段（例えば、メモリ１２ａ、１２ｂ、１２ｃ）に記録されてよい。

【0161】

結論
主題は、「サイネージ」によって識別されるその主要視覚的特徴を有する、売場正面を識別するＰＯＩに対する特定の参照として説明されたが、添付の特許請求の範囲に定義された主題は、必ずしも特定の特徴として制限されるものではないということが理解できるであろう。または、上述した動作、上述した特定の特徴および動作は、１つの例示的な形態を提供する。例えば、ＰＯＩは、商店正面の代りに博物館を識別してよく、このようなＰＯＩの主要視覚的特徴（または、サイネージ領域）は、博物館内の作品であってよい。

【0162】

上述した説明は、本質的に例示的なものに過ぎず、この応用または使用を制限しようとするものではない。本開示の広範囲な開示は、多様な形態で実現されてよい。これにより、本開示には特定の例が含まれるが、本開示の本当の範囲は、図面、明細書、および添付の特許請求の範囲の研究によって他の変形が明らかになるため、このように制限されてはならない。方法内の１つ以上の段階は、本開示の原理を変更しない範囲で、異なる順で（または同時に）実行されてもよいことを理解しなければならない。また、それぞれの実施形態には特定の特徴が含まれると説明されたが、本開示内容の任意の実施形態と関連して説明された特徴のうちの任意の１つ以上は、他の実施形態の特徴として実現および／または結合されてよい。その組み合わせは明確に説明されていない。言い換えれば、説明された実施形態は、相互排他的ではなく、１つ以上の実施形態の互いの順列は本開示の範囲内にある。

【0163】

エレメント間（例えば、モジュール、回路エレメント、半導体層など）の空間的および機能的関係は、「連結された（ｃｏｎｎｅｃｔｅｄ）」、「結合された（ｅｎｇａｇｅｄ）」、「隣り合う（ａｄｊａｃｅｎｔ）」、「横に（ｎｅｘｔ ｔｏ）」、「上位に（ｏｎ ｔｏｐ ｏｆ）」、「上（ａｂｏｖｅ）」、「下（ｂｅｌｏｗ）」、および「配置された（ｄｉｓｐｏｓｅｄ）」を含む多様な用語によって説明される。「直接（ｄｉｒｅｃｔ）」と明らかに記述されない限り、第１および第２エレメントの関係が前記開示で説明されるときに、その関係は第１および第２エレメントの間に他のエレメントが存在しない直接的な関係であってもよいが、１つ以上のエレメントが第１および第２エレメントの間に（空間的にまたは機能的に）存在する間接的な関係であってもよい。本明細書で使用されたように、文章Ａ、Ｂ、およびＣのうちの少なくとも１つは、非排他的論理合によって論理Ａ ＯＲ Ｂ ＯＲ Ｃを意味するものと解釈されなければならず、「Ａのうちの少なくとも１つ、Ｂのうちの少なくとも１つ、およびＣのうちの少なくとも１つ」を意味するものと解釈されてはならない。

【0164】

図面において、矢印で表示した矢印の方向は、一般的に例示に関心のある情報の流れ（データまたは命令のような）を示す。例えば、エレメントＡとエレメントＢが多様な情報を交換するとき、エレメントＡからエレメントＢに送信される情報が例示と関連がある場合、矢印はエレメントＡからエレメントＢを指してよい。

【0165】

このような偏方向の矢印は、他の情報がエレメントＢからエレメントＡに送信されないことを意味するものではない。また、エレメントＡからエレメントＢに送信される情報に対し、エレメントＢは、情報の要求または受信確認をエレメントＡに送信してよい。

【0166】

以下の定義を含んだ上で、本出願において「モジュール」または「制御機」という用語は、「回路」という用語に置き換えられてよい。「モジュール」という用語は、次を指すか、一部であるか、含んでよい。特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、デジタル、アナログ、または混合アナログ／デジタル離散回路、デジタル、アナログまたは混合アナログ／デジタル集積回路、組合論理回路、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コードを実行するプロセッサ回路（共有、専用、またはグループ）、プロセッサ回路によって実行されるコードを記録するメモリ回路（共有、専用、またはグループ）、説明された機能を提供する他の適切なハードウェア構成要素、またはシステムオンチップ（ｓｙｓｔｅｍ−ｏｎ−ｃｈｉｐ）のように、前記一部または全部の組み合わせであってよい。

【0167】

モジュールは、１つ以上のインタフェース回路を含んでよい。一部の例において、インタフェース回路は、近距離通信網（ＬＡＮ）、インターネット、広域通信網（ＷＡＮ）、またはこれらの組み合わせによって接続する有線または無線インタフェースを含んでよい。本開示の任意の与えられたモジュールの機能は、インタフェース回路を介して接続する多数のモジュールに分散されてよい。例えば、多数のモジュールがロードバランシングを許容してよい。他の例において、サーバ（遠隔またはクラウドとも呼ばれる）モジュールは、クライアントモジュールの代わりに一部の機能を果たしてよい。

【0168】

上述で使用された用語コードは、ソフトウェア、ファームウェア、および／またはマイクロコードを含んでよく、プログラム、ルーチン、機能、クラス、データ構造、および／またはオブジェクトを意味してよい。共有プロセッサ回路という用語は、多数のモジュールで一部またはすべてのコードを実行する単一プロセッサ回路を含む。グループプロセッサ回路という用語は、追加のプロセッサ回路と結合して１つ以上のモジュールから一部またはすべてのコードを実行するプロセッサ回路を含む。マルチプロセッサ回路に対する言及は、個別多位相のマルチプロセッサ回路、単一多位相のプロセッサ回路、単一プロセッサ回路のマルチコア、単一プロセッサ回路のマルチスレッド、またはこれらの組み合わせを含む。共有メモリ回路という用語は、多数モジュールの一部またはすべてのコードを記録する単一メモリ回路を含む。グループメモリ回路という用語は、追加のメモリと結合して１つ以上のモジュールからの一部またはすべてのコードを記録するメモリ回路を含む。

【0169】

本明細書で使用される用語であるプロセッサは、データプロセッサ／メモリを有するサーバ機能およびプロセッサ回路を含む。メモリ回路という用語は、コンピュータ読み取り可能な媒体のサブセットを意味する。本明細書で使用されるコンピュータ読み取り可能な媒体という用語は、媒体を介して伝えられる一時的な電気または電磁気信号（例えば、搬送波）を含まず、したがって、コンピュータ読み取り可能な媒体という用語は、類型および非一時的なものと見なされてよい。非一時的、類型のコンピュータ読み取り可能な媒体の非制限的な例は、非揮発性メモリ回路（フラッシュメモリ回路、消去可能プログラミング可能な読み取り専用メモリ回路、またはマスク読み取り専用メモリ回路など）、揮発性メモリ回路（静的ランダムアクセスメモリ回路または動的ランダムアクセスメモリ回路など）、磁気記録媒体（アナログまたはデジタル磁気テープまたはハードディスクドライブなど）、および光学記録媒体（ＣＤ、ＤＶＤまたはＢｌｕ−ｒａｙ（登録商標）ディスクなど）がある。

【0170】

本出願で説明された装置および方法は、コンピュータプログラムによって実現された１つ以上の特定の機能を実行するように汎用コンピュータを構成することにより、生成された特殊目的コンピュータによって部分的または完全に実現されてよい。上述した機能ブロック、フローチャート構成要素、およびその他の要素は、熟練された技術者またはプログラマーの日常的な作業によってコンピュータプログラムに変換されることのできるソフトウェア仕様として機能する。

【0171】

コンピュータプログラムは、少なくとも１つの非一時的、類型のコンピュータ読み取り可能な媒体に記録されたプロセッサ実行可能な命令語を含む。コンピュータプログラムは、記録されたデータを含んでも、依存してもよい。コンピュータプログラムは、特殊目的コンピュータのハードウェアと相互作用する基本の入力／出力システム（ＢＩＯＳ）、特殊目的コンピュータの特定の装置と相互作用する装置ドライバ、１つ以上のオペレーティングシステム、ユーザ応用プログラム、バックグラウンドサービス、バックグラウンドアプリケーションなどを含んでよい。

【0172】

コンピュータプログラムは次を含んでよい。（ｉ）ＨＴＭＬ（ハイパーテキストマークアップ言語）、ＸＭＬ（拡張可能マークアップ言語）、またはＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）、（ｉｉ）アセンブリコード、（ｉｉｉ）生成されたオブジェクトコードのような構文分析する説明テキストコンパイラによるソースコード、（ｉｖ）インタプリタによって実行されるソースコード、（ｖ）ＪＩＴ（ｊｕｓｔ−ｉｎ−ｔｉｍｅ）コンパイラによるコンパイルおよび実行のためのソースコードなどがそれに該当する。例えば、ソースコードは、Ｃ、Ｃ＋＋、Ｃ＃、Ｏｂｊｅｃｔｉｖｅ Ｃ、Ｓｗｉｆｔ、Ｈａｓｋｅｌｌ、Ｇｏ、ＳＱＬ、Ｒ、Ｌｉｓｐ、Ｊａｖａ（登録商標）、Ｆｏｒｔｒａｎ、Ｐｅｒｌ、Ｐａｓｃａｌ、Ｃｕｒｌ、ＯＣａｍｌ、Ｊａｖａｓｃｒｉｐｔ（登録商標）、ＨＴＭＬ５（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ ５ｔｈ 改訂版）、Ａｄａ、ＡＳＰ（Ａｃｔｉｖｅ Ｓｅｒｖｅｒ Ｐａｇｅｓ）、ＰＨＰ（ＰＨＰ：Ｈｙｐｅｒｔｅｘｔ Ｐｒｅｐｒｏｃｅｓｓｏｒ）、Ｓｃａｌａ、Ｅｉｆｆｅｌ、Ｓｍａｌｌｔａｌｋ、Ｅｒｌａｎｇ、Ｒｕｂｙ、Ｆｌａｓｈ（登録商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標）、Ｌｕａ、ＭＡＴＬＡＢ、ＳＩＭＵＬＩＮＫ、およびＰｙｔｈｏｎ（登録商標）を含んだ言語の構文を使用して作成されてよい。

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図5a】

【図5b】

【図5c】

【図6】

【図7a】

【図7b】

【図8】

【図9】

【図10】