知財求人 - 知財ポータルサイト「IP Force」
特許7393809全方位画像情報に基づく自動位相マッピング処理方法及びそのシステムとコンピュータープログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-29
(45)【発行日】2023-12-07
(54)【発明の名称】全方位画像情報に基づく自動位相マッピング処理方法及びそのシステムとコンピュータープログラム
(51)【国際特許分類】
G06T 7/33 20170101AFI20231130BHJP
G06T 7/00 20170101ALI20231130BHJP
G06T 1/40 20060101ALI20231130BHJP
G06T 3/00 20060101ALI20231130BHJP
【ＦＩ】
G06T7/33
G06T7/00 350C
G06T1/40
G06T3/00 780
【請求項の数】
7
(21)【出願番号】P 2021540146
(86)(22)【出願日】2020-06-22
(65)【公表番号】
(43)【公表日】2022-10-06
(86)【国際出願番号】 KR2020008072
(87)【国際公開番号】W WO2020256517
(87)【国際公開日】2020-12-24
【審査請求日】2021-08-13
(31)【優先権主張番号】10-2019-0074387
(32)【優先日】2019-06-21
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2019-0174554
(32)【優先日】2019-12-24
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】521301965
【氏名又は名称】スリーアイ インク
(74)【代理人】
【識別番号】100120008
【弁理士】
【氏名又は名称】山田 くみ子
(72)【発明者】
【氏名】キム ギュ ヒョン
(72)【発明者】
【氏名】クデイベルガノフ ファークホッド
【審査官】宮島 潤
(56)【参考文献】
【文献】米国特許出願公開第２０１９／００６６３７３（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
Ｇ０６Ｔ １／００ ー １／４０
Ｇ０６Ｔ ３／００ － ５／５０
Ｇ０６Ｔ ９／００ － ９／４０
(57)【特許請求の範囲】
【請求項1】
自動位相マッピング処理システムが、複数の画像（前記複数の画像のうち少なくとも２つは、共通空間が撮影された共通領域を含む）を取得するステップと；前記自動位相マッピング処理システムのニューラルネットワークを用いた特徴抽出器は、画像のそれぞれの特徴であるベクトルを複数抽出する機能を有するニューラルネットワークを、ある画像を重なる領域が存在するように分割し、分割した画像のそれぞれの重なる共通領域からそれぞれ抽出される互いに対応する点をマッチングできるように学習させたものであり、前記特徴抽出器を介して、前記画像のそれぞれから、前記画像のそれぞれの特徴であるベクトルを複数抽出するステップと；
前記画像のそれぞれから抽出された特徴であるベクトルをデータベースとして構築するステップと；
複数の前記画像のうちの第１画像から抽出された複数の特徴を有する第１特徴である第１ベクトルのうちの少なくとも一のベクトルと、構築された前記データベースから最も近似したベクトルを検索するステップと；
ベクトル検索結果に基づいて、最も近似したベクトルが抽出された第２画像を前記第１画像のマッピング画像と判断するステップと；を含む、自動位相マッピング処理方法。
【請求項2】
前記自動位相マッピング処理方法は、前記第１画像、及び前記第１画像のマッピング画像と判断された前記第２画像の前記第１画像に対する相対的な位置関係を特定するようマッピングを行うステップをさらに含む、請求項１に記載の自動位相マッピング処理方法。
【請求項3】
前記第１画像、及び前記第１画像のマッピング画像と判断された前記第２画像の前記第１画像に対する相対的な位置関係を特定するようマッピングを行うステップは、前記第１画像から抽出された第１特徴のそれぞれに対応する前記第１画像上での第１特徴対応位置、及び、前記第２画像から抽出された第２特徴のそれぞれに対応する前記第２画像上の第２特徴対応位置を判断するステップと；
判断された第１特徴対応位置及び前記第２特徴対応位置に基づいて前記第１画像及び前記第２画像の相対的な位置関係を判断するステップと；を含む、請求項２に記載の自動位相マッピング処理方法。
【請求項4】
前記画像のそれぞれは、室内の異なる位置から撮影された３６０度の映像の画像であることを特徴とする、請求項１に記載の自動位相マッピング処理方法。
【請求項5】
データ処理装置にインストールされ、請求項１乃至請求項４のいずれか一項に記載の方法を行うためのコンピュータープログラム。
【請求項6】
コンピュータープログラムが格納されたメモリと；前記コンピュータープログラムを実行するためのプロセッサと；
を含み、
前記コンピュータープログラムは、
複数の画像（前記複数の画像のうち少なくとも２つは、共通空間が撮影された共通領域を含む）を取得し、ニューラルネットワークを用いた特徴抽出器は、画像のそれぞれの特徴であるベクトルを複数抽出する機能を有するニューラルネットワークを、ある画像を重なる領域が存在するように分割し、分割した画像のそれぞれの重なる共通領域からそれぞれ抽出される互いに対応する点をマッチングできるように学習させたものであり、前記特徴抽出器を介して、前記画像のそれぞれから、前記画像のそれぞれの特徴であるベクトルを抽出し、
前記画像のそれぞれから抽出された特徴であるベクトルをデータベースとして構築し、
複数の前記画像のうちの第１画像から抽出された複数の特徴を有する第１特徴である第１ベクトルのうちの少なくとも一のベクトルと、構築された前記データベースから最も近似したベクトルを検索し、ベクトル検索結果に基づいて、最も近似したベクトルを有する第２画像を前記第１画像のマッピング画像であると判断する、自動位相マッピング処理システム。
【請求項7】
前記コンピュータープログラムは、前記第２画像を第１画像のマッピング画像と判断すると、
前記第１画像から抽出された第１特徴のそれぞれに対応する前記第１画像上での第１特徴対応位置、及び、前記第２画像から抽出された第２特徴のそれぞれに対応する前記第２画像上の第２特徴対応位置を判断し、判断された第１特徴対応位置及び前記第２特徴対応位置に基づいて前記第１画像及び前記第２画像の相対的な位置関係を判断する、請求項６に記載の自動位相マッピング処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、異なる位置から撮影された複数の画像間の位置関係を効果的にマッピング又は接続（又は整合）できる方法及びそのシステムに関する。
【背景技術】
【0002】
異なる画像間の位相マッピングのための技術が広く知られている。位相マッピングは、異なる画像間の相対的な位置関係を把握するための、又は画像を接続（又は整合）するための技術である。
【0003】
一般に、互いに異なる画像を接続するために、互いに共通の空間を含む２つの画像のそれぞれから特徴点を検出し、検出された特徴点を最小のエラーで重ね合わせる変換関数（変換行列、ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｍａｔｒｉｘ）を用いて画像を変換して接続する方式が用いられる。
【0004】
また、互いに異なる画像を接続（整合）していない場合であっても、２つの画像間の位置関係を把握するために２つの画像にそれぞれ存在する、互いにマッチングされる点（例えば、空間内の同じ点に対応する２つの異なる画像における点）を利用する技術的思想（例えば、エピポーラ幾何学（ｅｐｉｐｏｌａｒ Ｇｅｏｍｅｔｒｙ）など）が知られている。
【0005】
しかし、複数の画像があり、これらの画像の中からどの画像を相互に接続する必要があるのか、又はどの画像を相互にマッピングできるのか（例えば、同じ空間を含む画像）がわからない場合があり得る。すなわち、画像のそれぞれの位置及び／又は方向を知らない場合がある。
【0006】
例えば、室内空間の複数の異なる位置においてそれぞれの画像（例えば、３６０度画像）を撮影した場合、それぞれの画像の位置関係を特定することにより、室内空間のナビゲーションなどの様々なサービスを円滑に行うことができる。ただし、それぞれの画像が撮影された位置が不明な場合、どのような画像が相互にマッピングできる画像であるかを知ることはできない。
【0007】
この場合、画像のそれぞれの組み合わせごとに互いにマッピングできるかどうかを判断する必要がある。ただし、このようなタスクは非常に多くのリソースを消費し、時間がかかる可能性がある。例えば、５つの異なる画像が存在する場合、互いにマッピングできる画像ペアを見つけるために、第１画像を、第２画像乃至第５画像とそれぞれペアとして設定して、互いにマッピングできる画像であるかどうかを判断することができる。例えば、第１画像と共通の特徴点が最も多く見つかる画像が、第１画像とマッピングされる画像であり得る。なぜなら、互いにマッピングされる画像は、共通の空間を撮影した領域が存在する場合であり、このように共通の空間が撮影された領域では、互いに同一の特徴点が発見される可能性があるからである。
【0008】
このようなタスクをすべての画像ペアごとに実行する場合にのみ画像間の位相関係が決定でき、その後、互いに隣接する画像間のマッピングが行われる。本明細書においてマッピングが行われるということは、２つの画像が接続（整合）できる場合には、２つの画像を整合する場合であり得るが、２つの異なる位置から撮影された画像のように接続（整合）される必要がない場合には、２つの画像間の相対的な位置関係を把握することを含む意味として定義することができる。
【0009】
しかし、このように画像の数が多くなるほど、マッピングできる画像を把握し、把握された画像間の位置関係を特定するために必要なコストが指数関数的に増加するという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【0010】
したがって、本発明が解決しようとする技術的な課題は、複数の画像間のマッピングを迅速かつ効率的に判断できる方法及びシステムを提供することである。
【課題を解決するための手段】
【0011】
上記技術的課題を達成するための自動位相マッピング処理の方法は、自動位相マッピング処理システムが、複数の画像（前記複数の画像のうち少なくとも２つは、共通空間が撮影された共通領域を含む）を取得するステップと；前記自動位相マッピング処理システムが、前記画像のそれぞれから、ニューラルネットワークを用いた特徴抽出器を介して前記画像のそれぞれの特徴を抽出するステップと；前記自動位相マッピング処理システムが、前記画像のそれぞれから抽出された特徴に基づいて前記画像のそれぞれのマッピング画像を判断するステップと；を含む。
【0012】
前記自動位相マッピング処理システムが、前記画像のそれぞれから抽出された特徴に基づいて前記画像のそれぞれのマッピング画像を判断するステップは、前記画像のそれぞれから抽出された特徴に相応するベクトルをデータベース（ＤＢ）として構築するステップと；前記画像のうちの所定の第１画像から抽出された第１特徴に相応する第１ベクトルのうちの少なくとも一部であるベクトルセットを、前記構築されたＤＢからベクトル検索するステップと；前記ベクトル検索結果に基づいて、抽出された第２画像を前記第１画像のマッピング画像と判断するステップと；を含んでいてもよい。
【0013】
前記自動位相マッピング処理方法は、前記第１画像、及び前記第１画像のマッピング画像と判断された前記第２画像のマッピングを行うステップをさらに含んでいてもよい。
【0014】
前記第１画像、及び前記第１画像のマッピング画像と判断された前記第２画像のマッピングを行うステップは、前記第１画像から抽出された第１特徴のそれぞれに対応する前記第１画像上の第１特徴対応位置、及び、前記第２画像から抽出された第２特徴のそれぞれに対応する前記第２画像上の第２特徴対応位置を判断するステップと；判断された第１特徴対応位置及び前記第２特徴対応位置に基づいて前記第１画像及び前記第２画像の相対的な位置関係を判断するステップと；を含んでいてもよい。
【0015】
前記ニューラルネットワークは、所定の画像を重なる領域が存在するように分割した後、分割した画像のそれぞれの重なる共通領域からそれぞれ抽出される互いに対応する点が最適にマッチングできる変換関係を出力するように学習されたニューラルネットワークであってもよい。
【0016】
前記画像のそれぞれは、室内の異なる位置から撮影された３６０度の映像であることを特徴としてもよい。
【0017】
他の実施形態による自動位相マッピング処理の方法は、自動位相マッピング処理システムが、複数の画像（前記複数の画像のうち少なくとも２つは、共通空間が撮影された共通領域を含む）を取得するステップと；前記自動位相マッピング処理システムが、前記画像のそれぞれから特徴を抽出するステップと；前記画像のそれぞれから抽出された特徴に相応するベクトルをＤＢとして構築するステップと；前記画像のうちの所定の第１画像から抽出された第１特徴に相応する第１ベクトルのうちの少なくとも一部であるベクトルセットを、前記構築されたＤＢからベクトル検索するステップと；前記ベクトル検索結果に基づいて、抽出された第２画像を前記第１画像に相応するマッピング画像と判断するステップと；を含んでいてもよい。
【0018】
前記方法は、データ処理装置にインストールされ、記録媒体に格納されたコンピュータープログラムによって実現されてもよい。
【0019】
一実施形態による自動位相マッピング処理システムは、プロセッサと；前記プロセッサにより実現されるプログラムが格納されたメモリと；を含み、前記プログラムは、複数の画像（前記複数の画像のうち少なくとも２つは、共通空間が撮影された共通領域を含む）を取得し、前記画像のそれぞれから、ニューラルネットワークを用いた特徴抽出器を介して前記画像のそれぞれの特徴を抽出し、前記画像のそれぞれから抽出された特徴に基づいて前記画像のそれぞれのマッピング画像を判断してもよい。
【0020】
前記プロセッサは、前記画像のそれぞれから抽出された特徴に相応するベクトルをＤＢとして構築し、前記画像のうちの所定の第１画像から抽出された第１特徴に相応する第１ベクトルのうちの少なくとも一部であるベクトルセットを、前記構築されたＤＢからベクトル検索し、前記ベクトル検索結果に基づいて、抽出された第２画像を前記第１画像のマッピング画像と判断してもよい。
【0021】
前記プロセッサは、前記第１画像から抽出された第１特徴のそれぞれに対応する前記第１画像上の第１特徴対応位置、及び、前記第２画像から抽出された第２特徴のそれぞれに対応する前記第２画像上の第２特徴対応位置を判断し、判断された第１特徴対応位置及び前記第２特徴対応位置に基づいて前記第１画像及び前記第２画像の相対的な位置関係を判断してもよい。
【0022】
他の一実施形態による自動位相マッピング処理システムは、プロセッサと；前記プロセッサにより実現されるプログラムが格納されたメモリと；を含み、前記プログラムは、複数の画像（前記複数の画像のうち少なくとも２つは、共通空間が撮影された共通領域を含む）を取得し、前記画像のそれぞれからの特徴を抽出し、前記画像のそれぞれから抽出された特徴に相応するベクトルをＤＢとして構築し、前記画像のうちの所定の第１画像から抽出された第１特徴に相応する第１ベクトルのうちの少なくとも一部であるベクトルセットを、前記構築されたＤＢからベクトル検索し、前記ベクトル検索結果に基づいて、抽出された第２画像を前記第１画像に相応するマッピング画像と判断してもよい。
【発明の効果】
【0023】
本発明によれば、ニューラルネットワークを用いた画像の特徴を用いて短時間で特徴を抽出することが可能であり、これを利用してベクトル検索方式により、複数の画像が存在する場合に、互いにマッピングできる画像を効果的に把握することができるという効果がある。
【0024】
また、マッピング可能な画像を把握した後でも、ニューラルネットワークで使用されている特徴を利用することで効果的なマッピングができるという効果がある。
【図面の簡単な説明】
【0025】
本発明の詳細な説明で引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。
【0026】
【図1】本発明の実施形態による自動位相マッピング処理方法を実現するための概略構成を説明するための図である。
【図2】本発明の実施形態による自動位相マッピング処理システムの概略構成を示す図である。
【図3】本発明の実施形態による自動位相マッピング処理システムの論理的な構成を概略的に説明するための図である。
【図4】本発明の実施形態による自動位相マッピング処理方法のためにニューラルネットワークの特徴を用いる概念を説明するための図である。
【図5】本発明の実施形態によるニューラルネットワークの特徴を用いる場合の利点を説明するための図である。
【図6】本発明の実施形態によるニューラルネットワークの特徴に対応する特徴の位置を説明するための図である。
【図7】本発明の実施形態による自動位相マッピング処理方法において画像間のマッピング画像を探索する方法を説明するためのフローチャートである。
【図8】本発明の実施形態による自動位相マッピング処理方法において画像をマッピングするための方法を説明するためのフローチャートである。
【発明を実施するための形態】
【0027】
本発明と本発明の動作上の利点及び本発明の実施によって達成される目的を十分に理解するためには、本発明の好適な実施形態を例示する添付図面及び添付図面に記載された内容を参照せねばならない。
【0028】
また、本明細書において、ある構成要素が他の構成要素にデータを「伝送」する場合には、ある構成要素は、他の構成要素に直接的にデータを送信してもよく、少なくとも１つのまた他の構成要素を介してデータを他の構成要素に伝送してもよいことを意味する。
【0029】
逆に、ある構成要素が他の構成要素にデータを「直接的に伝送」する場合には、ある構成要素から、また他の構成要素を介さず、他の構成要素にデータが伝送されることを意味する。
【0030】
以下、添付図面を参照して本発明の好適な実施形態を説明することにより、本発明を詳細に説明する。各図面に提示された同一の参照符号は、同一の部材を示す。
【0031】
【0032】
本発明の技術的思想に基づく自動位相マッピング処理方法を実現するためには、自動位相マッピング処理システム１００を備える。
【0033】
自動位相マッピング処理システム１００は、本発明の技術的思想を実現するためのプログラムが格納されているメモリ２、及びメモリ２に格納されたプログラムを実行するためのプロセッサ１と、を備えてもよい。
【0034】
本発明の技術分野の平均的な専門家は、自動位相マッピング処理システム１００の実現例によれば、プロセッサ１は、ＣＰＵやモバイルプロセッサなどと言われるものだと容易に推測できる筈である。
【0035】
メモリ２は、プログラムを格納し、プログラムを駆動するためにプロセッサがアクセスできるいかなるタイプの記憶装置として実現されてもよい。また、ハードウェアでの実現例によれば、メモリ２は、いずれか一つの記憶装置ではなく、複数の記憶装置として実現されてもよい。また、メモリ２は、主記憶装置だけでなく、一時記憶装置を含んでいてもよい。また、揮発性メモリ又は不揮発性メモリとして実現されてもよく、プログラムを格納し、プロセッサによって駆動できるように実現されるすべてのタイプの情報記憶手段を含むものとして定義されてもよい。
【0036】
自動位相マッピング処理システム１００は、実施形態に基づいて、Ｗｅｂサーバ、コンピューター、携帯電話、タブレット、テレビ、セットトップボックスなどの様々な方式で実現されてもよく、本明細書で定義される機能を実行できるいかなるタイプのデータ処理装置をも含むものとして定義されてもよい。
【0037】
また、自動位相マッピング処理システム１００の実施形態に応じて様々な周辺装置３を備えてもよい。本発明の技術分野の平均的な専門家は、自動位相マッピング処理システム１００が、例えば、キーボード、モニタ、グラフィックカード、通信装置などを周辺機器としてさらに含んでいてもよいことを容易に推測できる筈である。
【0038】
本発明の技術的思想に基づく自動位相マッピング処理システム１００は、複数の画像のうち、互いにマッピングできる画像、すなわちマッピング画像を把握できる。また、実施形態によっては、前記自動位相マッピング処理システム１００は、把握したマッピング画像間のマッピングを行うこともできる。
【0039】
マッピング画像は、互いに最も近い位相関係を有する画像を意味し得る。最も近い位相関係は、距離が近いだけでなく、空間的にも互いに直接移動可能な場合であり得、そのような例は、共通の空間が最も多く含まれている画像であり得る。
【0040】
また、マッピングを行うことは、前述したように２つの画像間の整合を意味し得るが、本発明では、２つの画像の位相、すなわち、相対的な位置関係を把握する場合を中心に説明する。
【0041】
例えば、図１に示すように、自動位相マッピング処理システム１００は、複数（例えば、５個）の画像の入力を受けることができる。すると、自動位相マッピング処理システム１００は、複数の画像のうち、互いにマッピングできる画像、すなわち、マッピング画像がどのようなものかを把握し、把握したマッピング画像のマッピングを行うことができる。
【0042】
例えば、本発明の実施形態では、画像は、互いに異なる位置から撮影された全方位画像（３６０度画像）であってもよい。さらに、マッピング画像は、互いに共通の空間を最も多く共有している画像のペアであってもよい。
【0043】
例えば、図１ｂに示すように、位置ａ、ｂ、ｃ、ｄ、及びｅで撮影された画像のそれぞれは、画像１、画像２、画像３、画像４、及び画像５であってもよい。
【0044】
この場合、画像１、画像２、及び画像３は、共通の撮影された映像内に共通の空間が非常に多く含まれているが、比較的多くの共通空間が画像１及び２に含まれる可能性がある。したがって、画像１のマッピング画像は画像２であり得る。
【0045】
すると、画像２に対するマッピング画像を探索する必要があり、このとき、すでにマッピング画像が確定された画像１を除外することができる。その場合、画像２のマッピング画像は、画像３であり得る。
【0046】
このようにして、画像３のマッピング画像は画像４であり得、画像４のマッピング画像は画像５であり得る。
【0047】
次いで、自動位相マッピング処理システム１００は、画像１を基準にマッピング画像である画像２に対するマッピングを行うことができる。すなわち、画像２の画像１に対する位相、画像２の画像１に対する相対的な位置を把握できる。また、画像３の画像２に対する位相、画像４の画像３に対する位相、及び画像５の画像４に対する位相を順次把握することにより、全画像間の位相関係を特定できる。
【0048】
その結果、従来、複数の全方位画像が存在し、それぞれの全方位画像の正確な位置がわからない場合、複数の画像の位置関係を把握するためにはかなりの時間とリソースが必要となる可能性がある。
【0049】
例えば、従来の方式では、すべての画像ごとに所定の特徴点を抽出し、抽出された特徴点を用いてすべての画像ペアごとに共通の特徴点がいくつ存在するかを把握する必要がある。そして、共通の特徴点が最も多い画像ペアが互いにマッピング画像として把握でき、共通の特徴点の位置に基づいてマッピング、すなわち、相対的な位置関係が決定される。万が一、整合が必要な場合には、共通の特徴点を最小限のエラーで重ね合わせるための変換行列が決定され、このような変換行列を介していずれか一つの画像を変換することにより、２つの画像は、接続（整合）されることがある。
【0050】
しかしながら、このような従来の方式で使用される特徴点は、特徴点の抽出にもかなりの時間と演算量が必要となる。また、マッピング画像を把握するためには、すべての画像ペアごとに特徴点を比較する演算を実行しなければならないが、画像の特徴点の数が増えると、そのような演算にはかなりの時間がかかるという問題がある。
【0051】
しかし、前述したように、本発明の技術的思想によれば、迅速かつ正確に、自動的にこのような複数の画像の中からマッピング画像を探索し、探索されたマッピング画像に対してマッピングを行うことができる。
【0052】
このような問題を解決するために、本発明の技術的思想に基づく自動位相マッピング処理システム１００は、ニューラルネットワーク特徴を用いることができる。
【0053】
本明細書で定義されるニューラルネットワーク特徴は、所定の目的を達成するために学習されたニューラルネットワークの所定の層（ｌａｙｅｒ）の特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）から選択される全部又は一部の特徴を意味し得る。
【0054】
このような特徴は、特定の目的を達成するために学習されたニューラルネットワーク（例えば、畳み込みニューラルネットワーク）で使用され、特定の目的を達成するためにニューラルネットワークが学習されると、学習されたニューラルネットワークによって導出される情報であり得る。
【0055】
例えば、図４に示すようなニューラルネットワーク２０が存在でき、ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）であり得る。
【0056】
このような場合、複数の層２１、２２、２３、２４がニューラルネットワーク２０に含まれてもよく、入力層２１と出力層２４及び複数の隠れ層２２、２３が存在できる。出力層２４は、前の層に完全に接続された（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）層であり得、本発明の技術的思想に基づく自動位相マッピング処理システム１００は、出力層２４又は全結合層（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ：フリーコネックティッドレイヤー）の前の任意の特徴マップが含まれる層（例えば、２３）から、ニューラルネットワーク特徴（ｆ１、ｆ２、ｆ３）を選択し得る。
【0057】
自動位相マッピング処理システム１００が使用するニューラルネットワーク特徴（ｆ１、ｆ２、ｆ３）は、当該層の特徴マップに含まれるすべての特徴であってもよく、この中から一部選択された特徴であってもよい。
【0058】
自動位相マッピング処理システム１００は、このような特徴を、従来のハンドクラフト特徴点、例えば、スケール不変特徴変換（ＳＩＦＴ：Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、高速化ロバスト特徴（ＳＵＲＦ：Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）、又は方向付きＦＡＳＴと回転ＢＲＩＥＦ（ＯＲＢ：Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）の代わりに用いて、マッピング画像を把握したり、マッピング画像間のマッピングを実行したりできる。すなわち、従来のハンドクラフト特徴（ハンドクラフト特徴）の代わりに畳み込みニューラルネットワークで使用される特徴が使用されてもよい。
【0059】
画像の特徴は、スケール（ｓｃａｌｅ）又はオリエンテーション（ｏｒｉｅｎｔａｔｉｏｎ）に関係なく同じ特性を持つことが好ましい。畳み込みニューラルネットワークにおいて出力層２３の前の層は、複数の非線形畳み込み関数及び／又はプーリング関数などによってこのような特徴を持つようになる。さらに、従来のハンドクラフト特徴（ハンドクラフト特徴）は、画像のコーナーなど、人によって定義された特徴的な位置からのみ抽出され、通常、エッジが存在する箇所（例えば、エッジが折れる位置など）からのみ抽出された特徴がある。
【0060】
しかし、ニューラルネットワーク特徴は、このような位置ではなく、画像のフラット（ｆｌａｔ）な領域でも発見できるようニューラルネットワーク２０が学習できるという利点がある。また、ハンドクラフト特徴は、画像の歪みや画像の品質に基づいて、特徴点が検出されるべきであるにもかかわらず検出されない場合がたびたび発生するのに対し、ニューラルネットワーク特徴は、このような画像の歪みに対してはるかに強い特性があるため、特徴抽出にも精度の向上が可能である。
【0061】
前記ニューラルネットワーク２０は、それ自体が特徴抽出器（ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｅｒ）であってもよい。例えば、出力層２４又は全結合層の（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）直前の層２３から特徴が選択される場合、出力層２４は、直前の層２３の選択された特徴（ｆ１、ｆ２、ｆ３）自体を出力するように設計されてもよく、このような場合は、ニューラルネットワーク２０自体が特徴抽出器として動作してもよい。
【0062】
または、ニューラルネットワーク２０は、別個の固有の目的（例えば、クラシフィケーション（分類）、オブジェクト ディテクション（物体検出）など）を達成するために学習することができる。このような場合でも、常に所定の層で一貫性のある特徴を選択し、それをニューラルネットワーク特徴として使用することが可能である。例えば、図４の場合には、出力層２４以外の残りの層の結合が特徴抽出器として動作することができる。
【0063】
本発明の一実施形態によれば、ニューラルネットワーク２０は、いずれか一つの画像を、重なる領域が存在するように分割し、次に、分割された画像のそれぞれの重なる共通領域からそれぞれ抽出された互いに対応する点がマッチングできるように、最適な変換関係（例えば、エラーが最小化される）を導出できるように学習されたニューラルネットワークであり得る。
【0064】
例えば、図４ｂに示すように、所定の画像６の全部又は一部を、重なる共通領域６－３が存在するように分割してもよい。また、分割された画像の６－１及び６－２のそれぞれから、互いに対応する所定の数の点（例えば、Ｐ１１～Ｐ１４、Ｐ２１～Ｐ２４）を抽出することができる。
【0065】
すると、第１分割画像６－１から抽出された点Ｐ１１～Ｐ１４が、第２分割画像６－２から抽出された点Ｐ２１～Ｐ２４に最小エラーで変換できるように（例えば、変換行列のパラメータを決定）学習されるニューラルネットワークを、ニューラルネットワーク２０として実現できる。
【0066】
このとき、点（例えば、Ｐ１１～Ｐ１４、Ｐ２１～Ｐ２４）は、ランダムに選択された点であってもよく、それぞれの画像の共通領域から所定の方法で抽出された特徴点であってもよい。
【0067】
いずれの場合でも、所定の目的を達成するために、十分に学習されたニューラルネットワーク２０の全部又は一部を、画像から特徴を選択及び抽出する特徴抽出器として使用できる。
【0068】
さらに、このような特徴抽出器を使用して自動位相マッピング処理システム１００が受信した互いに異なる画像のそれぞれに含まれた共通領域では、同一の特徴が抽出され得る。したがって、ある一つの画像内に最も多く同一の特徴（互いに対応する特徴）が存在する画像は、マッピング画像として判断され得る。
【0069】
一方、本発明の技術的思想によれば、ニューラルネットワークの特徴はベクトルとして表現されるため、特定の画像のマッピング画像を探索するために、従来のように各画像ペアについて特徴を比較するのではなく、高速演算が可能なベクトル検索エンジンを採用することにより、より高速な位置関係を判断することができる。
【0070】
大容量のベクトルを高速で検索する技術が最近広く公開されている。
【0071】
ベクトル検索エンジンは、入力されるベクトル（又はベクトルセット）に最も近似した（近距離）ベクトルを高速で検索するために構築されるエンジンであり得る。すべてのベクトルは、ＤＢ上でインデックス化されて格納され、ベクトル検索エンジンは、入力されるベクトル（又はベクトルセット）に最も近似したベクトル（又はベクトルセット）を出力するように設計できる。
【0072】
このようなベクトル検索エンジンは、例えば、ｆａｉｓｓなどの既知のベクトル検索手法を用いて構築されてもよい。このようなベクトル検索エンジンは、ＧＰＵに基づいて行われる場合、大容量の高速演算が可能となる効果がある。
【0073】
本発明の技術的思想に基づくベクトル検索エンジンは、対象画像（例えば、画像１）から抽出された特徴のセットの入力を受け、それに対する応答として最も類似した（近距離）ベクトル又はベクトルセットを出力することができる。また、このようなベクトル又はベクトルセットのソースがどの画像であるかを判断することにより、対象画像のマッピング画像を高速で決定することができる。
【0074】
例えば、第１画像から抽出された特徴のすべてがベクトル検索エンジンに入力されてもよい。ベクトル検索エンジンは、ベクトルＤＢから入力された特徴のそれぞれと最も距離が短いベクトル又は最も距離が短いベクトルとの距離を出力できる。このようなタスクは、画像ごとに実行されてもよい。
【0075】
例えば、５個の画像が存在し、それぞれの画像別に１０個の特徴が抽出されと仮定すると、ベクトルＤＢには、５０個のベクトルがインデックス化されて格納され得る。また、それぞれのソース画像に関する情報が共に格納され得る。
【0076】
すると、ベクトル検索エンジンは、第１画像から抽出された１０個のベクトルの入力を受けることができる。さらに、ベクトル検索エンジンは、１０個のベクトルのそれぞれと第２画像から抽出されたベクトルの中で最短距離を有する１０個のベクトル、又はそれらの距離の合計を出力できる。このように、第３画像から抽出されたベクトル、第４画像から抽出されたベクトル、第５画像から抽出されたベクトルに対して実行すると、入力されたベクトルセットと最も近い特徴セットを含む画像が高速で探索することができる。さらに、探索された画像は、第１画像のマッピング画像として決定することができる。
【0077】
実施形態によると、ベクトル検索エンジンは、第１画像から出力された１０個のベクトルのそれぞれに対して、第１画像から抽出された１０個のベクトルを除いた残りのベクトル（４０個）の全体に対して最短距離を有するベクトル順に出力することができる。例えば、１０個のベクトルのリストが出力されると、自動位相マッピング処理システム１００は、このようなベクトルのリストを分析し、マッピング画像を出力することができる。
【0078】
ベクトル検索エンジンが出力する結果や方式は異なる場合がある。しかしながら、いずれの場合も、本発明の技術的思想によれば、入力された画像のそれぞれから特徴を抽出し、このような特徴を、ベクトル検索が可能なように構築されたＤＢに入力することができ、ベクトル検索エンジンは、入力されるベクトル又はベクトルセットの入力を受けると、最も類似した（距離が短い）ベクター又はベクターセットを出力する機能を実行することができる。このような機能により、マッピング画像を高速で探索できる。
【0079】
実施形態によっては、対象画像、すなわち、マッピング画像を探索したい画像（例えば、第１画像）のすべての特徴が入力されず、一部の特徴がベクトル検索エンジンに入力されることもある。例えば、画像の中で予め定義された領域に対応する特徴のみが、位置関係を把握するためにベクトル検索エンジンに入力されることもある。予め定義された領域は、通常、画像の中央部分ではなく、左右上下のコーナーに隣接する領域である可能性があるため、画像の外側の領域は任意に設定され、設定された領域に対応する位置の特徴が選択的にベクトル検索のための入力として使用されることもある。もちろんベクトルＤＢも、このような外郭領域に対応する特徴だけが入力されることもあり、全体の特徴が入力されることもある。
【0080】
また、本発明の技術的思想に基づくニューラルネットワーク特徴は、それ自体では抽出された画像における位置が特定されない。したがって、ニューラルネットワーク特徴に対応する元の画像における位置（点）が特定される場合にのみマッピングが実行できる。したがって、ニューラルネットワーク特徴に対応する元の画像上の位置を特定する技術的思想が必要であり、これについては、図６を参照して後述する。
【0081】
上述したような技術的思想を実現するための自動位相マッピング処理システム１００は、図３に示すような機能的又は論理的な構成として定義され得る。
【0082】
図３は、本発明の実施形態による自動位相マッピング処理システムの論理的な構成を概略的に説明するための図である。
【0083】
図３を参照すると、本発明の技術的思想に基づく自動位相マッピング処理システム１００は、制御モジュール１１０は、インタフェースモジュール１２０、および特徴抽出器１３０を含む。自動位相マッピング処理システム１００は、マッピングモジュール１４０及び／又はベクトル検索エンジン１５０をさらに含んでいてもよい。
【0084】
自動位相マッピング処理システム１００は、本発明の技術的思想を実現するために必要なハードウェアリソース（ｒｅｓｏｕｒｃｅ）及び／又はソフトウェアを備えた論理的な構成を意味し得、必ずしも１つの物理的な構成要素を意味するか又は１つの装置を意味するものではない。すなわち、自動位相マッピング処理システム１００は、本発明の技術的思想を実現するために具備されるハードウェア及び／又はソフトウェアの論理的な結合を意味し得、必要な場合には、互いに離隔された装置にインストールされ、それぞれの機能を実行することにより、本発明の技術的思想を実現するための論理的な構成要素の集合として実現されてもよい。また、自動位相マッピング処理システム１００は、本発明の技術的思想を実現するための、それぞれの機能又は役割ごとに個別に実現される構成要素の集合を意味することもある。例えば、制御モジュール１１０、インタフェースモジュール１２０、特徴抽出器１３０、マッピングモジュール１４０、及び／又はベクトル検索エンジン１５０のそれぞれは、互いに異なる物理的な装置に位置してもよいし、同一の物理的な装置に位置してもよい。また、実現例に応じては、制御モジュール１１０、インタフェースモジュール１２０、特徴抽出器１３０、マッピングモジュール１４０、及び／又はベクトル検索エンジン１５０のそれぞれを構成するソフトウェア及び／又はハードウェアの結合も互いに異なる物理的な装置に位置し、互いに異なる物理的な装置に位置した構成要素が互いに有機的に結合されてそれぞれのモジュールを実現してもよい。
【0085】
また、本明細書では、モジュールとは、本発明の技術的思想を実行するためのハードウェア及びハードウェアを駆動するためのソフトウェアの機能的、構造的な結合を意味し得る。例えば、モジュールは、所定のコードと所定のコードが実行されるためのハードウェアリソースの論理的な単位を意味し得、必ずしも物理的に接続されたコードを意味したり、一種類のハードウェアを意味したりするわけではないことが本発明の技術分野の平均的技術者には容易に推論できる。
【0086】
制御モジュール１１０は、本発明の技術的思想を実現するために、自動位相マッピング処理システム１００に含まれている他の構成（例えば、インタフェースモジュール１２０、特徴抽出器１３０、マッピングモジュール１４０、及び／又はベクトル検索エンジン１５０など）を制御することができる。
【0087】
インタフェースモジュール１２０は、外部から複数の画像の入力を受けることができる。複数の画像は、互いに異なる位置で撮影された映像であり得る。一例によれば、複数の画像は、室内で撮影された３６０度映像であり得るが、これに限定されない。
【0088】
複数の画像の中には共通の空間を異なる位置から撮影したものがあり得、共通の空間、すなわち、共通の領域を含む２つの画像は、マッピング可能な関係を有するものとして定義され得る。その中で最も多くの共通領域を含む画像をマッピング画像として定義されてもよいし、これは、対応する特徴が最も多い画像として定義されてもよい。
【0089】
インタフェースモジュール１２０を介して入力された複数の画像のそれぞれから、特徴抽出器１３０は、本発明の技術的思想に基づいて定義される特徴、すなわち、ニューラルネットワーク特徴を抽出することができる。
【0090】
ニューラルネットワーク特徴は、所定のニューラルネットワーク（例えば、ＣＮＮ）における出力層の前に特定される画像の特徴であり得ることは前述した通りである。特徴抽出器１３０は、図４に示すようなニューラルネットワーク２０そのものであってもよいし、入力層２１からニューラルネットワークにおける出力層２４の前の所定の層（例えば、２３）までの構成を意味してもよい。層２３によって定義される特徴マップに含まれている特徴の全部又は一部は、ニューラルネットワーク特徴であり得る。
【0091】
ニューラルネットワーク２０は、ニューラルネットワーク特徴を抽出するための目的以外の別の目的（例えば、分類、検出など）のために学習されたものであり得るが、また、前述したように、２つの画像を最小のエラーで整合するために設計されたニューラルネットワークであるか、ニューラルネットワーク特徴を抽出する目的で学習されるものであり得る。
【0092】
例えば、後者の場合は、ユーザが任意に設定した位置及び／又は画像の特徴をうまく表現できるハンドクラフト特徴点を出力できるように学習でき、この場合は、ニューラルネットワーク２０自体が特徴抽出器１３０であり得る。
【0093】
ユーザが任意に設定した位置は、所定のオブジェクト（例えば、壁、ドアなど）においてユーザが設定した位置（例えば、当該オブジェクトの中央位置）であり得る。さらに、このようなユーザ設定位置は、従来のハンドクラフト特徴点とは異なり、フラットな領域、すなわち、エッジ又はコーナーが存在しないフラット（ｆｌａｔ）な画像領域に設定してもよい。この場合、従来のハンドクラフト特徴点では、特徴点として抽出されないフラットな画像領域内でも特徴が定義され得、これを活用する場合、より正確なマッピング画像の判断及びマッピングを行うことができる。
【0094】
図５は、本発明の実施形態によるニューラルネットワークの特徴を用いる場合の利点を説明するための図である。
【0095】
図５に示すように、特徴抽出器１３０は、予め定められたオブジェクト（例えば、壁、ドア、テーブル）内の任意の位置が特徴点（ｆｐ１、ｆｐ２、ｆｐ３）として特定できるように学習することができる。
【0096】
また、図５に示すように、任意の位置は、オブジェクトごとに予め定められた位置（例えば、壁の中心、テーブルの中心、ドアの中心など）のように一般的にフラットな画像領域内に設定されてもよい。
【0097】
もちろん、特徴抽出器１３０は、従来のエッジ又はコーナーが折れた部分などのようにハンドクラフト特徴点に対応する特徴を抽出できるように学習されてもよい。
【0098】
例えば、ユーザは、多数の画像にオブジェクトごとにハンドクラフト特徴点、ユーザが設定したフラットな領域の設定位置をアノテーションし、これを学習データとして用いてニューラルネットワーク２０を学習させることもできる。この場合、それぞれの特徴点（ｆｐ１、ｐ２、ｆｐ３）に対応する特徴が抽出されることもあり、特徴点自体が出力されることもある。
【0099】
いずれの場合も、ニューラルネットワーク特徴を用いる場合には、図５に示すように、従来のハンドクラフト特徴が抽出されない位置を特徴として活用できるため、画像特性の定義または画像のマッピングにさらに有利な効果が得られる。
【0100】
一方、ニューラルネットワーク特徴は、ニューラルネットワーク２０が希望する目的を出力するために、複数の畳み込み及び／又はプーリングによって決定される画像の特徴的な情報であるが、このようなニューラルネットワーク特徴自体が該当する元の画像における特定の位置を示すものではない可能性がある。
【0101】
したがって、ニューラルネットワーク特徴が抽出された場合でも、ニューラルネットワーク特徴に対応する元の画像上の位置、すなわち、特徴位置が特定される必要がある。このような特徴位置が特定される場合にのみ画像のマッピングが行われる可能性があるからである。
【0102】
このように、ニューラルネットワーク特徴の特徴位置を特定するための技術的思想については、図６を参照して説明する。
【0103】
図６は、本発明の実施形態によるニューラルネットワーク特徴に対応する特徴位置を説明するための図である。
【0104】
図６に示すように、所定の層からニューラルネットワーク特徴ｆが抽出され得る。この場合、ニューラルネットワーク特徴ｆは、前の所定の層ｌでは所定の対応領域Ｓｌと対応され、このような対応領域Ｓｌに含まれているピクセル情報が、予め定義された畳み込み及びプーリング関数によってニューラルネットワーク特徴ｆにマッピングされ得る。
【0105】
このとき、ｌ層におけるニューラルネットワーク特徴ｆの対応領域Ｓｌ内の所定の位置（例えば、中央、又は特定の頂点など）が、ニューラルネットワーク特徴ｆのｌ層での対応位置（ＰＳｌ）として定義できる。
【0106】
すると、同様の方法で、ｌ層での対応位置（ＰＳｌ）に対応する元の画像上での対応領域Ｓｏが、元の画像とｌ層の間の畳み込み及びプーリング関係によって特定されてもよく、対応領域Ｓｏ内の所定の位置（例えば、中央）が、ニューラルネットワーク特徴ｆの元の画像上での対応位置、すなわち、特徴位置として特定されてもよい。
【0107】
このようにしてニューラルネットワーク特徴ごとに特徴位置が決定されると、それぞれの特徴位置が画像のマッピングのための特徴点になり得る。
【0108】
すると、マッピングモジュール１４０は、マッピング画像間で互いに対応する特徴位置を使用して画像のマッピングを行うことができる。
【0109】
２つの画像間の画像マッピングは、２つの画像間の相対的な位置関係を特定するマッピングの場合には、２つの画像のそれぞれにおいて互いに対応する点を使用して実行され得る。このとき、互いに対応する点は、２つの画像のそれぞれから抽出されたニューラルネットワーク特徴の特徴点であり得、互いに対応する特徴点は、ベクトル検索エンジンを介して容易に探索され得る。
【0110】
互いに対応する点（空間上で同じ位置を表す）がそれぞれ異なる画像に存在する場合、これら２つの画像の相対的な位置関係を特定するための技術的思想は、知られたことがある。
【0111】
例えば、エピポーラ幾何学（Ｅｐｉｐｏｌａｒ Ｇｅｏｍｅｔｒｙ）を使用して相対的な位置関係を判断できることは、本発明の技術分野の平均的な専門家によって容易に推測できる。他にも様々な方法が可能である可能性がある。
【0112】
他の実施形態によれば、２つの画像、すなわち、マッピング画像間のマッピングが２つの画像を整合する場合には、２つの画像を整合するための変換行列を特定することは、マッピングを行うことであり得る。
【0113】
このような変換行列を特定するためには、互いに対応する特徴の３つのペアを抽出し、抽出された３つのペアが変換できるように変換行列を定義できることは、周知のものである。また、このような特徴の３つのペアは、すべての特徴が最も小さいエラーに変換できるように探索され得、ＲＡＮＳＡＣなどのアルゴリズムが使用できることはいうまでもない。
【0114】
ベクトル検索エンジン１５０は、前述したように、特徴抽出器１３０によって抽出されたそれぞれの画像の特徴に対応するベクトルをＤＢに入力して、対象画像（例えば、第１画像）から抽出された特徴セットに対応するベクトルセットの入力を受けることができる。すると、前述したように、ベクトル検索結果を出力することができる。
【0115】
すると、制御モジュール１１０は、ベクトル検索結果に基づいて、対象画像と隣接する位置関係に存在する画像を決定することができる。
【0116】
図７は、本発明の実施形態による自動位相マッピング処理方法において画像間のマッピング画像を探索する方法を説明するためのフローチャートである。
【0117】
図７を参照すると、本発明の技術的思想に基づく自動位相マッピング処理システム１００は、複数の画像のそれぞれからニューラルネットワーク特徴を抽出することができる（Ｓ１００）。すると、特徴をベクトルＤＢとして構築し、対象画像から抽出されたベクトルセット（特徴セット）に対するベクトル検索を行うことができる（Ｓ１１０、Ｓ１２０）。
【0118】
すると、ベクトル検索結果に基づいて、対象画像のマッピング画像を判断することができ（Ｓ１３０）、すべての画像に対して同じタスクを実行することにより、それぞれの画像のマッピング画像を判断することができる（Ｓ１４０）。
【0119】
図８は、本発明の実施形態による自動位相マッピング処理方法において画像をマッピングする方法を説明するためのフローチャートである。
【0120】
図８を参照すると、本発明の技術的思想に基づく自動位相マッピング処理システム１００は、互いにマッピング画像として判断された第１画像と第２画像をマッピングするために、第１画像から抽出された特徴に対応する特徴位置を特定することができる（Ｓ２００）。このため、図６に示すような方法を利用できる。
【0121】
また、第２画像から抽出された特徴に対応する特徴位置を特定することができる（Ｓ２１０）。
【0122】
すると、自動位相マッピング処理システム１００は、それぞれの画像の特徴位置に基づいてエピポーラ幾何学（Ｅｐｉｐｏｌａｒ Ｇｅｏｍｅｔｒｙ）アルゴリズムを用いて相対的な位置関係を判断するか、又は画像接続のための変換行列を所定の方式（例えば、ＲＡＮＳＡＣアルゴリズム）を用いて決定することができる（Ｓ２２０）。
【0123】
本発明の実施形態による自動位相マッピング処理方法は、コンピューターで読み取り可能な記録媒体にコンピューターが読み取り可能なコードで実現することが可能である。コンピューターが読み取り可能な記録媒体は、コンピューターシステムにより読み取られるデータが格納されるあらゆる種類の記録装置を含む。コンピューターが読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、ハードディスク、フロッピーディスク、光データ記憶装置などが挙げられる。また、コンピューターが読み取り可能な記録媒体は、ネットワークを介して接続されたコンピューターシステムに分散されて、分散方式によりコンピューターが読み取り可能なコードが格納されて起動され得る。また、本発明を実現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマにより容易に推論され得る。
【0124】
本発明を、図示の一実施形態に基づいて説明したが、これは単なる一例であって、本技術分野における通常の知識を有する者であれば、これから様々な変形および均等な他の実施形態が採用可能であるということが理解できるはずである。よって、本発明の技術的な真の保護範囲は、添付の登録請求範囲の技術的な思想により定められるべきである。
【産業上の利用可能性】
【0125】
本発明は、全方位画像情報に基づく自動位相マッピング処理方法及びそのシステムに利用できる。
【図1a】
【図1b】
【図2】
【図3】
【図4a】
【図4b】
【図5】
【図6】
【図7】
【図8】
