知財求人 - 知財ポータルサイト「IP Force」
▶ シャンハイ ハンシー インフォメーション テクノロジー カンパニー リミテッドの特許一覧
特許7562036画像繋ぎ合わせ方法、画像繋ぎ合わせ装置、コンピュータ機器、記憶媒体、コンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-09-26
(45)【発行日】2024-10-04
(54)【発明の名称】画像繋ぎ合わせ方法、画像繋ぎ合わせ装置、コンピュータ機器、記憶媒体、コンピュータプログラム
(51)【国際特許分類】
G06T 7/33 20170101AFI20240927BHJP
G06T 7/00 20170101ALI20240927BHJP
G06T 3/4038 20240101ALI20240927BHJP
【ＦＩ】
G06T7/33
G06T7/00 350C
G06T3/4038
【請求項の数】
13
(21)【出願番号】P 2024062062
(22)【出願日】2024-04-08
【審査請求日】2024-04-08
(31)【優先権主張番号】202311167983.3
(32)【優先日】2023-09-11
(33)【優先権主張国・地域又は機関】CN
【早期審査対象出願】
(73)【特許権者】
【識別番号】524134579
【氏名又は名称】シャンハイ ハンシー インフォメーション テクノロジー カンパニー リミテッド
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】クン ティン
(72)【発明者】
【氏名】ショアイ ヤン
(72)【発明者】
【氏名】ワンペイ リー
(72)【発明者】
【氏名】ション ホアン
(72)【発明者】
【氏名】イータン チューアン
【審査官】山田 辰美
(56)【参考文献】
【文献】特許第７１８８６１３（ＪＰ，Ｂ２）
【文献】特開２００９－０４４６１２（ＪＰ，Ａ）
【文献】中国特許出願公開第１１３７０６６３５（ＣＮ，Ａ）
【文献】中国特許出願公開第１１５４２４０５１（ＣＮ，Ａ）
【文献】中国特許出願公開第１１４９７２０３０（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
Ｇ０６Ｔ ３／４０３８
(57)【特許請求の範囲】
【請求項1】
深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得するステップであって、前記繋ぎ合わせ特徴は、異なる特徴サイズで画像間類似度メトリックが行われるための対象画像の特徴であるステップと、対象画像から基準画像とレジストレーション対象画像とを選択するステップと、
基準画像の繋ぎ合わせ側に対して、基準画像の最小特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし、該第１の繋ぎ合わせ特徴とレジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴とに基づいて、該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定するステップであって、前記最小特徴サイズの繋ぎ合わせ特徴は、画像の異なるサイズでの繋ぎ合わせ特徴を抽出するための複数の特徴ピラミッド層のうち一番小さいサイズの特徴ピラミッド層から得た特徴であるステップと、
基準画像の最小特徴サイズの次の特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴で、該第１の繋ぎ合わせ特徴を更新するステップと、対象繋ぎ合わせ特徴の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲内での繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新するステップと、更新された第１の繋ぎ合わせ特徴と各更新された第２の繋ぎ合わせ特徴との間の類似度メトリック値を再算出し、更新された第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴で、対象繋ぎ合わせ特徴を更新するステップとを、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴が決定されるまで、繰り返し実行するステップと、
基準画像の最大特徴サイズでの第１の繋ぎ合わせ特徴と、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴とに基づいて、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行うステップと、を含む
ことを特徴とする画像繋ぎ合わせ方法。
【請求項2】
対象画像に対して画像パディング処理および画像正規化処理を行い、処理後の対象画像を取得するステップをさらに含み、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得するステップは、
前記処理後の対象画像から繋ぎ合わせ特徴を抽出し、処理後の対象画像の繋ぎ合わせ特徴を取得することを含む
ことを特徴とする請求項１に記載の画像繋ぎ合わせ方法。
【請求項3】
対象画像に対して画像パディング処理および画像正規化処理を行い、処理後の対象画像を取得するステップは、画像の高さと幅のうちの最大値を画像パディング後の画像サイズとし、対象画像の画像パディング処理を行うことと、
画像パディング処理後に、画像正規化処理を行い、処理後の対象画像を取得することと、を含む
ことを特徴とする請求項２に記載の画像繋ぎ合わせ方法。
【請求項4】
深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得するステップは、対象画像を画像繋ぎ合わせ特徴抽出モデルに入力して、対象画像の繋ぎ合わせ特徴を取得するステップを含み、前記画像繋ぎ合わせ特徴抽出モデルは、対象画像の繋ぎ合わせタスクのタイプと対応し、前記画像繋ぎ合わせ特徴抽出モデルは、履歴繋ぎ合わせ画像データセットを教師データとし、深層学習ニューラルネットワークをトレーニングして得られたものであり、前記履歴繋ぎ合わせ画像データセットは、該繋ぎ合わせタスクのタイプに対応する履歴繋ぎ合わせ画像と、前記履歴繋ぎ合わせ画像に対応する繋ぎ合わせ特徴と、
を含む
ことを特徴とする請求項１に記載の画像繋ぎ合わせ方法。
【請求項5】
前記画像繋ぎ合わせ特徴抽出モデルは、画像の異なるサイズでの繋ぎ合わせ特徴を抽出するための複数の特徴ピラミッド層を含むことを特徴とする請求項４に記載の画像繋ぎ合わせ方法。
【請求項6】
対象画像の画像幅・高さと所定比率との積を対象サイズとして、第１の特徴ピラミッド層を選択するステップと、前記対象サイズの画像幅・高さと所定比率との積で前記対象サイズを更新し、更新された対象サイズで対応するサイズの特徴ピラミッド層を選択するステップと、
上記の前記対象サイズを更新し、更新された対象サイズで対応するサイズの特徴ピラミッド層を選択するステップを、選択された特徴ピラミッド層のサイズが所定数値より小さくなるまで繰り返し実行するステップと、により、複数の特徴ピラミッド層を決定することをさらに含む
ことを特徴とする請求項４に記載の画像繋ぎ合わせ方法。
【請求項7】
前記類似度メトリック値は、繋ぎ合わせ特徴間のユークリッド距離およびコサイン類似度に基づいて算出され、該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値は、以下の式に従って算出される
【数1】
ことを特徴とする請求項１に記載の画像繋ぎ合わせ方法。
【請求項8】
基準画像の繋ぎ合わせ側が基準画像の水平方向の両側である場合、レジストレーション対象画像の最小特徴サイズでの前記水平方向に垂直な方向の各繋ぎ合わせ特徴を第２の繋ぎ合わせ特徴とし、基準画像の繋ぎ合わせ側が基準画像の鉛直方向の両側である場合、レジストレーション対象画像の最小特徴サイズでの前記鉛直方向に垂直な方向の各繋ぎ合わせ特徴を第２の繋ぎ合わせ特徴とするステップ、をさらに含むことを特徴とする請求項１に記載の画像繋ぎ合わせ方法。
【請求項9】
基準画像の最大特徴サイズでの第１の繋ぎ合わせ特徴と、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴とに基づいて、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行うステップは、基準画像を水平に繋ぎ合わせる場合、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴の所在位置を繋ぎ合わせ線として、基準画像とレジストレーション対象画像との画像水平繋ぎ合わせを行うとともに、画像水平繋ぎ合わせの過程において、重畳領域に基準画像とレジストレーション対象画像とのうちの右方に位置する画像を保留し、
基準画像を縦方向に繋ぎ合わせる場合、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴の所在位置を繋ぎ合わせ線として、基準画像とレジストレーション対象画像との画像縦方向繋ぎ合わせを行うとともに、画像縦方向繋ぎ合わせの過程において、重畳領域に基準画像とレジストレーション対象画像とのうちの下方に位置する画像を保留すること、を含む
ことを特徴とする請求項１に記載の画像繋ぎ合わせ方法。
【請求項10】
深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得するための繋ぎ合わせ特徴抽出モジュールであって、前記繋ぎ合わせ特徴は、異なる特徴サイズで画像間類似度メトリックが行われるための対象画像の特徴である繋ぎ合わせ特徴抽出モジュールと、対象画像から基準画像とレジストレーション対象画像とを選択するための基準画像およびレジストレーション対象画像選択モジュールと、
基準画像の繋ぎ合わせ側に対して、基準画像の最小特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし、該第１の繋ぎ合わせ特徴とレジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴とに基づいて、該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定するための対象繋ぎ合わせ特徴決定モジュールであって、前記最小特徴サイズの繋ぎ合わせ特徴は、画像の異なるサイズでの繋ぎ合わせ特徴を抽出するための複数の特徴ピラミッド層のうち一番小さいサイズの特徴ピラミッド層から得た特徴である対象繋ぎ合わせ特徴決定モジュールと、
基準画像の最小特徴サイズの次の特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴で、該第１の繋ぎ合わせ特徴を更新するステップと、対象繋ぎ合わせ特徴の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲内での繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新するステップと、更新された第１の繋ぎ合わせ特徴と各更新された第２の繋ぎ合わせ特徴との間の類似度メトリック値を再算出し、更新された第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴で、対象繋ぎ合わせ特徴を更新するステップとを、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴が決定されるまで、繰り返し実行する対象繋ぎ合わせ特徴更新モジュールと、
基準画像の最大特徴サイズでの第１の繋ぎ合わせ特徴と、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴とに基づいて、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行う繋ぎ合わせ側画像繋ぎ合わせモジュールと、を含む
ことを特徴とする画像繋ぎ合わせ装置。
【請求項11】
メモリと、プロセッサと、メモリに記憶されてプロセッサで実行可能なコンピュータプログラムとを含むコンピュータ機器において、前記プロセッサによって前記コンピュータプログラムが実行されることにより、請求項１～９のいずれか１項に記載の画像繋ぎ合わせ方法が実現される
ことを特徴とするコンピュータ機器。
【請求項12】
プロセッサによって実行されることにより、請求項１～９のいずれか１項に記載の画像繋ぎ合わせ方法が実現される、コンピュータプログラムが記憶されていることを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項13】
プロセッサによって実行されることにより、請求項１～９のいずれか１項に記載の画像繋ぎ合わせ方法が実現されることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理と人工知能の技術分野に関し、特に画像繋ぎ合わせ方法および装置に関する。
【背景技術】
【0002】
この部分は、特許請求の範囲に記載された本発明の実施例のために背景またはコンテキストを提供することを目的とする。ここでの説明は、この部分に含まれるために従来技術として認められない。
【0003】
画像繋ぎ合わせ技術とは、同一シーンの複数の重畳画像を大きな画像に繋ぎ合わせる方法を指し、従来の画像繋ぎ合わせ方法の一般的なパターンは、特徴点抽出、特徴マッチング、変換行列推定、画像変換、画像融合からなり、異なる従来の画像繋ぎ合わせ方法も主にパターンにおける異なる段階で異なる形態を採用する。深層学習の盛り上がりに伴い、深層学習に基づく画像繋ぎ合わせも急速に発展し、ほとんどの深層学習に基づく画像繋ぎ合わせ方法は、従来の画像繋ぎ合わせ方法と類似し、主に深層ニューラルネットワークにより特徴を抽出し、最適な変換行列パラメータを学習して後続の画像変換と画像融合を行う。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、多くの実際の画像繋ぎ合わせシーンには、近距離、大視差、多画像、大サイズの問題が存在し、上記の繋ぎ合わせ方法を使用すると多くの問題が存在し、例えば、大サイズの画像を繋ぎ合わせる場合、従来の繋ぎ合わせ方法では特徴を抽出できず（メモリが大きすぎる）、大視差の画像を繋ぎ合わせる場合、現在、深層学習に基づく繋ぎ合わせ方法により、多くのゴーストが存在し、かつ、繋ぎ合わせ効果が悪い。
【課題を解決するための手段】
【0005】
本発明の実施例は、画像繋ぎ合わせの適用性を向上させ、画像繋ぎ合わせの特徴抽出の精度及び速度を向上させ、画像繋ぎ合わせの効率及び正確性を向上させるための画像繋ぎ合わせ方法を提供し、該方法は、
深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得するステップであって、前記繋ぎ合わせ特徴は、異なる特徴サイズで画像間類似度メトリックが行われるための対象画像の特徴であるステップと、
対象画像から基準画像とレジストレーション対象画像とを選択するステップと、
基準画像の繋ぎ合わせ側に対して、基準画像の最小特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし、該第１の繋ぎ合わせ特徴とレジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴とに基づいて、該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定するステップと、
基準画像の最小特徴サイズの次の特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴で、該第１の繋ぎ合わせ特徴を更新するステップと、対象繋ぎ合わせ特徴の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲内での繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新するステップと、更新された第１の繋ぎ合わせ特徴と各更新された第２の繋ぎ合わせ特徴との間の類似度メトリック値を再算出し、更新された第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴で、対象繋ぎ合わせ特徴を更新するステップとを、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴が決定されるまで、繰り返し実行するステップと、
基準画像の最大特徴サイズでの第１の繋ぎ合わせ特徴と、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴とに基づいて、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行うステップと、を含む。
深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得するステップであって、前記繋ぎ合わせ特徴は、異なる特徴サイズで画像間類似度メトリックが行われるための対象画像の特徴であるステップと、
対象画像から基準画像とレジストレーション対象画像とを選択するステップと、
基準画像の繋ぎ合わせ側に対して、基準画像の最小特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし、該第１の繋ぎ合わせ特徴とレジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴とに基づいて、該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定するステップと、
基準画像の最小特徴サイズの次の特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴で、該第１の繋ぎ合わせ特徴を更新するステップと、対象繋ぎ合わせ特徴の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲内での繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新するステップと、更新された第１の繋ぎ合わせ特徴と各更新された第２の繋ぎ合わせ特徴との間の類似度メトリック値を再算出し、更新された第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴で、対象繋ぎ合わせ特徴を更新するステップとを、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴が決定されるまで、繰り返し実行するステップと、
基準画像の最大特徴サイズでの第１の繋ぎ合わせ特徴と、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴とに基づいて、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行うステップと、を含む。
【0006】
本発明の実施例は、画像繋ぎ合わせの適用性を向上させ、画像繋ぎ合わせの特徴抽出の精度及び速度を向上させ、画像繋ぎ合わせの効率及び正確性を向上させるための画像繋ぎ合わせ装置をさらに提供し、該装置は、
深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得するための繋ぎ合わせ特徴抽出モジュールであって、前記繋ぎ合わせ特徴は、異なる特徴サイズで画像間類似度メトリックが行われるための対象画像の特徴である繋ぎ合わせ特徴抽出モジュールと、
対象画像から基準画像とレジストレーション対象画像とを選択するための基準画像およびレジストレーション対象画像選択モジュールと、
基準画像の繋ぎ合わせ側に対して、基準画像の最小特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし、該第１の繋ぎ合わせ特徴とレジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴とに基づいて、該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定するための対象繋ぎ合わせ特徴決定モジュールと、
基準画像の最小特徴サイズの次の特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴で、該第１の繋ぎ合わせ特徴を更新するステップと、対象繋ぎ合わせ特徴の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲内での繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新するステップと、更新された第１の繋ぎ合わせ特徴と各更新された第２の繋ぎ合わせ特徴との間の類似度メトリック値を再算出し、更新された第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴で、対象繋ぎ合わせ特徴を更新するステップとを、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴が決定されるまで、繰り返し実行するための対象繋ぎ合わせ特徴更新モジュールと、
基準画像の最大特徴サイズでの第１の繋ぎ合わせ特徴と、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴とに基づいて、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行う繋ぎ合わせ側画像繋ぎ合わせモジュールと、を含む。
深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得するための繋ぎ合わせ特徴抽出モジュールであって、前記繋ぎ合わせ特徴は、異なる特徴サイズで画像間類似度メトリックが行われるための対象画像の特徴である繋ぎ合わせ特徴抽出モジュールと、
対象画像から基準画像とレジストレーション対象画像とを選択するための基準画像およびレジストレーション対象画像選択モジュールと、
基準画像の繋ぎ合わせ側に対して、基準画像の最小特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし、該第１の繋ぎ合わせ特徴とレジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴とに基づいて、該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定するための対象繋ぎ合わせ特徴決定モジュールと、
基準画像の最小特徴サイズの次の特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴で、該第１の繋ぎ合わせ特徴を更新するステップと、対象繋ぎ合わせ特徴の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲内での繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新するステップと、更新された第１の繋ぎ合わせ特徴と各更新された第２の繋ぎ合わせ特徴との間の類似度メトリック値を再算出し、更新された第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴で、対象繋ぎ合わせ特徴を更新するステップとを、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴が決定されるまで、繰り返し実行するための対象繋ぎ合わせ特徴更新モジュールと、
基準画像の最大特徴サイズでの第１の繋ぎ合わせ特徴と、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴とに基づいて、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行う繋ぎ合わせ側画像繋ぎ合わせモジュールと、を含む。
【0007】
本発明の実施例は、メモリと、プロセッサと、メモリに記憶されてプロセッサで実行可能なコンピュータプログラムとを含むコンピュータ機器をさらに提供し、前記プロセッサによって前記コンピュータプログラムが実行されることにより、上記の画像繋ぎ合わせ方法が実現される。
【0008】
本発明の実施例は、プロセッサによって実行されることにより、上記の画像繋ぎ合わせ方法が実現される、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体をさらに提供する。
【0009】
本発明の実施例は、プロセッサによって実行されることにより、上記の画像繋ぎ合わせ方法が実現されるコンピュータプログラムをさらに提供する。
【発明の効果】
【0010】
本発明の実施例において、深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得して、前記繋ぎ合わせ特徴は、異なる特徴サイズで画像間類似度メトリックが行われるための対象画像の特徴であり、対象画像から基準画像とレジストレーション対象画像とを選択し、基準画像の繋ぎ合わせ側に対して、基準画像の最小特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし、該第１の繋ぎ合わせ特徴とレジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴とに基づいて、該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定し、基準画像の最小特徴サイズの次の特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴で、該第１の繋ぎ合わせ特徴を更新するステップと、対象繋ぎ合わせ特徴の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲内での繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新するステップと、更新された第１の繋ぎ合わせ特徴と各更新された第２の繋ぎ合わせ特徴との間の類似度メトリック値を再算出し、更新された第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴で、対象繋ぎ合わせ特徴を更新するステップとを、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴が決定されるまで、繰り返し実行し、基準画像の最大特徴サイズでの第１の繋ぎ合わせ特徴と、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴とに基づいて、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行い、従来の技術による特徴点抽出手段に比べて、深層学習ニューラルネットワークモデルを用いて繋ぎ合わせ特徴を抽出することによって、繋ぎ合わせ特徴抽出の精度、速度およびロバスト性を向上させると同時に、異なる特徴サイズでの繋ぎ合わせ特徴に対する類似度メトリックに基づいて、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴を迅速に決定して画像繋ぎ合わせを行うことができ、画像繋ぎ合わせの効率および正確性を向上させ、近距離や大視差の大サイズ画像の繋ぎ合わせに適用でき、画像繋ぎ合わせの適用性を向上させる。
【図面の簡単な説明】
【0011】
本発明の実施例または従来技術における技術的解決手段をより明瞭に説明するために、以下、実施例または従来技術の説明に使用する必要がある図面を簡単に説明し、明らかに、以下の説明における図面は本発明のいくつかの実施例に過ぎず、当業者にとって、進歩的な労働をしない前提で、これらの図面に基づいて他の図面を取得することもできる。図中において、
【0012】
【図1】本発明の実施例に係る画像繋ぎ合わせ方法の具体例を示す図である。
【図2】本発明の実施例に係る画像繋ぎ合わせ方法の具体例を示す図である。
【図3】本発明の実施例に係る画像繋ぎ合わせ方法の具体例を示す図である。
【図4】本発明の実施例に係る画像繋ぎ合わせ方法の具体例を示す図である。
【図5】本発明の実施例に係る画像繋ぎ合わせ方法の具体例を示す図である。
【図6】本発明の実施例に係る画像繋ぎ合わせ方法の概略フローチャートである。
【図7】本発明の実施例に係る画像繋ぎ合わせ装置の構造の例示図である。
【図8】本願の実施例に係る画像繋ぎ合わせるためのコンピュータ機器の模式図である。
【発明を実施するための形態】
【0013】
本発明の実施例の目的、技術的解決手段および利点をより明瞭にするために、以下、図面を参照しながら本発明の実施例をさらに詳細に説明する。ここで、本発明の例示的な実施例およびその説明は、本発明を解釈するためのものであり、本発明を限定するものではない。
【0014】
本明細書における用語「および／または」は、１つの関連関係を説明するためのものに過ぎず、３種類の関係が存在してもよいことを示し、例えば、Ａおよび／またはＢは、Ａが単独で存在し、ＡとＢが同時に存在し、Ｂが単独で存在するという３種類の状況を示すことができる。また、本明細書において、用語「少なくとも１種」は、複数種のうちの任意の１種または複数種のうちの少なくとも２種の任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１種を含み、Ａ、ＢおよびＣからなる集合から選択された任意の１種または複数種の要素を含むことができる。
【0015】
本明細書の説明において、使用される「含む」、「備える」、「有する」、「含有する」などは、いずれも開放的な用語であり、即ち、含むがこれらに限定されないことを意味する。「１つの実施例」、「１つの具体的な実施例」、「いくつかの実施例」、「例えば」などの用語を参照した説明は、該実施例または例を参照して説明された具体的な特徴、構造または特性が本願の少なくとも１つの実施例または例に含まれることを意味する。本明細書において、上記用語の模式的な表現は、必ずしも同じ実施例または例を指すものではない。そして、説明された具体的な特徴、構造または特性は、任意の１つまたは複数の実施例または例において適切な方式で組み合わせることができる。各実施例に係るステップ順序は、本願の実施を模式的に説明するためのものであり、ステップ順序は限定されず、必要に応じて適宜調整することができる。
【0016】
本願の技術的解決手段において、データに対する取得、記憶、使用、処理などは、いずれも国家法律規則に関する規定に合致する。
【0017】
画像繋ぎ合わせ技術とは、同一シーンの複数の重畳画像を大きな画像に繋ぎ合わせる方法を指し、従来の画像繋ぎ合わせ方法の一般的なパターンは、特徴点抽出、特徴マッチング、変換行列推定、画像変換、画像融合からなり、異なる従来の画像繋ぎ合わせ方法も主にパターンにおける異なる段階で異なる形態を採用する。深層学習の盛り上がりに伴い、深層学習に基づく画像繋ぎ合わせも急速に発展し、ほとんどの深層学習に基づく画像繋ぎ合わせ方法は、従来の画像繋ぎ合わせ方法と類似し、主に深層ニューラルネットワークにより特徴を抽出し、最適な変換行列パラメータを学習して後続の画像変換と画像融合とを行う。
【0018】
しかし、多くの実際の画像繋ぎ合わせシーンには、近距離、大視差、多画像、大サイズの問題が存在し、上記の繋ぎ合わせ方法を使用すると多くの問題が存在し、例えば、大サイズの画像を繋ぎ合わせる場合、従来の繋ぎ合わせ方法では特徴を抽出できず（メモリが大きすぎる）、大視差の画像を繋ぎ合わせる場合、現在、深層学習に基づく繋ぎ合わせ方法により、多くのゴーストが存在する。
【0019】
例えば、現段階では、画像繋ぎ合わせ特徴の抽出および画像繋ぎ合わせを行うために、以下のような解決手段を採用することが多い。
【0020】
１、特徴抽出演算子、例えばＨａｒｒｉｓ演算子、ＳＩＦＴ演算子、ＳＵＲＦ演算子、ＬＢＦ演算子などの演算子を用いて基準画像とレジストレーション対象画像に対して特徴点抽出を行い、両画像間の類似特徴点をマッチングし、変換行列を算出し、レジストレーション対象画像を変換してから、両画像を繋ぎ合わせる。
【0021】
２、深層畳み込みニューラルネットワークを用いて基準画像とレジストレーション対象画像の特徴を抽出するとともに、変換行列を学習パラメータとして最適な変換行列を学習した後、レジストレーション対象画像を変換してから画像を繋ぎ合わせる。
【0022】
しかし、上記従来技術には以下の問題がある。
【0023】
１、特徴抽出演算子を用いて画像全体に対して特徴点を抽出する必要があり、画像の解像度が大きすぎる場合、特徴を抽出する時にメモリの消耗が大きすぎて特徴を抽出する過程を完了できないことを引き起こし、即ち、解像度が大きすぎる画像を繋ぎ合わせることができない。
【0024】
２、変換行列を学習パラメータとして最適な変換行列を学習した後、レジストレーション対象画像を変換してから画像を繋ぎ合わせ、視差が大きい場合、ゴーストが深刻で、大解像度画像に対して特徴を抽出することができるが、繋ぎ合わせ効果が悪い。
【0025】
上記問題を解決するために、本発明の実施例は、近距離、大視差、多画像、大サイズの画像繋ぎ合わせに適用可能であり、画像繋ぎ合わせの適用性を向上させ、画像繋ぎ合わせの特徴抽出の精度及び速度を向上させ、画像繋ぎ合わせの効率及び正確性を向上させるための画像繋ぎ合わせ方法を提供し、近距離、大視差、多画像、大サイズの画像を効果的に繋ぎ合わせることができ、かつ、特徴を抽出する時のメモリ不足およびゴースト現象を回避することができ、図６を参照し、該方法は、
深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得するステップであって、前記繋ぎ合わせ特徴は、異なる特徴サイズで画像間類似度メトリックが行われるための対象画像の特徴であるステップ６０１と、
対象画像から基準画像とレジストレーション対象画像とを選択するステップ６０２と、
基準画像の繋ぎ合わせ側に対して、基準画像の最小特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし、該第１の繋ぎ合わせ特徴とレジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴とに基づいて、該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定するステップ６０３と、
基準画像の最小特徴サイズの次の特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴で、該第１の繋ぎ合わせ特徴を更新するステップと、対象繋ぎ合わせ特徴の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲内での繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新するステップと、更新された第１の繋ぎ合わせ特徴と各更新された第２の繋ぎ合わせ特徴との間の類似度メトリック値を再算出し、更新された第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴で、対象繋ぎ合わせ特徴を更新するステップとを、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴が決定されるまで、繰り返し実行するステップ６０４と、
基準画像の最大特徴サイズでの第１の繋ぎ合わせ特徴と、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴とに基づいて、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行うステップ６０５と、を含むことができる。
深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得するステップであって、前記繋ぎ合わせ特徴は、異なる特徴サイズで画像間類似度メトリックが行われるための対象画像の特徴であるステップ６０１と、
対象画像から基準画像とレジストレーション対象画像とを選択するステップ６０２と、
基準画像の繋ぎ合わせ側に対して、基準画像の最小特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし、該第１の繋ぎ合わせ特徴とレジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴とに基づいて、該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定するステップ６０３と、
基準画像の最小特徴サイズの次の特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴で、該第１の繋ぎ合わせ特徴を更新するステップと、対象繋ぎ合わせ特徴の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲内での繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新するステップと、更新された第１の繋ぎ合わせ特徴と各更新された第２の繋ぎ合わせ特徴との間の類似度メトリック値を再算出し、更新された第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴で、対象繋ぎ合わせ特徴を更新するステップとを、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴が決定されるまで、繰り返し実行するステップ６０４と、
基準画像の最大特徴サイズでの第１の繋ぎ合わせ特徴と、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴とに基づいて、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行うステップ６０５と、を含むことができる。
【0026】
本発明の実施例において、深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得して、前記繋ぎ合わせ特徴は、異なる特徴サイズで画像間類似度メトリックが行われるための対象画像の特徴であり、対象画像から基準画像とレジストレーション対象画像とを選択し、基準画像の繋ぎ合わせ側に対して、基準画像の最小特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし、該第１の繋ぎ合わせ特徴とレジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴とに基づいて、該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定し、基準画像の最小特徴サイズの次の特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴で、該第１の繋ぎ合わせ特徴を更新するステップと、対象繋ぎ合わせ特徴の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲内での繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新するステップと、更新された第１の繋ぎ合わせ特徴と各更新された第２の繋ぎ合わせ特徴との間の類似度メトリック値を再算出し、更新された第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴で、対象繋ぎ合わせ特徴を更新するステップとを、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴が決定されるまで、繰り返し実行し、基準画像の最大特徴サイズでの第１の繋ぎ合わせ特徴と、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴とに基づいて、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行い、従来の技術による特徴点抽出手段に比べて、深層学習ニューラルネットワークモデルを用いて繋ぎ合わせ特徴を抽出することによって、繋ぎ合わせ特徴抽出の精度、速度およびロバスト性を向上させると同時に、異なる特徴サイズでの繋ぎ合わせ特徴に対する類似度メトリックに基づいて、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴を迅速に決定して画像繋ぎ合わせを行うことができ、画像繋ぎ合わせの効率および正確性を向上させ、近距離や大視差の大サイズ画像の繋ぎ合わせに適用でき、画像繋ぎ合わせの適用性を向上させる。
【0027】
具体的に実施する際に、まず、深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得して、前記繋ぎ合わせ特徴は、異なる特徴サイズで画像間類似度メトリックが行われるための対象画像の特徴である。
【0028】
実施例において、前記繋ぎ合わせ特徴は、画像間類似度メトリックを行うための特徴であり、最後に画像繋ぎ合わせに用いられる。さらに、これにより、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得することもでき、本発明はこれを具体的に限定せず、本発明に係る「深層学習ニューラルネットワークモデルに基づく」解決手段は一実施例である。
【0029】
一実施例において、
対象画像に対して画像パディング処理および画像正規化処理を行い、処理後の対象画像を取得するステップをさらに含み、
対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得するステップは、
前記処理後の対象画像から繋ぎ合わせ特徴を抽出し、処理後の対象画像の繋ぎ合わせ特徴を取得することを含む。
対象画像に対して画像パディング処理および画像正規化処理を行い、処理後の対象画像を取得するステップをさらに含み、
対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得するステップは、
前記処理後の対象画像から繋ぎ合わせ特徴を抽出し、処理後の対象画像の繋ぎ合わせ特徴を取得することを含む。
【0030】
一実施例において、対象画像に対して画像パディング処理および画像正規化処理を行い、処理後の対象画像を取得するステップは、
画像の高さと幅のうちの最大値を画像パディング後の画像サイズとして、対象画像の画像パディング処理を行うことと、
画像パディング処理後に、画像正規化処理を行い、処理後の対象画像を取得することと、を含む。
画像の高さと幅のうちの最大値を画像パディング後の画像サイズとして、対象画像の画像パディング処理を行うことと、
画像パディング処理後に、画像正規化処理を行い、処理後の対象画像を取得することと、を含む。
【0031】
実施例において、画像前処理は、画像に対するサイズ調整、エッジパディング、正規化などの操作を含むことができる。
【0032】
一実施例において、深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得するステップは、
対象画像を画像繋ぎ合わせ特徴抽出モデルに入力して、対象画像の繋ぎ合わせ特徴を取得することを含み、前記画像繋ぎ合わせ特徴抽出モデルは、対象画像の繋ぎ合わせタスクのタイプと対応し、前記画像繋ぎ合わせ特徴抽出モデルは、履歴繋ぎ合わせ画像データセットを教師データとし、深層学習ニューラルネットワークをトレーニングして得られたものであり、前記履歴繋ぎ合わせ画像データセットは、該繋ぎ合わせタスクのタイプに対応する履歴繋ぎ合わせ画像と、前記履歴繋ぎ合わせ画像に対応する繋ぎ合わせ特徴と、を含む。
対象画像を画像繋ぎ合わせ特徴抽出モデルに入力して、対象画像の繋ぎ合わせ特徴を取得することを含み、前記画像繋ぎ合わせ特徴抽出モデルは、対象画像の繋ぎ合わせタスクのタイプと対応し、前記画像繋ぎ合わせ特徴抽出モデルは、履歴繋ぎ合わせ画像データセットを教師データとし、深層学習ニューラルネットワークをトレーニングして得られたものであり、前記履歴繋ぎ合わせ画像データセットは、該繋ぎ合わせタスクのタイプに対応する履歴繋ぎ合わせ画像と、前記履歴繋ぎ合わせ画像に対応する繋ぎ合わせ特徴と、を含む。
【0033】
実施例において、深層畳み込みニューラルネットワークを用いて前処理された画像を抽出することができる。
【0034】
ここに、前記画像繋ぎ合わせ特徴抽出モデルは対象画像の繋ぎ合わせタスクのタイプと対応し、例えば、画像繋ぎ合わせのタスクタイプに応じて、対象検出ネットワークによってトレーニングされたｂａｃｋｂｏｎｅを用いて特徴抽出することができ、例えば、棚画像繋ぎ合わせは、できるだけ商品検出ネットワークのｂａｃｋｂｏｎｅを用いて画像繋ぎ合わせの特徴抽出を行い、ここに、ｂａｃｋｂｏｎｅは、特徴抽出するネットワークであり、その役割は、画像中の情報を抽出することであり、該ｂａｃｋｂｏｎｅは、トレーニング済みのモデルパラメータを直接ロードして形成されたニューラルネットワークモデルであってもよい。
【0035】
一実施例において、前記画像繋ぎ合わせ特徴抽出モデルは、画像の異なるサイズでの繋ぎ合わせ特徴を抽出するための複数の特徴ピラミッド層を含む。
【0036】
実施例において、従来の特徴点に基づいて特徴を抽出する方式に比べて、本発明は、深層ニューラルネットワークを用いて特徴を抽出し、画像繋ぎ合わせの特徴として単層出力ネットワークを用いてもよく、多層特徴ピラミッドを用いてもよい。ここに、最小特徴サイズの繋ぎ合わせ特徴は、ピラミッド特徴層から出力した最小サイズの特徴である。
【0037】
一実施例において、
対象画像の画像幅・高さと所定比率との積を対象サイズとして、第１の特徴ピラミッド層を選択することと、
前記対象サイズの画像幅・高さと所定比率との積で前記対象サイズを更新し、更新された対象サイズで対応するサイズの特徴ピラミッド層を選択するステップを、
選択された特徴ピラミッド層のサイズが所定数値より小さくなるまで、繰り返し実行することとにより複数の特徴ピラミッド層を決定することをさらに含む。
対象画像の画像幅・高さと所定比率との積を対象サイズとして、第１の特徴ピラミッド層を選択することと、
前記対象サイズの画像幅・高さと所定比率との積で前記対象サイズを更新し、更新された対象サイズで対応するサイズの特徴ピラミッド層を選択するステップを、
選択された特徴ピラミッド層のサイズが所定数値より小さくなるまで、繰り返し実行することとにより複数の特徴ピラミッド層を決定することをさらに含む。
【0038】
実施例において、上記の前記対象サイズを更新し、および更新された対象サイズで対応するサイズの特徴ピラミッド層を選択するステップを実行することによって、特徴サイズに対する重複ダウンサンプリングプロセスを実現することができることによって、各特徴サイズでの特徴ピラミッド層を決定する。
【0039】
一例を挙げると、図２を参照すると、図２におけるｐｉｃ＿ｓｉｚｅは、画像前処理ｐａｄｄｉｎｇ（パディング）された画像の幅・高さであり（大サイズの画像は、一般的に解像度が４ｋ以上である）、選択された第１層のサイズがｐｉｃ＿ｓｉｚｅ／４の特徴層であり、次に、２倍ダウンサンプリングされた特徴層を選択し続け、特徴層のサイズが所定数値（例えば、４０画素）より小さくなると、選択が終了する。
【0040】
具体的に実施する際に、深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得した後、対象画像から基準画像とレジストレーション対象画像とを選択し、
基準画像の繋ぎ合わせ側に対して、基準画像の最小特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし、該第１の繋ぎ合わせ特徴とレジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴とに基づいて、該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定する。
基準画像の繋ぎ合わせ側に対して、基準画像の最小特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし、該第１の繋ぎ合わせ特徴とレジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴とに基づいて、該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定する。
【0041】
一実施例において、前記類似度メトリック値は、繋ぎ合わせ特徴間のユークリッド距離およびコサイン類似度に基づいて算出され、
該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値は、以下の式に従って算出される。
該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値は、以下の式に従って算出される。
【数1】
【0042】
【数2】
【0043】
【数3】
【0044】
実施例において、特徴メトリックは主にユークリッド距離、コサイン類似度、マハラノビス距離およびマンハッタン距離などに対して行われ、抽出された特徴に対して特徴メトリックを行うことによって、最も類似する２枚の繋ぎ合わせ対象画像の特徴領域を取得する。ここに、横方向繋ぎ合わせと縦方向繋ぎ合わせの特徴メトリックの選択領域も異なる。
【0045】
一実施例において、
基準画像の繋ぎ合わせ側が基準画像の水平方向の両側である場合、レジストレーション対象画像の最小特徴サイズでの前記水平方向に垂直な方向の各繋ぎ合わせ特徴を第２の繋ぎ合わせ特徴とし、
基準画像の繋ぎ合わせ側が基準画像の鉛直方向の両側である場合、レジストレーション対象画像の最小特徴サイズでの前記鉛直方向に垂直な方向の各繋ぎ合わせ特徴を第２の繋ぎ合わせ特徴とするステップ、をさらに含む。
基準画像の繋ぎ合わせ側が基準画像の水平方向の両側である場合、レジストレーション対象画像の最小特徴サイズでの前記水平方向に垂直な方向の各繋ぎ合わせ特徴を第２の繋ぎ合わせ特徴とし、
基準画像の繋ぎ合わせ側が基準画像の鉛直方向の両側である場合、レジストレーション対象画像の最小特徴サイズでの前記鉛直方向に垂直な方向の各繋ぎ合わせ特徴を第２の繋ぎ合わせ特徴とするステップ、をさらに含む。
【0046】
一例を挙げると、
基準画像の繋ぎ合わせ側が基準画像の水平方向の両側である場合、図３を例として、図３は、高さが幅よりも長い画像に対して左右ｐａｄｄｉｎｇを行う場合であり、基準画像（即ち、図３における左図）に対して、まず、ｐａｄｄｉｎｇ部分を除去した最右の特徴ｐａｔｃｈ（即ち、繋ぎ合わせ特徴に対応するベクトルブロック）を選択し、レジストレーション対象画像の全てのｐａｔｃｈ特徴と特徴間の類似度メトリックを行い、該最右の特徴ｐａｔｃｈとレジストレーション対象画像の全てのｐａｔｃｈ特徴のうちの各ｐａｔｃｈとの類似度メトリック値を算出し、該最右の特徴ｐａｔｃｈとの類似度メトリック値が所定数値を超えるｐａｔｃｈを対象ｐａｔｃｈとして決定し、
基準画像の繋ぎ合わせ側が基準画像の鉛直方向の両側である場合、図４を例として、図４は、水平繋ぎ合わせと同様に、高さが幅より長い画像の左右ｐａｄｄｉｎｇの場合であり、基準画像（即ち、図４における左図）に対して、まず、ｐａｄｄｉｎｇ部分を除去した最下層の特徴ｐａｔｃｈを選択してレジストレーション対象画像の全ての対応するｐａｔｃｈ特徴と特徴メトリックを行い、該最下層の特徴ｐａｔｃｈとレジストレーション対象画像の全てのｐａｔｃｈ特徴のうちの各ｐａｔｃｈとの間の類似度メトリック値を算出し、該最下層の特徴ｐａｔｃｈとの間の類似度メトリック値が所定数値を超えるｐａｔｃｈを対象ｐａｔｃｈとして決定する。
基準画像の繋ぎ合わせ側が基準画像の水平方向の両側である場合、図３を例として、図３は、高さが幅よりも長い画像に対して左右ｐａｄｄｉｎｇを行う場合であり、基準画像（即ち、図３における左図）に対して、まず、ｐａｄｄｉｎｇ部分を除去した最右の特徴ｐａｔｃｈ（即ち、繋ぎ合わせ特徴に対応するベクトルブロック）を選択し、レジストレーション対象画像の全てのｐａｔｃｈ特徴と特徴間の類似度メトリックを行い、該最右の特徴ｐａｔｃｈとレジストレーション対象画像の全てのｐａｔｃｈ特徴のうちの各ｐａｔｃｈとの類似度メトリック値を算出し、該最右の特徴ｐａｔｃｈとの類似度メトリック値が所定数値を超えるｐａｔｃｈを対象ｐａｔｃｈとして決定し、
基準画像の繋ぎ合わせ側が基準画像の鉛直方向の両側である場合、図４を例として、図４は、水平繋ぎ合わせと同様に、高さが幅より長い画像の左右ｐａｄｄｉｎｇの場合であり、基準画像（即ち、図４における左図）に対して、まず、ｐａｄｄｉｎｇ部分を除去した最下層の特徴ｐａｔｃｈを選択してレジストレーション対象画像の全ての対応するｐａｔｃｈ特徴と特徴メトリックを行い、該最下層の特徴ｐａｔｃｈとレジストレーション対象画像の全てのｐａｔｃｈ特徴のうちの各ｐａｔｃｈとの間の類似度メトリック値を算出し、該最下層の特徴ｐａｔｃｈとの間の類似度メトリック値が所定数値を超えるｐａｔｃｈを対象ｐａｔｃｈとして決定する。
【0047】
具体的に実施する際に、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定した後、基準画像の最小特徴サイズの次の特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴で、該第１の繋ぎ合わせ特徴を更新するステップと、対象繋ぎ合わせ特徴の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲内での繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新するステップと、更新された第１の繋ぎ合わせ特徴と各更新された第２の繋ぎ合わせ特徴との間の類似度メトリック値を再算出し、更新された第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴で、対象繋ぎ合わせ特徴を更新するステップとを、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴が決定されるまで、繰り返し実行する。
【0048】
実施例において、上記の第１の繋ぎ合わせ特徴を更新するステップと、第２の繋ぎ合わせ特徴を更新するステップと、対象繋ぎ合わせ特徴を更新するステップと、を繰り返し実行することによって、特徴サイズに対して小さい順に対象繋ぎ合わせ特徴を決定することを実現でき、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴に対する正確なマッチングを実現できる。
【0049】
上記の実施例において、所定範囲は、前記対応する繋ぎ合わせ特徴の所在位置側の指定数の繋ぎ合わせ特徴を表すために用いられ、前記指定数は、現在の特徴サイズでの基準画像に含まれる繋ぎ合わせ特徴の総数と、指定比率との積であり、前記指定比率は、５％であってもよく、または実際の使用ニーズに応じて自由に設定されてもよい。
【0050】
図５に示すように、図５に示す第２の列の特徴サイズでのレジストレーション対象画像において、Ｋ＝５は、前記対応する繋ぎ合わせ特徴（図５における黒い点線で示す）の所在位置側（即ち、左側）の指定数（５）の繋ぎ合わせ特徴が所在する所定範囲（即ち、図５における番号が５ａの色ブロック）を示す。
【0051】
上記の実施例において、対象繋ぎ合わせ特徴の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲内での繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新することによって、次の特徴サイズでの対象繋ぎ合わせ特徴の選択範囲を限定することができ、次の特徴サイズでの全ての繋ぎ合わせ特徴を選別するプロセスを回避することができ、対象繋ぎ合わせ特徴の選択効率を向上させると同時に、所定範囲を設定することによって、対象繋ぎ合わせ特徴の次の特徴サイズでの対応する対象準繋ぎ合わせ特徴の所在位置もさらに限定され、繋ぎ合わせ特徴の選択効率を向上させる。
【0052】
具体的に実施する際に、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴を決定した後、基準画像の最大特徴サイズでの第１の繋ぎ合わせ特徴と、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴とに基づいて、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行う。
【0053】
実施例において、最も類似する特徴領域（即ち、基準画像の最大特徴サイズでの第１の繋ぎ合わせ特徴、およびレジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴）を取得した後、画像を繋ぎ合わせることができる。横方向に繋ぎ合わせる場合、レジストレーション対象画像の重畳領域を保留し、縦方向に繋ぎ合わせる場合、できるだけ下方のレジストレーション対象画像の重畳領域を保留する。
【0054】
一実施例において、基準画像の最大特徴サイズでの第１の繋ぎ合わせ特徴と、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴とに基づいて、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行うステップは、
基準画像を水平に繋ぎ合わせる場合、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴の所在位置を繋ぎ合わせ線として、基準画像とレジストレーション対象画像との画像水平繋ぎ合わせを行うとともに、画像水平繋ぎ合わせの過程において、重畳領域に基準画像とレジストレーション対象画像とのうちの右方に位置する画像を保留し、
基準画像を縦方向に繋ぎ合わせる場合、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴の所在位置を繋ぎ合わせ線として、基準画像とレジストレーション対象画像との画像縦方向繋ぎ合わせを行い、画像縦方向繋ぎ合わせの過程において、重畳領域に基準画像とレジストレーション対象画像とのうちの下方に位置する画像を保留すること、を含む。
基準画像を水平に繋ぎ合わせる場合、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴の所在位置を繋ぎ合わせ線として、基準画像とレジストレーション対象画像との画像水平繋ぎ合わせを行うとともに、画像水平繋ぎ合わせの過程において、重畳領域に基準画像とレジストレーション対象画像とのうちの右方に位置する画像を保留し、
基準画像を縦方向に繋ぎ合わせる場合、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴の所在位置を繋ぎ合わせ線として、基準画像とレジストレーション対象画像との画像縦方向繋ぎ合わせを行い、画像縦方向繋ぎ合わせの過程において、重畳領域に基準画像とレジストレーション対象画像とのうちの下方に位置する画像を保留すること、を含む。
【0055】
実施例において、画像を左右に繋ぎ合わせる場合、右図が後画像であると、繋ぎ合わせ線の位置を決定した後、右図を左図の繋ぎ合わせ線の後に被せ、即ち、重畳領域に後画像を保留する。
【0056】
一例を挙げると、基準画像を水平に繋ぎ合わせる場合、繋ぎ合わせ画像の左右両側の繋ぎ合わせ特徴を選択するとともに、レジストレーション対象画像の縦方向の繋ぎ合わせ特徴を選択し、基準画像の左右両側の繋ぎ合わせ特徴と、異なるレジストレーション対象画像の異なる縦方向の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、
前記類似度メトリック値に基づいて、各基準画像の左右両側の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超えるレジストレーション対象画像の縦方向の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定する。
前記類似度メトリック値に基づいて、各基準画像の左右両側の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超えるレジストレーション対象画像の縦方向の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定する。
【0057】
別の例を挙げると、基準画像を縦方向に繋ぎ合わせる場合、繋ぎ合わせ画像の上下両側の繋ぎ合わせ特徴を選択し、レジストレーション対象画像の横方向繋ぎ合わせ特徴を選択し、基準画像の上下両側の繋ぎ合わせ特徴と、異なるレジストレーション対象画像の異なる横方向繋ぎ合わせ特徴との間の類似度メトリック値を算出し、
前記類似度メトリック値に基づいて、各基準画像の上下両側の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超えるレジストレーション対象画像の横方向の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定する。
前記類似度メトリック値に基づいて、各基準画像の上下両側の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超えるレジストレーション対象画像の横方向の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定する。
【0058】
別の例を挙げると、基準画像を水平に繋ぎ合わせる場合、決定された対象繋ぎ合わせ特徴の所在位置を繋ぎ合わせ線として、基準画像とレジストレーション対象画像の画像水平繋ぎ合わせを行うとともに、画像水平繋ぎ合わせの過程において、重畳領域に後画像を保留し、
別の例を挙げると、基準画像を縦方向に繋ぎ合わせる場合、決定された対象繋ぎ合わせ特徴の所在位置を繋ぎ合わせ線として、基準画像とレジストレーション対象画像との画像縦方向繋ぎ合わせを行い、画像縦方向繋ぎ合わせの過程において、重畳領域に中間画像を保留する。
別の例を挙げると、基準画像を縦方向に繋ぎ合わせる場合、決定された対象繋ぎ合わせ特徴の所在位置を繋ぎ合わせ線として、基準画像とレジストレーション対象画像との画像縦方向繋ぎ合わせを行い、画像縦方向繋ぎ合わせの過程において、重畳領域に中間画像を保留する。
【0059】
以下、具体的な実施例を挙げて、本発明の方法の具体的な応用を説明する。
【0060】
図１に示すように、本実施例のフローは、主に、画像前処理、特徴抽出、特徴メトリック、画像繋ぎ合わせの４つの部分に分けられることができる。
【0061】
１、画像前処理
画像前処理とは、画像に対するサイズ調整、エッジパディング、正規化などの操作により、深層学習ニューラルネットワークに入力されて学習することを可能にするための必要な手段を指し、本願発明では、主にエッジパディングと正規化の操作を採用する。
画像前処理とは、画像に対するサイズ調整、エッジパディング、正規化などの操作により、深層学習ニューラルネットワークに入力されて学習することを可能にするための必要な手段を指し、本願発明では、主にエッジパディングと正規化の操作を採用する。
【0062】
２、特徴抽出
従来の特徴点に基づいて特徴を抽出する方式に比べて、深層ニューラルネットワークは既に各方面でより優れた性能を示すため、本発明は、深層ニューラルネットワークを用いて特徴を抽出し、画像繋ぎ合わせの特徴として単層出力ネットワークを用いてもよく、多層特徴ピラミッドを用いてもよい。
従来の特徴点に基づいて特徴を抽出する方式に比べて、深層ニューラルネットワークは既に各方面でより優れた性能を示すため、本発明は、深層ニューラルネットワークを用いて特徴を抽出し、画像繋ぎ合わせの特徴として単層出力ネットワークを用いてもよく、多層特徴ピラミッドを用いてもよい。
【0063】
３、特徴メトリック
特徴メトリックは、主にユークリッド距離、コサイン類似度、マハラノビス距離およびマンハッタン距離などに対して行われ、抽出された特徴に対して特徴メトリックを行うことによって、最も類似する２枚の繋ぎ合わせ対象画像の特徴領域を取得する。ここに、横方向繋ぎ合わせと縦方向繋ぎ合わせの特徴メトリックの選択領域も異なり、詳細は具体的な実施フローを参照する。
特徴メトリックは、主にユークリッド距離、コサイン類似度、マハラノビス距離およびマンハッタン距離などに対して行われ、抽出された特徴に対して特徴メトリックを行うことによって、最も類似する２枚の繋ぎ合わせ対象画像の特徴領域を取得する。ここに、横方向繋ぎ合わせと縦方向繋ぎ合わせの特徴メトリックの選択領域も異なり、詳細は具体的な実施フローを参照する。
【0064】
４、大まかな情報から細かな情報への伝達
まず、最小特徴サイズでの繋ぎ合わせ特徴を決定し、その後、該最小特徴サイズでの繋ぎ合わせ特徴で、次の特徴サイズでの繋ぎ合わせ特徴を取得し、順次類推して、元の画像サイズになるまで、最も類似する特徴ベクトルを絶えずより精細に取得し、最終的に繋ぎ合わせ線、即ち、決定された対象繋ぎ合わせ特徴の所在位置を取得する。
まず、最小特徴サイズでの繋ぎ合わせ特徴を決定し、その後、該最小特徴サイズでの繋ぎ合わせ特徴で、次の特徴サイズでの繋ぎ合わせ特徴を取得し、順次類推して、元の画像サイズになるまで、最も類似する特徴ベクトルを絶えずより精細に取得し、最終的に繋ぎ合わせ線、即ち、決定された対象繋ぎ合わせ特徴の所在位置を取得する。
【0065】
５、画像繋ぎ合わせ
最も類似する特徴領域（即ち、繋ぎ合わせ線）を取得した後、画像を繋ぎ合わせることができる。横方向に繋ぎ合わせる場合、レジストレーション対象画像の重畳領域を保留し、縦方向に繋ぎ合わせる場合、できるだけ下方のレジストレーション対象画像の重畳領域を保留する。
最も類似する特徴領域（即ち、繋ぎ合わせ線）を取得した後、画像を繋ぎ合わせることができる。横方向に繋ぎ合わせる場合、レジストレーション対象画像の重畳領域を保留し、縦方向に繋ぎ合わせる場合、できるだけ下方のレジストレーション対象画像の重畳領域を保留する。
【0066】
図２に示すように、本実施例は、深層学習に基づく近距離、大視差、多画像、大サイズの画像繋ぎ合わせ方法をさらに具体的に説明し、具体的な実現の詳細は以下の通りである。
【0067】
１、画像前処理（画像を深層学習ニューラルネットワークに入力するための必要な手段）
（１）画像ｐａｄｄｉｎｇ（パディング）：画像の高さ（即ちｈｅｉｇｈｔ）と幅（即ちｗｉｄｔｈ）のうちの最大値をｐａｄｄｉｎｇ後の画像サイズとし（即ち矩形までパディングし）、短辺のパディングの大きさがｐであり、式は、以下に示す通りである。
（２）画像正規化：画像に対して正規化操作を行い、即ち、画素値をいずれも２５５．０で除算する。
（１）画像ｐａｄｄｉｎｇ（パディング）：画像の高さ（即ちｈｅｉｇｈｔ）と幅（即ちｗｉｄｔｈ）のうちの最大値をｐａｄｄｉｎｇ後の画像サイズとし（即ち矩形までパディングし）、短辺のパディングの大きさがｐであり、式は、以下に示す通りである。
【数4】
（２）画像正規化：画像に対して正規化操作を行い、即ち、画素値をいずれも２５５．０で除算する。
【0068】
２、特徴ピラミッド（異なるスケールの特徴を後続的に特徴メトリックするために抽出する）
（１）特徴抽出：深層畳み込みニューラルネットワークを用いて前処理された画像を抽出する（画像繋ぎ合わせのタスクタイプに応じて、対象検出ネットワークによってトレーニングされたｂａｃｋｂｏｎｅ（バックボーンネットワーク）を用いて特徴抽出を行うことができ、例えば、棚画像繋ぎ合わせに商品検出ネットワークのｂａｃｋｂｏｎｅを用いて、画像繋ぎ合わせの特徴抽出を行う）。
（２）特徴ピラミッド層の選択：図２におけるｐｉｃ＿ｓｉｚｅは、画像前処理のｐａｄｄｉｎｇされた画像の幅・高さであり（大サイズの画像は、一般的に解像度が４ｋ以上である）、即ち、選択された第１層はｐｉｃ＿ｓｉｚｅ／４の特徴層であり、次に２倍ダウンサンプリングされた特徴層を選択し続け、特徴層のサイズが所定サイズ、例えば（４０画素×４０画素の特徴ブロック）より小さくなると、選択が終了する。
（１）特徴抽出：深層畳み込みニューラルネットワークを用いて前処理された画像を抽出する（画像繋ぎ合わせのタスクタイプに応じて、対象検出ネットワークによってトレーニングされたｂａｃｋｂｏｎｅ（バックボーンネットワーク）を用いて特徴抽出を行うことができ、例えば、棚画像繋ぎ合わせに商品検出ネットワークのｂａｃｋｂｏｎｅを用いて、画像繋ぎ合わせの特徴抽出を行う）。
（２）特徴ピラミッド層の選択：図２におけるｐｉｃ＿ｓｉｚｅは、画像前処理のｐａｄｄｉｎｇされた画像の幅・高さであり（大サイズの画像は、一般的に解像度が４ｋ以上である）、即ち、選択された第１層はｐｉｃ＿ｓｉｚｅ／４の特徴層であり、次に２倍ダウンサンプリングされた特徴層を選択し続け、特徴層のサイズが所定サイズ、例えば（４０画素×４０画素の特徴ブロック）より小さくなると、選択が終了する。
【0069】
３、特徴メトリック（最も類似する領域を決定し、繋ぎ合わせ線を取得して画像繋ぎ合わせに用いる）
（１）特徴メトリック方式
本実施例に係る特徴メトリックは、ユークリッド距離とコサイン類似度を組み合わせ、特徴間の純画素の距離だけでなく、特徴間の構造類似度の距離も考慮し、式（２）はユークリッド距離であり、式（３）はコサイン類似度であり、式（４）は正規化ユークリッド距離とコサイン類似度の和であり、ただし、ＸＡは、レジストレーション対象画像の特徴であり、ｙａは、基準画像の特徴である。
（１）特徴メトリック方式
本実施例に係る特徴メトリックは、ユークリッド距離とコサイン類似度を組み合わせ、特徴間の純画素の距離だけでなく、特徴間の構造類似度の距離も考慮し、式（２）はユークリッド距離であり、式（３）はコサイン類似度であり、式（４）は正規化ユークリッド距離とコサイン類似度の和であり、ただし、ＸＡは、レジストレーション対象画像の特徴であり、ｙａは、基準画像の特徴である。
【0070】
該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値は、以下の式に従って算出される。
【数5】
【0071】
【数6】
【0072】
ここに、Ｌ２ユークリッド距離の算出方式は、画素差の値であり、即ち画素間の類似度であり、Ｃｏｓｉｎｅ算出方式は、２つの特徴間のコサイン類似度であるため、構造間の類似度を表す。
【0073】
（２）特徴メトリック領域の選択
水平繋ぎ合わせ：図３に示すように、図３は、高さが幅よりも長い画像に対して左右ｐａｄｄｉｎｇを行う場合であり（薄い灰色領域はｐａｄｄｉｎｇである）、図３の各特徴ブロックの左右に灰色のｐａｄｄｉｎｇの部分があり、即ち、このブロック領域は、いずれも０または２５５の画素値でパディングされた領域であり、基準画像（即ち、図３の左図）に対して、まず、ｐａｄｄｉｎｇ部分を除去した最右の特徴ｐａｔｃｈ（即ち、繋ぎ合わせ特徴に対応するベクトルブロック）を選択し、レジストレーション対象画像の全てのｐａｔｃｈ特徴と特徴間の類似度メトリックを行い、該最右の特徴ｐａｔｃｈとレジストレーション対象画像の全てのｐａｔｃｈ特徴のうちの各ｐａｔｃｈとの類似度メトリック値を算出し、該最右の特徴ｐａｔｃｈとの類似度メトリック値が所定数値を超えるｐａｔｃｈを対象ｐａｔｃｈとして決定し、
縦方向繋ぎ合わせ：図４に示すように、図４は、水平繋ぎ合わせと同様に、高さが幅より長い画像の左右ｐａｄｄｉｎｇの場合であり、基準画像（即ち、図４における左図）に対して、まず、ｐａｄｄｉｎｇ部分を除去した最下層の特徴ｐａｔｃｈを選択してレジストレーション対象画像の全ての対応するｐａｔｃｈ特徴と特徴メトリックを行い、該最下層の特徴ｐａｔｃｈとレジストレーション対象画像の全てのｐａｔｃｈ特徴のうちの各ｐａｔｃｈとの間の類似度メトリック値を算出し、該最下層の特徴ｐａｔｃｈとの間の類似度メトリック値が所定数値を超えるｐａｔｃｈを対象ｐａｔｃｈとして決定する。
水平繋ぎ合わせ：図３に示すように、図３は、高さが幅よりも長い画像に対して左右ｐａｄｄｉｎｇを行う場合であり（薄い灰色領域はｐａｄｄｉｎｇである）、図３の各特徴ブロックの左右に灰色のｐａｄｄｉｎｇの部分があり、即ち、このブロック領域は、いずれも０または２５５の画素値でパディングされた領域であり、基準画像（即ち、図３の左図）に対して、まず、ｐａｄｄｉｎｇ部分を除去した最右の特徴ｐａｔｃｈ（即ち、繋ぎ合わせ特徴に対応するベクトルブロック）を選択し、レジストレーション対象画像の全てのｐａｔｃｈ特徴と特徴間の類似度メトリックを行い、該最右の特徴ｐａｔｃｈとレジストレーション対象画像の全てのｐａｔｃｈ特徴のうちの各ｐａｔｃｈとの類似度メトリック値を算出し、該最右の特徴ｐａｔｃｈとの類似度メトリック値が所定数値を超えるｐａｔｃｈを対象ｐａｔｃｈとして決定し、
縦方向繋ぎ合わせ：図４に示すように、図４は、水平繋ぎ合わせと同様に、高さが幅より長い画像の左右ｐａｄｄｉｎｇの場合であり、基準画像（即ち、図４における左図）に対して、まず、ｐａｄｄｉｎｇ部分を除去した最下層の特徴ｐａｔｃｈを選択してレジストレーション対象画像の全ての対応するｐａｔｃｈ特徴と特徴メトリックを行い、該最下層の特徴ｐａｔｃｈとレジストレーション対象画像の全てのｐａｔｃｈ特徴のうちの各ｐａｔｃｈとの間の類似度メトリック値を算出し、該最下層の特徴ｐａｔｃｈとの間の類似度メトリック値が所定数値を超えるｐａｔｃｈを対象ｐａｔｃｈとして決定する。
【0074】
４、大まかな情報から細かな情報への伝達
図５に示すように、横方向繋ぎ合わせを例として、最初に抽出された最小サイズ（例えば、４０画素×４０画素の特徴ブロック）の特徴マップ（この特徴マップは、特徴ピラミッドの層における１層のピラミッドにより出力された特徴である）に対して特徴メトリックを開始し、基準画像に対して、常に最後の１次元ｐａｔｃｈ（即ち、基準画像の最小特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし）を選択してレジストレーション対象画像の各ｐａｔｃｈ（即ち、レジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴）とメトリックを行い、特徴が最もマッチングするｐａｔｃｈを検索し、
図５における最小の特徴サイズは、ｘ１が所在する特徴マップであり、ｘ１色ブロック領域は、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を表し、即ち、最小の特徴サイズでの対象繋ぎ合わせ特徴を表し、ｘ１は、同様に該最小の特徴サイズでの対象繋ぎ合わせ特徴の座標を表し、次に、２倍アップサンプリングで次のサイズの特徴マップに伝達し、ここに、アップサンプリング過程は、繋ぎ合わせ情報を該特徴マップの２倍の特徴マップに伝達することを含むことができ、例えば、図５における第２列の特徴サイズにおいて、対象繋ぎ合わせ特徴ｘ１の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲（即ち、５ａ色ブロック領域）内の繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新し、具体的には、対象繋ぎ合わせ特徴ｘ１の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置は、ｘ１値の２倍であり、
第３の特徴サイズにおいて、対象繋ぎ合わせ特徴ｘ１の第３の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置は、ｘ２値の２倍であり、順次類推して、元の画像の大きさに伝達されるまで、最も類似するｐａｔｃｈベクトルの位置を絶えずより精細に取得し、最終的にｘｎの対象繋ぎ合わせ特徴、即ち繋ぎ合わせ線を取得する。
図５に示すように、横方向繋ぎ合わせを例として、最初に抽出された最小サイズ（例えば、４０画素×４０画素の特徴ブロック）の特徴マップ（この特徴マップは、特徴ピラミッドの層における１層のピラミッドにより出力された特徴である）に対して特徴メトリックを開始し、基準画像に対して、常に最後の１次元ｐａｔｃｈ（即ち、基準画像の最小特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし）を選択してレジストレーション対象画像の各ｐａｔｃｈ（即ち、レジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴）とメトリックを行い、特徴が最もマッチングするｐａｔｃｈを検索し、
図５における最小の特徴サイズは、ｘ１が所在する特徴マップであり、ｘ１色ブロック領域は、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を表し、即ち、最小の特徴サイズでの対象繋ぎ合わせ特徴を表し、ｘ１は、同様に該最小の特徴サイズでの対象繋ぎ合わせ特徴の座標を表し、次に、２倍アップサンプリングで次のサイズの特徴マップに伝達し、ここに、アップサンプリング過程は、繋ぎ合わせ情報を該特徴マップの２倍の特徴マップに伝達することを含むことができ、例えば、図５における第２列の特徴サイズにおいて、対象繋ぎ合わせ特徴ｘ１の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲（即ち、５ａ色ブロック領域）内の繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新し、具体的には、対象繋ぎ合わせ特徴ｘ１の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置は、ｘ１値の２倍であり、
第３の特徴サイズにおいて、対象繋ぎ合わせ特徴ｘ１の第３の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置は、ｘ２値の２倍であり、順次類推して、元の画像の大きさに伝達されるまで、最も類似するｐａｔｃｈベクトルの位置を絶えずより精細に取得し、最終的にｘｎの対象繋ぎ合わせ特徴、即ち繋ぎ合わせ線を取得する。
【0075】
同様に、基準画像の最後の１次元を基準ｐａｔｃｈとして採用し、レジストレーション対象画像について、現在の領域は、２ｘおよびその左右のｋ個の隣接するｐａｔｃｈのみをレジストレーション対象特徴とし（即ち、対象繋ぎ合わせ特徴の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲内での繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新する）、順次類推して、元の画像サイズになるまで、最も類似するｐａｔｃｈベクトル位置を絶えずより精細に取得し、最終的に繋ぎ合わせ線、即ち決定された対象繋ぎ合わせ特徴の所在位置を取得して、
一例を挙げると、図５において、基準画像について、最後の一次元ｐａｔｃｈベクトルを選択して上記の繋ぎ合わせ側の繋ぎ合わせ特徴を表し、レジストレーション対象画像について、検索された類似度が最も高いｐａｔｃｈを上記の対象繋ぎ合わせ特徴とし、代表的なメトリック情報が大まかなものから細かなものまで伝達される場合、左右の各領域のｋ個の隣接するｐａｔｃｈを微調整とし、例において、左右のｋ＝５である。ここに、ｐａｔｃｈは、通常、幅が２～４の間の特徴ベクトルを取る。
一例を挙げると、図５において、基準画像について、最後の一次元ｐａｔｃｈベクトルを選択して上記の繋ぎ合わせ側の繋ぎ合わせ特徴を表し、レジストレーション対象画像について、検索された類似度が最も高いｐａｔｃｈを上記の対象繋ぎ合わせ特徴とし、代表的なメトリック情報が大まかなものから細かなものまで伝達される場合、左右の各領域のｋ個の隣接するｐａｔｃｈを微調整とし、例において、左右のｋ＝５である。ここに、ｐａｔｃｈは、通常、幅が２～４の間の特徴ベクトルを取る。
【0076】
５、画像繋ぎ合わせ
横方向繋ぎ合わせ：横方向繋ぎ合わせは、検索された繋ぎ合わせ線に従って繋ぎ合わせ、重畳領域に後画像を保留する。
縦方向繋ぎ合わせ：縦方向繋ぎ合わせは、マルチ画像繋ぎ合わせの場合、正面視角を確保するために、重畳領域にいずれも中間画像を保留する。
横方向繋ぎ合わせ：横方向繋ぎ合わせは、検索された繋ぎ合わせ線に従って繋ぎ合わせ、重畳領域に後画像を保留する。
縦方向繋ぎ合わせ：縦方向繋ぎ合わせは、マルチ画像繋ぎ合わせの場合、正面視角を確保するために、重畳領域にいずれも中間画像を保留する。
【0077】
スーパーマーケットの棚画像繋ぎ合わせを例とし、
好ましくは、上中下の３つのカメラを用いて移動して棚画像を撮像する。
好ましくは、上中下の３つのカメラを用いて移動して棚画像を撮像する。
【0078】
縦方向繋ぎ合わせについて
画像繋ぎ合わせ線と最も類似する領域を取得した上で、まず中間カメラの最も類似する領域を保留して上中下の繋ぎ合わせを行うことによって、繋ぎ合わせ後の画像に展示された商品がいずれも正面に撮像されたものであることを確保することができ、後続の操作によりよく用いられることができる。
画像繋ぎ合わせ線と最も類似する領域を取得した上で、まず中間カメラの最も類似する領域を保留して上中下の繋ぎ合わせを行うことによって、繋ぎ合わせ後の画像に展示された商品がいずれも正面に撮像されたものであることを確保することができ、後続の操作によりよく用いられることができる。
【0079】
横方向（水平）繋ぎ合わせについて
１２枚の横方向画像を例として、２分の１を境界とし、即ち、前の６枚と後の６枚に分けて、前の６枚について、いずれも右側画像の最も類似する領域を保留して繋ぎ合わせ、後の６枚の画像について、いずれも左側画像の最も類似する領域を保留して繋ぎ合わせることによって、横方向に繋ぎ合わせる時の商品がいずれも正面であることを確保することができる。
１２枚の横方向画像を例として、２分の１を境界とし、即ち、前の６枚と後の６枚に分けて、前の６枚について、いずれも右側画像の最も類似する領域を保留して繋ぎ合わせ、後の６枚の画像について、いずれも左側画像の最も類似する領域を保留して繋ぎ合わせることによって、横方向に繋ぎ合わせる時の商品がいずれも正面であることを確保することができる。
【0080】
本実施例において、１、深層ニューラルネットワークを採用して繋ぎ合わせ画像の類似度特徴を抽出してメトリックし、精度、速度、ロバスト性が従来の特徴点抽出方法に比べて大幅に向上する。２、ユークリッド距離とコサイン類似度とを組み合わせたメトリック方式を用いると同時に、画素間と構造間の類似度を考慮する。３、大まかな情報から細かな情報への伝達方式により、画像特徴ピラミッドの各層での特徴メトリックの算出を大幅に加速すると同時に、特徴メトリックの高精度の伝達を確保する。
【0081】
以下の有益な効果を有する。
１、超大サイズ画像を繋ぎ合わせることができ、２、大視差での繋ぎ合わせによるゴーストの問題を解決することができ、３、特徴点抽出を用いた方法に比べて、大まかな情報から細かな情報への伝達方式を採用することで、繋ぎ合わせ速度を大幅に加速することができる。
１、超大サイズ画像を繋ぎ合わせることができ、２、大視差での繋ぎ合わせによるゴーストの問題を解決することができ、３、特徴点抽出を用いた方法に比べて、大まかな情報から細かな情報への伝達方式を採用することで、繋ぎ合わせ速度を大幅に加速することができる。
【0082】
勿論、上記詳細なフローは、他の変更例を有してもよく、関連する変更例がいずれも本発明の権利範囲に収まるべきであることを理解される。
【0083】
本発明の実施例において、深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得して、前記繋ぎ合わせ特徴は、異なる特徴サイズで画像間類似度メトリックが行われるための対象画像の特徴であり、対象画像から基準画像とレジストレーション対象画像とを選択し、基準画像の繋ぎ合わせ側に対して、基準画像の最小特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし、該第１の繋ぎ合わせ特徴とレジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴とに基づいて、該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定し、基準画像の最小特徴サイズの次の特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴で、該第１の繋ぎ合わせ特徴を更新するステップと、対象繋ぎ合わせ特徴の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲内での繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新するステップと、更新された第１の繋ぎ合わせ特徴と各更新された第２の繋ぎ合わせ特徴との間の類似度メトリック値を再算出し、更新された第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴で、対象繋ぎ合わせ特徴を更新するステップとを、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴が決定されるまで、繰り返し実行し、基準画像の最大特徴サイズでの第１の繋ぎ合わせ特徴と、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴とに基づいて、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行い、従来の技術による特徴点抽出手段に比べて、深層学習ニューラルネットワークモデルを用いて繋ぎ合わせ特徴を抽出することによって、繋ぎ合わせ特徴抽出の精度、速度およびロバスト性を向上させると同時に、異なる特徴サイズでの繋ぎ合わせ特徴に対する類似度メトリックに基づいて、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴を迅速に決定して画像繋ぎ合わせを行うことができ、画像繋ぎ合わせの効率および正確性を向上させ、近距離や大視差の大サイズ画像の繋ぎ合わせに適用でき、画像繋ぎ合わせの適用性を向上させる。
【0084】
本発明の実施例は、画像繋ぎ合わせの適用性を向上させ、画像繋ぎ合わせの特徴抽出の精度及び速度を向上させ、画像繋ぎ合わせの効率及び正確性を向上させるための画像繋ぎ合わせ装置をさらに提供し、図７に示すように、該装置は、
深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得するための繋ぎ合わせ特徴抽出モジュール７０１であって、前記繋ぎ合わせ特徴は、異なる特徴サイズで画像間類似度メトリックが行われるための対象画像の特徴である繋ぎ合わせ特徴抽出モジュール７０１と、
対象画像から基準画像とレジストレーション対象画像とを選択するための基準画像およびレジストレーション対象画像選択モジュール７０２と、
基準画像の繋ぎ合わせ側に対して、基準画像の最小特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし、該第１の繋ぎ合わせ特徴とレジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴とに基づいて、該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定するための対象繋ぎ合わせ特徴決定モジュール７０３と、
基準画像の最小特徴サイズの次の特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴で、該第１の繋ぎ合わせ特徴を更新するステップと、対象繋ぎ合わせ特徴の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲内での繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新するステップと、更新された第１の繋ぎ合わせ特徴と各更新された第２の繋ぎ合わせ特徴との間の類似度メトリック値を再算出し、更新された第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴で、対象繋ぎ合わせ特徴を更新するステップとを、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴が決定されるまで、繰り返し実行するための対象繋ぎ合わせ特徴更新モジュール７０４と、
基準画像の最大特徴サイズでの第１の繋ぎ合わせ特徴と、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴とに基づいて、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行うための繋ぎ合わせ側画像繋ぎ合わせモジュール７０５と、を含む。
深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得するための繋ぎ合わせ特徴抽出モジュール７０１であって、前記繋ぎ合わせ特徴は、異なる特徴サイズで画像間類似度メトリックが行われるための対象画像の特徴である繋ぎ合わせ特徴抽出モジュール７０１と、
対象画像から基準画像とレジストレーション対象画像とを選択するための基準画像およびレジストレーション対象画像選択モジュール７０２と、
基準画像の繋ぎ合わせ側に対して、基準画像の最小特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし、該第１の繋ぎ合わせ特徴とレジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴とに基づいて、該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定するための対象繋ぎ合わせ特徴決定モジュール７０３と、
基準画像の最小特徴サイズの次の特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴で、該第１の繋ぎ合わせ特徴を更新するステップと、対象繋ぎ合わせ特徴の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲内での繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新するステップと、更新された第１の繋ぎ合わせ特徴と各更新された第２の繋ぎ合わせ特徴との間の類似度メトリック値を再算出し、更新された第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴で、対象繋ぎ合わせ特徴を更新するステップとを、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴が決定されるまで、繰り返し実行するための対象繋ぎ合わせ特徴更新モジュール７０４と、
基準画像の最大特徴サイズでの第１の繋ぎ合わせ特徴と、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴とに基づいて、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行うための繋ぎ合わせ側画像繋ぎ合わせモジュール７０５と、を含む。
【0085】
一実施例において、対象画像に対して画像パディング処理および画像正規化処理を行い、処理後の対象画像を取得するための画像パディング処理および画像正規化処理モジュールをさらに含み、
対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得するステップは、
前記処理後の対象画像から繋ぎ合わせ特徴を抽出し、処理後の対象画像の繋ぎ合わせ特徴を取得することを含む。
対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得するステップは、
前記処理後の対象画像から繋ぎ合わせ特徴を抽出し、処理後の対象画像の繋ぎ合わせ特徴を取得することを含む。
【0086】
一実施例において、画像パディング処理および画像正規化処理モジュールは、具体的には、
画像の高さと幅のうちの最大値を画像パディング後の画像サイズとし、対象画像の画像パディング処理を行うことと、
画像パディング処理後に、画像正規化処理を行い、処理後の対象画像を取得することと、に用いられる。
画像の高さと幅のうちの最大値を画像パディング後の画像サイズとし、対象画像の画像パディング処理を行うことと、
画像パディング処理後に、画像正規化処理を行い、処理後の対象画像を取得することと、に用いられる。
【0087】
一実施例において、繋ぎ合わせ特徴抽出モジュールは、具体的には、
対象画像を画像繋ぎ合わせ特徴抽出モデルに入力して、対象画像の繋ぎ合わせ特徴を取得するために用いられ、前記画像繋ぎ合わせ特徴抽出モデルは、対象画像の繋ぎ合わせタスクのタイプと対応し、前記画像繋ぎ合わせ特徴抽出モデルは、履歴繋ぎ合わせ画像データセットを教師データとし、深層学習ニューラルネットワークをトレーニングして得られたものであり、前記履歴繋ぎ合わせ画像データセットは、該繋ぎ合わせタスクのタイプに対応する履歴繋ぎ合わせ画像と、前記履歴繋ぎ合わせ画像に対応する繋ぎ合わせ特徴と、を含む。
対象画像を画像繋ぎ合わせ特徴抽出モデルに入力して、対象画像の繋ぎ合わせ特徴を取得するために用いられ、前記画像繋ぎ合わせ特徴抽出モデルは、対象画像の繋ぎ合わせタスクのタイプと対応し、前記画像繋ぎ合わせ特徴抽出モデルは、履歴繋ぎ合わせ画像データセットを教師データとし、深層学習ニューラルネットワークをトレーニングして得られたものであり、前記履歴繋ぎ合わせ画像データセットは、該繋ぎ合わせタスクのタイプに対応する履歴繋ぎ合わせ画像と、前記履歴繋ぎ合わせ画像に対応する繋ぎ合わせ特徴と、を含む。
【0088】
一実施例において、前記画像繋ぎ合わせ特徴抽出モデルは、画像の異なるサイズでの繋ぎ合わせ特徴を抽出するための複数の特徴ピラミッド層を含む。
【0089】
一実施例において、
画像パディング処理後の画像幅・高さと第１の所定比率との第１の積を第１のサイズとして、第１の特徴ピラミッド層を選択するステップと、
第２の所定比率に基づいて第１のサイズに対してダウンサンプリングプロセスを繰り返して行い、第２のサイズを決定し、第２のサイズで第２の特徴ピラミッド層を選択するステップとを、
選択された特徴ピラミッド層のサイズが所定数値より小さくなるまで、繰り返し実行することにより複数の特徴ピラミッド層を決定するための特徴ピラミッド層具体化モジュールをさらに含む。
画像パディング処理後の画像幅・高さと第１の所定比率との第１の積を第１のサイズとして、第１の特徴ピラミッド層を選択するステップと、
第２の所定比率に基づいて第１のサイズに対してダウンサンプリングプロセスを繰り返して行い、第２のサイズを決定し、第２のサイズで第２の特徴ピラミッド層を選択するステップとを、
選択された特徴ピラミッド層のサイズが所定数値より小さくなるまで、繰り返し実行することにより複数の特徴ピラミッド層を決定するための特徴ピラミッド層具体化モジュールをさらに含む。
【0090】
一実施例において、前記類似度メトリック値は、繋ぎ合わせ特徴間のユークリッド距離およびコサイン類似度に基づいて算出され、
対象繋ぎ合わせ特徴決定モジュールは、具体的には、
該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を以下の式に従って算出するために用いられる。
対象繋ぎ合わせ特徴決定モジュールは、具体的には、
該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を以下の式に従って算出するために用いられる。
【数7】
【0091】
【数8】
【0092】
一実施例において、
基準画像の繋ぎ合わせ側が基準画像の水平方向の両側である場合、レジストレーション対象画像の最小特徴サイズでの前記水平方向に垂直な方向の各繋ぎ合わせ特徴を第２の繋ぎ合わせ特徴とし、
基準画像の繋ぎ合わせ側が基準画像の鉛直方向の両側である場合、レジストレーション対象画像の最小特徴サイズでの前記鉛直方向に垂直な方向の各繋ぎ合わせ特徴を第２の繋ぎ合わせ特徴とするステップ、に用いられる第２の繋ぎ合わせ特徴決定モジュールをさらに含む。
基準画像の繋ぎ合わせ側が基準画像の水平方向の両側である場合、レジストレーション対象画像の最小特徴サイズでの前記水平方向に垂直な方向の各繋ぎ合わせ特徴を第２の繋ぎ合わせ特徴とし、
基準画像の繋ぎ合わせ側が基準画像の鉛直方向の両側である場合、レジストレーション対象画像の最小特徴サイズでの前記鉛直方向に垂直な方向の各繋ぎ合わせ特徴を第２の繋ぎ合わせ特徴とするステップ、に用いられる第２の繋ぎ合わせ特徴決定モジュールをさらに含む。
【0093】
一実施例において、繋ぎ合わせ側画像繋ぎ合わせモジュールは、具体的には、
基準画像を水平に繋ぎ合わせる場合、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴の所在位置を繋ぎ合わせ線として、基準画像とレジストレーション対象画像との画像水平繋ぎ合わせを行うとともに、画像水平繋ぎ合わせの過程において、重畳領域に基準画像とレジストレーション対象画像とのうちの右方に位置する画像を保留し、
基準画像を縦方向に繋ぎ合わせる場合、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴の所在位置を繋ぎ合わせ線として、基準画像とレジストレーション対象画像との画像縦方向繋ぎ合わせを行い、画像縦方向繋ぎ合わせの過程において、重畳領域に基準画像とレジストレーション対象画像とのうちの下方に位置する画像を保留すること、に用いられる。
基準画像を水平に繋ぎ合わせる場合、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴の所在位置を繋ぎ合わせ線として、基準画像とレジストレーション対象画像との画像水平繋ぎ合わせを行うとともに、画像水平繋ぎ合わせの過程において、重畳領域に基準画像とレジストレーション対象画像とのうちの右方に位置する画像を保留し、
基準画像を縦方向に繋ぎ合わせる場合、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴の所在位置を繋ぎ合わせ線として、基準画像とレジストレーション対象画像との画像縦方向繋ぎ合わせを行い、画像縦方向繋ぎ合わせの過程において、重畳領域に基準画像とレジストレーション対象画像とのうちの下方に位置する画像を保留すること、に用いられる。
【0094】
本発明の実施例は、上記の画像繋ぎ合わせ方法における内容の全部または一部を実現するためのコンピュータ機器の実施例を提供し、前記コンピュータ機器は、具体的には、
プロセッサ（ｐｒｏｃｅｓｓｏｒ）、メモリ（ｍｅｍｏｒｙ）、通信インターフェース（Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｉｎｔｅｒｆａｃｅ）、およびバスを含み、ここに、前記プロセッサ、メモリ、および通信インターフェースは、前記バスによって相互に通信を完成し、前記通信インターフェースは、関連する機器間の情報伝送を実現するために用いられ、該コンピュータ機器は、デスクトップコンピュータ、タブレットコンピュータおよびモバイル端末などであってもよいが、本実施例はこれに限定されない。本実施例において、該コンピュータ機器は、画像繋ぎ合わせ方法を実現するための実施例および画像繋ぎ合わせ装置を実現するための実施例という実施例を参照して実施することができ、その内容はここに合併され、繰返して説明しない。
プロセッサ（ｐｒｏｃｅｓｓｏｒ）、メモリ（ｍｅｍｏｒｙ）、通信インターフェース（Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｉｎｔｅｒｆａｃｅ）、およびバスを含み、ここに、前記プロセッサ、メモリ、および通信インターフェースは、前記バスによって相互に通信を完成し、前記通信インターフェースは、関連する機器間の情報伝送を実現するために用いられ、該コンピュータ機器は、デスクトップコンピュータ、タブレットコンピュータおよびモバイル端末などであってもよいが、本実施例はこれに限定されない。本実施例において、該コンピュータ機器は、画像繋ぎ合わせ方法を実現するための実施例および画像繋ぎ合わせ装置を実現するための実施例という実施例を参照して実施することができ、その内容はここに合併され、繰返して説明しない。
【0095】
図８は、本願の実施例に係るコンピュータ機器１０００のシステム構成の概略ブロック図である。図８に示すように、該コンピュータ機器１０００は、中央プロセッサ１００１と中央プロセッサ１００１に結合されるメモリ１００２とを含むことができる。該図８は例示的なものであり、電気通信機能または他の機能を実現するために、他のタイプの構造を用いて該構造を補充または代替してもよいことに注意されたい。
【0096】
一実施例において、画像繋ぎ合わせ機能は、中央プロセッサ１００１に組み込まれてもよい。ここに、中央プロセッサ１００１は、
深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得するステップであって、前記繋ぎ合わせ特徴は、異なる特徴サイズで画像間類似度メトリックが行われるための対象画像の特徴であるステップと、
対象画像から基準画像とレジストレーション対象画像とを選択するステップと、
基準画像の繋ぎ合わせ側に対して、基準画像の最小特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし、該第１の繋ぎ合わせ特徴とレジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴とに基づいて、該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定するステップと、
基準画像の最小特徴サイズの次の特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴で、該第１の繋ぎ合わせ特徴を更新するステップと、対象繋ぎ合わせ特徴の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲内での繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新するステップと、更新された第１の繋ぎ合わせ特徴と各更新された第２の繋ぎ合わせ特徴との間の類似度メトリック値を再算出し、更新された第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴で、対象繋ぎ合わせ特徴を更新するステップとを、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴が決定されるまで、繰り返し実行するステップと、
基準画像の最大特徴サイズでの第１の繋ぎ合わせ特徴と、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴とに基づいて、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行うステップと、の制御を行うように配置されることができる。
深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得するステップであって、前記繋ぎ合わせ特徴は、異なる特徴サイズで画像間類似度メトリックが行われるための対象画像の特徴であるステップと、
対象画像から基準画像とレジストレーション対象画像とを選択するステップと、
基準画像の繋ぎ合わせ側に対して、基準画像の最小特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし、該第１の繋ぎ合わせ特徴とレジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴とに基づいて、該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定するステップと、
基準画像の最小特徴サイズの次の特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴で、該第１の繋ぎ合わせ特徴を更新するステップと、対象繋ぎ合わせ特徴の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲内での繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新するステップと、更新された第１の繋ぎ合わせ特徴と各更新された第２の繋ぎ合わせ特徴との間の類似度メトリック値を再算出し、更新された第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴で、対象繋ぎ合わせ特徴を更新するステップとを、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴が決定されるまで、繰り返し実行するステップと、
基準画像の最大特徴サイズでの第１の繋ぎ合わせ特徴と、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴とに基づいて、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行うステップと、の制御を行うように配置されることができる。
【0097】
別の実施形態において、画像繋ぎ合わせ装置は、中央プロセッサ１００１と別々に配置されてもよく、例えば、画像繋ぎ合わせ装置を中央プロセッサ１００１に接続されたチップとして配置し、中央プロセッサの制御により画像繋ぎ合わせ機能を実現してもよい。
【0098】
図８に示すように、該コンピュータ機器１０００は、通信モジュール１００３と、入力ユニット１００４と、オーディオプロセッサ１００５と、ディスプレイ１００６と、電源１００７とをさらに含んでもよい。なお、コンピュータ機器１０００は、必ずしも図８に示す全ての部材を含む必要はなく、また、コンピュータ機器１０００は、図８に示されていない部材を含んでもよく、従来技術を参照してもよい。
【0099】
図８に示すように、中央プロセッサ１００１は、コントローラまたは操作子と呼ばれることもあり、マイクロプロセッサまたは他のプロセッサ装置および／または論理装置を含んでもよく、該中央プロセッサ１００１は、入力を受信しコンピュータ機器１０００の各部材の操作を制御する。
【0100】
ここに、メモリ１００２は、例えば、バッファ、フラッシュメモリ、ハードディスク、移動可能な媒体、揮発性メモリ、不揮発性メモリまたは他の適切な装置のうちの１種または複数種であってもよい。上記の機器に関する情報が格納されてもよく、また実行に関する情報のプログラムが格納されてもよい。また、中央プロセッサ１００１は、情報の記憶または処理等を実現するように該メモリ１００２に記憶された該プログラムを実行することができる。
【0101】
入力ユニット１００４は、中央プロセッサ１００１に入力を提供する。該入力ユニット１００４は、例えば、キーまたはタッチ入力装置である。電源１００７は、コンピュータ装置１０００に電力を供給するために用いられる。ディスプレイ１００６は、画像や文字等の表示対象の表示を行うために用いられる。このディスプレイは、例えばＬＣＤディスプレイであってもよいが、これに限定されない。
【0102】
該メモリ１００２は、例えば、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＳＩＭカードなどの固体メモリであってもよい。さらに、電源を切っても情報が格納され、選択的に消去されるとともに、より多くのデータが設定されることが可能なメモリであってもよく、該メモリの例示は、ＥＰＲＯＭなどと呼ばれることがある。メモリ１００２は、ある別のタイプの装置であってもよい。メモリ１００２は、バッファメモリ１０２１（バッファと呼ばれることがある）を含む。メモリ１００２は、アプリケーションプログラムおよび機能プログラムを記憶したり、中央プロセッサ１００１を介してコンピュータ機器１０００の操作のフローを実行したりするために用いられるアプリケーション／機能記憶部１０２２を含んでもよい。
【0103】
メモリ１００２は、例えば、連絡先、デジタルデータ、画像、音声、および／またはコンピュータ機器によって使用される任意の他のデータなどのデータを記憶するために用いられたデータ記憶部１０２３をさらに含んでもよい。メモリ１００２のドライバ記憶部１０２４は、コンピュータ機器の通信機能および／またはコンピュータ機器の他の機能（例えば、メッセージ伝送アプリケーション、連絡帳アプリケーションなど）を実行するための様々なドライバを含んでもよい。
【0104】
通信モジュール１００３は、即ち、アンテナ１００８を介して信号を送受信する送信機／受信機１００３である。通信モジュール（送信機／受信機）１００３は、入力信号を提供し、出力信号を受信するように中央プロセッサ１００１に結合されて、従来の移動通信端末の場合と同様であってもよい。
【0105】
異なる通信技術に基づいて、同一のコンピュータ機器において、例えばセルラーネットワークモジュール、ブルートゥース（登録商標）モジュールおよび／または無線ＬＡＮモジュールなどの複数の通信モジュール１００３が設けられることができる。通信モジュール（送信機／受信機）１００３は、さらにオーディオプロセッサ１００５を介してスピーカ１００９およびマイク１０１０に結合されることによって、スピーカ１００９を介してオーディオ出力を提供するとともに、マイク１０１０からのオーディオ入力を受信ることで、通常の電気通信機能を実現する。オーディオプロセッサ１００５は、任意の適切なバッファ、デコーダ、増幅器などを含むことができる。さらに、オーディオプロセッサ１００５は、マイク１０１０を介して本機上で録音することができるとともに、スピーカ１００９を介して本機上に記憶された音声を再生することができるようにさらに中央プロセッサ１００１に結合される。
【0106】
本発明の実施例は、プロセッサによって実行されることにより、上記の画像繋ぎ合わせ方法が実現されるコンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体をさらに提供する。
【0107】
本発明の実施例は、プロセッサによって実行されることにより、上記の画像繋ぎ合わせ方法が実現されるコンピュータプログラムをさらに提供する。
【0108】
本発明の実施例において、深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、対象画像の繋ぎ合わせ特徴を取得して、前記繋ぎ合わせ特徴は、異なる特徴サイズで画像間類似度メトリックが行われるための対象画像の特徴であり、対象画像から基準画像とレジストレーション対象画像とを選択し、基準画像の繋ぎ合わせ側に対して、基準画像の最小特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし、該第１の繋ぎ合わせ特徴とレジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴とに基づいて、該第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、該第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴を対象繋ぎ合わせ特徴として決定し、基準画像の最小特徴サイズの次の特徴サイズでの該繋ぎ合わせ側における繋ぎ合わせ特徴で、該第１の繋ぎ合わせ特徴を更新するステップと、対象繋ぎ合わせ特徴の該次の特徴サイズでの対応する繋ぎ合わせ特徴の所在位置の所定範囲内での繋ぎ合わせ特徴で、該第２の繋ぎ合わせ特徴を更新するステップと、更新された第１の繋ぎ合わせ特徴と各更新された第２の繋ぎ合わせ特徴との間の類似度メトリック値を再算出し、更新された第１の繋ぎ合わせ特徴との間の類似度メトリック値が所定数値を超える第２の繋ぎ合わせ特徴で、対象繋ぎ合わせ特徴を更新するステップとを、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴が決定されるまで、繰り返し実行し、基準画像の最大特徴サイズでの第１の繋ぎ合わせ特徴と、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴とに基づいて、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行い、従来の技術による特徴点抽出手段に比べて、深層学習ニューラルネットワークモデルを用いて繋ぎ合わせ特徴を抽出することによって、繋ぎ合わせ特徴抽出の精度、速度およびロバスト性を向上させると同時に、異なる特徴サイズでの繋ぎ合わせ特徴に対する類似度メトリックに基づいて、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴を迅速に決定して画像繋ぎ合わせを行うことができ、画像繋ぎ合わせの効率および正確性を向上させ、近距離や大視差の大サイズ画像の繋ぎ合わせに適用でき、画像繋ぎ合わせの適用性を向上させる。
【0109】
当業者は、本発明の実施例が、方法、システム、またはコンピュータプログラムとして提供され得ることを理解すべきである。したがって、本発明は、完全なハードウェアの実施例、完全なソフトウェアの実施例、またはソフトウェアとハードウェアとを組み合わせた実施例の形態を用いることができる。そして、本発明は、コンピュータ利用可能なプログラムコードを含む一つまたは複数のコンピュータ利用可能な記憶媒体（磁気ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリ等を含むがこれらに限られない）で実施されたコンピュータプログラムの形態を用いることができる。
【0110】
本発明は、本発明の実施例に係る方法、装置（システム）、およびコンピュータプログラムのフローチャートおよび／またはブロック図を参照して説明されたものである。フローチャートおよび／またはブロック図の各フローおよび／またはブロック、およびフローチャットおよび／またはブロック図のフローおよび／またはブロックの組み合わせは、コンピュータプログラム命令によって実現できることを理解すべきである。コンピュータまたは他のプログラマブルデータ処理機器のプロセッサに実行される命令によりフローチャートの１つのフローまたは複数のフローおよび／またはブロック図の１つのブロックまたは複数のブロックで指定する機能を実現するための装置を生成するように、これらのコンピュータプログラム命令を汎用コンピュータ、専用コンピュータ、組み込みプロセッサ、または他のプログラマブルデータ処理機器のプロセッサに提供することによって機器を生成させる。
【0111】
これらのコンピュータプログラム命令は、コンピュータや他のプログラマブルデータ処理機器を特定の方法で動作させるように案内することができるコンピュータ読み取り可能なメモリに記憶してもよく、それにより、そのコンピュータ読み取り可能なメモリに記憶された命令で、フローチャートの１つのフローまたは複数のフローおよび／またはブロック図の１つのブロックまたは複数のブロックで指定する機能を実現する命令装置を含む製品を生成する。
【0112】
これらのコンピュータプログラム命令は、コンピュータまたは他のプログラマブルデータ処理機器にロードされることができ、それにより、コンピュータまたは他のプログラマブル機器で一連の操作ステップを実行することでコンピュータにより実現される処理を生成することによって、コンピュータまたは他のプログラマブル機器で実行される命令により、フローチャートの１つのフローまたは複数のフローおよび／またはブロック図の１つのブロックまたは複数のブロックで指定する機能を実現するためのステップを提供する。
【0113】
以上に記載された具体的な実施例は、本発明の目的、技術的解決手段および有益な効果をさらに詳しく説明したが、以上は、本発明の具体的な実施例に過ぎず、本発明の権利範囲を限定するためのものではないと理解されるべきであり、本発明の精神および原則内で行われたいかなる補正、同等置換、改善等は、いずれも本発明の権利範囲内に含まれるべきである。
【要約】 （修正有）
【課題】、画像繋ぎ合わせの効率、正確性及び画像繋ぎ合わせの適用性を向上させる画像繋ぎ合わせ方法及び装置を提供する。
【解決手段】本発明の画像繋ぎ合わせ方法は、深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、基準画像の最小特徴サイズでの繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし、レジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴に基づいて、第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、対象繋ぎ合わせ特徴を決定し、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴が決定されるまで、第１の繋ぎ合わせ特徴の更新と第２の繋ぎ合わせ特徴の更新と標的対象繋ぎ合わせ特徴の更新とを繰り返し実行し、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行う。
【選択図】図６
【解決手段】本発明の画像繋ぎ合わせ方法は、深層学習ニューラルネットワークモデルに基づいて、対象画像から繋ぎ合わせ特徴を抽出し、基準画像の最小特徴サイズでの繋ぎ合わせ側における繋ぎ合わせ特徴を第１の繋ぎ合わせ特徴とし、レジストレーション対象画像の最小特徴サイズでの第２の繋ぎ合わせ特徴に基づいて、第１の繋ぎ合わせ特徴と各第２の繋ぎ合わせ特徴との間の類似度メトリック値を算出し、対象繋ぎ合わせ特徴を決定し、レジストレーション対象画像の最大特徴サイズでの対象繋ぎ合わせ特徴が決定されるまで、第１の繋ぎ合わせ特徴の更新と第２の繋ぎ合わせ特徴の更新と標的対象繋ぎ合わせ特徴の更新とを繰り返し実行し、基準画像とレジストレーション対象画像との該繋ぎ合わせ側での画像繋ぎ合わせを行う。
【選択図】図６
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
