知財求人 - 知財ポータルサイト「IP Force」
特表2022-511217画像処理方法及び装置、電子機器、コンピュータ読取可能記憶媒体及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-31
(54)【発明の名称】画像処理方法及び装置、電子機器、コンピュータ読取可能記憶媒体及びコンピュータプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220124BHJP
【ＦＩ】
G06T7/00 510D
G06T7/00 300F
G06T7/00 660A
G06T7/00 350C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021500196
(86)(22)【出願日】2019-11-28
(85)【翻訳文提出日】2021-01-05
(86)【国際出願番号】 CN2019121695
(87)【国際公開番号】W WO2021056808
(87)【国際公開日】2021-04-01
(31)【優先権主張番号】201910919121.9
(32)【優先日】2019-09-26
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】520180323
【氏名又は名称】上▲海▼商▲湯▼智能科技有限公司
【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩ ＳＥＮＳＥＴＩＭＥ ＩＮＴＥＬＬＩＧＥＮＴ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ １６０５Ａ， Ｂｕｉｌｄｉｎｇ ３， ３９１ Ｇｕｉｐｉｎｇ Ｒｏａｄ， Ｘｕｈｕｉ Ｄｉｓｔｒｉｃｔ， Ｓｈａｎｇｈａｉ ２００２３３ Ｃｈｉｎａ
(74)【代理人】
【識別番号】110002468
【氏名又は名称】特許業務法人後藤特許事務所
(72)【発明者】
【氏名】楊 凱
(72)【発明者】
【氏名】徐 子豪
(72)【発明者】
【氏名】費 敬敬
(72)【発明者】
【氏名】呉 立威
【テーマコード（参考）】
5B043
5L096
【Ｆターム（参考）】
5B043AA09
5B043BA04
5B043DA05
5B043EA02
5B043EA05
5B043FA07
5B043GA02
5L096AA06
5L096BA02
5L096BA18
5L096CA02
5L096DA02
5L096EA03
5L096EA11
5L096FA16
5L096FA69
5L096GA10
5L096GA51
5L096HA11
5L096JA03
5L096JA11
(57)【要約】
本開示は、画像処理方法及び装置、電子機器並びに記憶媒体に関し、前記方法は、比較すべき少なくとも２つの虹彩画像を含む虹彩画像群を取得することと、前記虹彩画像における虹彩位置及び前記虹彩画像における虹彩領域の分割結果を検出することと、前記虹彩位置に対応する画像領域に対するマルチスケール特徴抽出処理及びマルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることと、前記少なくとも２つの虹彩画像のそれぞれに対応する前記分割結果及び前記虹彩特徴マップを用いて、比較処理を実行し、前記比較処理による比較結果に基づいて、前記少なくとも２つの虹彩画像が同一の対象に対応するか否かを決定することとを含む。本開示の実施例は虹彩画像の精確な比較を実現できる。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
比較すべき少なくとも２つの虹彩画像を含む虹彩画像群を取得することと、前記虹彩画像における虹彩位置及び前記虹彩画像における虹彩領域の分割結果を検出することと、
前記虹彩位置に対応する画像領域に対するマルチスケール特徴抽出処理及びマルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることと、
前記少なくとも２つの虹彩画像のそれぞれに対応する前記分割結果及び前記虹彩特徴マップを用いて、比較処理を実行し、前記比較処理による比較結果に基づいて、前記少なくとも２つの虹彩画像が同一の対象に対応するか否かを決定することとを含むことを特徴とする画像処理方法。
【請求項2】
前記虹彩位置に対応する画像領域に対するマルチスケール特徴抽出処理及びマルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることは、前記虹彩画像における前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理を実行して、複数のスケールの特徴マップを得ることと、
前記複数のスケールの特徴マップを用いて、前記複数のスケールの特徴マップのうち少なくとも２つのスケールの特徴マップを含む特徴グループを少なくとも１つ生成することと、
アテンションメカニズムによって、前記特徴グループにおける特徴マップに対する前記マルチスケール特徴融合処理を実行して、前記特徴グループに対応するグループ特徴マップを得ることと、
前記特徴グループに対応するグループ特徴マップに基づいて、前記虹彩画像に対応する虹彩特徴マップを得ることとを含むことを特徴とする請求項１に記載の方法。
【請求項3】
アテンションメカニズムによって、前記特徴グループにおける特徴マップに対する前記マルチスケール特徴融合処理を実行して、前記特徴グループに対応するグループ特徴マップを得ることは、前記特徴グループにおける前記少なくとも２つのスケールの特徴マップの連結特徴マップに対する第１畳み込み処理を実行して、第１サブ特徴マップを得ることと、
前記第１サブ特徴マップに対する第２畳み込み処理及び活性化関数処理を実行して、前記第１サブ特徴マップに対応するアテンション係数を表す第２サブ特徴マップを得ることと、
前記第１サブ特徴マップと前記第２サブ特徴マップの乗算結果を前記第１サブ特徴マップと加算して、第３サブ特徴マップを得ることと、
前記第３サブ特徴マップに対する第３畳み込み処理を実行して、前記特徴グループに対応するグループ特徴マップを得ることとを含むことを特徴とする請求項２に記載の方法。
【請求項4】
前記特徴グループに対応するグループ特徴マップに基づいて、前記虹彩画像に対応する虹彩特徴マップを得ることは、各前記グループ特徴に対応する前記グループ特徴マップに対する加重和処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることを含むことを特徴とする請求項２又は３に記載の方法。
【請求項5】
前記分割結果には前記虹彩画像における虹彩領域に対応するマスクマップが含まれ、前記マスクマップにおける第１マークは前記虹彩領域を示し、前記マスクマップにおける第２マークは前記虹彩領域以外の位置領域を示すことを特徴とする請求項１～４のいずれか１項に記載の方法。
【請求項6】
前記虹彩画像における虹彩位置及び前記虹彩画像における虹彩領域の分割結果を検出することは、前記虹彩画像に対するターゲット検出処理を実行して、前記虹彩画像の虹彩位置及び瞳孔位置を決定することと、
決定された前記虹彩位置及び前記瞳孔位置に基づいて、前記虹彩画像に対する前記分割処理を実行して、前記虹彩画像における虹彩領域の分割結果を得ることとを含むことを特徴とする請求項１～５のいずれか１項に記載の方法。
【請求項7】
前記虹彩画像における虹彩位置及び前記虹彩画像における虹彩領域の分割結果を検出することは、前記虹彩画像の前記虹彩位置に対応する画像領域及び前記分割結果をそれぞれ正規化処理することをさらに含み、
前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理及び前記マルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることは、
正規化処理された前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理及び前記マルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることをさらに含むことを特徴とする請求項１～６のいずれか１項に記載の方法。
【請求項8】
前記少なくとも２つの虹彩画像のそれぞれに対応する前記分割結果及び前記虹彩特徴マップを用いて、比較処理を実行することは、前記少なくとも２つの虹彩画像のそれぞれに対応する前記分割結果を用いて、前記少なくとも２つの虹彩画像において虹彩領域である第１位置を決定することと、
前記少なくとも２つの虹彩画像の虹彩特徴マップにおいて前記第１位置に対応する第４サブ特徴マップをそれぞれ決定することと、
前記少なくとも２つの虹彩画像のそれぞれに対応する前記第４サブ特徴マップ間の関連度に基づいて、前記少なくとも２つの虹彩画像に対する比較処理を実行することとを含むことを特徴とする請求項１～７のいずれか１項に記載の方法。
【請求項9】
前記比較処理による比較結果に基づいて、前記少なくとも２つの虹彩画像が同一の対象に対応するか否かを決定することは、前記少なくとも２つの虹彩画像のそれぞれに対応する第４サブ特徴マップ間の関連度が第１閾値よりも大きい場合に、前記少なくとも２つの虹彩画像が同一の対象に対応すると決定することを含むことを特徴とする請求項８に記載の方法。
【請求項10】
比較結果に基づいて、前記少なくとも２つの虹彩画像が同一の対象に対応するか否かを決定することは、前記少なくとも２つの虹彩画像のそれぞれに対応する第４サブ特徴マップ間の関連度が第１閾値以下である場合に、前記少なくとも２つの虹彩画像が異なる対象に対応すると決定することをさらに含むことを特徴とする請求項８又は９に記載の方法。
【請求項11】
前記画像処理方法は畳み込みニューラルネットワークによって実現されることを特徴とする請求項１～１０のいずれか１項に記載の方法。
【請求項12】
比較すべき少なくとも２つの虹彩画像を含む虹彩画像群を取得するための取得モジュールと、前記虹彩画像における虹彩位置及び前記虹彩画像における虹彩領域の分割結果を検出するための検出モジュールと、
前記虹彩位置に対応する画像領域に対するマルチスケール特徴抽出処理及びマルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得るための特徴処理モジュールと、
前記少なくとも２つの虹彩画像のそれぞれに対応する前記分割結果及び前記虹彩特徴マップを用いて、比較処理を実行し、前記比較処理による比較結果に基づいて、前記少なくとも２つの虹彩画像が同一の対象に対応するか否かを決定するための比較モジュールとを含むことを特徴とする画像処理装置。
【請求項13】
前記特徴処理モジュールはさらに、前記虹彩画像における前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理を実行して、複数のスケールの特徴マップを得ることと、前記複数のスケールの特徴マップを用いて、前記複数のスケールの特徴マップのうち少なくとも２つのスケールの特徴マップを含む特徴グループを少なくとも１つ生成することと、
アテンションメカニズムによって、前記特徴グループにおける特徴マップに対する前記マルチスケール特徴融合処理を実行して、前記特徴グループに対応するグループ特徴マップを得ることと、
前記特徴グループに対応するグループ特徴マップに基づいて、前記虹彩画像に対応する虹彩特徴マップを得ることとに用いられることを特徴とする請求項１２に記載の装置。
【請求項14】
前記特徴処理モジュールはさらに、前記虹彩画像における前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理を実行して、複数のスケールの特徴マップを得ることと、前記複数のスケールの特徴マップを用いて、前記複数のスケールの特徴マップのうち少なくとも２つのスケールの特徴マップを含む特徴グループを少なくとも１つ生成することと、
アテンションメカニズムによって、前記特徴グループにおける特徴マップに対する前記マルチスケール特徴融合処理を実行して、前記特徴グループに対応するグループ特徴マップを得ることと、
前記特徴グループに対応するグループ特徴マップに基づいて、前記虹彩画像に対応する虹彩特徴マップを得ることとに用いられることを特徴とする請求項１３に記載の装置。
【請求項15】
前記特徴処理モジュールはさらに、各前記グループ特徴に対応する前記グループ特徴マップに対する加重和処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることに用いられることを特徴とする請求項１３又は１４に記載の装置。
【請求項16】
前記分割結果には前記虹彩画像における虹彩領域に対応するマスクマップが含まれ、前記マスクマップにおける第１マークは前記虹彩領域を示し、前記マスクマップにおける第２マークは前記虹彩領域以外の位置領域を示すことを特徴とする請求項１２～１５のいずれか１項に記載の装置。
【請求項17】
前記検出モジュールはさらに、前記虹彩画像に対するターゲット検出処理を実行して、前記虹彩画像の前記虹彩位置及び瞳孔位置を決定することと、決定された前記虹彩位置及び前記瞳孔位置に基づいて、前記虹彩画像に対する前記分割処理を実行して、前記虹彩画像における虹彩領域の分割結果を得ることとに用いられることを特徴とする請求項１２～１６のいずれか１項に記載の装置。
【請求項18】
前記検出モジュールはさらに、前記虹彩画像の虹彩位置に対応する画像領域及び前記分割結果をそれぞれ正規化処理することに用いられ、前記特徴処理モジュールはさらに、正規化処理された前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理及び前記マルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることに用いられることを特徴とする請求項１２～１７のいずれか１項に記載の装置。
【請求項19】
前記比較モジュールはさらに、前記少なくとも２つの虹彩画像のそれぞれに対応する分割結果を用いて、前記少なくとも２つの虹彩画像において虹彩領域である第１位置を決定することと、前記少なくとも２つの虹彩画像の虹彩特徴マップにおいて前記第１位置に対応する第４サブ特徴マップをそれぞれ決定することと、
前記少なくとも２つの虹彩画像のそれぞれに対応する第４サブ特徴マップ間の関連度に基づいて、前記少なくとも２つの虹彩画像の比較結果を決定することとに用いられることを特徴とする請求項１２～１８のいずれか１項に記載の装置。
【請求項20】
前記比較モジュールはさらに、前記少なくとも２つの虹彩画像のそれぞれに対応する第４サブ特徴マップ間の関連度が第１閾値よりも大きい場合に、前記少なくとも２つの虹彩画像が同一の対象に対応すると決定することに用いられることを特徴とする請求項１９に記載の装置。
【請求項21】
前記比較モジュールはさらに、前記少なくとも２つの虹彩画像のそれぞれに対応する第４サブ特徴マップ間の関連度が第１閾値以下である場合に、前記少なくとも２つの虹彩画像が異なる対象に対応すると決定することに用いられることを特徴とする請求項１９又は２０に記載の装置。
【請求項22】
前記取得モジュールと、前記検出モジュールと、前記特徴処理モジュールと、前記比較モジュールとを有するニューラルネットワークを含むことを特徴とする請求項１２～２１のいずれか１項に記載の装置。
【請求項23】
プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリとを、含み、
前記プロセッサは、請求項１～１１のいずれか１項に記載の方法を実行するために、前記メモリに記憶された命令を呼び出すように構成されることを特徴とする電子機器。
【請求項24】
コンピュータプログラム命令が記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、請求項１～１１のいずれか１項に記載の方法を実現させることを特徴とするコンピュータ読取可能記憶媒体。
【請求項25】
コンピュータ読取可能コードを含むコンピュータプログラムであって、前記コンピュータ読取可能コードが電子機器において実行されると、前記電子機器のプロセッサが請求項１～１１のいずれか１項に記載の方法を実現するための命令を実行することを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、コンピュータビジョン技術の分野に関し、特に、画像処理方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【0002】
虹彩認識技術は、虹彩の生涯にわたって変わらない安定性及び一人ひとり異なる特徴を利用して身分認証を行うものである。虹彩認識はその利点により、金融、電子商取引、安全保障、出入国管理等のさまざまな分野で幅広く利用されることが見込まれる。
【0003】
従来の虹彩認識アルゴリズムは、通常、フィルタを用いて虹彩の特徴抽出を行うものである。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、画像処理に関する技術的解決手段を提供する。
【課題を解決するための手段】
【0005】
本開示の第１方面によれば、比較すべき少なくとも２つの虹彩画像を含む虹彩画像群を取得することと、前記虹彩画像における虹彩位置及び前記虹彩画像における虹彩領域の分割結果を検出することと、前記虹彩位置に対応する画像領域に対するマルチスケール特徴抽出処理及びマルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることと、前記虹彩画像群のうち前記少なくとも２つの虹彩画像のそれぞれに対応する前記分割結果及び前記虹彩特徴マップを用いて、比較処理を実行し、前記比較処理による比較結果に基づいて、前記少なくとも２つの虹彩画像が同一の対象に対応するか否かを決定することとを含む画像処理方法を提供する。上記の構成によれば、マルチスケール特徴抽出により複数のスケールの特徴情報を抽出し、例えば、下位層及び上位層の特徴情報を同時に得た後、マルチスケール特徴融合により、より精度が高い特徴マップを得ることができ、より正確な比較を実現して、比較結果の正確性を上げることができる。
【0006】
いくつかの可能な実施形態では、前記虹彩位置に対応する画像領域に対するマルチスケール特徴抽出処理及びマルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることは、前記虹彩画像における前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理を実行して、複数のスケールの特徴マップを得ることと、前記複数のスケールの特徴マップを用いて、前記複数のスケールの特徴マップのうち少なくとも２つのスケールの特徴マップを含む特徴グループを少なくとも１つ生成することと、アテンションメカニズムによって、前記特徴グループにおける特徴マップに対する前記マルチスケール特徴融合処理を実行して、前記特徴グループに対応するグループ特徴マップを得ることと、前記特徴グループに対応するグループ特徴マップに基づいて、前記虹彩画像に対応する虹彩特徴マップを得ることとを含む。上記の構成によれば、得られた複数のスケールの特徴マップのグループ化を実現でき、さらにアテンションメカニズムを導入して、該当するグループのグループ特徴マップを決定することにより、得られた虹彩特徴マップの精度をより一層上げることができる。
【0007】
いくつかの可能な実施形態では、アテンションメカニズムによって、前記特徴グループにおける特徴マップに対する前記マルチスケール特徴融合処理を実行して、前記特徴グループに対応するグループ特徴マップを得ることは、前記特徴グループにおける前記少なくとも２つのスケールの特徴マップの連結特徴マップに対する第１畳み込み処理を実行して、第１サブ特徴マップを得ることと、前記第１サブ特徴マップに対する第２畳み込み処理及び活性化関数処理を実行して、前記第１サブ特徴マップに対応するアテンション係数を表す第２サブ特徴マップを得ることと、前記第１サブ特徴マップと前記第２サブ特徴マップの乗算結果を前記第１サブ特徴マップと加算して、第３サブ特徴マップを得ることと、前記第３サブ特徴マップに対する第３畳み込み処理を実行して、前記特徴グループに対応するグループ特徴マップを得ることとを含む。
【0008】
いくつかの可能な実施形態では、前記特徴グループに対応するグループ特徴マップに基づいて、前記虹彩画像に対応する虹彩特徴マップを得ることは、各前記グループ特徴に対応する前記グループ特徴マップに対する加重和処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることを含む。加重和により各グループのグループ特徴を融合して、特徴情報の効果的な融合を実現する。
【0009】
いくつかの可能な実施形態では、前記分割結果には前記虹彩画像における虹彩領域に対応するマスクマップが含まれ、前記マスクマップにおける第１マークは前記虹彩領域を示し、前記マスクマップにおける第２マークは前記虹彩領域以外の位置領域を示す。上記の構成によれば、マスクマップによって分割結果を表すことで、より直感的でありかつ処理しやすい。
【0010】
いくつかの可能な実施形態では、前記虹彩画像における虹彩位置及び前記虹彩画像における虹彩領域の分割結果を検出することは、前記虹彩画像に対するターゲット検出処理を実行して、前記虹彩画像の虹彩位置及び瞳孔位置を決定することと、決定された前記虹彩位置及び前記瞳孔位置に基づいて、前記虹彩画像に対する前記分割処理を実行して、前記虹彩画像における虹彩領域の分割結果を得ることとを含む。上記の構成によれば、虹彩画像における虹彩に対応する検出位置、及び虹彩領域の分割結果を正確に決定することができる。
【0011】
いくつかの可能な実施形態では、前記虹彩画像における虹彩位置及び前記虹彩画像における虹彩領域の分割結果を検出することは、前記虹彩画像の前記虹彩位置に対応する画像領域及び前記分割結果をそれぞれ正規化処理することをさらに含み、前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理及び前記マルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることは、正規化処理された前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理及び前記マルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることをさらに含む。上記の構成によれば、虹彩位置の画像領域及び分割結果を正規化処理でき、適用性を高めることができる。
【0012】
いくつかの可能な実施形態では、前記少なくとも２つの虹彩画像のそれぞれに対応する前記分割結果及び前記虹彩特徴マップを用いて、比較処理を実行することは、前記少なくとも２つの虹彩画像のそれぞれに対応する分割結果を用いて、前記少なくとも虹彩画像において虹彩領域である第１位置を決定することと、前記少なくとも２つの虹彩画像の虹彩特徴マップにおいて前記第１位置に対応する第４サブ特徴マップをそれぞれ決定することと、前記少なくとも２つの虹彩画像のそれぞれに対応する前記第４サブ特徴マップ間の関連度に基づいて、前記少なくとも２つの虹彩画像の比較結果を決定することとを含む。本開示の実施例では、異なる虹彩画像のそれぞれに対応する分割結果を用いて、比較する虹彩画像において虹彩領域である位置を決定し、当該位置に対応する特徴を用いて比較することにより、比較結果を得る。虹彩領域以外の領域の特徴の干渉が低減され、比較精度が上がる。
【0013】
いくつかの可能な実施形態では、比較結果に基づいて、前記少なくとも２つの虹彩画像が同一の対象に対応するか否かを決定することは、前記少なくとも２つの虹彩画像のそれぞれに対応する第４サブ特徴マップ間の関連度が第１閾値よりも大きい場合に、前記少なくとも２つの虹彩画像が同一の対象に対応すると決定することを含む。上記の構成によれば、第１閾値を設定することで、さまざまなシーンに柔軟的に適合し、比較結果を得やすくもなる。
【0014】
いくつかの可能な実施形態では、比較結果に基づいて、前記少なくとも２つの虹彩画像が同一の対象に対応するか否かを決定することは、前記少なくとも２つの虹彩画像のそれぞれに対応する第４サブ特徴マップ間の関連度が第１閾値以下である場合に、前記少なくとも２つの虹彩画像が異なる対象に対応すると決定することをさらに含む。
【0015】
いくつかの可能な実施形態では、前記画像処理方法は畳み込みニューラルネットワークによって実現される。上記の構成によれば、ニューラルネットワークによって、２つの虹彩画像の精確な比較結果を便利で速やかに得ることができる。
【0016】
本開示の第２方面によれば、比較すべき少なくとも２つの虹彩画像を含む虹彩画像群を取得するための取得モジュールと、前記虹彩画像における虹彩位置及び前記虹彩画像における虹彩領域の分割結果を検出するための検出モジュールと、前記虹彩位置に対応する画像領域に対するマルチスケール特徴抽出処理及びマルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得るための特徴処理モジュールと、前記少なくとも２つの虹彩画像のそれぞれに対応する前記分割結果及び前記虹彩特徴マップを用いて、比較処理を実行し、前記比較処理による比較結果に基づいて、前記少なくとも２つの虹彩画像が同一の対象に対応するか否かを決定するための比較モジュールとを含む画像処理装置を提供する。
【0017】
いくつかの可能な実施形態では、前記特徴処理モジュールはさらに、前記虹彩画像における前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理を実行して、複数のスケールの特徴マップを得ることと、前記複数のスケールの特徴マップを用いて、前記複数のスケールの特徴マップのうち少なくとも２つのスケールの特徴マップを含む特徴グループを少なくとも１つ生成することと、アテンションメカニズムによって、前記特徴グループにおける特徴マップに対する前記マルチスケール特徴融合処理を実行して、前記特徴グループに対応するグループ特徴マップを得ることと、前記特徴グループに対応するグループ特徴マップに基づいて、前記虹彩画像に対応する虹彩特徴マップを得ることとに用いられる。
【0018】
いくつかの可能な実施形態では、前記特徴処理モジュールはさらに、前記虹彩画像における前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理を実行して、複数のスケールの特徴マップを得ることと、前記複数のスケールの特徴マップを用いて、前記複数のスケールの特徴マップのうち少なくとも２つのスケールの特徴マップを含む特徴グループを少なくとも１つ生成することと、アテンションメカニズムによって、前記特徴グループにおける特徴マップに対する前記マルチスケール特徴融合処理を実行して、前記特徴グループに対応するグループ特徴マップを得ることと、前記特徴グループに対応するグループ特徴マップに基づいて、前記虹彩画像に対応する虹彩特徴マップを得ることとに用いられる。
【0019】
いくつかの可能な実施形態では、前記特徴処理モジュールはさらに、各前記グループ特徴に対応する前記グループ特徴マップに対する加重和処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることに用いられる。
【0020】
いくつかの可能な実施形態では、前記分割結果には前記虹彩画像における虹彩領域に対応するマスクマップが含まれ、前記マスクマップにおける第１マークは前記虹彩領域を示し、前記マスクマップにおける第２マークは前記虹彩領域以外の位置領域を示す。
【0021】
いくつかの可能な実施形態では、前記検出モジュールはさらに、前記虹彩画像に対するターゲット検出処理を実行して、前記虹彩画像の前記虹彩位置及び瞳孔位置を決定することと、決定された前記虹彩位置及び前記瞳孔位置に基づいて、前記虹彩画像に対する前記分割処理を実行して、前記虹彩画像における虹彩領域の分割結果を得ることとに用いられる。
【0022】
いくつかの可能な実施形態では、前記検出モジュールはさらに、前記虹彩画像の虹彩位置に対応する画像領域及び前記分割結果をそれぞれ正規化処理することに用いられ、前記特徴処理モジュールはさらに、正規化処理された前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理及び前記マルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることに用いられる。
【0023】
いくつかの可能な実施形態では、前記比較モジュールはさらに、前記少なくとも２つの虹彩画像のそれぞれに対応する分割結果を用いて、前記少なくとも２つの虹彩画像において虹彩領域である第１位置を決定することと、前記少なくとも２つの虹彩画像の虹彩特徴マップにおいて前記第１位置に対応する第４サブ特徴マップをそれぞれ決定することと、前記少なくとも２つの虹彩画像のそれぞれに対応する第４サブ特徴マップ間の関連度に基づいて、前記少なくとも２つの虹彩画像の比較結果を決定することとに用いられる。
【0024】
いくつかの可能な実施形態では、前記比較モジュールはさらに、前記少なくとも２つの虹彩画像のそれぞれに対応する第４サブ特徴マップ間の関連度が第１閾値よりも大きい場合に、前記少なくとも２つの虹彩画像が同一の対象に対応すると決定することに用いられる。
【0025】
いくつかの可能な実施形態では、前記比較モジュールはさらに、前記少なくとも２つの虹彩画像のそれぞれに対応する第４サブ特徴マップ間の関連度が第１閾値以下である場合に、前記少なくとも２つの虹彩画像が異なる対象に対応すると決定することに用いられる。
【0026】
いくつかの可能な実施形態では、前記装置は、前記取得モジュールと、前記検出モジュールと、前記特徴処理モジュールと、前記比較モジュールとを有するニューラルネットワークを含む。
【0027】
本開示の第３方面によれば、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリとを、含み、前記プロセッサは、第１方面のいずれか１項に記載の方法を実行するために、前記メモリに記憶された命令を呼び出すように構成される電子機器を提供する。
【0028】
本開示の第４方面によれば、コンピュータプログラム命令が記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、第１方面のいずれか１項に記載の方法を実現させるコンピュータ読取可能記憶媒体を提供する。
【0029】
本開示の第５方面によれば、コンピュータ読取可能コードを含むコンピュータプログラムであって、前記コンピュータ読取可能コードが電子機器において実行されると、前記電子機器におけるプロセッサが画像処理方法を実現するための命令を実行するコンピュータプログラムを提供する。
【0030】
本開示の実施例では、虹彩画像に対して前処理を実行して、虹彩画像における虹彩領域の位置決め及び分割を行うことにより、虹彩位置及び虹彩の分割結果を得るとともに、虹彩画像に対するマルチスケール特徴抽出及びマルチスケール特徴融合を実行することにより、精度の高い虹彩特徴マップを得た後、分割結果及び虹彩特徴マップを利用して虹彩画像による身分認識を実行して、各虹彩画像が同一の対象に対応するか否かを決定することができる。上記の構成では、マルチスケール特徴抽出及びマルチスケール特徴融合により、抽出された下位層の特徴と上位層の特徴とが充分に融合され、最終的な虹彩特徴が下位層のテクスチャ特徴及び上位層の分類特徴の両方を両立させるようにして、特徴抽出の精度を上げることができ、さらに、分割結果と虹彩特徴マップの組み合わせを用いて、虹彩領域の特徴的な部分のみが考慮され、他の領域の影響が低減され、虹彩画像が同一の対象に対応するか否かをより精確に認識することができ、検出結果が優れている。
【0031】
以上の一般な説明及び後述の詳細な説明は例示的・解釈的なものにすぎず、本開示を制限するものではないことが理解されたい。
【0032】
本開示のその他の特徴及び方面は、以下に図面を参照しながら例示的な実施例を詳しく説明することにより、明瞭になるであろう。
【図面の簡単な説明】
【0033】
ここで、本明細書の一部として組み込まれる図面は、本開示の実施例に適し、明細書と共に本開示の技術的解決手段の説明に用いられる。
【発明を実施するための形態】
【0034】
以下に、図面を参照しながら本開示の様々な例示的な実施例、特徴および方面を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を示す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を描く必要がない。
【0035】
ここでの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は他の実施例より好ましいまたは優れるものであると理解すべきではない。
【0036】
本明細書における用語「及び／又は」は、単に関連対象との関連関係を記述するものであり、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢの両方が存在し、Ｂのみが存在するという３つの場合を示してもよい。また、本明細書における用語「少なくとも１つ」は複数のうちのいずれか１つ、又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選択されたいずれか１つ又は複数の要素を含むことを示してもよい。
【0037】
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、本開示は何らかの具体的な詳細がなくても同様に実施できると理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者が熟知している方法、手段、要素および回路について詳細な説明を行わない。
【0038】
本開示の実施例は画像処理方法を提供し、当該画像処理方法は虹彩画像に対応する虹彩特徴によって、虹彩画像に該当する対象が同一の対象であるか否か、例えば、同一の人物対象の虹彩画像であるか否かを見分け、認識することができる。画像処理方法の実行主体は画像処理装置であってもよく、例えば、画像処理方法は、ユーザ側装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルフォン、コードレス電話、パーソナル・デジタル・アシススタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ハンドヘルド装置、計算装置、車載装置、ウェアラブル装置などの端末機器、又はローカルサーバ、クラウドサーバなどのサーバによって実行されてもよいし、又は他の処理機器によって実行されもよい。いくつかの可能な実現形態では、当該画像処理方法は、プロセッサがメモリに記憶されているコンピュータ読取可能命令を呼び出すことで実現されてもよい。
【0039】
図１は、本開示の実施例による画像処理方法のフローチャートを示し、図１に示すように、前記画像処理方法は、以下のことを含む。
Ｓ１０、比較すべき少なくとも２つの虹彩画像を含む虹彩画像群を取得する。
いくつかの可能な実施形態では、コンピュータビジョン分野で、虹彩画像による身分認証を実行することで、虹彩画像に対応する対象の身分を認識し、又は当該対象が権限を有するか否かを決定できる。本開示の実施例では、虹彩画像に対する特徴処理によって得られた特徴に基づいて、虹彩画像の比較を実現して、虹彩画像に対応する対象が同一の対象であるか否かを確認できる。他の実施例では、さらに、虹彩画像が同一の対象に対応するか否かの決定結果に基づいて、該当する認証動作を実行することができる。
Ｓ１０、比較すべき少なくとも２つの虹彩画像を含む虹彩画像群を取得する。
いくつかの可能な実施形態では、コンピュータビジョン分野で、虹彩画像による身分認証を実行することで、虹彩画像に対応する対象の身分を認識し、又は当該対象が権限を有するか否かを決定できる。本開示の実施例では、虹彩画像に対する特徴処理によって得られた特徴に基づいて、虹彩画像の比較を実現して、虹彩画像に対応する対象が同一の対象であるか否かを確認できる。他の実施例では、さらに、虹彩画像が同一の対象に対応するか否かの決定結果に基づいて、該当する認証動作を実行することができる。
【0040】
本開示の実施例では、まず比較すべき虹彩画像を取得してもよく、当該比較すべき虹彩画像は虹彩画像群を構成し、少なくとも２つの虹彩画像を取得してもよい。例えば、本開示の実施例では、比較すべき虹彩画像は虹彩カメラによって収集されてもよいし、又は他の機器が伝送して受信されてもよいし、又はメモリから読み取ってもよく、上述は例示的な説明に過ぎず、本開示では具体的に限定しない。
【0041】
Ｓ２０、前記虹彩画像における虹彩位置及び前記虹彩画像における虹彩領域の分割結果を検出する。
いくつかの可能な実施形態では、まず虹彩画像に対して前処理を実行してもよく、前処理は、虹彩画像における虹彩及び瞳孔を位置決めして、虹彩及び瞳孔の位置を決定することを含んでもよい。虹彩位置及び瞳孔位置はそれぞれ虹彩の検出枠及び瞳孔の検出枠に対応する位置として表されてもよい。検出された虹彩画像における虹彩及び瞳孔の位置に基づいて、さらに虹彩領域に対する分割処理を実行して、対応する分割結果を得ることができ、分割結果はマスクマップとして表されてもよい。
いくつかの可能な実施形態では、まず虹彩画像に対して前処理を実行してもよく、前処理は、虹彩画像における虹彩及び瞳孔を位置決めして、虹彩及び瞳孔の位置を決定することを含んでもよい。虹彩位置及び瞳孔位置はそれぞれ虹彩の検出枠及び瞳孔の検出枠に対応する位置として表されてもよい。検出された虹彩画像における虹彩及び瞳孔の位置に基づいて、さらに虹彩領域に対する分割処理を実行して、対応する分割結果を得ることができ、分割結果はマスクマップとして表されてもよい。
【0042】
なお、マスクマップはベクトル又は行列の形式として表されてもよく、マスクマップは虹彩画像の画素ポイントと一対一で対応してもよい。マスクマップには第１マーク及び第２マークが含まれてもよく、第１マークは対応する画素ポイントが虹彩領域であることを示し、第２マークは対応する画素ポイントが非虹彩領域であることを示し、例えば、第１マークは「１」で、第２マークは「０」であってもよく、これによって、マスクマップにおける第１マークの画素ポイントの位置からなる領域によって、虹彩の位置する領域を決定することができる。
【0043】
Ｓ３０、前記虹彩位置に対応する画像領域に対するマルチスケール特徴抽出処理及びマルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得る。
いくつかの可能な実施形態では、虹彩画像における虹彩位置が決定されると、当該虹彩位置に対応する画像領域に対するマルチスケール特徴抽出処理を実行してもよく、例えば、少なくとも２つのスケールの特徴マップを得た後、特徴マップに対する畳み込み処理を実行することによって、特徴の融合を実現し、さらに虹彩画像の虹彩特徴マップを得ることができる。
いくつかの可能な実施形態では、虹彩画像における虹彩位置が決定されると、当該虹彩位置に対応する画像領域に対するマルチスケール特徴抽出処理を実行してもよく、例えば、少なくとも２つのスケールの特徴マップを得た後、特徴マップに対する畳み込み処理を実行することによって、特徴の融合を実現し、さらに虹彩画像の虹彩特徴マップを得ることができる。
【0044】
いくつかの可能な実施形態では、特徴抽出処理の過程で、虹彩位置に対応する画像領域の複数の異なるスケールの特徴マップを得ることができ、例えば、残差ネットワークによって特徴抽出処理を実行した後、当該複数のスケールの特徴マップに対して少なくとも１回の畳み込み処理を実行して、異なるスケールの特徴が融合された虹彩特徴マップを得ることができる。なお、マルチスケール特徴抽出により下位層及び上位層の特徴情報を同時に得ることができ、マルチスケールの特徴融合により下位層及び上位層の特徴情報を効果的に融合させることにより、虹彩特徴マップの精度を上げることができる。
【0045】
いくつかの可能な実施形態では、アテンションメカニズムを利用して、別々の特徴に応じて異なるアテンション係数を得てもよく、アテンション係数は特徴の重要度を表すことができ、当該アテンション係数を用いて特徴融合を実行することにより、より堅牢性が高く見分けやすい特徴を得ることができる。
【0046】
Ｓ４０、前記少なくとも２つの虹彩画像のそれぞれに対応する前記分割結果及び前記虹彩特徴マップを用いて、比較処理を実行し、前記比較処理による比較結果に基づいて、前記少なくとも２つの虹彩画像が同一の対象に対応するか否かを決定する。
【0047】
いくつかの可能な実施形態では、比較すべき少なくとも２つの虹彩画像の分割結果（例えば、マスクマップ）に基づいて、２つの虹彩画像において虹彩領域である位置を得、虹彩領域の位置に対応する特徴間の距離に基づいて、当該少なくとも２つの虹彩画像の比較結果を得ることができる。当該距離が第１閾値よりも小さい場合に、比較する２つの虹彩画像が同一の対象に対応すること、即ち同一の対象に属する虹彩画像であることを示す。そうでない場合に、当該距離が第１閾値以上である場合に、当該２つの虹彩画像が同一の対象に属しないことを示す。ここで説明する必要があるのは、虹彩画像群に３つ以上の比較すべき虹彩画像が含まれる場合に、任意の２つの虹彩画像をそれぞれ比較して、当該任意の２つの虹彩画像が同一の対象に対応するか否かを決定し、各虹彩画像の比較結果に基づいて、虹彩画像群のうち同一の対象の虹彩画像を決定するとともに、虹彩画像群中の虹彩画像に対応する対象の数を集計することができる。
【0048】
次に、２つの虹彩画像を例にして説明し、複数の虹彩画像の比較の実行際の原理が下記と同じであるため、説明は省略される。図２は、本開示の実施例による画像処理方法のプロセスの模式図を示し、まず、２つの虹彩画像Ａ及びＢを取得し、当該２つの虹彩画像に対して前処理を実行して、虹彩画像における虹彩位置、瞳孔位置及び虹彩領域に対応する分割結果（例えば、マスクマップ）を得た後、虹彩特徴抽出モジュールを用いて、虹彩位置に対応する画像領域の特徴抽出及び融合処理を実行して、虹彩画像の虹彩特徴マップを得、さらに比較モジュールを用いて、マスクマップ及び該当する虹彩特徴マップに基づいて、画像Ａ及び画像Ｂが同一の対象のものであるか否かの比較結果（ｓｃｏｒｅ）を得ることができる。
【0049】
上記の構成によれば、本開示の実施例は、虹彩画像に対するターゲット検出を実行して、虹彩画像における虹彩領域の位置決め及び分割を行って、虹彩領域に対応する分割結果を得るとともに、虹彩画像に対するマルチスケールの特徴抽出及び特徴融合を実行して、精度の高い特徴マップを得た後、分割結果及び特徴マップを用いて虹彩画像による身分認識を実行して、各虹彩画像が同一の対象に対応するか否かを決定することができる。上記の構成では、特徴融合により、抽出された下位層の特徴及び上位層の特徴とが充分に融合され、最終的な虹彩特徴が下位層のテクスチャ特徴及び上位層の分類特徴の両方を両立させるようにして、特徴抽出の精度を上げることができ、さらに、分割結果と特徴マップの組み合わせを用いて、虹彩領域の特徴的な部分のみが考慮され、他の領域の影響が低減され、虹彩画像が同一の対象に対応するか否かをより精確に認識することができ、検出結果が優れている。
【0050】
次に、図面と合わせて本開示の実施例を詳細に説明する。本開示の実施例では、比較すべき虹彩画像を得ると、虹彩画像に対するターゲット検出処理を実行して、虹彩領域及び瞳孔領域に対応する位置を得、さらに虹彩領域に対応する分割マスクマップを得ることができる。図３は、本開示の実施例による画像処理方法のステップＳ２０のフローチャートを示す。なお、前記虹彩画像における虹彩位置及び前記虹彩画像における虹彩領域の分割結果を検出することは、以下のことを含む
Ｓ２１、前記虹彩画像に対するターゲット検出処理を実行して、前記虹彩画像の前記虹彩位置及び瞳孔位置を決定する。
Ｓ２２、決定された前記虹彩位置及び前記瞳孔位置に基づいて、前記虹彩画像に対する前記分割処理を実行して、前記虹彩画像における虹彩領域の分割結果を得る。
Ｓ２１、前記虹彩画像に対するターゲット検出処理を実行して、前記虹彩画像の前記虹彩位置及び瞳孔位置を決定する。
Ｓ２２、決定された前記虹彩位置及び前記瞳孔位置に基づいて、前記虹彩画像に対する前記分割処理を実行して、前記虹彩画像における虹彩領域の分割結果を得る。
【0051】
いくつかの可能な実施形態では、虹彩画像を得ると、虹彩画像に対して前処理を実行して、上記の虹彩画像の虹彩特徴及び虹彩領域の分割結果を得てもよい。まずターゲット検出可能なニューラルネットワークによって虹彩画像のターゲット検出処理を実行してもよい。当該ニューラルネットワークは畳み込みニューラルネットワークであってもよく、トレーニングによって虹彩画像における虹彩位置及び瞳孔位置を認識できる。図４は、本開示の実施例による虹彩画像の前処理の模式図を示す。図中、Ａは虹彩画像を示し、ターゲット検出処理を実行した後、虹彩画像における虹彩位置及び瞳孔位置を決定できる。Ｂは、虹彩画像における虹彩位置に対応する画像領域を示し、瞳孔位置に対応する領域は、図中で表示されていないが、実際の適用及び検出過程で、同時に瞳孔位置に対応する領域を検出できる。上記の実施例に記載されるように、ターゲット検出を実行して得られた虹彩位置及び瞳孔位置は、虹彩の検出枠及び瞳孔の検出枠の位置として表されてもよく、当該位置は（ｘ１，ｘ２，ｙ１，ｙ２）として表されてもよく、ここで、（ｘ１，ｙ１）及び（ｘ２，ｙ２）はそれぞれ虹彩又は瞳孔の検出枠の２つの対角頂点の位置座標であり、当該２つの頂点座標に基づいて、当該検出枠に対応する領域位置を決定できる。他の実施例では、検出枠の位置は他の形式で表されてもよく、本開示では具体的に限定しない。
【0052】
また、本開示の実施例では、ターゲット検出処理を実行するニューラルネットワークは、Ｆａｓｔｅｒ Ｒ－ＣＮＮニューラルネットワーク（高速ターゲット認識畳み込みニューラルネットワーク）や、Ｒｅｔｉｎａネットワーク（シングルステージターゲット検出ネットワーク）を含んでもよいが、本開示では具体的に限定しない。
【0053】
虹彩画像における虹彩位置及び瞳孔位置を得ると、さらに虹彩画像における虹彩領域の分割を実行することによって、虹彩領域をまぶたや瞳孔等の他の部位と見分けて分割することができる。
【0054】
一例では、虹彩位置及び瞳孔位置を用いて、直接的に虹彩画像における虹彩領域に対する分割処理を行い、即ち、虹彩位置に対応する画像領域から瞳孔位置に対応する画像領域を削除して、虹彩位置の画像領域における残った画像領域を虹彩領域の分割結果として決定し、そして当該虹彩領域に第１マークとしてのマスク値を、残りの領域に第２マークとしてのマスク値を付与して、虹彩領域に対応するマスクマップを得ってもよい。当該方式はシンプルで便利であるため、処理スピードが上がる。
【0055】
別の例では、虹彩位置、瞳孔位置及び対応する虹彩画像を、虹彩分割を実行するニューラルネットワークに入力し、当該ニューラルネットワークによって虹彩画像における虹彩領域に対応するマスクマップを出力してもよい。当該虹彩分割を実行するニューラルネットワークは、トレーニングによって虹彩画像における虹彩領域を決定し、対応するマスクマップを生成できる。当該ニューラルネットワークも畳み込みニューラルネットワークであってもよく、例えば、ＰＳＰＮｅｔ（ピラミッドシーン分析ネットワーク）、Ｕｎｅｔ（Ｕ字型ネットワーク）であってもよいが、本開示では具体的に限定しない。図４において、Ｃは虹彩画像に対応する虹彩領域の模式図を示し、黒色の部分は虹彩領域以外の画像領域を示し、当該部分のマスク値は第２マークであり、白色の部分は虹彩領域であり、当該部分のマスク値は第１マークである。当該方式では虹彩領域を精確に検出できるため、後続の比較処理の精度が上がる。
【0056】
いくつかの可能な実施形態では、得られた虹彩画像及び検出された虹彩領域のマスクマップはサイズが異なる可能性があるため、本開示の実施例では虹彩画像における虹彩位置及び虹彩領域のマスクマップ（分割結果）を得ると、虹彩位置に対応する画像領域及びマスクマップを正規化処理して、正規化された画像領域及びマスクマップを予め設定された規格に調整してもよい。例えば、本開示の実施例では虹彩位置の画像領域及びマスクマップを高さ６４ピクセルかつ幅５１２ピクセルに調整してもよい。上記予め設定された規格のサイズに関しては、本開示では具体的に限定しない。
【0057】
虹彩画像における虹彩の位置及び対応する分割結果を得ると、得られた虹彩位置に基づいて該当する画像領域の特徴処理を実行して、虹彩特徴を得てもよい。また、本開示の実施例では、正規化された虹彩位置に対応する画像領域に対するマルチスケール特徴処理を実行してもよく、特徴精度は一層上がる。次に、直接的に虹彩位置に対応する画像領域に対するマルチスケール特徴抽出及びマルチスケール融合処理を実行することを例にして説明し、正規化された虹彩位置に対応する画像領域のマルチスケール特徴処理及びマルチスケール融合処理に関しては説明が省略され、両者の処理手順は同じである。
【0058】
図５は、本開示の実施例による画像処理方法のステップＳ３０のフローチャートを示す。前記虹彩位置に対応する画像領域に対するマルチスケール特徴抽出処理及びマルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることは、以下のことを含む。
Ｓ３１、前記虹彩画像における前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理を実行して、複数のスケールの特徴マップを得る。
いくつかの可能な実施形態では、まず虹彩画像における前記虹彩位置に対応する画像領域に対する特徴抽出処理を実行してもよく、特徴抽出ニューラルネットワークを用いて当該特徴抽出処理を実行して、例えば、残差ネットワーク又はピラミッド特徴抽出ネットワークを用いて当該特徴抽出処理を実行して、虹彩画像の虹彩位置の位置する画像領域に対応する複数のスケールの特徴マップを得ってもよい。図６は、本開示の実施例による画像処理方法を実現するニューラルネットワークの構造模式図を示す。図中、ネットワーク構造Ｍは特徴抽出を実行するニューラルネットワークの部分を示し、残差ネットワーク、例えば、ＲｅｓＮｅｔ１８であってもよいが、本開示では具体的に限定しない。
Ｓ３１、前記虹彩画像における前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理を実行して、複数のスケールの特徴マップを得る。
いくつかの可能な実施形態では、まず虹彩画像における前記虹彩位置に対応する画像領域に対する特徴抽出処理を実行してもよく、特徴抽出ニューラルネットワークを用いて当該特徴抽出処理を実行して、例えば、残差ネットワーク又はピラミッド特徴抽出ネットワークを用いて当該特徴抽出処理を実行して、虹彩画像の虹彩位置の位置する画像領域に対応する複数のスケールの特徴マップを得ってもよい。図６は、本開示の実施例による画像処理方法を実現するニューラルネットワークの構造模式図を示す。図中、ネットワーク構造Ｍは特徴抽出を実行するニューラルネットワークの部分を示し、残差ネットワーク、例えば、ＲｅｓＮｅｔ１８であってもよいが、本開示では具体的に限定しない。
【0059】
一例では、虹彩画像及び虹彩画像の虹彩位置を特徴抽出ニューラルネットワークに入力して、特徴抽出処理ニューラルネットワークによって虹彩画像の虹彩位置に対応する画像領域に対応する特徴、即ち複数のスケールの特徴マップを得てもよい。又は、別の例では、まず虹彩画像から虹彩位置に対応する画像領域を切り取り、当該画像領域を特徴抽出ニューラルネットワークに入力して、複数のスケールの特徴マップを得てもよく、当該複数のスケールの特徴マップのそれぞれは特徴抽出ニューラルネットワークの異なる畳み込み層によって出力されてもよく、少なくとも２つの異なるスケールの特徴マップを得ることができる。一例では、互いに異なる３つのスケールの特徴マップがそれぞれ得られる。また、全局的な特徴情報を得るためには、得られた複数のスケールの特徴マップには下位層の特徴情報（ネットワークアーキテクチャの前の畳み込み層を用いて得られる特徴マップ）が含まれてもよく、上位層の特徴情報（ネットワークアーキテクチャの後の畳み込み層を用いてられ得る特徴マップ）が含まれてもよく、上記の特徴の融合により、より精確で且つ全局的な虹彩特徴が得られる。
【0060】
Ｓ３２、前記複数のスケールの特徴マップを用いて、前記複数のスケールの特徴マップのうち少なくとも２つのスケールの特徴マップを含む特徴グループを少なくとも１つ生成する。
いくつかの可能な実施形態では、複数のスケールの特徴マップを得ると、当該複数のスケールの特徴マップに基づいて、特徴グループを少なくとも１つ生成してもよい。
いくつかの可能な実施形態では、複数のスケールの特徴マップを得ると、当該複数のスケールの特徴マップに基づいて、特徴グループを少なくとも１つ生成してもよい。
【0061】
ここで、当該複数のスケールの特徴マップを１つの特徴グループとして、後続の特徴融合処理を実行してもよいし、又は、少なくとも２つの異なるスケールの特徴マップが含まれる特徴グループを少なくとも２つ生成してもよく、そして、本開示の実施例で生成された異なる特徴グループには同じ特徴マップが含まれてもよく、即ち、任意の２つの特徴グループには少なくとも１つの異なる特徴マップが含まれてもよい。例えば、ステップＳ３１で得られたマルチスケール特徴マップにはＦ１、Ｆ２及びＦ３が含まれてもよく、この３つの特徴マップはスケールが互いに異なる。特徴グループを生成する時には、第１の予め設定された数の特徴グループを生成してもよく、当該第１の予め設定された数は１以上の整数であり、本開示の実施例では第１の予め設定された数は２としてもよい。続いて第２の予め設定された数の特徴マップを各特徴グループに割り当ててもよく、複数のスケールの特徴マップからランダムに第２の予め設定された数の特徴マップを選出して１つの特徴グループを構成してもよく、選択された特徴マップは依然として別の特徴グループに選択されてもよい。第２の予め設定された数は２以上の整数であり、例えば、本開示の実施例では第２の予め設定された数は２としてもよい。例えば、生成された特徴グループに含まれる特徴マップはＦ１及びＦ２であり、別の特徴グループに含まれる特徴マップはＦ１及びＦ３であってもよい。
【0062】
Ｓ３３、アテンションメカニズムによって、前記特徴グループにおける特徴マップに対する前記マルチスケール特徴融合処理を実行して、前記特徴グループに対応するグループ特徴マップを得る。
いくつかの可能な実施形態では、複数のスケールの特徴マップの特徴グループを得ると、各特徴グループ内の特徴マップに対する特徴融合処理を実行してもよい。融合の過程では、虹彩特徴の異なる位置での重要性が異なることを考慮して、空間アテンションメカニズムを用いる。ここで、空間アテンションニューラルネットワークによって、アテンションメカニズムに基づく畳み込み処理を実現でき、得られる特徴マップでは重要な特徴が一層強調される。当該空間アテンションニューラルネットワークをトレーニングする過程では空間特徴の各位置における重要性を適応的に学習して、各位置の特徴を対象とするアテンション係数を生成でき、当該係数は区間［０，１］内の係数値として表されてもよい。図６に示すように、空間アテンションニューラルネットワークはネットワーク構造Ｎであってもよい。
いくつかの可能な実施形態では、複数のスケールの特徴マップの特徴グループを得ると、各特徴グループ内の特徴マップに対する特徴融合処理を実行してもよい。融合の過程では、虹彩特徴の異なる位置での重要性が異なることを考慮して、空間アテンションメカニズムを用いる。ここで、空間アテンションニューラルネットワークによって、アテンションメカニズムに基づく畳み込み処理を実現でき、得られる特徴マップでは重要な特徴が一層強調される。当該空間アテンションニューラルネットワークをトレーニングする過程では空間特徴の各位置における重要性を適応的に学習して、各位置の特徴を対象とするアテンション係数を生成でき、当該係数は区間［０，１］内の係数値として表されてもよい。図６に示すように、空間アテンションニューラルネットワークはネットワーク構造Ｎであってもよい。
【0063】
アテンション機構を用いるニューラルネットワークが畳み込み処理を実行した後、さらに、グループ化畳み込み、標準的な畳み込み処理を実行して、各特徴グループにおける各特徴マップの融合特徴、即ちグループ特徴マップを得てもよい。
【0064】
Ｓ３４、前記特徴グループに対応するグループ特徴マップに基づいて、前記虹彩画像に対応する虹彩特徴マップを得る。
【0065】
いくつかの可能な実施形態では、各特徴グループにおける特徴マップの融合特徴（グループ特徴マップ）を得ると、異なる特徴グループのグループ特徴マップを特徴融合して、虹彩画像に対応する虹彩特徴マップを得てもよい。例えば、本開示の実施例では、各特徴グループのグループ特徴マップの加算結果を虹彩特徴マップとしてもよいし、又は、各グループ特徴マップの加重和を虹彩特徴マップとしてもよく、加重和の加重係数はニーズ及びシーンに応じて設定されてもよく、本開示では具体的に限定しない。
【0066】
上記の方式で、異なる特徴マップに対してそれぞれ融合を実行することができ、アテンションメカニズムを用いることで、重要な特徴の関心度が一層上がり、そして、異なる特徴グループのグループ特徴マップに基づく融合処理により、各部分の特徴はより全局的に融合される。
【0067】
次に、上記の特徴融合の過程を詳細に説明する。図７は、本開示の実施例による画像処理方法のステップＳ３３のフローチャートを示し、アテンションメカニズムによって、前記特徴グループにおける特徴マップに対する前記マルチスケール特徴融合処理を実行して、前記特徴グループに対応するグループ特徴マップを得ることは、以下のことを含む。
Ｓ３３１、前記特徴グループにおける前記少なくとも２つのスケールの特徴マップの連結特徴マップに対する第１畳み込み処理を実行して、第１サブ特徴マップを得る。
いくつかの可能な実施形態では、まず各特徴グループにおける特徴マップに対する連結処理を実行して、例えば、チャネル方向において連結（ｃｏｎｃａｔｅｎａｔｅ）させることによって、連結特徴マップを得ってもよい。図６に示すように、アテンションメカニズムによる畳み込みニューラルネットワーク（ＳＡＦＦＭ）が拡大して表示される。連結処理により得られた連結特徴マップのスケールは（Ｃ，Ｈ，Ｗ）として表されてもよく、Ｃは連結特徴マップのチャネル数を、Ｈは連結特徴マップの高さを、Ｗは連結特徴マップの幅を表す。例えば、上記の特徴グループにおける特徴マップのＦ１及びＦ２を連結させ、および、別の特徴グループにおける特徴マップのＦ１及びＦ３を連結させることによって、対応する連結特徴マップをそれぞれ得ることができる。
Ｓ３３１、前記特徴グループにおける前記少なくとも２つのスケールの特徴マップの連結特徴マップに対する第１畳み込み処理を実行して、第１サブ特徴マップを得る。
いくつかの可能な実施形態では、まず各特徴グループにおける特徴マップに対する連結処理を実行して、例えば、チャネル方向において連結（ｃｏｎｃａｔｅｎａｔｅ）させることによって、連結特徴マップを得ってもよい。図６に示すように、アテンションメカニズムによる畳み込みニューラルネットワーク（ＳＡＦＦＭ）が拡大して表示される。連結処理により得られた連結特徴マップのスケールは（Ｃ，Ｈ，Ｗ）として表されてもよく、Ｃは連結特徴マップのチャネル数を、Ｈは連結特徴マップの高さを、Ｗは連結特徴マップの幅を表す。例えば、上記の特徴グループにおける特徴マップのＦ１及びＦ２を連結させ、および、別の特徴グループにおける特徴マップのＦ１及びＦ３を連結させることによって、対応する連結特徴マップをそれぞれ得ることができる。
【0068】
連結特徴マップを得ると、各連結特徴マップに対する第１畳み込み処理をそれぞれ実行して、例えば、３＊３畳み込みカーネルを用いて当該第１畳み込み処理を実行してもよく、その後、バッチ正規化及び活性化関数処理を実行してもよく、連結特徴マップに対応する第１サブ特徴マップを得る。当該第１サブ特徴マップのスケールは（Ｃ／２，Ｈ，Ｗ）として表されてもよく、第１畳み込み処理により特徴マップにおけるパラメータが減るため、後続の計算量が低減される。
【0069】
Ｓ３３２、前記第１サブ特徴マップに対する第２畳み込み処理及び活性化関数処理を実行して、前記第１サブ特徴マップに対応するアテンション係数を表す第２サブ特徴マップを得る。
いくつかの可能な実施形態では、得られる第１サブ特徴マップに対する第２畳み込み処理を実行してもよく、図６に示すように、２つの畳み込み層を用いて当該第２畳み込み処理をそれぞれ実行してもよく、一方の畳み込み層においては、１＊１畳み込みカーネルによる処理後、バッチ正規化及び活性化関数処理を実行して、第１中間特徴マップを得、当該第１中間特徴マップのスケールは（Ｃ／８，Ｈ，Ｗ）として表されてもよい。そして、他方の畳み込み層により当該中間特徴マップに対して１＊１畳み込みカーネルによる畳み込み処理を実行して、（１，Ｈ，Ｗ）の第２中間特徴マップを得る。上記の第２畳み込み処理により、第１サブ特徴マップに対する次元削減処理が実行され、シングルチャネルの第２中間特徴マップが得られる。
いくつかの可能な実施形態では、得られる第１サブ特徴マップに対する第２畳み込み処理を実行してもよく、図６に示すように、２つの畳み込み層を用いて当該第２畳み込み処理をそれぞれ実行してもよく、一方の畳み込み層においては、１＊１畳み込みカーネルによる処理後、バッチ正規化及び活性化関数処理を実行して、第１中間特徴マップを得、当該第１中間特徴マップのスケールは（Ｃ／８，Ｈ，Ｗ）として表されてもよい。そして、他方の畳み込み層により当該中間特徴マップに対して１＊１畳み込みカーネルによる畳み込み処理を実行して、（１，Ｈ，Ｗ）の第２中間特徴マップを得る。上記の第２畳み込み処理により、第１サブ特徴マップに対する次元削減処理が実行され、シングルチャネルの第２中間特徴マップが得られる。
【0070】
さらに、当該第２中間特徴マップに対して、ｓｉｇｍｏｉｄ関数を用いて活性化関数処理を実行してもよく、ｓｉｇｍｏｉｄ関数による第２中間特徴マップの処理後、第１サブ特徴マップに対応する第２サブ特徴マップが得られ、当該第２サブ特徴マップにおける各要素は第１サブ特徴マップにおける各画素ポイントの特徴値のアテンション係数を表す。当該係数値は［０，１］の範囲内の数値であってもよい。
【0071】
Ｓ３３３、前記第１サブ特徴マップと第２サブ特徴マップの乗算結果を前記第１サブ特徴マップと加算して、第３サブ特徴マップを得る。
いくつかの可能な実施形態では、アテンション係数を表す第２サブ特徴マップを得ると、第１サブ特徴マップと第２サブ特徴マップを乗算処理（ｍｕｌ）してもよく、例えば、対応する要素をかけてもよい。そして、当該乗算結果を第１サブ特徴マップと加算（ａｄｄ）して、即ち対応する要素を加算して、第３サブ特徴マップを得る。図６に示すように、ＳＡＦＦＭによって出力される特徴マップが第３特徴マップとなる。入力される特徴グループが異なるため、得られる第３サブ特徴マップは異なる。
いくつかの可能な実施形態では、アテンション係数を表す第２サブ特徴マップを得ると、第１サブ特徴マップと第２サブ特徴マップを乗算処理（ｍｕｌ）してもよく、例えば、対応する要素をかけてもよい。そして、当該乗算結果を第１サブ特徴マップと加算（ａｄｄ）して、即ち対応する要素を加算して、第３サブ特徴マップを得る。図６に示すように、ＳＡＦＦＭによって出力される特徴マップが第３特徴マップとなる。入力される特徴グループが異なるため、得られる第３サブ特徴マップは異なる。
【0072】
Ｓ３３４、前記第３サブ特徴マップに対する第３畳み込み処理を実行して、前記特徴グループに対応するグループ特徴マップを得る。
【0073】
第３サブ特徴マップを得ると、当該第３サブ特徴マップに対する第３畳み込み処理を実行してもよく、当該第３畳み込み処理はグループ化畳み込み処理及び標準的な畳み込み処理の少なくとも１つを含んでもよい。第３畳み込み処理により、各特徴グループにおける特徴情報の一層の融合が実現される。図６に示すように、第３畳み込み処理はグループ化畳み込み（ｄｅｐｔｈ ｗｉｓｅ ｃｏｎｖ）及び１＊１畳み込みカーネルによる標準的な畳み込みを含んでもよく、グループ化畳み込みは畳み込みのスピードを上げるとともに、畳み込み特徴の精度を高めることができる。第３畳み込み処理により、最終的に各特徴グループに対応するグループ特徴マップが出力される。当該グループ特徴マップは特徴グループにおける各特徴マップの特徴情報が効果的に融合される。各特徴グループのグループ特徴マップを得ると、各グループ特徴マップの加重和又は加算（ａｄｄ）により、対応する虹彩画像の虹彩特徴マップを得ることができる。
【0074】
虹彩画像の虹彩特徴マップを得ると、さらに、分割結果に合わせて虹彩画像間の比較処理を実行してもよい。図８は、本開示の実施例による画像処理方法のステップＳ４０のフローチャートを示す。前記虹彩画像群における前記少なくとも２つの虹彩画像のそれぞれに対応するマスクマップ及び虹彩特徴マップを用いて、比較処理を実行することは、以下のことを含む。
Ｓ４１、前記少なくとも２つの虹彩画像のそれぞれに対応する分割結果を用いて、前記少なくとも２つの虹彩画像において虹彩領域である第１位置を決定する。
いくつかの可能な実施形態では、分割結果は虹彩画像における虹彩領域の所在位置のマスクマップとして表されてもよい。これにより、各虹彩画像のマスクマップに基づいて、比較すべき虹彩画像において虹彩領域である第１位置を決定できる。上記の実施例に記載されるように、マスクマップにおける第１マークは虹彩領域の所在位置を表示でき、２つの虹彩画像のマスクマップにおいて同一の位置の画素ポイントに対応するマスク値がいずれも第１マークである場合に、当該画素ポイントは２つの虹彩画像においていずれもマスク領域に位置することが示され、このような画素ポイントの全ての位置によって、２つの虹彩画像において虹彩領域である第１位置が決定される。
Ｓ４１、前記少なくとも２つの虹彩画像のそれぞれに対応する分割結果を用いて、前記少なくとも２つの虹彩画像において虹彩領域である第１位置を決定する。
いくつかの可能な実施形態では、分割結果は虹彩画像における虹彩領域の所在位置のマスクマップとして表されてもよい。これにより、各虹彩画像のマスクマップに基づいて、比較すべき虹彩画像において虹彩領域である第１位置を決定できる。上記の実施例に記載されるように、マスクマップにおける第１マークは虹彩領域の所在位置を表示でき、２つの虹彩画像のマスクマップにおいて同一の位置の画素ポイントに対応するマスク値がいずれも第１マークである場合に、当該画素ポイントは２つの虹彩画像においていずれもマスク領域に位置することが示され、このような画素ポイントの全ての位置によって、２つの虹彩画像において虹彩領域である第１位置が決定される。
【0075】
又は、他の実施例では、２つの虹彩画像のマスクマップの積により、虹彩領域である第１位置を決定してもよく、マスクマップの乗算結果のうち依然として第１マークである画素ポイントの位置が、虹彩領域である第１位置となることが示される。
【0076】
Ｓ４２、前記少なくとも２つの虹彩画像の虹彩特徴マップにおいて前記第１位置に対応する第４サブ特徴マップをそれぞれ決定する。
上記の第１位置が決定されると、本開示の実施例では、各虹彩画像の虹彩特徴マップにおいて上記第１位置に対応する特徴、即ち第４サブ特徴マップを得てもよい。本開示の実施例では、第１位置の座標に基づいて対応する画素ポイントの特徴値を決定し、決定された特徴値及び対応する画素ポイントに基づいて、第４サブ特徴マップを生成してもよい。又は、上記の２つの虹彩画像のマスクマップの乗算結果と各虹彩特徴マップの積により、当該虹彩特徴マップに対応する第４サブ特徴マップを得てもよい。
上記の第１位置が決定されると、本開示の実施例では、各虹彩画像の虹彩特徴マップにおいて上記第１位置に対応する特徴、即ち第４サブ特徴マップを得てもよい。本開示の実施例では、第１位置の座標に基づいて対応する画素ポイントの特徴値を決定し、決定された特徴値及び対応する画素ポイントに基づいて、第４サブ特徴マップを生成してもよい。又は、上記の２つの虹彩画像のマスクマップの乗算結果と各虹彩特徴マップの積により、当該虹彩特徴マップに対応する第４サブ特徴マップを得てもよい。
【0077】
上記の構成では、比較すべき２つの虹彩画像の虹彩特徴マップにおいて虹彩領域である位置での特徴を得ることができ、当該特徴によって２つの虹彩画像の比較を実行することで、非虹彩領域の特徴情報の影響が低減され、比較精度が上がる。
【0078】
Ｓ４３、前記少なくとも２つの虹彩画像のそれぞれに対応する第４サブ特徴マップ間の関連度に基づいて、前記少なくとも２つの虹彩画像の比較結果を決定する。
【0079】
虹彩領域である虹彩特徴（第４サブ特徴マップ）を得ると、比較すべき２つの虹彩画像に対応する第４サブ特徴マップ間の関連度を得てもよく、続いて当該関連度を比較すべき２つの虹彩画像間の関連度、即ち比較結果として決定してもよい。本開示の実施例では、前記関連度は、ユークリッド距離、又はコサイン類似度であってもよいが、本開示では具体的に限定しない。
【0080】
一例では、関連度がユークリッド距離である場合に、比較すべき２つの虹彩画像の比較過程を次のように表すことができる。
式中、ＳＤ（ｆ1，ｆ2）は２つの虹彩画像間の比較結果（関連度）を表し、ｍ1及びｍ2はそれぞれ２つの虹彩画像のマスクマップを表し、ｆ1及びｆ2はそれぞれ２つの虹彩画像の虹彩特徴マップを表す。
【数1】
【0081】
上記の比較すべき２つの虹彩画像の比較結果を得ると、比較結果に基づいて２つの虹彩画像が同一の人物対象に対応するか否かを決定できる。比較すべき２つの虹彩画像のそれぞれに対応する第４サブ特徴マップ間の関連度が第１閾値よりも大きい場合に、２つの虹彩画像の関連度が比較的高いことが示され、この場合に、前記比較すべき２つの虹彩画像が同一の対象に対応すると決定することができる。そうでない場合に、前記比較すべき２つの虹彩画像のそれぞれに対応する第４サブ特徴マップ間の関連度が第１閾値以下である場合に、２つの虹彩画像の関連度が比較的低いことが示され、この場合に前記比較すべき２つの虹彩画像は異なる対象に対応すると決定する。第１閾値は予め設定された値（例えば、７０％）であってもよいが、本開示では具体的に限定しない。
【0082】
上記の実施例に記載されるように、本開示の実施例による画像処理方法はニューラルネットワークによって実現され、例えば、図６に示すネットワーク構造によって実現されてもよい。次に、ニューラルネットワークのトレーニングの過程を説明する。
【0083】
まず、トレーニング画像群を得てもよい。トレーニング画像には少なくとも２つの人物対象の虹彩画像が含まれてもよく、各人物対象の虹彩画像は少なくとも１つであり、しかも各虹彩画像の解像度、画像品質、サイズがいずれも異なってもよく、これによりニューラルネットワークの適用性が向上する。
【0084】
続いて、ニューラルネットワークを用いてトレーニング画像の画像処理を実行して、各トレーニング画像の画像処理による各特徴グループに対応するグループ特徴マップを得てもよい。さらに、得られるグループ特徴マップに基づいてニューラルネットワークのネットワーク損失を得てもよい。当該ネットワーク損失が損失閾値よりも小さい場合に、ニューラルネットワークの検出精度が要件を満たすことが示され、適用は可能であり、ネットワーク損失が損失閾値以上になる場合に、ニューラルネットワークのパラメータ、例えば、畳み込みパラメータ等を、得られる損失関数が損失閾値よりも小さくなるまでフィードバック調節してもよい。損失閾値はニーズに応じて設定された値（例えば、０．１）であってもよいが、本開示では具体的に限定しない。
【0085】
また、本開示の実施例ではネットワークの検出精度を上げるために、同一の人物対象の虹彩特徴マップ間の最小関連度及び異なる人物対象間の最大関連度に基づいて、ネットワーク損失を決定してもよい。例えば、損失関数は次のように表すことができる。
【数2】
【0086】
式中、Ｌｓは同一の特徴融合ブランチで得られたグループ特徴マップに対応するネットワーク損失、Ｐは人物対象の総数、Ｋは各人物対象の虹彩画像の総数、ｓは特徴グループのグループ数、ｍは共通の虹彩領域、Ｂはグループ特徴マップの列数、ｆia
sはｓ番目のグループにおけるｉ番目の人物対象のａ番目の虹彩画像の特徴、ｆjn
sはｓ番目のグループにおけるｊ番目の人物対象のｎ番目の虹彩画像の特徴を表し、ＭＭＳＤ関数は特徴間の関連度を表し、例えば、ＭＭＳＤ（ｆ1,s，ｆ2,s）は２つのトレーニング画像のうち一方のトレーニング画像のグループ特徴マップｆ1,sに対して列の転置を行った特徴マップｆb
1,sと他方のトレーニング画像のグループ特徴マップｆ2,sとの関連度の最小値を表す。Ｌtotalは異なる特徴融合ブランチで得られるグループ特徴マップに対応するネットワーク損失の加重和、即ちニューラルネットワーク全体のネットワーク損失を表し、λ1及びλ1はそれぞれ加重係数を表し、Ｌ1及びＬ2はそれぞれ２つのグループに対応するネットワーク損失を表す。
【0087】
本開示の実施例では、虹彩画像に対して前処理を実行して、虹彩画像における虹彩領域の位置決め及び分割を行うことにより、虹彩位置及び虹彩領域に対応する分割結果を得るとともに、虹彩画像に対するマルチスケール特徴抽出及びマルチスケール特徴融合を実行することにより、精度の高い虹彩特徴マップを得た後、分割結果及び虹彩特徴マップを利用して虹彩画像による身分認識を実行して、各虹彩画像が同一の対象に対応するか否かを決定することができる。上記の構成では、マルチスケール特徴抽出及びマルチスケール特徴融合により、抽出された下位層の特徴と上位層の特徴とが充分に融合され、最終的な虹彩特徴が下位層のテクスチャ特徴及び上位層の分類特徴の両方を両立させるようにして、特徴抽出の精度を上げることができ、さらに、分割結果と虹彩特徴マップの組み合わせを用いて、虹彩領域の特徴的な部分のみが考慮され、他の領域の影響が低減され、虹彩画像が同一の対象に対応するか否かをより精確に認識することができ、検出結果が優れている。また、本開示の実施例では、虹彩画像におけるテクスチャ領域の重要性が異なるという特性に応じて、ニューラルネットワークにて空間アテンションメカニズムを用いて、ネットワークが虹彩特徴を適応的に学習するようにすることができる。
【0088】
当業者であれば、具体的な実施形態に係る上記の方法では、各ステップの記載順序は、実行順序を厳密に限定して実施の過程を限定するものではなく、各ステップの実行順序がその機能と可能な内部の論理によって決定されることが理解すべきである。
【0089】
本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解すべきである。紙数に限りがあるので、本開示では詳細な説明を省略する。
【0090】
なお、本開示では、画像処理装置、電子機器、コンピュータ読取可能記憶媒体、プログラムが提供される。これらはいずれも本開示に係る画像処理方法のいずれか１つを実現するために利用できる。対応する技術的解決手段と説明は、方法の対応する記載を参照すればよく、詳細な説明を省略する。
【0091】
図９は、本開示の実施例による画像処理装置のブロック図を示し、図９に示すように、前記画像処理装置は、
比較すべき少なくとも２つの虹彩画像を含む虹彩画像群を取得するための取得モジュール１０と、
前記虹彩画像における虹彩位置及び前記虹彩画像における虹彩領域の分割結果を検出するための検出モジュール２０と、
前記虹彩位置に対応する画像領域に対するマルチスケール特徴抽出処理及びマルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得るための特徴処理モジュール３０と、
前記少なくとも２つの虹彩画像のそれぞれに対応する前記分割結果及び前記虹彩特徴マップを用いて、比較処理を実行し、前記比較処理による比較結果に基づいて、前記比較すべき２つの虹彩画像が同一の対象に対応するか否かを決定するための比較モジュール４０とを含む。
比較すべき少なくとも２つの虹彩画像を含む虹彩画像群を取得するための取得モジュール１０と、
前記虹彩画像における虹彩位置及び前記虹彩画像における虹彩領域の分割結果を検出するための検出モジュール２０と、
前記虹彩位置に対応する画像領域に対するマルチスケール特徴抽出処理及びマルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得るための特徴処理モジュール３０と、
前記少なくとも２つの虹彩画像のそれぞれに対応する前記分割結果及び前記虹彩特徴マップを用いて、比較処理を実行し、前記比較処理による比較結果に基づいて、前記比較すべき２つの虹彩画像が同一の対象に対応するか否かを決定するための比較モジュール４０とを含む。
【0092】
いくつかの可能な実施形態では、前記特徴処理モジュールはさらに、前記虹彩画像における前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理を実行して、複数のスケールの特徴マップを得ることと、
前記複数のスケールの特徴マップを用いて、前記複数のスケールの特徴マップのうち少なくとも２つのスケールの特徴マップを含む特徴グループを少なくとも１つ生成することと、
アテンションメカニズムによって、前記特徴グループにおける特徴マップに対する前記マルチスケール特徴融合処理を実行して、前記特徴グループに対応するグループ特徴マップを得ることと、
前記特徴グループに対応するグループ特徴マップに基づいて、前記虹彩画像に対応する虹彩特徴マップを得ることとに用いられる。
前記複数のスケールの特徴マップを用いて、前記複数のスケールの特徴マップのうち少なくとも２つのスケールの特徴マップを含む特徴グループを少なくとも１つ生成することと、
アテンションメカニズムによって、前記特徴グループにおける特徴マップに対する前記マルチスケール特徴融合処理を実行して、前記特徴グループに対応するグループ特徴マップを得ることと、
前記特徴グループに対応するグループ特徴マップに基づいて、前記虹彩画像に対応する虹彩特徴マップを得ることとに用いられる。
【0093】
いくつかの可能な実施形態では、前記特徴処理モジュールはさらに、前記虹彩画像における前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理を実行して、複数のスケールの特徴マップを得ることと、
前記複数のスケールの特徴マップを用いて、前記複数のスケールの特徴マップのうち少なくとも２つのスケールの特徴マップを含む特徴グループを少なくとも１つ生成することと、
アテンションメカニズムによって、前記特徴グループにおける特徴マップに対する前記マルチスケール特徴融合処理を実行して、前記特徴グループに対応するグループ特徴マップを得ることと、
前記特徴グループに対応するグループ特徴マップに基づいて、前記虹彩画像に対応する虹彩特徴マップを得ることとに用いられる。
前記複数のスケールの特徴マップを用いて、前記複数のスケールの特徴マップのうち少なくとも２つのスケールの特徴マップを含む特徴グループを少なくとも１つ生成することと、
アテンションメカニズムによって、前記特徴グループにおける特徴マップに対する前記マルチスケール特徴融合処理を実行して、前記特徴グループに対応するグループ特徴マップを得ることと、
前記特徴グループに対応するグループ特徴マップに基づいて、前記虹彩画像に対応する虹彩特徴マップを得ることとに用いられる。
【0094】
いくつかの可能な実施形態では、前記特徴処理モジュールはさらに、各前記グループ特徴に対応する前記グループ特徴マップに対する加重和処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることに用いられる。
【0095】
いくつかの可能な実施形態では、前記分割結果には前記虹彩画像における虹彩領域に対応するマスクマップが含まれ、前記マスクマップにおける第１マークは前記虹彩領域を示し、前記マスクマップにおける第２マークは前記虹彩領域以外の位置領域を示す。
【0096】
いくつかの可能な実施形態では、前記検出モジュールはさらに、前記虹彩画像に対するターゲット検出処理を実行して、前記虹彩画像の前記虹彩位置及び瞳孔位置を決定することと、
決定された前記虹彩位置及び前記瞳孔位置に基づいて、前記虹彩画像に対する前記分割処理を実行して、前記虹彩画像における虹彩領域の分割結果を得ることとに用いられる。
決定された前記虹彩位置及び前記瞳孔位置に基づいて、前記虹彩画像に対する前記分割処理を実行して、前記虹彩画像における虹彩領域の分割結果を得ることとに用いられる。
【0097】
いくつかの可能な実施形態では、前記検出モジュールはさらに、前記虹彩画像の虹彩位置に対応する画像領域及び前記分割結果をそれぞれ正規化処理することに用いられ、
前記特徴処理モジュールは、さらに、
正規化処理された前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理及び前記マルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることに用いられる。
前記特徴処理モジュールは、さらに、
正規化処理された前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理及び前記マルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることに用いられる。
【0098】
いくつかの可能な実施形態では、前記比較モジュールはさらに、前記少なくとも２つの虹彩画像のそれぞれに対応する分割結果を用いて、前記少なくとも２つの虹彩画像において虹彩領域である第１位置を決定することと、
前記少なくとも２つの虹彩画像の虹彩特徴マップにおいて前記第１位置に対応する第４サブ特徴マップをそれぞれ決定することと、
前記少なくとも２つの虹彩画像のそれぞれに対応する第４サブ特徴マップ間の関連度に基づいて、前記少なくとも２つの虹彩画像の比較結果を決定することとに用いられる。
前記少なくとも２つの虹彩画像の虹彩特徴マップにおいて前記第１位置に対応する第４サブ特徴マップをそれぞれ決定することと、
前記少なくとも２つの虹彩画像のそれぞれに対応する第４サブ特徴マップ間の関連度に基づいて、前記少なくとも２つの虹彩画像の比較結果を決定することとに用いられる。
【0099】
いくつかの可能な実施形態では、前記比較モジュールはさらに、前記少なくとも２つの虹彩画像のそれぞれに対応する第４サブ特徴マップ間の関連度が第１閾値よりも大きい場合に、前記少なくとも２つの虹彩画像が同一の対象に対応すると決定することに用いられる。
【0100】
いくつかの可能な実施形態では、前記比較モジュールはさらに、前記少なくとも２つの虹彩画像のそれぞれに対応する第４サブ特徴マップ間の関連度が第１閾値以下である場合に、前記少なくとも２つの虹彩画像が異なる対象に対応すると決定することに用いられる。
【0101】
いくつかの可能な実施形態では、前記装置は、前記取得モジュールと、前記検出モジュールと、前記特徴処理モジュールと、前記比較モジュールとを有するニューラルネットワークを含む。
【0102】
いくつかの実施例では、本開示の実施例に係る装置が備える機能又はモジュールは、上述した方法の実施例に説明される方法を実行するために利用でき、その具体的な実現について、上述した方法の実施例の説明を参照すればよく、簡素化のために、ここで詳細な説明を省略する。
【0103】
本開示の実施例では、コンピュータプログラム命令が記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、上記の方法を実現させるコンピュータ読取可能記憶媒体がさらに提案される。コンピュータ読取可能記憶媒体は、不揮発性のコンピュータ読取可能記憶媒体であってもよい。
【0104】
本開示の実施例では、プロセッサと、プロセッサにより実行可能な命令を記憶するメモリと、を含み、前記プロセッサは、上記の方法を実行するように構成される電子機器がさらに提案される。
【0105】
電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
【0106】
図１０は本開示の実施例に係る電子機器のブロック図を示す。例えば、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってもよい。
【0107】
図１０を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）のインタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。
【0108】
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
【0109】
メモリ８０４は電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現できる。
【0110】
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。
【0111】
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャーを検知するように、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または背面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または背面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび背面カメラは、固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。
【0112】
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
【0113】
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
【0114】
センサコンポーネント８１４は電子機器８００の各方面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
【0115】
通信コンポーネント８１６は電子機器８００と他の機器との有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標／ＢＴ）技術および他の技術によって実現できる。
【0116】
例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタルシグナルプロセッサ（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
【0117】
例示的な実施例では、さらに、不揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行されと、上記方法を実行させることができる。
【0118】
本開示の実施例は、コンピュータ読み取り可能コードを含むコンピュータプログラム製品であって、コンピュータ読み取り可能コードは、機器において実行されると、機器のプロセッサに上記の実施例のいずれか1つで提供された方法を実現するためのコマンドを実行させるコンピュータプログラム製品を更に提案する。
【0119】
当該コンピュータプログラム製品は、ハードウェア、ソフトウェア又はその組み合わせによって具体的に実現される。一選択可能な実施例において、前記コンピュータプログラム製品はコンピュータ記憶媒体として具現化される。他の選択可能な実施例において、コンピュータプログラム製品は、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）等のようなソフトウェア製品として具現化される。
【0120】
図１１は、例示的な一実施例の電子機器１９００のブロック図を示す。例えば、電子機器１９００はサーバとして提供されてもよい。図１１を参照すると、電子機器１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は命令を実行することによって上記方法を実行するように構成される。
【0121】
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成される有線または無線ネットワークインタフェース１９５０、および入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されているオペレーティングシステム、例えばＷｉｎｄｏｗｓ（登録商標） ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。
【0122】
例示的な実施例では、さらに、不揮発性コンピュータ読取可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されと、上記方法を実行させることができる。
【0123】
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ読取可能プログラム命令が有しているコンピュータ読取可能記憶媒体を含んでもよい。
【0124】
コンピュータ読取可能記憶媒体は、命令実行機器に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読取可能記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読取可能記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読取可能記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
【0125】
ここで記述したコンピュータ読取可能プログラム命令は、コンピュータ読取可能記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ読取可能プログラム命令を受信し、該コンピュータ読取可能プログラム命令を転送し、各計算／処理機器内のコンピュータ読取可能記憶媒体に記憶させる。
【0126】
本開示の動作を実行するためのコンピュータプログラム命令はアセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読取可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読取可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読取可能プログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。
【0127】
ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読取可能プログラム命令によって実現できることを理解すべきである。
【0128】
これらのコンピュータ読取可能プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現ように、装置を製造してもよい。これらのコンピュータ読取可能プログラム命令は、コンピュータ読取可能記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ読取可能記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現する命令を有する製品を含む。
【0129】
コンピュータ読取可能プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施なプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
【0130】
図面のうちフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なって実現してもよい。例えば、連続的な二つのブロックは実質的に並列に実行してもよく、また、係る機能によって、逆な順序で実行してもよい。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
【0131】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または既存技術に対する改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。
【0132】
本開示は、２０１９年９月２６日に中国国家知識産権局に提出された、出願番号が２０１９１０９１９１２１．９で、発明の名称が「画像処理方法及び装置、電子機器並びに記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は援用することによって本開示に組み込まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【手続補正書】
【提出日】2021-01-05
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
比較すべき少なくとも２つの虹彩画像を含む虹彩画像群を取得することと、前記虹彩画像における虹彩位置及び前記虹彩画像における虹彩領域の分割結果を検出することと、
前記虹彩位置に対応する画像領域に対するマルチスケール特徴抽出処理及びマルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることと、
前記少なくとも２つの虹彩画像のそれぞれに対応する前記分割結果及び前記虹彩特徴マップを用いて、比較処理を実行し、前記比較処理による比較結果に基づいて、前記少なくとも２つの虹彩画像が同一の対象に対応するか否かを決定することとを含むことを特徴とする画像処理方法。
【請求項2】
前記虹彩位置に対応する画像領域に対するマルチスケール特徴抽出処理及びマルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることは、前記虹彩画像における前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理を実行して、複数のスケールの特徴マップを得ることと、
前記複数のスケールの特徴マップを用いて、前記複数のスケールの特徴マップのうち少なくとも２つのスケールの特徴マップを含む特徴グループを少なくとも１つ生成することと、
アテンションメカニズムによって、前記特徴グループにおける特徴マップに対する前記マルチスケール特徴融合処理を実行して、前記特徴グループに対応するグループ特徴マップを得ることと、
前記特徴グループに対応するグループ特徴マップに基づいて、前記虹彩画像に対応する虹彩特徴マップを得ることとを含むことを特徴とする請求項１に記載の方法。
【請求項3】
アテンションメカニズムによって、前記特徴グループにおける特徴マップに対する前記マルチスケール特徴融合処理を実行して、前記特徴グループに対応するグループ特徴マップを得ることは、前記特徴グループにおける前記少なくとも２つのスケールの特徴マップの連結特徴マップに対する第１畳み込み処理を実行して、第１サブ特徴マップを得ることと、
前記第１サブ特徴マップに対する第２畳み込み処理及び活性化関数処理を実行して、前記第１サブ特徴マップに対応するアテンション係数を表す第２サブ特徴マップを得ることと、
前記第１サブ特徴マップと前記第２サブ特徴マップの乗算結果を前記第１サブ特徴マップと加算して、第３サブ特徴マップを得ることと、
前記第３サブ特徴マップに対する第３畳み込み処理を実行して、前記特徴グループに対応するグループ特徴マップを得ることとを含むことを特徴とする請求項２に記載の方法。
【請求項4】
前記特徴グループに対応するグループ特徴マップに基づいて、前記虹彩画像に対応する虹彩特徴マップを得ることは、各前記グループ特徴に対応する前記グループ特徴マップに対する加重和処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることを含むことを特徴とする請求項２又は３に記載の方法。
【請求項5】
前記分割結果には前記虹彩画像における虹彩領域に対応するマスクマップが含まれ、前記マスクマップにおける第１マークは前記虹彩領域を示し、前記マスクマップにおける第２マークは前記虹彩領域以外の位置領域を示すことを特徴とする請求項１～４のいずれか１項に記載の方法。
【請求項6】
前記虹彩画像における虹彩位置及び前記虹彩画像における虹彩領域の分割結果を検出することは、前記虹彩画像に対するターゲット検出処理を実行して、前記虹彩画像の虹彩位置及び瞳孔位置を決定することと、
決定された前記虹彩位置及び前記瞳孔位置に基づいて、前記虹彩画像に対する前記分割処理を実行して、前記虹彩画像における虹彩領域の分割結果を得ることとを含むことを特徴とする請求項１～５のいずれか１項に記載の方法。
【請求項7】
前記虹彩画像における虹彩位置及び前記虹彩画像における虹彩領域の分割結果を検出することは、前記虹彩画像の前記虹彩位置に対応する画像領域及び前記分割結果をそれぞれ正規化処理することをさらに含み、
前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理及び前記マルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることは、
正規化処理された前記虹彩位置に対応する画像領域に対する前記マルチスケール特徴抽出処理及び前記マルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得ることをさらに含むことを特徴とする請求項１～６のいずれか１項に記載の方法。
【請求項8】
前記少なくとも２つの虹彩画像のそれぞれに対応する前記分割結果及び前記虹彩特徴マップを用いて、比較処理を実行することは、前記少なくとも２つの虹彩画像のそれぞれに対応する前記分割結果を用いて、前記少なくとも２つの虹彩画像において虹彩領域である第１位置を決定することと、
前記少なくとも２つの虹彩画像の虹彩特徴マップにおいて前記第１位置に対応する第４サブ特徴マップをそれぞれ決定することと、
前記少なくとも２つの虹彩画像のそれぞれに対応する前記第４サブ特徴マップ間の関連度に基づいて、前記少なくとも２つの虹彩画像に対する比較処理を実行することとを含むことを特徴とする請求項１～７のいずれか１項に記載の方法。
【請求項9】
前記比較処理による比較結果に基づいて、前記少なくとも２つの虹彩画像が同一の対象に対応するか否かを決定することは、前記少なくとも２つの虹彩画像のそれぞれに対応する第４サブ特徴マップ間の関連度が第１閾値よりも大きい場合に、前記少なくとも２つの虹彩画像が同一の対象に対応すると決定することを含むことを特徴とする請求項８に記載の方法。
【請求項10】
比較結果に基づいて、前記少なくとも２つの虹彩画像が同一の対象に対応するか否かを決定することは、前記少なくとも２つの虹彩画像のそれぞれに対応する第４サブ特徴マップ間の関連度が第１閾値以下である場合に、前記少なくとも２つの虹彩画像が異なる対象に対応すると決定することをさらに含むことを特徴とする請求項８又は９に記載の方法。
【請求項11】
前記画像処理方法は畳み込みニューラルネットワークによって実現されることを特徴とする請求項１～１０のいずれか１項に記載の方法。
【請求項12】
比較すべき少なくとも２つの虹彩画像を含む虹彩画像群を取得するための取得モジュールと、前記虹彩画像における虹彩位置及び前記虹彩画像における虹彩領域の分割結果を検出するための検出モジュールと、
前記虹彩位置に対応する画像領域に対するマルチスケール特徴抽出処理及びマルチスケール特徴融合処理を実行して、前記虹彩画像に対応する虹彩特徴マップを得るための特徴処理モジュールと、
前記少なくとも２つの虹彩画像のそれぞれに対応する前記分割結果及び前記虹彩特徴マップを用いて、比較処理を実行し、前記比較処理による比較結果に基づいて、前記少なくとも２つの虹彩画像が同一の対象に対応するか否かを決定するための比較モジュールとを含むことを特徴とする画像処理装置。
【請求項13】
プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリとを、含み、
前記プロセッサは、請求項１～１１のいずれか１項に記載の方法を実行するために、前記メモリに記憶された命令を呼び出すように構成されることを特徴とする電子機器。
【請求項14】
コンピュータプログラム命令が記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、請求項１～１１のいずれか１項に記載の方法を実現させることを特徴とするコンピュータ読取可能記憶媒体。
【請求項15】
コンピュータ読取可能コードを含むコンピュータプログラムであって、前記コンピュータ読取可能コードが電子機器において実行されると、前記電子機器のプロセッサが請求項１～１１のいずれか１項に記載の方法を実現するための命令を実行することを特徴とするコンピュータプログラム。
【国際調査報告】