知財求人 - 知財ポータルサイト「IP Force」
特表2022-516398画像処理方法及び画像処理装置、プロセッサ、電子機器並びに記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-02-28
(54)【発明の名称】画像処理方法及び画像処理装置、プロセッサ、電子機器並びに記憶媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20220218BHJP
G06T 1/40 20060101ALI20220218BHJP
G06T 5/50 20060101ALI20220218BHJP
【ＦＩ】
G06T7/00 350C
G06T1/40
G06T5/50
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021521482
(86)(22)【出願日】2019-12-13
(85)【翻訳文提出日】2021-04-20
(86)【国際出願番号】 CN2019125297
(87)【国際公開番号】W WO2021103187
(87)【国際公開日】2021-06-03
(31)【優先権主張番号】201911182723.7
(32)【優先日】2019-11-27
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】519453342
【氏名又は名称】深▲せん▼市商▲湯▼科技有限公司
【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ ２０１， Ｂｕｉｌｄｉｎｇ Ａ， Ｎｏ． １， Ｑｉａｎｗａｎ Ｒｏａｄ， Ｑｉａｎｈａｉ Ｓｈｅｎｚｈｅｎ－Ｈｏｎｇｋｏｎｇ Ｍｏｄｅｒｎ Ｓｅｒｖｉｃｅ Ｉｎｄｕｓｔｒｙ Ｃｏｏｐｅｒａｔｉｏｎ Ｚｏｎｅ Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００ （ＣＮ）
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】▲陳▼航
(72)【発明者】
【氏名】朱烽
【テーマコード（参考）】
5B057
5L096
【Ｆターム（参考）】
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE06
5B057CE08
5B057CH09
5B057CH11
5B057DB02
5B057DB09
5B057DC40
5L096AA06
5L096BA02
5L096DA03
5L096EA39
5L096FA32
5L096FA33
5L096FA52
5L096FA62
5L096FA66
5L096FA69
5L096GA12
5L096GA51
5L096GA55
5L096HA11
5L096KA04
(57)【要約】
本願は、画像処理方法及び画像処理装置、プロセッサ、電子機器並びに記憶媒体を開示する。該方法は、処理されるべき画像、第１畳み込みカーネル及び第２畳み込みカーネルを取得することであって、前記第１畳み込みカーネルの受容野は、前記第２畳み込みカーネルの受容野と異なる、ことと、前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得ることと、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得ることと、を含む。本願は対応する装置を更に開示する。
【特許請求の範囲】
【請求項1】
処理されるべき画像、第１畳み込みカーネル及び第２畳み込みカーネルを取得することであって、前記第１畳み込みカーネルの受容野は、前記第２畳み込みカーネルの受容野と異なる、ことと、前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得ることと、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得ることと、を含む、画像処理方法。
【請求項2】
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得る前に、前記画像処理方法は、前記処理されるべき画像に対して第１特徴抽出処理を行い、第１セルフアテンション画像を得、前記処理されるべき画像に対して第２特徴抽出処理を行い、第２セルフアテンション画像を得ることであって、前記第１セルフアテンション画像及び前記第２セルフアテンション画像はいずれも、前記処理されるべき画像のスケール情報を表すためのものであり、且つ、前記第１セルフアテンション画像で表されるスケール情報は、前記第２セルフアテンション画像で表されるスケール情報と異なる、ことと、
前記第１セルフアテンション画像に基づいて、前記第１特徴画像の第１重みを決定し、前記第２セルフアテンション画像に基づいて、前記第２特徴画像の第２重みを決定することと、を更に含み、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得ることは、
前記第１重み及び前記第２重みに基づいて、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、前記第１群衆密度画像を得ることを含むことを特徴とする
請求項１に記載の画像処理方法。
【請求項3】
前記第１重み及び前記第２重みに基づいて、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、前記第１群衆密度画像を得ることは、前記第１重みと前記第１特徴画像とのドット積を決定し、第３特徴画像を得ることと、
前記第２重みと前記第２特徴画像とのドット積を決定し、第４特徴画像を得ることと、
前記第３特徴画像と前記第４特徴画像に対して融合処理を行い、前記第１群衆密度画像を得ることと、を含むことを特徴とする
請求項２に記載の画像処理方法。
【請求項4】
前記第１セルフアテンション画像に基づいて、前記第１特徴画像の第１重みを決定し、前記第２セルフアテンション画像に基づいて、前記第２特徴画像の第２重みを決定することは、前記第１セルフアテンション画像及び前記第２セルフアテンション画像に対して正規化処理を行い、前記第１セルフアテンション画像に対応する第３セルフアテンション画像及び前記第２セルフアテンション画像に対応する第４セルフアテンション画像を得ることと、
前記第３セルフアテンション画像を前記第１重みとし、前記第４セルフアテンション画像を前記第２重みとすることと、を含むことを特徴とする
請求項２又は３に記載の画像処理方法。
【請求項5】
前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得る前に、前記画像処理方法は、前記処理されるべき画像に対して第３特徴抽出処理を行い、第５特徴画像を得ることを更に含み、
前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得ることは、
前記第１畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第２特徴画像を得ることを含み、
前記処理されるべき画像に対して第１特徴抽出処理を行い、第１セルフアテンション画像を得、前記処理されるべき画像に対して第２特徴抽出処理を行い、第２セルフアテンション画像を得ることは、
前記第５特徴画像に対して前記第１特徴抽出処理を行い、前記第１セルフアテンション画像を得、前記第５特徴画像に対して前記第２特徴抽出処理を行い、前記第２セルフアテンション画像を得ることを含むことを特徴とする
請求項２から４のうちいずれか一項に記載の画像処理方法。
【請求項6】
前記第１畳み込みカーネル及び前記第２畳み込みカーネルはいずれも拡張畳み込みカーネルであり、且つ前記第１畳み込みカーネルの大きさは、前記第２畳み込みカーネルの大きさと同じであり、前記第１畳み込みカーネルの重みは、前記第２畳み込みカーネルの重みと同じであり、前記第１畳み込みカーネルの拡張率は、前記第２畳み込みカーネルの拡張率と異なることを特徴とする請求項１から５のうちいずれか一項に記載の画像処理方法。
【請求項7】
前記第１畳み込みカーネル又は前記第２畳み込みカーネルの拡張率は、基準値であることを特徴とする請求項６に記載の画像処理方法。
【請求項8】
前記画像処理方法は、前記第１群衆密度画像における画素値の和を決定し、前記処理されるべき画像における人数を得ることを更に含むことを特徴とする請求項１から７のうちいずれか一項に記載の画像処理方法。
【請求項9】
前記画像処理方法は、群衆計数ネットワークに適用され、前記群衆計数ネットワークの訓練プロセスは、
サンプル画像を取得することと、
前記群衆計数ネットワークを用いて前記サンプル画像を処理し、第２群衆密度画像を得ることと、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることと、
前記ネットワーク損失に基づいて、前記群衆計数ネットワークのパラメータを調整することと、を含むことを特徴とする
請求項１から８のうちいずれか一項に記載の画像処理方法。
【請求項10】
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得る前に、前記画像処理方法は、前記サンプル画像の実際群集密度画像を得ることを更に含み、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることは、
前記実際群集密度画像と前記第２群衆密度画像との差異に基づいて、前記ネットワーク損失を得ることを含むことを特徴とする
請求項９に記載の画像処理方法。
【請求項11】
前記群衆計数ネットワークにより前記サンプル画像を処理し、第２群衆密度画像を得る前に、前記画像処理方法は、前記サンプル画像に対して前処理を行い、少なくとも１枚の前処理された画像を得ることを更に含み、
前記群衆計数ネットワークにより前記サンプル画像を処理し、第２群衆密度画像を得ることは、
前記群衆計数ネットワークを用いて、前記少なくとも１枚の前処理された画像を処理し、少なくとも１枚の第３群衆密度画像を得ることであって、前記前処理された画像は、前記第３群衆密度画像に一対一に対応する、ことを含み、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることは、
前記少なくとも１枚の前処理された画像のうちのターゲット画像と前記ターゲット画像に対応する第３群衆密度画像との差異に基づいて、前記ネットワーク損失を得ることを含むことを特徴とする
請求項９に記載の画像処理方法。
【請求項12】
前記前処理は、前記サンプル画像から、所定の寸法の画像を切り出すことと、前記サンプル画像又は前記所定の寸法の画像に対して反転処理を行うことと、のうちの少なくとも１つを含むことを特徴とする請求項１１に記載の画像処理方法。
【請求項13】
処理されるべき画像、第１畳み込みカーネル及び第２畳み込みカーネルを取得するように構成される取得ユニットであって、前記第１畳み込みカーネルの受容野は、前記第２畳み込みカーネルの受容野と異なる、取得ユニットと、前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得るように構成される畳み込み処理ユニットと、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得るように構成される融合処理ユニットと、を備える、画像処理装置。
【請求項14】
前記画像処理装置は、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得る前に、前記処理されるべき画像に対して第１特徴抽出処理を行い、第１セルフアテンション画像を得、前記処理されるべき画像に対して第２特徴抽出処理を行い、第２セルフアテンション画像を得るように構成される特徴抽出処理ユニットであって、前記第１セルフアテンション画像及び前記第２セルフアテンション画像はいずれも、前記処理されるべき画像のスケール情報を表すためのものであり、且つ、前記第１セルフアテンション画像で表されるスケール情報は、前記第２セルフアテンション画像で表されるスケール情報と異なる、特徴抽出処理ユニットと、
前記第１セルフアテンション画像に基づいて、前記第１特徴画像の第１重みを決定し、前記第２セルフアテンション画像に基づいて、前記第２特徴画像の第２重みを決定するように構成される第１決定ユニットと、を更に備え、
前記融合処理ユニットは、
前記第１重み及び前記第２重みに基づいて、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、前記第１群衆密度画像を得るように構成されることを特徴とする
請求項１３に記載の画像処理装置。
【請求項15】
前記融合処理ユニットは具体的には、前記第１重みと前記第１特徴画像とのドット積を決定し、第３特徴画像を得、
前記第２重みと前記第２特徴画像とのドット積を決定し、第４特徴画像を得、
前記第３特徴画像と前記第４特徴画像に対して融合処理を行い、前記第１群衆密度画像を得るように構成されることを特徴とする
請求項１４に記載の画像処理装置。
【請求項16】
前記第１決定ユニットは、前記第１セルフアテンション画像及び前記第２セルフアテンション画像に対して正規化処理を行い、前記第１セルフアテンション画像に対応する第３セルフアテンション画像及び前記第２セルフアテンション画像に対応する第４セルフアテンション画像を得、
前記第３セルフアテンション画像を前記第１重みとし、前記第４セルフアテンション画像を前記第２重みとするように構成されることを特徴とする
請求項１４又は１５に記載の画像処理装置。
【請求項17】
前記特徴抽出処理ユニットは更に、前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得る前に、前記処理されるべき画像に対して第３特徴抽出処理を行い、第５特徴画像を得るように構成され、前記畳み込み処理ユニットは、
前記第１畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第２特徴画像を得るように構成され、
前記特徴抽出処理ユニットは更に、
前記第５特徴画像に対して前記第１特徴抽出処理を行い、前記第１セルフアテンション画像を得、前記第５特徴画像に対して前記第２特徴抽出処理を行い、前記第２セルフアテンション画像を得るように構成されることを特徴とする
請求項１４から１６のうちいずれか一項に記載の画像処理装置。
【請求項18】
前記第１畳み込みカーネル及び前記第２畳み込みカーネルはいずれも拡張畳み込みカーネルであり、且つ前記第１畳み込みカーネルの大きさは、前記第２畳み込みカーネルの大きさと同じであり、前記第１畳み込みカーネルの重みは、前記第２畳み込みカーネルの重みと同じであり、前記第１畳み込みカーネルの拡張率は、前記第２畳み込みカーネルの拡張率と異なることを特徴とする請求項１３から１７のうちいずれか一項に記載の画像処理装置。
【請求項19】
前記第１畳み込みカーネル又は前記第２畳み込みカーネルの拡張率は、基準値であることを特徴とする請求項１８に記載の画像処理装置。
【請求項20】
前記画像処理装置は、前記第１群衆密度画像における画素値の和を決定し、前記処理されるべき画像における人数を得るように構成される第２決定ユニットを更に備えることを特徴とする請求項１３から１９のうちいずれか一項に記載の画像処理装置。
【請求項21】
前記装置により実行される画像処理方法は、群衆計数ネットワークに適用され、前記画像処理装置は、前記群衆計数ネットワークを訓練するように構成される訓練ユニットを更に備え、前記群衆計数ネットワークの訓練プロセスは、
サンプル画像を取得することと、
前記群衆計数ネットワークを用いて前記サンプル画像を処理し、第２群衆密度画像を得ることと、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることと、
前記ネットワーク損失に基づいて、前記群衆計数ネットワークのパラメータを調整することと、を含むことを特徴とする
請求項１２から２０のうちいずれか一項に記載の画像処理装置。
【請求項22】
前記訓練ユニットは更に、前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得る前に、バンプ関数、ガウスカーネル及び前記サンプル画像に基づいて、前記サンプル画像の実際群集密度画像を得、
前記実際群集密度画像と前記第２群衆密度画像との差異に基づいて、前記ネットワーク損失を得るように構成されることを特徴とする
請求項２１に記載の画像処理装置。
【請求項23】
前記訓練ユニットは更に、前記群衆計数ネットワークにより前記サンプル画像を処理し、第２群衆密度画像を得る前に、前記サンプル画像に対して前処理を行い、少なくとも１枚の前処理された画像を得、
前記群衆計数ネットワークを用いて、前記少なくとも１枚の前処理された画像を処理し、少なくとも１枚の第３群衆密度画像を得、前記前処理された画像は、前記第３群衆密度画像に一対一に対応し、
前記少なくとも１枚の前処理された画像のうちのターゲット画像と前記ターゲット画像に対応する第３群衆密度画像との差異に基づいて、前記ネットワーク損失を得るように構成されることを特徴とする
請求項２１に記載の画像処理装置。
【請求項24】
前記前処理は、前記サンプル画像から、所定の寸法の画像を切り出すことと、前記サンプル画像又は前記所定の寸法の画像に対して反転処理を行うことと、のうちの少なくとも１つを含むことを特徴とする請求項２３に記載の画像処理装置。
【請求項25】
請求項１から１２のうちいずれか一項に記載の方法を実行するように構成される、プロセッサ。
【請求項26】
互いに接続されるプロセッサ及びメモリを備える電子機器であって、前記メモリは、コンピュータ命令を含むコンピュータプログラムコードを記憶するように構成され、前記プロセッサは、前記コンピュータ命令を実行して、請求項１から１２のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
【請求項27】
電子機器のプロセッサにより実行されるときに、前記プロセッサに、請求項１から１２のうちいずれか一項に記載の方法を実行させるプログラム命令を含むコンピュータプログラムを記憶した、コンピュータ可読記憶媒体。
【請求項28】
コンピュータで実行されるときに、コンピュータに、請求項１から１２のうちいずれか一項に記載の方法を実行させる命令を含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、２０１９年１１月２７日に中国特許局に提出された、出願番号が２０１９１１１８２７２３．７であり、発明名称が「画像処理方法及び画像処理装置、プロセッサ、電子機器並びに記憶媒体」である中国特許出願に基づく優先権を主張し、その全内容が参照として本願に組み込まれる。
本願は、２０１９年１１月２７日に中国特許局に提出された、出願番号が２０１９１１１８２７２３．７であり、発明名称が「画像処理方法及び画像処理装置、プロセッサ、電子機器並びに記憶媒体」である中国特許出願に基づく優先権を主張し、その全内容が参照として本願に組み込まれる。
【0002】
本願は、画像処理技術分野に関し、特に画像処理方法及び画像処理装置、プロセッサ、電子機器並びに記憶媒体に関する。
【背景技術】
【0003】
公衆場所における交通流が大きすぎる場合、スタンピード事故のような公共事態が発生しやすい。従って、公衆場所に対して群衆計数を如何に行うかは、特に大きな意義を持つ。
【0004】
従来の方法において、深層学習技術に基づいて公衆場所の画像を処理し、画像における特徴情報を抽出し、該特徴情報に基づいて、公衆場所の画像に対応する群衆密度画像を決定し、更に、群衆密度画像に基づいて、該公衆場所の画像における人数を決定し、群衆計数を実現させることができる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本願は、画像処理方法及び画像処理装置、プロセッサ、電子機器並びに記憶媒体を提供する。
【課題を解決するための手段】
【0006】
第１態様によれば、画像処理方法を提供する。前記画像処理方法は、
処理されるべき画像、第１畳み込みカーネル及び第２畳み込みカーネルを取得することであって、前記第１畳み込みカーネルの受容野は、前記第２畳み込みカーネルの受容野と異なる、ことと、
前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得ることと、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得ることと、を含む。
処理されるべき画像、第１畳み込みカーネル及び第２畳み込みカーネルを取得することであって、前記第１畳み込みカーネルの受容野は、前記第２畳み込みカーネルの受容野と異なる、ことと、
前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得ることと、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得ることと、を含む。
【0007】
該態様において、受容野が異なる第１畳み込みカーネルと第２畳み込みカーネルを用いて、処理されるべき画像に対してそれぞれ畳み込み処理を行い、異なるスケールでの、処理されるべき画像のコンテンツを記述する情報を抽出し、第１特徴画像及び第２特徴画像をそれぞれ得る。第１特徴画像と第２特徴画像に対して融合処理を行うことで、異なるスケールでの、処理されるべき画像のコンテンツを記述する情報を利用して、得られる、処理されるべき画像に対応する群衆密度画像の精度を更に向上させる。
【0008】
該実現可能な形態において、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得る前に、前記画像処理方法は、
前記処理されるべき画像に対して第１特徴抽出処理を行い、第１セルフアテンション画像を得、前記処理されるべき画像に対して第２特徴抽出処理を行い、第２セルフアテンション画像を得ることであって、前記第１セルフアテンション画像及び前記第２セルフアテンション画像はいずれも、前記処理されるべき画像のスケール情報を表すためのものであり、且つ、前記第１セルフアテンション画像で表されるスケール情報は、前記第２セルフアテンション画像で表されるスケール情報と異なる、ことと、
前記第１セルフアテンション画像に基づいて、前記第１特徴画像の第１重みを決定し、前記第２セルフアテンション画像に基づいて、前記第２特徴画像の第２重みを決定することと、を更に含み、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得ることは、
前記第１重み及び前記第２重みに基づいて、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、前記第１群衆密度画像を得ることを含む。
前記処理されるべき画像に対して第１特徴抽出処理を行い、第１セルフアテンション画像を得、前記処理されるべき画像に対して第２特徴抽出処理を行い、第２セルフアテンション画像を得ることであって、前記第１セルフアテンション画像及び前記第２セルフアテンション画像はいずれも、前記処理されるべき画像のスケール情報を表すためのものであり、且つ、前記第１セルフアテンション画像で表されるスケール情報は、前記第２セルフアテンション画像で表されるスケール情報と異なる、ことと、
前記第１セルフアテンション画像に基づいて、前記第１特徴画像の第１重みを決定し、前記第２セルフアテンション画像に基づいて、前記第２特徴画像の第２重みを決定することと、を更に含み、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得ることは、
前記第１重み及び前記第２重みに基づいて、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、前記第１群衆密度画像を得ることを含む。
【0009】
該実現可能な形態において、処理されるべき画像に対してそれぞれ第１特徴抽出処理及び第２特徴抽出処理を行い、異なるスケールでの、処理されるべき画像の情報を抽出することで、第１セルフアテンション画像及び第２セルフアテンション画像を得る。第１セルフアテンション画像に基づいて第１特徴画像の第１重みを決定し、第２セルフアテンション画像に基づいて第２特徴画像の第２重みを決定し、第１重み及び第２重みに基づいて、第１特徴画像と第２特徴画像に対して融合処理を行うことで、得られる第１群衆密度画像の精度を向上させることができる。
【0010】
もう１つの実現可能な形態において、前記第１重み及び前記第２重みに基づいて、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、前記第１群衆密度画像を得ることは、
前記第１重みと前記第１特徴画像とのドット積を決定し、第３特徴画像を得ることと、
前記第２重みと前記第２特徴画像とのドット積を決定し、第４特徴画像を得ることと、
前記第３特徴画像と前記第４特徴画像に対して融合処理を行い、前記第１群衆密度画像を得ることと、を含む。
前記第１重みと前記第１特徴画像とのドット積を決定し、第３特徴画像を得ることと、
前記第２重みと前記第２特徴画像とのドット積を決定し、第４特徴画像を得ることと、
前記第３特徴画像と前記第４特徴画像に対して融合処理を行い、前記第１群衆密度画像を得ることと、を含む。
【0011】
また１つの実現可能な形態において、前記第１セルフアテンション画像に基づいて、前記第１特徴画像の第１重みを決定し、前記第２セルフアテンション画像に基づいて、前記第２特徴画像の第２重みを決定することは、
前記第１セルフアテンション画像及び前記第２セルフアテンション画像に対して正規化処理を行い、前記第１セルフアテンション画像に対応する第３セルフアテンション画像及び前記第２セルフアテンション画像に対応する第４セルフアテンション画像を得ることと、
前記第３セルフアテンション画像を前記第１重みとし、前記第４セルフアテンション画像を前記第２重みとすることと、を含む。
前記第１セルフアテンション画像及び前記第２セルフアテンション画像に対して正規化処理を行い、前記第１セルフアテンション画像に対応する第３セルフアテンション画像及び前記第２セルフアテンション画像に対応する第４セルフアテンション画像を得ることと、
前記第３セルフアテンション画像を前記第１重みとし、前記第４セルフアテンション画像を前記第２重みとすることと、を含む。
【0012】
該実現可能な形態において、第１セルフアテンション画像及び第２セルフアテンション画像に対して正規化処理を行うことで、第１セルフアテンション画像と第２セルフアテンション画像における同一位置の画素点の画素値の和を１にすることができる。更に、第１セルフアテンション画像を第１重みとし、第２セルフアテンション画像を第２重みとし、第１特徴画像と第２特徴画像に対して融合処理を行うことで、処理されるべき画像における異なる画像領域に対して、受容野が異なる畳み込み処理を行うことを実現させ、得られる第１群衆密度画像の精度を更に向上させることができる。
【0013】
また１つの実現可能な形態において、前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得る前に、前記画像処理方法は、
前記処理されるべき画像に対して第３特徴抽出処理を行い、第５特徴画像を得ることを更に含み、
前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得ることは、
前記第１畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第２特徴画像を得ることを含み、
前記処理されるべき画像に対して第１特徴抽出処理を行い、第１セルフアテンション画像を得、前記処理されるべき画像に対して第２特徴抽出処理を行い、第２セルフアテンション画像を得ることは、
前記第５特徴画像に対して前記第１特徴抽出処理を行い、前記第１セルフアテンション画像を得、前記第５特徴画像に対して前記第２特徴抽出処理を行い、前記第２セルフアテンション画像を得ることを含む。
前記処理されるべき画像に対して第３特徴抽出処理を行い、第５特徴画像を得ることを更に含み、
前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得ることは、
前記第１畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第２特徴画像を得ることを含み、
前記処理されるべき画像に対して第１特徴抽出処理を行い、第１セルフアテンション画像を得、前記処理されるべき画像に対して第２特徴抽出処理を行い、第２セルフアテンション画像を得ることは、
前記第５特徴画像に対して前記第１特徴抽出処理を行い、前記第１セルフアテンション画像を得、前記第５特徴画像に対して前記第２特徴抽出処理を行い、前記第２セルフアテンション画像を得ることを含む。
【0014】
該実現可能な形態において、第１畳み込みカーネルを用いて、処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、第２畳み込みカーネルを用いて、処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得る前に、処理されるべき画像に対して第３特徴抽出処理を行い、処理されるべき画像の特徴情報を抽出し、第５特徴画像を得る。第１畳み込みカーネルを用いて、第５特徴画像に対して畳み込み処理を行い、第１特徴画像を得、第２畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第２特徴画像を得る。これにより、処理されるべき画像から、より豊かな特徴情報を抽出することができる。
【0015】
また１つの実現可能な形態において、前記第１畳み込みカーネル及び前記第２畳み込みカーネルはいずれも拡張畳み込みカーネルであり、且つ前記第１畳み込みカーネルの大きさは、前記第２畳み込みカーネルの大きさと同じであり、前記第１畳み込みカーネルの重みは、前記第２畳み込みカーネルの重みと同じであり、前記第１畳み込みカーネルの拡張率は、前記第２畳み込みカーネルの拡張率と異なる。
【0016】
該実現可能な形態において、第１畳み込みカーネル及び第２畳み込みカーネルがいずれも拡張畳み込みカーネルである場合、第１畳み込みカーネルの重みと第２畳み込みカーネルの重みを同じくすることができ、且つ第１畳み込みカーネルの受容野と第２畳み込みカーネルの受容野を異なるようにすることができる。このように、第１畳み込みカーネルを用いて処理されるべき画像に対して畳み込み処理を行うことで得られた第１特徴画像に含まれる情報と第２畳み込みカーネルを用いて処理されるべき画像に対して畳み込み処理を行うことで得られた第２特徴画像に含まれる情報は、スケールのみで相違している。第１特徴画像と第２特徴画像に対して融合処理を行う場合、異なるスケールでの処理されるべき画像の情報をより好適に利用して、得られる第１群衆密度画像の精度を向上させることができる。
【0017】
また１つの実現可能な形態において、前記第１畳み込みカーネル又は前記第２畳み込みカーネルの拡張率は、基準値である。
【0018】
該実現可能な形態において、第１畳み込みカーネル又は第２畳み込みカーネルの拡張率を０（即ち、基準値）とすることで、第１畳み込みカーネル又は第２畳み込みカーネルを用いて処理されるべき画像に対して畳み込み処理を行う場合に、処理されるべき画像に対して、受容野が１である畳み込み処理を行うことを実現させ、処理されるべき画像におけるスケールが小さい画像領域の情報をより好適に抽出することができる。
【0019】
また１つの実現可能な形態において、前記画像処理方法は、前記第１群衆密度画像における画素値の和を決定し、前記処理されるべき画像における人数を得ることを更に含む。
【0020】
該実現可能な形態において、第１群衆密度画像に基づいて、処理されるべき画像における人数を決定することができる。
【0021】
また１つの実現可能な形態において、前記画像処理方法は、群衆計数ネットワークに適用され、
前記群衆計数ネットワークの訓練プロセスは、
サンプル画像を取得することと、
前記群衆計数ネットワークを用いて前記サンプル画像を処理し、第２群衆密度画像を得ることと、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることと、
前記ネットワーク損失に基づいて、前記群衆計数ネットワークのパラメータを調整することと、を含む。
前記群衆計数ネットワークの訓練プロセスは、
サンプル画像を取得することと、
前記群衆計数ネットワークを用いて前記サンプル画像を処理し、第２群衆密度画像を得ることと、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることと、
前記ネットワーク損失に基づいて、前記群衆計数ネットワークのパラメータを調整することと、を含む。
【0022】
該実現可能な形態において、訓練された群衆計数ネットワークを用いて、処理されるべき画像を処理することで、処理されるべき画像に対応する群衆密度画像を得ることができる。
【0023】
また１つの実現可能な形態において、前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得る前に、前記画像処理方法は、
バンプ関数、ガウスカーネル及び前記サンプル画像に基づいて、前記サンプル画像の実際群集密度画像を得ることを更に含み、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることは、
前記実際群集密度画像と前記第２群衆密度画像との差異に基づいて、前記ネットワーク損失を得ることを含む。
バンプ関数、ガウスカーネル及び前記サンプル画像に基づいて、前記サンプル画像の実際群集密度画像を得ることを更に含み、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることは、
前記実際群集密度画像と前記第２群衆密度画像との差異に基づいて、前記ネットワーク損失を得ることを含む。
【0024】
該実現可能な形態において、該サンプル画像の実際群集密度画像を群衆計数ネットワークの教師データとして、実際群集密度画像と第２群衆密度画像との差異に基づいて、群衆計数ネットワークのネットワーク損失を決定することで、得られるネットワーク損失の精度を向上させ、群衆計数ネットワークの訓練効果を更に向上させることができる。
【0025】
また１つの実現可能な形態において、前記群衆計数ネットワークにより前記サンプル画像を処理し、第２群衆密度画像を得る前に、前記画像処理方法は、
前記サンプル画像に対して前処理を行い、少なくとも１枚の前処理された画像を得ることを更に含み、
前記群衆計数ネットワークにより前記サンプル画像を処理し、第２群衆密度画像を得ることは、
前記群衆計数ネットワークを用いて、前記少なくとも１枚の前処理された画像を処理し、少なくとも１枚の第３群衆密度画像を得ることであって、前記前処理された画像は、前記第３群衆密度画像に一対一に対応する、ことを含み、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることは、
前記少なくとも１枚の前処理された画像のうちのターゲット画像と前記ターゲット画像に対応する第３群衆密度画像との差異に基づいて、前記ネットワーク損失を得ることを含む。
前記サンプル画像に対して前処理を行い、少なくとも１枚の前処理された画像を得ることを更に含み、
前記群衆計数ネットワークにより前記サンプル画像を処理し、第２群衆密度画像を得ることは、
前記群衆計数ネットワークを用いて、前記少なくとも１枚の前処理された画像を処理し、少なくとも１枚の第３群衆密度画像を得ることであって、前記前処理された画像は、前記第３群衆密度画像に一対一に対応する、ことを含み、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることは、
前記少なくとも１枚の前処理された画像のうちのターゲット画像と前記ターゲット画像に対応する第３群衆密度画像との差異に基づいて、前記ネットワーク損失を得ることを含む。
【0026】
該実現可能な形態において、サンプル画像を群衆計数ネットワークに入力する前に、サンプル画像に対して前処理を行うことで、少なくとも１枚の前処理された画像を得、上記少なくとも１枚の前処理された画像を訓練データとして群衆計数ネットワークに入力する。これにより、群衆計数ネットワークの訓練データ集合を拡張するという効果を達成することができる。
【0027】
また１つの実現可能な形態において、前記前処理は、前記サンプル画像から、所定の寸法の画像を切り出すことと、前記サンプル画像又は前記所定の寸法の画像に対して反転処理を行うことと、のうちの少なくとも１つを含む。
【0028】
第２態様によれば、画像処理装置を提供する。前記画像処理装置は、
処理されるべき画像、第１畳み込みカーネル及び第２畳み込みカーネルを取得するように構成される取得ユニットであって、前記第１畳み込みカーネルの受容野は、前記第２畳み込みカーネルの受容野と異なる、取得ユニットと、
前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得るように構成される畳み込み処理ユニットと、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得るように構成される融合処理ユニットと、を備える。
処理されるべき画像、第１畳み込みカーネル及び第２畳み込みカーネルを取得するように構成される取得ユニットであって、前記第１畳み込みカーネルの受容野は、前記第２畳み込みカーネルの受容野と異なる、取得ユニットと、
前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得るように構成される畳み込み処理ユニットと、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得るように構成される融合処理ユニットと、を備える。
【0029】
実現可能な形態において、前記画像処理装置は、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得る前に、前記処理されるべき画像に対して第１特徴抽出処理を行い、第１セルフアテンション画像を得、前記処理されるべき画像に対して第２特徴抽出処理を行い、第２セルフアテンション画像を得るように構成される特徴抽出処理ユニットであって、前記第１セルフアテンション画像及び前記第２セルフアテンション画像はいずれも、前記処理されるべき画像のスケール情報を表すためのものであり、且つ、前記第１セルフアテンション画像で表されるスケール情報は、前記第２セルフアテンション画像で表されるスケール情報と異なる、特徴抽出処理ユニットと、
前記第１セルフアテンション画像に基づいて、前記第１特徴画像の第１重みを決定し、前記第２セルフアテンション画像に基づいて、前記第２特徴画像の第２重みを決定するように構成される第１決定ユニットと、を更に備え、
前記融合処理ユニットは、
前記第１重み及び前記第２重みに基づいて、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、前記第１群衆密度画像を得るように構成される。
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得る前に、前記処理されるべき画像に対して第１特徴抽出処理を行い、第１セルフアテンション画像を得、前記処理されるべき画像に対して第２特徴抽出処理を行い、第２セルフアテンション画像を得るように構成される特徴抽出処理ユニットであって、前記第１セルフアテンション画像及び前記第２セルフアテンション画像はいずれも、前記処理されるべき画像のスケール情報を表すためのものであり、且つ、前記第１セルフアテンション画像で表されるスケール情報は、前記第２セルフアテンション画像で表されるスケール情報と異なる、特徴抽出処理ユニットと、
前記第１セルフアテンション画像に基づいて、前記第１特徴画像の第１重みを決定し、前記第２セルフアテンション画像に基づいて、前記第２特徴画像の第２重みを決定するように構成される第１決定ユニットと、を更に備え、
前記融合処理ユニットは、
前記第１重み及び前記第２重みに基づいて、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、前記第１群衆密度画像を得るように構成される。
【0030】
もう１つの実現可能な形態において、前記融合処理ユニットは具体的には、
前記第１重みと前記第１特徴画像とのドット積を決定し、第３特徴画像を得、
前記第２重みと前記第２特徴画像とのドット積を決定し、第４特徴画像を得、
前記第３特徴画像と前記第４特徴画像に対して融合処理を行い、前記第１群衆密度画像を得るように構成される。
前記第１重みと前記第１特徴画像とのドット積を決定し、第３特徴画像を得、
前記第２重みと前記第２特徴画像とのドット積を決定し、第４特徴画像を得、
前記第３特徴画像と前記第４特徴画像に対して融合処理を行い、前記第１群衆密度画像を得るように構成される。
【0031】
また１つの実現可能な形態において、前記第１決定ユニットは、
前記第１セルフアテンション画像及び前記第２セルフアテンション画像に対して正規化処理を行い、前記第１セルフアテンション画像に対応する第３セルフアテンション画像及び前記第２セルフアテンション画像に対応する第４セルフアテンション画像を得、
前記第３セルフアテンション画像を前記第１重みとし、前記第４セルフアテンション画像を前記第２重みとするように構成される。
前記第１セルフアテンション画像及び前記第２セルフアテンション画像に対して正規化処理を行い、前記第１セルフアテンション画像に対応する第３セルフアテンション画像及び前記第２セルフアテンション画像に対応する第４セルフアテンション画像を得、
前記第３セルフアテンション画像を前記第１重みとし、前記第４セルフアテンション画像を前記第２重みとするように構成される。
【0032】
また１つの実現可能な形態において、前記特徴抽出処理ユニットは更に、前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得る前に、前記処理されるべき画像に対して第３特徴抽出処理を行い、第５特徴画像を得るように構成され、
前記畳み込み処理ユニットは、
前記第１畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第２特徴画像を得るように構成され、
前記特徴抽出処理ユニットは更に、
前記第５特徴画像に対して前記第１特徴抽出処理を行い、前記第１セルフアテンション画像を得、前記第５特徴画像に対して前記第２特徴抽出処理を行い、前記第２セルフアテンション画像を得るように構成される。
前記畳み込み処理ユニットは、
前記第１畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第２特徴画像を得るように構成され、
前記特徴抽出処理ユニットは更に、
前記第５特徴画像に対して前記第１特徴抽出処理を行い、前記第１セルフアテンション画像を得、前記第５特徴画像に対して前記第２特徴抽出処理を行い、前記第２セルフアテンション画像を得るように構成される。
【0033】
また１つの実現可能な形態において、前記第１畳み込みカーネル及び前記第２畳み込みカーネルはいずれも拡張畳み込みカーネルであり、且つ前記第１畳み込みカーネルの大きさは、前記第２畳み込みカーネルの大きさと同じであり、前記第１畳み込みカーネルの重みは、前記第２畳み込みカーネルの重みと同じであり、前記第１畳み込みカーネルの拡張率は、前記第２畳み込みカーネルの拡張率と異なる。
【0034】
また１つの実現可能な形態において、前記第１畳み込みカーネル又は前記第２畳み込みカーネルの拡張率は、基準値である。
【0035】
また１つの実現可能な形態において、前記画像処理装置は、前記第１群衆密度画像における画素値の和を決定し、前記処理されるべき画像における人数を得るように構成される第２決定ユニットを更に備える。
【0036】
また１つの実現可能な形態において、前記装置により実行される画像処理方法は、群衆計数ネットワークに適用され、
前記画像処理装置は、前記群衆計数ネットワークを訓練するように構成される訓練ユニットを更に備え、前記群衆計数ネットワークの訓練プロセスは、
サンプル画像を取得することと、
前記群衆計数ネットワークを用いて前記サンプル画像を処理し、第２群衆密度画像を得ることと、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることと、
前記ネットワーク損失に基づいて、前記群衆計数ネットワークのパラメータを調整することと、を含む。
前記画像処理装置は、前記群衆計数ネットワークを訓練するように構成される訓練ユニットを更に備え、前記群衆計数ネットワークの訓練プロセスは、
サンプル画像を取得することと、
前記群衆計数ネットワークを用いて前記サンプル画像を処理し、第２群衆密度画像を得ることと、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることと、
前記ネットワーク損失に基づいて、前記群衆計数ネットワークのパラメータを調整することと、を含む。
【0037】
また１つの実現可能な形態において、前記訓練ユニットは更に、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得る前に、バンプ関数、ガウスカーネル及び前記サンプル画像に基づいて、前記サンプル画像の実際群集密度画像を得、
前記実際群集密度画像と前記第２群衆密度画像との差異に基づいて、前記ネットワーク損失を得るように構成される。
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得る前に、バンプ関数、ガウスカーネル及び前記サンプル画像に基づいて、前記サンプル画像の実際群集密度画像を得、
前記実際群集密度画像と前記第２群衆密度画像との差異に基づいて、前記ネットワーク損失を得るように構成される。
【0038】
また１つの実現可能な形態において、前記訓練ユニットは更に、
前記群衆計数ネットワークにより前記サンプル画像を処理し、第２群衆密度画像を得る前に、前記サンプル画像に対して前処理を行い、少なくとも１枚の前処理された画像を得、
前記群衆計数ネットワークを用いて、前記少なくとも１枚の前処理された画像を処理し、少なくとも１枚の第３群衆密度画像を得、前記前処理された画像は、前記第３群衆密度画像に一対一に対応し、
前記少なくとも１枚の前処理された画像のうちのターゲット画像と前記ターゲット画像に対応する第３群衆密度画像との差異に基づいて、前記ネットワーク損失を得るように構成される。
前記群衆計数ネットワークにより前記サンプル画像を処理し、第２群衆密度画像を得る前に、前記サンプル画像に対して前処理を行い、少なくとも１枚の前処理された画像を得、
前記群衆計数ネットワークを用いて、前記少なくとも１枚の前処理された画像を処理し、少なくとも１枚の第３群衆密度画像を得、前記前処理された画像は、前記第３群衆密度画像に一対一に対応し、
前記少なくとも１枚の前処理された画像のうちのターゲット画像と前記ターゲット画像に対応する第３群衆密度画像との差異に基づいて、前記ネットワーク損失を得るように構成される。
【0039】
また１つの実現可能な形態において、前記前処理は、前記サンプル画像から、所定の寸法の画像を切り出すことと、前記サンプル画像又は前記所定の寸法の画像に対して反転処理を行うことと、のうちの少なくとも１つを含む。
【0040】
第３態様によれば、プロセッサを提供する。前記プロセッサは、上記第１態様及びそのいずれか１つの実現可能な形態の方法を実行するように構成される。
【0041】
第４態様によれば、電子機器を提供する。前記電子機器は、互いに接続されるプロセッサ及びメモリを備え、前記メモリは、コンピュータプログラムコードを記憶するように構成され、前記コンピュータプログラムコードは、コンピュータ命令を含み、前記プロセッサが前記コンピュータ命令を実行するときに、前記電子機器は、上記第１態様及びそのいずれか１つの実現可能な形態の方法を実行する。
【0042】
第５態様によれば、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムは、プログラム命令を含み、前記プログラム命令が電子機器のプロセッサにより実行されるときに、前記プロセッサに、上記第１態様及びそのいずれか１つの実現可能な形態の方法を実行させる。
【0043】
第６態様によれば、命令を含むコンピュータプログラムを提供する。前記コンピュータプログラムがコンピュータで実行されるときに、コンピュータに、上記第１態様及びそのいずれか１つの実現可能な形態の方法を実行させる。
【0044】
上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。
【図面の簡単な説明】
【0045】
【図1】本願の実施例による画像処理方法を示すフローチャートである。
【図2a】本願の実施例による畳み込みカーネルを示す概略図である。
【図2b】本願の実施例による畳み込みカーネルの重みを示す概略図である。
【図3】本願の実施例による同一位置の要素を示す概略図である。
【図4】本願の実施例による群衆画像を示す概略図である。
【図5】本願の実施例によるもう１つの画像処理方法を示すフローチャートである。
【図6a】本願の実施例による拡張畳み込みカーネルを示す概略図である。
【図6b】本願の実施例によるもう１つの拡張畳み込みカーネルを示す概略図である。
【図7】本願の実施例によるまた１つの拡張畳み込みカーネルを示す概略図である。
【図8】本願の実施例による群衆計数ネットワークの構造を示す概略図である。
【図9】本願の実施例によるスケール感知型畳み込み層の構造を示す概略図である。
【図10】本願の実施例による画像処理装置の構造を示す概略図である。
【図11】本願の実施例による画像処理装置のハードウェア構造を示す概略図である。
【発明を実施するための形態】
【0046】
本願の実施例又は背景技術における技術的解決手段をより明確に説明するために、以下、本願の実施例又は背景技術に必要な図面を説明する。
【0047】
ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。
【0048】
当業者に本願の技術的解決手段をより良く理解させるために、以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明瞭かつ完全に説明する。勿論、記述される実施例は、全ての実施例ではなく、ただ本願の一部の実施例である。本願における実施例に基づいて、当業者が創造的な労力なしに得られる他の実施例の全ては、本願の保護の範囲に含まれる。
【0049】
本願の明細書及び特許請求の範囲並びに上記図面に言及された「第１」、「第２」等の用語は、異なる対象を区別するためのものであり、特定の順番を説明するためのものではない。なお、「備える」と「有する」という用語及びそれらの変形は、非排他的な包含を網羅することを意図している。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は装置は、明記されたステップ又はユニットに限定されず、明記されていないか又はこれらのプロセス、方法、製品又は装置固有の他のステップ又はユニットを任意選択的に含んでもよい。
【0050】
本明細書における「実施例」という記載は、当実施例に関して説明する特定の特徴、構造または特性が、本願の少なくとも１つの実施例に含まれることを意味する。明細書の各箇所で現れる該語句は、同一の実施例を指すものとは限らず、他の実施例と相互排他的である独立した実施例又は候補実施例を指すものではない。本明細書に記載の実施例は他の実施例とくみあわせられてもよいことは、当業者であれば、明示的又は暗黙的に理解すべきである。
【0051】
公衆場所（例えば、広場、スーパーマーケット、地下鉄駅、埠頭などの場所）において、交通流が大きすぎて、更に、群衆が密集し過ぎることがある。この場合、スタンピード事故のような公共事態が発生しやすい。従って、公衆場所に対して群衆計数を如何に行うかは、特に大きな意義を持つ。
【0052】
深層学習技術の進歩に伴い、深層学習方法で、画像における人数を決定し、群衆計数を実現させることができる。従来の深層学習方法は、１つの畳み込みカーネルを用いて画像全体に対して畳み込み処理を行うことで、画像における特徴情報を抽出し、特徴情報に基づいて画像における人数を決定する。１つの畳み込みカーネルの受容野が一定であるため、１つの畳み込みカーネルを用いて画像全体に対して畳み込み処理を行うと、画像におけるスケールが異なるコンテンツに対して受容野が同じである畳み込み処理を行うことに相当する。画像における異なる人物のスケールが異なるため、画像におけるスケール情報を効果的に抽出できなくなり、更に、決定される人数の誤差を招く。
【0053】
本願において、画像における近位の人物に対応する画像スケールが大きく、画像における遠位の人物に対応する画像スケールが大きい。本願の実施例における「遠」は、画像における人物に対応する真実人物と上記画像を収集するイメージング機器との距離が遠いことを意味し、「近」は、画像における人物に対応する真実人物と上記画像を収集するイメージング機器との距離が近いことを意味する。
【0054】
畳み込みニューラルネットワークにおいて、受容野（ｒｅｃｅｐｔｉｖｅ ｆｉｅｌｄ）の定義は、畳み込みニューラルネットワークの各層から出力された特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）における画素点が入力ピクチャにマッピングした領域の大きさである。本願において、畳み込みカーネルの受容野は、該畳み込みカーネルを用いて画像に対して畳み込み処理を行う受容野である。
【0055】
本願の実施例により提供される技術的解決手段は、画像におけるスケール情報を抽出し、決定される人数の精度を更に向上させることができる。
【0056】
以下、本願の実施例における図面を参照しながら、本願の実施例を説明する。
【0057】
【0058】
１０１において、処理されるべき画像、第１畳み込みカーネル及び第２畳み込みカーネルを取得し、上記第１畳み込みカーネルの受容野は、上記第２畳み込みカーネルの受容野と異なる。
【0059】
本願の実施例の実行主体は、サーバ、携帯電話、コンピュータ、タブレットなどの端末ハードウェアであってもよい。本願の実施例により提供される方法は、プロセッサによりコンピュータによる実行可能なコードを実行することで行われてもよい。上記処理されるべき画像は、任意の画像であってもよい。例えば、処理されるべき画像は、人物対象を含んでもよい。ここで、処理されるべき画像は、胴体、四肢（以下、胴体及び四肢を人体と呼ぶ）を含まず、顔のみを含んでもよい。顔を含まず、人体のみを含んでもよい。下肢又は上肢のみを含んでもよい。本願は、処理されるべき画像に具体的に含まれる人体領域を限定しない。また例えば、処理されるべき画像は、動物を含んでもよい。また例えば、処理されるべき画像は、植物を含んでもよい。本願は、処理されるべき画像に含まれるコンテンツを限定しない。
【0060】
下記を説明する前に、まず、本願の実施例における畳み込みカーネルの重みを定義する。本願の実施例において、チャネルが１である畳み込みカーネルは、ｎ＊ｎ行列の形態で存在する。該行列に、ｎ＊ｎ個の要素が含まれる。各要素は、いずれも値を有する。該行列における要素の値は、畳み込みカーネルの重みである。図２ａに示す３＊３の畳み込みカーネルにおいて、要素ａの値は、４４であり、要素ｂの値は、１１８であり、要素ｃの値は、１９２であり、要素ｄの値は、３２であり、要素ｅの値は、８３であり、要素ｆの値は、２０４であり、要素ｇの値は、６１であり、要素ｈの値は、１７４であり、要素ｉの値は、２５０である。従って、該３＊３の畳み込みカーネルの重みは、図２ｂに示す３＊３の行列である。
【0061】
本願の実施例において、第１畳み込みカーネルの受容野と第２畳み込みカーネルの受容野が異なる場合、第１畳み込みカーネル及び第２畳み込みカーネルはいずれも、任意の大きさの畳み込みカーネルであってもよく、また、第１畳み込みカーネルの重み及び第２畳み込みカーネルの重みはいずれも、任意の自然数であってもよい。本実施例は、第１畳み込みカーネルの大きさ、第２畳み込みカーネルの大きさ、第１畳み込みカーネルの重み及び第２畳み込みカーネルの重みを限定するものではない。
【0062】
処理されるべき画像の取得方式は、ユーザが入力アセンブルにより入力した処理されるべき画像を受信することであってもよく、端末から送信された処理されるべき画像を受信することであってもよい。第１畳み込みカーネルの取得方式は、ユーザが入力アセンブルにより入力した第１畳み込みカーネルを受信することであってもよく、端末から送信された第１畳み込みカーネルを受信することであってもよい。第２畳み込みカーネルの取得方式は、ユーザが入力アセンブルにより入力した第２畳み込みカーネルを受信することであってもよく、端末から送信された第２畳み込みカーネルを受信することであってもよい。上記入力アセンブリは、キーボード、マウス、タッチスクリーン、タッチパッド及びオーディオ入力デバイスなどを含む。上記端末は、携帯電話、コンピュータ、タブレット、サーバなどを含む。
【0063】
１０２において、上記第１畳み込みカーネルを用いて、上記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、上記第２畳み込みカーネルを用いて、上記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得る。
【0064】
第１畳み込みカーネルの受容野と第２畳み込みカーネルの受容野が異なるため、第１畳み込みカーネルを用いて、処理されるべき画像に対して畳み込み処理を行い、第２畳み込みカーネルを用いて、処理されるべき画像に対して畳み込み処理を行うことは、異なる受容野で画像を「観察」し、異なるスケールでの画像情報を取得することに相当する。つまり、第１特徴画像及び第２特徴画像はいずれも、処理されるべき画像のコンテンツを記述するための情報を含むが、第１特徴画像に含まれる情報のスケールは、第２特徴画像に含まれる情報のスケールと異なる。
【0065】
１０３において、上記第１特徴画像と上記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得る。
【0066】
本願の実施例において、群衆密度画像は、群衆密度情報を含む。群衆密度画像における各画素点の画素値は、該画素点での人数を表す。例を挙げると、群衆密度画像における画素点Ａの画素値が０．０５であると、画素点Ａで、０．０５人がいる。
【0067】
一人で覆われる画像領域は少なくとも１つの画素点を含むため、一人で覆われる画像領域が１つの画素点である時、該画素点に対応する画素値は、１であり、一人で覆われる画像領域が少なくとも２つの画素点である時、該少なくとも２つの画素点の画素値の和は、１であることが理解されるべきである。従って、群衆密度画像における画素値の範囲は、０以上であって１以下である。例を挙げると、人物Ａで覆われる画像領域が画素点ａ、画素点ｂ及び画素点ｃを含むと、画素点ａの画素値＋画素点ｂの画素値＋画素点ｃの画素値＝１である。
【0068】
上記第１群衆密度画像は、処理されるべき画像に対応する群衆密度画像であり、処理されるべき画像における群衆密度分布を表すことができる。第１群衆密度画像の寸法は、処理されるべき画像の寸法と同じである。本実施例における画像の寸法は、画像の幅及び高さを指す。第１群衆密度画像における第１画素点の画素値は、処理されるべき画像における第２画素点での人数を表すために用いられる。ここで、第１群衆密度画像における第１画素点の位置は、処理されるべき画像における第２画素点の位置と同じである。
【0069】
本願の実施例において、２枚の画像における同一の位置の画素点は、図３を参照する。図３に示すように、画像Ａにおける画素点Ａ１１の位置は、画像Ｂにおける画素点Ｂ１１の位置と同じであり、画像Ａにおける画素点Ａ１２の位置は、画像Ｂ１２における画素点ｋの位置と同じであり、画像Ａにおける画素点Ａ１３の位置は、画像Ｂにおける画素点Ｂ１３の位置と同じであり、画像Ａにおける画素点Ａ２１の位置は、画像Ｂにおける画素点Ｂ２１の位置と同じであり、画像Ａにおける画素点Ａ２２の位置は、画像Ｂにおける画素点Ｂ２２の位置と同じであり、画像Ａにおける画素点Ａ２３の位置は、画像Ｂにおける画素点Ｂ２３の位置と同じであり、画像Ａにおける画素点Ａ３１の位置は、画像Ｂにおける画素点Ｂ３１の位置と同じであり、画像Ａにおける画素点Ａ３２の位置は、画像Ｂにおける画素点Ｂ３２の位置と同じであり、画像Ａにおける画素点Ａ３３の位置は、画像Ｂにおける画素点Ｂ３３の位置と同じである。
【0070】
画像Ｘにおける画素点ｘの位置が画像Ｙにおける画素点ｙの位置と同じであると、記述の簡潔化を図るために、以下、画素点ｘを画像Ｘにおける、位置が画素点ｙの位置と同じである画素点と呼び、又は、画素点ｙを画像Ｙにおける、位置が画素点ｘの位置と同じである画素点と呼ぶ。
【0071】
第１特徴画像に含まれる、処理されるべき画像の画像コンテンツを記述する情報のスケールが、第２処理されるべき画像に含まれる、処理されるべき画像の画像コンテンツを記述する情報のスケールと異なるため、第１特徴画像と第２特徴画像に対して融合処理（例えば、対応位置の画素値の重み付け処理など）を行うことで、異なるスケールでの、処理されるべき画像の画像コンテンツを記述する情報を利用して、処理されるべき画像に対応する群衆密度画像である第１群衆密度画像を生成することができる。これにより、得られる、処理されるべき画像に対応する群衆密度画像の精度を向上させ、得られる、処理されるべき画像における人数の精度を更に向上させることができる。
【0072】
本実施例は、受容野が異なる２つの畳み込みカーネル（即ち、第１畳み込みカーネル及び第２畳み込みカーネル）により、処理されるべき画像に対してそれぞれ畳み込み処理を行い、２つのスケールでの、処理されるべき画像の画像コンテンツを記述する情報を得ることを説明する。実際の使用において、受容野が異なる３つ又は３つ以上の畳み込みカーネルにより処理されるべき画像に対してそれぞれ畳み込み処理を行い、３つ又は３つ以上のスケールでの、処理されるべき画像の画像コンテンツを記述する情報を得、該３つ又は３つ以上のスケールでの、処理されるべき画像の画像コンテンツを記述する情報を融合し、処理されるべき画像に対応する群衆密度画像を得ることもできる。
【0073】
任意選択的に、第１群衆密度画像を得た後、第１群衆密度画像における全ての画素点の画素値の和を決定することで、処理されるべき画像における人数を得ることができる。
【0074】
本実施例は、受容野が異なる第１畳み込みカーネルと第２畳み込みカーネルを用いて、処理されるべき画像に対してそれぞれ畳み込み処理を行い、異なるスケールでの、処理されるべき画像のコンテンツを記述する情報を抽出し、第１特徴画像及び第２特徴画像をそれぞれ得る。第１特徴画像と第２特徴画像に対して融合処理を行うことで、異なるスケールでの、処理されるべき画像のコンテンツを記述する情報を利用して、得られる、処理されるべき画像に対応する群衆密度画像の精度を向上させ、得られる、処理されるべき画像における人数の精度を更に向上させる。
【0075】
画像において、近位の人物で覆われる画像領域の面積は、遠位の人物で覆われる画像領域の面積よりも大きい。例えば、図４における人物Ａは、人物Ｂと比較して近位の人物であり、且つ人物Ａで覆われる画像領域の面積は、人物Ｂで覆われる画像領域の面積よりも大きい。近位の人物で覆われる画像領域のスケールが大きく、遠位の人物で覆われる画像領域のスケールが小さい。従って、人物で覆われる画像領域の面積は、人物で覆われる画像領域のスケールと正に相関する。勿論、畳み込み処理の受容野が人物で覆われる画像領域の面積と同じである場合、畳み込み処理により得られる人物で覆われる画像領域の情報は最も豊かである（以下、人物で覆われる画像領域の最も豊かな情報を取得できる受容野を、人物で覆われる領域の最適受容野と呼ぶ）。つまり、人物で覆われる画像領域のスケールは、人物で覆われる領域の最適受容野と正に相関する。
【0076】
実施例（１）において、受容野が異なる第１畳み込みカーネルと第２畳み込みカーネルを用いて、処理されるべき画像に対して畳み込み処理を行い、異なるスケールでの、処理されるべき画像のコンテンツを記述する情報を得るが、第１畳み込みカーネルの受容野と第２畳み込みカーネルの受容野がいずれも一定のものであり、処理されるべき画像における異なる画像領域のスケールが異なる。従って、第１畳み込みカーネル及び第２畳み込みカーネルをそれぞれ用いて、処理されるべき画像に対して畳み込み処理を行う場合、処理されるべき画像における各画像領域の最適受容野を得ることができない。つまり、得られる、処理されるべき画像における異なる画像領域の情報をいずれも最も豊かにすることができない。このため、本願の実施例は、第１特徴画像と第２特徴画像に対して融合処理を行う時、第１特徴画像及び第２特徴画像を重み付けすることで、処理されるべき画像における異なるスケールの画像領域に対して、受容野が異なる畳み込み処理を行い、より豊かな情報を更に得ることを更に提供する。
【0077】
【0078】
５０１において、上記処理されるべき画像に対して第１特徴抽出処理を行い、第１セルフアテンション画像を得、上記処理されるべき画像に対して第２特徴抽出処理を行い、第２セルフアテンション画像を得、上記第１セルフアテンション画像及び上記第２セルフアテンション画像はいずれも、上記処理されるべき画像のスケール情報を表すためのものであり、且つ、上記第１セルフアテンション画像で表されるスケール情報は、上記第２セルフアテンション画像で表されるスケール情報と異なる。
【0079】
本願の実施例において、特徴抽出処理は、畳み込み処理であってもよく、プーリング処理であってもよく、畳み込み処理とプーリング処理の組み合わせであってもよい。本願は、第１特徴抽出処理の実現形態及び第２特徴抽出処理の実現形態を限定しない。
【0080】
実現可能な形態において、多層の畳み込み層により、処理されるべき画像に対して、段階的畳み込み処理を順に行い、処理されるべき画像に対する第１特徴抽出処理を実現させ、第１セルフアテンション画像を得る。同様に、多層の畳み込み層により、処理されるべき画像に対して、段階的畳み込み処理を順に行い、処理されるべき画像に対する第２特徴抽出処理を実現させ、第２セルフアテンション画像を得る。
【0081】
任意選択的に、第１畳み込みカーネルを用いて、処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、第２畳み込みカーネルを用いて、処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得る前に、処理されるべき画像に対して第３特徴抽出処理を行い、処理されるべき画像の特徴情報を抽出し、第５特徴画像を得ることができる。第１畳み込みカーネルを用いて、第５特徴画像に対して畳み込み処理を行い、第１特徴画像を得、第２畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第２特徴画像を得る。これにより、処理されるべき画像から、より豊かな特徴情報を抽出することができる。
【0082】
上記第１セルフアテンション画像の寸法及び上記第２セルフアテンション画像の寸法はいずれも、処理されるべき画像の寸法と同じである。上記第１セルフアテンション画像及び上記第２セルフアテンション画像はいずれも、処理されるべき画像のスケール情報（即ち、処理されるべき画像における異なる画像領域のスケール）を表すために用いられ、且つ、第１セルフアテンション画像で表されるスケール情報は、第２セルフアテンション画像で表されるスケール情報と異なる。本願の実施例において、画像（上記第１特徴画像、上記第２特徴画像、上記第１セルフアテンション画像、上記第２セルフアテンション画像、以下に言及される第３セルフアテンション画像などを含む）のスケールは、処理されるべき画像に対して特徴抽出処理（上記第１特徴抽出処理、上記第２特徴抽出処理及び上記第３特徴抽出処理）を行う時に用いられる畳み込みカーネルの受容野に合致する。例えば、大きさが３＊３である畳み込みカーネルを用いて画像に対して畳み込み処理を行うことで得られる画像のスケールはａであり、大きさが５＊５である畳み込みカーネルを用いて画像に対して畳み込み処理を行うことで得られる画像のスケールはｂであると、大きさが３＊３である畳み込みカーネルを用いて、処理されるべき画像に対して特徴抽出処理を行うことで得られるセルフアテンション画像のスケールは、ａであり（即ち、該セルフアテンション画像は、スケールａでの、処理されるべき画像の情報を表すことができる）、大きさが５＊５である畳み込みカーネルを用いて、処理されるべき画像に対して特徴抽出処理を行うことで得られる特徴画像のスケールは、ｂである。
【0083】
例（例１）を挙げると、第１セルフアテンション画像は、スケールａでの、処理されるべき画像の情報を表し、第２セルフアテンション画像は、スケールｂでの、処理されるべき画像の情報を表し、ここで、スケールａは、スケールｂよりも大きい。
【0084】
第１セルフアテンション画像における画素点の画素値及び第２セルフアテンション画像における画素点の画素値の範囲はいずれも、０以上であって１以下である。第１セルフアテンション画像（又は、第２セルフアテンション画像）における１つの画素点の画素値が１に近づくほど、処理されるべき画像における、位置が該画素点の位置と同じである画素点の最適スケールは第１セルフアテンション画像（又は、第２セルフアテンション画像）で表されるスケールに近づくことを表す。本願の実施例において、最適スケールは、該画素点の最適受容野に対応するスケールである。
【0085】
例１に続いて例を挙げると、画素点ａ及び画素点ｂは、第１セルフアテンション画像における２つの異なる画素点であり、画素点ｃは、処理されるべき画像における位置が、第１セルフアテンション画像における画素点ａの位置と同じである画素点であり、画素点ｄは、処理されるべき画像における位置が、第１セルフアテンション画像における画素点ｂの位置と同じである画素点である。画素点ａの画素値が０．９であり、画素点ｂの画素値が０．７であると、画素点ｃの最適スケールとスケールｃとの差異は、画素点ｄの最適スケールとスケールｃとの差異よりも小さい。
【0086】
５０２において、上記第１セルフアテンション画像に基づいて、上記第１特徴画像の第１重みを決定し、上記第２セルフアテンション画像に基づいて、上記第２特徴画像の第２重みを決定する。
【0087】
任意選択的に、上記第１セルフアテンション画像で表されるスケールは、第１特徴画像のスケールと同じであり、上記第２セルフアテンション画像で表されるスケールは、第２特徴画像のスケールと同じである。従って、第１セルフアテンション画像における画素点の画素値が１に近づくほど、第１特徴画像における位置が、第１セルフアテンション画像における該画素点の位置と同じである画素点の最適スケールは第１特徴画像のスケールに近づくことを表し、第２セルフアテンション画像における画素点の画素値が１に近づくほど、第２特徴画像における位置が、第２セルフアテンション画像における該画素点の位置と同じである画素点の最適スケールは第２特徴画像のスケールに近づくことを表す。
【0088】
従って、第１セルフアテンション画像に基づいて、第１特徴画像の第１重みを決定し、第１特徴画像における画素点のスケールを調整し、第１特徴画像における画素点のスケールを最適スケールに更に近づけることができる。同様に、第２セルフアテンション画像に基づいて、第２特徴画像の第２重みを決定し、第２特徴画像における画素点のスケールを調整し、第２特徴画像における画素点のスケールを最適スケールに更に近づけることができる。
【0089】
実現可能な形態において、第１セルフアテンション画像及び第２セルフアテンション画像に対して正規化処理を行い、第１セルフアテンション画像に対応する第３セルフアテンション画像及び第２セルフアテンション画像に対応する第４セルフアテンション画像を得ることができる。第３セルフアテンション画像を上記第１重みとし、第４セルフアテンション画像を上記第２重みとする
上記実現可能な形態において、第１セルフアテンション画像及び第２セルフアテンション画像に対して正規化処理を行うことで、第１セルフアテンション画像と第２セルフアテンション画像における同一の位置の画素点の画素値の和を１にすることができる。例を挙げると、第１セルフアテンション画像における画素点ａの位置は、第２セルフアテンション画像における画素点ｂの位置と同じであると、第１セルフアテンション画像及び第２セルフアテンション画像に対して正規化処理を行った後、画素点ａと画素点ｂの画素値の和は、１である。例えば、第３セルフアテンション画像における画素点ｃの位置は、第１セルフアテンション画像における画素点ａの位置と同じであり、第４セルフアテンション画像における画素点ｄの位置は、第２セルフアテンション画像における画素点ｂの位置と同じであると、画素値ｃの画素値と画素点ｄの画素値の和は１である。
上記実現可能な形態において、第１セルフアテンション画像及び第２セルフアテンション画像に対して正規化処理を行うことで、第１セルフアテンション画像と第２セルフアテンション画像における同一の位置の画素点の画素値の和を１にすることができる。例を挙げると、第１セルフアテンション画像における画素点ａの位置は、第２セルフアテンション画像における画素点ｂの位置と同じであると、第１セルフアテンション画像及び第２セルフアテンション画像に対して正規化処理を行った後、画素点ａと画素点ｂの画素値の和は、１である。例えば、第３セルフアテンション画像における画素点ｃの位置は、第１セルフアテンション画像における画素点ａの位置と同じであり、第４セルフアテンション画像における画素点ｄの位置は、第２セルフアテンション画像における画素点ｂの位置と同じであると、画素値ｃの画素値と画素点ｄの画素値の和は１である。
【0090】
任意選択的に、上記正規化処理は、第１セルフアテンション画像及び第２セルフアテンション画像をそれぞれｓｏｆｔｍａｘ関数に入力することで実現してもよい。第１セルフアテンション画像及び第２セルフアテンション画像がいずれも複数のチャネルの画像を含むと、第１セルフアテンション画像と第２セルフアテンション画像における同じチャネルの画像をそれぞれｓｏｆｔｍａｘ関数に入力することが理解されるべきである。例えば、第１セルフアテンション画像及び第２セルフアテンション画像がいずれも２つのチャネルの画像を含むと、第１セルフアテンション画像及び第２セルフアテンション画像に対して正規化処理を行う場合、第１セルフアテンション画像における１つ目のチャネルの画像及び第２セルフアテンション画像における１つ目のチャネルの画像をｓｏｆｔｍａｘ関数に入力し、第３セルフアテンション画像における１つ目のチャネルの画像及び第４セルフアテンション画像における１つ目のチャネルの画像を得ることができる。
【0091】
５０３において、上記第１重み及び上記第２重みに基づいて、上記第１特徴画像と上記第２特徴画像に対して融合処理を行い、上記第１群衆密度画像を得る。
【0092】
第１特徴画像を得るための畳み込み処理の受容野は第２特徴画像を得るための畳み込み処理の受容野と異なるため、第３セルフアテンション画像を第１特徴画像の第１重みとし、第４セルフアテンション画像を第２特徴画像の第２重みとし、第１特徴画像と第２特徴画像に対して融合処理を行うことで、処理されるべき画像における異なる画像領域に対して、最適受容野での畳み込み処理を行うことができる。これにより、処理されるべき画像における異なる画像領域の情報を十分ｎ抽出し、得られる、処理されるべき画像に対応する群衆密度画像の精度をより高くすることができる。
【0093】
第１重み及び第２重みに基づいて、第１特徴画像と第２特徴画像に対して融合処理を行い、第１群衆密度画像を得るための実現形態において、第１重みと第１特徴画像とのドット積を算出し、第３特徴画像を得、第２重みと第２特徴画像とのドット積を算出し、第４特徴画像を得る。第３特徴画像と第４特徴画像に対して融合処理（例えば、同一位置の画素値の加算）を行うことで、第１群衆密度画像を得ることができる。
【0094】
本実施例において、処理されるべき画像に対してそれぞれ第１特徴抽出処理及び第２特徴抽出処理を行い、異なるスケールでの、処理されるべき画像の情報を抽出することで、第１セルフアテンション画像及び第２セルフアテンション画像を得る。第１セルフアテンション画像に基づいて第１特徴画像の第１重みを決定し、第２セルフアテンション画像に基づいて第２特徴画像の第２重みを決定し、第１重み及び第２重みに基づいて、第１特徴画像と第２特徴画像に対して融合処理を行うことで、得られる第１群衆密度画像の精度を向上させることができる。
【0095】
実施例（１）及び実施例（２）における第１畳み込みカーネルの重みと第２畳み込みカーネルの重みが異なる場合、第１畳み込みカーネルを用いて処理されるべき画像に対して畳み込み処理を行うことで抽出される特徴情報のキーポイントは、第２畳み込みカーネルを用いて処理されるべき画像に対して畳み込み処理を行うことで抽出される特徴情報のキーポイントと異なる。例えば、第１畳み込みカーネルを用いて処理されるべき画像に対して畳み込み処理を行う場合のキーポイントは、処理されるべき画像における人物の属性特徴（例えば、衣類の色、ズボンの長さ）の抽出であり、第２畳み込みカーネルを用いて処理されるべき画像に対して畳み込み処理を行う場合のキーポイントは、処理されるべき画像における人物の輪郭特徴（該輪郭特徴は、処理されるべき画像に人物が含まれるかどうかを認識するために用いられる）の抽出である。第１畳み込みカーネルの受容野と第２畳み込みカーネルの受容野が異なることを更に考慮して、後続で、抽出された第１特徴画像と第２特徴画像に対して融合処理を行う場合、異なるスケールでの異なる特徴情報を融合する（例えば、スケールａでの属性特徴とスケールｂでの輪郭特徴を融合する）必要がある。これにより、スケール情報の融合が難しくなる。
【0096】
このため、本願の実施例は、第１畳み込みカーネルの重みと第２畳み込みカーネルの重みを同じくすることで、第１特徴画像と第２特徴画像に対して融合処理を行う場合の非スケール情報の融合を減少させ、スケール情報融合効果を向上させ、得られる第１群衆密度画像の精度を更に向上させるという技術的解決手段を更に提供する。
【0097】
第１畳み込みカーネル及び第２畳み込みカーネルが一般的な畳み込みカーネルであると、第１畳み込みカーネルの受容野と第２畳み込みカーネルの受容野が異なる場合、第１畳み込みカーネルの重みと第２畳み込みカーネルの重みは同一であってはならない。従って、以下説明される技術的解決手段において、第１畳み込みカーネル及び第２畳み込みカーネルはいずれも拡張畳み込みカーネルであり、且つ、第１畳み込みカーネルの大きさと第２畳み込みカーネルの大きさは同じであり、第１畳み込みカーネルの重みと第２畳み込みカーネルの重みは同じであり、第１畳み込みカーネルの拡張率と第２畳み込みカーネルの拡張率は異なる。
【0098】
例を挙げると、図６ａ、図６ｂに示す２つの拡張畳み込みカーネルを参照する。上記２つの拡張畳み込みカーネルの大きさはいずれも３＊３である。ここで、図６ａに示す拡張畳み込みカーネル及び図６ｂに示す拡張畳み込みカーネルにおける黒色領域は、パラメータありを表し、黒色部分は、パラメータ無しを表す（つまり、パラメータが０である）。任意選択的に、図６ａに示す拡張畳み込みカーネルの重みと図６ｂに示す拡張畳み込みカーネルの重みを同じくすることができる。なお、図面から分かるように、図６ａに示す拡張畳み込みカーネルの拡張率が２であり、図６ｂに示す拡張畳み込みカーネルの拡張率が１であるため、図６ａに示す拡張畳み込みカーネルの受容野は、図６ｂに示す拡張畳み込みカーネルの受容野と異なり、具体的には、図６ａに示す拡張畳み込みカーネルの受容野（５＊５）は、図６ｂに示す拡張畳み込みカーネルの受容野（３＊３）よりも大きい。
【0099】
第１畳み込みカーネル及び第２畳み込みカーネルがいずれも拡張畳み込みカーネルである場合、第１畳み込みカーネルの重みと第２畳み込みカーネルの重みを同じくすることができ、且つ第１畳み込みカーネルの受容野と第２畳み込みカーネルの受容野を異なるようにすることができる。このように、第１畳み込みカーネルを用いて処理されるべき画像に対して畳み込み処理を行うことで得られた第１特徴画像に含まれる情報と第２畳み込みカーネルを用いて処理されるべき画像に対して畳み込み処理を行うことで得られた第２特徴画像に含まれる情報は、スケールのみで相違している。第１特徴画像と第２特徴画像に対して融合処理を行う場合、異なるスケールでの処理されるべき画像の情報をより好適に利用して、得られる第１群衆密度画像の精度を向上させることができる。
【0100】
任意選択的に、第１畳み込みカーネルと第２畳み込みカーネルに同一組の重みを共有させることで、第１畳み込みカーネルの重みと第２畳み込みカーネルの重みを同じくすることができる。これにより、後続で、第１畳み込みカーネル及び第２畳み込みカーネルをそれぞれ用いて、処理されるべき画像に対して畳み込み処理を行う場合、処理を必要とするパラメータの数を減少させることができる。
【0101】
拡張畳み込みカーネルの大きさが一定である場合、拡張畳み込みカーネルの受容野は、拡張畳み込みカーネルの拡張率と正に相関する。拡張畳み込みカーネルの拡張率が１である場合、拡張畳み込みカーネルの受容野は、同じ大きさの一般的な畳み込みカーネルの受容野と同じである。例えば、図６ｂに示す拡張畳み込みカーネルの拡張率が１である。この場合、該拡張畳み込みカーネルの受容野は、大きさが３＊３である一般的な畳み込みカーネルの受容野と同じである。
【0102】
処理されるべき画像に最適スケールが小さい画像領域が存在することを考慮して、より豊かな情報を抽出するために、これらのスケールが小さい画像領域に対して受容野が小さい畳み込み処理を行う必要がある。このため、本願の実施例は、拡張畳み込みカーネルの拡張率を０（即ち、基準値）とすることで、拡張畳み込みカーネルの受容野を一般的な畳み込みカーネルの受容野よりも小さくし、処理されるべき画像におけるスケールが小さい画像領域の情報をより好適に抽出することを更に提供する。
【0103】
以下、拡張率が０である拡張畳み込みカーネルが如何に実現するかを理論的に導き出す。
【0104】
大きさが３＊３であり、拡張率がｄである拡張畳み込みカーネルを用いて処理されるべき画像に対して畳み込み処理を行うとすると、該畳み込み処理プロセスは、下記式を満たす。
【0105】
【化1】
【0106】
ここで、ｘ及びｙはそれぞれ、拡張畳み込みカーネルが処理されるべき画像における１つの画素点までにスライドする時の拡張畳み込みカーネルの中心画素点の位置である。
【0107】
【化2】
【0108】
は、処理されるべき画像での、処理されるべき画像におけるサンプリング点の座標である。
【0109】
【化3】
【0110】
は、拡張畳み込みカーネルの重みであり、ｂは、拡張畳み込みカーネルの偏差である。
【0111】
【化4】
【0112】
は、処理されるべき画像であり、
【0113】
【化5】
【0114】
は、拡張畳み込みカーネルを用いて処理されるべき画像に対して畳み込み処理を行うことで得られる特徴画像である。
【0115】
ｄ＝０である時、式（１）を下記式に変換することができる。
【0116】
【化6】
【0117】
ここで、
【0118】
【化7】
【0119】
は、大きさが１＊１である一般的な畳み込みカーネルの重みを表し、
【0120】
【化8】
【0121】
は、大きさが１＊１である一般的な畳み込みカーネルの偏差を表す。式（２）から分かるように、大きさが３＊３であり、拡張率が０である１つの拡張畳み込みカーネルを用いて処理されるべき画像に対して畳み込み処理を行うことは、大きさが１＊１である９つの一般的な畳み込みカーネルを用いて処理されるべき画像に対してそれぞれ畳み込み処理を行うことと等価である。従って、拡張率が０である拡張畳み込みカーネルの代わりに、９つの１＊１の一般的な畳み込みカーネルを用いることができる。つまり、拡張率が０である拡張畳み込みカーネルにおける全ての重みは、いずれも拡張畳み込みカーネルにおける同一の位置にある。図７に、大きさが３＊３であり、拡張率が０である拡張畳み込みカーネルを示す。図６に示す拡張畳み込みカーネルにおける黒色領域は、重みが存在する位置である。図６に示す拡張畳み込みカーネルから分かるように、拡張率が０である拡張畳み込みカーネルの受容野は１である。
【0122】
本願の実施例において、第１畳み込みカーネルが拡張畳み込みカーネルである場合、第１畳み込みカーネル拡張率を０とすることで、第１畳み込みカーネルを用いて処理されるべき画像に対して畳み込み処理を行う時、処理されるべき画像に対して、受容野が１である畳み込み処理を行うことを実現させ、処理されるべき画像におけるスケールが小さい画像領域の情報をより好適に抽出することができる。
【0123】
本願の実施例は、上記で言及された技術的解決手段を実現させるための群衆計数ネットワークを更に提供する。図８を参照すると、図８は、本願の実施例による群衆計数ネットワークの構造を示す概略図である。図８に示すように、群衆計数ネットワークにおけるネットワーク層は、順に直列接続され、計１１層の畳み込み層、９層のプーリング層及び６層のスケール感知型畳み込み層を含む。
【0124】
処理されるべき画像を群衆計数ネットワークに入力し、第１層の畳み込み層により、処理されるべき画像を処理することで、第１層の畳み込み層から出力された画像を得、第１層の畳み込み層から出力された画像を第２層の畳み込み層により処理することで、第２層の畳み込み層から出力された画像を得、第２層の畳み込み層から出力された画像を第１層のプーリング層により処理することで、第１層のプーリング層から出力された画像を得、…、第１０層の畳み込み層から出力された画像を第１層のスケール感知型畳み込み層により処理することで、第１層のスケール感知型畳み込み層から出力された画像を得、…、第９層のプーリング層から出力された画像を第１１層の畳み込み層により処理することで、第１群衆密度画像を得る。
【0125】
任意選択的に、群衆計数ネットワークにおける、上記第１１層の畳み込み層以外のすべての畳み込み層における畳み込みカーネルの大きさはいずれも３＊３であってもよく、第１１層の畳み込み層における畳み込みカーネルの大きさは、１＊１である。第１層の畳み込み層における畳み込みカーネルの数及び第２層の畳み込み層における畳み込みカーネルの数はいずれも６４であってもよく、第３層の畳み込み層における畳み込みカーネルの数及び第４層の畳み込み層における畳み込みカーネルの数はいずれも１２８であってもよく、第５層の畳み込み層における畳み込みカーネルの数、第６層の畳み込み層における畳み込みカーネルの数及び第７層の畳み込み層における畳み込みカーネルの数はいずれも２５６であってもよく、第８層の畳み込み層における畳み込みカーネルの数、第９層の畳み込み層における畳み込みカーネルの数及び第１０層の畳み込み層における畳み込みカーネルの数はいずれも５１２であってもよく、第１１層の畳み込み層における畳み込みカーネルの数は１である。
【0126】
群衆計数ネットワークにおけるプーリング層は最大プーリング層であってもよく、平均プーリング層であってもよく、本願は、これを限定しない。
【0127】
スケール感知型畳み込み層の構造の概略図は、図９を参照する。図９に示すように、スケール感知型畳み込み層は、３つの拡張畳み込みカーネル、１つのセルフアテンションモジュールを含む。上記３つの拡張畳み込みカーネルの構造は、図６ａ、図６ｂ及び図７を参照する。ここで、詳細な説明を省略する。上記セルフアテンションモジュールは、３つの並列接続される畳み込み層を含む。
【0128】
スケール感知型畳み込み層の入力画像を受容野が異なる３つの拡張畳み込みカーネルによりそれぞれ処理し、第６特徴画像、第７特徴画像及び第８特徴画像をそれぞれ得る。
【0129】
スケール感知型畳み込み層の入力画像をセルフアテンションモジュールにおける３つの畳み込み層によりそれぞれ畳み込み処理し、第５セルフアテンション画像、第６セルフアテンション画像及び第７セルフアテンション画像をそれぞれ得る。
【0130】
第６特徴画像のスケールは第５セルフアテンション画像のスケールと同じであり、第７特徴画像のスケールは第６セルフアテンション画像のスケールと同じであり、第８特徴画像のスケールは第７セルフアテンション画像のスケールと同じである。第５セルフアテンション画像を第６特徴画像の重みとし、第６セルフアテンション画像を第７特徴画像の重みとし、第７セルフアテンション画像を第８特徴画像の重みとすることで、第６特徴画像、第７特徴画像及び第８特徴画像に対して融合処理を行い、スケール感知型畳み込み層の出力画像を得る。つまり、第５セルフアテンション画像と第６特徴画像とのドット積を算出することで、第９特徴画像を得、第６セルフアテンション画像と第７特徴画像とのドット積を算出することで、第１０特徴画像を得、第７セルフアテンション画像と第８特徴画像とのドット積を算出することで、第１１特徴画像を得る。第９特徴画像、第１０特徴画像及び第１１特徴画像に対して融合処理を行い、スケール感知型畳み込み層の出力画像を得る。任意選択的に、上記融合処理は、融合処理される２枚の画像における同一の位置の画素点の画素値を加算することであってもよい。
【0131】
図８に示す群衆計数ネットワークにおけるネットワーク層の具体的な数は一例だけであり、本願を限定するものではないことは、理解されるべきである。
【0132】
図８に示す群衆計数ネットワークを用いて、処理されるべき画像に対して群衆計数タスクを実行する前に、群衆計数ネットワークを訓練する必要がある。このため、本願は、群衆計数ネットワークの訓練方法を更に提供する。該訓練方法は、下記ステップを含んでもよい。サンプル画像を取得する。群衆計数ネットワークを用いてサンプル画像を処理し、第２群衆密度画像を得る。サンプル画像と第２群衆密度画像との差異に基づいて、ネットワーク損失を得る。ネットワーク損失に基づいて、群衆計数ネットワークのパラメータを調整する。
【0133】
上記サンプル画像は、任意のデジタル画像であってもよい。例えば、サンプル画像は、人物対象を含んでもよい。ここで、サンプル画像は、胴体、四肢（以下、胴体及び四肢を人体と呼ぶ）を含まず、顔のみを含んでもよい。顔を含まず、人体のみを含んでもよい。下肢又は上肢のみを含んでもよい。本願は、サンプル画像に具体的に含まれる人体領域を限定しない。また例えば、サンプル画像は、動物を含んでもよい。また例えば、サンプル画像は、植物を含んでもよい。本願は、サンプル画像に含まれるコンテンツを限定しない。
【0134】
群衆計数ネットワークによりサンプル画像を処理することで、サンプル画像に対応する第２群衆密度画像を得た後、サンプル画像と第２群衆密度画像との差異に基づいて、群衆計数ネットワークのネットワーク損失を決定することができる。上記差異は、サンプル画像と第２群衆密度画像における同一の位置の画素点の画素値間の差異であってもよい。本願の実施例において、サンプル画素点における画素点の画素値は、画素点で人物が存在するかどうかを表すために用いられる。例えば、サンプル画像において、人物Ａで覆われる画像領域は、画素点ａ、画素点ｂ、画素点ｃを含むと、画素点ａの画素値、画素点ｂの画素値及び画素点ｃの画素値はいずれも１である。サンプル画像における画素点ｄは、人物で覆われる画像領域に属しないと、画素点の画素値は、０である。
【0135】
群衆計数ネットワークのネットワーク損失を決定した後、該ネットワーク損失に基づいて、逆勾配伝搬の方式で群衆計数ネットワークのパラメータを調整し、群衆計数ネットワークが収束して群衆計数ネットワークの訓練を完了するまで継続することができる。
【0136】
サンプル画像における画素点の画素値が０又は１であり、第２群衆密度画像における画素点の画素値が０以上であって１以下であるため、サンプル画像と第２群衆密度画像との差異に基づいて、群衆計数ネットワークのネットワーク損失を決定する場合、大きな差異が発生する。
【0137】
実際群集密度画像における画素点の画素値の範囲も０以上であって１以下であるため、任意選択的に、サンプル画像の実際群集密度画像を教師情報とし、実際群集密度画像と第２群衆密度画像との差異に基づいて、群衆計数ネットワークのネットワーク損失を決定することで、得られるネットワーク損失の精度を向上させることができる。
【0138】
実現可能な形態において、バンプ関数、ガウスカーネル及びサンプル画像に基づいて、上記サンプル画像の実際群集密度画像を得ることができる。
【0139】
該実現可能な形態において、バンプ関数に基づいてサンプル画像の人物タグ画像を得ることができる。該人物タグ画像における画素点の画素値は、画素点が人物で覆われる画像領域に属するかどうかを表すために用いられる。上記人物タグ画像は、下記式を満たす。
【0140】
【化9】
【0141】
Ｎは、サンプル画像における総人数である。
【0142】
【化10】
【0143】
は、サンプル画像における、人物で覆われる画像領域の中心の位置であり、該人物を表すためのものである。
【0144】
【化11】
【0145】
は、サンプル画像における、サンプル画像中の人物で覆われる画像領域の中心の位置のバンプ関数である。サンプル画像における箇所ｘに人物が存在すると、
【0146】
【化12】
【0147】
は、１に等しく、サンプル画像における箇所ｘに人物が存在しないと、
【0148】
【化13】
【0149】
は、０に等しい。
【0150】
ガウスカーネルを用いて上記人物タグ画像に対して畳み込み処理を行うことで、サンプル画像の実際群集密度画像を得ることができる。該プロセスは、下記式を満たす。
【0151】
【化14】
【0152】
【化15】
【0153】
上記
【0154】
【化16】
【0155】
は、ガウスカーネルであり、
【0156】
【化17】
【0157】
は、該ガウスカーネルの標準偏差である。
【0158】
【化18】
【0159】
は、正数である。
【0160】
【化19】
【0161】
は、人物
【0162】
【化20】
【0163】
に最も近いｍ個の人物と
【0164】
【化21】
【0165】
との距離の平均値である。
【0166】
【化22】
【0167】
が大きいほど、
【0168】
【化23】
【0169】
に対応する人物で覆われる画像領域の群衆密度が大きくなることが明らかである。サンプル画像における遠位の人物の
【0170】
【化24】
【0171】
は、近位の人物の
【0172】
【化25】
【0173】
よりも小さいため、ガウスカーネルの標準偏差に
【0174】
【化26】
【0175】
を満たさせることで、ガウスカーネルの標準偏差を人物で覆われる画像領域のスケールと正に相関させることができる。つまり、サンプル画像における異なる画像領域に対応するガウスカーネルの標準偏差は異なる。このように、ガウスカーネルを用いてサンプル画像に対して畳み込み処理を行うことで得られる実際群集密度画像の精度はより高くなる。
【0176】
例を挙げると、式（３）における
【0177】
【化27】
【0178】
は、サンプル画像における、サンプル画像中の人物の頭部で覆われる画像領域の中心（以下、人頭領域の中心と呼ばれる）の位置であり、
【0179】
【化28】
【0180】
は、サンプル画像における人頭領域の中心の位置のバンプ関数である。サンプル画像における箇所ｘで人頭が存在すれば、
【0181】
【化29】
【0182】
は、１に等しく、サンプル画像における箇所ｘで人頭が存在しなければ、
【0183】
【化30】
【0184】
は０に等しい。式（４）に基づいて、ガウスカーネルを用いて上記人物タグ画像に対して畳み込み処理を行い、サンプル画像の実際群集密度画像を得る。人物タグ画像における
【0185】
【化31】
【0186】
番目の人頭に対して畳み込み処理を行う時に用いられるガウスカーネルの標準偏差は、
【0187】
【化32】
【0188】
を満たす。ここで、
【0189】
【化33】
【0190】
は、人物タグ画像におけるｉ番目の人頭の中心とｍ個のターゲット人頭の中心（ここのターゲット人頭は、人物タグ画像における、ｉ番目の人頭に最も近い人頭である）との平均距離である。一般的には、頭部の大きさは、混雑したシーンにおける隣接する二人の中心の間の距離に関わる。
【0191】
【化34】
【0192】
は、群衆が密集した場合、人頭の大きさにほぼ等しい。人物タグ画像における「近」位の人頭で覆われる画像領域の面積は、「遠」位の人頭で覆われる画像領域の面積よりも大きい。つまり、人物タグ画像における「近」位の２つの人頭の中心の間の距離は、「遠」位の２つの人頭の中心の間の距離よりも大きい。ガウスカーネルの標準偏差に
【0193】
【化35】
【0194】
を満たさせることで、ガウスカーネルの標準偏差を人物の頭部で覆われる画像領域のスケールと正に相関させるという効果を達成することができる。
【0195】
サンプル画像の実際群集密度画像を得た後、実際群集密度画像と第２群衆密度画像における同一の位置の画素点の画素値の間の差異に基づいて、群衆計数ネットワークのネットワーク損失を決定することができる。例えば、実際群集密度画像と第２群衆密度画像における全ての同一の位置の画素点の画素値の間の差異の和を群衆計数ネットワークのネットワーク損失とする。
【0196】
任意選択的に、サンプル画像を群衆計数ネットワークに入力する前に、サンプル画像に対して前処理を行い、少なくとも１枚の前処理された画像を得、上記少なくとも１枚の前処理された画像を訓練データとして群衆計数ネットワークに入力することができる。これにより、群衆計数ネットワークの訓練データ集合を拡張するという効果を達成することができる。
【0197】
上記前処理は、サンプル画像から、所定の寸法の画像を切り出すことと、サンプル画像又は前記所定の寸法の画像に対して反転処理を行うことと、のうちの少なくとも１つを含む。ここで、所定の寸法は、６４＊６４であってもよい。サンプル画像に対する反転処理は、水平鏡像反転処理を含む。
【0198】
例えば、それぞれサンプル画像の水平中軸線及び垂直中軸線に沿ってサンプル画像を分割し、４枚の前処理された画像を得ることができる。それと同時に、サンプル画像から、５枚の所定の寸法の画像をランダムに切り出し、５枚の前処理された画像を得ることができる。これにより、９枚の前処理された画像を得る。該９枚の前処理された画像に対して水平鏡像反転処理を行い、９枚の反転した画像を得ることができる。つまり、別の９枚の前処理された画像を得る。これにより、１８枚の前処理された画像を得ることができる。
【0199】
少なくとも１枚の前処理された画像を群衆計数ネットワークに入力することで、少なくとも１枚の第３群衆密度画像を得ることができる。ここで、各枚の前処理された画像はいずれも１枚の第３群衆密度画像に対応する。例えば（例２）、画像Ａ、画像Ｂ、画像Ｃという３枚の前処理された画像をそれぞれ群衆計数ネットワークに入力し、画像Ａに対応する群衆密度画像ａ、画像Ｂに対応する群衆密度画像ｂ、画像Ｃに対応する群衆密度画像ｃをそれぞれ得る。ここで、群衆密度画像ａ、群衆密度画像ｂ、群衆密度画像ｃはいずれも第３群衆密度画像と呼ばれてもよい。
【0200】
少なくとも１枚の前処理された画像のうちのターゲット画像とターゲット画像に対応する第３群衆密度画像との差異に基づいて、群衆計数ネットワークのネットワーク損失を得ることができる。例２に続いて例を挙げると、画像Ａと画像ａとの差異に基づいて、第１差異を得ることができ、画像Ｂと画像ｂとの差異に基づいて、第２差異を得ることができ、画像Ｃと画像ｃとの差異に基づいて、第３差異を得ることができる。第１差異、第２差異及び第３差異を加算することで、群衆計数ネットワークのネットワーク損失を得ることができる。
【0201】
本実施例は、群衆計数ネットワークを提供する。該群衆計数ネットワークを用いて処理されるべき画像を処理することで、処理されるべき画像に対応する群衆密度画像を得、処理されるべき画像における人数を更に決定することができる。
【0202】
本願の実施例により提供される技術的解決手段によれば、本願の実施例は、幾つかの実現可能な適用シーンを更に提供する。
【0203】
シーンＡにおいて、上述したように、公衆場所において、交通流が大きすぎて、群衆が密集し過ぎることを招き、更に、公共事故が発生する。公衆場所において群衆計数を如何に行うかは、特に大きな意義を持つ。
【0204】
現在、仕事、生活及び社会的環境における安全性を向上させるために、各公衆場所に監視カメラ設備を取り付ける。これによりビデオストリーム情報に基づいて、安全保護を行う。本願の実施例により提供される技術的解決手段を利用して、監視カメラ設備により収集されたビデオストリームを処理することで、公衆場所の人数を決定し、公共事故の発生を更に効果的に予防することができる。
【0205】
例を挙げると、監視カメラ設備のビデオストリーム処理センターのサーバは、本願の実施例により提供される技術的解決手段を実行することができる。該サーバは、少なくとも１つの監視カメラに接続されてもよい。サーバは、監視カメラからのビデオストリームを取得した後、本願の実施例により提供される技術的解決手段を用いて、ビデオストリームにおける各フレームの画像を処理し、ビデオストリームにおける各フレームの画像の人数を決定することができる。画像における人数が人数閾値以上である場合、サーバは、関連機器に命令を送信し、リマインド又はアラートを行うことができる。例えば、サーバは、該画像を収集するカメラに命令を送信することができる。該命令は、アラートを行うことを、該画像を収集するカメラに指示するために用いられる。また例えば、サーバは、該画像を収集するカメラが位置する領域の制御者の端末に命令を送信することができる。該命令は、該端末を、人数が人数閾値を超えるリマインド情報を出力するようにリマインドするために用いられる。
【0206】
シーンＢにおいて、デパートにおける異なる領域の交通流が異なる。推薦商品を交通流が大きい領域に放置して展示することで、推薦商品の販売量を効果的に向上させることができる。従って、デパートにおける異なる領域の交通流を如何に正確に決定するかは、販売者にとって特に大きな意義を持つ。例えば、デパートに領域Ａ、領域Ｂ及び領域Ｃがある。ここで、領域Ｂの交通流が最も大きい。これに基づいて、販売者は、推薦商品を領域Ｂに放置して展示することで、推薦商品の販売量を向上させることができる。
【0207】
デパートの監視カメラのビデオストリーム制御センターのサーバは、本願の実施例により提供される技術的解決手段を実行することができる。該サーバは、少なくとも１つの監視カメラに接続されてもよい。サーバは、監視カメラからのビデオストリームを取得した後、本願の実施例により提供される技術的解決手段を用いて、ビデオストリームにおける各フレームの画像を処理し、ビデオストリームにおける各フレームの画像の人数を決定することができる。各フレームの画像における人数に基づいて、異なるカメラにより監視される領域の、ある時間帯にわたる交通流を決定し、更に、デパートにおける異なる領域の交通流を決定することができる。例えば、デパートに領域Ａ、領域Ｂ、領域Ｃ、カメラＡ、カメラＢ及びカメラＣがある。ここで、カメラＡは、領域Ａを監視し、カメラＢは、領域Ｂを監視し、カメラＣは、領域Ｃを監視する。サーバは、本願の実施例により提供される技術的解決手段を用いて、カメラＡにより収集されたビデオストリームにおける画像を処理し、領域Ａにおいて過去の一週間にわたる一日あたりの平均交通流が９００であり、領域Ｂにおいて過去の一週間にわたる一日あたりの平均交通流が２００であり、領域Ｂにおいて過去の一週間にわたる一日あたりの平均交通流が２００であり、領域Ｃにおいて過去の一週間にわたる一日あたりの平均交通流が６００であると決定する。当然ながら、領域Ａの交通流が最も大きいため、販売者は、推薦商品を領域Ａに放置して展示し、推薦商品の販売量を向上させることができる。
【0208】
具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番を意味して実施プロセスを何ら限定するものではなく、各ステップの具体的な実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。
【0209】
上述において、本願の実施例の方法を詳しく説明したが、以下、本願の実施例の装置を提供する。
【0210】
図１０を参照すると、図１０は、本願の実施例による画像処理装置の構造を示す概略図である。該装置１は、取得ユニット１１と、畳み込み処理ユニット１２と、融合処理ユニット１３と、特徴抽出ユニット１４と、第１決定ユニット１５と、第２決定ユニット１６と、訓練ユニット１７と、を備える。ここで、
取得ユニット１１は、処理されるべき画像、第１畳み込みカーネル及び第２畳み込みカーネルを取得するように構成され、前記第１畳み込みカーネルの受容野は、前記第２畳み込みカーネルの受容野と異なり、
畳み込み処理ユニット１２は、前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得るように構成され、
融合処理ユニット１３は、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得るように構成される。
取得ユニット１１は、処理されるべき画像、第１畳み込みカーネル及び第２畳み込みカーネルを取得するように構成され、前記第１畳み込みカーネルの受容野は、前記第２畳み込みカーネルの受容野と異なり、
畳み込み処理ユニット１２は、前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得るように構成され、
融合処理ユニット１３は、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得るように構成される。
【0211】
実現可能な形態において、前記装置１は、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得る前に、前記処理されるべき画像に対して第１特徴抽出処理を行い、第１セルフアテンション画像を得、前記処理されるべき画像に対して第２特徴抽出処理を行い、第２セルフアテンション画像を得るように構成される特徴抽出処理ユニット１４であって、前記第１セルフアテンション画像及び前記第２セルフアテンション画像はいずれも、前記処理されるべき画像のスケール情報を表すためのものであり、且つ、前記第１セルフアテンション画像で表されるスケール情報は、前記第２セルフアテンション画像で表されるスケール情報と異なる、特徴抽出処理ユニット１４と、
前記第１セルフアテンション画像に基づいて、前記第１特徴画像の第１重みを決定し、前記第２セルフアテンション画像に基づいて、前記第２特徴画像の第２重みを決定するように構成される第１決定ユニット１５と、を更に備え、
前記融合処理ユニット１３は、
前記第１重み及び前記第２重みに基づいて、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、前記第１群衆密度画像を得るように構成される。
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得る前に、前記処理されるべき画像に対して第１特徴抽出処理を行い、第１セルフアテンション画像を得、前記処理されるべき画像に対して第２特徴抽出処理を行い、第２セルフアテンション画像を得るように構成される特徴抽出処理ユニット１４であって、前記第１セルフアテンション画像及び前記第２セルフアテンション画像はいずれも、前記処理されるべき画像のスケール情報を表すためのものであり、且つ、前記第１セルフアテンション画像で表されるスケール情報は、前記第２セルフアテンション画像で表されるスケール情報と異なる、特徴抽出処理ユニット１４と、
前記第１セルフアテンション画像に基づいて、前記第１特徴画像の第１重みを決定し、前記第２セルフアテンション画像に基づいて、前記第２特徴画像の第２重みを決定するように構成される第１決定ユニット１５と、を更に備え、
前記融合処理ユニット１３は、
前記第１重み及び前記第２重みに基づいて、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、前記第１群衆密度画像を得るように構成される。
【0212】
もう１つの実現可能な形態において、前記融合処理ユニット１３は具体的には、
前記第１重みと前記第１特徴画像とのドット積を決定し、第３特徴画像を得、
前記第２重みと前記第２特徴画像とのドット積を決定し、第４特徴画像を得、
前記第３特徴画像と前記第４特徴画像に対して融合処理を行い、前記第１群衆密度画像を得るように構成される。
前記第１重みと前記第１特徴画像とのドット積を決定し、第３特徴画像を得、
前記第２重みと前記第２特徴画像とのドット積を決定し、第４特徴画像を得、
前記第３特徴画像と前記第４特徴画像に対して融合処理を行い、前記第１群衆密度画像を得るように構成される。
【0213】
また１つの実現可能な形態において、前記第１決定ユニット１５は、
前記第１セルフアテンション画像及び前記第２セルフアテンション画像に対して正規化処理を行い、前記第１セルフアテンション画像に対応する第３セルフアテンション画像及び前記第２セルフアテンション画像に対応する第４セルフアテンション画像を得、
前記第３セルフアテンション画像を前記第１重みとし、前記第４セルフアテンション画像を前記第２重みとするように構成される。
前記第１セルフアテンション画像及び前記第２セルフアテンション画像に対して正規化処理を行い、前記第１セルフアテンション画像に対応する第３セルフアテンション画像及び前記第２セルフアテンション画像に対応する第４セルフアテンション画像を得、
前記第３セルフアテンション画像を前記第１重みとし、前記第４セルフアテンション画像を前記第２重みとするように構成される。
【0214】
また１つの実現可能な形態において、前記特徴抽出処理ユニット１４は更に、前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得る前に、前記処理されるべき画像に対して第３特徴抽出処理を行い、第５特徴画像を得るように構成され、
前記畳み込み処理ユニット１２は、
前記第１畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第２特徴画像を得るように構成され、
前記特徴抽出処理ユニット１４は更に、
前記第５特徴画像に対して前記第１特徴抽出処理を行い、前記第１セルフアテンション画像を得、前記第５特徴画像に対して前記第２特徴抽出処理を行い、前記第２セルフアテンション画像を得るように構成される。
前記畳み込み処理ユニット１２は、
前記第１畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第２特徴画像を得るように構成され、
前記特徴抽出処理ユニット１４は更に、
前記第５特徴画像に対して前記第１特徴抽出処理を行い、前記第１セルフアテンション画像を得、前記第５特徴画像に対して前記第２特徴抽出処理を行い、前記第２セルフアテンション画像を得るように構成される。
【0215】
また１つの実現可能な形態において、前記第１畳み込みカーネル及び前記第２畳み込みカーネルはいずれも拡張畳み込みカーネルであり、且つ前記第１畳み込みカーネルの大きさは、前記第２畳み込みカーネルの大きさと同じであり、前記第１畳み込みカーネルの重みは、前記第２畳み込みカーネルの重みと同じであり、前記第１畳み込みカーネルの拡張率は、前記第２畳み込みカーネルの拡張率と異なる。
【0216】
また１つの実現可能な形態において、前記第１畳み込みカーネル又は前記第２畳み込みカーネルの拡張率は、基準値である。
【0217】
また１つの実現可能な形態において、前記装置１は、前記第１群衆密度画像における画素値の和を決定し、前記処理されるべき画像における人数を得るように構成される第２決定ユニット１６を更に備える。
【0218】
また１つの実現可能な形態において、前記装置１により実行される画像処理方法は、群衆計数ネットワークに適用され、
前記装置１は、前記群衆計数ネットワークを訓練するように構成される訓練ユニット１７を更に備え、前記群衆計数ネットワークの訓練プロセスは、
サンプル画像を取得することと、
前記群衆計数ネットワークを用いて前記サンプル画像を処理し、第２群衆密度画像を得ることと、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることと、
前記ネットワーク損失に基づいて、前記群衆計数ネットワークのパラメータを調整することと、を含む。
前記装置１は、前記群衆計数ネットワークを訓練するように構成される訓練ユニット１７を更に備え、前記群衆計数ネットワークの訓練プロセスは、
サンプル画像を取得することと、
前記群衆計数ネットワークを用いて前記サンプル画像を処理し、第２群衆密度画像を得ることと、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることと、
前記ネットワーク損失に基づいて、前記群衆計数ネットワークのパラメータを調整することと、を含む。
【0219】
また１つの実現可能な形態において、前記訓練ユニット１７は更に、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得る前に、バンプ関数、ガウスカーネル及び前記サンプル画像に基づいて、前記サンプル画像の実際群集密度画像を得、
前記実際群集密度画像と前記第２群衆密度画像との差異に基づいて、前記ネットワーク損失を得るように構成される。
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得る前に、バンプ関数、ガウスカーネル及び前記サンプル画像に基づいて、前記サンプル画像の実際群集密度画像を得、
前記実際群集密度画像と前記第２群衆密度画像との差異に基づいて、前記ネットワーク損失を得るように構成される。
【0220】
また１つの実現可能な形態において、前記訓練ユニット１７は更に、
前記群衆計数ネットワークにより前記サンプル画像を処理し、第２群衆密度画像を得る前に、前記サンプル画像に対して前処理を行い、少なくとも１枚の前処理された画像を得、
前記群衆計数ネットワークを用いて、前記少なくとも１枚の前処理された画像を処理し、少なくとも１枚の第３群衆密度画像を得、前記前処理された画像は、前記第３群衆密度画像に一対一に対応し、
前記少なくとも１枚の前処理された画像のうちのターゲット画像と前記ターゲット画像に対応する第３群衆密度画像との差異に基づいて、前記ネットワーク損失を得るように構成される。
前記群衆計数ネットワークにより前記サンプル画像を処理し、第２群衆密度画像を得る前に、前記サンプル画像に対して前処理を行い、少なくとも１枚の前処理された画像を得、
前記群衆計数ネットワークを用いて、前記少なくとも１枚の前処理された画像を処理し、少なくとも１枚の第３群衆密度画像を得、前記前処理された画像は、前記第３群衆密度画像に一対一に対応し、
前記少なくとも１枚の前処理された画像のうちのターゲット画像と前記ターゲット画像に対応する第３群衆密度画像との差異に基づいて、前記ネットワーク損失を得るように構成される。
【0221】
また１つの実現可能な形態において、前記前処理は、前記サンプル画像から、所定の寸法の画像を切り出すことと、前記サンプル画像又は前記所定の寸法の画像に対して反転処理を行うことと、のうちの少なくとも１つを含む。
【0222】
本実施例は、受容野が異なる第１畳み込みカーネルと第２畳み込みカーネルを用いて、処理されるべき画像に対してそれぞれ畳み込み処理を行い、異なるスケールでの、処理されるべき画像のコンテンツを記述する情報を抽出し、第１特徴画像及び第２特徴画像をそれぞれ得る。第１特徴画像と第２特徴画像に対して融合処理を行うことで、異なるスケールでの、処理されるべき画像のコンテンツを記述する情報を利用して、得られる、処理されるべき画像に対応する群衆密度画像の精度を更に向上させ、得られる、処理されるべき画像における人数の精度を更に向上させる。
【0223】
幾つかの実施例において、本願の実施例により提供される装置における機能及びモジュールは、上記方法の実施例に記載の方法を実行するために用いられ、その具体的な実現形態は上記方法の実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。
【0224】
図１１は、本願の実施例による画像処理装置のハードウェア構造を示す概略図である。該画像処理装置２は、プロセッサ２１と、メモリ２２と、を備え、入力装置２３と、出力装置２４と、を更に備えてもよい。該プロセッサ２１、メモリ２２、入力装置２３及び出力装置２４は、コネクタを介して相互結合される。該コネクタは、種々のインタフェース、伝送線又はバスなどを含み、本願の実施例は、これを限定するものではない。本願の各実施例において、結合は、特定の方式で互いに繋げることであり、直接的な接続又は他の機器を介した間接的な接続を含む。例えば、種々のインタフェース、伝送線、バスなどを介して接続されてもよい。
【0225】
プロセッサ２１は、１つ又は複数のグラフィックスプロセッサ（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ：ＧＰＵ）であってもよい。プロセッサ２１が１つのＧＰＵである場合、該ＧＰＵは、シングルコアＧＰＵであってもよく、マルチコアＧＰＵであってもよい。任意選択的に、プロセッサ２１は、複数のＧＰＵからなるプロセッサ群であってもよい。複数のプロセッサは、１つ又は複数のバスを介して互いに結合される。任意選択的に、該プロセッサは、他のタイプのプロセッサなどであってもよく、本願の実施例は、これを限定しない。
【0226】
メモリ２２は、コンピュータプログラム命令を記憶し、本願の技術的解決手段のプログラムコードを含む種々のコンピュータプログラムコードを実行するように構成される。任意選択的に、メモリは、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ：ＲＡＭ）、読み出し専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ：ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ：ＥＰＲＯＭ）、又はコンパクトディスク読み出し専用メモリ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ：ＣＤ－ＲＯＭ）を含むが、これらに限定されない。該メモリは、関連命令及びデータを記憶するように構成される。
【0227】
入力装置２３は、データ及び信号を入力するように構成され、出力装置２４は、データ及び信号を出力するように構成される。入力装置２３及び出力装置２４は、独立したデバイスであってもよく、一体型デバイスであってもよい。
【0228】
本願の実施例において、メモリ２２は、関連命令を記憶するように構成されてもよく、関連画像を記憶するように構成されてもよい。例えば、該メモリ２２は、入力装置２３により取得された処理されるべき画像を記憶するように構成される。又は、該メモリ２２は更に、プロセッサ２１により得られた第１群衆密度画像などを記憶するように構成される。本願の実施例は、該メモリに具体的に記憶されるデータを限定しない。
【0229】
図１１に画像処理装置の簡略化した設計のみが示されることは理解されるべきである。実際の適用において、画像処理装置は、必要な他の素子を更に備えてもよく、任意の数の入力／出力装置、プロセッサ、メモリなどを含むが、これらに限定されない。本願の実施例を実現できる画像処理装置は全て本願の保護範囲内に含まれる。
【0230】
本願の実施例は、プロセッサを更に提供する。該プロセッサのフラッシュメモリに、コンピュータプログラムが記憶されてもよい。該コンピュータプログラムは、該プロセッサにより実行されるときに、該プロセッサは、実施例（１）及び実施例（２）で提供される技術的解決手段を実行することができ、又は、訓練された群衆計数ネットワークによる処理されるべき画像の処理を実現させることができる。
【0231】
本明細書に開示されている実施例に記載の各例におけるユニット及びアルゴリズムステップと合わせて、本願は、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアの組み合わせにより実現することができることは、当業者であれば容易に理解すべきである。これらの機能がハードウェアによって実行されるかそれともソフトウェアによって実行されるかは、技術的解決手段の、特定の適用例、及び設計制約条件に依存する。当業者は、各特定の適用について、説明された機能を様々な方法で実現させることができるが、このような実現は、本願の範囲を超えるとは認められない。
【0232】
便利で簡潔に説明するために、上記説明されたシステムと、装置とユニットとの具体的な作動過程は、前記方法の実施例における過程を参照することができるから、ここで詳しく説明しないようにすることは、当業者にはっきり理解されるべきである。本願の各々の実施例に対する説明はそれぞれ偏りがあって、便利で簡潔に説明するために、同様又は類似した部分は異なる実施例において重複して説明されていないことがあるため、ある実施例に詳しく説明されていない部分に対して、ほかの実施例に関する説明を参照することができることは、当業者にもはっきり理解されるべきである。
【0233】
本願で提供される幾つかの実施例において、開示される装置及び方法は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した装置の実施例はただ例示的なもので、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
【0234】
分離部材として説明した前記ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。
【0235】
また、本願の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ以上のユニットが一つのユニットに集積されてもよい。
【0236】
上記実施例において、全て又は一部は、ソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組み合わせにより実現してもよい。ソフトウェアにより実現する場合、全て又は一部をコンピュータプログラム製品の形式で実現してもよい。前記コンピュータプログラム製品は、１つ又は複数のコンピュータ命令を含む。コンピュータで前記コンピュータプログラム命令をロードして実行する時、本願の実施例に記載の手順又は機能が全部又は部分的に生成される。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラマブルデバイスであってもよい。前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよく、又は、前記コンピュータ可読記憶媒体により伝送されてもよい。前記コンピュータ命令を、１つのウェブサイト、コンピュータ、サーバ又はデータセンタから、有線（例えば、同軸ケーブル、光ファイバー、デジタル加入者回線（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ：ＤＳＬ））又は無線（例えば、赤外、無線、マイクロウェーブ等）の方式で、もう１つのウェブサイト、コンピュータ、サーバ又はデータセンタに伝送することができる。前記コンピュータ可読記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であってもよく、又は、１つ又は複数の利用可能な媒体で集積されたサーバ、データセンタなどのデータ記憶装置であってもよい。前記利用可能な媒体は、磁気媒体（例えば、フレキシブルディスク、ハードディスク、磁気ディスク）、光媒体（例えば、デジタルバーサタイルディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ：ＤＶＤ））、又は半導体媒体（例えば、ソリッドステートドライブ（ｓｏｌｉｄ ｓｔａｔｅ ｄｉｓｋ：ＳＳＤ））等であってもよい。
【0237】
上記実施例における各方法の全ての又は一部のステップを、プログラムにより関連ハードウェアを命令することで実行することができることは、当業者であれば理解されるべきである。該プログラムは、コンピュータ可読記憶媒体に記憶されてもよい。該プログラムが実行されるときに、上記各方法の実施例のプロセスを含んでもよい。前記記憶媒体は、読み出し専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ：ＲＯＭ）又はランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ：ＲＡＭ）、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
【図1】
【図2a】
【図2b】
【図3】
【図4】
【図5】
【図6a】
【図6b】
【図7】
【図8】
【図9】
【図10】
【図11】
【手続補正書】
【提出日】2021-04-20
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
処理されるべき画像、第１畳み込みカーネル及び第２畳み込みカーネルを取得することであって、前記第１畳み込みカーネルの受容野は、前記第２畳み込みカーネルの受容野と異なる、ことと、前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得ることと、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得ることと、を含む、画像処理方法。
【請求項2】
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得る前に、前記画像処理方法は、前記処理されるべき画像に対して第１特徴抽出処理を行い、第１セルフアテンション画像を得、前記処理されるべき画像に対して第２特徴抽出処理を行い、第２セルフアテンション画像を得ることであって、前記第１セルフアテンション画像及び前記第２セルフアテンション画像はいずれも、前記処理されるべき画像のスケール情報を表すためのものであり、且つ、前記第１セルフアテンション画像で表されるスケール情報は、前記第２セルフアテンション画像で表されるスケール情報と異なる、ことと、
前記第１セルフアテンション画像に基づいて、前記第１特徴画像の第１重みを決定し、前記第２セルフアテンション画像に基づいて、前記第２特徴画像の第２重みを決定することと、を更に含み、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得ることは、
前記第１重み及び前記第２重みに基づいて、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、前記第１群衆密度画像を得ることを含むことを特徴とする
請求項１に記載の画像処理方法。
【請求項3】
前記第１重み及び前記第２重みに基づいて、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、前記第１群衆密度画像を得ることは、前記第１重みと前記第１特徴画像とのドット積を決定し、第３特徴画像を得ることと、
前記第２重みと前記第２特徴画像とのドット積を決定し、第４特徴画像を得ることと、
前記第３特徴画像と前記第４特徴画像に対して融合処理を行い、前記第１群衆密度画像を得ることと、を含むことを特徴とする
請求項２に記載の画像処理方法。
【請求項4】
前記第１セルフアテンション画像に基づいて、前記第１特徴画像の第１重みを決定し、前記第２セルフアテンション画像に基づいて、前記第２特徴画像の第２重みを決定することは、前記第１セルフアテンション画像及び前記第２セルフアテンション画像に対して正規化処理を行い、前記第１セルフアテンション画像に対応する第３セルフアテンション画像及び前記第２セルフアテンション画像に対応する第４セルフアテンション画像を得ることと、
前記第３セルフアテンション画像を前記第１重みとし、前記第４セルフアテンション画像を前記第２重みとすることと、を含むことを特徴とする
請求項２又は３に記載の画像処理方法。
【請求項5】
前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得る前に、前記画像処理方法は、前記処理されるべき画像に対して第３特徴抽出処理を行い、第５特徴画像を得ることを更に含み、
前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得ることは、
前記第１畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第２特徴画像を得ることを含み、
前記処理されるべき画像に対して第１特徴抽出処理を行い、第１セルフアテンション画像を得、前記処理されるべき画像に対して第２特徴抽出処理を行い、第２セルフアテンション画像を得ることは、
前記第５特徴画像に対して前記第１特徴抽出処理を行い、前記第１セルフアテンション画像を得、前記第５特徴画像に対して前記第２特徴抽出処理を行い、前記第２セルフアテンション画像を得ることを含むことを特徴とする
請求項２から４のうちいずれか一項に記載の画像処理方法。
【請求項6】
前記第１畳み込みカーネル及び前記第２畳み込みカーネルはいずれも拡張畳み込みカーネルであり、且つ前記第１畳み込みカーネルの大きさは、前記第２畳み込みカーネルの大きさと同じであり、前記第１畳み込みカーネルの重みは、前記第２畳み込みカーネルの重みと同じであり、前記第１畳み込みカーネルの拡張率は、前記第２畳み込みカーネルの拡張率と異なり、
及び／又は
前記第１畳み込みカーネル又は前記第２畳み込みカーネルの拡張率は、基準値であることを特徴とする
請求項１から５のうちいずれか一項に記載の画像処理方法。
【請求項7】
前記画像処理方法は、群衆計数ネットワークに適用され、前記群衆計数ネットワークの訓練プロセスは、
サンプル画像を取得することと、
前記群衆計数ネットワークを用いて前記サンプル画像を処理し、第２群衆密度画像を得ることと、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることと、
前記ネットワーク損失に基づいて、前記群衆計数ネットワークのパラメータを調整することと、を含むことを特徴とする
請求項１から６のうちいずれか一項に記載の画像処理方法。
【請求項8】
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得る前に、前記画像処理方法は、前記サンプル画像の実際群集密度画像を得ることを更に含み、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることは、
前記実際群集密度画像と前記第２群衆密度画像との差異に基づいて、前記ネットワーク損失を得ることを含むことを特徴とする
請求項７に記載の画像処理方法。
【請求項9】
前記群衆計数ネットワークにより前記サンプル画像を処理し、第２群衆密度画像を得る前に、前記画像処理方法は、前記サンプル画像に対して前処理を行い、少なくとも１枚の前処理された画像を得ることを更に含み、
前記群衆計数ネットワークにより前記サンプル画像を処理し、第２群衆密度画像を得ることは、
前記群衆計数ネットワークを用いて、前記少なくとも１枚の前処理された画像を処理し、少なくとも１枚の第３群衆密度画像を得ることであって、前記前処理された画像は、前記第３群衆密度画像に一対一に対応する、ことを含み、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることは、
前記少なくとも１枚の前処理された画像のうちのターゲット画像と前記ターゲット画像に対応する第３群衆密度画像との差異に基づいて、前記ネットワーク損失を得ることを含み、
前記前処理は、前記サンプル画像から、所定の寸法の画像を切り出すことと、前記サンプル画像又は前記所定の寸法の画像に対して反転処理を行うことと、のうちの少なくとも１つを含むことを特徴とする
請求項８に記載の画像処理方法。
【請求項10】
処理されるべき画像、第１畳み込みカーネル及び第２畳み込みカーネルを取得するように構成される取得ユニットであって、前記第１畳み込みカーネルの受容野は、前記第２畳み込みカーネルの受容野と異なる、取得ユニットと、前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得るように構成される畳み込み処理ユニットと、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得るように構成される融合処理ユニットと、を備える、画像処理装置。
【請求項11】
請求項１から９のうちいずれか一項に記載の方法を実行するように構成される、プロセッサ。
【請求項12】
互いに接続されるプロセッサ及びメモリを備える電子機器であって、前記メモリは、コンピュータ命令を含むコンピュータプログラムコードを記憶するように構成され、前記プロセッサは、前記コンピュータ命令を実行して、請求項１から９のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
【請求項13】
電子機器のプロセッサにより実行されるときに、前記プロセッサに、請求項１から９のうちいずれか一項に記載の方法を実行させるプログラム命令を含むコンピュータプログラムを記憶した、コンピュータ可読記憶媒体。
【請求項14】
コンピュータで実行されるときに、コンピュータに、請求項１から９のうちいずれか一項に記載の方法を実行させる命令を含む、コンピュータプログラム。【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【0044】
上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。
例えば、本願は以下の項目を提供する。
（項目１）
処理されるべき画像、第１畳み込みカーネル及び第２畳み込みカーネルを取得することであって、前記第１畳み込みカーネルの受容野は、前記第２畳み込みカーネルの受容野と異なる、ことと、
前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得ることと、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得ることと、を含む、画像処理方法。
（項目２）
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得る前に、前記画像処理方法は、
前記処理されるべき画像に対して第１特徴抽出処理を行い、第１セルフアテンション画像を得、前記処理されるべき画像に対して第２特徴抽出処理を行い、第２セルフアテンション画像を得ることであって、前記第１セルフアテンション画像及び前記第２セルフアテンション画像はいずれも、前記処理されるべき画像のスケール情報を表すためのものであり、且つ、前記第１セルフアテンション画像で表されるスケール情報は、前記第２セルフアテンション画像で表されるスケール情報と異なる、ことと、
前記第１セルフアテンション画像に基づいて、前記第１特徴画像の第１重みを決定し、前記第２セルフアテンション画像に基づいて、前記第２特徴画像の第２重みを決定することと、を更に含み、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得ることは、
前記第１重み及び前記第２重みに基づいて、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、前記第１群衆密度画像を得ることを含むことを特徴とする
項目１に記載の画像処理方法。
（項目３）
前記第１重み及び前記第２重みに基づいて、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、前記第１群衆密度画像を得ることは、
前記第１重みと前記第１特徴画像とのドット積を決定し、第３特徴画像を得ることと、
前記第２重みと前記第２特徴画像とのドット積を決定し、第４特徴画像を得ることと、
前記第３特徴画像と前記第４特徴画像に対して融合処理を行い、前記第１群衆密度画像を得ることと、を含むことを特徴とする
項目２に記載の画像処理方法。
（項目４）
前記第１セルフアテンション画像に基づいて、前記第１特徴画像の第１重みを決定し、前記第２セルフアテンション画像に基づいて、前記第２特徴画像の第２重みを決定することは、
前記第１セルフアテンション画像及び前記第２セルフアテンション画像に対して正規化処理を行い、前記第１セルフアテンション画像に対応する第３セルフアテンション画像及び前記第２セルフアテンション画像に対応する第４セルフアテンション画像を得ることと、
前記第３セルフアテンション画像を前記第１重みとし、前記第４セルフアテンション画像を前記第２重みとすることと、を含むことを特徴とする
項目２又は３に記載の画像処理方法。
（項目５）
前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得る前に、前記画像処理方法は、
前記処理されるべき画像に対して第３特徴抽出処理を行い、第５特徴画像を得ることを更に含み、
前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得ることは、
前記第１畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第２特徴画像を得ることを含み、
前記処理されるべき画像に対して第１特徴抽出処理を行い、第１セルフアテンション画像を得、前記処理されるべき画像に対して第２特徴抽出処理を行い、第２セルフアテンション画像を得ることは、
前記第５特徴画像に対して前記第１特徴抽出処理を行い、前記第１セルフアテンション画像を得、前記第５特徴画像に対して前記第２特徴抽出処理を行い、前記第２セルフアテンション画像を得ることを含むことを特徴とする
項目２から４のうちいずれか一項に記載の画像処理方法。
（項目６）
前記第１畳み込みカーネル及び前記第２畳み込みカーネルはいずれも拡張畳み込みカーネルであり、且つ前記第１畳み込みカーネルの大きさは、前記第２畳み込みカーネルの大きさと同じであり、前記第１畳み込みカーネルの重みは、前記第２畳み込みカーネルの重みと同じであり、前記第１畳み込みカーネルの拡張率は、前記第２畳み込みカーネルの拡張率と異なることを特徴とする
項目１から５のうちいずれか一項に記載の画像処理方法。
（項目７）
前記第１畳み込みカーネル又は前記第２畳み込みカーネルの拡張率は、基準値であることを特徴とする
項目６に記載の画像処理方法。
（項目８）
前記画像処理方法は、前記第１群衆密度画像における画素値の和を決定し、前記処理されるべき画像における人数を得ることを更に含むことを特徴とする
項目１から７のうちいずれか一項に記載の画像処理方法。
（項目９）
前記画像処理方法は、群衆計数ネットワークに適用され、
前記群衆計数ネットワークの訓練プロセスは、
サンプル画像を取得することと、
前記群衆計数ネットワークを用いて前記サンプル画像を処理し、第２群衆密度画像を得ることと、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることと、
前記ネットワーク損失に基づいて、前記群衆計数ネットワークのパラメータを調整することと、を含むことを特徴とする
項目１から８のうちいずれか一項に記載の画像処理方法。
（項目１０）
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得る前に、前記画像処理方法は、
前記サンプル画像の実際群集密度画像を得ることを更に含み、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることは、
前記実際群集密度画像と前記第２群衆密度画像との差異に基づいて、前記ネットワーク損失を得ることを含むことを特徴とする
項目９に記載の画像処理方法。
（項目１１）
前記群衆計数ネットワークにより前記サンプル画像を処理し、第２群衆密度画像を得る前に、前記画像処理方法は、
前記サンプル画像に対して前処理を行い、少なくとも１枚の前処理された画像を得ることを更に含み、
前記群衆計数ネットワークにより前記サンプル画像を処理し、第２群衆密度画像を得ることは、
前記群衆計数ネットワークを用いて、前記少なくとも１枚の前処理された画像を処理し、少なくとも１枚の第３群衆密度画像を得ることであって、前記前処理された画像は、前記第３群衆密度画像に一対一に対応する、ことを含み、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることは、
前記少なくとも１枚の前処理された画像のうちのターゲット画像と前記ターゲット画像に対応する第３群衆密度画像との差異に基づいて、前記ネットワーク損失を得ることを含むことを特徴とする
項目９に記載の画像処理方法。
（項目１２）
前記前処理は、前記サンプル画像から、所定の寸法の画像を切り出すことと、前記サンプル画像又は前記所定の寸法の画像に対して反転処理を行うことと、のうちの少なくとも１つを含むことを特徴とする
項目１１に記載の画像処理方法。
（項目１３）
処理されるべき画像、第１畳み込みカーネル及び第２畳み込みカーネルを取得するように構成される取得ユニットであって、前記第１畳み込みカーネルの受容野は、前記第２畳み込みカーネルの受容野と異なる、取得ユニットと、
前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得るように構成される畳み込み処理ユニットと、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得るように構成される融合処理ユニットと、を備える、画像処理装置。
（項目１４）
前記画像処理装置は、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得る前に、前記処理されるべき画像に対して第１特徴抽出処理を行い、第１セルフアテンション画像を得、前記処理されるべき画像に対して第２特徴抽出処理を行い、第２セルフアテンション画像を得るように構成される特徴抽出処理ユニットであって、前記第１セルフアテンション画像及び前記第２セルフアテンション画像はいずれも、前記処理されるべき画像のスケール情報を表すためのものであり、且つ、前記第１セルフアテンション画像で表されるスケール情報は、前記第２セルフアテンション画像で表されるスケール情報と異なる、特徴抽出処理ユニットと、
前記第１セルフアテンション画像に基づいて、前記第１特徴画像の第１重みを決定し、前記第２セルフアテンション画像に基づいて、前記第２特徴画像の第２重みを決定するように構成される第１決定ユニットと、を更に備え、
前記融合処理ユニットは、
前記第１重み及び前記第２重みに基づいて、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、前記第１群衆密度画像を得るように構成されることを特徴とする
項目１３に記載の画像処理装置。
（項目１５）
前記融合処理ユニットは具体的には、
前記第１重みと前記第１特徴画像とのドット積を決定し、第３特徴画像を得、
前記第２重みと前記第２特徴画像とのドット積を決定し、第４特徴画像を得、
前記第３特徴画像と前記第４特徴画像に対して融合処理を行い、前記第１群衆密度画像を得るように構成されることを特徴とする
項目１４に記載の画像処理装置。
（項目１６）
前記第１決定ユニットは、
前記第１セルフアテンション画像及び前記第２セルフアテンション画像に対して正規化処理を行い、前記第１セルフアテンション画像に対応する第３セルフアテンション画像及び前記第２セルフアテンション画像に対応する第４セルフアテンション画像を得、
前記第３セルフアテンション画像を前記第１重みとし、前記第４セルフアテンション画像を前記第２重みとするように構成されることを特徴とする
項目１４又は１５に記載の画像処理装置。
（項目１７）
前記特徴抽出処理ユニットは更に、前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得る前に、前記処理されるべき画像に対して第３特徴抽出処理を行い、第５特徴画像を得るように構成され、
前記畳み込み処理ユニットは、
前記第１畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第２特徴画像を得るように構成され、
前記特徴抽出処理ユニットは更に、
前記第５特徴画像に対して前記第１特徴抽出処理を行い、前記第１セルフアテンション画像を得、前記第５特徴画像に対して前記第２特徴抽出処理を行い、前記第２セルフアテンション画像を得るように構成されることを特徴とする
項目１４から１６のうちいずれか一項に記載の画像処理装置。
（項目１８）
前記第１畳み込みカーネル及び前記第２畳み込みカーネルはいずれも拡張畳み込みカーネルであり、且つ前記第１畳み込みカーネルの大きさは、前記第２畳み込みカーネルの大きさと同じであり、前記第１畳み込みカーネルの重みは、前記第２畳み込みカーネルの重みと同じであり、前記第１畳み込みカーネルの拡張率は、前記第２畳み込みカーネルの拡張率と異なることを特徴とする
項目１３から１７のうちいずれか一項に記載の画像処理装置。
（項目１９）
前記第１畳み込みカーネル又は前記第２畳み込みカーネルの拡張率は、基準値であることを特徴とする
項目１８に記載の画像処理装置。
（項目２０）
前記画像処理装置は、前記第１群衆密度画像における画素値の和を決定し、前記処理されるべき画像における人数を得るように構成される第２決定ユニットを更に備えることを特徴とする
項目１３から１９のうちいずれか一項に記載の画像処理装置。
（項目２１）
前記装置により実行される画像処理方法は、群衆計数ネットワークに適用され、
前記画像処理装置は、前記群衆計数ネットワークを訓練するように構成される訓練ユニットを更に備え、前記群衆計数ネットワークの訓練プロセスは、
サンプル画像を取得することと、
前記群衆計数ネットワークを用いて前記サンプル画像を処理し、第２群衆密度画像を得ることと、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることと、
前記ネットワーク損失に基づいて、前記群衆計数ネットワークのパラメータを調整することと、を含むことを特徴とする
項目１２から２０のうちいずれか一項に記載の画像処理装置。
（項目２２）
前記訓練ユニットは更に、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得る前に、バンプ関数、ガウスカーネル及び前記サンプル画像に基づいて、前記サンプル画像の実際群集密度画像を得、
前記実際群集密度画像と前記第２群衆密度画像との差異に基づいて、前記ネットワーク損失を得るように構成されることを特徴とする
項目２１に記載の画像処理装置。
（項目２３）
前記訓練ユニットは更に、
前記群衆計数ネットワークにより前記サンプル画像を処理し、第２群衆密度画像を得る前に、前記サンプル画像に対して前処理を行い、少なくとも１枚の前処理された画像を得、
前記群衆計数ネットワークを用いて、前記少なくとも１枚の前処理された画像を処理し、少なくとも１枚の第３群衆密度画像を得、前記前処理された画像は、前記第３群衆密度画像に一対一に対応し、
前記少なくとも１枚の前処理された画像のうちのターゲット画像と前記ターゲット画像に対応する第３群衆密度画像との差異に基づいて、前記ネットワーク損失を得るように構成されることを特徴とする
項目２１に記載の画像処理装置。
（項目２４）
前記前処理は、前記サンプル画像から、所定の寸法の画像を切り出すことと、前記サンプル画像又は前記所定の寸法の画像に対して反転処理を行うことと、のうちの少なくとも１つを含むことを特徴とする
項目２３に記載の画像処理装置。
（項目２５）
項目１から１２のうちいずれか一項に記載の方法を実行するように構成される、プロセッサ。
（項目２６）
互いに接続されるプロセッサ及びメモリを備える電子機器であって、前記メモリは、コンピュータ命令を含むコンピュータプログラムコードを記憶するように構成され、前記プロセッサは、前記コンピュータ命令を実行して、項目１から１２のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
（項目２７）
電子機器のプロセッサにより実行されるときに、前記プロセッサに、項目１から１２のうちいずれか一項に記載の方法を実行させるプログラム命令を含むコンピュータプログラムを記憶した、コンピュータ可読記憶媒体。
（項目２８）
コンピュータで実行されるときに、コンピュータに、項目１から１２のうちいずれか一項に記載の方法を実行させる命令を含む、コンピュータプログラム。
例えば、本願は以下の項目を提供する。
（項目１）
処理されるべき画像、第１畳み込みカーネル及び第２畳み込みカーネルを取得することであって、前記第１畳み込みカーネルの受容野は、前記第２畳み込みカーネルの受容野と異なる、ことと、
前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得ることと、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得ることと、を含む、画像処理方法。
（項目２）
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得る前に、前記画像処理方法は、
前記処理されるべき画像に対して第１特徴抽出処理を行い、第１セルフアテンション画像を得、前記処理されるべき画像に対して第２特徴抽出処理を行い、第２セルフアテンション画像を得ることであって、前記第１セルフアテンション画像及び前記第２セルフアテンション画像はいずれも、前記処理されるべき画像のスケール情報を表すためのものであり、且つ、前記第１セルフアテンション画像で表されるスケール情報は、前記第２セルフアテンション画像で表されるスケール情報と異なる、ことと、
前記第１セルフアテンション画像に基づいて、前記第１特徴画像の第１重みを決定し、前記第２セルフアテンション画像に基づいて、前記第２特徴画像の第２重みを決定することと、を更に含み、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得ることは、
前記第１重み及び前記第２重みに基づいて、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、前記第１群衆密度画像を得ることを含むことを特徴とする
項目１に記載の画像処理方法。
（項目３）
前記第１重み及び前記第２重みに基づいて、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、前記第１群衆密度画像を得ることは、
前記第１重みと前記第１特徴画像とのドット積を決定し、第３特徴画像を得ることと、
前記第２重みと前記第２特徴画像とのドット積を決定し、第４特徴画像を得ることと、
前記第３特徴画像と前記第４特徴画像に対して融合処理を行い、前記第１群衆密度画像を得ることと、を含むことを特徴とする
項目２に記載の画像処理方法。
（項目４）
前記第１セルフアテンション画像に基づいて、前記第１特徴画像の第１重みを決定し、前記第２セルフアテンション画像に基づいて、前記第２特徴画像の第２重みを決定することは、
前記第１セルフアテンション画像及び前記第２セルフアテンション画像に対して正規化処理を行い、前記第１セルフアテンション画像に対応する第３セルフアテンション画像及び前記第２セルフアテンション画像に対応する第４セルフアテンション画像を得ることと、
前記第３セルフアテンション画像を前記第１重みとし、前記第４セルフアテンション画像を前記第２重みとすることと、を含むことを特徴とする
項目２又は３に記載の画像処理方法。
（項目５）
前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得る前に、前記画像処理方法は、
前記処理されるべき画像に対して第３特徴抽出処理を行い、第５特徴画像を得ることを更に含み、
前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得ることは、
前記第１畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第２特徴画像を得ることを含み、
前記処理されるべき画像に対して第１特徴抽出処理を行い、第１セルフアテンション画像を得、前記処理されるべき画像に対して第２特徴抽出処理を行い、第２セルフアテンション画像を得ることは、
前記第５特徴画像に対して前記第１特徴抽出処理を行い、前記第１セルフアテンション画像を得、前記第５特徴画像に対して前記第２特徴抽出処理を行い、前記第２セルフアテンション画像を得ることを含むことを特徴とする
項目２から４のうちいずれか一項に記載の画像処理方法。
（項目６）
前記第１畳み込みカーネル及び前記第２畳み込みカーネルはいずれも拡張畳み込みカーネルであり、且つ前記第１畳み込みカーネルの大きさは、前記第２畳み込みカーネルの大きさと同じであり、前記第１畳み込みカーネルの重みは、前記第２畳み込みカーネルの重みと同じであり、前記第１畳み込みカーネルの拡張率は、前記第２畳み込みカーネルの拡張率と異なることを特徴とする
項目１から５のうちいずれか一項に記載の画像処理方法。
（項目７）
前記第１畳み込みカーネル又は前記第２畳み込みカーネルの拡張率は、基準値であることを特徴とする
項目６に記載の画像処理方法。
（項目８）
前記画像処理方法は、前記第１群衆密度画像における画素値の和を決定し、前記処理されるべき画像における人数を得ることを更に含むことを特徴とする
項目１から７のうちいずれか一項に記載の画像処理方法。
（項目９）
前記画像処理方法は、群衆計数ネットワークに適用され、
前記群衆計数ネットワークの訓練プロセスは、
サンプル画像を取得することと、
前記群衆計数ネットワークを用いて前記サンプル画像を処理し、第２群衆密度画像を得ることと、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることと、
前記ネットワーク損失に基づいて、前記群衆計数ネットワークのパラメータを調整することと、を含むことを特徴とする
項目１から８のうちいずれか一項に記載の画像処理方法。
（項目１０）
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得る前に、前記画像処理方法は、
前記サンプル画像の実際群集密度画像を得ることを更に含み、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることは、
前記実際群集密度画像と前記第２群衆密度画像との差異に基づいて、前記ネットワーク損失を得ることを含むことを特徴とする
項目９に記載の画像処理方法。
（項目１１）
前記群衆計数ネットワークにより前記サンプル画像を処理し、第２群衆密度画像を得る前に、前記画像処理方法は、
前記サンプル画像に対して前処理を行い、少なくとも１枚の前処理された画像を得ることを更に含み、
前記群衆計数ネットワークにより前記サンプル画像を処理し、第２群衆密度画像を得ることは、
前記群衆計数ネットワークを用いて、前記少なくとも１枚の前処理された画像を処理し、少なくとも１枚の第３群衆密度画像を得ることであって、前記前処理された画像は、前記第３群衆密度画像に一対一に対応する、ことを含み、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることは、
前記少なくとも１枚の前処理された画像のうちのターゲット画像と前記ターゲット画像に対応する第３群衆密度画像との差異に基づいて、前記ネットワーク損失を得ることを含むことを特徴とする
項目９に記載の画像処理方法。
（項目１２）
前記前処理は、前記サンプル画像から、所定の寸法の画像を切り出すことと、前記サンプル画像又は前記所定の寸法の画像に対して反転処理を行うことと、のうちの少なくとも１つを含むことを特徴とする
項目１１に記載の画像処理方法。
（項目１３）
処理されるべき画像、第１畳み込みカーネル及び第２畳み込みカーネルを取得するように構成される取得ユニットであって、前記第１畳み込みカーネルの受容野は、前記第２畳み込みカーネルの受容野と異なる、取得ユニットと、
前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得るように構成される畳み込み処理ユニットと、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得るように構成される融合処理ユニットと、を備える、画像処理装置。
（項目１４）
前記画像処理装置は、
前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、第１群衆密度画像を得る前に、前記処理されるべき画像に対して第１特徴抽出処理を行い、第１セルフアテンション画像を得、前記処理されるべき画像に対して第２特徴抽出処理を行い、第２セルフアテンション画像を得るように構成される特徴抽出処理ユニットであって、前記第１セルフアテンション画像及び前記第２セルフアテンション画像はいずれも、前記処理されるべき画像のスケール情報を表すためのものであり、且つ、前記第１セルフアテンション画像で表されるスケール情報は、前記第２セルフアテンション画像で表されるスケール情報と異なる、特徴抽出処理ユニットと、
前記第１セルフアテンション画像に基づいて、前記第１特徴画像の第１重みを決定し、前記第２セルフアテンション画像に基づいて、前記第２特徴画像の第２重みを決定するように構成される第１決定ユニットと、を更に備え、
前記融合処理ユニットは、
前記第１重み及び前記第２重みに基づいて、前記第１特徴画像と前記第２特徴画像に対して融合処理を行い、前記第１群衆密度画像を得るように構成されることを特徴とする
項目１３に記載の画像処理装置。
（項目１５）
前記融合処理ユニットは具体的には、
前記第１重みと前記第１特徴画像とのドット積を決定し、第３特徴画像を得、
前記第２重みと前記第２特徴画像とのドット積を決定し、第４特徴画像を得、
前記第３特徴画像と前記第４特徴画像に対して融合処理を行い、前記第１群衆密度画像を得るように構成されることを特徴とする
項目１４に記載の画像処理装置。
（項目１６）
前記第１決定ユニットは、
前記第１セルフアテンション画像及び前記第２セルフアテンション画像に対して正規化処理を行い、前記第１セルフアテンション画像に対応する第３セルフアテンション画像及び前記第２セルフアテンション画像に対応する第４セルフアテンション画像を得、
前記第３セルフアテンション画像を前記第１重みとし、前記第４セルフアテンション画像を前記第２重みとするように構成されることを特徴とする
項目１４又は１５に記載の画像処理装置。
（項目１７）
前記特徴抽出処理ユニットは更に、前記第１畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記処理されるべき画像に対して畳み込み処理を行い、第２特徴画像を得る前に、前記処理されるべき画像に対して第３特徴抽出処理を行い、第５特徴画像を得るように構成され、
前記畳み込み処理ユニットは、
前記第１畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第１特徴画像を得、前記第２畳み込みカーネルを用いて、前記第５特徴画像に対して畳み込み処理を行い、前記第２特徴画像を得るように構成され、
前記特徴抽出処理ユニットは更に、
前記第５特徴画像に対して前記第１特徴抽出処理を行い、前記第１セルフアテンション画像を得、前記第５特徴画像に対して前記第２特徴抽出処理を行い、前記第２セルフアテンション画像を得るように構成されることを特徴とする
項目１４から１６のうちいずれか一項に記載の画像処理装置。
（項目１８）
前記第１畳み込みカーネル及び前記第２畳み込みカーネルはいずれも拡張畳み込みカーネルであり、且つ前記第１畳み込みカーネルの大きさは、前記第２畳み込みカーネルの大きさと同じであり、前記第１畳み込みカーネルの重みは、前記第２畳み込みカーネルの重みと同じであり、前記第１畳み込みカーネルの拡張率は、前記第２畳み込みカーネルの拡張率と異なることを特徴とする
項目１３から１７のうちいずれか一項に記載の画像処理装置。
（項目１９）
前記第１畳み込みカーネル又は前記第２畳み込みカーネルの拡張率は、基準値であることを特徴とする
項目１８に記載の画像処理装置。
（項目２０）
前記画像処理装置は、前記第１群衆密度画像における画素値の和を決定し、前記処理されるべき画像における人数を得るように構成される第２決定ユニットを更に備えることを特徴とする
項目１３から１９のうちいずれか一項に記載の画像処理装置。
（項目２１）
前記装置により実行される画像処理方法は、群衆計数ネットワークに適用され、
前記画像処理装置は、前記群衆計数ネットワークを訓練するように構成される訓練ユニットを更に備え、前記群衆計数ネットワークの訓練プロセスは、
サンプル画像を取得することと、
前記群衆計数ネットワークを用いて前記サンプル画像を処理し、第２群衆密度画像を得ることと、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得ることと、
前記ネットワーク損失に基づいて、前記群衆計数ネットワークのパラメータを調整することと、を含むことを特徴とする
項目１２から２０のうちいずれか一項に記載の画像処理装置。
（項目２２）
前記訓練ユニットは更に、
前記サンプル画像と前記第２群衆密度画像との差異に基づいて、ネットワーク損失を得る前に、バンプ関数、ガウスカーネル及び前記サンプル画像に基づいて、前記サンプル画像の実際群集密度画像を得、
前記実際群集密度画像と前記第２群衆密度画像との差異に基づいて、前記ネットワーク損失を得るように構成されることを特徴とする
項目２１に記載の画像処理装置。
（項目２３）
前記訓練ユニットは更に、
前記群衆計数ネットワークにより前記サンプル画像を処理し、第２群衆密度画像を得る前に、前記サンプル画像に対して前処理を行い、少なくとも１枚の前処理された画像を得、
前記群衆計数ネットワークを用いて、前記少なくとも１枚の前処理された画像を処理し、少なくとも１枚の第３群衆密度画像を得、前記前処理された画像は、前記第３群衆密度画像に一対一に対応し、
前記少なくとも１枚の前処理された画像のうちのターゲット画像と前記ターゲット画像に対応する第３群衆密度画像との差異に基づいて、前記ネットワーク損失を得るように構成されることを特徴とする
項目２１に記載の画像処理装置。
（項目２４）
前記前処理は、前記サンプル画像から、所定の寸法の画像を切り出すことと、前記サンプル画像又は前記所定の寸法の画像に対して反転処理を行うことと、のうちの少なくとも１つを含むことを特徴とする
項目２３に記載の画像処理装置。
（項目２５）
項目１から１２のうちいずれか一項に記載の方法を実行するように構成される、プロセッサ。
（項目２６）
互いに接続されるプロセッサ及びメモリを備える電子機器であって、前記メモリは、コンピュータ命令を含むコンピュータプログラムコードを記憶するように構成され、前記プロセッサは、前記コンピュータ命令を実行して、項目１から１２のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
（項目２７）
電子機器のプロセッサにより実行されるときに、前記プロセッサに、項目１から１２のうちいずれか一項に記載の方法を実行させるプログラム命令を含むコンピュータプログラムを記憶した、コンピュータ可読記憶媒体。
（項目２８）
コンピュータで実行されるときに、コンピュータに、項目１から１２のうちいずれか一項に記載の方法を実行させる命令を含む、コンピュータプログラム。
【国際調査報告】