知財求人 - 知財ポータルサイト「IP Force」
特表2022-538197画像ラベリング方法、装置、電子デバイス、記憶媒体及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-09-01
(54)【発明の名称】画像ラベリング方法、装置、電子デバイス、記憶媒体及びコンピュータプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220825BHJP
G06V 10/82 20220101ALI20220825BHJP
【ＦＩ】
G06T7/00 660B
G06V10/82
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021547719
(86)(22)【出願日】2020-12-10
(85)【翻訳文提出日】2021-08-16
(86)【国際出願番号】 CN2020135498
(87)【国際公開番号】W WO2021238151
(87)【国際公開日】2021-12-02
(31)【優先権主張番号】202010470248.X
(32)【優先日】2020-05-28
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】520180323
【氏名又は名称】上▲海▼商▲湯▼智能科技有限公司
【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩ ＳＥＮＳＥＴＩＭＥ ＩＮＴＥＬＬＩＧＥＮＴ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ １６０５Ａ， Ｂｕｉｌｄｉｎｇ ３， ３９１ Ｇｕｉｐｉｎｇ Ｒｏａｄ， Ｘｕｈｕｉ Ｄｉｓｔｒｉｃｔ， Ｓｈａｎｇｈａｉ ２００２３３ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】▲楊▼昆霖
(72)【発明者】
【氏名】夏▲鵬▼程
(72)【発明者】
【氏名】侯▲軍▼
(72)【発明者】
【氏名】伊▲帥▼
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA02
5L096CA04
5L096DA02
5L096FA69
5L096GA34
5L096HA09
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
本開示の実施例は、画像ラベリング方法、装置、電子デバイス、記憶媒体及びコンピュータプログラムに関する。当該方法は、ラベリング対象画像と第１スケール指標を取得するステップであって、前記ラベリング対象画像に第１人物の人物点ラベルが含まれ、前記第１人物の人物点ラベルが第１人物点の第１位置を含み、前記第１スケール指標が第１サイズと第２サイズの間のマッピングを表し、前記第１サイズが前記第１位置にある第１基準物体のサイズであり、前記第２サイズが実世界での前記第１基準物体のサイズである、ステップと、前記第１スケール指標が第１閾値以上である場合、前記第１人物点に基づいて画素点隣接領域を構築するステップであって、前記画素点隣接領域に前記第１人物点とは異なる第２画素点が含まれる、ステップと、前記第２画素点の位置を前記第１人物の人物点ラベルとして使用するステップと、を含む。
【特許請求の範囲】
【請求項1】
画像ラベリング方法であって、ラベリング対象画像と第１スケール指標を取得するステップであって、前記ラベリング対象画像に第１人物の人物点ラベルが含まれ、前記第１人物の人物点ラベルが第１人物点の第１位置を含み、前記第１スケール指標が第１サイズと第２サイズの間のマッピングを表し、前記第１サイズが前記第１位置にある第１基準物体のサイズであり、前記第２サイズが実世界での前記第１基準物体のサイズである、ステップと、
前記第１スケール指標が第１閾値以上である場合、前記第１人物点に基づいて画素点隣接領域を構築するステップであって、前記画素点隣接領域に前記第１人物点とは異なる第１画素点が含まれる、ステップと、
前記第１画素点の位置を前記第１人物の人物点ラベルとして使用するステップと、を含む、画像ラベリング方法。
【請求項2】
前記方法は、第１長さを取得するステップであって、前記第１長さが実世界での前記第１人物の長さである、ステップと、
前記第１位置、前記第１スケール指標及び前記第１長さに基づいて、前記第１人物の少なくとも１つの人物フレームの位置を取得するステップと、
前記少なくとも１つの人物フレームの位置を前記第１人物の人物フレームラベルとして使用するステップと、をさらに含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記少なくとも１つの人物フレームの位置は、第２位置を含み、前記第１位置、前記第１スケール指標及び前記第１長さに基づいて、前記第１人物の少なくとも１つの人物フレームの位置を取得するステップは、
前記第１スケール指標と前記第１長さとの積を決定し、ラベリング対象画像内の前記第１人物の第２長さを取得するステップと、
前記第１位置と前記第２長さに基づいて、第１人物フレームの位置を前記第２位置として決定するステップであって、前記第１人物フレームの中心が前記第１人物点であり、ｙ軸方向の前記第１人物フレームの最大長さが前記第２長さ以上である、ステップと、を含むことを特徴とする
請求項２に記載の方法。
【請求項4】
前記第１人物フレームの形状は矩形であり、前記第１位置と前記第２長さに基づいて、第１人物フレームの位置を決定するステップは、
前記第１位置と前記第２長さに基づいて、前記第１人物フレームの対角頂点の座標を決定するステップであって、前記対角頂点が第１頂点と第２頂点を含み、前記第１頂点と前記第２頂点の両方が第１線分上の点であり、前記第１線分が前記第１人物フレームの対角線である、ステップを含むことを特徴とする
請求項３に記載の方法。
【請求項5】
前記第１人物フレームの形状は、正方形であり、前記ラベリング対象画像の画素座標系における前記第１位置の座標は（ｐ、ｑ）であり、前記第１位置と前記第２長さに基づいて、前記第１人物フレームの対角頂点の座標を決定するステップは、
前記ｐと第３長さの間の差を決定して第１横座標を取得し、前記ｑと前記第３長さの間の差を決定して第１縦座標を取得し、前記ｐと前記第３長さの間の和を決定して第２横座標を取得し、前記ｑと前記第３長さの間の和を決定して第２縦座標を取得するステップであって、前記第３長さが前記第２長さの半分である、ステップと、
前記第１横座標を前記第１頂点の横座標として使用し、前記第１縦座標を前記第１頂点の縦座標として使用し、前記第２横座標を前記第２頂点の横座標として使用し、前記第２縦座標を前記第２頂点の縦座標として使用するステップと、を含むことを特徴とする
請求項４に記載の方法。
【請求項6】
前記第１スケール指標を取得するステップは、前記ラベリング対象画像に対して物体検出処理を行い、第１物体フレームと第２物体フレームを取得するステップと、
ｙ軸方向の前記第１物体フレームの長さに基づいて第３長さを取得し、ｙ軸方向の前記第２物体フレームの長さに基づいて第４長さを取得するステップであって、前記ｙ軸が前記ラベリング対象画像の画素座標系の縦軸である、ステップと、
前記第３長さと実世界での第１物体の第５長さに基づいて第２スケール指標を取得し、前記第４長さと実世界での第２物体の第６長さに基づいて第３スケール指標を取得するステップであって、前記第１物体が前記第１物体フレームに含まれる検出オブジェクトであり、前記第２物体が前記第２物体フレームに含まれる検出オブジェクトであり、前記第２スケール指標が第３サイズと第４サイズの間のマッピングを表し、前記第３サイズが第２スケール位置にある第２基準物体のサイズであり、前記第４サイズが実世界での前記第２基準物体のサイズであり、前記第２スケール位置が前記ラベリング対象画像内の前記第１物体フレームの位置に基づいて決定された位置であり、前記第３スケール指標が第５サイズと第６サイズの間のマッピングを表し、前記第５サイズが第３スケール位置にある第３基準物体のサイズであり、前記第６サイズが実世界での前記第３基準物体のサイズであり、前記第３スケール位置が前記ラベリング対象画像内の前記第２物体フレームの位置に基づいて決定された位置である、ステップと、
前記第２スケール指標と前記第３スケール指標に対してカーブフィッティング処理を行い、前記ラベリング対象画像のスケール指標図を取得するステップであって、前記スケール指標図の第１画素値が第７サイズと第８サイズの間のマッピングを表し、前記第７サイズが第４スケール位置にある第４基準物体のサイズであり、前記第８サイズが実世界での前記第４基準物体のサイズであり、前記第１画素値が第２画素点の画素値であり、前記第４スケール位置が前記ラベリング対象画像内の第３画素点の位置であり、前記スケール指標図内の前記第２画素点の位置が前記ラベリング対象画像内の前記第３画素点の位置と同じである、ステップと、
前記スケール指標図と前記第１位置に基づいて、前記第１スケール指標を取得するステップと、を含むことを特徴とする
請求項２－５のいずれか一項に記載の方法。
【請求項7】
前記第１人物の人物点ラベルがラベリング済み人物点ラベルに属し、前記第１人物の人物フレームラベルがラベリング済み人物フレームラベルに属し、前記方法は、トレーニングされるべきネットワークを取得するステップと、
前記トレーニングされるべきネットワークを用いて前記ラベリング対象画像を処理し、前記少なくとも１つの人物点の位置と少なくとも１つの人物フレームの位置を取得するステップと、
前記ラベリング済み人物点ラベルと前記少なくとも１つの人物点の位置の間の差に基づいて、第１差を取得するステップと、
前記ラベリング済み人物フレームラベルと前記少なくとも１つの人物フレームの位置の間の差に基づいて、第２差を取得するステップと、
前記第１差と前記第２差に基づいて、前記トレーニングされるべきネットワークの損失を取得するステップと、
前記損失に基づいて前記トレーニングされるべきネットワークのパラメータを更新し、人群測位ネットワークを取得するステップと、をさらに含むことを特徴とする
請求項６に記載の方法。
【請求項8】
前記ラベリング済み人物点ラベルは、第２人物の人物点ラベルをさらに含み、前記第２人物の人物点ラベルは、前記第２人物点の第３位置を含み、前記少なくとも１つの人物点の位置は、第４位置と第５位置を含み、前記第４位置は、前記第１人物の人物点の位置であり、前記第５位置は、前記第２人物の人物点の位置であり、前記ラベリング済み人物点ラベルと前記少なくとも１つの人物点の位置の間の差に基づいて、第１差を取得するステップの前に、前記方法は、
第４スケール指標を取得するステップであって、前記第４スケール指標が第９サイズと第１０サイズの間のマッピングを表し、前記第９サイズが前記第３位置にある第５基準物体のサイズであり、前記第１０サイズが実世界での前記第５基準物体のサイズである、ステップをさらに含み、
前記ラベリング済み人物点ラベルと前記少なくとも１つの人物点の位置の間の差に基づいて、第１差を取得するステップは、
前記第１位置と前記第４位置の間の差に基づいて第３差を取得し、前記第３位置と前記第５位置の間の差に基づいて第４差を取得するステップと、
前記第１スケール指標と前記第４スケール指標に基づいて、前記第３差の第１重みと前記第４差の第２重みを取得するステップであって、前記第１スケール指標が前記第４スケール指標よりも小さい場合、前記第１重みが前記第２重みよりも大きく、前記第１スケール指標が前記第４スケール指標よりも大きい場合、前記第１重みが前記第２重みよりも小さく、前記第１スケール指標が前記第４スケール指標に等しい場合、前記第１重みが前記第２重みに等しいステップと、
前記第１重みと前記第２重みに基づいて、前記第３差と前記第４差を重み付けして合計し、前記第１差を取得するステップと、を含むことを特徴とする
請求項７に記載の方法。
【請求項9】
前記第４スケール指標を取得するステップは、前記スケール指標図と前記第３位置に基づいて、前記第４スケール指標を取得するステップを含むことを特徴とする
請求項８に記載の方法。
【請求項10】
前記トレーニングされるべきネットワークを用いて前記ラベリング対象画像を処理し、前記少なくとも１つの人物点の位置と少なくとも１つの人物フレームの位置を取得するステップは、前記ラベリング対象画像に対して特徴抽出処理を行い、第１特徴データを取得するステップと、
前記第１特徴データに対してダウンサンプリング処理を行い、前記少なくとも１つの人物フレームの位置を取得するステップと、
前記第１特徴データに対してアップサンプリング処理を行い、前記少なくとも１つの人物点の位置を取得するステップと、を含むことを特徴とする
請求項７－９のいずれか一項に記載の方法。
【請求項11】
前記第１特徴データに対してダウンサンプリング処理を行い、前記少なくとも１つの人物フレームの位置を取得するステップは、前記第１特徴データに対してダウンサンプリング処理を行い、第２特徴データを取得するステップと、
前記第２特徴データに対して畳み込み処理を行い、前記少なくとも１つの人物フレームの位置を取得するステップと、を含み、
前記第１特徴データに対してアップサンプリング処理を行い、前記少なくとも１つの人物点の位置を取得するステップは、
前記第１特徴データに対してアップサンプリング処理を行い、第３特徴データを取得するステップと、
前記第２特徴データと前記第３特徴データに対して融合処理を行い、第４特徴データを取得するステップと、
前記第４特徴データに対してアップサンプリング処理を行い、前記少なくとも１つの人物点の位置を取得するステップと、を含むことを特徴とする
請求項１０に記載の方法。
【請求項12】
前記方法は、処理されるべき画像を取得するステップと、
前記人群測位ネットワークを用いて前記処理されるべき画像を処理し、第３人物の人物点の位置と前記第３人物の人物フレームの位置を取得するステップであって、前記第３人物が前記処理されるべき画像内の人物である、ステップと、をさらに含むことを特徴とする
請求項７－１１のいずれか一項に記載の方法。
【請求項13】
画像ラベリング装置であって、ラベリング対象画像と第１スケール指標を取得するように構成される取得ユニットであって、前記ラベリング対象画像に第１人物の人物点ラベルが含まれ、前記第１人物の人物点ラベルに第１人物点の第１位置が含まれ、前記第１スケール指標が第１サイズと第２サイズの間のマッピングを表し、前記第１サイズが前記第１位置にある第１基準物体のサイズであり、前記第２サイズが実世界での前記第１基準物体のサイズである、取得ユニットと、
前記第１スケール指標が第１閾値以上である場合、前記第１人物点に基づいて画素点隣接領域を構築するように構成される構築ユニットであって、前記画素点隣接領域に前記第１人物点とは異なる第１画素点が含まれる、構築ユニットと、
前記第１画素点の位置を前記第１人物の人物点ラベルとして使用するように構成される第１処理ユニットと、を備える、画像ラベリング装置。
【請求項14】
電子デバイスであって、コンピュータ命令を含んでいるコンピュータプログラムコードを記憶するように構成されるメモリと、
前記コンピュータ命令を呼び出して、請求項１－１２のいずれか一項に記載の方法を実行するように構成されるプロセッサと、を備える、電子デバイス。
【請求項15】
コンピュータに、請求項１－１２のいずれか一項に記載の方法を実行させるためのコンピュータプログラムを記憶した、コンピュータ可読記憶媒体。
【請求項16】
コンピュータに、請求項１－１２のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願への相互参照）
本開示は、出願番号が２０２０１０４７０２４８．Ｘであり、出願日が２０２０年５月２８日である中国特許に基づいて提案され、当該中国特許出願の優先権を主張し、当該中国特許の全ての内容がここで参照により本開示に組み込まれる。
本開示は、出願番号が２０２０１０４７０２４８．Ｘであり、出願日が２０２０年５月２８日である中国特許に基づいて提案され、当該中国特許出願の優先権を主張し、当該中国特許の全ての内容がここで参照により本開示に組み込まれる。
【0002】
本開示は、コンピュータビジョン技術分野に関し、画像ラベリング方法、装置、電子デバイス、記憶媒体及びコンピュータプログラムに関する。
【背景技術】
【0003】
コンピュータビジョン技術の急速な発展に伴い、人物測位モデルを含む様々なコンピュータビジョンモデルが登場している。人物測位モデルを用いて測位する前に、人物測位モデルをトレーニングする必要がある。トレーニング画像のラベリング情報は、トレーニング画像内の人物領域内の画素点の位置である。
【0004】
現在、トレーニング画像の人物領域内の画素点の位置を手動でラベリングし、人物点ラベルを取得することができるが、人物点ラベルの精度が低い。
【発明の概要】
【課題を解決するための手段】
【0005】
本開示の実施例は、画像ラベリング方法、装置、電子デバイス、記憶媒体及びコンピュータプログラムを提供する。
【0006】
第１態様による画像ラベリング方法は、ラベリング対象画像と第１スケール指標を取得するステップであって、前記ラベリング対象画像に第１人物の人物点ラベルが含まれ、前記第１人物の人物点ラベルが第１人物点の第１位置を含み、前記第１スケール指標が第１サイズと第２サイズの間のマッピングを表し、前記第１サイズが前記第１位置にある第１基準物体のサイズであり、前記第２サイズが実世界での前記第１基準物体のサイズである、ステップと、前記第１スケール指標が第１閾値以上である場合、前記第１人物点に基づいて画素点隣接領域を構築するステップであって、前記画素点隣接領域に前記第１人物点とは異なる第１画素点が含まれる、ステップと、前記第１画素点の位置を前記第１人物の人物点ラベルとして使用するステップと、を含む。
【0007】
この態様では、ラベリング済み人物点とラベリング済み人物点のスケール指標で、人物領域にラベリングされていない画素点が存在するか否かを決定する。人物領域にラベリングされていない画素点が存在することを決定した場合、ラベリング済み人物点に基づいて画素点隣接領域を構築し、画素点隣接領域内のラベリング済み人物点以外の画素点の位置を、当該人物領域に対応する人物のラベルとして使用することにより、ラベリング精度が向上する。
【0008】
本開示の任意の実施形態と組み合わせて、前記方法は、第１長さを取得するステップであって、前記第１長さが実世界での前記第１人物の長さである、ステップと、前記第１位置、前記第１スケール指標及び前記第１長さに基づいて、前記第１人物の少なくとも１つの人物フレームの位置を取得するステップと、前記少なくとも１つの人物フレームの位置を前記第１人物の人物フレームとして使用するステップと、をさらに含む。
【0009】
本開示の任意の実施形態と組み合わせて、前記少なくとも１つの人物フレームの位置は第２位置を含み、前記第１位置、前記第１スケール指標及び前記第１長さに基づいて、前記第１人物の少なくとも１つの人物フレームの位置を取得するステップは、前記第１スケール指標と前記第１長さの積を決定し、ラベリング対象画像内の前記第１人物の第２長さを取得するステップと、前記第１位置と前記第２長さに基づいて、第１人物フレームの位置を前記第２位置として決定するステップであって、前記第１人物フレームの中心が前記第１人物点であり、ｙ軸方向の前記第１人物フレームの最大長さが前記第２長さ以上である、ステップと、を含む。
【0010】
本開示の任意の実施形態と組み合わせて、前記第１人物フレームの形状は矩形であり、前記第１位置と前記第２長さに基づいて、第１人物フレームの位置を決定するステップは、前記第１位置と前記第２長さに基づいて、前記第１人物フレームの対角頂点の座標を決定するステップであって、前記対角頂点が第１頂点と第２頂点を含み、前記第１頂点と前記第２頂点の両方が第１線分上の点であり、前記第１線分が前記第１人物フレームの対角線である、ステップを含む。
【0011】
本開示の任意の実施形態と組み合わせて、前記第１人物フレームの形状は正方形であり、前記ラベリング対象画像の画素座標系における前記第１位置の座標は（ｐ、ｑ）であり、前記第１位置と前記第２長さに基づいて、前記第１人物フレームの対角頂点の座標を決定するステップは、前記ｐと第３長さの間の差を決定して第１横座標を取得し、前記ｑと前記第３長さの間の差を決定して第１縦座標を取得し、前記ｐと前記第３長さの間の和を決定して第２横座標を取得し、前記ｑと前記第３長さの間の和を決定して第２縦座標を取得するステップであって、前記第３長さが前記第２長さの半分である、ステップと、前記第１横座標を前記第１頂点の横座標として使用し、前記第１縦座標を前記第１頂点の縦座標として使用し、前記第２横座標を前記第２頂点の横座標として使用し、前記第２縦座標を前記第２頂点の縦座標として使用するステップと、を含む。
【0012】
本開示の任意の実施形態と組み合わせて、第１スケール指標を取得するステップは、前記ラベリング対象画像に対して物体検出処理を行い、第１物体フレームと第２物体フレームを取得するステップと、ｙ軸方向の前記第１物体フレームの長さに基づいて第３長さを取得し、ｙ軸方向の前記第２物体フレームの長さに基づいて第４長さを取得するステップであって、前記ｙ軸が前記ラベリング対象画像の画素座標系の縦軸である、ステップと、前記第３長さと実世界での第１物体の第５長さに基づいて第２スケール指標を取得し、前記第４長さと実世界での第２物体の第６長さに基づいて第３スケール指標を取得するステップであって、前記第１物体が前記第１物体フレームに含まれる検出オブジェクトであり、前記第２物体が前記第２物体フレームに含まれる検出オブジェクトであり、前記第２スケール指標が第３サイズと第４サイズの間のマッピングを表し、前記第３サイズが第２スケール位置にある第２基準物体のサイズであり、前記第４サイズが実世界での前記第２基準物体のサイズであり、前記第２スケール位置が前記ラベリング対象画像内の前記第１物体フレームの位置に基づいて決定された位置であり、前記第３スケール指標が第５サイズと第６サイズの間のマッピングを表し、前記第５サイズが第３スケール位置にある第３基準物体のサイズであり、前記第６サイズが実世界での前記第３基準物体のサイズであり、前記第３スケール位置が前記ラベリング対象画像内の前記第２物体フレームの位置に基づいて決定された位置である、ステップと、前記第２スケール指標と前記第３スケール指標に対してカーブフィッティング処理を行い、前記ラベリング対象画像のスケール指標図を取得するステップであって、前記スケール指標図の第１画素値が第７サイズと第８サイズの間のマッピングを表し、前記第７サイズが第４スケール位置にある第４基準物体のサイズであり、前記第８サイズが実世界での前記第４基準物体のサイズであり、前記第１画素値が第２画素点の画素値であり、前記第４スケール位置が前記ラベリング対象画像内の第３画素点の位置であり、前記スケール指標図内の前記第２画素点の位置が前記ラベリング対象画像内の前記第３画素点の位置と同じである、ステップと、前記スケール指標図と前記第１位置に基づいて、前記第１スケール指標を取得するステップと、を含む。
【0013】
本開示の任意の実施形態と組み合わせて、前記第１人物の人物点ラベルがラベリング済み人物点ラベルに属し、前記第１人物の人物フレームラベルがラベリング済み人物フレームラベルに属し、前記方法は、トレーニングされるべきネットワークを取得するステップと、前記トレーニングされるべきネットワークを用いて前記ラベリング対象画像を処理し、前記少なくとも１つの人物点の位置と少なくとも１つの人物フレームの位置を取得するステップと、前記ラベリング済み人物点ラベルと前記少なくとも１つの人物点の位置の間の差に基づいて、第１差を取得するステップと、前記ラベリング済み人物フレームラベルと前記少なくとも１つの人物フレームの位置の間の差に基づいて、第２差を取得するステップと、前記第１差と前記第２差に基づいて、前記トレーニングされるべきネットワークの損失を取得するステップと、前記損失に基づいて前記トレーニングされるべきネットワークのパラメータを更新し、人群測位ネットワークを取得するステップと、をさらに含む。
【0014】
本開示の任意の実施形態と組み合わせて、前記ラベリング済み人物点ラベルは、第２人物の人物点ラベルをさらに含み、前記第２人物の人物点ラベルは、前記第２人物点の第３位置を含み、前記少なくとも１つの人物点の位置は、第４位置と第５位置を含み、前記第４位置は、前記第１人物の人物点の位置であり、前記第５位置は、前記第２人物の人物点の位置である。
【0015】
前記ラベリング済み人物点ラベルと前記少なくとも１つの人物点の位置の間の差に基づいて、第１差を取得するステップの前に、前記方法は、第４スケール指標を取得するステップであって、前記第４スケール指標が第９サイズと第１０サイズの間のマッピングを表し、前記第９サイズが前記第３位置にある第５基準物体のサイズであり、前記第１０サイズが実世界での前記第５基準物体のサイズである、ステップをさらに含む。
【0016】
前記ラベリング済み人物点ラベルと前記少なくとも１つの人物点の位置の間の差に基づいて、第１差を取得するステップは、前記第１位置と前記第４位置の間の差に基づいて第３差を取得し、前記第３位置と前記第５位置の間の差に基づいて、第４差を取得するステップと、前記第１スケール指標と前記第４スケール指標に基づいて、前記第３差の第１重みと前記第４差の第２重みを取得するステップであって、前記第１スケール指標が前記第４スケール指標よりも小さい場合、前記第１重みが前記第２重みよりも大きく、前記第１スケール指標が前記第４スケール指標よりも大きい場合、前記第１重みが前記第２重みよりも小さく、前記第１スケール指標が前記第４スケール指標に等しい場合、前記第１重みが前記第２重みに等しいステップと、前記第１重みと前記第２重みに基づいて、前記第３差と前記第４差を重み付けして合計し、前記第１差を取得するステップと、を含む。
【0017】
本開示の任意の実施形態と組み合わせて、第４スケール指標を取得するステップは、前記スケール指標図と前記第３位置に基づいて、前記第４スケール指標を取得するステップを含む。
【0018】
本開示の任意の実施形態と組み合わせて、前記トレーニングされるべきネットワークを用いて前記ラベリング対象画像を処理し、前記少なくとも１つの人物点の位置と少なくとも１つの人物フレームの位置を取得するステップは、前記ラベリング対象画像に対して特徴抽出処理を行い、第１特徴データを取得するステップと、前記第１特徴データに対してダウンサンプリング処理を行い、前記少なくとも１つの人物フレームの位置を取得するステップと、前記第１特徴データに対してアップサンプリング処理を行い、前記少なくとも１つの人物点の位置を取得するステップと、を含む。
【0019】
本開示の任意の実施形態と組み合わせて、前記第１特徴データに対してダウンサンプリング処理を行い、前記少なくとも１つの人物フレームの位置を取得するステップは、前記第１特徴データに対してダウンサンプリング処理を行い、第２特徴データを取得するステップと、前記第２特徴データに対して畳み込み処理を行い、前記少なくとも１つの人物フレームの位置を取得するステップと、を含み、前記第１特徴データに対してアップサンプリング処理を行い、前記少なくとも１つの人物点の位置を取得するステップは、前記第１特徴データに対してアップサンプリング処理を行い、第３特徴データを取得するステップと、前記第２特徴データと前記第３特徴データに対して融合処理を行い、第４特徴データを取得するステップと、前記第４特徴データに対してアップサンプリング処理を行い、前記少なくとも１つの人物点の位置を取得するステップと、を含む。
【0020】
本開示の任意の実施形態と組み合わせて、前記方法は、処理されるべき画像を取得するステップと、前記人群測位ネットワークを用いて前記処理されるべき画像を処理し、第３人物の人物点の位置と前記第３人物の人物フレームの位置を取得するステップであって、前記第３人物が前記処理されるべき画像内の人物である、ステップと、をさらに含む。
【0021】
第２態様による画像ラベリング装置は、
ラベリング対象画像と第１スケール指標を取得するように構成される取得ユニットであって、前記ラベリング対象画像に第１人物の人物点ラベルが含まれ、前記第１人物の人物点ラベルが第１人物点の第１位置を含み、前記第１スケール指標が第１サイズと第２サイズの間のマッピングを表し、前記第１サイズが前記第１位置にある第１基準物体のサイズであり、前記第２サイズが実世界での前記第１基準物体のサイズである、取得ユニットと、
前記第１スケール指標が第１閾値以上である場合、前記第１人物点に基づいて画素点隣接領域を構築するように構成される構築ユニットであって、前記画素点隣接領域に前記第１人物点とは異なる第１画素点が含まれる、構築ユニットと、
前記第１画素点の位置を前記第１人物の人物点ラベルとして使用するように構成される第１処理ユニットと、を備える。
ラベリング対象画像と第１スケール指標を取得するように構成される取得ユニットであって、前記ラベリング対象画像に第１人物の人物点ラベルが含まれ、前記第１人物の人物点ラベルが第１人物点の第１位置を含み、前記第１スケール指標が第１サイズと第２サイズの間のマッピングを表し、前記第１サイズが前記第１位置にある第１基準物体のサイズであり、前記第２サイズが実世界での前記第１基準物体のサイズである、取得ユニットと、
前記第１スケール指標が第１閾値以上である場合、前記第１人物点に基づいて画素点隣接領域を構築するように構成される構築ユニットであって、前記画素点隣接領域に前記第１人物点とは異なる第１画素点が含まれる、構築ユニットと、
前記第１画素点の位置を前記第１人物の人物点ラベルとして使用するように構成される第１処理ユニットと、を備える。
【0022】
本開示の任意の実施形態と組み合わせて、前記取得ユニットは、さらに、
第１長さを取得するように構成され、前記第１長さが実世界での前記第１人物の長さであり、
前記装置は、第２処理ユニットをさらに備え、前記第２処理ユニットは、
前記第１位置、前記第１スケール指標及び前記第１長さに基づいて、前記第１人物の少なくとも１つの人物フレームの位置を取得し、前記少なくとも１つの人物フレームの位置を前記第１人物の人物フレームとして使用するように構成される。
第１長さを取得するように構成され、前記第１長さが実世界での前記第１人物の長さであり、
前記装置は、第２処理ユニットをさらに備え、前記第２処理ユニットは、
前記第１位置、前記第１スケール指標及び前記第１長さに基づいて、前記第１人物の少なくとも１つの人物フレームの位置を取得し、前記少なくとも１つの人物フレームの位置を前記第１人物の人物フレームとして使用するように構成される。
【0023】
本開示の任意の実施形態と組み合わせて、前記少なくとも１つの人物フレームの位置は第２位置を含み、
前記第２処理ユニットは、
前記第１スケール指標と前記第１長さの積を決定し、ラベリング対象画像内の前記第１人物の第２長さを取得し、前記第１位置と前記第２長さに基づいて、第１人物フレームの位置を前記第２位置として決定するように構成され、前記第１人物フレームの中心が前記第１人物点であり、ｙ軸方向の前記第１人物フレームの最大長さが前記第２長さ以上である。
前記第２処理ユニットは、
前記第１スケール指標と前記第１長さの積を決定し、ラベリング対象画像内の前記第１人物の第２長さを取得し、前記第１位置と前記第２長さに基づいて、第１人物フレームの位置を前記第２位置として決定するように構成され、前記第１人物フレームの中心が前記第１人物点であり、ｙ軸方向の前記第１人物フレームの最大長さが前記第２長さ以上である。
【0024】
本開示の任意の実施形態と組み合わせて、前記第１人物フレームの形状は矩形であり、
前記第２処理ユニットは、
前記第１位置と前記第２長さに基づいて、前記第１人物フレームの対角頂点の座標を決定するように構成され、前記対角頂点が第１頂点と第２頂点を含み、前記第１頂点と前記第２頂点の両方が第１線分上の点であり、前記第１線分が前記第１人物フレームの対角線である。
前記第２処理ユニットは、
前記第１位置と前記第２長さに基づいて、前記第１人物フレームの対角頂点の座標を決定するように構成され、前記対角頂点が第１頂点と第２頂点を含み、前記第１頂点と前記第２頂点の両方が第１線分上の点であり、前記第１線分が前記第１人物フレームの対角線である。
【0025】
本開示の任意の実施形態組み合わせると、前記第１人物フレームの形状は、正方形であり、前記ラベリング対象画像の画素座標系における前記第１位置の座標は（ｐ、ｑ）であり、
前記第２処理ユニットは、
前記ｐと第３長さの間の差を決定して第１横座標を取得し、前記ｑと前記第３長さの間の差を決定して第１縦座標を取得し、前記ｐと前記第３長さの間の和を決定して第２横座標を取得し、前記ｑと前記第３長さの間の和を決定して第２縦座標を取得し、前記第３長さが前記第２長さの半分であり、
前記第１横座標を前記第１頂点の横座標として使用し、前記第１縦座標を前記第１頂点の縦座標として使用し、前記第２横座標を前記第２頂点の横座標として使用し、前記第２縦座標を前記第２頂点の縦座標として使用するように構成される。
前記第２処理ユニットは、
前記ｐと第３長さの間の差を決定して第１横座標を取得し、前記ｑと前記第３長さの間の差を決定して第１縦座標を取得し、前記ｐと前記第３長さの間の和を決定して第２横座標を取得し、前記ｑと前記第３長さの間の和を決定して第２縦座標を取得し、前記第３長さが前記第２長さの半分であり、
前記第１横座標を前記第１頂点の横座標として使用し、前記第１縦座標を前記第１頂点の縦座標として使用し、前記第２横座標を前記第２頂点の横座標として使用し、前記第２縦座標を前記第２頂点の縦座標として使用するように構成される。
【0026】
本開示の任意の実施形態と組み合わせて、前記取得ユニットは、
前記ラベリング対象画像に対して物体検出処理を行い、第１物体フレームと第２物体フレームを取得し、
ｙ軸方向の前記第１物体フレームの長さに基づいて第３長さを取得し、ｙ軸方向の前記第２物体フレームの長さに基づいて第４長さを取得し、前記ｙ軸が前記ラベリング対象画像の画素座標系の縦軸であり、
前記第３長さと実世界での第１物体の第５長さに基づいて第２スケール指標を取得し、前記第４長さと実世界での第２物体の第６長さに基づいて第３スケール指標を取得し、前記第１物体が前記第１物体フレームに含まれる検出オブジェクトであり、前記第２物体が前記第２物体フレームに含まれる検出オブジェクトであり、前記第２スケール指標が第３サイズと第４サイズの間のマッピングを表し、前記第３サイズが第２スケール位置にある第２基準物体のサイズであり、前記第４サイズが実世界での前記第２基準物体のサイズであり、前記第２スケール位置が前記ラベリング対象画像内の前記第１物体フレームの位置に基づいて決定された位置であり、前記第３スケール指標が第５サイズと第６サイズの間のマッピングを表し、前記第５サイズが第３スケール位置にある第３基準物体のサイズであり、前記第６サイズが実世界での前記第３基準物体のサイズであり、前記第３スケール位置が前記ラベリング対象画像内の前記第２物体フレームの位置に基づいて決定された位置であり、
前記第２スケール指標と前記第３スケール指標に対してカーブフィッティング処理を行い、前記ラベリング対象画像のスケール指標図を取得し、前記スケール指標図の第１画素値が第７サイズと第８サイズの間のマッピングを表し、前記第７サイズが第４スケール位置にある第４基準物体のサイズであり、前記第８サイズが実世界での前記第４基準物体のサイズであり、前記第１画素値が第２画素点の画素値であり、前記第４スケール位置が前記ラベリング対象画像内の第３画素点の位置であり、前記スケール指標図内の前記第２画素点の位置が前記ラベリング対象画像内の前記第３画素点の位置と同じであり、
前記スケール指標図と前記第１位置に基づいて、前記第１スケール指標を取得するように構成される。
前記ラベリング対象画像に対して物体検出処理を行い、第１物体フレームと第２物体フレームを取得し、
ｙ軸方向の前記第１物体フレームの長さに基づいて第３長さを取得し、ｙ軸方向の前記第２物体フレームの長さに基づいて第４長さを取得し、前記ｙ軸が前記ラベリング対象画像の画素座標系の縦軸であり、
前記第３長さと実世界での第１物体の第５長さに基づいて第２スケール指標を取得し、前記第４長さと実世界での第２物体の第６長さに基づいて第３スケール指標を取得し、前記第１物体が前記第１物体フレームに含まれる検出オブジェクトであり、前記第２物体が前記第２物体フレームに含まれる検出オブジェクトであり、前記第２スケール指標が第３サイズと第４サイズの間のマッピングを表し、前記第３サイズが第２スケール位置にある第２基準物体のサイズであり、前記第４サイズが実世界での前記第２基準物体のサイズであり、前記第２スケール位置が前記ラベリング対象画像内の前記第１物体フレームの位置に基づいて決定された位置であり、前記第３スケール指標が第５サイズと第６サイズの間のマッピングを表し、前記第５サイズが第３スケール位置にある第３基準物体のサイズであり、前記第６サイズが実世界での前記第３基準物体のサイズであり、前記第３スケール位置が前記ラベリング対象画像内の前記第２物体フレームの位置に基づいて決定された位置であり、
前記第２スケール指標と前記第３スケール指標に対してカーブフィッティング処理を行い、前記ラベリング対象画像のスケール指標図を取得し、前記スケール指標図の第１画素値が第７サイズと第８サイズの間のマッピングを表し、前記第７サイズが第４スケール位置にある第４基準物体のサイズであり、前記第８サイズが実世界での前記第４基準物体のサイズであり、前記第１画素値が第２画素点の画素値であり、前記第４スケール位置が前記ラベリング対象画像内の第３画素点の位置であり、前記スケール指標図内の前記第２画素点の位置が前記ラベリング対象画像内の前記第３画素点の位置と同じであり、
前記スケール指標図と前記第１位置に基づいて、前記第１スケール指標を取得するように構成される。
【0027】
本開示の任意の実施形態と組み合わせて、前記第１人物の人物点ラベルがラベリング済み人物点ラベルに属し、前記第１人物の人物フレームラベルがラベリング済み人物フレームラベルに属し、前記取得ユニットは、さらに、
トレーニングされるべきネットワークを取得するように構成され、
前記装置は、第３処理ユニットをさらに備え、前記第３処理ユニットは、
前記トレーニングされるべきネットワークを用いて前記ラベリング対象画像を処理し、前記少なくとも１つの人物点の位置と少なくとも１つの人物フレームの位置を取得し、
前記ラベリング済み人物点ラベルと前記少なくとも１つの人物点の位置の間の差に基づいて第１差を取得し、
前記ラベリング済み人物フレームラベルと前記少なくとも１つの人物フレームの位置の間の差に基づいて、第２差を取得し、
前記第１差と前記第２差に基づいて、前記トレーニングされるべきネットワークの損失を取得し、
前記損失に基づいて前記トレーニングされるべきネットワークのパラメータを更新し、人群測位ネットワークを取得するように構成される。
トレーニングされるべきネットワークを取得するように構成され、
前記装置は、第３処理ユニットをさらに備え、前記第３処理ユニットは、
前記トレーニングされるべきネットワークを用いて前記ラベリング対象画像を処理し、前記少なくとも１つの人物点の位置と少なくとも１つの人物フレームの位置を取得し、
前記ラベリング済み人物点ラベルと前記少なくとも１つの人物点の位置の間の差に基づいて第１差を取得し、
前記ラベリング済み人物フレームラベルと前記少なくとも１つの人物フレームの位置の間の差に基づいて、第２差を取得し、
前記第１差と前記第２差に基づいて、前記トレーニングされるべきネットワークの損失を取得し、
前記損失に基づいて前記トレーニングされるべきネットワークのパラメータを更新し、人群測位ネットワークを取得するように構成される。
【0028】
本開示の任意の実施形態と組み合わせて、前記ラベリング済み人物点ラベルは、第２人物の人物点ラベルをさらに含み、前記第２人物の人物点ラベルは、前記第２人物点の第３位置を含み、前記少なくとも１つの人物点の位置は、第４位置と第５位置を含み、前記第４位置は、前記第１人物の人物点の位置であり、前記第５位置は、前記第２人物の人物点の位置であり、
前記取得ユニットは、さらに、前記ラベリング済み人物点ラベルと前記少なくとも１つの人物点の位置の間の差に基づいて、第１差を取得するステップの前に、第４スケール指標を取得するように構成され、前記第４スケール指標が第９サイズと第１０サイズの間のマッピングを表し、前記第９サイズが前記第３位置にある第５基準物体のサイズであり、前記第１０サイズが実世界での前記第５基準物体のサイズであり、
前記第３処理ユニットは、
前記第１位置と前記第４位置の間の差に基づいて第３差を取得し、前記第３位置と前記第５位置の間の差に基づいて第４差を取得し、
前記第１スケール指標と前記第４スケール指標に基づいて、前記第３差の第１重みと前記第４差の第２重みを取得し、前記第１スケール指標が前記第４スケール指標よりも小さい場合、前記第１重みが前記第２重みよりも大きく、前記第１スケール指標が前記第４スケール指標よりも大きい場合、前記第１重みが前記第２重みよりも小さく、前記第１スケール指標が前記第４スケール指標に等しい場合、前記第１重みが前記第２重みに等しく、
前記第１重みと前記第２重みに基づいて、前記第３差と前記第４差を重み付けして合計し、前記第１差を取得するように構成される。
前記取得ユニットは、さらに、前記ラベリング済み人物点ラベルと前記少なくとも１つの人物点の位置の間の差に基づいて、第１差を取得するステップの前に、第４スケール指標を取得するように構成され、前記第４スケール指標が第９サイズと第１０サイズの間のマッピングを表し、前記第９サイズが前記第３位置にある第５基準物体のサイズであり、前記第１０サイズが実世界での前記第５基準物体のサイズであり、
前記第３処理ユニットは、
前記第１位置と前記第４位置の間の差に基づいて第３差を取得し、前記第３位置と前記第５位置の間の差に基づいて第４差を取得し、
前記第１スケール指標と前記第４スケール指標に基づいて、前記第３差の第１重みと前記第４差の第２重みを取得し、前記第１スケール指標が前記第４スケール指標よりも小さい場合、前記第１重みが前記第２重みよりも大きく、前記第１スケール指標が前記第４スケール指標よりも大きい場合、前記第１重みが前記第２重みよりも小さく、前記第１スケール指標が前記第４スケール指標に等しい場合、前記第１重みが前記第２重みに等しく、
前記第１重みと前記第２重みに基づいて、前記第３差と前記第４差を重み付けして合計し、前記第１差を取得するように構成される。
【0029】
本開示の任意の実施形態と組み合わせて、前記取得ユニットは、
前記スケール指標図と前記第３位置に基づいて、前記第４スケール指標を取得するように構成される。
前記スケール指標図と前記第３位置に基づいて、前記第４スケール指標を取得するように構成される。
【0030】
本開示の任意の実施形態と組み合わせて、前記第３処理ユニットは、
前記ラベリング対象画像に対して特徴抽出処理を行い、第１特徴データを取得し、
前記第１特徴データに対してダウンサンプリング処理を行い、前記少なくとも１つの人物フレームの位置を取得し、
前記第１特徴データに対してアップサンプリング処理を行い、前記少なくとも１つの人物点の位置を取得するように構成される。
前記ラベリング対象画像に対して特徴抽出処理を行い、第１特徴データを取得し、
前記第１特徴データに対してダウンサンプリング処理を行い、前記少なくとも１つの人物フレームの位置を取得し、
前記第１特徴データに対してアップサンプリング処理を行い、前記少なくとも１つの人物点の位置を取得するように構成される。
【0031】
本開示の任意の実施形態と組み合わせて、前記第３処理ユニットは、
前記第１特徴データに対してダウンサンプリング処理を行い、第２特徴データを取得し、
前記第２特徴データに対して畳み込み処理を行い、前記少なくとも１つの人物フレームの位置を取得するように構成され、
前記第１特徴データに対してアップサンプリング処理を行い、前記少なくとも１つの人物点の位置を取得するステップは、
前記第１特徴データに対してアップサンプリング処理を行い、第３特徴データを取得するステップと、
前記第２特徴データと前記第３特徴データに対して融合処理を行い、第４特徴データを取得するステップと、
前記第４特徴データに対してアップサンプリング処理を行い、前記少なくとも１つの人物点の位置を取得するステップと、を含む。
前記第１特徴データに対してダウンサンプリング処理を行い、第２特徴データを取得し、
前記第２特徴データに対して畳み込み処理を行い、前記少なくとも１つの人物フレームの位置を取得するように構成され、
前記第１特徴データに対してアップサンプリング処理を行い、前記少なくとも１つの人物点の位置を取得するステップは、
前記第１特徴データに対してアップサンプリング処理を行い、第３特徴データを取得するステップと、
前記第２特徴データと前記第３特徴データに対して融合処理を行い、第４特徴データを取得するステップと、
前記第４特徴データに対してアップサンプリング処理を行い、前記少なくとも１つの人物点の位置を取得するステップと、を含む。
【0032】
本開示の任意の実施形態と組み合わせて、前記取得ユニットは、さらに、
処理されるべき画像を取得するように構成され、
前記装置は、第４処理ユニットをさらに備え、前記第４処理ユニットは、
前記人群測位ネットワークを用いて前記処理されるべき画像を処理し、第３人物の人物点の位置と前記第３人物の人物フレームの位置を取得するように構成され、前記第３人物が前記処理されるべき画像内の人物である。
処理されるべき画像を取得するように構成され、
前記装置は、第４処理ユニットをさらに備え、前記第４処理ユニットは、
前記人群測位ネットワークを用いて前記処理されるべき画像を処理し、第３人物の人物点の位置と前記第３人物の人物フレームの位置を取得するように構成され、前記第３人物が前記処理されるべき画像内の人物である。
【0033】
第３態様によるプロセッサは、上記の第１態様及びその任意の可能な実現方式の方法を実行するように構成される。
【0034】
第４態様による電子デバイスは、プロセッサ、送信装置、入力装置、出力装置とメモリを備え、前記メモリは、コンピュータプログラムコードを記憶するように構成され、前記コンピュータプログラムコードは、コンピュータ命令を含み、前記プロセッサは前記コンピュータ命令を実行して、上記第１態様及びその任意の可能な実現方式の方法を実行するように構成される。
【0035】
第５態様によるコンピュータ可読記憶媒体は、コンピュータプログラムを記憶しており、前記コンピュータプログラムがプログラム命令を含み、前記プログラム命令がプロセッサに実行されると、前記プロセッサに上記の第１態様及びそのいずれかの可能な実現方式における方法を実行させる。
【0036】
第６態様によるコンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子デバイスで実行されると、前記電子デバイスでのプロセッサに上記第１態様及びその任意の可能な実現方式の方法を実行させる。
【0037】
以上の一般的な説明及び以下の詳細な説明が例示的及び解釈的なものだけであり、本開示を制限するものではないことを理解すべきである。
【図面の簡単な説明】
【0038】
【図1】本開示の実施例による人群画像の概略図である。
【図2】本開示の実施例による画素座標系の概略図である。
【図3】本開示の実施例による画像ラベリング方法のフローチャートである。
【図4】本開示の実施例による画像の概略図である。
【図5】本開示の実施例によるラベリング対象画像の概略図である。
【図6】本開示の実施例による別の画像ラベリング方法のフローチャートである。
【図7】本開示の実施例による別の画像ラベリング方法のフローチャートである。
【図8】本開示の実施例によるインジケータプレートの概略図である。
【図9】本開示の実施例による別の画像ラベリング方法のフローチャートである。
【図10】本開示の実施例による同じ位置にある要素の概略図である。
【図11】本開示の実施例による人群測位ネットワークの構造概略図である。
【図12】本開示の実施例によるバックボーンネットワークの構造概略図である。
【図13】本開示の実施例による人物点分岐と人物フレーム分岐の構造概略図である。
【図14】本開示の実施例による画像ラベリング装置の構造概略図である。
【図15】本発明の実施例による画像ラベリング装置のハードウェア構造概略図ある。
【発明を実施するための形態】
【0039】
本開示の実施例又は背景技術における技術的解決策をより明確に説明するために、以下に本開示の実施例又は背景技術で使用される必要がある図面を説明する。
【0040】
ここでの添付図面は本明細書に組み込まれて本明細書の一部を構成し、これらの図面は、本開示に一致する実施例を示し、明細書と共に本開示の技術案を解釈することに用いられる。
【0041】
当業者が本開示の実施例によって提供される技術的解決策をより良く理解するために、以下に本開示の実施例の図面と組み合わせて本開示の実施例における技術的解決策を明確且つ完全に説明し、明らかに、説明される実施例は、本開示の実施例の一部だけであり、全ての実施例ではない。本開示の実施例に基づき、当業者が創造的な労力を要せずに得る全ての他の実施例は、本開示の保護範囲に属する。
【0042】
本開示の明細書と特許請求の範囲及び上記図面における用語「第一」、「第二」」などは、異なるオブジェクトを区別するために用いられるが、特定の順序を説明するためのものではない。また、用語「包括」と「有する」及びそれらのいかなる変形は、非排他的な包含をカバーすることを意図する。例えば一連のステップ又はユニットを含むプロセス、方法、システム、製品又はデバイスは、示されたステップ又はユニットに限定されず、任意に、示されないステップ又はユニットを含み、又は、任意に、これらのプロセス、方法、製品又はデバイス固有の他のステップ又はユニットを含む。
【0043】
本明細書に言及される「実施例」は、実施例と組み合わせて説明される特定の特徴、構造又は特性が本開示の少なくとも１つの実施例に含まれてもよいことを意味する。本明細書の様々な位置に現れる当該フレーズは、必ずしも同じ実施例を指すわけではなく、他の実施例と相互に排他的に独立した実施例又は代替実施形態ではない。当業者は、本明細書で説明される実施例が他の実施例と組合わせられてもよいことを明示的及び暗黙的に理解できる。
【0044】
まず、以下に示されるいくつかの概念を定義する。いくつかの可能な実現方式では、画像内の近くの人物に対応する画像スケールは大きく、画像内の遠くの人物に対応する画像スケールは小さい。本開示の実施例における「遠い」とは、画像内の物体に対応する現実の人物と上記画像を収集するためのイメージングデバイスとの間の距離が遠いことを指し、「近い」は、画像内の人物に対応する現実の人物と上記画像を収集するためのイメージングデバイスとの間の距離が近いことを指す。
【0045】
画像では、近くの人物がカバーしている画素点領域の面積は、遠くの人物がカバーしている画素領域の面積よりも大きい。例えば、図１では、人物Ａは人物Ｂよりも近くの人物であり、かつ人物Ａがカバーしている画素点領域の面積は、人物Ｂがカバーしている画素点領域の面積よりも大きい。近くの人物がカバーしている画素点領域のスケールは大きく、遠くの人物がカバーしている画素点領域のスケールは小さい。つまり、人物がカバーしている画素点領域の面積は、人物がカバーしている画素領域のスケールと正の相関関係にある。
【0046】
いくつかの可能な実現方式では、画像内の位置はすべて画像の画素座標に基づく位置を指す。本開示の実施例における画素座標系の横座標は、画素点が位置する列の数を示すために用いられ、画素座標系における縦座標は、画素点が位置する行の数を示すために用いられる。例えば、図２に示す画像では、画像の左上隅を座標原点Ｏとし、画像の行に平行な方向をＸ軸の方向とし、画像の列に平行な方向をＹ軸の方向として画素座標系ＸＯＹを構築する。横座標と縦座標の単位はすべて画素点である。例えば、図２内の画素点Ａ１１の座標は（１、１）であり、画素点Ａ２３の座標は（３、２）であり、画素点Ａ４２の座標は（２、４）であり、画素点Ａ３４の座標は（４、３）であり、このように類推する。
【0047】
いくつかの可能な実現方式では、［ａ、ｂ］は、ａ以上かつｂ以下の値の範囲を表し、（ｃ、ｄ］は、ｃ以上かつｄ以下の値の範囲を表し、［ｅ、ｆ）はｅ以上かつｆの値の範囲を表す。
【0048】
本開示の実施例の実行本体は、画像ラベリング装置である。選択可能に、画像ラベリング装置は、携帯電話、コンピュータ、サーバー、タブレットコンピュータのいずれかであってもよい。以下に本開示の実施例における図面を参照して本開示の実施例を説明する。
【0049】
【0050】
ステップ３０１において、ラベリング対象画像と第１スケール指標を取得する。
【0051】
いくつかの可能な実現方式では、ラベリング対象画像は、任意の画像であってもよい。例えば、ラベリング対象画像は、人物を含む。ラベリング対象画像は、胴体、四肢（以下に胴体と四肢が人体と呼ばれる）を含めず、人頭のみを含むことができる。ラベリング対象画像は、人頭を含めず、人体のみを含むこともできる。ラベリング対象画像は、下肢又は上肢のみを含むこともできる。本開示の実施例では、ラベリング対象画像に含まれる人体領域が限定されない。また、例えば、ラベリング対象画像は、動物を含むことができる。また、例えば、ラベリング対象画像は、植物を含むことができる。本開示の実施例では、ラベリング対象画像に含まれる内容が限定されない。
【0052】
ラベリング対象画像では、人物点がカバーしている画素点領域は、人物領域と見なされても良く、人物領域は、人体がカバーしている画素点領域である。例えば、第１人物点がカバーしている領域は、人頭がカバーしている画素点領域に属する。また、例えば、第１人物点がカバーしている領域は、腕がカバーしている画素点領域に属する。また、例えば、第１人物点がカバーしている領域は、胴体がカバーしている画素点領域に属する。
【0053】
いくつかの可能な実現方式では、ラベリング対象画像には第１人物の人物点ラベルが含まれている。第１人物の人物点ラベルは第１人物点の第１位置を含む。即ち、ラベリング対象画像内の第１位置は、第１人物の人物領域である。
【0054】
いくつかの可能な実現方式では、画像では、ある位置のスケール指標（上記第１スケール指標、及び以下に示される第２スケール指標、第３スケール指標、第４スケール指標を含む）は、当該位置にある物体のサイズと実世界での当該物体のサイズの間のマッピング関係を表す。
【0055】
１つの可能な実現方式では、ある位置のスケール指標は、当該位置で実世界での１メートルを示すために必要がある画素点の数を表す。例えば、図４に示す画像において、画素点Ａ３１の位置のスケール指標が５０であり、画素点Ａ１３の位置のスケール指標は２０であると仮定する。画素点Ａ３１の位置は、実世界での１メートルに必要な画素点の数が５０であることを示し、画素点Ａ１３の位置は、実世界での１メートルに必要な画素点の数が２０であることを示す。
【0056】
別の可能な実現方式では、ある位置のスケール指標は、当該位置にある物体のサイズと実世界での当該物体のサイズとの比を表す。例えば、図４に示す画像において、物体１は、画素点Ａ１３の位置にあり、物体２は、画素点Ａ３１の位置にあると仮定する。画素点Ａ３１の位置のスケール指標が５０であり、画素点Ａ１３の位置のスケール指標は２０である。画像内の物体１のサイズと実世界での物体１のサイズとの比が２０であり、画像内の物体２のサイズと実世界での物体２のサイズとの比が５０である。
【0057】
別の可能な実現方式では、ある位置のスケール指標は、当該位置にある物体のサイズと実世界での当該物体のサイズとの比の逆数を表す。例えば、図４に示す画像において、物体１は、画素点Ａ１３の位置にあり、物体２は、画素点Ａ３１の位置にあると仮定する。画素点Ａ３１の位置のスケール指標が５０であり、画素点Ａ１３の位置のスケール指標は２０である。実世界での物体１のサイズと画像内の物体１のサイズとの比が２０であり、実世界での物体２のサイズと画像内の物体２のサイズとの比が５０である。
【0058】
任意に、スケールが同じである位置のスケール指標は同じである。例えば、図４に示す画像では、画素点Ａ１１のスケール、画素点Ａ１２のスケール、画素点Ａ１３のスケールは、すべて同じであり、画素点Ａ２１のスケール、画素点Ａ２２のスケール、画素点Ａ２３のスケールはすべて同じあり、画素点Ａ３１、画素点Ａ３２のスケール、画素点Ａ３３のスケールはすべて同じである。それに応じて、画素点Ａ１１のスケール指標、画素点Ａ１２のスケール指標、画素点Ａ１３のスケール指標は、すべて同じであり、画素点Ａ２１のスケール指標、画素点Ａ２２のスケール指標、画素点Ａ２３のスケール指標はすべて同じあり、画素点Ａ３１のスケール指標、画素点Ａ３２のスケール指標、画素点Ａ３３のスケール指標はすべて同じである。
【0059】
いくつかの可能な実現方式では、第１スケール指標は、第１位置のスケール指標である。第１基準物体が第１位置にあると仮定すると、第１スケール指標は、第１サイズと第２サイズの間のマッピングを表し、ここで、第１サイズは、ラベリング対象画像内の第１基準物体のサイズであり、第２サイズは、実世界での第１基準物体のサイズである。
【0060】
ラベリング対象画像を取得するための実現方式では、画像ラベリング装置は、ユーザが入力コンポーネントを介して入力したラベリング対象画像を受信する。上記入力コンポーネントは、キーボード、マウス、タッチスクリーン、タッチパッド及びオーディオ入力デバイスなどを含む。
【0061】
ラベリング対象画像を取得するための別の実現方式では、画像ラベリング装置は、第１端末か送信されたラベリング対象画像を受信する。任意に、第１端末は、携帯電話、コンピュータ、タブレットコンピュータ、サーバー、ウェアラブルデバイスのいずれか１つであってもよい。
【0062】
ラベリング対象画像を取得するための別の実現方式では、画像ラベリング装置は、イメージングコンポーネントによってラベリング対象画像を収集することができる。任意に、上記イメージングコンポーネントはカメラであってもよい。
【0063】
第１スケール指標を取得するための実現方式では、画像ラベリング装置は、ユーザが入力コンポーネントを介して入力した第１スケール指標を受信する。上記入力コンポーネントは、キーボード、マウス、タッチスクリーン、タッチパッド及びオーディオ入力デバイスなどを含む。
【0064】
第１スケール指標を取得するための別の実現方式では、画像ラベリング装置は、第２端末から送信された第１スケール指標を受信する。任意に、第２端末は、携帯電話、コンピュータ、タブレットコンピュータ、サーバー、ウェアラブルデバイスのいずれか１つであってもよい。第２端末は、第１端末と同じであってもよいし、異なっていてもよい。
【0065】
ステップ３０２において、上記第１スケール指標が第１閾値以上である場合、上記第１人物点に基づいて画素点隣接領域を構築する。
【0066】
従来の画像ラベリング方法では、ラベリング対象画像内の人物領域に含まれる画素点の位置を手動でラベリングして人物点ラベルを取得する。ラベリング対象画像には面積が大きい人物領域が存在する可能性があるため、従来方法により得られた人物点ラベル（例えばラベリング対象画像に含まれる人物点ラベル）は、人物領域全体を完全にカバーできない可能性がある。
【0067】
ラベリング対象画像では、画素座標系のｘ軸から離れるほど、人物領域の面積が大きくなり、ラベリング対象画像内のある位置のスケール指標は、当該位置とｘ軸の間の距離を表すために用いられてもよい。画像ラベリング装置は、スケール指標に基づいて、人物領域とｘ軸の間の距離を決定し、さらに当該人物領域にラベリングされていない画素点が存在するか否かを決定する。
【0068】
ラベリング対象画像内のある位置の「スケール指標」が「当該位置とｘ軸の間の距離」と正の相関関係にあるため、画像ラベリング装置は、スケール指標が第１閾値以上であるか否かに基づいて、当該位置の人物領域にラベリングされていない画素点が存在するか否かを決定する。
【0069】
１つの可能な実現方式では、第１スケール指標が第１閾値以上であることは、第１人物の人物領域にラベリングされていない画素点が存在することを表す。任意に、第１閾値の大きさは、実際のニーズに応じて決定されてもよい。任意に、第１閾値が１６である。
【0070】
人物領域内のラベリングされていない画素点は、通常、人物領域の境界に近く、かつ人物領域にラベリング済み画素点は、通常、人物領域の中心に近い。したがって、人物領域にラベリングされていない画素点が存在することを決定した場合、画像ラベリング装置は、ラベリング済み画素点に基づいて画素点隣接領域を構築し、当該画素点隣接領域にラベリング済み画素点以外の画素点を含ませ、ラベリング済み画素点以外の当該画素点をラベリングすることができる。
【0071】
１つの可能な実現方式では、第１スケール指標が第１閾値以上である場合、画像ラベリング装置は、第１人物点に基づいて画素点隣接領域を構築し、当該画素点隣接領域に第１人物点とは異なる少なくとも１つの画素点（第１画素点など）が含まれる。
【0072】
いくつかの可能な実現方式では、画素点隣接領域を構築する方式は限定されない。例えば、図５に示すラベリング対象画像では、第１人物点は画素点Ａ３２であると仮定する。画像ラベリング装置は、画素点Ａ３２との距離が１つの画素点である画素点を画素点隣接領域内の画素点として画素点隣接領域を構築することができる。画素点Ａ３２に基づいて、当該画素点隣接領域は、画素点Ａ２１、画素点Ａ２２、画素点Ａ２３、画素点Ａ３１、画素点Ａ３２、画素点Ａ３３、画素点Ａ４１、画素点Ａ４２、画素点Ａ４３を含む。
【0073】
画像ラベリング装置は、第１人物点に基づいて２＊２のサイズの画素点隣接領域を構築することもできる。画素点Ａ３２に基づいて、当該画素点隣接領域は、画素点Ａ２１、画素点Ａ２２、画素点Ａ３１、画素点Ａ３２を含む。
【0074】
画像ラベリング装置は、画素点Ａ３２を円心とし、１．５つの画素点を半径として画素点隣接領域を構築することもできる。画素点Ａ３２に基づいて、当該画素点隣接領域は、画素点Ａ２１の領域の一部、画素点Ａ２２、画素点Ａ２３の領域の一部、画素点Ａ３１、画素点Ａ３２、画素点Ａ３３、画素点Ａ４１の領域の一部、画素点Ａ４２、画素点Ａ４３の領域の一部を含む。
【0075】
人物領域の面積が大きいほど、人物領域内のラベリングされていない画素点の数は多くなる可能性がある。１つの任意の実施形態として、第１スケール指標が［第１閾値、第２閾値）にある場合、第１人物点との距離が１つの画素である画素点を画素点隣接領域内の画素点として画素点隣接領域を構築し、第１スケール指標が第２閾値以上である場合、第１人物点との距離が２つの画素点である画素点を画素点隣接領域内の画素点として画素点隣接領域を構築する。
【0076】
ステップ３０３において、上記第１画素点の位置を第１人物の人物点ラベルとして使用する。
【0077】
第１人物点に基づいて画素点隣接領域を構築した後、画像ラベリング装置は、第１画素点をラベリングし、即ち第１画素点の位置を第１人物の人物点ラベルとして使用することができる。
【0078】
任意に、画像ラベリング装置は、画素点隣接領域内の第１人物点以外のすべての画素点をラベリングし、即ち画素点隣接領域内の第１人物点以外のすべての画素点の位置を第１人物の人物点ラベルとして使用することができる。
【0079】
いくつかの可能な実現方式では、ラベリング済み人物点とラベリング済み人物点のスケール指標で、人物領域にラベリングされていない画素点が存在するか否かを決定する。人物領域にラベリングされていない画素点が存在することを決定した場合、ラベリング済み人物点に基づいて画素点隣接領域を構築し、画素点隣接領域内のラベリング済み人物点以外の画素点の位置を、当該人物領域に対応する人物のラベルとして使用することにより、ラベリング精度が向上する。
【0080】
【0081】
ステップ６０１において、第１長さを取得する。
【0082】
いくつかの可能な実現方式では、第１長さは、実世界での第１人物の長さである。例えば、第１長さは、実世界での第１人物の身長であってもよい。また、例えば、第１長さは、実世界での第１人物の顔の長さであってもよい。また、例えば、第１長さは、実世界での第１人物の頭部の長さであってもよい。
【0083】
第１長さを取得するための実現方式では、画像ラベリング装置は、ユーザが入力コンポーネントを介して入力した第１長さを受信する。上記入力コンポーネントは、キーボード、マウス、タッチスクリーン、タッチパッド及びオーディオ入力デバイスなどを含む。
【0084】
第１長さを取得するための実現方式では、画像ラベリング装置は、第３端末から送信された第１長さを受信する。任意に、第３端末は、携帯電話、コンピュータ、タブレットコンピュータ、サーバー、ウェアラブルデバイスのいずれか１つであってもよい。第３端末は、第１端末と同じであってもよいし、異なっていてもよい。
【0085】
ステップ６０２において、上記第１位置、上記１スケール指標及び上記第１長さに基づいて、上記第１人物の少なくとも１つの人物フレームの位置を取得する。
【0086】
いくつかの可能な実現方式では、人物フレームに含まれる画素点領域は、人物領域と見なされてもよい。例えば、第１人物の人物フレームには、第１人物の人物領域が含まれる。
【0087】
いくつかの可能な実現方式では、人物フレームは、任意の形状であってもよく、本開示の実施例では人物フレームの形状は限定されない。任意に、人物フレームの形状は、矩形、菱形、円形、楕円形、多角形の少なくも１つを含む。
【0088】
いくつかの可能な実現方式では、ラベリング対象画像内の人物フレームの位置の表現形態は、人物フレームの形状に応じて決定されてもよい。例えば、人物フレームの形状が矩形である場合、人物フレームの位置は、人物フレーム内の任意の１ペアの対角の座標を含むことができ、ここで、１ペアの対角とは人物フレームの対角線上の２つの頂点を指す。また、例えば、人物フレームの形状が矩形である場合、人物フレームの位置は、人物フレームの幾何学的中心の位置、人物フレームの長さ及び人物フレームの幅を含むことができる。また、例えば、人物フレームの形状が円形である場合、人物フレームの位置は、人物フレームの円心、人物フレームの半径を含むことができる。
【0089】
第１位置、１スケール指標及び第１長さに基づいて、第１人物の少なくとも１つの人物フレームの位置を取得することができる。以下に第１人物フレームを取得することを例として、第１位置、第１スケール指標及び第１長さに基づいて人物フレームの位置を取得するための実現プロセスを詳細に説明する。
【0090】
１つの可能な実現方式では、第１スケール指標と第１長さとの積を計算することにより、ラベリング対象画像内の第１人物の第２長さを取得することができる。第１位置と第２長さに基づいて、第１人物フレームの位置を第２位置として決定することができ、ここで、第１人物フレームの中心は、第１人物点であり、ｙ軸方向の第１人物フレームの最大長さは第２長さ以上である。
【0091】
いくつかの可能な実現方式では、ｙ軸は、ラベリング対象画像内の画素座標系の縦軸である。ｙ軸方向の最大長さの意味について次の例を参照することができる。例えば、矩形フレームａｂｃｄは人物フレーム１であり、ａの座標は（４、８）、ｂの座標は（６、８）、ｃの座標は（６、１２）、ｄの座標は（４、１２）である。ｙ軸方向の人物フレーム１の長さは１２－８＝４である。
【0092】
第１人物フレームの位置を決定するための実現方式では、第１位置と第２長さに基づいて、第１人物フレームの対角頂点の座標を決定する。対角頂点の座標を第１人物フレームの位置として使用する。
【0093】
いくつかの可能な実現方式では、対角頂点は、第１頂点と第２頂点を含み、第１頂点と第２頂点は、第１人物フレームの任意の対角線上の２つの頂点である。例えば、第１人物フレームの対角線は、第１線分を含み、対角頂点は、第１頂点と第２頂点を含む。第１頂点と第２頂点の両方は、第１線分上の点である。
【0094】
任意に、ラベリング対象画像内の画素座標における第１位置の座標は（ｐ、ｑ）であると仮定する。第２長さの半分を計算し、第３長さを取得する。ｐと第３長さの間の差を決定して第１横座標を取得し、ｑと第３長さの間の差を決定して第１縦座標を取得し、ｐと第３長さの間の和を決定して第２横座標を取得し、ｑと第３長さの間の和を決定して第２縦座標を取得する。
【0095】
第１横座標を第１頂点の横座標とし、第１縦座標を第１頂点の縦座標とし、第２横座標を第２頂点の横座標とし、第２縦座標を第２頂点の縦座標として使用する。
【0096】
例えば、ｐ＝２０、ｑ＝１８、即ち第１位置の座標は（２０、１８）である。第２長さは２０であり、即ち第３長さは１０であると仮定する。第１横座標は２０－１０＝０、第１縦座標は１８－１０＝８、第２横座標は２０＋１０＝３０、第２縦座標は１８＋１０＝１８である。第１頂点の座標は（１０、８）であり、第２頂点の座標は（３０、１８）である。
【0097】
任意に、ラベリング対象画像内の画素座標における第１位置の座標は（ｐ、ｑ）であると仮定する。第２長さの半分を計算し、第３長さを取得する。ｐと第３長さの間の和を決定して第３横座標を取得し、ｑと第３長さの間の差を決定して第３縦座標を取得し、ｐと第３長さの間の差を決定して第４横座標を取得し、ｑと第３長さの間の和を決定して第４縦座標を取得する。
【0098】
第３横座標を第１頂点の横座標とし、第３縦座標を第１頂点の縦座標とし、第４横座標を第２頂点の横座標とし、第４縦座標を第２頂点の縦座標として使用する。
【0099】
例えば、ｐ＝２０、ｑ＝１８、即ち第１位置の座標は（２０、１８）である。第２長さは２０であり、即ち第３長さは１０であると仮定する。第３横座標は２０＋１０＝３０、第３縦座標は１８－１０＝８、第４横座標は２０－１０＝１０、第４縦座標は１８＋１０＝１８である。第１頂点の座標は（３０、８）であり、第２頂点の座標は（１０、１８）である。
【0100】
第１人物フレームの位置を決定するための別の実現方式では、第１位置と第２長さに基づいて、第１人物フレームの位置を第２位置として決定する。第１人物フレームの形状は円形であり、第１人物フレームの円心は第１人物点であり、第１人物フレームの直径は第２長さである。
【0101】
第１人物フレームの位置を決定するための別の実現方式では、第１位置と第２長さに基づいて、第１人物フレームの位置を第２位置として決定する。第１人物フレームの形状は矩形であり、第１人物フレームの中心は第１人物点であり、第１人物フレームの長さは第１値と第２長さとの積であり、第１人物フレームの幅は第２値と第２長さの積である。任意に、第１値が１であり、第２値が１／４である。
【0102】
ステップ６０３において、上記少なくとも１つの人物フレームの位置を上記第１人物の人物フレームラベルとして使用する。
【0103】
いくつかの可能な実現方式では、ラベリング済み人物点とラベリング済み人物点のスケール指標で、人物フレームの位置を取得する。人物フレームの位置を対応する人物のラベルとして使用することにより、ラベリング対象画像の人物フレームラベルをラベリングする。
【0104】
【0105】
ステップ７０１において、上記ラベリング対象画像に対して物体検出処理を行い、第１物体フレームと第２物体フレームを取得する。
【0106】
いくつかの可能な実現方式では、実世界での物体検出処理の検出オブジェクトの長さが決定された値に近い。例えば、顔の平均の長さは２０センチであり、物体検出処理の検出オブジェクトは、顔であってもよい。また、例えば、人間の平均の身長は１．６５メートルであり、物体検出処理の検出オブジェクトは、人体であってもよい。また、例えば、待合室では、図８に示すインジケータプレートの高さがいずれも決定されたもの（例えば、２．５メートル）であり、物体検出処理の検出オブジェクトは、インジケータプレートであってもよい。任意に、物体検出処理は顔検出処理である。
【0107】
１つの可能な実現方式では、ラベリング対象画像に対する物体検出処理は、畳み込みニューラルネットワークによって実現されてもよい。ラベリング情報を含む画像をトレーニングデータとして畳み込みニューラルネットワークをトレーニングすることにより、トレーニングされた畳み込みニューラルネットワークは、画像に対する物体検出処理を完了することができる。トレーニングデータのうちの画像のラベリング情報は、物体フレームの位置情報であり、当該物体フレームは、物体検出処理の検出オブジェクトを含む。
【0108】
別の可能な実施形態では、物体検出処理は、人物検出アルゴリズムにより実現されてもよく、ここで、人物検出アルゴリズムは、１回だけ見る（ＹＯＬＯ：ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ）アルゴリズム、ターゲット検出アルゴリズム（ＤＭＰ：ｄｅｆｏｒｍａｂｌｅ ｐａｒｔ ｍｏｄｅｌ）、単一画像マルチターゲット検出アルゴリズム（ＳＳＤ：ｓｉｎｇｌｅ ｓｈｏｔ ｍｕｌｔｉ－Ｂｏｘ ｄｅｔｅｃｔｏｒ）、Ｆａｓｔｅｒ－ＲＣＮＮ（Ｒｅｇｉｏｎ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ：エリア畳み込みニューラルネットワーク）アルゴリズムなどの１つであってもよく、本開示の実施例では、物体検出処理を実現するための人物検出アルゴリズムが限定されていない。
【0109】
いくつかの可能な実現方式では、第１物体フレームに含まれる検出オブジェクトは、第２物体フレームに含まれる検出オブジェクトと異なる。例えば、第１物体フレームに含まれる検出オブジェクトは、張三の顔であり、第２物体フレームに含まれる検出オブジェクトは、李四の顔である。また、例えば、第１物体フレームに含まれる検出オブジェクトは、張三の顔であり、第２物体フレームに含まれる検出オブジェクトは、インジケータプレートである。
【0110】
ステップ７０２において、ｙ軸方向の上記第１物体フレームの長さに基づいて第３長さを取得し、ｙ軸方向の上記第２物体フレームの長さに基づいて第４長さを取得する。
【0111】
画像ラベリング装置は、第１物体フレームの位置に基づいて、ｙ軸方向の第１物体フレームの長さ、即ち第３長さを取得することができる。画像処理では、第２物体フレームの位置に基づいて、ｙ軸方向の第２物体フレームの長さ、即ち第４長さを取得することができる。
【0112】
ステップ７０３において、上記第３長さと実世界での第１物体の第５長さに基づいて第２スケール指標を取得し、上記第４長さと実世界での第２物体の第６長さに基づいて第３スケール指標を取得する。
【0113】
いくつかの可能な実現方式では、第２スケール指標は、第２スケール位置のスケール指標であり、ここで、第２スケール位置は、第１物体フレーム位置に基づいてラベリング対象画像において決定された位置である。第２基準物体が第２スケール位置にあると仮定すると、第２スケール指標は、第３サイズと第４サイズの間のマッピングを表し、ここで、第３サイズは、ラベリング対象画像内の第２基準物体のサイズであり、第４サイズは、実世界での第２基準物体のサイズである。第３スケール指標は、第３スケール位置のスケール指標であり、第３スケール位置は、第２物体フレームの位置に基づいてラベリング対象画像において決定された位置である。第３基準物体が第３スケール位置にあると仮定すると、第３スケール指標は、第５サイズと第６サイズの間のマッピングを表し、ここで、第５サイズは、ラベリング対象画像内の第３基準物体のサイズであり、第６サイズは、実世界での第３基準物体のサイズである。
【0114】
いくつかの可能な実現方式では、１つの物体フレームの位置に基づいて１つの物体点を決定することができる。例えば、物体フレーム１の形状は矩形である。画像ラベリング装置は、物体フレーム１の位置に基づいて物体フレーム１の任意の１つの頂点の位置を決定することができ、さらに物体フレーム１の任意の頂点を物体点として使用することができる。
【0115】
また、例えば、物体フレーム１の形状は矩形ａｂｃｄである。矩形ａｂｃｄの中心は点ｅである。画像ラベリング装置は、物体フレーム１の位置に基づいて点ｅの座標を決定し、さらに点ｅを物体点として使用することができる。
【0116】
また、例えば、物体フレーム１の形状は円形である。画像ラベリング装置は、物体フレーム１の位置に基づいて円形上の任意の１つの点の位置を決定することができ、さらに円形上の任意の点を物体点として使用することができる。
【0117】
画像ラベリング装置は、第１物体フレームの位置に基づいて、第１物体点を決定する。画像ラベリング装置は、第２物体フレームの位置に基づいて、第２物体点を決定する。
【0118】
任意に、第１物体点は、第１物体フレームの幾何学的中心、第１物体フレームの頂点である。第２物体点は、第２物体フレームの幾何学的中心、第２物体フレームの頂点である。
【0119】
第１物体点の位置及び第２物体点の位置が決定された後、画像ラベリング装置は、第１物体点の位置を第２スケール位置とし、第２物体点の位置を第３スケール位置として使用することができる。
【0120】
いくつかの可能な実現方式では、第１物体と第２物体の両方は、物体検出処理の検出オブジェクトである。第１物体は、第１物体フレームに含まれる検出オブジェクトであり、第２物体は、第２物体フレームに含まれる検出オブジェクトである。実世界での第１物体の長さが第５長さであり、実世界での第２物体の長さが第６長さである。例えば、第１物体と第１物体の両方は顔であり、第５長さと第６長さの両方は２０センチであってもよい。また、例えば、第１物体が顔であり、第２物体が人体であり、第５長さが２０センチであってもよく、第６長さは１７０センチであってもよい。
【0121】
第３長さが
【0122】
【化1】
【0123】
第４長さが
【0124】
【化2】
【0125】
第５長さが
【0126】
【化3】
【0127】
第６長さが
【0128】
【化4】
【0129】
第２スケール指標が
【0130】
【化5】
【0131】
第３スケール指標が
【0132】
【化6】
【0133】
であると仮定する。
【0134】
１つの可能な実現方式では
【0135】
【化7】
【0136】
は式（１）を満たしている：
【0137】
【化8】
【0138】
ここで、
【0139】
【化9】
【0140】
は正数である。任意に、
【0141】
【化10】
【0142】
別の可能な実現方式では
【0143】
【化11】
【0144】
は式（２）を満たしている：
【0145】
【化12】
【0146】
ここで、
【0147】
【化13】
【0148】
は正数であり、
【0149】
【化14】
【0150】
は実数である。任意に、
【0151】
【化15】
【0152】
さらなる別の可能な実現方式では
【0153】
【化16】
【0154】
は式（３）を満たしている：
【0155】
【化17】
【0156】
ここで、
【0157】
【化18】
【0158】
は正数であり、
【0159】
【化19】
【0160】
は実数である。任意に、
【0161】
【化20】
【0162】
ステップ７０４において、上記第２スケール指標と上記第３スケール指標に対してカーブフィッティング処理を行い、上記ラベリング対象画像のスケール指標図を取得する。
【0163】
ラベリング対象画像では、スケールと縦座標との関係が線形相関と見なされてもよく、スケール指標がスケールを表すために用いられるため、画像ラベリング装置は、第２スケール指標と第３スケール指標に対してカーブフィッティング処理を行うことにより、ラベリング対象画像のスケール指標図を取得することができる。当該スケール指標図には、ラベリング対象画像内の任意の画素点の位置のスケール指標が含まれる。
【0164】
スケール指標図内の第２画素点を例とする。第２画素点の画素値（即ち第１画素値）は４０であり、スケール指標図内の第２画素点の位置はラベリング対象画像内の第３画素点の位置と同じである仮定する。ラベリング対象画像内の第３画素点の位置（即ち第４スケール位置）のスケール指標は、第１画素値である。第４基準物体が第４スケール位置にあると仮定すると、第１画素値は、第７サイズと第８サイズの間のマッピングを表し、ここで、第７サイズは、第４スケール位置にある第４基準物体のサイズであり、第８サイズは、実世界での前記第４基準物体のサイズである。
【0165】
ステップ７０５において、上記スケール指標図と上記第１位置に基づいて、上記第１スケール指標を取得する。
【0166】
ステップ７０４で説明されるように、スケール指標図には、ラベリング対象画像内の任意の画素点の位置のスケール指標が含まれる。したがって、スケール指標図と第１位置に基づいて、第１人物点のスケール指標、即ち第１スケール指標を決定することができる。
【0167】
いくつかの可能な実現方式では、第３長さと第５長さに基づいて第２スケール指標を取得し、第４長さと第６長さに基づいて第３スケール指標を取得する。第２スケール指標と第３スケール指標に対してカーブフィッティング処理を行い、スケール指標図を取得し、さらにスケール指標図に基づいてラベリング対象画像内の任意の画素点の位置のスケール指標を決定することができる。
【0168】
１つの選択可能な実施形態として、本開示の実施例における人物点（第１人物点を含む）は、人頭点であってもよく、人物フレーム（第１人物フレームを含む）は、人頭フレームであってもよい。人頭点がカバーしている画素点領域と人頭フレームがカバーしている画素領域の両方は、人頭領域である。
【0169】
１つの選択可能な実施形態では、画像ラベリング装置がラベリング済み人物点ラベルに基づいて人物フレームラベルを取得した後、ラベリング対象画像をトレーニングデータとしてニューラルネットワークをトレーニングすることができる。当該トレーニング方法の実行本体は、画像ラベリング装置であってもよく、ラベリング装置ではなくてもよく、本開示の実施例では、トレーニング方法の実行本体は限定されない。説明を容易にするために、以下にトレーニングプロセスの実行本体は、トレーニング装置と呼ばれ、任意に、トレーニング装置は、携帯電話、コンピュータ、タブレットコンピュータ、サーバー、プロセッサのいずれか１つであってもよい。
【0170】
【0171】
ステップ９０１において、トレーニングされるべきネットワークを取得する。
【0172】
いくつかの可能な実現方式では、トレーニングされるべきネットワークは、任意のニューラルネットワークである。例えば、トレーニングされるべきネットワークは、畳み込み層、プーリング層、正規化層、完全接続層、ダウンサンプリング層、アップサンプリング層のうちの少なくとも１つのネットワーク層で積み重ねられて構成されてもよい。本開示の実施例では、トレーニングされるべきネットワークの構造は限定されない。
【0173】
トレーニングされるべきネットワークを取得するための実現方式では、トレーニング装置は、ユーザが入力コンポーネントを介して入力したトレーニングされるべきネットワークを受信する。上記入力コンポーネントは、キーボード、マウス、タッチスクリーン、タッチパッド及びオーディオ入力デバイスなどを含む。
【0174】
トレーニングされるべきネットワークを取得するための別の実現方式では、トレーニング装置は、第４端末から送信されたトレーニングされるべきネットワークを受信する。任意に、上記第４端末は、携帯電話、コンピュータ、タブレットコンピュータ、サーバー、ウェアラブルデバイスのいずれか１つであってもよい。第４端末は、第１端末と同じであってもよいし、異なっていてもよく、本開示の実施例で限定されない。
【0175】
トレーニングされるべきネットワークを取得するための別の実現方式では、レーニング装置は、それ自体の記憶部材から、予め記憶されたトレーニングされるべきネットワークを取得することができる。
【0176】
ステップ９０２において、上記トレーニングされるべきネットワークを用いて上記ラベリング対象画像を処理し、上記少なくとも１つの人物点の位置と少なくとも１つの人物フレームの位置を取得する。
【0177】
トレーニング装置は、トレーニングされるべきネットワークを用い、少なくとも１つの人物を含むラベリング対象画像を処理することにより、各人物の少なくとも１つの人物点の位置と各人物の少なくとも１つの人物フレームの位置を取得することができる。
【0178】
１つの可能な実現方式では、トレーニングされるべきネットワークは、ラベリング対象画像に対して特徴抽出処理を行い、第１特徴データを取得する。第１特徴データに対してダウンサンプリング処理を行い、少なくとも１つの人物フレームの位置を取得しする。第１特徴データに対してアップサンプリング処理を行い、少なくとも１つの人物点の位置を取得する。
【0179】
いくつかの可能な実現方式では、特徴抽出処理は、畳み込み処理であってもよいし、プーリング処理であってもよいし、畳み込み処理とプーリング処理の組み合わせであってもよく、本開示の実施例では特徴抽出処理の実現方式が限定されない。
【0180】
任意に、多層の畳み込み層によってラベリング対象画像に対して段階的に畳み込み処理を行い、ラベリング対象画像に対する特徴抽出処理を実現し、ラベリング対象画像の語義情報が含まれる第１特徴データを取得する。
【0181】
任意に、ダウンサンプリング処理は、畳み込み処理、プーリング処理の１つ又は複数の組み合わせを含む。例えば、ダウンサンプリング処理は畳み込み処理である。また、例えば、ダウンサンプリング処理はプーリング処理であってもよい。また、例えば、ダウンサンプリング処理は畳み込み処理とプーリング処理であってもよい。
【0182】
任意に、アップサンプリング処理は、バイリニア補間処理、最近隣補間処理、高次補間、逆畳み込み処理の少なくとも１つを含む。
【0183】
１つの任意の実施形態として、トレーニング装置は、以下のステップを実行することにより、第１特徴データに対してダウンサンプリング処理を行い、少なくとも１つの人物フレームの位置を取得することができる。
【0184】
ステップ１において、第１特徴データに対してダウンサンプリング処理を行い、第２特徴データを取得する。
【0185】
トレーニング装置は、第１特徴データに対してダウンサンプリング処理を行うことにより、第１特徴データのサイズを縮小しながら第１特徴データの語義情報（即ちラベリング対象画像の語義情報）を抽出し、第２特徴データを取得することができる。
【0186】
ステップ２において、第２特徴データに対して畳み込み処理を行い、少なくとも１つの人物フレームの位置を取得する。
【0187】
トレーニング装置は、第２特徴データに対して畳み込み処理を行うことにより、第２特徴データに含まれる語義情報を用い、少なくとも１つの人物フレームの位置を取得することができる。
【0188】
ステップ１とステップ２を実行することで少なくとも１つの人物フレームの位置を取得する場合、トレーニング装置は、以下のステップを実行することにより、第１特徴データに対してアップサンプリング処理を行い、少なくとも１つの人物フレームの位置を取得することができる。
【0189】
ステップ３において、第１特徴データに対してアップサンプリング処理を行い、第３特徴データを取得する。
【0190】
ラベリング対象画像では人物間の距離が非常に小さい可能性があり、画像ラベリング装置は、ラベリング対象画像によって特徴抽出処理を行い、ラベリング対象画像のサイズを縮小しながら第１特徴データを抽出し、したがって、第１特徴データには少なくとも２つの人物領域が重畳する可能性がある。これにより、後で取得される人物点の精度が明らかに低下する。このステップでは、トレーニング装置は、第１特徴データに対してアップサンプリング処理を行うことにより、第１特徴データのサイズを大きくし、さらに少なくとも２つの人物領域の重畳の発生確率を低減させる。
【0191】
ステップ４において、第２特徴データと第３特徴データに対して融合処理を行い、第４特徴データを取得する。
【0192】
サンプリング待ち画像の人物フレームラベルにサンプリング待ち画像のスケール情報（サンプリング待ち画像内の異なる位置のスケールを含む）が含まれるため、人物フレームラベルを用い、ステップ２に基づいて少なくとも１つの人物フレームの位置を取得する場合、第２特徴データにもラベリング対象画像のスケール情報が含まれる。トレーニング装置は、第２特徴データと第３特徴データに対して融合処理を行うことにより、第３特徴データ内のスケール情報を豊かにして第４特徴データを取得することができる。
【0193】
１つの任意の実施形態として、第２特徴データのサイズが第３特徴データのサイズよりも小さい場合、トレーニング装置は、トレーニングされるべきネットワークを用いて第２特徴データに対してアップサンプリング処理を行い、サイズが第３特徴データのサイズと同じである第５特徴データを取得する。第５特徴データと第３特徴データに対して融合処理を行い、第４特徴データを取得する。
【0194】
任意に、融合処理は、チャネル次元での結合（ｃｏｎｃａｔｎａｔｅ）、同じ位置にある要素の合計のうちの１つであってもよい。
【0195】
いくつかの可能な実現方式では、２つのデータ内のの同じ位置にある要素について次の例を参照できる。例えば、図１０に示すように、データＡ内の要素Ａ１１の位置がデータＢ内の要素Ｂ１１の位置と同じであり、データＡ内の要素Ａ１２の位置がデータＢ１２内の要素ｋの位置と同じであり、データＡ内の要素Ａ１３の位置がデータＢ内の要素Ｂ１３の位置と同じであり、データＡ内の要素Ａ２１の位置がデータＢ内の要素Ｂ２１の位置と同じであり、データＡ内の要素Ａ２２の位置がデータＢ内の要素Ｂ２２の位置と同じであり、データＡ内の要素Ａ２３の位置がデータＢ内の要素Ｂ２３の位置と同じであり、データＡ内の要素Ａ３１の位置がデータＢ内の要素Ｂ３１の位置と同じであり、データＡ内の要素Ａ３２の位置がデータＢ内の要素Ｂ３２の位置と同じであり、データＡ内の要素Ａ３３の位置がデータＢ内の要素Ｂ３３の位置と同じである。
【0196】
ステップ５において、第４特徴データに対してアップサンプリング処理を行い、少なくとも１つの人物点の位置を取得する。
【0197】
トレーニング装置は、第４特徴データに対してアップサンプリング処理を行うことにより、第４特徴データに含まれる語義情報を用い、少なくとも１つの人物点の位置を取得することができる。
【0198】
第４特徴データにサンプリング待ち画像のスケール情報が含まれるため、第４特徴データに対してアップサンプリング処理を行い、少なくとも１つの人物点の位置を取得し、少なくとも１つの人物点の位置の精度を向上させることができる。
【0199】
ステップ９０３において、上記ラベリング済み人物点ラベルと上記少なくとも１つの人物点の位置の間の差に基づいて第１差を取得する。
【0200】
任意に、ラベリング済み人物点ラベルと少なくとも１つの人物点の位置をバイナリクロスエントロピー損失関数（ｂｉｎａｒｙ ｃｒｏｓｓ ｅｎｔｒｏｐｙ ｌｏｓｓ ｆｕｎｃｔｉｏｎ）に代入すると、第１差を取得することができる。
【0201】
例えば、ラベリング済み人物点ラベルは、人物点ａの位置と人物点ｂの位置を含む。少なくとも１つの人物点は、人物点ｃの位置と人物点ｄの位置を含む。人物点ａと人物点ｃの両方は第１人物の人物点であり、人物ｂと人物ｄの両方は、第２人物の人物点である。人物点ａの位置と人物点ｃの位置をバイナリクロスエントロピー関数に代入して、差Ａを取得する。人物点ｂの位置と人物点ｄの位置をバイナリクロスエントロピー関数に代入して、差Ｂを取得する。ここで、第１差は、差Ａであってもよいし、第１差は差Ｂであってもよいし、第１差は、差Ａと差Ｂの和であってもよい。
【0202】
１つの任意の実施方式として、画像ラベリング装置は、ステップ９０３の前に、以下のステップを実行することができる。
【0203】
ステップ６において、第４スケール指標を取得する。
【0204】
いくつかの可能な実現方式では、ラベリング対象画像のラベリング済み人物点ラベルには第２人物の人物点ラベルも含まれる。第２人物の人物点ラベルには第２人物点の第３位置が含まれている。
【0205】
いくつかの可能な実現方式では、第４スケール指標は、第３位置のスケール指標である。第５基準物体が第３位置にあると仮定すると、第４スケール指標は、第９サイズと第１０サイズの間のマッピングを表し、ここで、第９サイズは、ラベリング対象画像内の第５基準物体のサイズであり、第１０サイズは、実世界での第５基準物体のサイズである。
【0206】
第４スケール指標を取得するための実現方式では、画像ラベリング装置は、ユーザが入力コンポーネントを介して入力した第１スケール指標を受信する。上記入力コンポーネントは、キーボード、マウス、タッチスクリーン、タッチパッド及びオーディオ入力デバイスなどを含む。
【0207】
第４スケール指標を取得するための別の実現方式では、画像ラベリング装置は、第２端末から送信された第１スケール指標を受信する。任意に、第５端末は、携帯電話、コンピュータ、タブレットコンピュータ、サーバー、ウェアラブルデバイスのいずれか１つであってもよい。第５端末は、第１端末と同じであってもよいし、異なっていてもよい。
【0208】
第４スケール指標が取得された後、画像ラベリング装置は、ステップ９０３の実行中に以下のステップを実行する。
【0209】
ステップ７において、上記第１位置と上記第４位置の間の差に基づいて第３差を取得し、上記第３位置と上記第５位置の間の差に基づいて第４差を取得する。
【0210】
いくつかの実現方式では、トレーニング装置がステップ９０２又はステップ６を実行することで取得した少なくとも１つの人物点の位置は、第４位置と第５位置を含み、第４位置は、第１人物の人物点の位置であり、第５位置は、第２人物の人物点の位置である。
【0211】
第１位置は第１人物のラベリング済み人物点ラベルであり、第３位置は、第２人物のラベリング済み人物点ラベルである。第４位置は、トレーニングされるべきネットワークを用いてラベリング対象画像を処理することによって得られた第１人物の人物点ラベルであり、第５位置は、トレーニングされるべきネットワークを用いてラベリング対象画像を処理することによって得られた第２人物の人物点ラベルである。
【0212】
画像ラベリング装置は、第１位置と第４位置の間の差に基づいて第３差を取得することができ、第３位置と第５位置の間の差に基づいて第４差を取得することができる。
【0213】
任意に、第１位置と第４位置をバイナリクロスエントロピー関数に代入すると第３差を取得することができ、第３位置と第５位置をバイナリクロスエントロピー関数に代入すると第４差を取得することができる。
【0214】
第１位置と第４位置の差が
【0215】
【化21】
【0216】
第３差が
【0217】
【化22】
【0218】
第３位置と第５位置の差が
【0219】
【化23】
【0220】
第４差が
【0221】
【化24】
【0222】
であると仮定する。
【0223】
１つの可能な実現方式では、
【0224】
【化25】
【0225】
は式（４）を満たしている：
【0226】
【化26】
【0227】
ここで、
【0228】
【化27】
【0229】
は正数である。任意に、
【0230】
【化28】
【0231】
別の可能な実現方式では、
【0232】
【化29】
【0233】
は式（５）を満たしている：
【0234】
【化30】
【0235】
ここで、
【0236】
【化31】
【0237】
は正数であり、
【0238】
【化32】
【0239】
は実数である。任意に、
【0240】
【化33】
【0241】
さらなる別の可能な実現方式では、
【0242】
【化34】
【0243】
は式（６）を満たしている：
【0244】
【化35】
【0245】
ここで、
【0246】
【化36】
【0247】
は正数であり、
【0248】
【化37】
【0249】
は実数である。任意に、
【0250】
【化38】
【0251】
ステップ８において、上記第１スケール指標と上記第４スケール指標に基づいて、上記第３差の第１重みと上記第４差の第２重みを取得する。
【0252】
ラベリング対象画像では、近くの人物領域の面積が遠くの人物領域の面積よりも大きく、近くの人物領域の人物点の数が遠くの人物領域の人物点の数よりも多い。トレーニングされるべきネットワークをトレーニングすることによって得られたネットワークがトレーニングされたネットワークであると仮定すると、訓練されたネットワークは、近くの人物に対する検出精度が高い（即ち近くの人物点の位置の精度が遠くの人物点の位置の精度よりも高い）。
【0253】
トレーニングされたネットワークによる遠くの人物の検出精度を向上させるために、トレーニング装置は、人物点のスケール指標に基づいて人物点に対応する差の重みを決定する。近くの人物点に対応する差の重みを遠くの人物点の差の重みよりも小さくする。
【0254】
１つの可能な実現方式では、第１スケール指標が第４スケール指標よりも小さい場合、第１重みは第２重みよりも大きく、第１スケール指標が第４スケール指標よりも大きい場合、第１重みは第２重みよりも小さく、第１スケール指標が第４スケール指標に等しい場合、第１重みは第２重みに等しい。
【0255】
１つの任意の実施形態として、重みの大きいが人物点のスケール指標と負の相関関係にある。第１重みと第１スケール指標を例とすると、第１重みが
【0256】
【化39】
【0257】
であり、第１スケール指標が
【0258】
【化40】
【0259】
であり、スケール指標図内の最大画素値が
【0260】
【化41】
【0261】
と仮定する場合、
【0262】
【化42】
【0263】
は式（７）を満たしている：
【0264】
【化43】
【0265】
ステップ９において、上記第１重みと上記第２重みに基づいて、上記第３差と上記第４差を重み付けして合計し、上記第１差を取得する。
【0266】
第１重みが
【0267】
【化44】
【0268】
、
第２重みが
第２重みが
【0269】
【化45】
【0270】
第３差が
【0271】
【化46】
【0272】
であり、第４差が
【0273】
【化47】
【0274】
第１差が
【0275】
【化48】
【0276】
であると仮定する。
【0277】
１つの可能な実現方式では、
【0278】
【化49】
【0279】
は式（８）を満たしている：
【0280】
【化50】
【0281】
ここで、
【0282】
【化51】
【0283】
は実数である。任意に、
【0284】
【化52】
【0285】
別の可能な実現方式では、
【0286】
【化53】
【0287】
は式（９）を満たしている：
【0288】
【化54】
【0289】
ここで、
【0290】
【化55】
【0291】
は実数であり、
【0292】
【化56】
【0293】
はいずれも正数である。任意に、
【0294】
【化57】
【0295】
さらなる別の可能な実現方式では、
【0296】
【化58】
【0297】
式（１０）を満たしている：
【0298】
【化59】
【0299】
ここは
【0300】
【化60】
【0301】
実数であり、
【0302】
【化61】
【0303】
はいずれも正数である。任意に、
【0304】
【化62】
【0305】
ステップ９０４において、上記ラベリング済み人物フレームラベルと上記少なくとも１つの人物フレームの位置の間の差に基づいて、第２差を取得する。
【0306】
任意に、ラベリング済み人物フレームラベルと少なくとも１つの人物フレームの位置をバイナリクロスエントロピー損失関数に代入すると、第２差を取得することができる。
【0307】
例えば、ラベリング済み人物フレームラベルは、人物フレームａの位置と人物フレームｂの位置を含む。少なくとも１つの人物フレームは、人物フレームｃの位置と人物フレームｄの位置を含む。人物フレームａと人物フレームｃの両方は、第１人物の人物フレームであり、人物フレームｂと人物フレームｄの両方は、第２人物の人物フレームである。人物フレームａの位置と人物フレームｃの位置をバイナリクロスエントロピー関数に代入して、差Ａを取得する。人物フレームｂの位置と人物フレームｄの位置をバイナリクロスエントロピー関数に代入して、差Ｂを取得する。ここで、差Ａと差Ｂの両方は第１差である。
【0308】
ステップ９０５において、上記第１差と上記第２差に基づいて、上記トレーニングされるべきネットワークの損失を取得する。
【0309】
第１差が
【0310】
【化63】
【0311】
第２差が
【0312】
【化64】
【0313】
トレーニングされるべきネットワークの損失が
【0314】
【化65】
【0315】
である仮定する。
【0316】
１つの可能な実現方式では、
【0317】
【化66】
【0318】
は式（１１）を満たしている：
【0319】
【化67】
【0320】
ここで、
【0321】
【化68】
【0322】
は正数である。任意に、
【0323】
【化69】
【0324】
別の可能な実現方式では、
【0325】
【化70】
【0326】
は式（１２）を満たしている：
【0327】
【化71】
【0328】
ここで、
【0329】
【化72】
【0330】
は正数であり、
【0331】
【化73】
【0332】
は実数である。任意に、
【0333】
【化74】
【0334】
別の可能な実現方式では、
【0335】
【化75】
【0336】
は式（１３）を満たしている：
【0337】
【化76】
【0338】
ここで、
【0339】
【化77】
【0340】
は正数であり、
【0341】
【化78】
【0342】
は実数である。任意に、
【0343】
【化79】
【0344】
ステップ９０６において、上記損失に基づいて上記トレーニングされるべきネットワークのパラメータを更新し、人群測位ネットワークを取得する。
【0345】
任意に、画像ラベリング装置は、トレーニングされるべきネットワークの損失に基づいてトレーニングされるべきネットワークのパラメータを逆勾配伝播の方式で更新することにより、人群測位ネットワークを取得することができる。
【0346】
人群測位ネットワークに基づいて人物を含む画像を処理することにより、画像内の各人物の人物点及び各人物の人物フレームを取得することができる。
【0347】
【0348】
当該人群測位ネットワークを用いてラベリング対象画像を処理することにより、ラベリング対象画像内の各人物の人物点の位置と各人物の人物フレームの位置を取得することができる。人物の人物点の位置と人物の人物フレームの位置に基づいて、当該人物の位置を決定することができる。
【0349】
図１１に示すように、人群測位ネットワークは、バックボーンネットワーク、人物フレーム分岐及び人物点分岐を含む。人物フレーム分岐と人物点分岐は、スケール情報融合が行われてもよい。図１２はバックボーンネットワークの構造概略図である。当該バックボーンネットワークには、合計１３層の畳み込み層と４層のプーリング層が含まれている。図１３は人物フレーム分岐と人物点分岐の構造概略図である。人物フレーム分岐には合計３層のダウンサンプリング層と１層の畳み込み層が含まれ、人物点分岐には合計３層のアップサンプリング層が含まれる。
【0350】
バックボーンネットワークによってラベリング対象画像を処理することにより、第１特徴データを取得することができ、当該処理プロセスの実現方式については「トレーニング待ちニューラルネットワークによってラベリング対象画像に対して特徴抽出処理を行い、第１特徴データを取得する」という実現方式を参照することができる。人物フレーム分岐によって第１特徴データを処理することにより、少なくとも１つの人物フレームの位置を取得することができ、当該処理プロセスについてはステップ１とステップ２を参照することができる。人物点分岐によって第１特徴データを処理することにより、少なくとも１つの人物点の位置を取得することができ、当該処理プロセスについてはステップ３、ステップ４とステップ５を参照することができ、ここで、ステップ４は図１１に示す「スケール情報融合」である。
【0351】
１つの任意の実施形態として、本開示の実施例によって提供される技術的解決策に基づいて人群測位ネットワークを用いて画像を処理し、人物点の位置と人物フレームの位置を取得することができ、さらに人物点の位置と人物フレームの位置に基づいて、画像内の人物の位置を決定することができる。
【0352】
人群測位ネットワークを用いて画像を処理する実行本体は画像ラベリング装置であってもよいし、トレーニング装置であってもよいし、画像ラベリング装置及びトレーニング装置とは異なる装置であってもよい。説明を容易にするために、以下に人群測位ネットワークを用いて画像を処理する実行本体は画像処理装置と呼ばれる。任意に、画像処理装置は、携帯電話、コンピュータ、タブレットコンピュータ、サーバー、プロセッサのいずれか１つであってもよい。
【0353】
１つの可能な実現方式では、画像処理装置は、処理されるべき画像を取得し、人群測位ネットワークを用いて処理されるべき画像を処理し、第３人物の人物点の位置と第３人物の人物フレームの位置を取得し、第３人物が処理されるべき画像内の人物である。さらに第３人物の人物点の位置に基づいて処理されるべき画像内の第３人物の位置を決定し、又は第３人物の人物フレームの位置に基づいて処理されるべき画像内の第３人物の位置を決定し、又は第３人物の人物点の位置と第３人物の人物フレームの位置に基づいて処理されるべき画像内の第３人物の位置を決定することができる。
【0354】
例えば、第３人物の人物点の位置は（９、１０）であり、第３人物の人物フレームの形状は矩形であり、第３人物の人物フレームの位置は、矩形の１ペアの対角頂点の座標（６、８）、（１２、１４）を含む。第３人物の人物点の位置を処理されるべき画像内の第３人物の位置とし、処理されるべき画像内の第３人物の位置を（９、１０）として決定する。第３人物の人物フレームの位置を処理されるべき画像内の第３人物の位置とし、処理されるべき画像内の矩形の人物フレームに含まれる画素点領域を第３人物がカバーしている画素点領域として決定し、矩形の人物フレームの４つの頂点の座標がそれぞれ（６、８）、（６、１４）、（１２、１４）、（１２、８）である。
【0355】
１つの選択可能な実施形態として、本開示の実施例における人物点（第２人物点、ステップ９０２における少なくとも１つの人物点、第３人物の人物点を含む）は、人頭点であってもよく、人物フレーム（ステップ９０２における少なくとも１つの人物フレーム、第３人物の人物フレーム）は頭部フレームであってもよい。人頭点がカバーしている画素点領域と人頭フレームがカバーしている画素領域の両方は、人頭領域である。
【0356】
本開示の実施例によって提供される技術的解決策に基づいて、本開示の実施例は、１つの可能な適用シナリオをさらに提供する。
【0357】
画像ラベリング装置は、顔検出データセットを用いて検出畳み込みニューラルネットワーク（任意の畳み込みニューラルネットワークであってもよい）をトレーニングし、顔検出ネットワークを取得する。当該顔検出データセットの画像のすべてにはラベリング情報が含まれ、ラベリング情報は、顔フレームの位置を含む。任意に、当該顔データセットはＷｉｄｅｒ Ｆａｃｅである。
【0358】
画像ラベリング装置は、顔検出ネットワークを用いて人群データセットを処理し、人群データセットの各画像の顔検出結果及び各顔検出結果の信頼度を取得する。当該人群データセットの各画像には少なくとも１つの人頭が含まれ、かつ各画像には少なくとも１つの人頭点ラベルが含まれる。任意に、信頼度が第３閾値よりも高い顔検出結果を第１中間結果として使用する。任意に、第３閾値が０．７である。
【0359】
画像ラベリング装置は、実世界での顔の長さ（例えば２０センチ）を取得し、当該長さと第１中間結果に基づいて、人群データセットの各画像のスケール指標図を取得する。
【0360】
画像ラベリング装置は、本開示の実施例によって提供される技術的解決策、人群データセット及び人群データセットの各画像のスケール指標図に基づいて、人群データセットの各画像の人頭点ラベル及び人頭フレームラベルをラベリングし、ラベリングされた人群データセットを取得することができる。
【0361】
画像ラベリング装置は、ラベリングされた人群データセットを用いて第２検出ネットワーク（ネットワーク構造について人群測位ネットワークのネットワーク構造を参照できる）をトレーニングし、測位ネットワークを取得する。測位ネットワークは、画像内の各人頭の人頭点の位置と各人頭の人頭フレームの位置を検出するために用いられてもよい。
【0362】
当業者は、具体的な実施形態の上記の方法において、各ステップの書き込み順序が厳密な実行順序を意味して実施プロセスに対する制限を構成せず、各ステップの実行順序がその機能及び可能な内部論理で決定されるべきである。
【0363】
以上に本開示の実施例の方法を詳細に説明し、以下に本開示の実施例の装置を提供する。
【0364】
図１４を参照すると、図１４は本開示の実施例による画像ラベリング装置の構造概略図である。前記画像ラベリング装置１は、取得ユニット１１、構築ユニット１２、第１処理ユニット１３、第２処理ユニット１４、第３処理ユニット１５、第４処理ユニット１６を備える。
【0365】
取得ユニット１１は、ラベリング対象画像と第１スケール指標を取得するように構成され、前記ラベリング対象画像に第１人物の人物点ラベルが含まれ、前記第１人物の人物点ラベルが第１人物点の第１位置を含み、前記第１スケール指標が第１サイズと第２サイズの間のマッピングを表し、前記第１サイズが前記第１位置にある第１基準物体のサイズであり、前記第２サイズが実世界での前記第１基準物体のサイズである。
【0366】
構築ユニット１２は、前記第１スケール指標が第１閾値以上である場合、前記第１人物点に基づいて画素点隣接領域を構築するように構成され、前記画素点隣接領域に前記第１人物点とは異なる第１画素点が含まれる。
【0367】
第１処理ユニット１３は、前記第１画素点の位置を前記第１人物の人物点ラベルとして使用するように構成される。
【0368】
本開示の任意の実施形態と組み合わせて、前記取得ユニット１１は、さらに、
第１長さを取得するように構成され、前記第１長さが実世界での前記第１人物の長さである。
第１長さを取得するように構成され、前記第１長さが実世界での前記第１人物の長さである。
【0369】
前記装置は、第２処理ユニットをさらに備え、前記第２処理ユニット１４は、
前記第１位置、前記第１スケール指標及び前記第１長さに基づいて、前記第１人物の少なくとも１つの人物フレームの位置を取得し、
前記少なくとも１つの人物フレームの位置を前記第１人物の人物フレームラベルとして使用するように構成される。
前記第１位置、前記第１スケール指標及び前記第１長さに基づいて、前記第１人物の少なくとも１つの人物フレームの位置を取得し、
前記少なくとも１つの人物フレームの位置を前記第１人物の人物フレームラベルとして使用するように構成される。
【0370】
本開示の任意の実施形態と組み合わせて、前記少なくとも１つの人物フレームの位置は第２位置を含み、
前記第２処理ユニット１４は、
前記第１スケール指標と前記第１長さとの積を決定し、ラベリング対象画像内の前記第１人物の第２長さを取得し、
前記第１位置と前記第２長さに基づいて、第１人物フレームの位置を前記第２位置として決定するように構成され、前記第１人物フレームの中心は、前記第１人物点であり、ｙ軸方向の前記第１人物フレームの最大長さは前記第２長さ以上である。
前記第２処理ユニット１４は、
前記第１スケール指標と前記第１長さとの積を決定し、ラベリング対象画像内の前記第１人物の第２長さを取得し、
前記第１位置と前記第２長さに基づいて、第１人物フレームの位置を前記第２位置として決定するように構成され、前記第１人物フレームの中心は、前記第１人物点であり、ｙ軸方向の前記第１人物フレームの最大長さは前記第２長さ以上である。
【0371】
本開示の任意の実施形態と組み合わせて、前記第１人物フレームの形状は矩形であり、
前記第２処理ユニット１４は、
前記第１位置と前記第２長さに基づいて、前記第１人物フレームの対角頂点の座標を決定するように構成され、前記対角頂点が第１頂点と第２頂点を含み、前記第１頂点と前記第２頂点の両方が第１線分上の点であり、前記第１線分が前記第１人物フレームの対角線である。
前記第２処理ユニット１４は、
前記第１位置と前記第２長さに基づいて、前記第１人物フレームの対角頂点の座標を決定するように構成され、前記対角頂点が第１頂点と第２頂点を含み、前記第１頂点と前記第２頂点の両方が第１線分上の点であり、前記第１線分が前記第１人物フレームの対角線である。
【0372】
本開示の任意の実施形態組み合わせると、前記第１人物フレームの形状は、正方形であり、前記ラベリング対象画像の画素座標系における前記第１位置の座標は（ｐ、ｑ）であり、
前記第２処理ユニット１４は、
前記ｐと第３長さの間の差を決定して第１横座標を取得し、前記ｑと前記第３長さの間の差を決定して第１縦座標を取得し、前記ｐと前記第３長さの間の和を決定して第２横座標を取得し、前記ｑと前記第３長さの間の和を決定して第２縦座標を取得し、前記第３長さが前記第２長さの半分であり、
前記第１横座標を前記第１頂点の横座標として使用し、前記第１縦座標を前記第１頂点の縦座標として使用し、前記第２横座標を前記第２頂点の横座標として使用し、前記第２縦座標を前記第２頂点の縦座標として使用するように構成される。
前記第２処理ユニット１４は、
前記ｐと第３長さの間の差を決定して第１横座標を取得し、前記ｑと前記第３長さの間の差を決定して第１縦座標を取得し、前記ｐと前記第３長さの間の和を決定して第２横座標を取得し、前記ｑと前記第３長さの間の和を決定して第２縦座標を取得し、前記第３長さが前記第２長さの半分であり、
前記第１横座標を前記第１頂点の横座標として使用し、前記第１縦座標を前記第１頂点の縦座標として使用し、前記第２横座標を前記第２頂点の横座標として使用し、前記第２縦座標を前記第２頂点の縦座標として使用するように構成される。
【0373】
本開示の任意の実施形態と組み合わせて、前記取得ユニット１１は、
前記ラベリング対象画像に対して物体検出処理を行い、第１物体フレームと第２物体フレームを取得し、
ｙ軸方向の前記第１物体フレームの長さに基づいて第３長さを取得し、ｙ軸方向の前記第２物体フレームの長さに基づいて第４長さを取得し、前記ｙ軸が前記ラベリング対象画像の画素座標系の縦軸であり、
前記第３長さと実世界での第１物体の第５長さに基づいて第２スケール指標を取得し、前記第４長さと実世界での第２物体の第６長さに基づいて第３スケール指標を取得し、前記第１物体が前記第１物体フレームに含まれる検出オブジェクトであり、前記第２物体が前記第２物体フレームに含まれる検出オブジェクトであり、前記第２スケール指標が第３サイズと第４サイズの間のマッピングを表し、前記第３サイズが第２スケール位置にある第２基準物体のサイズであり、前記第４サイズが実世界での前記第２基準物体のサイズであり、前記第２スケール位置が前記ラベリング対象画像内の前記第１物体フレームの位置に基づいて決定された位置であり、前記第３スケール指標が第５サイズと第６サイズの間のマッピングを表し、前記第５サイズが第３スケール位置にある第３基準物体のサイズであり、前記第６サイズが実世界での前記第３基準物体のサイズであり、前記第３スケール位置が前記ラベリング対象画像内の前記第２物体フレームの位置に基づいて決定された位置であり、
前記第２スケール指標と前記第３スケール指標に対してカーブフィッティング処理を行い、前記ラベリング対象画像のスケール指標図を取得し、前記スケール指標図の第１画素値が第７サイズと第８サイズの間のマッピングを表し、前記第７サイズが第４スケール位置にある第４基準物体のサイズであり、前記第８サイズが実世界での前記第４基準物体のサイズであり、前記第１画素値が第２画素点の画素値であり、前記第４スケール位置が前記ラベリング対象画像内の第３画素点の位置であり、前記スケール指標図内の前記第２画素点の位置が前記ラベリング対象画像内の前記第３画素点の位置と同じであり、
前記スケール指標図と前記第１位置に基づいて、前記第１スケール指標を取得するように構成される。
前記ラベリング対象画像に対して物体検出処理を行い、第１物体フレームと第２物体フレームを取得し、
ｙ軸方向の前記第１物体フレームの長さに基づいて第３長さを取得し、ｙ軸方向の前記第２物体フレームの長さに基づいて第４長さを取得し、前記ｙ軸が前記ラベリング対象画像の画素座標系の縦軸であり、
前記第３長さと実世界での第１物体の第５長さに基づいて第２スケール指標を取得し、前記第４長さと実世界での第２物体の第６長さに基づいて第３スケール指標を取得し、前記第１物体が前記第１物体フレームに含まれる検出オブジェクトであり、前記第２物体が前記第２物体フレームに含まれる検出オブジェクトであり、前記第２スケール指標が第３サイズと第４サイズの間のマッピングを表し、前記第３サイズが第２スケール位置にある第２基準物体のサイズであり、前記第４サイズが実世界での前記第２基準物体のサイズであり、前記第２スケール位置が前記ラベリング対象画像内の前記第１物体フレームの位置に基づいて決定された位置であり、前記第３スケール指標が第５サイズと第６サイズの間のマッピングを表し、前記第５サイズが第３スケール位置にある第３基準物体のサイズであり、前記第６サイズが実世界での前記第３基準物体のサイズであり、前記第３スケール位置が前記ラベリング対象画像内の前記第２物体フレームの位置に基づいて決定された位置であり、
前記第２スケール指標と前記第３スケール指標に対してカーブフィッティング処理を行い、前記ラベリング対象画像のスケール指標図を取得し、前記スケール指標図の第１画素値が第７サイズと第８サイズの間のマッピングを表し、前記第７サイズが第４スケール位置にある第４基準物体のサイズであり、前記第８サイズが実世界での前記第４基準物体のサイズであり、前記第１画素値が第２画素点の画素値であり、前記第４スケール位置が前記ラベリング対象画像内の第３画素点の位置であり、前記スケール指標図内の前記第２画素点の位置が前記ラベリング対象画像内の前記第３画素点の位置と同じであり、
前記スケール指標図と前記第１位置に基づいて、前記第１スケール指標を取得するように構成される。
【0374】
本開示の任意の実施形態と組み合わせて、前記第１人物の人物点ラベルがラベリング済み人物点ラベルに属し、前記第１人物の人物フレームラベルがラベリング済み人物フレームラベルに属し、前記取得ユニット１１は、さらに、
トレーニングされるべきネットワークを取得するように構成され、
前記装置は、第３処理ユニット１５をさらに備え、前記第３処理ユニット１５は、
前記トレーニングされるべきネットワークを用いて前記ラベリング対象画像を処理し、前記少なくとも１つの人物点の位置と少なくとも１つの人物フレームの位置を取得し、
前記ラベリング済み人物点ラベルと前記少なくとも１つの人物点の位置の間の差に基づいて第１差を取得し、
前記ラベリング済み人物フレームラベルと前記少なくとも１つの人物フレームの位置の間の差に基づいて、第２差を取得し、
前記第１差と前記第２差に基づいて、前記トレーニングされるべきネットワークの損失を取得し、
前記損失に基づいて前記トレーニングされるべきネットワークのパラメータを更新し、人群測位ネットワークを取得するように構成される。
トレーニングされるべきネットワークを取得するように構成され、
前記装置は、第３処理ユニット１５をさらに備え、前記第３処理ユニット１５は、
前記トレーニングされるべきネットワークを用いて前記ラベリング対象画像を処理し、前記少なくとも１つの人物点の位置と少なくとも１つの人物フレームの位置を取得し、
前記ラベリング済み人物点ラベルと前記少なくとも１つの人物点の位置の間の差に基づいて第１差を取得し、
前記ラベリング済み人物フレームラベルと前記少なくとも１つの人物フレームの位置の間の差に基づいて、第２差を取得し、
前記第１差と前記第２差に基づいて、前記トレーニングされるべきネットワークの損失を取得し、
前記損失に基づいて前記トレーニングされるべきネットワークのパラメータを更新し、人群測位ネットワークを取得するように構成される。
【0375】
本開示の任意の実施形態と組み合わせて、前記ラベリング済み人物点ラベルは第２人物の人物点ラベルをさらに含み、前記第２人物の人物点ラベルは前記第２人物点の第３位置を含み、前記少なくとも１つの人物点の位置は、第４位置と第５位置を含み、前記第４位置は、前記第１人物の人物点の位置であり、前記第５位置は、前記第２人物の人物点の位置であり、
前記取得ユニット１１は、さらに、前記ラベリング済み人物点ラベルと前記少なくとも１つの人物点の位置の間の差に基づいて第１差を取得するステップの前に、第４スケール指標を取得するように構成され、前記第４スケール指標が第９サイズと第１０サイズの間のマッピングを表し、前記第９サイズが前記第３位置にある第５基準物体のサイズであり、前記第１０サイズが実世界での前記第５基準物体のサイズであり、
前記第３処理ユニット１５は、
前記第１位置と前記第４位置の間の差に基づいて第３差を取得し、前記第３位置と前記第５位置の間の差に基づいて第４差を取得し、
前記第１スケール指標と前記第４スケール指標に基づいて、前記第３差の第１重みと前記第４差の第２重みを取得し、前記第１スケール指標が前記第４スケール指標よりも小さい場合、前記第１重みが前記第２重みよりも大きく、前記第１スケール指標が前記第４スケール指標よりも大きい場合、前記第１重みが前記第２重みよりも小さく、前記第１スケール指標が前記第４スケール指標に等しい場合、前記第１重みが前記第２重みに等しく、
前記第１重みと前記第２重みに基づいて、前記第３差と前記第４差を重み付けして合計し、前記第１差を取得するように構成される。
前記取得ユニット１１は、さらに、前記ラベリング済み人物点ラベルと前記少なくとも１つの人物点の位置の間の差に基づいて第１差を取得するステップの前に、第４スケール指標を取得するように構成され、前記第４スケール指標が第９サイズと第１０サイズの間のマッピングを表し、前記第９サイズが前記第３位置にある第５基準物体のサイズであり、前記第１０サイズが実世界での前記第５基準物体のサイズであり、
前記第３処理ユニット１５は、
前記第１位置と前記第４位置の間の差に基づいて第３差を取得し、前記第３位置と前記第５位置の間の差に基づいて第４差を取得し、
前記第１スケール指標と前記第４スケール指標に基づいて、前記第３差の第１重みと前記第４差の第２重みを取得し、前記第１スケール指標が前記第４スケール指標よりも小さい場合、前記第１重みが前記第２重みよりも大きく、前記第１スケール指標が前記第４スケール指標よりも大きい場合、前記第１重みが前記第２重みよりも小さく、前記第１スケール指標が前記第４スケール指標に等しい場合、前記第１重みが前記第２重みに等しく、
前記第１重みと前記第２重みに基づいて、前記第３差と前記第４差を重み付けして合計し、前記第１差を取得するように構成される。
【0376】
本開示の任意の実施形態と組み合わせて、前記取得ユニット１１は、
前記スケール指標図と前記第３位置に基づいて、前記第４スケール指標を取得するように構成される。
前記スケール指標図と前記第３位置に基づいて、前記第４スケール指標を取得するように構成される。
【0377】
本開示の任意の実施形態と組み合わせて、前記第３処理ユニット１５は、
前記ラベリング対象画像に対して特徴抽出処理を行い、第１特徴データを取得し、
前記第１特徴データに対してダウンサンプリング処理を行い、前記少なくとも１つの人物フレームの位置を取得し、
前記第１特徴データに対してアップサンプリング処理を行い、前記少なくとも１つの人物点の位置を取得するように構成される。
前記ラベリング対象画像に対して特徴抽出処理を行い、第１特徴データを取得し、
前記第１特徴データに対してダウンサンプリング処理を行い、前記少なくとも１つの人物フレームの位置を取得し、
前記第１特徴データに対してアップサンプリング処理を行い、前記少なくとも１つの人物点の位置を取得するように構成される。
【0378】
本開示の任意の実施形態と組み合わせて、前記第３処理ユニット１５は、
前記第１特徴データに対してダウンサンプリング処理を行い、第２特徴データを取得し、
前記第２特徴データに対して畳み込み処理を行い、前記少なくとも１つの人物フレームの位置を取得するように構成され、
前記第１特徴データに対してアップサンプリング処理を行い、前記少なくとも１つの人物点の位置を取得するステップは、
前記第１特徴データに対してアップサンプリング処理を行い、第３特徴データを取得するステップと、
前記第２特徴データと前記第３特徴データに対して融合処理を行い、第４特徴データを取得するステップと、
前記第４特徴データに対してアップサンプリング処理を行い、前記少なくとも１つの人物点の位置を取得するステップと、を含む。
前記第１特徴データに対してダウンサンプリング処理を行い、第２特徴データを取得し、
前記第２特徴データに対して畳み込み処理を行い、前記少なくとも１つの人物フレームの位置を取得するように構成され、
前記第１特徴データに対してアップサンプリング処理を行い、前記少なくとも１つの人物点の位置を取得するステップは、
前記第１特徴データに対してアップサンプリング処理を行い、第３特徴データを取得するステップと、
前記第２特徴データと前記第３特徴データに対して融合処理を行い、第４特徴データを取得するステップと、
前記第４特徴データに対してアップサンプリング処理を行い、前記少なくとも１つの人物点の位置を取得するステップと、を含む。
【0379】
本開示の任意の実施形態と組み合わせて、前記取得ユニット１１は、さらに、
処理されるべき画像を取得するように構成され、
前記装置は、第４処理ユニット１６をさらに備え、前記第４処理ユニット１６は、
前記人群測位ネットワークを用いて前記処理されるべき画像を処理し、第３人物の人物点の位置と前記第３人物の人物フレームの位置を取得するように構成され、前記第３人物が前記処理されるべき画像内の人物である。
処理されるべき画像を取得するように構成され、
前記装置は、第４処理ユニット１６をさらに備え、前記第４処理ユニット１６は、
前記人群測位ネットワークを用いて前記処理されるべき画像を処理し、第３人物の人物点の位置と前記第３人物の人物フレームの位置を取得するように構成され、前記第３人物が前記処理されるべき画像内の人物である。
【0380】
いくつかの実現方式では、ラベリング済み人物点とラベリング済み人物点のスケール指標に基づいて、人物領域にラベリングされていない画素点が存在するか否かを決定する。人物領域にラベリングされていない画素点が存在することを決定した場合、ラベリング済み人物点に基づいて画素点隣接領域を構築し、画素点隣接領域内のラベリング済み人物点以外の画素点の位置を、当該人物領域に対応する人物のラベルとして使用することにより、ラベリング精度が向上する。
【0381】
いくつかの実施例では、本開示の実施例によって提供される装置が備える機能又はそれに含まれるモジュールは、上記の方法の実施例で説明される方法を実行するように構成され、上記の方法の実施例の説明を参照することで実現されてもよく、簡潔にするために、ここで説明を省略する。
【0382】
図１５は本発明の実施例による画像ラベリング装置のハードウェア構造概略図ある。当該画像ラベリング装置２は、プロセッサ２１、メモリ２２、入力装置２３、出力装置２４を備える。当該プロセッサ２１、メモリ２２、入力装置２３及び出力装置２４は、コネクタを介して結合され、当該コネクタは、様々なインターフェース、伝送ライン又はバスなどを含むが、本開示の実施例で限定されない。本開示の様々な実施例では、結合は、特定の方式の相互接続を指し、直接接続又は他のデバイスを介した間接接続を含み、例えば様々なインターフェイス、伝送ライン、バスなどを介して接続することができる。
【0383】
プロセッサ２１は、１つ又は複数のグラフィックス処理ユニット（ＧＰＵ：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）であってもよく、プロセッサ２１がＧＰＵである場合、当該ＧＰＵは、シングルコアＧＰＵであってもよいし、マルチコアＧＰＵであってもよい。任意に、プロセッサ２１は、複数のＧＰＵから構成されるプロセッサグループであてもよく、複数のプロセッサは、１つ又は複数のバスを介して互いに結合される。任意に、当該プロセッサは、他のタイプのプロセッサなどであってもよく、本開示の実施例では限定されない。
【0384】
メモリ２２は、コンピュータプログラム命令、及び本開示の実施例によって提供される技術的解決策を実行するためのプログラムコードを含む様々なタイプのコンピュータプログラムコードを記憶するために用いられてもよい。任意に、メモリ２２は、ランダムアクセスメモリ（ＲＡＭ：Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、又はポータブル読み取り専用メモリ（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）を含むがこれらに限定されず、当該メモリ２２は、関連する命令及びデータの記憶に用いられる。
【0385】
入力装置２３は、データ及び／又は信号を入力するために用いられ、出力装置２４は、データ及び／又は信号を出力するために用いられる。入力装置２３と出力装置２４は、独立したデバイスであってもよいし、一体型デバイスであってもよい。
【0386】
いくつかの可能な実現方式では、メモリ２２は、関連する命令を記憶するためだけでなく、関連するデータを記憶するために用いられてもよいことが理解でき、例えば、当該メモリ２２は、入力装置２３を介して取得されたラベリング対象画像を記憶するために用いられてもよく、又は、当該メモリ２２は、プロセッサ２１によって取得された第２画素点の位置などを記憶するために用いられてもよく、本開示の実施例では当該メモリに記憶されているデータが限定されない。
【0387】
図１５は画像ラベリング装置の簡略化された設計のみを示していることが理解できる。実際の応用中、画像ラベリング装置は、さらに任意の数の入力／出力装置、プロセッサ、メモリなどを含むがこれらに限定されない他の必要なコンポーネントをそれぞれ含むことができ、本開示の実施例を実施できるすべの画像ラベリング装置は、本開示の保護範囲内にある。
【0388】
当業者であれば、本明細書で開示される実施例と組み合わせて説明された各例のユニット及びアルゴリズムステップは、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアの組み合わせで実現されてもいよいと理解できる。これらの機能がハードウエア又はソフトウエアで実行されるかは、技術的解決策の特定アプリケーションと設計制約条件に依存する。当業者は各特定のアプリケーションに対して異なる方法を用いて記述される機能を実現することができるが、このような実現は本開示の範囲を超えると考えられるべきではない。
【0389】
当業者は、説明を容易及び簡潔にするために、上述したシステム、装置及びユニットの動作プロセスについて、前記方法の実施例における対応するプロセスを参照でき、ここで説明を省略することを明確に理解することができる。当業者は、本開示の各実施例が異なる重点で説明されることを明確に理解することができ、説明を容易及び簡潔にするために同一又は類似の部分は異なる実施例においては省略される可能性がり、したがって、ある実施例で説明されな部分又は詳しく説明されない部分については、他の実施例の記載を参照することができる。
【0390】
本開示で提供されるいくつかの実施例では、開示されるシステム、装置及び方法は、他の方式により実現されてもよいと理解すべきである。例えば、上記の装置の実施例は、例示的なものだけであり、例えば、前記ユニットの区分は、論理機能的区分だけであり、実際に実現するプロセスに他の区分方式もあり得て、例えば複数のユニット又はコンポーネントは組み合わせられてもよく又は別のシステムに統合されてもよく、又はいくつかの特徴は無視されてもよく、又は実行されなくてもよい。また、示される又は議論される相互結合又は直接結合又は通信接続はいくつかのインターフェース、装置又はユニットを介した間接的結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。
【0391】
分離部材として説明された前記ユニットは物理的に分離するものであってもよく又は物理的に分離するものでなくてもよく、ユニットとして表示された部材は、物理的要素であってもよく又は物理的ユニットでなくてもよく、即ち１つの箇所に位置してもよく、又は複数のネットワークユニットに分布してもよい。実際のニーズに応じてそのうちの一部又は全てのユニットを選択して本実施例の解決策の目的を達成することができる。
【0392】
また、本開示の各実施例における各機能ユニットは１つの処理ユニットに統合されてもよく、個々のユニットは単独で物理的に存在してもよく、２つ以上のユニットは１つのユニットに統合されてもよい。
【0393】
上記実施例では、ソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組み合わせによって全て又は部分的に実行されてもよい。ソフトウェアで実現するプロセスでは、コンピュータプログラム製品の形で全て又は部分的に実現することができる。前記コンピュータプログラム製品は、１つ又は複数のコンピュータ命令を含む。コンピュータで前記コンピュータプログラム命令をロードして実行する場合、本開示の実施例に従って説明されたプロセス又は機能を全て部分的に生成する。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラマブルデバイスであってもよい。前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよく、又は前記コンピュータ可読記憶媒体を介して伝送されてもよい。前記コンピュータ命令は１つウェブサイト、コンピュータ、サーバー又はデータセンターから有線（例えば同軸ケーブル、光ファイバ、デジタル加入者線（ＤＳＬ：ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ）又は無線（例えば赤外線、無線、マイクロ波など）を介して別のウェブサイト、コンピュータ、サーバー又はデータセンターに伝送されてもよい。前記コンピュータ可読記憶媒体は、コンピュータがアクセスできるいかなる利用可能な媒体であってもよく、又は１つ又は複数の利用可能な媒体で集積されたサーバー、データセンターなどを含むデータ記憶デバイスであってもよい。前記利用可能な媒体は、磁気媒体（例えばフロッピー（登録商標）ディスク、ハードディスク、磁気テープ）、光学媒体（例えばデジタルビデオディスク（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ））、又は半導体媒体（例えばソリッドステートディスク（ＳＳＤ：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ））などであってもよい。
【0394】
当業者は、上記実施例の方法の全て又は一部のフローを実現することを理解し、当該フローは、コンピュータプログラムで関連するハードウェアを指令して完了されてもよく、当該プログラムがコンピュータ可読記憶媒体に記憶されてもよく、当該プログラムが、実行中、上記の各方法の実施例のフローを含むことができる。前記憶媒体は読み出し専用メモリ（ＲＯＭ：ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）又はランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、磁気ディスク又は光ディスク等のプログラムコードを記憶できる様々な媒体を含む。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【国際調査報告】