特許 7249372 対象をラベリングするための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-22

(45)【発行日】2023-03-30

(54)【発明の名称】対象をラベリングするための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム

(51)【国際特許分類】

   G06T 7/11 20170101AFI20230323BHJP

   G06T 7/00 20170101ALI20230323BHJP

【ＦＩ】

G06T7/11

G06T7/00 350C

【請求項の数】 9

【外国語出願】

(21)【出願番号】P 2021053750

(22)【出願日】2021-03-26

(65)【公開番号】P2021192223

(43)【公開日】2021-12-16

【審査請求日】2021-09-13

(31)【優先権主張番号】202010420437.6

(32)【優先日】2020-05-18

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】521208273

【氏名又は名称】阿波▲羅▼智▲聯▼（北京）科技有限公司

【氏名又は名称原語表記】ＡＰＯＬＬＯ ＩＮＴＥＬＬＩＧＥＮＴ ＣＯＮＮＥＣＴＩＶＩＴＹ（ＢＥＩＪＩＮＧ）ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】１０１， １ｓｔ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ １， Ｙａｒｄ ７， Ｒｕｉｈｅ Ｗｅｓｔ ２ｎｄ Ｒｏａｄ， Ｂｅｉｊｉｎｇ Ｅｃｏｎｏｍｉｃ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｃａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｚｏｎｅ， Ｂｅｉｊｉｎｇ １００１７６， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】張 上▲シン▼

【審査官】青木 重徳

(56)【参考文献】

【文献】特開２０１９－２０４３７４（ＪＰ，Ａ）

【文献】中国特許出願公開第１１０８７４５９１（ＣＮ，Ａ）

【文献】中国特許出願公開第１１０９２９７２９（ＣＮ，Ａ）

【文献】黒岩 圭二朗 ほか，動物体検出機能を有するＭｏｔｉｏｎ ＪＰＥＧ画像のスクランブルとその解除，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2008年01月17日，Ｖｏｌ．１０７、Ｎｏ．４３８，ｐ．３７－４２

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／１１

Ｇ０６Ｔ ７／００

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

対象をラベリングするための方法であって、
目標対象を含むラベリング対象画像を取得するステップと、
予めトレーニングされた第１の検出モデル及び前記ラベリング対象画像に基づいて目標対象の位置情報を決定するステップと、
前記位置情報及び所定のラベリングフレームサイズセットに基づいて前記目標対象に適応するラベリングフレームのサイズを決定するステップと、
決定したサイズに基づいてラベリングフレームを用いて前記目標対象をラベリングするステップと、
前記ラベリング対象画像の非ラベリング領域を取得するステップと、
前記非ラベリング領域でモザイクを生成するステップと、
モザイクが生成された後の画像に基づいて、トレーニングサンプルを決定し、前記トレーニングサンプルにおける画像を入力とし、前記ラベリングフレームを期待出力とし、第２の検出モデルを得るステップと
を含む対象をラベリングするための方法。

【請求項2】

前記対象をラベリングするための方法は、
ラベリングフレームのサイズを含むラベリングフレーム情報を取得するステップと、
前記ラベリングフレームのサイズをクラスター化し、ラベリングフレームサイズセットを得るステップと、
をさらに含む請求項１に記載の方法。

【請求項3】

前記ラベリング対象画像の非ラベリング領域を取得するステップは、
前記ラベリングフレームに基づいてラベリング領域を決定するステップと、
前記ラベリング領域に基づいて前記非ラベリング領域を決定するステップと、を含む請求項１に記載の方法。

【請求項4】

対象をラベリングするための装置であって、
目標対象を含むラベリング対象画像を取得するように構成される画像取得ユニットと、
予めトレーニングされた第１の検出モデル及び前記ラベリング対象画像に基づいて、目標対象の位置情報を決定するように構成される位置決定ユニットと、
前記位置情報及び所定のラベリングフレームサイズセットに基づいて、前記目標対象に適応するラベリングフレームのサイズを決定するように構成されるサイズ決定ユニットと、
決定したサイズに基づいてラベリングフレームを用いて前記目標対象をラベリングするように構成される対象ラベリングユニットと、
前記ラベリング対象画像の非ラベリング領域を取得し、前記非ラベリング領域でモザイクを生成するように構成される処理装置と、
モザイクが生成された後の画像に基づいて、トレーニングサンプルを決定し、前記トレーニングサンプルにおける画像を入力とし、前記ラベリングフレームを期待出力とし、第２の検出モデルを得るように構成されるトレーニングユニットと
を含む対象をラベリングするための装置。

【請求項5】

前記対象をラベリングするための装置は、
ラベリングフレームのサイズを含むラベリングフレーム情報を取得し、
前記ラベリングフレームのサイズをクラスター化し、ラベリングフレームサイズセットを得るように構成されるサイズセット決定ユニットを更に含む請求項４に記載の装置。

【請求項6】

前記サイズセット決定ユニットは、さらに
前記ラベリングフレームに基づいて、ラベリング領域を決定し、
前記ラベリング領域に基づいて、前記非ラベリング領域を決定するように構成される請求項４に記載の装置。

【請求項7】

電子機器であって、
１つ又は複数のプロセッサと、
１つ又は複数のプログラムが記憶された記憶装置と、を含み、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに請求項１～３のいずれか１項に記載の方法を実現させる電子機器。

【請求項8】

コンピュータプログラムが格納されたコンピュータ可読媒体であって、該プログラムがプロセッサで実行されると請求項１～３のいずれか１項に記載の方法を実現するコンピュータ可読媒体。

【請求項9】

コンピュータプログラムであって、前記プログラムがプロセッサによって実行されると、請求項１～３のいずれか１項に記載の方法を実現するコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願の実施例はコンピュータ技術分野に関し、具体的には対象をラベリングするための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラムに関する。

【背景技術】

【0002】

深層学習アルゴリズムの継続的な進歩に伴い、歩行者ターゲット検出アルゴリズムの精度が向上し続けて、一部のモバイル端末は、深層学習における歩行者ターゲット検出アルゴリズムを使用して歩行者の検出を行うことができるようになった。しかし、深層学習の特性であると同時に必須条件として、モデルをトレーニングするために大量の手動によるラベリングデータが必要となり、かつデータの量とデータの品質によってモデル検出の効果が決まってしまう。歩行者検知の場合、写真におけるそれぞれの人の位置を手動でラベリングし、かつこのプロセスは10万回、さらには100万回も繰り返す必要があり、このプロセスは多くの人手と時間の投入が必要になる。

【発明の概要】

【0003】

本願の実施例は対象をラベリングするための方法及び装置を提供する。

【0004】

第１の様態において、本願の実施例は対象をラベリングするための方法を提供し、前記方法は、目標対象を含むラベリング対象画像を取得するステップと、予めトレーニングされた第１の検出モデル及び上記ラベリング対象画像に基づいて目標対象の位置情報を決定するステップと、上記位置情報及び所定のラベリングフレームサイズセットに基づいて、上記目標対象に適応するラベリングフレームのサイズを決定するステップと、決定したサイズに基づいて、ラベリングフレームを用いて上記目標対象をラベリングするステップと、を含む。

【0005】

いくつかの実施例において、上記方法は、さらに、上記ラベリング対象画像の非ラベリング領域を取得するステップと、上記非ラベリング領域でモザイクを生成するステップと、を含む。

【0006】

いくつかの実施例において、上記方法は、さらに、モザイクが生成された後の画像に基づいて、トレーニングサンプルを決定するステップと、上記トレーニングサンプルにおけるモザイクが含まれる画像を入力とし、上記ラベリングフレームを期待出力とし、第２の検出モデルを得るステップと、を含む。

【0007】

いくつかの実施例において、上記方法は、さらに、ラベリングフレームのサイズを含むラベリングフレーム情報を取得するステップと、上記ラベリングフレームのサイズをクラスター化し、ラベリングフレームサイズセットを得るステップと、を含む。

【0008】

いくつかの実施例において、上記ラベリング対象画像のラベリング領域及び非ラベリング領域を取得するステップは、上記ラベリングフレームに基づいて、ラベリング領域を決定するステップと、ラベリング領域に基づいて、上記非ラベリング領域を決定するステップと、を含む。

【0009】

第２の様態において、本願の実施例は対象をラベリングするための装置を提供し、目標対象を含むラベリング対象画像を取得するように構成される画像取得ユニットと、予めトレーニングされた第１の検出モデル及び上記ラベリング対象画像によって、目標対象の位置情報を決定するように構成される位置決定ユニットと、上記位置情報及び所定のラベリングフレームサイズセットに基づいて、上記目標対象に適応するラベリングフレームのサイズを決定するように構成されるサイズ決定ユニットと、決定したサイズに基づいて、ラベリングフレームを用いて上記目標対象をラベリングするように構成される対象ラベリングユニットと、を含む。

【0010】

いくつかの実施例において、上記装置は、上記ラベリング対象画像の非ラベリング領域を取得し、上記非ラベリング領域でモザイクを生成するように構成される処理装置を更に含む。

【0011】

いくつかの実施例において、上記装置は、モザイクが生成された後の画像に基づいて、トレーニングサンプルを決定し、上記トレーニングサンプルにおける画像を入力とし、上記ラベリングフレームを期待出力とし、第２の検出モデルを得るように構成されるトレーニングユニットをさらに含む。

【0012】

いくつかの実施例において、上記装置は、ラベリングフレームのサイズを含むラベリングフレーム情報を取得し、上記ラベリングフレームのサイズをクラスター化し、ラベリングフレームサイズセットを得るように構成されるサイズセット決定ユニットをさらに含む。

【0013】

いくつかの実施例において、上記サイズセット決定ユニットは、さらに、上記ラベリングフレームに基づいて、ラベリング領域を決定し、ラベリング領域に基づいて、非ラベリング領域を決定するように構成される。

【0014】

第３の様態において、本願の実施例は電子機器を提供し、１つ又は複数のプロセッサと、１つ又は複数のプログラムが記憶された記憶装置と、を含み、上記１つ又は複数のプログラムが上記１つ又は複数のプロセッサで実行されることにより、上記１つ又は複数のプロセッサに第１の様態の任意の実施例に記載の方法を実現させる。

【0015】

第４様態において、本願の実施例はコンピュータ可読媒体を提供し、前記コンピュータ可読媒体にコンピュータプログラムが格納され、該プログラムがプロセッサによって実行されると第１の様態の任意の実施例に記載の方法を実現する。

【0016】

第５様態において、本願の実施例はコンピュータプログラムを提供し、前記コンピュータプログラムがプロセッサによって実行されると、第１の様態の任意の実施例に記載の方法を実現する。

【0017】

本願の上記実施例による対象をラベリングするための方法及び装置は、まず、目標対象を含むラベリング対象画像を取得することができる。そして、予めトレーニングされた第１の検出モデル及びラベリング対象画像に基づいて目標対象の位置情報を決定する。そして、位置情報及び所定のラベリングフレームサイズセットに基づいて目標対象をラベリングするラベリングフレームのサイズを決定する。最後、決定したサイズに基づいてラベリングフレームを用いて目標対象をラベリングする。本実施例の方法は、所定のラベリングフレームサイズセットから適応するラベリングフレームを選択して、且つ上記ラベリングフレームで目標対象をラベリングし、これにより手動でラベリングフレームを調整する必要がなく、手動による作業の負荷が軽減される。

【図面の簡単な説明】

【0018】

以下の図面を参照しながら作った非限定的な実施例に対する詳細な説明を読むことにより、本願の他の特徴、目的及び利点がより明らかになる。

【図1】本願の１つの実施例を応用することができる例示的なシステムアーキテクチャ図である。

【図2】本願による対象をラベリングするための方法の１つの実施例のフローチャートである。

【図3】本願による対象をラベリングするための方法の１つの応用シーンの模式図である。

【図4】本願による対象をラベリングするための方法の他の実施例のフローチャートである。

【図5】本願による対象をラベリングするための装置の１つの実施例の構成模式図である。

【図6】本願の実施例を実現するための電子機器に適用されるコンピュータシステムの構成模式図である。

【発明を実施するための形態】

【0019】

以下、図面と実施例を組み合わせて本願を更に詳しく説明する。なお、ここで述べた具体的な実施例は関連発明を解釈するためのものにすぎず、該発明を限定するためのものではないことを理解すべきである。また、説明する必要なものとして、説明の便宜上、図面においては発明に関連する部分のみを示している。

【0020】

なお、矛盾しない限り、本願における実施例及び実施例における特徴を相互に組み合わせることができる。以下、図面を参照しながら実施例を組み合わせて本願を詳細に説明する。

【0021】

図１は本願による対象をラベリングするための方法又は対象をラベリングするための装置の実施例を応用することができる例示的なシステムアーキテクチャ１００を示す。

【0022】

図１に示すように、システムアーキテクチャ１００は、端末機器１０１、１０２、１０３、ネットワーク１０４及びサーバ１０５を含んでも良い。ネットワーク１０４は端末機器１０１、１０２、１０３とサーバ１０５との間に通信リンクを提供するための媒介である。ネットワーク１０４は各種の接続タイプ、例えば有線、無線通信リンク又は光ファイバケーブル等を含んでも良い。

【0023】

ユーザは、端末機器１０１、１０２、１０３を用いてネットワーク１０４を介してサーバ１０５とインタラクティブすることにより、メッセージ等を送受信することができる。端末機器１０１、１０２、１０３は画像を採集するためにカメラと接続することができる。端末機器１０１、１０２、１０３には各種の通信クライアントアプリケーション、例えば画像ブラウジング類アプリケーション、アダプティブブラウジング類アプリケーション、ウェブページブラウザ類アプリケーション、ショッピング類アプリケーション、検索類アプリケーション、インスタントメッセージングツール、電子メールクライアント、ソーシャルプラットフォームソフトウェア等がインストールされることができる。

【0024】

端末機器１０１、１０２、１０３はハードウェアであってもよく、ソフトウェアであってもよい。端末機器１０１、１０２、１０３がハードウェアである場合は、表示画面を有する各種の電子機器であってもよく、スマートフォン、スマートリアビューミラー、スマートドライビングレコーダ、タブレット、ラップトップ、及びデスクトップコンピュータ等を含むが、これらに限定されない。端末機器１０１、１０２、１０３がソフトウェアである場合、上に挙げた電子機器にインストールをすることができる。複数のソフトウェア又はソフトウェアモジュール（例えば分散型サービスを提供するためのもの）として実装されてもよいし、単一のソフトウェア又はソフトウェアモジュールとして実装されても良い。ここでは具体的に限定しない。

【0025】

サーバ１０５は各種のサービスを提供するサーバ、例えば端末機器１０１、１０２、１０３において採集された画像にサポートを提供するバックエンドサーバであっても良い。バックエンドサーバは、取得したラベリング対象画像等のデータに対して分析等の処理を行い、処理結果（例えば画像のラベリング結果）を端末機器１０１、１０２、１０３にフィードバックすることができる。

【0026】

なお、サーバはハードウェアであってもよく、ソフトウェアであってもよい。サーバは、ハードウェアである場合、複数のサーバからなる分散型サーバクラスタとして実現されてもよく、単一のサーバとして実現されてもよい。サーバがソフトウェアである場合、複数のソフトウェア又はソフトウェアモジュール（例えば分散型サービスを提供するためのものである）として実装されてもよく、単一のソフトウェア又はソフトウェアモジュールとして実装されてもよい。ここでは具体的に限定しない。

【0027】

また、本願の実施例による対象をラベリングするための方法は一般的にサーバ１０５によって実行され、対応して、対象をラベリングするための装置は一般的にサーバ１０５に設けられる。

【0028】

図１における端末機器、ネットワーク及びサーバの数は単なる例示的なものであることを理解すべきである。実際の必要に応じて、任意の数の端末機器、ネットワーク及びサーバを有しても良い。

【0029】

続いて図２を参照して、図２は本願による対象をラベリングするための方法の一の実施例のプロセス２００を示す。本実施例の対象をラベリングするための方法は、以下のステップを含む。
ステップ２０１において、ラベリング対象画像を取得する。

【0030】

本実施例において、対象をラベリングするための方法の実行主体（例えば図１に示すサーバ１０５）は有線接続方式又は無線接続方式によりラベリング対象画像を取得することができる。上記ラベリング対象画像は車両に取り付けられた画像採集装置によって採集された画像であってもよい。上記ラベリング対象画像が目標対象を含み、目標対象は歩行者、車両等を含んでも良い。

【0031】

ステップ２０２において、予めトレーニングされた第１の検出モデル及びラベリング対象画像に基づいて目標対象の位置情報を決定する。

【0032】

本実施例において、実行主体はラベリング対象画像を取得した後、予めトレーニングされた第１の検出モデルを用いて、目標対象の位置情報を決定することができる。上記第１の検出モデルは、ラベリング対象画像における目標対象を認識することができ、また、例えばディープニューラルネットワーク、畳み込みニューラルネットワークのような各種の深層学習アルゴリズムであってもよく、各種のニューラルネットワークの組み合わせ等であっても良い。第１の検出モデルは、複数の畳み込み層を含んでも良く、上記第１の検出モデルを動かすにはハードウェアに対する要求が高い。第１の検出モデルは公開の歩行者データによってトレーニングして得ることができる。

【0033】

実行主体は上記ラベリング対象画像を上記第１の検出モデルに入力して、目標対象の位置情報を得ることができる。上記位置情報は目標対象の中心、フレーム等の情報を含んでも良い。

【0034】

ステップ２０３において、位置情報及び所定のラベリングフレームサイズセットに基づいて目標対象をラベリングするラベリングフレームのサイズを決定する。

【0035】

実行主体は目標対象の位置情報を決定した後、所定のラベリングフレームサイズセットを組み合わせて、目標対象に適応するラベリングフレームのサイズを決定することができる。上記ラベリングフレームサイズセットには複数のラベリングフレームサイズが含まれ、上記複数のラベリングフレームサイズは従来のラベリング画像における目標対象のラベリングフレームのサイズである。このように、適応により得られたラベリングフレームのサイズはユーザによって設定されたラベリングフレームのサイズに比較的に近いので、再び手動で調整する必要がない。

【0036】

本実施例の幾つかの選択可能な実現形態において、上記ラベリングフレームサイズセットが図２に示されていない以下のステップによって実現することができる。ラベリングフレームのサイズを含むラベリングフレーム情報を取得し、ラベリングフレームのサイズをクラスター化し、ラベリングフレームサイズセットを得る。

【0037】

本実現形態において、実行主体はラベリングフレーム情報を取得することができる。上記ラベリングフレーム情報は手動でラベリングしたものであってもよい。実行主体はまず公開されたラベリングデータを取得し、上記ラベリングデータから各ラベリングフレーム情報を決定することができる。上記ラベリングフレームの情報はラベリングフレームのサイズ、位置等の情報を含む。実行主体は各ラベリングフレームのサイズをクラスター化して、複数のラベリングフレームサイズを得ることができる。具体的には、実行主体は従来のクラスター化アルゴリズムを用いて各ラベリングフレームのサイズをクラスター化することができ、例えばＤＢＳＣＡＮ（Ｄｅｎｓｉｔｙ－Ｂａｓｅｄ Ｓｐａｔｉａｌ Ｃｌｕｓｔｅｒｉｎｇ ｏｆ Ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ Ｎｏｉｓｅ、密度ベースのクラスター化アルゴリズム）が挙げられる。

【0038】

ステップ２０４において、決定したサイズによって、ラベリングフレームを用いて目標対象をラベリングする。

【0039】

実行主体は適応目標対象のサイズを決定した後、ラベリングフレームを用いて目標対象をラベリングすることができる。なお、ラベリングフレームのサイズは適応して得られたラベリングフレームのサイズである。

【0040】

続いて図３を参照して、図３は本実施例による対象をラベリングするための方法の１つの応用シーンの模式図である。図３の応用シーンにおいて、車両３０１に取り付けられたドライビングレコーダは運転環境での複数の画像を採集した。且つ上記画像をサーバ３０２にアップロードし、サーバ３０２には予めトレーニングされた第１の検出モデルが設けられている。サーバ３０２は複数の画像を第１の検出モデルに入力し、各画像に含まれた歩行者の位置情報を決定する。そして、歩行者に適応するラベリングフレームのサイズを決定する。最後、ラベリングフレームで歩行者をラベリングする。サーバ３０２はラベリングした画像をさらに端末機器３０３に出力してもよい。上記端末機器３０３はラベリングをする者が使用する端末であってもよく、ラベリングをする者がラベリング後の画像を更にチェックし、歩行者のラベリングフレームを調整する必要があるかどうかを確認することができる。

【0041】

本願の上記実施例による対象をラベリングするための方法は、まず、目標対象を含むラベリング対象画像を取得することができる。そして、予めトレーニングされた第１の検出モデル及びラベリング対象画像に基づいて目標対象の位置情報を決定することができる。そして、位置情報及び所定のラベリングフレームサイズセットに基づいて目標対象をラベリングするラベリングフレームのサイズを決定することができる。最後、決定したサイズに基づいてラベリングフレームを用いて目標対象をラベリングすることができる。本実施例の方法は、所定のラベリングフレームサイズセットから適応するラベリングフレームを選択して、上記ラベリングフレームを用いて目標対象をラベリングすることができ、これにより手動でラベリングフレームを調整する必要がなく、手動による作業の負荷が軽減される。

【0042】

続いて図４を参照して、図４は本願による対象をラベリングするための方法の他の実施例のプロセス４００を示す。図４に示すように、本実施例の対象をラベリングするための方法は以下のステップを含んでも良い。

【0043】

ステップ４０１において、ラベリング対象画像を取得する。

【0044】

ステップ４０２において、予めトレーニングされた第１の検出モデル及びラベリング対象画像に基づいて目標対象の位置情報を決定する。

【0045】

ステップ４０３において、位置情報及び所定のラベリングフレームサイズセットに基づいて目標対象に適応するラベリングフレームのサイズを決定する。

【0046】

ステップ４０４において、決定したサイズに基づいてラベリングフレームを用いて目標対象をラベリングする。

【0047】

ステップ４０５において、ラベリング対象画像の非ラベリング領域を取得する。

【0048】

本実施例において、実行主体はさらにラベリング対象画像の非ラベリング領域を取得することができる。上記非ラベリング領域はぼやけて不明瞭な目標対象を含んでも良く、又は目標対象を含まなくても良い。対応して、ラベリング対象画像において非ラベリング領域外の領域がラベリング領域と呼んでもよいことを除き、ラベリング領域はラベリング対象である複数の目標対象を含み、実行主体はラベリングをする者からラベリング対象画像のラベリング領域を取得することができる。ラベリングをする人間がラベリングした画像を取得した後、上記画像からラベリング領域を選択することができる。且つラベリング領域を選定した後の画像を実行主体に送信する。ラベリング領域以外の部分が非ラベリング領域である。

【0049】

本実施例の幾つかの選択可能な実現形態において、実行主体は図４に示されない以下のステップで非ラベリング領域を決定することができる。ラベリングフレームに基づいてラベリング領域を決定し、ラベリング領域に基づいて非ラベリング領域を決定する。

【0050】

本実現形態において、実行主体は各ラベリングフレームを囲むことができる包囲フレームを決定することができる。且つ包囲フレームにおける領域をラベリング領域とし、包囲フレーム以外の領域を非ラベリング領域とすることができる。

【0051】

ステップ４０６において、非ラベリング領域においてモザイクを生成する。

【0052】

本実施例において、非ラベリング領域を決定した後、実行主体は非ラベリング領域においてモザイクを生成することができる。具体的には、実行主体は非ラベリング領域のピクセルをブロック単位で位置をシャッフルすることができ、このように非ラベリング領域は周囲のピクセルと比べて特に目立つことにはならない。このようにすると、画像がよりきれいになり、トレーニング効果がより良くなる。

【0053】

ステップ４０７において、モザイクが生成された後の画像に基づいて、トレーニングサンプルを決定する。

【0054】

実行主体はモザイクを生成した画像をトレーニングサンプルとすることができる。レーニングサンプルの数が所定数に達した後、複数のトレーニングサンプルを用いてモデルをトレーニングすることができる。

【0055】

ステップ４０８において、トレーニングサンプルにおいてモザイクが含まれる画像を入力とし、ラベリングフレームを期待出力とし、第２の検出モデルを得る。

【0056】

本実施例において、実行主体はトレーニングサンプルにおいてモザイクを含むがラベリングフレームを含まない画像をモデルの入力とし、ラベリングフレームをモデルの期待出力とし、第２の検出モデルを得ることができる。好ましくは、上記第２の検出モデルに含まれる畳み込み層の数が少なくて、計算量が少なく、このようにすると、トレーニング後の第２の検出モデルはハードウェアの条件が悪い移動端に設置されてもよく、例えばスマートバックミラーに設け、歩行者の迅速な検出を実現する。

【0057】

本願の上記実施例による対象をラベリングするための方法は、品質がよいラベリング画像を得ることができ、且つトレーニングして第２の検出モデルを生成し、深層学習アルゴリズムの実現に有利である。

【0058】

さらに図５を参照して、上記各図に示す方法に対する実現として、本願は対象をラベリングするための装置の１つの実施例を提供し、該装置実施例は図２に示す方法実施例に対応し、該装置は具体的には各種の電子機器に応用されることができる。

【0059】

図５に示すように、本実施例の対象をラベリングするための装置５００は、画像取得ユニット５０１と、位置決定ユニット５０２と、サイズ決定ユニット５０３と、対象ラベリングユニット５０４とを含む。

【0060】

画像取得ユニット５０１は、目標対象を含むラベリング対象画像を取得するように構成される。

【0061】

位置決定ユニット５０２は、予めトレーニングされた第１の検出モデル及びラベリング対象画像に基づいて目標対象の位置情報を決定するように構成される。

【0062】

サイズ決定ユニット５０３は、位置情報及び所定のラベリングフレームサイズセットに基づいて目標対象に適応するラベリングフレームのサイズを決定するように構成される。

【0063】

対象ラベリングユニット５０４は、決定したサイズに基づいてラベリングフレームを用いて目標対象をラベリングするように構成される。

【0064】

本実施例の幾つかの選択可能な実現形態において、装置５００は、ラベリング対象画像の非ラベリング領域を取得し、非ラベリング領域においてモザイクを生成するように構成される、図５に示されていない処理装置を更に含んでも良い。

【0065】

本実施例の幾つかの選択可能な実現形態において、装置５００は、ラベリング対象画像の非ラベリング領域を取得し、非ラベリング領域においてモザイクを生成するように構成される、図５に示されていないトレーニングユニットを更に含んでも良い。

【0066】

本実施例の幾つかの選択可能な実現形態において、装置５００は、ラベリングフレームのサイズを含むラベリングフレーム情報を取得し、ラベリングフレームのサイズに対してクラスター化を行い、ラベリングフレームサイズセットを得るように構成される、図５に示されていないサイズセット決定ユニットを更に含んでも良い。

【0067】

本実施例の幾つかの選択可能な実現形態において、サイズセット決定ユニットは、さらに、ラベリングフレームに基づいてラベリング領域を決定し、ラベリング領域に基づいて非ラベリング領域を決定するように構成される。

【0068】

対象をラベリングするための装置５００に記載のユニット５０１～ユニット５０４はそれぞれ図２に説明する方法における各ステップに対応することを理解すべきものである。これによって、以上の対象をラベリングするための方法に対して説明する動作及び特徴が同様に装置５００及びその含まれたユニットに同様に適用でき、ここでは繰り返して説明はしない。

【0069】

以下、図６を参照して、図６は本開示の実施例を実現するための電子機器（例えば図１におけるサーバ又は端末機器）６００に適用される構成模式図を示す。図６に示す電子機器は１つの例示にすぎず、本開示の実施例の機能及び使用範囲に対して制限をもたらすものではない。

【0070】

図６に示すように、電子機器６００は、読み取り専用メモリ（ＲＯＭ）６０２に記憶されたプログラム又は記憶装置６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムによって各種の適当な動作及び処理を実行する処理装置（例えば中央プロセッサ、グラフィックプロセッサ等）６０１を含んでも良い。ＲＡＭ６０３において、さらに電子機器６００の操作に必要な各種のプログラムとデータが記憶される。処理装置６０１、ＲＯＭ６０２及びＲＡＭ６０３はバス６０４によって互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続される。

【0071】

通常、例えばタッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープ等を含む入力装置６０６、例えば液晶ディスプレイ（ＬＣＤ）、スピーカー、バイブレーター等を含む出力装置６０７、例えばテープ、ハードディスク等を含む記憶装置６０８、及び通信装置６０９は、Ｉ／Ｏインターフェース６０５に接続されてもよい。通信装置６０９は電子機器６００が他の機器と無線又は有線通信することによってデータを交換することを許可することができる。図６には各種の装置を有する電子機器６００を示すが、理解すべきものとして、すべての示された装置を実施又は具備することを要求しない。代替可能により多いか又はより少ない装置を実施又は具備する。図６に示された各ボックスは１つの装置を代表してもよいし、必要に応じて複数の装置を代表してもよい。

【0072】

特に、本開示の実施例によれば、以上にフローチャートに記載の過程はコンピュータソフトウェアプログラムに実現されることができる。例えば、本開示の実施例は、コンピュータ可読媒体に載せられたコンピュータプログラムを含むコンピュータプログラム製品を含み、該コンピュータプログラムはフローチャートに示す方法を実行するためのプログラムコードを含む。このような実施例において、該コンピュータプログラムは通信装置６０９によってネットワークからダウンロードしてインストールされ、又は記憶装置６０８からインストールされ、又はＲＯＭ６０２からインストールされる。該コンピュータプログラムは処理装置６０１によって実行されるとき、本開示の実施例の方法に限定された上記機能を実行する。説明する必要なものとして、本開示の実施例に記載のコンピュータ可読媒体はコンピュータ可読信号媒体又はコンピュータ可読記憶媒体又は上記両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は例えば電気、磁気、光、電磁、赤外線、又は半導体のシステム、装置又はデバイス、又は任意の以上の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例は、１つ又は複数のワイヤーを有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光ストレージ コンポーネント、磁気ストレージデバイス、または上記の任意の適切な組み合わせを含んでも良いが、これに限定されない。本開示の実施例において、コンピュータ可読記憶媒体は任意のプログラムを含有又は記憶する有形媒体であってもよく、該プログラムは命令実行システム、装置又はデバイスで使用されるか又はそれと組み合わせて使用されても良い。本開示の実施例において、コンピュータ可読信号媒体はベースバンドに含まれても良いか又はキャリアウェーブの一部として伝送する、コンピュータ可読プログラムコードが載せられたデータ信号であってもよい。このような伝送するデータ信号は多種の形式を利用することができ、電磁信号、光信号又は上記の任意の適当な組み合わせを含むが、これらに限定されない。コンピュータ可読信号媒体はさらにコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、該コンピュータ可読信号媒体は、命令実行システム、装置又はデバイスで使用されるか又はそれと組み合わせて使用するプログラムを送信、伝送又は輸送することができる。コンピュータ可読媒体に含まれるプログラムコードは任意の適当な媒体で輸送されることができ、ワイヤー、光ケーブル、ＲＦ（無線周波数）など、又は上記の任意の適合な組み合わせを含むが、これらに限定されない。

【0073】

上記コンピュータ可読媒体は、上記電子機器に含まれるものであってもよく、単独に存在し、該電子機器に実装されなくてもよい。上記コンピュータ可読媒体には１つの又は複数のプログラムが載せられ、上記１つの又は複数のプログラムが該電子機器で実行されるとき、該電子機器に、目標対象を含むラベリング対象画像を取得させ、予めトレーニングされた第１の検出モデル及びラベリング対象画像に基づいて、目標対象の位置情報を決定させ、位置情報及び所定のラベリングフレームサイズセットによって、目標対象に適応するラベリングフレームのサイズを決定させ、決定したサイズによって、ラベリングフレームを用いて目標対象をラベリングさせる。

【0074】

１種又は多種のプログラムデザイン言語又はその組み合わせで本開示の実施形態の操作を実行するためのコンピュータプログラムコードを書き、前記プログラムデザイン言語は、対象に面するプログラムデザイン言語、例えばＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋を含み、従来の手続き型プログラミング言語、例えば「Ｃ」言語又は類似のプログラムデザイン言語をさらに含む。プログラムコードは、完全にユーザコンピュータで実行され、部分的にユーザコンピュータで実行され、１つの独立なソフトウェアパッケージとして実行され、部分的にユーザコンピュータで部分的にリモートコンピュータで実行され、又は完全にリモートコンピュータ又はサーバで実行されてもよい。リモートコンピュータに関する状況において、リモートコンピュータはローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークによってユーザコンピュータに接続されることができ、又は、外部コンピュータ（例えばインターネットサービスプロバイダを用いてインターネットによって接続される）に接続されることができる。

【0075】

図面におけるフローチャートとブロック図は、本開示の各種の実施例のシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び操作を示す。この点では、フローチャート又はブロック図における各ボックスは１つのモジュール、プログラムセグメント、又はコードの一部を代表することができ、該モジュール、プログラムセグメント、又はコードの一部が１つ又は複数の所定のロジック機能を実現するための実行可能な命令を含む。注意すべきものとして、幾つかの切り替え可能な実現において、ボックスにラベリングした機能も図面にラベリングした順序と異なることが発生することができる。例えば、２つの接続するように示すボックスは実際に基本的に並行して実行でき、それらは関連する機能によっては、逆の順序で実行される場合がある。また、注意する必要があるものとして、ブロック図及び／又はフローチャートにおける各ボックス、及びブロック図及び／又はフローチャートにおけるボックスの組み合わせは、所定の機能又は操作を実行する専用のハードウェアに基づくシステムで実現されることができるか、又は専用のハードウェアとコンピュータ命令との組み合わせで実現されることができる。

【0076】

本開示の実施例に関するユニットはソフトウェアの方式によって実現されてもよいし、ハードウェアの方式によって実現されてもよい。記載されたユニットはプロセッサに設置されてもよく、例えば、プロセッサは画像取得ユニット、位置決定ユニット、サイズ決定ユニット及び対象ラベリングユニットを含むと説明することができる。これらのユニットの名称はある状況には該ユニット自体に対する限定を構成しなく、例えば、画像取得ユニットはさらに「ラベリング対象画像のユニットを取得する」と説明されてもよい。

【0077】

以上の説明は単なる本開示の好ましい実施例及び用いた技術原理に対する説明である。当業者は、本開示の実施例に関する発明の範囲は上記技術的特徴の特定の組み合わせによって構成された技術的手段によって限定されないとともに、上記発明の技術的思想から逸脱しない限り、上記技術的特徴又はその均等特徴に対して任意の組み合わせを行って形成された他の技術的手段も含むべきであることを理解すべきである。例えば上記特徴は、本開示の実施例に開示された（ただし、それらに限定されない）類似機能を有する技術的特徴と互いに置き換えて形成された技術的手段である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】