(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-03-15
(54)【発明の名称】画像処理方法、装置、機器及び記憶媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20220308BHJP
G06T 7/30 20170101ALI20220308BHJP
G06T 7/10 20170101ALI20220308BHJP
G05D 1/02 20200101ALN20220308BHJP
【ＦＩ】
G06T7/00 350C
G06T7/30
G06T7/10
G05D1/02 K
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021526557
(86)(22)【出願日】2020-04-09
(85)【翻訳文提出日】2021-05-14
(86)【国際出願番号】 CN2020084018
(87)【国際公開番号】W WO2021120455
(87)【国際公開日】2021-06-24
(31)【優先権主張番号】201911328268.7
(32)【優先日】2019-12-20
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】519453342
【氏名又は名称】深▲せん▼市商▲湯▼科技有限公司
【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ ２０１， Ｂｕｉｌｄｉｎｇ Ａ， Ｎｏ． １， Ｑｉａｎｗａｎ Ｒｏａｄ， Ｑｉａｎｈａｉ Ｓｈｅｎｚｈｅｎ－Ｈｏｎｇｋｏｎｇ Ｍｏｄｅｒｎ Ｓｅｒｖｉｃｅ Ｉｎｄｕｓｔｒｙ Ｃｏｏｐｅｒａｔｉｏｎ Ｚｏｎｅ Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００ （ＣＮ）
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】▲楊▼▲凱▼
(72)【発明者】
【氏名】▲張▼展▲鵬▼
(72)【発明者】
【氏名】▲じん▼婉▲てぃん▼
(72)【発明者】
【氏名】▲劉▼家▲銘▼
(72)【発明者】
【氏名】成慧
(72)【発明者】
【氏名】高▲鳴▼岐
【テーマコード（参考）】
5H301
5L096
【Ｆターム（参考）】
5H301AA01
5H301AA06
5H301CC03
5H301CC04
5H301CC06
5H301CC07
5H301GG09
5L096AA06
5L096BA05
5L096CA02
5L096DA02
5L096FA16
5L096FA32
5L096FA59
5L096FA66
5L096FA69
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
本開示の実施例は、画像処理方法、装置、電子機器及びコンピュータ記憶媒体を提供する。画像処理方法は、処理待ち画像をニューラルネットワークに入力するステップであって、前記ニューラルネットワークが異なる背景環境におけるサンプル画像に基づいてトレーニングして得られたものであるステップと、前記ニューラルネットワークで前記処理待ち画像に対して画像処理を行い、画像処理結果を取得するステップであって、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含むステップとを含む。
【特許請求の範囲】
【請求項1】
画像処理方法であって、処理待ち画像をニューラルネットワークに入力するステップであって、前記ニューラルネットワークが異なる背景環境におけるサンプル画像に基づいてトレーニングして得られたものであるステップと、
前記ニューラルネットワークで前記処理待ち画像に対して画像処理を行い、画像処理結果を取得するステップであって、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含むステップと、を含む、画像処理方法。
【請求項2】
前記処理待ち画像は、画像収集装置によって収集されたものであり、前記方法は、さらに、
前記処理待ち画像の画像処理結果に基づき、第１プリセット条件を満たすか否かを判断するステップと、
第１プリセット条件を満たす場合、前記画像収集装置の前に障害物があると決定するステップとを含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記第１プリセット条件は、前記処理待ち画像内の少なくとも１つのターゲットと画像収集装置との間の距離値が最小距離安全閾値以下であること、
前記処理待ち画像内の少なくとも１つのターゲットの画素面積値が最大面積安全閾値以上であることの少なくとも１つを含むことを特徴とする
請求項２に記載の方法。
【請求項4】
前記方法は、さらに、前記処理待ち画像の画像処理結果がターゲット検出結果を含む場合、予め取得されたホモグラフィマトリックス及び前記ターゲット検出結果に基づき、前記処理待ち画像内の各ターゲットと画像収集装置との間の距離値をそれぞれ取得するステップ、及び／又は、前記ターゲット検出結果に基づき、前記処理待ち画像内の各ターゲットの画素面積値をそれぞれ取得するステップを含み、前記ホモグラフィマトリックスは、各画素点の世界座標系と画素座標系との間の位置マッピング関係を示すために用いられることを特徴とする
請求項３に記載の方法。
【請求項5】
前記ホモグラフィマトリックスは、前記画像収集装置の内部パラメータ及び前記画像収集装置に対するキャリブレーションボードの既知の位置に基づいて決定されることを特徴とする請求項４に記載の方法。
【請求項6】
前記画像収集装置は、移動物体に設けられ、前記方法は、さらに、
前記画像収集装置の前に障害物がある場合、前記移動物体の障害物回避反応を決定するステップを含むことを特徴とする
請求項２－５のいずれか一項に記載の方法。
【請求項7】
前記移動物体の障害物回避反応を決定する前記ステップは、前記画像処理結果に基づき、前記障害物のタイプを決定するステップと、
前記障害物のタイプに基づいて、前記移動物体の障害物回避反応を決定するステップと、を含むことを特徴とする
請求項６に記載の方法。
【請求項8】
前記背景環境は、光照射条件、テクスチャ背景の少なくとも１つを含むことを特徴とする請求項１－７のいずれか一項に記載の方法。
【請求項9】
前記処理待ち画像は、画像収集装置によって収集されたものであり、前記方法は、さらに、
前記処理待ち画像の画像処理結果に基づき、第２プリセット条件を満たすか否かを判断するステップと、
第２プリセット条件を満たす場合、前記画像収集装置が作業可能領域と非作業可能領域との間の境界に到達していると決定するステップとを含むことを特徴とする
請求項１－７のいずれか一項に記載の方法。
【請求項10】
前記第２プリセット条件は、前記境界の平均画素高さ値は、境界画素高さ閾値以下であること、
前記処理待ち画像内の作業可能領域の面積値が作業可能領域の面積閾値以下であること、
前記処理待ち画像における作業可能領域の面積占用比率が作業可能領域面積占用比率閾値以下であることの少なくとも１つを含むことを特徴とする
請求項９に記載の方法。
【請求項11】
前記方法は、さらに、前記処理待ち画像の画像処理結果がセマンティックセグメンテーション結果を含む場合、セマンティックセグメンテーション結果に基づいて前記処理待ち画像の各画素点の領域タイプを決定し、決定された各画素点の領域タイプに基づいて作業可能領域と非作業可能領域とを決定するステップと、
決定された作業可能領域と非作業可能領域に基づき、前記処理待ち画像内の作業可能領域の面積値を取得し、及び／又は前記境界の平均画素高さ値を決定するステップとを含むことを特徴とする
請求項１０に記載の方法。
【請求項12】
前記画像収集装置は、移動物体に設けられ、前記方法は、さらに、
画像収集装置が前記境界に到達した場合、前記移動物体の動作反応を決定することを含むことを特徴とする
請求項９－１１のいずれか一項に記載の方法。
【請求項13】
前記移動物体の動作反応は、停止、コーナリング、Ｕターンの少なくとも１つを含むことを特徴とする請求項１２に記載の方法。
【請求項14】
前記画像収集装置は、単眼画像収集装置であることを特徴とする請求項１２－１３のいずれか一項に記載の方法。
【請求項15】
前記ニューラルネットワークは、サンプル画像をニューラルネットワークに入力し、前記ニューラルネットワークで、前記サンプル画像に対して画像処理を行い、画像処理結果を取得するステップであって、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含み、前記サンプル画像が異なる背景環境における画像を示すために用いられるステップと、
前記サンプル画像の画像処理結果及び前記サンプル画像のラベルに基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するステップと、
ネットワークパラメータ値が調整されたニューラルネットワークがプリセット条件を満たすまで上記のステップを繰り返して実行し、トレーニング済みニューラルネットワークを得るステップとによって、トレーニングされるものであることを特徴とする
請求項１－１４のいずれか一項に記載の方法。
【請求項16】
前記方法は、さらに、前記処理待ち画像のラベルを取得するステップと、
前記処理待ち画像の画像処理結果及び前記処理待ち画像のラベルに基づいて、前記トレーニング済みニューラルネットワークを基にインクリメンタルトレーニングを行うステップとを含むことを特徴とする
請求項１５に記載の方法。
【請求項17】
画像処理装置であって、処理モジュールを備え、前記処理モジュールは、処理待ち画像をニューラルネットワークに入力し、前記ニューラルネットワークで前記処理待ち画像に対して画像処理を行い、画像処理結果を取得するように構成され、前記ニューラルネットワークが異なる背景環境におけるサンプル画像に基づいてトレーニングして得られたものであり、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含む、画像処理装置。
【請求項18】
前記処理待ち画像は、画像収集装置によって収集されたものであり、前記処理モジュールは、さらに、前記処理待ち画像の画像処理結果に基づき、第１プリセット条件を満たすか否かを判断し、第１プリセット条件を満たす場合、前記画像収集装置の前に障害物があると決定するように構成されることを特徴とする請求項１７に記載の装置。
【請求項19】
前記第１プリセット条件は、前記処理待ち画像内の少なくとも１つのターゲットと画像収集装置との間の距離値が最小距離安全閾値以下であること、
画素座標における前記処理待ち画像内の少なくとも１つのターゲットに対応する画素面積値が最大面積安全閾値以上であることの少なくとも１つを含むことを特徴とする
請求項１８に記載の装置。
【請求項20】
前記処理モジュールは、さらに、前記処理待ち画像の画像処理結果がターゲット検出結果を含む場合、予め取得されたホモグラフィマトリックス及び前記ターゲット検出結果に基づき、前記処理待ち画像内の各ターゲットと画像収集装置との間の距離値をそれぞれ取得するように構成され、及び／又は、前記ターゲット検出結果に基づき、画素座標における前記処理待ち画像内の各ターゲットに対応する画素面積値をそれぞれ取得するように構成され、前記ホモグラフィマトリックスは、世界座標系と画素座標系との間の位置マッピング関係を示すために用いられることを特徴とする請求項１９に記載の装置。
【請求項21】
前記ホモグラフィマトリックスは、前記画像収集装置の内部パラメータ及び前記画像収集装置に対するキャリブレーションボードの既知の位置に基づいて決定されることを特徴とする請求項２０に記載の装置。
【請求項22】
前記画像収集装置は、移動物体に設けられ、前記処理モジュールは、さらに、前記画像収集装置の前に障害物がある場合、前記移動物体の障害物回避反応を決定するように構成されることを特徴とする請求項１８－２１のいずれか一項に記載の装置。
【請求項23】
前記処理モジュールは、さらに、前記画像処理結果に基づき、前記障害物のタイプを決定し、前記障害物のタイプに基づいて、前記移動物体の障害物回避反応を決定するように構成されることを特徴とする請求項２２に記載の装置。
【請求項24】
前記背景環境は、光照射条件、テクスチャ背景の少なくとも１つを含むことを特徴とする請求項１７－２３のいずれか一項に記載の装置。
【請求項25】
前記処理待ち画像は、画像収集装置によって収集されたものであり、前記処理モジュールは、さらに、前記処理待ち画像の画像処理結果に基づき、第２プリセット条件を満たすか否かを判断し、第２プリセット条件を満たす場合、前記画像収集装置が作業可能領域と非作業可能領域との境界に到達していると決定するように構成されることを特徴とする請求項１７－２３のいずれか一項に記載の装置。
【請求項26】
前記第２プリセット条件は、前記境界の平均画素高さ値は、境界画素高さ閾値以下であること、
処理待ち画像内の作業可能領域の面積値が作業可能領域の面積閾値以下であること、
前記処理待ち画像における作業可能領域の面積占用比率が作業可能領域面積占用比率閾値以下であることの少なくとも１つを含むことを特徴とする
請求項２５に記載の装置。
【請求項27】
前記処理モジュールは、さらに、前記処理待ち画像の画像処理結果がセマンティックセグメンテーション結果を含む場合、セマンティックセグメンテーション結果に基づいて前記処理待ち画像の各画素点の領域タイプを決定し、決定された各画素点の領域タイプに基づいて作業可能領域と非作業可能領域とを決定し、決定された作業可能領域と非作業可能領域に基づき、前記処理待ち画像内の作業可能領域の面積値を取得し、及び／又は前記境界の平均画素高さ値を決定するように構成されることを特徴とする請求項２６に記載の装置。
【請求項28】
前記画像収集装置は、移動物体に設けられ、前記処理モジュールは、さらに、前記画像収集装置が前記境界に到達した場合、前記移動物体の動作反応を決定するように構成されることを特徴とする請求項２５－２７のいずれか一項に記載の装置。
【請求項29】
前記移動物体の動作反応は、停止、コーナリング、Ｕターンの少なくとも１つを含むことを特徴とする請求項２８のいずれか一項に記載の装置。
【請求項30】
前記画像収集装置は、単眼画像収集装置であることを特徴とする請求項１８－２９のいずれか一項に記載の装置。
【請求項31】
前記ニューラルネットワークは、サンプル画像をニューラルネットワークに入力し、前記ニューラルネットワークで、前記サンプル画像に対して画像処理を行い、画像処理結果を取得するステップであって、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含み、前記サンプル画像が異なる背景環境における画像を示すために用いられるステップと、前記サンプル画像の画像処理結果及び前記サンプル画像のラベルに基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するステップと、
ネットワークパラメータ値が調整されたニューラルネットワークがプリセット条件を満たすまで上記のステップを繰り返して実行して、トレーニング済みニューラルネットワークを得るステップとによって、トレーニングされるものであることを特徴とする
請求項１７－３０のいずれか一項に記載の装置。
【請求項32】
前記処理モジュールは、さらに、前記処理待ち画像のラベルを取得し、前記処理待ち画像の画像処理結果及び前記処理待ち画像のラベルに基づいて、前記トレーニング済みニューラルネットワークを基にインクリメンタルトレーニングを行うように構成されることを特徴とする請求項３１に記載の装置。
【請求項33】
電子機器であって、プロセッサと、
プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリとを備え、
前記プロセッサは、前記コンピュータプログラムを実行する時に、請求項１－１６のいずれか一項に記載の画像処理方法を実行するように構成される、電子機器。
【請求項34】
コンピュータプログラムを記憶するコンピュータ記憶媒体であって、当該コンピュータプログラムがプロセッサによって実行される時に請求項１－１６のいずれか一項に記載の画像処理方法を実現する、コンピュータ記憶媒体。
【請求項35】
コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器で実行される場合、前記電子機器のプロセッサは、請求項１－１６のいずれか一項に記載の方法を実現するために実行される、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願への相互参照）
本出願は、２０１９年１２月２０日に中国特許庁に提出された、出願番号が２０１９１１３２８２６８．７であり、出願名称が「画像処理方法、装置、機器及び記憶媒体」である中国特許出願の優先権を主張し、その全ての内容が参照により本出願に組み込まれる。
本出願は、２０１９年１２月２０日に中国特許庁に提出された、出願番号が２０１９１１３２８２６８．７であり、出願名称が「画像処理方法、装置、機器及び記憶媒体」である中国特許出願の優先権を主張し、その全ての内容が参照により本出願に組み込まれる。
【0002】
本開示は、コンピュータビジョン技術に関し、特に画像処理方法、装置、電子機器及びコンピュータ記憶媒体に関する。
【背景技術】
【0003】
ロボット技術の発展に伴い、ますます多くのロボットが、作業範囲が一定でなく、障害物の種類が多く且つ速度が速いという屋外シーンに適用されるようになり、したがって、屋外作業範囲で動作できるロボットのための自律的障害物回避システムを開発することは、特に重要である。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示の実施例は、画像処理のための技術的解決策を提供することが期待される。
【課題を解決するための手段】
【0005】
本開示の実施例による画像処理方法は、
処理待ち画像をニューラルネットワークに入力するステップであって、前記ニューラルネットワークが異なる背景環境におけるサンプル画像に基づいてトレーニングして得られたものであるステップと、
前記ニューラルネットワークで前記処理待ち画像に対して画像処理を行い、画像処理結果を取得するステップであって、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含むステップとを含む。
処理待ち画像をニューラルネットワークに入力するステップであって、前記ニューラルネットワークが異なる背景環境におけるサンプル画像に基づいてトレーニングして得られたものであるステップと、
前記ニューラルネットワークで前記処理待ち画像に対して画像処理を行い、画像処理結果を取得するステップであって、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含むステップとを含む。
【0006】
選択可能に、前記処理待ち画像は、画像収集装置によって収集されたものであり、前記方法は、さらに、
前記処理待ち画像の画像処理結果に基づき、第１プリセット条件を満たすか否かを判断するステップと、
第１プリセット条件を満たす場合、前記画像収集装置の前に障害物があると決定するステップとを含む。
前記処理待ち画像の画像処理結果に基づき、第１プリセット条件を満たすか否かを判断するステップと、
第１プリセット条件を満たす場合、前記画像収集装置の前に障害物があると決定するステップとを含む。
【0007】
それによって、画像収集装置の前に障害物があるか否かを判断する方法により、画像収集装置の前に障害物があるか否かを決定し、さらにその後の措置を講じることができる。
【0008】
選択可能に、前記第１プリセット条件は、
前記処理待ち画像内の少なくとも１つのターゲットと画像収集装置との間の距離値が最小距離安全閾値以下であること、
前記処理待ち画像内の少なくとも１つのターゲットの画素面積値が最大面積安全閾値以上であることの少なくとも１つを含む。
前記処理待ち画像内の少なくとも１つのターゲットと画像収集装置との間の距離値が最小距離安全閾値以下であること、
前記処理待ち画像内の少なくとも１つのターゲットの画素面積値が最大面積安全閾値以上であることの少なくとも１つを含む。
【0009】
それによって、上記の第１プリセット条件を限定することにより、障害物の判断基準は、実際のニーズにより適合し、ユーザのニーズにより合わせることができる。
【0010】
選択可能に、前記方法は、さらに、
前記処理待ち画像の画像処理結果がターゲット検出結果を含む場合、予め取得されたホモグラフィマトリックス及び前記ターゲット検出結果に基づき、前記処理待ち画像内の各ターゲットと画像収集装置との間の距離値をそれぞれ取得するステップ、及び／又は、前記ターゲット検出結果に基づき、前記処理待ち画像内の各ターゲットの画素面積値をそれぞれ取得するステップを含み、前記ホモグラフィマトリックスは、各画素点の世界座標系と画素座標系との間の位置マッピング関係を示すために用いられる。
前記処理待ち画像の画像処理結果がターゲット検出結果を含む場合、予め取得されたホモグラフィマトリックス及び前記ターゲット検出結果に基づき、前記処理待ち画像内の各ターゲットと画像収集装置との間の距離値をそれぞれ取得するステップ、及び／又は、前記ターゲット検出結果に基づき、前記処理待ち画像内の各ターゲットの画素面積値をそれぞれ取得するステップを含み、前記ホモグラフィマトリックスは、各画素点の世界座標系と画素座標系との間の位置マッピング関係を示すために用いられる。
【0011】
それによって、本開示の実施例の技術的解決策を採用すると、ターゲット検出結果に基づき、処理待ち画像内のターゲット、及びターゲットと画像収集装置との間の距離を正確に識別し、画素座標における前記画像内の各ターゲットに対応する画素面積値を取得することができる。
【0012】
選択可能に、前記ホモグラフィマトリックスは、前記画像収集装置の内部パラメータ及び前記画像収集装置に対するキャリブレーションボードの既知の位置に基づいて決定される。
【0013】
それによって、画像収集装置の内部パラメータ及び前記画像収集装置に対するキャリブレーションボードの既知の位置に基づいてホモグラフィマトリックスを決定することにより、ホモグラフィマトリックスを正確に取得することができる。
【0014】
選択可能に、前記画像収集装置は、移動物体に設けられ、前記方法は、さらに、
前記画像収集装置の前に障害物がある場合、前記移動物体の障害物回避反応を決定するステップを含む。
前記画像収集装置の前に障害物がある場合、前記移動物体の障害物回避反応を決定するステップを含む。
【0015】
それによって、本開示の実施例の技術的解決策を採用すると、移動物体が障害物に遭遇する場合、移動物体は、対応する障害物回避反応を実行することができる。
【0016】
選択可能に、前記移動物体の障害物回避反応を決定する前記ステップは、
前記画像処理結果に基づき、前記障害物のタイプを決定するステップと、
前記障害物のタイプに基づいて、前記移動物体の障害物回避反応を決定するステップとを含む。
前記画像処理結果に基づき、前記障害物のタイプを決定するステップと、
前記障害物のタイプに基づいて、前記移動物体の障害物回避反応を決定するステップとを含む。
【0017】
それによって、移動物体の障害物回避反応を決定する上記方法では、障害物のタイプが考慮されているため、移動物体は、異なる障害物に対して異なる障害物回避ポリシーを実行することができ、よりスマートになり、実際の応用ニーズをより満たすことができる。
【0018】
選択可能に、前記背景環境は、光照射条件、テクスチャ背景の少なくとも１つを含む。
【0019】
それによって、本開示の実施例の技術的解決策を採用すると、異なる光照射条件及び／又は異なるテクスチャ背景における複数のサンプル画像をトレーニングし、トレーニング済みニューラルネットワークを得ることができ、トレーニングプロセスが異なる光照射条件及び／又は異なるテクスチャ背景におけるサンプル画像に基づいて実現されているため、当該トレーニング済みニューラルネットワークは、光照射条件が大きく変化する屋外シーンにより適用する。
【0020】
選択可能に、前記処理待ち画像は、画像収集装置によって収集されたものであり、前記方法は、さらに、
前記処理待ち画像の画像処理結果に基づき、第２プリセット条件を満たすか否かを判断するステップと、
第２プリセット条件を満たす場合、前記画像収集装置が作業可能領域と非作業可能領域との間の境界に到達していると決定するステップとを含む。
前記処理待ち画像の画像処理結果に基づき、第２プリセット条件を満たすか否かを判断するステップと、
第２プリセット条件を満たす場合、前記画像収集装置が作業可能領域と非作業可能領域との間の境界に到達していると決定するステップとを含む。
【0021】
それによって、本実施例は、第２プリセット条件を満たすか否かを判断することにより、画像収集装置が作業可能領域と非作業可能領域との間の境界に到達するか否かを正確に判断することができる。
【0022】
選択可能に、前記第２プリセット条件は、
前記境界の平均画素高さ値が境界画素高さ閾値以下であること、
処理待ち画像内の作業可能領域の面積値が作業可能領域の面積閾値以下であること、
前記処理待ち画像における作業可能領域の面積占用比率が作業可能領域面積占用比率閾値以下であることの少なくとも１つを含む。
前記境界の平均画素高さ値が境界画素高さ閾値以下であること、
処理待ち画像内の作業可能領域の面積値が作業可能領域の面積閾値以下であること、
前記処理待ち画像における作業可能領域の面積占用比率が作業可能領域面積占用比率閾値以下であることの少なくとも１つを含む。
【0023】
それによって、上記の第２プリセット条件の判断により、作業可能領域と非作業可能領域との間の境界に到達するか否かの判断基準は、実際の応用ニーズにより適合できることができる。
【0024】
選択可能に、前記方法は、さらに、
前記処理待ち画像の画像処理結果がセマンティックセグメンテーション結果を含む場合、セマンティックセグメンテーション結果に基づいて前記処理待ち画像の各画素点の領域タイプを決定し、決定された各画素点の領域タイプに基づいて作業可能領域と非作業可能領域とを決定するステップと、決定された作業可能領域と非作業可能領域に基づき、前記処理待ち画像内の作業可能領域の面積値を取得し、及び／又は前記境界の平均画素高さ値を決定するステップとを含む。
前記処理待ち画像の画像処理結果がセマンティックセグメンテーション結果を含む場合、セマンティックセグメンテーション結果に基づいて前記処理待ち画像の各画素点の領域タイプを決定し、決定された各画素点の領域タイプに基づいて作業可能領域と非作業可能領域とを決定するステップと、決定された作業可能領域と非作業可能領域に基づき、前記処理待ち画像内の作業可能領域の面積値を取得し、及び／又は前記境界の平均画素高さ値を決定するステップとを含む。
【0025】
それによって、本実施例は、処理待ち画像内の領域区画状況を取得し、作業可能領域と非作業可能領域、及び作業可能領域と非作業可能領域の境界をより正確に決定して、その後の作業可能領域の面積値及び境界の平均画素高さ値の取得を容易にすることができる。
【0026】
選択可能に、前記画像収集装置は、移動物体に設けられ、前記方法は、さらに、
前記画像収集装置が前記境界に到達した場合、前記移動物体の動作反応を決定するステップを含む。
前記画像収集装置が前記境界に到達した場合、前記移動物体の動作反応を決定するステップを含む。
【0027】
それによって、本実施例は、移動物体が作業可能領域と非作業可能領域との間の境界に到達した場合、移動物体の動作反応をリアルタイムで決定し、移動物体が非作業可能領域に到達することを回避することができる。
【0028】
選択可能に、前記移動物体の動作反応は、停止、コーナリング、Ｕターンの少なくとも１つを含む。
【0029】
それによって、本開示の実施例の技術的解決策を採用すると、移動物体は、停止、コーナリング、Ｕターンなどの動作反応をリアルタイムで実行することができ、これは、移動物体が非作業可能領域に移動することを回避することに有利である。
【0030】
選択可能に、前記画像収集装置は、単眼画像収集装置である。
【0031】
それによって、当該単眼画像収集装置は、低コスト且つ軽量であるため、様々な応用シーンに適用でき、本実施例の応用範囲が拡大される。
【0032】
選択可能に、前記ニューラルネットワークは、
サンプル画像をニューラルネットワークに入力し、前記ニューラルネットワークで、前記サンプル画像に対して画像処理を行い、画像処理結果を取得するステップであって、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含み、前記サンプル画像が異なる背景環境における画像を示すために用いられるステップと、
前記サンプル画像の画像処理結果及び前記サンプル画像のラベルに基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するステップと、
ネットワークパラメータ値が調整されたニューラルネットワークがプリセット条件を満たすまで上記のステップを繰り返して実行し、トレーニング済みニューラルネットワークを得るステップとによって、トレーニングされるものである。
サンプル画像をニューラルネットワークに入力し、前記ニューラルネットワークで、前記サンプル画像に対して画像処理を行い、画像処理結果を取得するステップであって、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含み、前記サンプル画像が異なる背景環境における画像を示すために用いられるステップと、
前記サンプル画像の画像処理結果及び前記サンプル画像のラベルに基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するステップと、
ネットワークパラメータ値が調整されたニューラルネットワークがプリセット条件を満たすまで上記のステップを繰り返して実行し、トレーニング済みニューラルネットワークを得るステップとによって、トレーニングされるものである。
【0033】
それによって、本開示の実施例では、異なる背景環境におけるサンプル画像に基づいて画像処理のトレーニングを行い、画像処理結果を取得できるニューラルネットワークを取得して、画像の画像処理結果に対する実際のニーズを満たし、ニューラルネットワークのトレーニングプロセスが異なる背景環境におけるサンプル画像に基づいて実現されているため、当該トレーニング済みニューラルネットワークにより画像を処理して取得された画像処理結果は、背景環境の影響を受けにくく、安定性及び信頼性が高い。
【0034】
選択可能に、前記方法はさらに、
前記処理待ち画像のラベルを取得するステップと、
前記処理待ち画像の画像処理結果及び前記処理待ち画像のラベルに基づいて、前記トレーニング済みニューラルネットワークを基にインクリメンタルトレーニングを行うステップとを含む。
前記処理待ち画像のラベルを取得するステップと、
前記処理待ち画像の画像処理結果及び前記処理待ち画像のラベルに基づいて、前記トレーニング済みニューラルネットワークを基にインクリメンタルトレーニングを行うステップとを含む。
【0035】
それによって、当該インクリメンタルトレーニングにより、ニューラルネットワークは、移動物体のタスクに応じてニューラルネットワークのリアルタイムな更新を実行することができるため、新しいシーン及び作業タスクに適応することができる。
【0036】
本開示の実施例による画像処理装置は、
処理待ち画像をニューラルネットワークに入力し、前記ニューラルネットワークが異なる背景環境におけるサンプル画像に基づいてトレーニングして得られたものであり、前記ニューラルネットワークで前記処理待ち画像に対して画像処理を行い、画像処理結果を取得するように構成され、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含む処理モジュールを備える。
処理待ち画像をニューラルネットワークに入力し、前記ニューラルネットワークが異なる背景環境におけるサンプル画像に基づいてトレーニングして得られたものであり、前記ニューラルネットワークで前記処理待ち画像に対して画像処理を行い、画像処理結果を取得するように構成され、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含む処理モジュールを備える。
【0037】
選択可能に、処理待ち画像は、画像収集装置によって収集されたものであり、前記処理モジュールは、さらに、前記処理待ち画像の画像処理結果に基づき、第１プリセット条件を満たすか否かを判断し、第１プリセット条件を満たす場合、前記画像収集装置の前に障害物があると決定するように構成される。
【0038】
それによって、画像収集装置の前に障害物があるか否かを判断する当該方法により、画像収集装置の前に障害物があるか否かを決定し、さらにその後の措置を講じることができる。
【0039】
選択可能に、前記第１プリセット条件は、
前記処理待ち画像内の少なくとも１つのターゲットと画像収集装置との間の距離値が最小距離安全閾値以下であること、
前記処理待ち画像内の少なくとも１つのターゲットの画素面積値が最大面積安全閾値以上であることの少なくとも１つを含む。
前記処理待ち画像内の少なくとも１つのターゲットと画像収集装置との間の距離値が最小距離安全閾値以下であること、
前記処理待ち画像内の少なくとも１つのターゲットの画素面積値が最大面積安全閾値以上であることの少なくとも１つを含む。
【0040】
それによって、上記の第１プリセット条件を限定することにより、障害物の判断基準は、実際のニーズにより適合し、ユーザのニーズにより合わせることができる。
【0041】
選択可能に、前記処理モジュールは、さらに、前記処理待ち画像の画像処理結果がターゲット検出結果を含む場合、予め取得されたホモグラフィマトリックス及び前記ターゲット検出結果に基づき、前記処理待ち画像内の各ターゲットと画像収集装置との間の距離値をそれぞれ取得するように構成され、及び／又は、前記ターゲット検出結果に基づき、前記処理待ち画像内の各ターゲットの画素面積値をそれぞれ取得するように構成され、前記ホモグラフィマトリックスは、各画素点の世界座標系と画素座標系との間の位置マッピング関係を示すために用いられる。
【0042】
それによって、本開示の実施例の技術的解決策を採用すると、ターゲット検出結果に基づき、処理待ち画像内のターゲット、及びターゲットと画像収集装置との間の距離を正確に識別し、画素座標における前記画像内の各ターゲットに対応する画素面積値を取得することができる。
【0043】
選択可能に、前記ホモグラフィマトリックスは、前記画像収集装置の内部パラメータ及び前記画像収集装置に対するキャリブレーションボードの既知の位置に基づいて決定される。
【0044】
それによって、画像収集装置の内部パラメータ及び前記画像収集装置に対するキャリブレーションボードの既知の位置に基づいてホモグラフィマトリックスを決定することにより、ホモグラフィマトリックスを正確に取得することができる。
【0045】
選択可能に、前記画像収集装置は、移動物体に設けられ、前記処理モジュールは、さらに、前記画像収集装置の前に障害物がある場合、前記移動物体の障害物回避反応を決定するように構成される。
【0046】
それによって、本開示の実施例の技術的解決策を採用すると、移動物体が障害物に遭遇する場合、移動物体は、対応する障害物回避反応を実行することができる。
【0047】
選択可能に、前記移動物体の障害物回避反応を決定するために、前記処理モジュールは、さらに、前記画像処理結果に基づき、前記障害物のタイプを決定し、前記障害物のタイプに基づいて、前記移動物体の障害物回避反応を決定するように構成される。
【0048】
それによって、移動物体の障害物回避反応を決定する上記方法では、障害物のタイプが考慮されているため、移動物体は、異なる障害物に対して異なる障害物回避ポリシーを実行することができ、よりスマートになり、実際の応用ニーズをより満たすことができる。
【0049】
選択可能に、前記背景環境は、光照射条件、テクスチャ背景の少なくとも１つを含む。
【0050】
それによって、本開示の実施例の技術的解決策を採用すると、異なる光照射条件及び／又は異なるテクスチャ背景における複数のサンプル画像をトレーニングし、トレーニング済みニューラルネットワークを得ることができ、トレーニングプロセスが異なる光照射条件及び／又は異なるテクスチャ背景におけるサンプル画像に基づいて実現されているため、当該トレーニング済みニューラルネットワークは、光照射条件が大きく変化する屋外シーンにより適用する。
【0051】
選択可能に、前記処理待ち画像は、画像収集装置によって収集されたものであり、前記処理モジュールは、さらに、前記処理待ち画像の画像処理結果に基づき、第２プリセット条件を満たすか否かを判断し、第２プリセット条件を満たす場合、前記画像収集装置が作業可能領域と非作業可能領域との境界に到達していると決定するように構成される。
【0052】
それによって、本実施例は、第２プリセット条件を満たすか否かを判断することにより、画像収集装置が作業可能領域と非作業可能領域との間の境界に到達するか否かを正確に判断することができる。
【0053】
選択可能に、前記第２プリセット条件は、
前記境界の平均画素高さ値は、境界画素高さ閾値以下であること、
処理待ち画像内の作業可能領域の面積値が作業可能領域の面積閾値以下であること、
前記処理待ち画像における作業可能領域の面積占用比率が作業可能領域面積占用比率閾値以下であることの少なくとも１つを含む。
前記境界の平均画素高さ値は、境界画素高さ閾値以下であること、
処理待ち画像内の作業可能領域の面積値が作業可能領域の面積閾値以下であること、
前記処理待ち画像における作業可能領域の面積占用比率が作業可能領域面積占用比率閾値以下であることの少なくとも１つを含む。
【0054】
それによって、上記の第２プリセット条件の判断により、作業可能領域と非作業可能領域との間の境界に到達するか否かの判断基準は、実際の応用ニーズにより適合できる。
【0055】
選択可能に、前記処理モジュールは、さらに、前記処理待ち画像の画像処理結果がセマンティックセグメンテーション結果を含む場合、セマンティックセグメンテーション結果に基づいて前記処理待ち画像の各画素点の領域タイプを決定し、決定された各画素点の領域タイプに基づいて作業可能領域と非作業可能領域とを決定し、決定された作業可能領域と非作業可能領域に基づき、前記処理待ち画像内の作業可能領域の面積値を取得し、及び／又は前記境界の平均画素高さ値を決定するように構成される。
【0056】
それによって、本実施例は、処理待ち画像内の領域区画状況を取得し、作業可能領域と非作業可能領域、及び作業可能領域と非作業可能領域の境界をより正確に決定して、その後の作業可能領域の面積値及び境界の平均画素高さ値の取得を容易にすることができる。
【0057】
選択可能に、前記画像収集装置は、移動物体に設けられ、前記処理モジュールは、さらに、前記画像収集装置が前記境界に到達した場合、前記移動物体の動作反応を決定するように構成される。
【0058】
それによって、本実施例は、移動物体が作業可能領域と非作業可能領域との間の境界に到達した場合、移動物体の動作反応をリアルタイムで決定し、移動物体が非作業可能領域に到達することを回避することができる。
【0059】
選択可能に、前記移動物体の動作反応は、停止、コーナリング、Ｕターンの少なくとも１つを含む。
【0060】
それによって、本開示の実施例の技術的解決策を採用すると、移動物体は、停止、コーナリング、Ｕターンなどの動作反応をリアルタイムで実行することができ、これは、移動物体が非作業可能領域に移動することを回避することに有利である。
【0061】
選択可能に、前記画像収集装置は、単眼画像収集装置である。
【0062】
それによって、当該単眼画像収集装置は、低コスト且つ軽量であるため、様々な応用シーンに適用でき、本実施例の応用範囲が拡大される。
【0063】
選択可能に、前記ニューラルネットワークは、
サンプル画像をニューラルネットワークに入力し、前記ニューラルネットワークで、前記サンプル画像に対して画像処理を行い、画像処理結果を取得するステップであって、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含み、前記サンプル画像が異なる背景環境における画像を示すために用いられるステップと、
前記サンプル画像の画像処理結果及び前記サンプル画像のラベルに基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するステップと、
ネットワークパラメータ値が調整されたニューラルネットワークがプリセット条件を満たすまで上記のステップを繰り返して実行して、トレーニング済みニューラルネットワークを得るステップとによって、トレーニングされるものである。
サンプル画像をニューラルネットワークに入力し、前記ニューラルネットワークで、前記サンプル画像に対して画像処理を行い、画像処理結果を取得するステップであって、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含み、前記サンプル画像が異なる背景環境における画像を示すために用いられるステップと、
前記サンプル画像の画像処理結果及び前記サンプル画像のラベルに基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するステップと、
ネットワークパラメータ値が調整されたニューラルネットワークがプリセット条件を満たすまで上記のステップを繰り返して実行して、トレーニング済みニューラルネットワークを得るステップとによって、トレーニングされるものである。
【0064】
それによって、本開示の実施例では、異なる背景環境におけるサンプル画像に基づいて画像処理のトレーニングを行い、画像処理結果を取得できるニューラルネットワークを取得して、画像の画像処理結果に対する実際のニーズを満たし、ニューラルネットワークのトレーニングプロセスが異なる背景環境におけるサンプル画像に基づいて実現されているため、当該トレーニング済みニューラルネットワークにより画像を処理して取得された画像処理結果は、背景環境の影響を受けることが困難であり、安定性及び信頼性が高い。
【0065】
選択可能に、前記処理モジュールは、さらに、前記処理待ち画像のラベルを取得し、
前記処理待ち画像の画像処理結果及び前記処理待ち画像のラベルに基づいて、前記トレーニング済みニューラルネットワークを基にインクリメンタルトレーニングを行うように構成される。
前記処理待ち画像の画像処理結果及び前記処理待ち画像のラベルに基づいて、前記トレーニング済みニューラルネットワークを基にインクリメンタルトレーニングを行うように構成される。
【0066】
それによって、当該インクリメンタルトレーニングにより、ニューラルネットワークは、移動物体のタスクに応じてニューラルネットワークのリアルタイムな更新を実行することができるため、新しいシーン及び作業タスクに適応することができる。
【0067】
本開示の実施例による電子機器は、
プロセッサと、
プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリとを備え、
前記プロセッサは、前記コンピュータプログラムを実行する時に、上記の任意の画像処理方法を実行するように構成される。
プロセッサと、
プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリとを備え、
前記プロセッサは、前記コンピュータプログラムを実行する時に、上記の任意の画像処理方法を実行するように構成される。
【0068】
本開示の実施例によるコンピュータ記憶媒体は、コンピュータプログラムが記憶されており、当該コンピュータプログラムがプロセッサによって実行される時に上記の任意の前記画像処理方法を実現する。
【0069】
本開示の実施例によるコンピュータプログラムは、プロセッサによって実行される時に上記の任意の画像処理方法を実現する。
【0070】
それによって、本開示の実施例における画像処理方法では、処理待ち画像をニューラルネットワークに入力することができ、前記ニューラルネットワークが異なる背景環境におけるサンプル画像に基づいてトレーニングして得られたものであり、前記ニューラルネットワークで前記処理待ち画像に対して画像処理を行い、画像処理結果を取得することができ、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含む。当該画像処理方法で用いられるニューラルネットワークは、異なる背景環境におけるサンプル画像に基づいてトレーニングされたものであるため、当該画像処理方法によりて得られた処理待ち画像の画像処理結果は、背景環境の影響を受けにくく、安定性及び信頼性が高い。
【0071】
以上の一般的な説明及び以下の詳細な説明が例示的及び解釈的なものだけであり、本開示を限定するものではないことを理解すべきである。
【図面の簡単な説明】
【0072】
【図1】本開示の実施例による画像処理方法のフローチャートである。
【図2】本開示の実施例によるニューラルネットワークトレーニング方法のフローチャートである。
【図3】本開示の実施例による画像処理装置の構成構造図である。
【図4】本開示の実施例による電子機器の構造図である。
【発明を実施するための形態】
【0073】
ここでの添付図面は本明細書に組み込まれて本明細書の一部を構成し、これらの図面は、本開示に一致する実施例を示し、明細書と共に本開示の技術的解決策を解釈することに用いられる。
【0074】
以下に図面及び実施例を組み合わせて本開示をさらに詳しく説明する。本明細書で提供される実施例が本開示を説明するためのものに過ぎず、本開示を限定するためのものではないことを理解すべきである。また、以下に提供される実施例は、本開示を実施するためのすべての実施例ではなく、本開示を実施するための実施例の一部であり、本開示の実施例に記載される技術的解決策は、衝突することなく任意に組合わせられてもよい。
【0075】
なお、本開示の実施例では、用語「包括」、「包含」又は他のいかなる変形は、非排他的な包含を含むことを意図し、したがって、一連の要素を含む方法又は装置は、明示的に列挙された要素だけでなく、明示的に列挙されていない他の要素も含み、又は方法又は装置を実施するために固有の要素も含む。更なる限定がない場合、語句「一つ．．．．．．を含む」によって限定された要素は、当該要素を含む方法又は装置に他の関連する要素（例えば方法におけるステップ又は装置でのユニットであり、例えばユニットは一部の回路、一部のプロセッサ、一部のプログラム又はソフトウェアなどであってもよい）も存在することを排除するものではない。
【0076】
本明細書では「及び／又は」用語は、関連するオブジェクトの関連関係を記述するためのものだけであり、３種類の関係が存在することができることを示し、例えば、Ａ及び／又はＢは、Ａが単独で存在すること、ＡとＢが同時に存在すること、Ｂが単独で存在することの３つの状況を示すことができる。また、本明細書における「少なくとも１つ」用語は、複数種類のうちの任意の１つ又は複数種類のうちの少なくとも２つの任意の組み合わせを表し、例えば、Ａ、Ｂ、Ｃの少なくとも１つを含むことは、Ａ、Ｂ、Ｃからなるセットから選択されたいずれか１つ又は複数の要素を含むことを表すことができる。
【0077】
例えば、本開示の実施例によるニューラルネットワークトレーニングび画像処理方法には一連のステップが含まれるが、本開示の実施例によるニューラルネットワークトレーニング及び画像処理方法は、記載されるステップに限られず、同様に、本開示の実施例によるニューラルネットワークトレーニング及び画像処理装置は、一連のモジュールを備えるが、本開示の実施例によって提供される装置は、明示的に記載されたモジュールを含むことを限定せず、関連情報を取得し、又は情報に基づいて処理するために設けられる必要があるモジュールも備えることができる。
【0078】
本開示の実施例は、端末とサーバーなどのハードウェア又はびハードウェアで構成されたコンピュータシステムに適用することができ、多くの他の汎用又は専用コンピューティングシステム又は構成と共に動作することができ、又は、本開示の実施例は、プロセッサがコンピュータ実行可能なコードを実行することにより実現されてもよい。ここで、端末は、シンクライアント、シッククライアント、ハンドヘルド又はラップトップデバイス、マイクロプロセッサに基づくステム、セットトップボックス、プログラム可能な消費者向け電子製品、ネットワークパーソナルコンピュータ、小型コンピュータシステムなどであってもよく、サーバーは、サーバーコンピュータシステムの小型コンピュータシステム、、大型コンピュータシステム、上記のいずれかのシステムの分散型クラウドコンピューティング技術環境などであってもよい。
【0079】
端末、サーバーなどの電子機器は、コンピュータシステムで実行されるコンピュータシステム実行可能命令（例えばプログラムモジュール）の一般的な文脈で説明されてもよい。通常、プログラムモジュールは、特定のタスクを実行したり、特定の抽象データタイプを実現したりするルーチン、プログラム、対象プログラム、コンポーネント、ロジック、データ構造などを含むことができる。コンピュータシステム／サーバーは、分散型クラウドコンピューティング環境で実施されてもよく、分散型クラウドコンピューティング環境では、タスクは、通信ネットワークを介してリンクされたリモート処理装置によって実行される。分散型コンピューティング環境では、プログラムモジュールは、記憶デバイスを含むローカル又はリモートコンピューティングシステム記憶媒体上に位置してもよい。
【0080】
本開示のいくつかの実施例では、画像処理方法が提供され、本開示の実施例は、任意の画像処理シーンに適用することができ、例えば、屋外作業ロボット、農業用ロボットなどの画像処理シーンに適用することができる。
【0081】
【0082】
ステップ１０１において、処理待ち画像をニューラルネットワークに入力し、前記ニューラルネットワークが異なる背景環境におけるサンプル画像に基づいてトレーニングして得られたものである。
【0083】
１つの実施形態では、処理待ち画像は、画像又はビデオファイルであってもよく、処理待ち画像をニューラルネットワークに入力する前に、処理待ち画像を処理する必要があり、ここでの処理は、処理待ち画像のファイルタイプを判断し、処理待ちファイルタイプに応じてファイルタイプに対応する処理操作を決定することであってもよい。例えば、処理待ち画像がビデオファイルである場合、まず処理待ち画像に対してフレーム選択操作を実行し、それによって選択された画像を取得し、選択された画像に対して画像前処理操作を実行する必要があり、処理待ち画像が画像ファイルである場合、処理待ち画像のみに対して画像前処理を行う。ここで、画像前処理操作は、処理待ち画像のサイズを処理することであってもよく、例えば、処理待ち画像をすべて固定サイズの画像に変換することであってもよい。
【0084】
１つの実施形態として、ニューラルネットワークが処理待ち画像に対してターゲット検出に用いられる場合、入力される処理待ち画像のサイズは、固定サイズであってもよく、ニューラルネットワークが処理待ち画像へのセマンティックセグメンテーションに用いられる場合、処理待ち画像のサイズは、非固定サイズであってもよく、ここで、処理待ち画像のサイズの具体的な大きさを限定せず、処理待ち画像のサイズは、予め設定された固定サイズであってもよい。
【0085】
本開示の実施例では、ここでのニューラルネットワークは、トレーニングによって得られたニューラルネットワークを指し、且つここでのトレーニングは、異なる背景環境におけるサンプル画像に基づいて実現される。具体的には、ニューラルネットワークの種類を限定せず、例示的に、ニューラルネットワークは、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、ＲｅｔｉｎａＮｅｔ、Ｆａｓｔｅｒ ＲＣＮＮ（Ｆａｓｔｅｒ Ｒｅｇｉｏｎ－Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）又はターゲット検出を実現する他のニューラルネットワークであってもよいし、完全畳み込みニューラルネットワーク（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ）、Ｕ－ｎｅｔ、ＳｅｇＮｅｔ、ＤｅｃｏｎｖＮｅｔ、又はセマンティックセグメンテーションを実現するための他のニューラルネットワークであってもよい。
【0086】
ここで、異なる背景環境におけるサンプル画像は、異なる撮影背景環境で取得された複数の画像であってもよく、サンプル画像は、異なる背景環境での同じ撮影対象の複数の画像であってもよいし、異なる背景環境での異なる撮影対象の複数の画像であってもよく、ここで、画像の撮影対象を限定せず、サンプル画像の背景環境が異なるだけでよい。同時に、本開示の実施例では、サンプル画像のフォーマット及びソースを限定せず、１つの実施形態では、サンプル画像は、予め取得されたサンプル画像であってもよく、例示的に、サンプル画像は、ローカル記憶領域又はネットワークから取得されてもよく、例えば、サンプル画像は、パブリックデータセットから取得されてもよく、ここでのパブリックデータセットは、ＶＯＣデータセット、ＣＯＣＯデータセットなどでってもよく、サンプル画像のフォーマットは、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ ＧＲＯＵＰ）画像、ビットマップ（ＢＭＰ：Ｂｉｔｍａｐ）、ＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）又は他のフォーマットであってもよい。
【0087】
１つの実施形態では、ニューラルネットワークは、異なる背景環境におけるサンプル画像に基づいてトレーニングされたものであり、且つ入力画像の画像処理結果を取得する能力を有し、処理待ち画像を当該ニューラルネットワークに入力すると、処理対象画像の画像処理結果を取得することができる。
【0088】
ステップ１０２において、前記ニューラルネットワークで前記処理待ち画像に対して画像処理を行い、画像処理結果を取得し、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含む。
【0089】
１つの実施形態として、前記処理待ち画像に対して画像処理を行い、画像処理結果を取得することは、サンプル画像に対してターゲット検出を行って画像のターゲット検出結果を取得すること、及び／又は、サンプル画像に対してセマンティックセグメンテーションを行って画像のセマンティックセグメンテーション結果を取得することであってもよい。例示的に、ターゲット検出結果は、画像のうち、ターゲット位置及びサイズを表す境界枠（Ｂｏｕｎｄｉｎｇ ｂｏｘ）を含むことができ、例えば、境界枠は、矩形検出ボックス又は他の形状の検出ボックスであってもよく、境界枠が矩形検出ボックスである場合、ターゲット検出結果は、矩形検出ボックスの左上隅の点の画素座標位置と矩形検出ボックスの長さ及び幅を含むことができ、ターゲット検出結果が矩形検出ボックスではない場合、ターゲット検出結果は、検出ボックスの左上隅の点の画素座標位置と右下隅の点の画素座標位置などの位置情報を含むことができる。セマンティックセグメンテーション結果は、画像内の各画素点のタイプを含むことができ、画素点の異なるタイプは、異なる色で表されてもよく、例えば、画像内の道路に対応するすべての画素点は、青で表されてもよく、画像内の自動車に対応するすべての画素点は、赤で表されてもよく、画像内の芝生に対応するすべての画素点は、緑で表されてもよく、さらに、異なる対象を区別できる異なる色領域を取得することができる。
【0090】
実際の応用において、ステップ１０１からステップ１０２は、電子機器内のプロセッサによって実現されてもよく、上記プロセッサは、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理装置（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも１つであってもよい。そのため、当該画像処理方法で用いられるニューラルネットワークが異なる背景環境におけるサンプル画像に基づいてトレーニングして得られたものであるため、当該画像処理方法によって得られた処理待ち画像の画像処理結果は、背景環境の影響を受けにくく、安定性及び信頼性が高い。
【0091】
１つの実施形態では、処理待ち画像は、画像収集装置によって収集されたものであり、画像収集装置は、カメラなどの画像を収集できる装置であってもよく、上記画像処理方法は、さらに、前記処理待ち画像の画像処理結果に基づき、第１プリセット条件を満たすか否かを判断するステップと、第１プリセット条件を満たす場合、前記画像収集装置の前に障害物があると決定するステップと、第１プリセット条件を満たさない場合、前記画像収集装置の前に障害物がないと決定するステップとを含む。
【0092】
１つの例では、処理待ち画像は、画像収集装置によってリアルタイムに取得された画像であってよく、処理待ち画像の画像処理結果は、画像収集装置によってリアルタイムに取得された画像のターゲット検出結果を指すことができる。ここで、画像収集装置の前に障害物があると決定した場合、識別された障害物は地面に接触している障害物であってもよく、例えば、ゴルフボール、ロードコーンであってもよく、ぶら下がている障害物であってもよく、例えば、歩行者の上げられた足であってもよい。
【0093】
それによって、画像収集装置の前に障害物があるか否かを判断する当該方法により、画像収集装置の前に障害物があるか否かを決定し、さらにその後の措置を講じることができる。
【0094】
１つの実施形態では、前記第１プリセット条件は、
処理待ち画像内の少なくとも１つのターゲットと画像収集装置との間の距離値が最小距離安全閾値以下であること、
処理待ち画像内の少なくとも１つのターゲットの画素面積値が最大面積安全閾値以上であることの少なくとも１つを含む。
処理待ち画像内の少なくとも１つのターゲットと画像収集装置との間の距離値が最小距離安全閾値以下であること、
処理待ち画像内の少なくとも１つのターゲットの画素面積値が最大面積安全閾値以上であることの少なくとも１つを含む。
【0095】
１つの例では、処理待ち画像内の少なくとも１つのターゲットと画像収集装置との間の距離値が最小距離安全閾値以下であることは、処理待ち画像内のすべての境界枠のうちの１つの又は複数の境界枠のそれぞれと画像収集装置との間の距離値が最小距離安全閾値以下であることであってよく、例えば、画像収集装置に最も近い境界枠と収集装置との間の距離が距離安全閾値以下であることであってもよい。ここで、境界枠と画像収集装置との間の距離は、境界枠の中心又は境界点などの位置点に対応する世界座標系における位置と画像収集装置との間の距離であってもよい。
【0096】
１つの実施形態として、処理待ち画像内の少なくとも１つのターゲットの画素面積値が最大面積安全閾値以上であることは、処理待ち画像内のすべての境界枠のうちの１つの又は複数の境界枠の画素面積が最大安全閾値以上ことであってもよく、例えば、画素面積の最も大きい境界枠の画素面積が最大安全閾値以上であることであってもよい。
【0097】
しかも、ここでの最小距離安全閾値と最大面積安全閾値は、タスクニーズ状況とユーザのニーズに応じて具体的に決定されるものであり、ここでは最小距離安全閾値と最大面積安全閾値の具体的な大きさに対して限定しない。
【0098】
それによって、上記の第１プリセット条件を限定することにより、障害物の判断基準は、実際のニーズにより適合し、ユーザのニーズにより合わせることができる。
【0099】
１つの実施形態では、上記画像処理方法は、さらに、処理待ち画像の画像処理結果がターゲット検出結果を含む場合、予め取得されたホモグラフィマトリックス及び前記ターゲット検出結果に基づき、処理待ち画像内の各ターゲットと画像収集装置との間の距離値をそれぞれ取得するステップ、及び／又は、ターゲット検出結果に基づき、処理待ち画像内の各ターゲットの画素面積値をそれぞれ取得するステップを含み、ホモグラフィマトリックスは、世界座標系と画素座標系との間の位置マッピング関係を示すために用いられる。
【0100】
ここでのホモグラフィマトリックスは、処理待ち画像上の画素点の座標と処理待ち画像上の画素点の世界座標系にマッピングされた座標との間の関係を表すために用いられてもよく、即ち、ホモグラフィマトリックスにより、処理待ち画像内の既知座標における画素点の対応する世界座標系における座標を取得し、この既知座標における画素点に対応するターゲットと画像収集装置との間の距離を取得することができる。
【0101】
１つの実施形態では、前記ホモグラフィマトリックスは、前記画像収集装置の内部パラメータ及び前記画像収集装置に対するキャリブレーションボードの既知の位置に基づいて決定される。
【0102】
１つの実施形態として、下記の方式によりホモグラフィマトリックスを決定することができ、まず、画像収集装置は、キャリブレーションボードが異なる位置姿勢で配置されたときの画像を収集し、画像収集装置の内部パラメータを計算して取得することができ、次に、取得された画像収集装置の内部パラメータに基づいて、固定位置に配置されたキャリブレーションボード（即ち１枚の画像）によってホモグラフィマトリックスを取得することができる。ここでの画像収集装置の内部パラメータは、少なくとも画像収集装置の焦点距離及び画素サイズを含む。
【0103】
それによって、画像収集装置の内部パラメータ及び前記画像収集装置に対するキャリブレーションボードの既知の位置に基づいてホモグラフィマトリックスを決定することにより、ホモグラフィマトリックスを正確に取得することができる。ホモグラフィマトリックスが画像の画素位置に対応する世界座標系の深度マトリックスを取得するために用いられると、実現しやすく、演算量が少なく、且つ検出対象物体の距離をターゲット検出アルゴリズムにより速く取得することに寄与することができ、障害物回避の判断に有利である。
【0104】
１つの実施形態として、ターゲット検出結果は、さらに境界枠の信頼度を含むことができ、境界枠の信頼度は、当該境界枠の信頼できる程度を示すために用いられ、信頼度が高いほど、当該境界枠の信頼できる程度が高くなり、例示的に、ターゲット検出結果は、信頼度が第１閾値よりも高い境界枠を含み、つまり、ターゲット検出により識別されたターゲットは、信頼度が第１閾値よりも高い境界枠に対応するターゲットであり、ここで、第１閾値を限定せず、例えば、第１閾値は、５０％、６０％又は８０％であってもよい。
【0105】
前記処理待ち画像の画像処理結果がターゲット検出結果を含む場合、予め取得されたホモグラフィマトリックス及びターゲット検出結果に基づき、処理待ち画像内の各ターゲットと画像収集装置との間の距離値をそれぞれ取得する実現方式は、一例では、上記境界枠、及び世界座標系と画素座標系との間の位置マッピング関係に基づいて、世界座標系におけるターゲットの位置情報を決定し、即ち、ターゲットと画像収集装置との間の距離を決定することができる。ここではターゲットと画像収集装置との間の距離値を決定する方式を限定せず、具体的には、レーザーレーダー又は超音波などによってターゲットと画像収集装置との間の距離値を検出することができる。
【0106】
前記ターゲット検出結果に基づき、処理待ち画像内の各ターゲットの画素面積値をそれぞれ取得する実現方式については、例示的に、画像収集装置によってリアルタイムで収集された画像上のすべての境界枠に占有された画素の面積値をそれぞれ取得することができる。ここでは画像上の境界枠に占有された画素の面積値を取得する方式に対して、限定せず、具体的には、ＧＰＳ測位システムによってホモグラフィマトリックスと組み合わせて画像上の境界枠に占有された画素の面積値を決定することができる。
【0107】
それによって、本開示の実施例の技術的解決策を採用すると、ターゲット検出結果に基づき、処理待ち画像内のすべてのターゲット、及びターゲットと画像収集装置との間の距離を正確に識別し、画素座標における前記画像内の各ターゲットに対応する画素面積値を取得することができる。
【0108】
１つの実施形態では、前記画像収集装置は、移動物体に設けられ、移動物体は、移動ロボット又はスマート芝刈り機などのスマート移動装置であってもよく、前記方法は、さらに、前記画像収集装置の前に障害物がある場合、前記移動物体の障害物回避反応を決定するステップを含む。
【0109】
一例では、前記移動物体の障害物回避反応は、移動物体が移動する時に、前に障害物があるため、元の方向に従って前進し続けることができないときの反応を指すことができ、具体的には、前記障害物回避反応は、前進を停止して障害物の除去まで待機することであってもよいし、コーナリング、Ｕターンなどであってもよく、ここでは障害物回避反応を、具体的には限定しない。
【0110】
それによって、本開示の実施例の技術的解決策を採用すると、移動物体が障害物に遭遇する場合、移動物体は、対応する障害物回避反応を実行することができる。
【0111】
１つの実施形態では、前記移動物体の障害物回避反応を決定する前記ステップは、前記画像処理結果に基づき、前記障害物のタイプを決定するステップと、前記障害物のタイプに基づいて、前記移動物体の障害物回避反応を決定するステップを含む。
【0112】
１つの実施形態として、画像処理結果に基づき、障害物のタイプを決定することは、例示的に、ニューラルネットワークのトレーニング段階でターゲットタイプのトレーニング内容を追加することにより、トレーニングされたニューラルネットワークが入力画像内のターゲットのタイプを取得する能力を備えることができ、即ち、画像処理結果には入力画像内の各ターゲットのタイプも含まれ、さらに、障害物のタイプを決定することができることを指すことができる。
【0113】
例示的に、障害物のタイプは、ゴルフボールなどの移動可能な物体、ロードコーン、スプリンクラーなどの移動不可能な物体、及び歩行者などの移動可能な人物であってもよい。
【0114】
前記障害物のタイプに基づいて、移動物体の障害物回避反応を決定することについて、一例では、障害物がゴルフボールであり、移動物体にロボットアームが装備されている場合、障害物回避反応は、ゴルフボールを回収することであってもよく、障害物がロードコーン又は他の静的物体であり、障害物回避反応は、静的障害物との安全距離を維持して迂回することであってもよく、障害物が歩行者であり得、歩行者が移動している場合、障害物回避反応は、移動物体が、人が離れることを待機してから前進することであってもよく、移動物体が静止している歩行者を迂回する必要がある場合、前記障害物回避反応は、移動物体が速度を下げ、大きな安全距離を維持して歩行者の安全を確保することであってもよい。
【0115】
それによって、移動物体の障害物回避反応を決定する上記方法では、障害物のタイプが考慮されているため、移動物体は、異なる障害物に対して異なる障害物回避ポリシーを実行することができ、よりスマートになり、実際の応用ニーズをより満たすことができる。
【0116】
１つの実施形態では、前記画像収集装置の前に障害物がない場合、前記移動物体が元の方向に沿って移動し続けると決定する。
【0117】
ここでは、前記画像収集装置の前に障害物がない場合、画像処理結果が第１プリセット条件を満たさない場合、前記移動物体が元の方向に沿って移動し続けると決定することを指すことができ、また、移動中の移動物体に対していかなる干渉措置を行わないことを指すことができる。
【0118】
それによって、本開示の実施例の技術的解決策を採用すると、画像収集装置の前に障害物がない場合、移動物体は、時間通りに仕事又はタスクを遂行することができる。
【0119】
１つの実施形態では、前記背景環境は、光照射条件、テクスチャ背景の少なくとも１つを含むことができる。
【0120】
ここで、光照射条件は、照明の強度又は他の照明情報であってもよく、テクスチャ背景は、背景として用いられる線形パターン、非線形パターン又は他のテクスチャ背景であってよい。
【0121】
それによって、本開示の実施例の技術的解決策を採用すると、異なる光照射条件及び／又は異なるテクスチャ背景における複数のサンプル画像でトレーニングし、トレーニング済みニューラルネットワークを得ることができ、トレーニングプロセスが異なる光照射条件及び／又は異なるテクスチャ背景におけるサンプル画像に基づいて実現されているため、当該トレーニング済みニューラルネットワークは、光照射条件が大きく変化する屋外シーン又は低テクスチャの背景の屋外シーンにより適用される。
【0122】
１つの実施形態では、前記処理待ち画像は、画像収集装置によって収集されたものであり、画像収集装置は、カメラ、カメラなどの画像を収集できる装置であってもよく、上記画像処理方法は、さらに、前記処理待ち画像の画像処理結果に基づき、第２プリセット条件を満たすか否かを判断するステップと、第２プリセット条件を満たす場合、前記画像収集装置が作業可能領域と非作業可能領域との境界に到達していると決定するステップと、第２プリセット条件を満たしない場合、前記画像収集装置が作業可能領域と非作業可能領域との境界に到達していないと決定するステップとを含む。
【0123】
１つの例では、前記処理待ち画像は、画像収集装置によってリアルタイムに取得された画像であってよく、前記処理待ち画像の画像処理結果は、画像収集装置によってリアルタイムに取得されたセマンティックセグメンテーション結果を指すことができる。
【0124】
それによって、本実施例は、第２プリセット条件を満たすか否かを判断することにより、画像収集装置が作業可能領域と非作業可能領域との間の境界に到達するか否かを正確に判断することができる。
【0125】
１つの実施形態では、第２プリセット条件は、境界の平均画素高さ値が境界画素高さ閾値以下であること、処理待ち画像内の作業可能領域の面積値が作業可能領域の面積閾値以下であること、前記処理待ち画像における作業可能領域の面積占用比率が作業可能領域面積占用比率閾値以下であることの少なくとも１つを含む。
【0126】
一例では、境界の平均画素高さ値は、作業可能領域と非作業可能領域で形成された境界と画像の下縁との間の距離の平均値を指すことができ、当該平均値が小さいほど、作業可能領域と非作業可能領域で形成された境界が画像の下縁に近くなり、即ち、画像収集装置が境界に近くなることを理解でき、この場合、画像収集装置が作業可能領域と非作業可能領域との境界に到達していると決定することができ、且つ画像収集装置が元の方向に沿ってわずかに前方に移動すると、作業可能領域から離れて非作業可能領域に到達する可能性がある。
【0127】
作業可能領域の面積値の実現方式については、例として、画素座標系における画像の作業可能領域に占有される領域の面積値を指すことができる。ここで、処理待ち画像内の作業可能領域の面積値が作業可能領域の面積閾値以下である場合、画像収集装置の作業可能な領域範囲が十分に大きくないと考えられてもよい。
【0128】
処理待ち画像における作業可能領域の面積占用比率は処理待ち画像内の作業可能領域の面積と画像全体の面積との比を指すことができ、作業可能領域の面積と非作業可能領域の面積との比を指すこともでき、また、処理待ち画像内の作業可能領域の面積と予め設定された作業可能領域の総面積との比を指すこともでき、ここでは具体的に限定しない。処理待ち画像における作業可能領域の面積占用比率が作業可能領域面積占用比率閾値以下である場合、作業可能領域の面積が小さいことを示す。
【0129】
ここでの境界画素高さ閾値、作業可能領域の面積閾値と作業可能領域の面積占用比率は、タスクニーズ状況とユーザのニーズに応じて具体的に決定され、ここで境界画素高さ閾値、作業可能領域の面積閾値と作業可能領域の面積占用比率の具体的な大きさに対して、限定しない。
【0130】
それによって、上記の第２プリセット条件の判断により、作業可能領域と非作業可能領域との間の境界に到達するか否かの判断基準は、実際の応用ニーズにより適合できる。
【0131】
１つの実施形態では、上記画像処理方法は、さらに、前記処理待ち画像の画像処理結果がセマンティックセグメンテーション結果を含む場合、セマンティックセグメンテーション結果に基づいて前記処理待ち画像の各画素点の領域タイプを決定し、決定された各画素点の領域タイプに基づいて作業可能領域と非作業可能領域とを決定するステップと、決定された作業可能領域と非作業可能領域に基づき、前記処理待ち画像内の作業可能領域の面積値を取得し、及び／又は前記境界の平均画素高さ値を決定するステップとを含む。
【0132】
１つの実施形態として、各画素点の領域タイプは、各画素点の属する具体的な領域が作業可能領域であるか、非作業可能領域であるかを示すものであってもよい。作業可能領域と非作業可能領域の区画方式については、例示的に、画像収集装置を装着している草刈り機ロボットの場合、作業可能領域とは、草地などの草刈り可能な空間領域を指すことができ、非作業可能領域とは、セメント地面、道路などの非草刈り可能領域を指すことができる。
【0133】
それによって、本実施例は、処理待ち画像内の領域区画状況を取得し、作業可能領域と非作業可能領域、及び作業可能領域と非作業可能領域の境界をより正確に決定して、その後の作業可能領域の面積値及び境界の平均画素高さ値の取得を容易にすることができる。
【0134】
１つの実施形態では、画像収集装置は、移動物体に設けられ、上記画像処理方法は、さらに、前記画像収集装置が前記境界に到達した場合、前記移動物体の動作反応を決定するステップを含む。
【0135】
それによって、本実施例は、移動物体が作業可能領域と非作業可能領域との間の境界に到達した場合、移動物体の動作反応をリアルタイムで決定し、移動物体が非作業可能領域に到達することを回避することができる。
【0136】
１つの実施形態では、前記方法は、さらに、前記画像収集装置が前記境界に到達していない場合、前記移動物体が元の方向に沿って移動し続けると決定するステップを含む。
【0137】
それによって、本実施例では、画像収集装置が作業可能領域と非作業可能領域の境界に到達していない場合、移動物体が作業可能領域でニーズに応じてタスクを遂行することを保証することができる。
【0138】
１つの実施形態では、前記移動物体の動作反応は、停止、コーナリング、Ｕターンの少なくとも１つを含む。
【0139】
それによって、本開示の実施例の技術的解決策を採用すると、移動物体は、停止、コーナリング、Ｕターンなどの動作反応をリアルタイムで実行することができ、これは、移動物体が非作業可能領域に移動することを回避することに有利である。
【0140】
１つの実施形態では、前記画像収集装置は、単眼画像収集装置である。
【0141】
単眼画像収集装置は、単一のカメラを備えた画像収集装置を指すことができ、例示的に、単眼カメラであってもよい。
【0142】
それによって、当該単眼画像収集装置は、低コスト且つ軽量であるため、様々な応用シーンに適用でき、本実施例の応用範囲が拡大される。
【0143】
【0144】
ステップ２０１において、サンプル画像をニューラルネットワークに入力し、前記ニューラルネットワークで、前記サンプル画像に対して画像処理を行い、画像処理結果を取得し、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含み、前記サンプル画像が異なる背景環境における画像を示すために用いられる。
【0145】
ステップ２０２において、前記サンプル画像の画像処理結果及び前記サンプル画像のラベルに基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整する。
【0146】
ステップ２０３において、ネットワークパラメータ値に基づいて調整されたニューラルネットワークによって得られた画像処理結果が設定条件を満たすか否かを判断し、そうでない場合、ステップ２０１～ステップ２０３を再度実行し、そうである場合、ステップ２０４を実行する。
【0147】
ステップ２０４において、ネットワークパラメータ値が調整されたニューラルネットワークをトレーニング済みニューラルネットワークとして使用する。
【0148】
１つの実施形態として、ここでのニューラルネットワークは、トレーニングされていないニューラルネットワークであってもよいし、トレーニング済みニューラルネットワークであってもよいが、前記トレーニングには本開示のトレーニング内容のニューラルネットワークが含まれていない。
【0149】
実際の応用において、サンプル画像のラベルを予め取得する必要があり、１つの実施形態では、サンプル画像のラベルは、ラベルボックス及びラベル情報であってもよく、ここで、ラベルボックスは、サンプル画像内のターゲットをボックスの形で選択するために用いられ、ラベルボックスは、ターゲットの位置を識別することもでき、例えば、サンプル画像内の人物、動物などのターゲット及びターゲットの位置をラベルボックスでラベル付けることができ、ラベル情報は、ターゲットのタイプをラベル付けるために用いられ、例えば、ターゲットが物体、人間であるか、動物であるかをラベル付けることができ、サンプル画像のラベルは、画像内の画素点のタイプをラベル付けるためのラベル情報であってもよく、複数の画素点は同じタイプであってもよく、したがって、複数の領域タイプのラベル情報であってもよく、例えば、草刈り可能領域と非草刈り可能領域のラベル情報であってもよい。
【0150】
前記サンプル画像の画像処理結果及び前記サンプル画像のラベルに基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整することは、例示的に、サンプル画像の画像処理結果とサンプル画像のラベルとの差異に応じて、前記ニューラルネットワークのネットワークパラメータ値を、差異を減らすために調整することであってもよく、ここで、当該差異は、ニューラルネットワークを損なう損失関数の値で表されてもよい。具体的な損失関数の値は、ニューラルネットワークのタイプに応じて決定されてもよく、本開示の実施例では限定しない。
【0151】
ここで、設定条件は、ニューラルネットワークのネットワークパラメータを調整する回数が設定された反復回数に等しいことであってもよいし、ニューラルネットワークの損失関数が収束条件に達することであってもよく、当然、設定条件は、設定された正確率を達成することを固定されたテストセットでテストすることであってもよい。ここで、設定された反復回数は、ニューラルネットワークのネットワークパラメータを調整する回数の最大値を表し、反復回数は、１より大きい整数に設定され、収束条件は、ニューラルネットワークの損失関数の値を設定された損失よりも小さく調整することであってもよく、設定された損失は、実際の応用ニーズに応じて予め設定されてもよい。なお、上記は、設定条件についての例示的な説明に過ぎず、本開示の実施例の設定条件を限定しない。設定された正確率は、予め設定されたパーセンテージ値であってもよく、具体的には、設定されたパーセンテージ値は、５０％又は５０％を超えている値であってもよい。
【0152】
それによって、本開示の実施例では、異なる背景環境におけるサンプル画像に基づいて画像処理のトレーニングを行い、画像処理結果を取得できるニューラルネットワークを取得して、画像の画像処理結果に対する実際のニーズを満たし、ニューラルネットワークのトレーニングプロセスが異なる背景環境におけるサンプル画像に基づいて実現されているため、当該トレーニング済みニューラルネットワークにより画像を処理して取得された画像処理結果は、背景環境の影響を受けにくく、安定性及び信頼性が高い。
【0153】
１つの実施形態では、画像処理方法は、さらに、前記処理待ち画像の画像処理結果及び前記処理待ち画像のラベルに基づいて、前記トレーニング済みニューラルネットワークを基にインクリメンタルトレーニングを行うステップを含む。
【0154】
１つの実施形態として、インクリメンタルトレーニングは、上記ニューラルネットワークに基づき、新たに追加されたデータを使用して前記ニューラルネットワークのパラメータを調整するプロセスを指す。本実施例では、インクリメンタルトレーニングの実施方式を具体的に限定せず、一例では、ニューラルネットワークの損失関数に基づき、予め設定された正則化項を追加し、変更された損失関数を取得し、ニューラルネットワークを使用し、新しく追加されたデータに対して画像処理を行い、サンプル画像の画像処理結果を取得し、変更された損失関数、新しく追加されたデータのラベルに基づき、ニューラルネットワークの損失を決定し、ニューラルネットワークの損失に基づき、ニューラルネットワークのネットワークパラメータを調整し、ネットワークパラメータが調整されたニューラルネットワークがトレーニング終了条件を満たすまで、上述した、ニューラルネットワークのネットワークパラメータの調整ステップ、ニューラルネットワークの損失の調整ステップを繰り返して実行して、トレーニング済みニューラルネットワークを得る。
【0155】
それによって、当該インクリメンタルトレーニングにより、ニューラルネットワークは、移動物体のタスクに応じてニューラルネットワークのリアルタイムな更新を実行することができるため、新しいシーン及び作業タスクに適応することができる。
【0156】
上記の実施例で提案された画像処理方法に基づき、本開示の実施例は、画像処理装置を提案する。
【0157】
図３は本開示の実施例による画像処理装置の構成構造図である。図３に示すように、当該装置は、処理モジュール３０１を備えることができ、
処理モジュール３０１は、処理待ち画像をニューラルネットワークに入力し、前記ニューラルネットワークが異なる背景環境におけるサンプル画像に基づいてトレーニングして得られたものであり、前記ニューラルネットワークで前記処理待ち画像に対して画像処理を行い、画像処理結果を取得するように構成され、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含む。
処理モジュール３０１は、処理待ち画像をニューラルネットワークに入力し、前記ニューラルネットワークが異なる背景環境におけるサンプル画像に基づいてトレーニングして得られたものであり、前記ニューラルネットワークで前記処理待ち画像に対して画像処理を行い、画像処理結果を取得するように構成され、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含む。
【0158】
選択可能に、前記処理モジュール３０１は、さらに、前記処理待ち画像の画像処理結果に基づき、第１プリセット条件を満たすか否かを判断し、第１プリセット条件を満たす場合、前記画像収集装置の前に障害物があると決定するように構成される。
【0159】
選択可能に、前記第１プリセット条件は、
前記処理待ち画像内の少なくとも１つのターゲットと画像収集装置との間の距離値が最小距離安全閾値以下であること、
画素座標における前記処理待ち画像内の少なくとも１つのターゲットに対応する画素面積値が最大面積安全閾値以上であることの少なくとも１つを含む。
前記処理待ち画像内の少なくとも１つのターゲットと画像収集装置との間の距離値が最小距離安全閾値以下であること、
画素座標における前記処理待ち画像内の少なくとも１つのターゲットに対応する画素面積値が最大面積安全閾値以上であることの少なくとも１つを含む。
【0160】
選択可能に、前記処理モジュール３０１は、さらに、前記処理待ち画像の画像処理結果がターゲット検出結果を含む場合、予め取得されたホモグラフィマトリックス及び前記ターゲット検出結果に基づき、前記処理待ち画像内の各ターゲットと画像収集装置との間の距離値をそれぞれ取得するように構成され、及び／又は前記ターゲット検出結果に基づき、画素座標における前記処理待ち画像内の各ターゲットに対応する画素面積値をそれぞれ取得するように構成され、前記ホモグラフィマトリックスは、世界座標系と画素座標系との間の位置マッピング関係を示すために用いられる。
【0161】
選択可能に、前記ホモグラフィマトリックスは、前記画像収集装置の内部パラメータ及び前記画像収集装置に対するキャリブレーションボードの既知の位置とに基づいて決定される。
【0162】
選択可能に、前記画像収集装置は、移動物体に設けられ、前記処理モジュール３０１は、さらに、前記画像収集装置の前に障害物がある場合、前記移動物体の障害物回避反応を決定するように構成される。
【0163】
選択可能に、前記処理モジュール３０１は、さらに、前記画像処理結果に基づき、前記障害物のタイプを決定し、前記障害物のタイプに基づいて、前記移動物体の障害物回避反応を決定するように構成される。
【0164】
選択可能に、処理モジュール３０１は、さらに、前記画像収集装置の前に障害物がない場合、前記移動物体が元の方向に沿って移動し続けると決定するように構成される。
【0165】
選択可能に、前記背景環境は、光照射条件、テクスチャ背景の少なくとも１つを含む。
【0166】
選択可能に、前記処理待ち画像は、画像収集装置によって収集されたものであり、前記処理モジュール３０１は、さらに、前記処理待ち画像の画像処理結果に基づき、第２プリセット条件を満たすか否かを判断し、第２プリセット条件を満たす場合、前記画像収集装置が作業可能領域と非作業可能領域との境界に到達していると決定するように構成される。
【0167】
選択可能に、前記第２プリセット条件は、
前記境界の平均画素高さ値は、境界画素高さ閾値以下であること、
処理待ち画像内の作業可能領域の面積値が作業可能領域の面積閾値以下であること、
前記処理待ち画像における作業可能領域の面積占用比率が作業可能領域面積占用比率閾値以下であることの少なくとも１つを含む。
前記境界の平均画素高さ値は、境界画素高さ閾値以下であること、
処理待ち画像内の作業可能領域の面積値が作業可能領域の面積閾値以下であること、
前記処理待ち画像における作業可能領域の面積占用比率が作業可能領域面積占用比率閾値以下であることの少なくとも１つを含む。
【0168】
選択可能に、前記処理モジュール３０１は、さらに、前記処理待ち画像の画像処理結果がセマンティックセグメンテーション結果を含む場合、セマンティックセグメンテーション結果に基づいて前記処理待ち画像の各画素点の領域タイプを決定し、決定された各画素点の領域タイプに基づいて作業可能領域と非作業可能領域とを決定し、決定された作業可能領域と非作業可能領域に基づき、前記処理待ち画像内の作業可能領域の面積値を取得し、及び／又は前記境界の平均画素高さ値を決定するように構成される。
【0169】
選択可能に、前記画像収集装置は、移動物体に設けられ、前記処理モジュール３０１は、さらに、前記画像収集装置が前記境界に到達した場合、前記移動物体の動作反応を決定するように構成される。
【0170】
選択可能に、前記処理モジュール３０１は、さらに、前記画像収集装置が前記境界に到達していない場合、前記移動物体が元の方向に沿って移動し続けると決定するように構成される。
【0171】
選択可能に、前記移動物体の動作反応は、停止、コーナリング、Ｕターンの少なくとも１つを含む。
【0172】
選択可能に、前記画像収集装置は、単眼画像収集装置である。
【0173】
選択可能に、前記ニューラルネットワークは、サンプル画像をニューラルネットワークに入力し、前記ニューラルネットワークで、前記サンプル画像に対して画像処理を行い、画像処理結果を取得するステップであって、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含み、前記サンプル画像が異なる背景環境における画像を示すために用いられるステップと、
前記サンプル画像の画像処理結果及び前記サンプル画像のラベルに基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するステップと、
ネットワークパラメータ値が調整されたニューラルネットワークがプリセット条件を満たすまで上記のステップを繰り返して実行し、トレーニング済みニューラルネットワークを得るステップとによって、トレーニングされるものである。
前記サンプル画像の画像処理結果及び前記サンプル画像のラベルに基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するステップと、
ネットワークパラメータ値が調整されたニューラルネットワークがプリセット条件を満たすまで上記のステップを繰り返して実行し、トレーニング済みニューラルネットワークを得るステップとによって、トレーニングされるものである。
【0174】
選択可能に、前記処理モジュール３０１は、さらに、前記処理待ち画像のラベルを取得し、前記処理待ち画像の画像処理結果及び前記処理待ち画像のラベルに基づいて、前記トレーニング済みニューラルネットワークを基にインクリメンタルトレーニングを行うように構成される。
【0175】
実際の応用において、処理モジュール３０１は、電子機器のプロセッサによって実現されてもよく、上記のプロセッサは、ＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも１つであってもよい。
【0176】
また、本実施例における各機能モジュールは、１つの処理ユニットに統合されてもよく、個々のユニットは、単独で物理的に存在してもよく、２つ又は２つ以上のユニットは１つのユニットに統合されてもよい。上記の統合されたユニットは、ハードウェアの形態で実現されてもよいし、ソフトウェア機能モジュールの形態で実現されてもよい。
【0177】
前記統合されたユニットは、ソフトウェア機能モジュールの形態で実現され、独立した製品として販売又は用いられない場合、一つのコンピュータ読み取り可能記憶媒体に記憶されてもよく、このような理解に基づき、本実施例の技術的解決策は本質的に又は従来技術に貢献する部分又は当該技術的解決策の全て又は部分がソフトウェア製品の形で具体化されてもよく、当該該コンピュータソフトウェア製品が１つの記憶媒体に記憶され、コンピュータ装置（パーソナルコンピュータ、サーバ、又はネットワークデバイス等であってもよい）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本実施例に記載の方法の全て又は一部のステップを実行させるためのいくつかの命令を含む。前記憶媒体は、ＵＳＢフラッシュドライブ、モバイルハードディスク、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスク等のプログラムコードを記憶できる各種の媒体を含む。
【0178】
具体的には、本実施例におけるニューラルネットワークトレーニング方法又は画像処理方法に対応するコンピュータプログラム命令は、光ディスク、ハードディスク、ＵＳＢフラッシュドライブなどの記憶媒体に記憶されてもよく、記憶媒体のうち、ニューラルネットワークトレーニング方法又は画像処理方法に対応するコンピュータプログラム命令が電子機器によって読み取られ又は実行される場合、上記の実施例の任意の画像処理方法又は任意のニューラルネットワークトレーニング方法が実現される。
【0179】
上記の実施例と同じ技術的考えに基づき、本開示の実施例は、さらに、プロセッサによって実行される時に上記の任意の画像処理方法を実現するコンピュータプログラムを提供する。
【0180】
上記の実施例と同じ技術的考えに基づき、図４を参照し、それが本発明の実施例による電子機器４００を示し、前記電子機器４００は、メモリ４０１とプロセッサ４０２とを備えることができ、
前記メモリ４０１は、コンピュータプログラム及びデータを記憶するように構成され、
前記プロセッサ４０２は、前記メモリに記憶されたコンピュータプログラムを実行して、上記の実施例の任意の画像処理方法を実現するように構成される。
前記メモリ４０１は、コンピュータプログラム及びデータを記憶するように構成され、
前記プロセッサ４０２は、前記メモリに記憶されたコンピュータプログラムを実行して、上記の実施例の任意の画像処理方法を実現するように構成される。
【0181】
実際の応用において、上記メモリ４０１は、揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えばＲＡＭ、又は不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えばＲＯＭ、フラッシュメモリー（ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスクドライブ（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はソリッドステートドライブ（Ｓｏｌｉｄ－Ｓｔａｔｅ Ｄｒｉｖｅ）、又は上記タイプのメモリの組み合わせであってもよく、プロセッサ４０２に命令及びデータを提供する。
【0182】
上記プロセッサ４０２は、ＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも１つであってもよい。異なる拡張現実クラウドプラットフォームの場合、上記のプロセッサ機能を実装するための電子機器も他のものであってもよく、本開示の実施例で具体的に限定しないことは理解できる。
【0183】
いくつかの実施例では、本開示の実施例によって提供される装置が備える機能又はそれに含まれるモジュールは、上記の方法の実施例で説明される方法を実行するために用いられてもよく、具体的な実現については上記の方法の実施例の説明を参照することができ、簡潔にするために、ここでは説明を省略する。
【0184】
各実施例につていの上記説明は、様々な実施例の間の相違点を強調する傾向があり、同じ又は類似の点に対して互いに参照でき、簡潔にするために、本明細書で説明を省略する。
【0185】
本出願によって提供される各方法の実施例で開示される方法を衝突せずに任意に組み合わせて新しい方法の実施例を得ることができる。
【0186】
本出願によって提供される各製品の実施例で開示される特徴を衝突せずに任意に組み合わせて新しい製品の実施例を得ることができる。
【0187】
本出願によって提供される各方法又は装置の実施例で開示される特徴を衝突せずに任意に組み合わせて新しい方法の実施例又は装置の実施例を得ることができる。
【0188】
以上の実施形態の説明を通じて、当業者は、上記実施例の方法がソフトウェアと必要な汎用ハードウェアプラットフォームを組み合わせることにより実現されてもよく、当然ハードウェアで実現されてもよく、多くの場合で前者がより良い実施形態であることを明確に理解することができる。このような理解に基づき、本開示の技術的解決策は、実質的に又は従来技術に貢献する部分がソフトウェア製品の形で具体化されてもよく、当該コンピュータソフトウェア製品は、記憶媒体（ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスクなど）に記憶され、端末（携帯電話、コンピュータ、サーバー、エアコン、又はネットワークデバイスなど）に本開示の各実施例に記載の方法を実行させるためのいくつかの命令を含む。
【0189】
以上に添付図面を参照して本開示の実施例を説明したが、本開示は、上記の具体的な実施形態を限定せず、上記の具体的な実施形態は、例示的なものだけであり、限定的なものではなく、当業者であれば、本開示の教示で、本発明の精神及び請求項の保護範囲から逸脱することなく、多くの形態がなされてもよく、これらは、いずれも本発明の保護範囲に属する。
【図1】
【図2】
【図3】
【図4】
【手続補正書】
【提出日】2021-05-14
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像処理方法であって、処理待ち画像をニューラルネットワークに入力するステップであって、前記ニューラルネットワークが異なる背景環境におけるサンプル画像に基づいてトレーニングして得られたものであるステップと、
前記ニューラルネットワークで前記処理待ち画像に対して画像処理を行い、画像処理結果を取得するステップであって、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含むステップと、を含む、画像処理方法。
【請求項2】
前記処理待ち画像は、画像収集装置によって収集されたものであり、前記方法は、さらに、
前記処理待ち画像の画像処理結果に基づき、第１プリセット条件を満たすか否かを判断するステップと、
第１プリセット条件を満たす場合、前記画像収集装置の前に障害物があると決定するステップとを含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記第１プリセット条件は、前記処理待ち画像内の少なくとも１つのターゲットと画像収集装置との間の距離値が最小距離安全閾値以下であること、
前記処理待ち画像内の少なくとも１つのターゲットの画素面積値が最大面積安全閾値以上であることの少なくとも１つを含むことを特徴とする
請求項２に記載の方法。
【請求項4】
前記方法は、さらに、前記処理待ち画像の画像処理結果がターゲット検出結果を含む場合、予め取得されたホモグラフィマトリックス及び前記ターゲット検出結果に基づき、前記処理待ち画像内の各ターゲットと画像収集装置との間の距離値をそれぞれ取得するステップ、及び／又は、前記ターゲット検出結果に基づき、前記処理待ち画像内の各ターゲットの画素面積値をそれぞれ取得するステップを含み、前記ホモグラフィマトリックスは、各画素点の世界座標系と画素座標系との間の位置マッピング関係を示すために用いられ、
前記ホモグラフィマトリックスは、前記画像収集装置の内部パラメータ及び前記画像収集装置に対するキャリブレーションボードの既知の位置に基づいて決定されることを特徴とする
請求項３に記載の方法。
【請求項5】
前記画像収集装置は、移動物体に設けられ、前記方法は、さらに、
前記画像収集装置の前に障害物がある場合、前記移動物体の障害物回避反応を決定するステップを含み、
前記移動物体の障害物回避反応を決定する前記ステップは、
前記画像処理結果に基づき、前記障害物のタイプを決定するステップと、
前記障害物のタイプに基づいて、前記移動物体の障害物回避反応を決定するステップと、を含むことを特徴とする
請求項２－４のいずれか一項に記載の方法。
【請求項6】
前記処理待ち画像は、画像収集装置によって収集されたものであり、前記方法は、さらに、
前記処理待ち画像の画像処理結果に基づき、第２プリセット条件を満たすか否かを判断するステップと、
第２プリセット条件を満たす場合、前記画像収集装置が作業可能領域と非作業可能領域との間の境界に到達していると決定するステップとを含むことを特徴とする
請求項１－５のいずれか一項に記載の方法。
【請求項7】
前記第２プリセット条件は、前記境界の平均画素高さ値は、境界画素高さ閾値以下であること、
前記処理待ち画像内の作業可能領域の面積値が作業可能領域の面積閾値以下であること、
前記処理待ち画像における作業可能領域の面積占用比率が作業可能領域面積占用比率閾値以下であることの少なくとも１つを含むことを特徴とする
請求項６に記載の方法。
【請求項8】
前記方法は、さらに、前記処理待ち画像の画像処理結果がセマンティックセグメンテーション結果を含む場合、セマンティックセグメンテーション結果に基づいて前記処理待ち画像の各画素点の領域タイプを決定し、決定された各画素点の領域タイプに基づいて作業可能領域と非作業可能領域とを決定するステップと、
決定された作業可能領域と非作業可能領域に基づき、前記処理待ち画像内の作業可能領域の面積値を取得し、及び／又は前記境界の平均画素高さ値を決定するステップとを含むことを特徴とする
請求項７に記載の方法。
【請求項9】
前記画像収集装置は、移動物体に設けられ、前記方法は、さらに、
画像収集装置が前記境界に到達した場合、前記移動物体の動作反応を決定することを含み、
前記移動物体の動作反応は、停止、コーナリング、Ｕターンの少なくとも１つを含むことを特徴とする
請求項６－８のいずれか一項に記載の方法。
【請求項10】
前記ニューラルネットワークは、サンプル画像をニューラルネットワークに入力し、前記ニューラルネットワークで、前記サンプル画像に対して画像処理を行い、画像処理結果を取得するステップであって、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含み、前記サンプル画像が異なる背景環境における画像を示すために用いられるステップと、
前記サンプル画像の画像処理結果及び前記サンプル画像のラベルに基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するステップと、
ネットワークパラメータ値が調整されたニューラルネットワークがプリセット条件を満たすまで上記のステップを繰り返して実行し、トレーニング済みニューラルネットワークを得るステップとによって、トレーニングされるものであることを特徴とする
請求項１－９のいずれか一項に記載の方法。
【請求項11】
前記方法は、さらに、前記処理待ち画像のラベルを取得するステップと、
前記処理待ち画像の画像処理結果及び前記処理待ち画像のラベルに基づいて、前記トレーニング済みニューラルネットワークを基にインクリメンタルトレーニングを行うステップとを含むことを特徴とする
請求項１０に記載の方法。
【請求項12】
画像処理装置であって、処理モジュールを備え、前記処理モジュールは、処理待ち画像をニューラルネットワークに入力し、前記ニューラルネットワークで前記処理待ち画像に対して画像処理を行い、画像処理結果を取得するように構成され、前記ニューラルネットワークが異なる背景環境におけるサンプル画像に基づいてトレーニングして得られたものであり、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含む、画像処理装置。
【請求項13】
電子機器であって、プロセッサと、
プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリとを備え、
前記プロセッサは、前記コンピュータプログラムを実行する時に、請求項１－１１のいずれか一項に記載の画像処理方法を実行するように構成される、電子機器。
【請求項14】
コンピュータプログラムを記憶するコンピュータ記憶媒体であって、当該コンピュータプログラムがプロセッサによって実行される時に、前記プロセッサに、請求項１－１１のいずれか一項に記載の画像処理方法を実現させる、コンピュータ記憶媒体。
【請求項15】
コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器で実行される場合、前記電子機器のプロセッサに、請求項１－１１のいずれか一項に記載の方法を実行させる、コンピュータプログラム。【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【0071】
以上の一般的な説明及び以下の詳細な説明が例示的及び解釈的なものだけであり、本開示を限定するものではないことを理解すべきである。
例えば、本願は以下の項目を提供する。
（項目１）
画像処理方法であって、
処理待ち画像をニューラルネットワークに入力するステップであって、前記ニューラルネットワークが異なる背景環境におけるサンプル画像に基づいてトレーニングして得られたものであるステップと、
前記ニューラルネットワークで前記処理待ち画像に対して画像処理を行い、画像処理結果を取得するステップであって、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含むステップと、を含む、画像処理方法。
（項目２）
前記処理待ち画像は、画像収集装置によって収集されたものであり、
前記方法は、さらに、
前記処理待ち画像の画像処理結果に基づき、第１プリセット条件を満たすか否かを判断するステップと、
第１プリセット条件を満たす場合、前記画像収集装置の前に障害物があると決定するステップとを含むことを特徴とする
項目１に記載の方法。
（項目３）
前記第１プリセット条件は、
前記処理待ち画像内の少なくとも１つのターゲットと画像収集装置との間の距離値が最小距離安全閾値以下であること、
前記処理待ち画像内の少なくとも１つのターゲットの画素面積値が最大面積安全閾値以上であることの少なくとも１つを含むことを特徴とする
項目２に記載の方法。
（項目４）
前記方法は、さらに、
前記処理待ち画像の画像処理結果がターゲット検出結果を含む場合、予め取得されたホモグラフィマトリックス及び前記ターゲット検出結果に基づき、前記処理待ち画像内の各ターゲットと画像収集装置との間の距離値をそれぞれ取得するステップ、及び／又は、前記ターゲット検出結果に基づき、前記処理待ち画像内の各ターゲットの画素面積値をそれぞれ取得するステップを含み、前記ホモグラフィマトリックスは、各画素点の世界座標系と画素座標系との間の位置マッピング関係を示すために用いられることを特徴とする
項目３に記載の方法。
（項目５）
前記ホモグラフィマトリックスは、前記画像収集装置の内部パラメータ及び前記画像収集装置に対するキャリブレーションボードの既知の位置に基づいて決定されることを特徴とする
項目４に記載の方法。
（項目６）
前記画像収集装置は、移動物体に設けられ、
前記方法は、さらに、
前記画像収集装置の前に障害物がある場合、前記移動物体の障害物回避反応を決定するステップを含むことを特徴とする
項目２－５のいずれか一項に記載の方法。
（項目７）
前記移動物体の障害物回避反応を決定する前記ステップは、
前記画像処理結果に基づき、前記障害物のタイプを決定するステップと、
前記障害物のタイプに基づいて、前記移動物体の障害物回避反応を決定するステップと、を含むことを特徴とする
項目６に記載の方法。
（項目８）
前記背景環境は、光照射条件、テクスチャ背景の少なくとも１つを含むことを特徴とする
項目１－７のいずれか一項に記載の方法。
（項目９）
前記処理待ち画像は、画像収集装置によって収集されたものであり、
前記方法は、さらに、
前記処理待ち画像の画像処理結果に基づき、第２プリセット条件を満たすか否かを判断するステップと、
第２プリセット条件を満たす場合、前記画像収集装置が作業可能領域と非作業可能領域との間の境界に到達していると決定するステップとを含むことを特徴とする
項目１－７のいずれか一項に記載の方法。
（項目１０）
前記第２プリセット条件は、
前記境界の平均画素高さ値は、境界画素高さ閾値以下であること、
前記処理待ち画像内の作業可能領域の面積値が作業可能領域の面積閾値以下であること、
前記処理待ち画像における作業可能領域の面積占用比率が作業可能領域面積占用比率閾値以下であることの少なくとも１つを含むことを特徴とする
項目９に記載の方法。
（項目１１）
前記方法は、さらに、
前記処理待ち画像の画像処理結果がセマンティックセグメンテーション結果を含む場合、セマンティックセグメンテーション結果に基づいて前記処理待ち画像の各画素点の領域タイプを決定し、決定された各画素点の領域タイプに基づいて作業可能領域と非作業可能領域とを決定するステップと、
決定された作業可能領域と非作業可能領域に基づき、前記処理待ち画像内の作業可能領域の面積値を取得し、及び／又は前記境界の平均画素高さ値を決定するステップとを含むことを特徴とする
項目１０に記載の方法。
（項目１２）
前記画像収集装置は、移動物体に設けられ、
前記方法は、さらに、
画像収集装置が前記境界に到達した場合、前記移動物体の動作反応を決定することを含むことを特徴とする
項目９－１１のいずれか一項に記載の方法。
（項目１３）
前記移動物体の動作反応は、停止、コーナリング、Ｕターンの少なくとも１つを含むことを特徴とする
項目１２に記載の方法。
（項目１４）
前記画像収集装置は、単眼画像収集装置であることを特徴とする
項目１２－１３のいずれか一項に記載の方法。
（項目１５）
前記ニューラルネットワークは、
サンプル画像をニューラルネットワークに入力し、前記ニューラルネットワークで、前記サンプル画像に対して画像処理を行い、画像処理結果を取得するステップであって、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含み、前記サンプル画像が異なる背景環境における画像を示すために用いられるステップと、
前記サンプル画像の画像処理結果及び前記サンプル画像のラベルに基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するステップと、
ネットワークパラメータ値が調整されたニューラルネットワークがプリセット条件を満たすまで上記のステップを繰り返して実行し、トレーニング済みニューラルネットワークを得るステップとによって、トレーニングされるものであることを特徴とする
項目１－１４のいずれか一項に記載の方法。
（項目１６）
前記方法は、さらに、
前記処理待ち画像のラベルを取得するステップと、
前記処理待ち画像の画像処理結果及び前記処理待ち画像のラベルに基づいて、前記トレーニング済みニューラルネットワークを基にインクリメンタルトレーニングを行うステップとを含むことを特徴とする
項目１５に記載の方法。
（項目１７）
画像処理装置であって、処理モジュールを備え、
前記処理モジュールは、処理待ち画像をニューラルネットワークに入力し、前記ニューラルネットワークで前記処理待ち画像に対して画像処理を行い、画像処理結果を取得するように構成され、前記ニューラルネットワークが異なる背景環境におけるサンプル画像に基づいてトレーニングして得られたものであり、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含む、画像処理装置。
（項目１８）
前記処理待ち画像は、画像収集装置によって収集されたものであり、前記処理モジュールは、さらに、前記処理待ち画像の画像処理結果に基づき、第１プリセット条件を満たすか否かを判断し、第１プリセット条件を満たす場合、前記画像収集装置の前に障害物があると決定するように構成されることを特徴とする
項目１７に記載の装置。
（項目１９）
前記第１プリセット条件は、
前記処理待ち画像内の少なくとも１つのターゲットと画像収集装置との間の距離値が最小距離安全閾値以下であること、
画素座標における前記処理待ち画像内の少なくとも１つのターゲットに対応する画素面積値が最大面積安全閾値以上であることの少なくとも１つを含むことを特徴とする
項目１８に記載の装置。
（項目２０）
前記処理モジュールは、さらに、前記処理待ち画像の画像処理結果がターゲット検出結果を含む場合、予め取得されたホモグラフィマトリックス及び前記ターゲット検出結果に基づき、前記処理待ち画像内の各ターゲットと画像収集装置との間の距離値をそれぞれ取得するように構成され、及び／又は、前記ターゲット検出結果に基づき、画素座標における前記処理待ち画像内の各ターゲットに対応する画素面積値をそれぞれ取得するように構成され、前記ホモグラフィマトリックスは、世界座標系と画素座標系との間の位置マッピング関係を示すために用いられることを特徴とする
項目１９に記載の装置。
（項目２１）
前記ホモグラフィマトリックスは、前記画像収集装置の内部パラメータ及び前記画像収集装置に対するキャリブレーションボードの既知の位置に基づいて決定されることを特徴とする
項目２０に記載の装置。
（項目２２）
前記画像収集装置は、移動物体に設けられ、前記処理モジュールは、さらに、前記画像収集装置の前に障害物がある場合、前記移動物体の障害物回避反応を決定するように構成されることを特徴とする
項目１８－２１のいずれか一項に記載の装置。
（項目２３）
前記処理モジュールは、さらに、前記画像処理結果に基づき、前記障害物のタイプを決定し、前記障害物のタイプに基づいて、前記移動物体の障害物回避反応を決定するように構成されることを特徴とする
項目２２に記載の装置。
（項目２４）
前記背景環境は、光照射条件、テクスチャ背景の少なくとも１つを含むことを特徴とする
項目１７－２３のいずれか一項に記載の装置。
（項目２５）
前記処理待ち画像は、画像収集装置によって収集されたものであり、前記処理モジュールは、さらに、前記処理待ち画像の画像処理結果に基づき、第２プリセット条件を満たすか否かを判断し、第２プリセット条件を満たす場合、前記画像収集装置が作業可能領域と非作業可能領域との境界に到達していると決定するように構成されることを特徴とする
項目１７－２３のいずれか一項に記載の装置。
（項目２６）
前記第２プリセット条件は、
前記境界の平均画素高さ値は、境界画素高さ閾値以下であること、
処理待ち画像内の作業可能領域の面積値が作業可能領域の面積閾値以下であること、
前記処理待ち画像における作業可能領域の面積占用比率が作業可能領域面積占用比率閾値以下であることの少なくとも１つを含むことを特徴とする
項目２５に記載の装置。
（項目２７）
前記処理モジュールは、さらに、前記処理待ち画像の画像処理結果がセマンティックセグメンテーション結果を含む場合、セマンティックセグメンテーション結果に基づいて前記処理待ち画像の各画素点の領域タイプを決定し、決定された各画素点の領域タイプに基づいて作業可能領域と非作業可能領域とを決定し、決定された作業可能領域と非作業可能領域に基づき、前記処理待ち画像内の作業可能領域の面積値を取得し、及び／又は前記境界の平均画素高さ値を決定するように構成されることを特徴とする
項目２６に記載の装置。
（項目２８）
前記画像収集装置は、移動物体に設けられ、前記処理モジュールは、さらに、前記画像収集装置が前記境界に到達した場合、前記移動物体の動作反応を決定するように構成されることを特徴とする項目２５－２７のいずれか一項に記載の装置。
（項目２９）
前記移動物体の動作反応は、停止、コーナリング、Ｕターンの少なくとも１つを含むことを特徴とする
項目２８のいずれか一項に記載の装置。
（項目３０）
前記画像収集装置は、単眼画像収集装置であることを特徴とする
項目１８－２９のいずれか一項に記載の装置。
（項目３１）
前記ニューラルネットワークは、サンプル画像をニューラルネットワークに入力し、前記ニューラルネットワークで、前記サンプル画像に対して画像処理を行い、画像処理結果を取得するステップであって、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含み、前記サンプル画像が異なる背景環境における画像を示すために用いられるステップと、
前記サンプル画像の画像処理結果及び前記サンプル画像のラベルに基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するステップと、
ネットワークパラメータ値が調整されたニューラルネットワークがプリセット条件を満たすまで上記のステップを繰り返して実行して、トレーニング済みニューラルネットワークを得るステップとによって、トレーニングされるものであることを特徴とする
項目１７－３０のいずれか一項に記載の装置。
（項目３２）
前記処理モジュールは、さらに、前記処理待ち画像のラベルを取得し、前記処理待ち画像の画像処理結果及び前記処理待ち画像のラベルに基づいて、前記トレーニング済みニューラルネットワークを基にインクリメンタルトレーニングを行うように構成されることを特徴とする
項目３１に記載の装置。
（項目３３）
電子機器であって、
プロセッサと、
プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリとを備え、
前記プロセッサは、前記コンピュータプログラムを実行する時に、項目１－１６のいずれか一項に記載の画像処理方法を実行するように構成される、電子機器。
（項目３４）
コンピュータプログラムを記憶するコンピュータ記憶媒体であって、当該コンピュータプログラムがプロセッサによって実行される時に項目１－１６のいずれか一項に記載の画像処理方法を実現する、コンピュータ記憶媒体。
（項目３５）
コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器で実行される場合、前記電子機器のプロセッサは、項目１－１６のいずれか一項に記載の方法を実現するために実行される、コンピュータプログラム。
例えば、本願は以下の項目を提供する。
（項目１）
画像処理方法であって、
処理待ち画像をニューラルネットワークに入力するステップであって、前記ニューラルネットワークが異なる背景環境におけるサンプル画像に基づいてトレーニングして得られたものであるステップと、
前記ニューラルネットワークで前記処理待ち画像に対して画像処理を行い、画像処理結果を取得するステップであって、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含むステップと、を含む、画像処理方法。
（項目２）
前記処理待ち画像は、画像収集装置によって収集されたものであり、
前記方法は、さらに、
前記処理待ち画像の画像処理結果に基づき、第１プリセット条件を満たすか否かを判断するステップと、
第１プリセット条件を満たす場合、前記画像収集装置の前に障害物があると決定するステップとを含むことを特徴とする
項目１に記載の方法。
（項目３）
前記第１プリセット条件は、
前記処理待ち画像内の少なくとも１つのターゲットと画像収集装置との間の距離値が最小距離安全閾値以下であること、
前記処理待ち画像内の少なくとも１つのターゲットの画素面積値が最大面積安全閾値以上であることの少なくとも１つを含むことを特徴とする
項目２に記載の方法。
（項目４）
前記方法は、さらに、
前記処理待ち画像の画像処理結果がターゲット検出結果を含む場合、予め取得されたホモグラフィマトリックス及び前記ターゲット検出結果に基づき、前記処理待ち画像内の各ターゲットと画像収集装置との間の距離値をそれぞれ取得するステップ、及び／又は、前記ターゲット検出結果に基づき、前記処理待ち画像内の各ターゲットの画素面積値をそれぞれ取得するステップを含み、前記ホモグラフィマトリックスは、各画素点の世界座標系と画素座標系との間の位置マッピング関係を示すために用いられることを特徴とする
項目３に記載の方法。
（項目５）
前記ホモグラフィマトリックスは、前記画像収集装置の内部パラメータ及び前記画像収集装置に対するキャリブレーションボードの既知の位置に基づいて決定されることを特徴とする
項目４に記載の方法。
（項目６）
前記画像収集装置は、移動物体に設けられ、
前記方法は、さらに、
前記画像収集装置の前に障害物がある場合、前記移動物体の障害物回避反応を決定するステップを含むことを特徴とする
項目２－５のいずれか一項に記載の方法。
（項目７）
前記移動物体の障害物回避反応を決定する前記ステップは、
前記画像処理結果に基づき、前記障害物のタイプを決定するステップと、
前記障害物のタイプに基づいて、前記移動物体の障害物回避反応を決定するステップと、を含むことを特徴とする
項目６に記載の方法。
（項目８）
前記背景環境は、光照射条件、テクスチャ背景の少なくとも１つを含むことを特徴とする
項目１－７のいずれか一項に記載の方法。
（項目９）
前記処理待ち画像は、画像収集装置によって収集されたものであり、
前記方法は、さらに、
前記処理待ち画像の画像処理結果に基づき、第２プリセット条件を満たすか否かを判断するステップと、
第２プリセット条件を満たす場合、前記画像収集装置が作業可能領域と非作業可能領域との間の境界に到達していると決定するステップとを含むことを特徴とする
項目１－７のいずれか一項に記載の方法。
（項目１０）
前記第２プリセット条件は、
前記境界の平均画素高さ値は、境界画素高さ閾値以下であること、
前記処理待ち画像内の作業可能領域の面積値が作業可能領域の面積閾値以下であること、
前記処理待ち画像における作業可能領域の面積占用比率が作業可能領域面積占用比率閾値以下であることの少なくとも１つを含むことを特徴とする
項目９に記載の方法。
（項目１１）
前記方法は、さらに、
前記処理待ち画像の画像処理結果がセマンティックセグメンテーション結果を含む場合、セマンティックセグメンテーション結果に基づいて前記処理待ち画像の各画素点の領域タイプを決定し、決定された各画素点の領域タイプに基づいて作業可能領域と非作業可能領域とを決定するステップと、
決定された作業可能領域と非作業可能領域に基づき、前記処理待ち画像内の作業可能領域の面積値を取得し、及び／又は前記境界の平均画素高さ値を決定するステップとを含むことを特徴とする
項目１０に記載の方法。
（項目１２）
前記画像収集装置は、移動物体に設けられ、
前記方法は、さらに、
画像収集装置が前記境界に到達した場合、前記移動物体の動作反応を決定することを含むことを特徴とする
項目９－１１のいずれか一項に記載の方法。
（項目１３）
前記移動物体の動作反応は、停止、コーナリング、Ｕターンの少なくとも１つを含むことを特徴とする
項目１２に記載の方法。
（項目１４）
前記画像収集装置は、単眼画像収集装置であることを特徴とする
項目１２－１３のいずれか一項に記載の方法。
（項目１５）
前記ニューラルネットワークは、
サンプル画像をニューラルネットワークに入力し、前記ニューラルネットワークで、前記サンプル画像に対して画像処理を行い、画像処理結果を取得するステップであって、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含み、前記サンプル画像が異なる背景環境における画像を示すために用いられるステップと、
前記サンプル画像の画像処理結果及び前記サンプル画像のラベルに基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するステップと、
ネットワークパラメータ値が調整されたニューラルネットワークがプリセット条件を満たすまで上記のステップを繰り返して実行し、トレーニング済みニューラルネットワークを得るステップとによって、トレーニングされるものであることを特徴とする
項目１－１４のいずれか一項に記載の方法。
（項目１６）
前記方法は、さらに、
前記処理待ち画像のラベルを取得するステップと、
前記処理待ち画像の画像処理結果及び前記処理待ち画像のラベルに基づいて、前記トレーニング済みニューラルネットワークを基にインクリメンタルトレーニングを行うステップとを含むことを特徴とする
項目１５に記載の方法。
（項目１７）
画像処理装置であって、処理モジュールを備え、
前記処理モジュールは、処理待ち画像をニューラルネットワークに入力し、前記ニューラルネットワークで前記処理待ち画像に対して画像処理を行い、画像処理結果を取得するように構成され、前記ニューラルネットワークが異なる背景環境におけるサンプル画像に基づいてトレーニングして得られたものであり、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含む、画像処理装置。
（項目１８）
前記処理待ち画像は、画像収集装置によって収集されたものであり、前記処理モジュールは、さらに、前記処理待ち画像の画像処理結果に基づき、第１プリセット条件を満たすか否かを判断し、第１プリセット条件を満たす場合、前記画像収集装置の前に障害物があると決定するように構成されることを特徴とする
項目１７に記載の装置。
（項目１９）
前記第１プリセット条件は、
前記処理待ち画像内の少なくとも１つのターゲットと画像収集装置との間の距離値が最小距離安全閾値以下であること、
画素座標における前記処理待ち画像内の少なくとも１つのターゲットに対応する画素面積値が最大面積安全閾値以上であることの少なくとも１つを含むことを特徴とする
項目１８に記載の装置。
（項目２０）
前記処理モジュールは、さらに、前記処理待ち画像の画像処理結果がターゲット検出結果を含む場合、予め取得されたホモグラフィマトリックス及び前記ターゲット検出結果に基づき、前記処理待ち画像内の各ターゲットと画像収集装置との間の距離値をそれぞれ取得するように構成され、及び／又は、前記ターゲット検出結果に基づき、画素座標における前記処理待ち画像内の各ターゲットに対応する画素面積値をそれぞれ取得するように構成され、前記ホモグラフィマトリックスは、世界座標系と画素座標系との間の位置マッピング関係を示すために用いられることを特徴とする
項目１９に記載の装置。
（項目２１）
前記ホモグラフィマトリックスは、前記画像収集装置の内部パラメータ及び前記画像収集装置に対するキャリブレーションボードの既知の位置に基づいて決定されることを特徴とする
項目２０に記載の装置。
（項目２２）
前記画像収集装置は、移動物体に設けられ、前記処理モジュールは、さらに、前記画像収集装置の前に障害物がある場合、前記移動物体の障害物回避反応を決定するように構成されることを特徴とする
項目１８－２１のいずれか一項に記載の装置。
（項目２３）
前記処理モジュールは、さらに、前記画像処理結果に基づき、前記障害物のタイプを決定し、前記障害物のタイプに基づいて、前記移動物体の障害物回避反応を決定するように構成されることを特徴とする
項目２２に記載の装置。
（項目２４）
前記背景環境は、光照射条件、テクスチャ背景の少なくとも１つを含むことを特徴とする
項目１７－２３のいずれか一項に記載の装置。
（項目２５）
前記処理待ち画像は、画像収集装置によって収集されたものであり、前記処理モジュールは、さらに、前記処理待ち画像の画像処理結果に基づき、第２プリセット条件を満たすか否かを判断し、第２プリセット条件を満たす場合、前記画像収集装置が作業可能領域と非作業可能領域との境界に到達していると決定するように構成されることを特徴とする
項目１７－２３のいずれか一項に記載の装置。
（項目２６）
前記第２プリセット条件は、
前記境界の平均画素高さ値は、境界画素高さ閾値以下であること、
処理待ち画像内の作業可能領域の面積値が作業可能領域の面積閾値以下であること、
前記処理待ち画像における作業可能領域の面積占用比率が作業可能領域面積占用比率閾値以下であることの少なくとも１つを含むことを特徴とする
項目２５に記載の装置。
（項目２７）
前記処理モジュールは、さらに、前記処理待ち画像の画像処理結果がセマンティックセグメンテーション結果を含む場合、セマンティックセグメンテーション結果に基づいて前記処理待ち画像の各画素点の領域タイプを決定し、決定された各画素点の領域タイプに基づいて作業可能領域と非作業可能領域とを決定し、決定された作業可能領域と非作業可能領域に基づき、前記処理待ち画像内の作業可能領域の面積値を取得し、及び／又は前記境界の平均画素高さ値を決定するように構成されることを特徴とする
項目２６に記載の装置。
（項目２８）
前記画像収集装置は、移動物体に設けられ、前記処理モジュールは、さらに、前記画像収集装置が前記境界に到達した場合、前記移動物体の動作反応を決定するように構成されることを特徴とする項目２５－２７のいずれか一項に記載の装置。
（項目２９）
前記移動物体の動作反応は、停止、コーナリング、Ｕターンの少なくとも１つを含むことを特徴とする
項目２８のいずれか一項に記載の装置。
（項目３０）
前記画像収集装置は、単眼画像収集装置であることを特徴とする
項目１８－２９のいずれか一項に記載の装置。
（項目３１）
前記ニューラルネットワークは、サンプル画像をニューラルネットワークに入力し、前記ニューラルネットワークで、前記サンプル画像に対して画像処理を行い、画像処理結果を取得するステップであって、前記画像処理結果がターゲット検出結果及び／又はセマンティックセグメンテーション結果を含み、前記サンプル画像が異なる背景環境における画像を示すために用いられるステップと、
前記サンプル画像の画像処理結果及び前記サンプル画像のラベルに基づいて、前記ニューラルネットワークのネットワークパラメータ値を調整するステップと、
ネットワークパラメータ値が調整されたニューラルネットワークがプリセット条件を満たすまで上記のステップを繰り返して実行して、トレーニング済みニューラルネットワークを得るステップとによって、トレーニングされるものであることを特徴とする
項目１７－３０のいずれか一項に記載の装置。
（項目３２）
前記処理モジュールは、さらに、前記処理待ち画像のラベルを取得し、前記処理待ち画像の画像処理結果及び前記処理待ち画像のラベルに基づいて、前記トレーニング済みニューラルネットワークを基にインクリメンタルトレーニングを行うように構成されることを特徴とする
項目３１に記載の装置。
（項目３３）
電子機器であって、
プロセッサと、
プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリとを備え、
前記プロセッサは、前記コンピュータプログラムを実行する時に、項目１－１６のいずれか一項に記載の画像処理方法を実行するように構成される、電子機器。
（項目３４）
コンピュータプログラムを記憶するコンピュータ記憶媒体であって、当該コンピュータプログラムがプロセッサによって実行される時に項目１－１６のいずれか一項に記載の画像処理方法を実現する、コンピュータ記憶媒体。
（項目３５）
コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器で実行される場合、前記電子機器のプロセッサは、項目１－１６のいずれか一項に記載の方法を実現するために実行される、コンピュータプログラム。
【国際調査報告】