特表 2023-534932 自律移動機器の制御方法、装置、記憶媒体及び自律移動機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-08-15

(54)【発明の名称】自律移動機器の制御方法、装置、記憶媒体及び自律移動機器

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230807BHJP

   G05D 1/02 20200101ALI20230807BHJP

   A47L 9/28 20060101ALI20230807BHJP

   A47L 7/00 20060101ALI20230807BHJP

【ＦＩ】

G06T7/00

G06T7/00 350C

G05D1/02 K

A47L9/28 E

A47L7/00 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023501666

(86)(22)【出願日】2021-07-12

(85)【翻訳文提出日】2023-01-11

(86)【国際出願番号】 CN2021105792

(87)【国際公開番号】W WO2022012471

(87)【国際公開日】2022-01-20

(31)【優先権主張番号】202010666135.7

(32)【優先日】2020-07-13

(33)【優先権主張国・地域又は機関】CN

(31)【優先権主張番号】202010666140.8

(32)【優先日】2020-07-13

(33)【優先権主張国・地域又は機関】CN

(31)【優先権主張番号】202010666134.2

(32)【優先日】2020-07-13

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】520441349

【氏名又は名称】追▲べき▼創新科技（蘇州）有限公司

【氏名又は名称原語表記】Ｄｒｅａｍｅ Ｉｎｎｏｖａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ （Ｓｕｚｈｏｕ） Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｂｌｄｇ． Ｅ３， Ｓｈａｎｇｊｉｎｗａｎ Ｈｅａｄｑｕａｒｔｅｒｓ Ｅｃｏｎｏｍｉｃ Ｐａｒｋ， ２２８８ Ｗｕｚｈｏｎｇ Ａｖｅ．， Ｙｕｅｘｉ Ｓｔ．， Ｗｕｚｈｏｎｇ Ｄｉｓｔ．， Ｓｕｚｈｏｕ Ｃｉｔｙ， Ｊｉａｎｇｓｕ Ｐｒｏｖｉｎｃｅ， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】郁 順昌

(72)【発明者】

【氏名】王 朕

(72)【発明者】

【氏名】湯 盛浩

【テーマコード（参考）】

3B057

5H301

5L096

【Ｆターム（参考）】

3B057DA00

5H301AA02

5H301BB11

5H301CC03

5H301CC06

5H301CC10

5H301GG09

5H301LL01

5H301LL06

5H301LL11

5H301QQ04

5H301QQ08

5L096AA13

5L096BA05

5L096BA20

5L096CA01

5L096HA11

5L096JA28

5L096KA04

5L096KA15

(57)【要約】

本願は、自律移動機器の制御方法、装置、記憶媒体及び自律移動機器に関し、コンピュータ技術分野に属し、当該方法は、前記自律移動機器の移動中に、前記画像収集アセンブリによって収集された環境画像を取得することと、動作時に占有する計算資源が前記自律移動機器によって提供される最大計算資源よりも低い画像認識モデルを取得することと、前記環境画像が前記画像認識モデルに入力されて、目標オブジェクトのカテゴリを指示するためのオブジェクト認識結果が得られるように制御することとを含み、従来の画像認識アルゴリズムが掃除ロボットに対して高いハードウェア要件を求めていることに起因して、掃除ロボットのオブジェクト認識機能の適用範囲が限られているという問題を解決可能であり、計算資源の消費が少ない画像認識モデルを使用して環境画像内の目標オブジェクトを認識することで、オブジェクト認識方法による自律移動機器へのハードウェア要件を低減し、オブジェクト認識方法の適用範囲を拡大することができる。

【特許請求の範囲】

【請求項1】

自律移動機器の制御方法であって、前記自律移動機器に画像収集アセンブリが装着されており、前記方法は、
前記画像収集アセンブリによって収集された環境画像を取得することと、
動作時に占有する計算資源が前記自律移動機器によって提供される最大計算資源よりも低い画像認識モデルを取得することと、
前記環境画像が前記画像認識モデルに入力されて、目標オブジェクトのカテゴリを指示するためのオブジェクト認識結果が得られるように制御することとを含む、ことを特徴とする自律移動機器の制御方法。

【請求項2】

前記画像認識モデルは、小さなネットワーク検出モデルを訓練して得られたものである、ことを特徴とする請求項１に記載の方法。

【請求項3】

上述の画像認識モデルを取得することの前に、
小さなネットワーク検出モデルを取得することと、
前記自律移動機器の作業領域内の各オブジェクトの訓練画像と、各々の訓練画像の認識結果とが含まれる訓練データを取得することと、
前記訓練画像を前記小さなネットワーク検出モデルに入力してモデル結果を得ることと、
前記モデル結果と前記訓練画像に対応する認識結果との間の差分に基づいて、前記小さなネットワーク検出モデルを訓練して前記画像認識モデルを得ることとを更に含む、ことを特徴とする請求項１に記載の方法。

【請求項4】

上述の前記モデル結果と前記訓練画像に対応する認識結果との間の差分に基づいて、前記小さなネットワーク検出モデルを訓練して前記画像認識モデルを得ることの後に、
前記画像認識モデルに対してモデル圧縮処理を行って、オブジェクト認識用の画像認識モデルを得ることを更に含む、ことを特徴とする請求項３に記載の方法。

【請求項5】

前記小さなネットワーク検出モデルは、小型ＹＯＬＯモデル、又は、ＭｏｂｉｌｅＮｅｔモデルである、ことを特徴とする請求項２に記載の方法。

【請求項6】

上述の前記環境画像が前記画像認識モデルに入力されて、オブジェクト認識結果が得られるように制御することの後に、
前記オブジェクト認識結果に基づいて、前記自律移動機器を、対応するタスクを遂行するために移動するように制御することを更に含む、ことを特徴とする請求項１～５の何れか一項に記載の方法。

【請求項7】

前記自律移動機器に液体清掃アセンブリが装着されており、上述の前記オブジェクト認識結果に基づいて、前記自律移動機器を、対応するタスクを遂行するために移動するように制御することは、
前記環境画像に液体画像が含まれることを前記オブジェクト認識結果が指示する場合、前記自律移動機器を、前記液体画像に対応するクリーニングすべき領域まで移動するように制御することと、
前記液体清掃アセンブリを使用して前記クリーニングすべき領域内の液体を清掃することとを含む、ことを特徴とする請求項６に記載の方法。

【請求項8】

前記自律移動機器には、充電アセンブリを使用して充電される給電アセンブリが装着されており、上述の前記オブジェクト認識結果に基づいて、前記自律移動機器を、対応するタスクを遂行するために移動するように制御することは、
前記給電アセンブリの残電量が電量閾値以下であり、且つ前記環境画像に前記充電アセンブリの画像が含まれる場合、前記充電アセンブリの画像位置に応じて前記充電アセンブリの実際位置を確定することを含む、ことを特徴とする請求項６に記載の方法。

【請求項9】

前記自律移動機器には、前記充電アセンブリ上の充電インターフェースの位置を測位するための測位センサが更に装着されており、上述の前記自律移動機器を、前記充電アセンブリへ移動するように制御することの後に、
前記充電アセンブリへの移動中に、前記測位センサを、前記充電アセンブリの位置を測位して測位結果を得るように制御することと、
前記自律移動機器を、前記自律移動機器と前記充電インターフェースとのドッキングを実現するために前記測位結果に従って移動するように制御することとを更に含む、ことを特徴とする請求項８に記載の方法。

【請求項10】

自律移動機器の制御装置であって、前記自律移動機器に画像収集アセンブリが装着されており、前記装置は、
前記自律移動機器の移動中に、前記画像収集アセンブリによって収集された環境画像を取得するための画像取得モジュールと、
動作時に占有する計算資源が前記自律移動機器によって提供される最大計算資源よりも低い画像認識モデルを取得するためのモデル取得モジュールと、
前記環境画像が前記画像認識モデルに入力されて、前記環境画像内の目標オブジェクトのカテゴリを指示するためのオブジェクト認識結果が得られるように制御するための機器制御モジュールとを含む、ことを特徴とする自律移動機器の制御装置。

【請求項11】

自律移動機器の制御方法であって、前記自律移動機器に画像収集アセンブリが装着されており、前記方法は、
前記自律移動機器の移動中に、前記画像収集アセンブリによって収集されたシーン画像であって、前記自律移動機器が置かれている現在シーンの画像となるシーン画像を取得することと、
前記シーン画像を画像認識して、前記現在シーン内に位置するオブジェクトの属性情報を指すオブジェクト情報を得ることと、
サンプルオブジェクト情報と、前記サンプルオブジェクト情報に対応するサンプルシーンタイプとに基づいて訓練して得られたシーン認識モデルを取得することと、
前記オブジェクト情報が前記シーン認識モデルに入力されて、前記現在シーンのシーンタイプが得られるように制御することとを含む、ことを特徴とする自律移動機器の制御方法。

【請求項12】

前記シーン認識モデルは、確率モデルを訓練して得られたものである、ことを特徴とする請求項１１に記載の方法。

【請求項13】

上述のシーン認識モデルを取得することの前に、
前記確率モデルを取得することと、
各オブジェクトのサンプル属性情報と、各サンプル属性情報に対応するサンプルシーンタイプとが含まれる訓練データを取得することと、
前記サンプル属性情報を前記確率モデルに入力してモデル結果を得ることと、
前記モデル結果と前記サンプルシーンタイプとの間の差分に基づいて、前記確率モデルを訓練して前記シーン認識モデルを得ることとを更に含む、ことを特徴とする請求項１２に記載の方法。

【請求項14】

上述の前記シーン画像を画像認識して、オブジェクト情報を得ることは、
動作時に占有する計算資源が前記自律移動機器によって提供される最大計算資源よりも低い画像認識モデルを取得することと、
前記シーン画像を前記画像認識モデルに入力してオブジェクト認識結果を得ることとを更に含む、ことを特徴とする請求項１１に記載の方法。

【請求項15】

前記画像認識モデルは、小さなネットワークモデルに基づいてサンプルシーン画像及びサンプルオブジェクト結果を使用して訓練して得られたものである、ことを特徴とする請求項１４に記載の方法。

【請求項16】

前記画像認識モデルは、モデル圧縮処理を経て得られたものである、ことを特徴とする請求項１４に記載の方法。

【請求項17】

前記シーン認識モデルから各々のシーンタイプの信頼度が更に出力され、上述の前記オブジェクト情報が前記シーン認識モデルに入力されて、前記現在シーンのシーンタイプが得られるように制御することの後に、
前記シーンタイプを信頼度の高いものから低いものへの順序に従ってソートすることと、
ソート順位が上位のＮ（Ｎは、１よりも大きい整数である）位までのシーンタイプを出力することとを更に含む、ことを特徴とする請求項１１～１６の何れか一項に記載の方法。

【請求項18】

上述の前記オブジェクト情報が前記シーン認識モデルに入力されて、前記現在シーンのシーンタイプが得られるように制御することの後に、
前記シーンタイプに応じて、対応する清掃ポリシーを確定することと、
前記自律移動機器を、前記清掃ポリシーに従って清掃作業を実行するように制御することとを更に含む、ことを特徴とする請求項１１～１６の何れか一項に記載の方法。

【請求項19】

自律移動機器のシーン認識装置であって、前記自律移動機器に画像収集アセンブリが装着されており、前記装置は、
前記自律移動機器の移動中に、前記画像収集アセンブリによって収集されたシーン画像であって、前記自律移動機器が置かれている現在シーンの画像となるシーン画像を取得するための画像取得モジュールと、
前記シーン画像を画像認識して、前記現在シーン内に位置するオブジェクトの属性情報を指すオブジェクト情報を得るための画像認識モジュールと、
サンプルオブジェクト情報と、前記サンプルオブジェクト情報に対応するサンプルシーンタイプとに基づいて訓練して得られたシーン認識モデルを取得するためのモデル取得モジュールと、
前記オブジェクト情報が前記シーン認識モデルに入力されて、前記現在シーンのシーンタイプが得られるように制御するための機器制御モジュールとを含む、ことを特徴とする自律移動機器のシーン認識装置。

【請求項20】

自律移動機器の制御方法であって、前記方法は、
前記自律移動機器が置かれている作業領域のエッジ情報を取得することと、
移動時に収集された環境画像を取得することと、
前記環境画像に基づいて通行ドア情報を獲得することと、
前記通行ドア情報及び前記エッジ情報に基づいて、前記作業領域内の独立領域を区分けすることとを含む、ことを特徴とする自律移動機器の制御方法。

【請求項21】

上述の前記通行ドア情報及び前記エッジ情報に基づいて、前記作業領域内の独立領域を区分けすることの後に、
前記環境画像に基づいて、対応する独立領域のシーン予測結果を確定することと、
前記独立領域のシーン予測結果に応じて、前記独立領域のシーンタイプを確定することとを更に含む、ことを特徴とする請求項２０に記載の方法。

【請求項22】

上述の前記通行ドア情報及び前記エッジ情報に基づいて、前記作業領域内の独立領域を区分けすることは、
前記通行ドア情報によって指示される対応する通行ドアの前記作業領域内での位置情報を取得することと、
前記エッジ情報と前記位置情報とを結合して、結合された境界情報を得ることと、
前記結合された境界情報によって構成される各閉領域を、対応する独立領域として区分けすることとを含む、ことを特徴とする請求項２１に記載の方法。

【請求項23】

上述の前記環境画像に基づいて通行ドア情報を獲得することは、
前記環境画像に通行ドアの画像が含まれるかどうかを認識することと、
前記環境画像に通行ドアの画像が含まれる場合、前記通行ドアの前記作業領域内での位置情報を取得することとを含む、ことを特徴とする請求項２０に記載の方法。

【請求項24】

前記通行ドアは、前記作業領域内のドア枠を含む、ことを特徴とする請求項２３に記載の方法。

【請求項25】

上述の前記独立領域のシーン予測結果に応じて、前記独立領域のシーンタイプを確定することは、
各々の独立領域の位置姿勢情報であって、対応する独立領域の前記作業領域内での位置情報及び方向情報が含まれる位置姿勢情報を取得することと、
各々の独立領域のシーン領域結果と各々の独立領域の位置姿勢情報とを結合して、予め設定された確率分布ポリシーに従って各独立領域のシーンタイプを確定することとを含み、
ここで、確率分布ポリシーは、各々の目標シーンタイプについて、各独立領域からシーンタイプが前記目標シーンタイプである確率の最も高い独立領域を確定するためのものである、ことを特徴とする請求項２１に記載の方法。

【請求項26】

上述の前記環境画像に基づいて、対応する独立領域のシーン予測結果を確定することは、
動作時に占有する計算資源が前記自律移動機器によって提供される最大計算資源よりも低い画像認識モデルを取得することと、
各々の独立領域について、前記独立領域に対応する環境画像を前記画像認識モデルに入力して、目標オブジェクトの属性情報が含まれるオブジェクト認識結果を獲得することと、
オブジェクトのサンプル属性情報及びサンプルシーンタイプを使用して訓練して得られたシーン認識モデルを取得することと、
前記オブジェクト認識結果を前記シーン認識モデルに入力して、前記独立領域の少なくとも１つの予測シーンタイプが含まれるシーン予測結果を得ることとを含む、ことを特徴とする請求項２１に記載の方法。

【請求項27】

前記画像認識モデルは、小さなネットワークモデルに基づいてサンプル環境画像及びサンプルオブジェクト結果を使用して訓練して得られたものである、ことを特徴とする請求項２６に記載の方法。

【請求項28】

前記シーン認識モデルは、確率モデルに基づいてオブジェクトのサンプル属性情報及びサンプルシーンを使用して訓練して得られたものである、ことを特徴とする請求項２６に記載の方法。

【請求項29】

自律移動機器の制御装置であって、
前記自律移動機器が置かれている作業領域のエッジ情報を取得するための第一情報取得モジュールと、
移動時に収集された環境画像を取得するための環境画像取得モジュールと、
前記環境画像に基づいて通行ドア情報を獲得するための第二情報取得モジュールと、
前記通行ドア情報及び前記エッジ情報に基づいて、前記作業領域内の独立領域を区分けするための領域区分け制御モジュールとを含む、ことを特徴とする自律移動機器の制御装置。

【請求項30】

自律移動機器の制御装置であって、前記装置は、プロセッサ及びメモリを含み、前記メモリにプログラムが記憶されており、前記プログラムは、請求項１～９、１１～１８及び２０～２８の何れか一項に記載の自律移動機器の制御方法が実現されるように前記プロセッサによってロードされて実行される、ことを特徴とする自律移動機器の制御装置。

【請求項31】

コンピュータ読取可能な記憶媒体であって、前記記憶媒体にプログラムが記憶されており、前記プログラムは、プロセッサによって実行される時に、請求項１～９、１１～１８及び２０～２８中の何れか一項に記載の自律移動機器の制御方法を実現するために使用される、ことを特徴をとするコンピュータ読取可能な記憶媒体。

【請求項32】

自律移動機器であって、
前記自律移動機器を移動させるための移動アセンブリと、
前記移動アセンブリを運動するように駆動するための移動駆動アセンブリと、
前記自律移動機器に装着され、進行方向における環境画像を収集するための画像収集アセンブリと、
前記移動駆動アセンブリ及び前記画像収集アセンブリと通信接続された制御アセンブリであって、前記制御アセンブリは、メモリと通信接続され、前記メモリにプログラムが記憶されており、前記プログラムは、請求項１～９、１１～１８及び２０～２８の何れか一項に記載の自律移動機器の制御方法が実現されるように前記制御アセンブリによってロードされて実行される制御アセンブリとを含む、ことを特徴とする自律移動機器。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、自律移動機器の制御方法、装置、記憶媒体及び自律移動機器に関し、コンピュータの技術分野に属する。

【背景技術】

【0002】

人工知能及びロボット産業の発展に伴い、掃除ロボット等のスマート家電が徐々に普及している。

【0003】

一般的な掃除ロボットは、機体の上方に固定された撮像アセンブリを介して環境写真を収集し、画像認識アルゴリズムを使用して、収集された写真における物品を認識する。画像認識の精度を保証するために、当該画像認識アルゴリズムは、通常、ニューラルネットワークモデル等に基づいて訓練して得られたものである。

【0004】

しかしながら、従来の画像認識アルゴリズムは、グラフィックプロセッサ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）とニューラルネットワークプロセッサ（Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＮＰＵ）との組み合わせによって実現される必要があり、掃除ロボットに対して高いハードウェア要件を求めている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願は、従来の画像認識アルゴリズムが掃除ロボットに対して高いハードウェア要件を求めていることに起因して掃除ロボットのオブジェクト認識機能の適用範囲が限られているという問題を、解決可能な自律移動機器の制御方法、装置及び記憶媒体を提供する。本願には、以下の技術案が提供される。

【課題を解決するための手段】

【0006】

第一局面は、自律移動機器の制御方法であって、前記自律移動機器に画像収集アセンブリが装着されており、前記方法は、
前記画像収集アセンブリによって収集された環境画像を取得することと、
動作時に占有する計算資源が前記自律移動機器によって提供される最大計算資源よりも低い画像認識モデルを取得することと、
前記環境画像が前記画像認識モデルに入力されて、目標オブジェクトのカテゴリを指示するためのオブジェクト認識結果が得られるように制御することとを含む、自律移動機器の制御方法を提供している。

【0007】

選択的に、前記画像認識モデルは、小さなネットワーク検出モデルを訓練して得られたものである。

【0008】

選択的に、上述の画像認識モデルを取得することの前に、
小さなネットワーク検出モデルを取得することと、
前記自律移動機器の作業領域内の各オブジェクトの訓練画像と、各々の訓練画像の認識結果とが含まれる訓練データを取得することと、
前記訓練画像を前記小さなネットワーク検出モデルに入力してモデル結果を得ることと、
前記モデル結果と前記訓練画像に対応する認識結果との間の差分に基づいて、前記小さなネットワーク検出モデルを訓練して前記画像認識モデルを得ることとを更に含む。

【0009】

選択的に、上述の前記モデル結果と前記訓練画像に対応する認識結果との間の差分に基づいて、前記小さなネットワーク検出モデルを訓練して前記画像認識モデルを得ることの後に、
前記画像認識モデルに対してモデル圧縮処理を行って、オブジェクト認識用の画像認識モデルを得ることを更に含む。

【0010】

選択的に、前記小さなネットワーク検出モデルは、小型ＹＯＬＯモデル、又は、ＭｏｂｉｌｅＮｅｔモデルである。

【0011】

選択的に、上述の前記環境画像が前記画像認識モデルに入力されて、オブジェクト認識結果が得られるように制御することの後に、
前記オブジェクト認識結果に基づいて、前記自律移動機器を、対応するタスクを遂行するために移動するように制御することを更に含む。

【0012】

選択的に、前記自律移動機器に液体清掃アセンブリが装着されており、上述の前記オブジェクト認識結果に基づいて、前記自律移動機器を、対応するタスクを遂行するために移動するように制御することは、
前記環境画像に液体画像が含まれることを前記オブジェクト認識結果が指示する場合、前記自律移動機器を、前記液体画像に対応するクリーニングすべき領域まで移動するように制御することと、
前記液体清掃アセンブリを使用して前記クリーニングすべき領域内の液体を清掃することとを含む。

【0013】

選択的に、前記自律移動機器には、充電アセンブリを使用して充電される給電アセンブリが装着されており、上述の前記オブジェクト認識結果に基づいて、前記自律移動機器を、対応するタスクを遂行するために移動するように制御することは、
前記給電アセンブリの残電量が電量閾値以下であり、且つ前記環境画像に前記充電アセンブリの画像が含まれる場合、前記充電アセンブリの画像位置に応じて前記充電アセンブリの実際位置を確定することを含む。

【0014】

選択的に、前記自律移動機器には、前記充電アセンブリ上の充電インターフェースの位置を測位するための測位センサが更に装着されており、上述の前記自律移動機器を、前記充電アセンブリへ移動するように制御することの後に、
前記充電アセンブリへの移動中に、前記測位センサを、前記充電アセンブリの位置を測位して測位結果を得るように制御することと、
前記自律移動機器を、前記自律移動機器と前記充電インターフェースとのドッキングを実現するために前記測位結果に従って移動するように制御することとを更に含む。

【0015】

第二局面は、自律移動機器の制御装置であって、前記自律移動機器に画像収集アセンブリが装着されており、前記装置は、
前記自律移動機器の移動中に、前記画像収集アセンブリによって収集された環境画像を取得するための画像取得モジュールと、
動作時に占有する計算資源が前記自律移動機器によって提供される最大計算資源よりも低い画像認識モデルを取得するためのモデル取得モジュールと、
前記環境画像が前記画像認識モデルに入力されて、目標オブジェクトのカテゴリを指示するためのオブジェクト認識結果が得られるように制御するための機器制御モジュールとを含む、自律移動機器の制御装置を提供している。

【0016】

第三局面は、自律移動機器の制御方法であって、前記自律移動機器に画像収集アセンブリが装着されており、前記方法は、
前記自律移動機器の移動中に、前記画像収集アセンブリによって収集されたシーン画像であって、前記自律移動機器が置かれている現在シーンの画像となるシーン画像を取得することと、
前記シーン画像を画像認識して、前記現在シーン内に位置するオブジェクトの属性情報を指すオブジェクト情報を得ることと、
サンプルオブジェクト情報と、前記サンプルオブジェクト情報に対応するサンプルシーンタイプとに基づいて訓練して得られたシーン認識モデルを取得することと、
前記オブジェクト情報が前記シーン認識モデルに入力されて、前記現在シーンのシーンタイプが得られるように制御することとを含む、自律移動機器の制御方法を提供している。

【0017】

選択的に、前記シーン認識モデルは、確率モデルを訓練して得られたものである。

【0018】

選択的に、上述のシーン認識モデルを取得することの前に、
前記確率モデルを取得することと、
各オブジェクトのサンプル属性情報と、各サンプル属性情報に対応するサンプルシーンタイプとが含まれる訓練データを取得することと、
前記サンプル属性情報を前記確率モデルに入力してモデル結果を得ることと、
前記モデル結果と前記サンプルシーンタイプとの間の差分に基づいて、前記確率モデルを訓練して前記シーン認識モデルを得ることとを更に含む。

【0019】

選択的に、上述の前記シーン画像を画像認識して、オブジェクト情報を得ることは、
動作時に占有する計算資源が前記自律移動機器によって提供される最大計算資源よりも低い画像認識モデルを取得することと、
前記シーン画像を前記画像認識モデルに入力してオブジェクト認識結果を得ることとを更に含む。

【0020】

選択的に、前記画像認識モデルは、小さなネットワークモデルに基づいてサンプルシーン画像及びサンプルオブジェクト結果を使用して訓練して得られたものである。

【0021】

選択的に、前記画像認識モデルは、モデル圧縮処理を経て得られたものである。

【0022】

選択的に、前記シーン認識モデルから各々のシーンタイプの信頼度が更に出力され、上述の前記オブジェクト情報が前記シーン認識モデルに入力されて、前記現在シーンのシーンタイプが得られるように制御することの後に、
前記シーンタイプを信頼度の高いものから低いものへの順序に従ってソートすることと、
ソート順位が上位のＮ（Ｎは、１よりも大きい整数である）位までのシーンタイプを出力することとを更に含む。

【0023】

選択的に、上述の前記オブジェクト情報が前記シーン認識モデルに入力されて、前記現在シーンのシーンタイプが得られるように制御することの後に、
前記シーンタイプに応じて、対応する清掃ポリシーを確定することと、
前記自律移動機器を、前記清掃ポリシーに従って清掃作業を実行するように制御することとを更に含む。

【0024】

第四局面は、自律移動機器のシーン認識装置であって、前記自律移動機器に画像収集アセンブリが装着されており、前記装置は、
前記自律移動機器の移動中に、前記画像収集アセンブリによって収集されたシーン画像であって、前記自律移動機器が置かれている現在シーンの画像となるシーン画像を取得するための画像取得モジュールと、
前記シーン画像を画像認識して、前記現在シーン内に位置するオブジェクトの属性情報を指すオブジェクト情報を得るための画像認識モジュールと、
サンプルオブジェクト情報と、前記サンプルオブジェクト情報に対応するサンプルシーンタイプとに基づいて訓練して得られたシーン認識モデルを取得するためのモデル取得モジュールと、
前記オブジェクト情報が前記シーン認識モデルに入力されて、前記現在シーンのシーンタイプが得られるように制御するための機器制御モジュールとを含む、自律移動機器のシーン認識装置を提供している。

【0025】

第五局面は、自律移動機器の制御方法であって、
前記自律移動機器が置かれている作業領域のエッジ情報を取得することと、
移動時に収集された環境画像を取得することと、
前記環境画像に基づいて通行ドア情報を獲得することと、
前記通行ドア情報及び前記エッジ情報に基づいて、前記作業領域内の独立領域を区分けすることとを含む、自律移動機器の制御方法を提供している。

【0026】

選択的に、上述の前記通行ドア情報及び前記エッジ情報に基づいて、前記作業領域内の独立領域を区分けすることの後に、
前記環境画像に基づいて、対応する独立領域のシーン予測結果を確定することと、
前記独立領域のシーン予測結果に応じて、前記独立領域のシーンタイプを確定することとを更に含む。

【0027】

選択的に、上述の前記通行ドア情報及び前記エッジ情報に基づいて、前記作業領域内の独立領域を区分けすることは、
前記通行ドア情報によって指示される対応する通行ドアの前記作業領域内での位置情報を取得することと、
前記エッジ情報と前記位置情報とを結合して、結合された境界情報を得ることと、
前記結合された境界情報によって構成される各閉領域を、対応する独立領域として区分けすることとを含む。

【0028】

選択的に、上述の前記環境画像に基づいて通行ドア情報を獲得することは、
前記環境画像に通行ドアの画像が含まれるかどうかを認識することと、
前記環境画像に通行ドアの画像が含まれる場合、前記通行ドアの前記作業領域内での位置情報を取得することとを含む。

【0029】

選択的に、前記通行ドアは、前記作業領域内のドア枠を含む。

【0030】

選択的に、上述の前記独立領域のシーン予測結果に応じて、前記独立領域のシーンタイプを確定することは、
各々の独立領域の位置姿勢情報であって、対応する独立領域の前記作業領域内での位置情報及び方向情報が含まれる位置姿勢情報を取得することと、
各々の独立領域のシーン領域結果と各々の独立領域の位置姿勢情報とを結合して、予め設定された確率分布ポリシーに従って各独立領域のシーンタイプを確定することとを含み、
ここで、確率分布ポリシーは、各々の目標シーンタイプについて、各独立領域からシーンタイプが前記目標シーンタイプである確率の最も高い独立領域を確定するためのものである。

【0031】

選択的に、上述の前記環境画像に基づいて、対応する独立領域のシーン予測結果を確定することは、
動作時に占有する計算資源が前記自律移動機器によって提供される最大計算資源よりも低い画像認識モデルを取得することと、
各々の独立領域について、前記独立領域に対応する環境画像を前記画像認識モデルに入力して、目標オブジェクトの属性情報が含まれるオブジェクト認識結果を獲得することと、
オブジェクトのサンプル属性情報及びサンプルシーンタイプを使用して訓練して得られたシーン認識モデルを取得することと
前記オブジェクト認識結果を前記シーン認識モデルに入力して、前記独立領域の少なくとも１つの予測シーンタイプが含まれるシーン予測結果を得ることとを含む。

【0032】

選択的に、前記画像認識モデルは、小さなネットワークモデルに基づいてサンプル環境画像及びサンプルオブジェクト結果を使用して訓練して得られたものである。

【0033】

選択的に、前記シーン認識モデルは、確率モデルに基づいてオブジェクトのサンプル属性情報及びサンプルシーンを使用して訓練して得られたものである。

【0034】

第六局面は、自律移動機器の制御装置であって、
前記自律移動機器が置かれている作業領域のエッジ情報を取得するための第一情報取得モジュールと、
移動時に収集された環境画像を取得するための環境画像取得モジュールと、
前記環境画像に基づいて通行ドア情報を獲得するための第二情報取得モジュールと、
前記通行ドア情報及び前記エッジ情報に基づいて、前記作業領域内の独立領域を区分けするための領域区分け制御モジュールとを含む、自律移動機器の制御装置を提供している。

【0035】

第七局面は、自律移動機器の制御装置であって、前記装置は、プロセッサ及びメモリを含み、前記メモリにプログラムが記憶されており、前記プログラムは、第一局面、第三局面又は第五局面に記載の自律移動機器の制御方法が実現されるように前記プロセッサによってロードされて実行される、自律移動機器の制御装置を提供している。

【0036】

第八局面は、コンピュータ読取可能な記憶媒体であって、前記記憶媒体にプログラムが記憶されており、前記プログラムは、第一局面、第三局面又は第五局面に記載の自律移動機器の制御方法が実現されるように前記プロセッサによってロードされて実行される、コンピュータ読取可能な記憶媒体を提供している。

【0037】

第九局面は、自律移動機器であって、
前記自律移動機器を移動させるための移動アセンブリと、
前記移動アセンブリを運動するように駆動するための移動駆動アセンブリと、
前記自律移動機器に装着され、進行方向における環境画像を収集するための画像収集アセンブリと、
前記移動駆動アセンブリ及び前記画像収集アセンブリと通信接続された制御アセンブリであって、前記制御アセンブリは、メモリと通信接続され、前記メモリにプログラムが記憶されており、前記プログラムは、第一局面、第三局面又は第五局面に記載の自律移動機器の制御方法が実現されるように前記制御アセンブリによってロードされて実行される、自律移動機器を提供している。

【発明の効果】

【0038】

本願の有益な効果としては、自律移動機器の移動中に、画像収集アセンブリによって収集された環境画像を取得し、動作時に占有する計算資源が自律移動機器によって提供される最大計算資源よりも低い画像認識モデルを取得し、環境画像が画像認識モデルに入力されて、環境画像内の目標オブジェクトのカテゴリを指示するためのオブジェクト認識結果が得られるように制御することで、従来の画像認識アルゴリズムが掃除ロボットに対して高いハードウェア要件を求めていることに起因して掃除ロボットのオブジェクト認識機能の適用範囲が限られているという問題を、解決可能であり、計算資源の消費が少ない画像認識モデルを使用して環境画像内の目標オブジェクトを認識することで、オブジェクト認識方法による自律移動機器へのハードウェア要件を低減し、オブジェクト認識方法の適用範囲を拡大することができる。

【0039】

上述の説明は、本願の技術案の概要に過ぎない。本願の技術的手段をより明確に理解し、明細書の内容に従って実施可能にするために、以下、本願の好ましい実施例及び添付図面を参照しながら、次のように詳しく説明する。

【図面の簡単な説明】

【0040】

ここで説明される図面は、本発明のさらなる理解を提供するためのものであり、本願の一部を構成し、本発明の例示的な実施例及びその説明は、本発明を解釈するためのものであり、本発明に対する不適切な制限を構成しない。

【図1】図１は、本願の一実施例による自律移動機器の構造模式図である。

【図2】図２は、本願の一実施例による自律移動機器の制御方法のフローチャートである。

【図3】図３は、本願の一実施例による作業実行ポリシーのフローチャートである。

【図4】図４は、本願の一実施例による作業実行ポリシーの模式図である。

【図5】図５は、本願の別の実施例による作業実行ポリシーのフローチャートである。

【図6】図６は、本願の別の実施例による作業実行ポリシーの模式図である。

【図7】図７は、本願の一実施例による自律移動機器の制御装置のブロック図である。

【図8】図８は、本願の一実施例による自律移動機器の構造模式図である。

【図9】図９は、本願の一実施例による自律移動機器の制御方法のフローチャートである。

【図10】図１０は、本願の別の実施例による自律移動機器の制御方法のフローチャートである。

【図11】図１１は、本願の一実施例による自律移動機器の制御装置のブロック図である。

【図12】図１２は、本願の一実施例による自律移動機器構造模式図である。

【図13】図１３は、本願の一実施例による自律移動機器の制御方法のフローチャートである。

【図14】図１４は、本願の別の実施例による自律移動機器の制御方法のフローチャートである。

【図15】図１５は、本願の一実施例による自律移動機器の制御の模式図である。

【図16】図１６は、本願の一実施例による自律移動機器の制御装置のブロック図である。

【図17】図１７は、本願の一実施例による自律移動機器の制御装置のブロック図である。

【発明を実施するための形態】

【0041】

以下、図面及び実施例を参照しながら、本願の具体的な実施形態をさらに詳細に説明する。以下の実施例は、本願を説明するためのものであり、本願の範囲を制限するものではない。

【0042】

まず、本願におけるいくつかの用語を紹介する。

【0043】

モデル圧縮：訓練されたネットワークモデル内のパラメータ冗長性を低減することによって、ネットワークモデルのストレージ占有量、通信帯域幅及び計算複雑度を軽減する方式である。

【0044】

モデル圧縮には、モデル枝刈り、モデル量子化及び／又は低ランク分解が含まれるが、これらに限定されない。

【0045】

モデル枝刈り：最適なネットワーク構造の探索過程を指す。モデル枝刈り過程には、１、ネットワークモデルの訓練と、２、重要ではない重み又はチャネルの枝刈りと、３、枝刈りされたネットワークの微調整又は再訓練といったステップが含まれる。そのうち、２番目のステップは、通常、反復的な層毎の枝刈り、高速微調整又は重み再構成を介して精度を維持する。

【0046】

量子化：モデルの量子化は、モデルを加速させる方法の総称であり、より桁数の少ないデータタイプで、限られた範囲（例えば３２桁）の浮動小数点型データを表現する過程となる。これにより、モデルサイズの大きさの減少、モデルのメモリ消費量の減少及びモデルの推論速度の加速等の目標が達成される。

【0047】

低ランク分解：ネットワークモデルの重み行列を、モデルの演算量の減少、モデルのメモリ占有量の低減という目的が達成されるように、元の行列よりも計算量が少なくなる複数の小さな行列に分解する。

【0048】

ＹＯＬＯモデル：基礎ネットワークモデルの１つであり、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、ＣＮＮ）ネットワークを介して、目標の測位及び認識を実現可能なニューラルネットワークモデルである。ＹＯＬＯモデルには、ＹＯＬＯ、ＹＯＬＯ ｖ２及びＹＯＬＯ ｖ３が含まれる。そのうち、ＹＯＬＯ ｖ３は、ＹＯＬＯ及びＹＯＬＯ ｖ２に続くＹＯＬＯシリーズの別の目標検出アルゴリズムであり、ＹＯＬＯ ｖ２に基づいて改良されたものである。ＹＯＬＯ ｖ３－ｔｉｎｙは、ＹＯＬＯ ｖ３の簡易版であり、ＹＯＬＯ ｖ３からいくつかの特徴層を取り除くことで、モデルの演算量を減少させ、演算をより速くするという効果を達成している。

【0049】

ＭｏｂｉｌｅＮｅｔモデル：深さ方向の分離可能な畳み込み（ｄｅｐｔｈｗｉｓｅ ｓｅｐａｒａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎ）を基本単位とするネットワークモデルである。その中で、深さ方向の分離可能な畳み込みは、デプスワイズ畳み込み（Ｄｅｐｔｈｗｉｓｅ、ＤＷ）とポイントワイズ畳み込み（Ｐｏｉｎｔｗｉｓｅ、ＰＷ）とに分解可能である。ＤＷは、標準畳み込みと異なり、標準畳み込みの場合、その畳み込みカーネルは、全ての入力チャネルに使用されるのに対して、ＤＷの場合、入力チャネル毎に、異なる畳み込みカーネルが採用され、つまり、１つの畳み込みカーネルが１つの入力チャネルに対応する。一方、ＰＷは、通常の畳み込みであるが、１×１の畳み込みカーネルを採用する。深さ方向の分離可能な畳み込みでは、まず、ＤＷを採用して異なる入力チャネルをそれぞれ畳み込み、次にＰＷを採用して上記の出力を結合するため、全体の計算結果は、１つの標準畳み込み過程の計算結果とほぼ同じになるが、計算量及びモデルのパラメータ量が大幅に減少されることになる。

【0050】

実施例１
図１は、本願の一実施例による自律移動（自走）機器の構造模式図であり、図１に示すように、当該システムは、制御アセンブリ１１０と、制御アセンブリ１１０と通信接続された画像収集アセンブリ１２０とを少なくとも含む。

【0051】

画像収集アセンブリ１２０は、自律移動機器の移動中の環境画像１３０を収集して、当該環境画像１３０を制御アセンブリ１１０に送信するためのものである。選択的に、画像収集アセンブリ１２０は、カメラやビデオカメラ等として実現されてもよく、本実施例では、画像収集アセンブリ１２０の実現方式が限定されない。

【0052】

選択的に、画像収集アセンブリ１２０の画角は、水平方向に１２０°であり、鉛直方向に６０°であるが、無論、画角は、他の数値であってもよく、本実施例では、画像収集アセンブリ１２０の画角の値が限定されない。画像収集アセンブリ１２０の画角は、自律移動機器の進行方向における環境画像１３０を取得できることを保証可能である。

【0053】

また、画像収集アセンブリ１２０の数量は、１つ又は複数であってもよく、本実施例では、画像収集アセンブリ１２０の数量が限定されない。

【0054】

制御アセンブリ１１０は、自律移動機器を制御するためのものである。例えば、自律移動機器の起動、停止の制御や、自律移動機器内の各アセンブリ（例えば画像収集アセンブリ１２０）の起動、停止の制御等を行う。

【0055】

本実施例において、制御アセンブリ１１０は、メモリと通信接続され、当該メモリにプログラムが記憶されており、当該プログラムは、制御アセンブリ１１０によってロードされて実行され、自律移動機器の移動中に、画像収集アセンブリ１２０によって収集された環境画像１３０を取得するステップと、画像認識モデルを取得するステップと、環境画像１３０が画像認識モデルに入力されて、環境画像１３０内の目標オブジェクトのカテゴリを指示するためのオブジェクト認識結果１４０が得られるように制御するステップとを少なくとも実現する。換言すれば、当該プログラムは、本願による自律移動機器の制御方法が実現されるように制御アセンブリ１１０によってロードされて実行される。

【0056】

一例において、環境画像に目標オブジェクトが含まれる場合、オブジェクト認識結果１４０は、当該目標オブジェクトのタイプとなり、環境画像に目標オブジェクトが含まれる場合、オブジェクト認識結果１４０は、空値となる。又は、環境画像に目標オブジェクトが含まれる場合、オブジェクト認識結果１４０は、目標オブジェクトが含まれる旨の指示（例えば、「１」で、目標オブジェクトが含まれることを指示する）及び当該目標オブジェクトのタイプとなり、環境画像に目標オブジェクトが含まれない場合、オブジェクト認識結果１４０は、目標オブジェクトが含まれない旨の指示（例えば、「０」で、目標オブジェクトが含まれないことを指示する）となる。

【0057】

そのうち、画像認識モデルは、動作時に占有する計算資源が、自律移動機器によって提供される最大計算資源よりも低い。

【0058】

選択的に、オブジェクト認識結果１４０には、目標オブジェクトの画像の環境画像１３０内での位置、サイズ等の情報が更に含まれてもよいが、これらに限定されない。

【0059】

選択的に、目標オブジェクトは、自律移動機器の作業領域内に位置するオブジェクトである。例えば、自律移動機器の作業領域が部屋である場合、目標オブジェクトは、部屋内のベッド、テーブル、椅子、人等のオブジェクトであってもよく、自律移動機器の作業領域が物流倉庫である場合、目標オブジェクトは、倉庫内の箱、人等であってもよく、本実施例では、目標オブジェクトのタイプが限定されない。

【0060】

選択的に、画像認識モデルは、モデル層数が第一数値未満となり、及び／又は、各々の層におけるノード数量が第二数値未満となるネットワークモデルである。そのうち、第一数値及び第二数値は、小さい整数とされることで、画像認識モデルが動作時に少ない計算資源を消費することを保証される。

【0061】

補足説明すべきなのは、本実施例において、自律移動機器は、例えば、自律移動機器を移動させるための移動アセンブリ（例えば、ホイール）、移動アセンブリを運動するように駆動する移動駆動アセンブリ（例えば、モータ）等の他のアセンブリを更に含んでもよく、そのうち、移動駆動アセンブリは、制御アセンブリ１１０と通信接続され、制御アセンブリ１１０の制御の下で、移動駆動アセンブリは動作して移動アセンブリを運動させることで、自律移動機器全体の運動が実現されるが、本実施例は、ここで、自律移動機器に含まれるアセンブリを一つ一つ列挙しない。

【0062】

また、自律移動機器は、掃除ロボット、自動芝刈り機、又は、自動走行機能を有する他の機器であってもよく、本願では、自律移動機器の機器タイプが限定されない。

【0063】

本実施例では、計算資源の消費が少ない画像認識モデルを使用して環境画像１３０内の目標オブジェクトを認識することで、オブジェクト認識方法による自律移動機器へのハードウェア要件を低減し、オブジェクト認識方法の適用範囲を拡大することができる。

【0064】

実施例２
以下、本願による自律移動機器の制御方法を詳細に紹介する。

【0065】

図２では、当該自律移動機器の制御方法が図１に示す自律移動機器に使用されるとともに、各ステップの実行主体が制御アセンブリ１１０である例を説明し、図２を参照して、当該方法は、以下のステップ２０１～２０３を少なくとも含む。

【0066】

ステップ２０１は、自律移動機器の移動中に、画像収集アセンブリによって収集された環境画像を取得することである。

【0067】

選択的に、画像収集アセンブリは、ビデオデータを収集するために使用され、この場合、環境画像は、当該ビデオデータ内の１フレームの画像データであってもよく、又は、画像収集アセンブリは、単一枚の画像データを収集するために使用され、この場合、環境画像は、画像収集アセンブリによって送信された単一枚の画像データとなる。

【0068】

ステップ２０２は、動作時に占有する計算資源が自律移動機器によって提供される最大計算資源よりも低い画像認識モデルを取得することである。

【0069】

本実施例では、計算資源が自律移動機器によって提供される最大計算資源よりも低い画像認識モデルを使用することで、画像認識モデルによる自律移動機器へのハードウェア要件を低減し、オブジェクト認識方法の適用範囲を拡大することができる。

【0070】

一例において、自律移動機器は、予め訓練して得られた画像認識モデルを読み取る。この場合、画像認識モデルは、小さなネットワーク検出モデルを訓練して得られたものである。小さなネットワーク検出モデルを訓練することは、小さなネットワーク検出モデルを取得することと、訓練データを取得することと、訓練画像を小さなネットワーク検出モデルに入力してモデル結果を得ることと、モデル結果と、訓練画像に対応する認識結果との間の差分に基づいて、小さなネットワーク検出モデルを訓練して画像認識モデルを得ることとを含む。

【0071】

そのうち、訓練データには、自律移動機器の作業領域内の各オブジェクトの訓練画像と、各々の訓練画像の認識結果とが含まれる。

【0072】

本実施例において、小さなネットワークモデルとは、モデル層数が第一数値未満となり、及び／又は、各々の層におけるノード数量が第二数値未満となるネットワークモデルを指す。ここで、第一数値及び第二数値は、何れも小さな整数である。例えば、小さなネットワーク検出モデルは、小型ＹＯＬＯ（ｔｉｎｙ ＹＯＬＯ）モデル、又は、ＭｏｂｉｌｅＮｅｔモデルである。無論、小さなネットワーク検出モデルは、他のモデルであってもよいが、本実施例は、ここで一つ一つ列挙しない。

【0073】

選択的に、画像認識モデルが動作時に占有する計算資源を更に削減するために、小さなネットワーク検出モデルを訓練して画像認識モデルを得た後、自律移動機器は、更に画像認識モデルに対してモデル圧縮処理を行って、オブジェクト認識用の画像認識モデルを得てもよい。

【0074】

選択的に、モデル圧縮処理には、モデル枝刈り、モデル量子化及び／又は低ランク分解等が含まれるが、これらに限定されない。

【0075】

選択的に、モデルに対して圧縮処理を行った後、自律移動機器は、画像認識モデルの認識精度を向上させるために、再び訓練データを使用して、圧縮された画像認識モデルを訓練してもよい。

【0076】

ステップ２０３は、環境画像が画像認識モデルに入力されて、目標オブジェクトのカテゴリを指示するためのオブジェクト認識結果が得られるように制御することである。

【0077】

選択的に、オブジェクト認識結果には、目標オブジェクトの画像の環境画像内での位置、及び／又はサイズ等の情報が更に含まれるが、これらに限定されない。

【0078】

上記をまとめて、本実施例による自律移動機器の制御方法は、自律移動機器の移動中に、画像収集アセンブリによって収集された環境画像を取得し、動作時に占有する計算資源が自律移動機器によって提供される最大計算資源よりも低い画像認識モデルを取得し、環境画像が画像認識モデルに入力されて、環境画像内の目標オブジェクトのカテゴリを指示するためのオブジェクト認識結果が得られるように制御することで、従来の画像認識アルゴリズムが掃除ロボットに対して高いハードウェア要件を求めていることに起因して掃除ロボットのオブジェクト認識機能の適用範囲が限られているという問題を、解決可能であり、計算資源の消費が少ない画像認識モデルを使用して環境画像内の目標オブジェクトを認識することで、オブジェクト認識方法による自律移動機器へのハードウェア要件を低減し、オブジェクト認識方法の適用範囲を拡大することができる。

【0079】

また、小さなネットワークモデルを採用して訓練及び学習して画像認識モデルを得ることで、オブジェクト認識過程の実現には、グラフィックプロセッサ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）と組み込みニューラルネットワークプロセッサ（Ｎｅｕｒａｌ－ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ、ＮＰＵ）との結合を必要としないため、オブジェクト認識方法による機器へのハードウェア要件を低減することができる。

【0080】

また、画像認識モデルに対してモデル圧縮処理を行って、オブジェクト認識用の画像認識モデルを得ることで、画像認識モデルが動作時に占有する計算資源を更に削減し、認識速度を向上させ、オブジェクト認識方法の適用範囲を拡大することができる。

【0081】

選択的に、上記実施例によれば、本願では、自律移動機器は、オブジェクト認識結果を得た後、更に当該オブジェクト認識結果に基づいて、自律移動機器を、対応するタスクを遂行するために移動するように制御する。当該タスクには、例えば椅子やペットの糞等の一部の物品に対する障害物回避タスク、例えばドアや窓、充電アセンブリ等の一部の物品に対する測位タスク、人に対する監視及び追跡タスク、例えば液体のような特定物品に対する清掃タスク、及び／又は、自動帰還充電タスクの達成が含まれるが、これらに限定されない。以下、異なるオブジェクト認識結果に対応して実行されるタスクを紹介する。

【0082】

選択的に、自律移動機器に液体清掃アセンブリが装着されている。この場合、ステップ２０３の後に、オブジェクト認識結果に基づいて、自律移動機器を、対応するタスクを遂行するために移動するように制御することは、環境画像に液体画像が含まれることをオブジェクト認識結果が指示する場合、自律移動機器を、液体画像に対応するクリーニングすべき領域まで移動するように制御することと、液体清掃アセンブリを使用してクリーニングすべき領域内の液体を清掃することとを含む。

【0083】

一例において、液体清掃アセンブリは、自律移動機器のホイール本体の周辺に装着された吸水性モップを含む。環境画像内に液体画像が存在する場合、自律移動機器を、液体画像に対応するクリーニングすべき領域へ移動するように制御して、自律移動機器のホイール本体をクリーニングすべき領域に通過させることで、吸水性モップによって床面の液体が吸収される。自律移動機器に洗浄プール及び貯水プールが更に設けられており、洗浄プールは、ホイール本体の下方に位置し、ウォーターポンプは、貯水プール内の水を吸引して、管路を介してノズルからホイール本体に噴き付けて、吸水性モップ上の汚れを洗浄プールまで洗い流す。ホイール本体には、吸水性モップを絞るための押しローラが更に設けられている。

【0084】

無論、上記液体清掃アセンブリは、単なる例示であり、実際の実現の際、液体清掃アセンブリは、他の方式で実現されてもよいが、本実施例は、ここで一つ一つ列挙しない。

【0085】

オブジェクト認識結果に基づいて、対応する作業ポリシーを実行する方式をより明確に理解するために、図３及び図４に示す液体清掃作業ポリシーの実行の模式図を参照されたい。図３及び図４から分かるように、自律移動機器は、環境画像を収集した後、画像認識モデルを使用して環境画像のオブジェクト認識結果を得て、当該オブジェクト認識結果として現在環境に液体が含まれる場合、液体清掃アセンブリ３１を使用して当該液体を清掃する。

【0086】

選択的に、本実施例において、自律移動機器は、掃除ロボットであり、この場合、当該自律移動機器は、乾いたゴミと湿ったゴミとの両方を除去する機能を有する。

【0087】

本実施例では、環境画像内に液体画像が存在する場合、液体清掃アセンブリを起動することで、自律移動機器が液体を迂回することに起因して清掃タスクを完了できなくなるという問題を回避でき、自律移動機器の清掃効果を向上させることができる。それに、液体が自律移動機器の内部に進入して回路に損傷を与えることを回避でき、自律移動機器が損傷するリスクを低減できる。

【0088】

選択的に、上記実施例によれば、自律移動機器に給電アセンブリが装着されている。オブジェクト認識結果に基づいて、自律移動機器を、対応するタスクを遂行するために移動するように制御することは、給電アセンブリの残電量が電量閾値以下であり、且つ環境画像に充電アセンブリの画像が含まれる場合、自律移動機器が充電アセンブリの画像位置に応じて充電アセンブリの実際位置を確定することと、自律移動機器を、充電アセンブリへ移動するように制御することとを含む。

【0089】

自律移動機器が充電アセンブリの画像を撮影した後、当該画像の環境画像内での位置に応じて、自律移動機器に対する充電アセンブリの方向を確定できるため、自律移動機器は、大まかに確定された方向に従って充電アセンブリへ移動することができる。

【0090】

選択的に、充電アセンブリへの自律移動機器の移動の正確度を向上させるために、自律移動機器には、充電アセンブリ上の充電インターフェースの位置を測位するための装着有測位センサが更に設けられている。この場合、自律移動機器は、自律移動機器が制御されて充電アセンブリへ移動中に、測位センサを、充電アセンブリの位置を測位して測位結果を得るように制御し、自律移動機器を、自律移動機器と充電インターフェースとのドッキングを実現するために測位結果に従って移動するように制御する。

【0091】

一例において、測位センサは、レーザーセンサである。この場合、充電アセンブリの充電インターフェースは、異なる角度のレーザー信号を放出し、測位センサは、受信したレーザー信号の角度差に基づいて充電インターフェースの位置を確定する。

【0092】

無論、測位センサは、他のタイプのセンサであってもよく、本実施例では、測位センサのタイプが限定されない。

【0093】

オブジェクト認識結果に基づいて、対応する作業ポリシーを実行する方式をより明確に理解するために、図５及び図６に示す液体清掃作業ポリシーの実行の模式図を参照されたい。図５及び図６から分かるように、自律移動機器は、環境画像を収集した後、画像認識モデルを使用して環境画像のオブジェクト認識結果を得て、当該オブジェクト認識結果として現在環境に充電アセンブリ５１が含まれる場合、測位センサ５２を使用して充電アセンブリ５１上の充電インターフェース５３の位置を測位し、充電インターフェース５３へ移動して、充電インターフェースと充電アセンブリ５１との電気的な接続を介した自律移動機器の充電が実現されるようにする。

【0094】

本実施例では、画像認識モデルを介して充電アセンブリを認識し、充電アセンブリの付近に移動することで、自律移動機器が充電のために充電アセンブリへ自動帰還することを実現し、自律移動機器のスマート化を向上させることができる。

【0095】

また、測位センサを介して充電アセンブリ上の充電インターフェースの位置を確定することで、充電アセンブリへの自律移動機器の自動帰還時の正確性を向上させ、自動充電効率を向上させることができる。

【0096】

実施例３
図７は、本願の一実施例による自律移動機器の制御装置のブロック図であり、本実施例は、当該装置が図１に示す自律移動機器に適用される例を説明する。当該装置は、画像取得モジュール７１０、モデル取得モジュール７２０及び機器制御モジュール７３０を少なくとも含む。

【0097】

画像取得モジュール７１０は、前記自律移動機器の移動中に、前記画像収集アセンブリによって収集された環境画像を取得するためのものであり、
モデル取得モジュール７２０は、動作時に占有する計算資源が前記自律移動機器によって提供される最大計算資源よりも低い画像認識モデルを取得するためのものであり、
機器制御モジュール７３０は、前記環境画像が前記画像認識モデルに入力されて、目標オブジェクトのカテゴリを指示するためのオブジェクト認識結果が得られるように制御するためのものである。

【0098】

関連する詳細については、上記方法の実施例を参照されたい。

【0099】

説明すべきなのは、上記実施例で提供される自律移動機器の制御装置による自律移動機器の制御の場合について、上記各機能モジュールの区分けのみを例として説明したが、実際の応用では、必要に応じて、上記機能を、異なる機能モジュールに割り当てて遂行させてもよく、即ち、自律移動機器の制御装置の内部構造を異なる機能モジュールに区分けして、上記で説明された全て又は一部の機能を遂行させてもよい。また、上記実施例による自律移動機器の制御装置は、自律移動機器の制御方法の実施例と同じ構想に属し、その具体的な実現過程の詳細について、方法の実施例を参照されたく、ここで繰り返して述べない。

【0100】

実施例４
図８は、本願の一実施例による自律移動機器の構造模式図であり、図８に示すように、当該システムは、制御アセンブリ８１０及び制御アセンブリ８１０に通信接続の画像収集アセンブリ８２０を少なくとも含む。

【0101】

画像収集アセンブリ８２０は、シーン画像を収集して、当該シーン画像を制御アセンブリ８１０に送信するためのものである。選択的に、画像収集アセンブリ８２０は、カメラやビデオカメラ等として実現されてもよく、本実施例では、画像収集アセンブリ８２０の実現方式が限定されない。

【0102】

選択的に、画像収集アセンブリ８２０の画角は、水平方向に２０°であり、鉛直方向に６０°であるが、無論、画角は、他の数値であってもよく、本実施例では、画像収集アセンブリ１２０の画角の値が限定されない。画像収集アセンブリ８２０の画角は、自律移動機器の進行方向におけるシーン画像を収集できることを保証可能である。

【0103】

また、画像収集アセンブリ８２０の数量は、１つ又は複数であってもよく、本実施例では、画像収集アセンブリ８２０の数量が限定されない。

【0104】

制御アセンブリ８１０は、自律移動機器を制御するためのものである。例えば、自律移動機器の起動、停止の制御や、自律移動機器内の各アセンブリ（例えば画像収集アセンブリ８２０）の起動、停止の制御等を行う。

【0105】

本実施例において、制御アセンブリ８１０は、メモリと通信接続され、当該メモリにプログラムが記憶されており、当該プログラムは、制御アセンブリ８１０によってロードされて実行され、自律移動機器の移動中に、画像収集アセンブリ８２０によって収集されたシーン画像８３０を取得するステップと、シーン画像８３０を画像認識して、現在シーン内に位置するオブジェクトの属性情報を指すオブジェクト情報８４０を得るステップと、シーン認識モデルを取得するステップと、オブジェクト情報８４０がシーン認識モデルに入力されて、現在シーンのシーンタイプ８５０が得られるように制御するステップとを少なくとも実現する。換言すれば、当該プログラムは、本願による自律移動機器の制御方法が実現されるように、制御アセンブリ８１０によってロードされて実行される。

【0106】

そのうち、シーン認識モデルは、サンプルオブジェクト情報８４０と、サンプルオブジェクト情報８４０に対応するサンプルシーンタイプ８５０とに基づいて訓練して得られたものである。

【0107】

選択的に、オブジェクトの属性情報には、オブジェクトのタイプ、オブジェクトの画像のシーン画像８３０内での位置が含まれるが、これらに限定されない。

【0108】

シーンタイプ８５０は、自律移動機器が現在置かれている作業環境のタイプを指示するためのものであり、シーンタイプ８５０の区分け方式は、自律移動機器の作業環境に応じて設定される。例えば、自律移動機器の作業環境が部屋であれば、シーンタイプ８５０には、寝室タイプ、キッチンタイプ、書斎タイプ、浴室タイプ等が含まれ、本実施例では、シーンタイプ８５０の区分け方式が限定されない。

【0109】

補足説明すべきなのは、本実施例において、自律移動機器は、例えば、自律移動機器を移動させるための移動アセンブリ（例えば、ホイール）、移動アセンブリを運動するように駆動する移動駆動アセンブリ（例えば、モータ）等の他のアセンブリを更に含んでもよく、そのうち、移動駆動アセンブリは、制御アセンブリ８１０と通信接続され、制御アセンブリ８１０の制御の下で、移動駆動アセンブリは動作して移動アセンブリを運動させることで、自律移動機器全体の運動が実現されるが、本実施例は、ここで、自律移動機器に含まれるアセンブリを一つ一つ列挙しない。

【0110】

また、自律移動機器は、掃除ロボット、自動芝刈り機、又は、自動走行機能を有する他の機器であってもよく、本願では、自律移動機器の機器タイプが限定されない。

【0111】

本実施例では、シーン認識モデルを使用してシーンタイプを認識することで、自律移動機器は、現在の作業環境のシーンタイプを認識して、より多くの情報をユーザに提供することができる。

【0112】

実施例５
図９は、本願の一実施例による自律移動機器の制御方法のフローチャートであり、本実施例は、当該方法が図８に示す自律移動機器に適用されるとともに、各ステップの実行主体が当該システム内の制御アセンブリ８１０である例を説明する。当該方法は、以下のステップ９０１～９０４を少なくとも含む。

【0113】

ステップ９０１は、自律移動機器の移動中に、画像収集アセンブリによって収集されたシーン画像であって、自律移動機器が置かれている現在シーンの画像となるシーン画像を取得することである。

【0114】

選択的に、画像収集アセンブリは、ビデオデータを収集するために使用され、この場合、シーン画像は、当該ビデオデータ内の１フレームの画像データであってもよく、又は、画像収集アセンブリは、単一枚の画像データを収集するために使用され、この場合、シーン画像は、画像収集アセンブリによって送信された単一枚の画像データとなる。

【0115】

ステップ９０２は、シーン画像を画像認識して、現在シーン内に位置するオブジェクトの属性情報を指すオブジェクト情報を得ることである。

【0116】

一例において、自律移動機器に画像認識モデルが記憶されている。シーン画像を画像認識する場合、自律移動機器は、画像認識モデルを取得し、シーン画像を当該画像認識モデルに入力してオブジェクト情報を得る。

【0117】

選択的に、オブジェクト認識過程による自律移動機器へのハードウェア要件を低減するために、画像認識モデルは、動作時に占有する計算資源が自律移動機器によって提供される最大計算資源よりも低い。

【0118】

一例において、画像認識モデルは、小さなネットワークモデルに基づいてサンプルシーン画像及びサンプルオブジェクト結果を使用して訓練してえられたものである。そのうち、小さなネットワークモデルとは、モデル層数が第一数値未満となり、及び／又は、各々の層におけるノード数量が第二数値未満となるネットワークモデルを指す。ここで、第一数値及び第二数値は、何れも小さな整数である。例えば、小さなネットワークモデルは、小型ＹＯＬＯモデル、又は、ＭｏｂｉｌｅＮｅｔモデルである。無論、小さなネットワークモデルは、他のモデルであってもよいが、本実施例は、ここで一つ一つ列挙しない。

【0119】

選択的に、画像認識モデルが動作時に占有する計算資源を更に削減するために、小さなネットワークモデルを訓練して画像認識モデルを得た後、自律移動機器は、更に画像認識モデルに対してモデル圧縮処理を行って、オブジェクト認識用の画像認識モデルを得てもよい。そのうち、モデル圧縮処理には、モデル枝刈り、モデル量子化及び／又は低ランク分解等が含まれるが、これらに限定されない。

【0120】

無論、他の実施例において、画像認識モデルは、ディープニューラルネットワークモデルに基づいて確立されてもよく、例えば、畳み込みニューラルネットワークに基づいて確立される。

【0121】

選択的に、オブジェクトは、自律移動機器の作業領域内のオブジェクトである。例えば、テーブル、ベッド、椅子、ソファ等である。オブジェクトの属性情報には、オブジェクトのタイプ情報が含まれる。オブジェクトのタイプ情報は、自律移動機器の作業環境に基づいて区分けされたものであり、例えば、自律移動機器の作業環境が部屋である場合、オブジェクトのタイプ情報には、テーブルタイプ、椅子タイプ、ソファタイプ、液体タイプ、充電ステーションタイプ等が含まれ、本実施例では、オブジェクトのタイプ区分け方式が限定されない。

【0122】

無論、オブジェクトの属性情報には、例えば、オブジェクトのシーン画像内での位置情報、オブジェクトのサイズ等の他の情報が更に含まれてもよく、本実施例では、オブジェクトの属性情報に含まれる具体的な内容が限定されない。

【0123】

選択的に、モデルに対して圧縮処理を行った後、自律移動機器は、画像認識モデルの認識精度を向上させるために、再び訓練データを使用して、圧縮された画像認識モデルを訓練してもよい。

【0124】

ステップ９０３は、サンプルオブジェクト情報と、サンプルオブジェクト情報に対応するサンプルシーンタイプとに基づいて訓練して得られたシーン認識モデルを取得することである。

【0125】

一例において、自律移動機器は、予め訓練して得られたシーン認識モデルを読み取り、当該シーン認識モデルは、確率モデルを訓練して得られたものである。この場合、シーン認識モデルを取得する前に、確率モデルを訓練する必要があり、訓練確率モデルは、確率モデルを取得することと、各オブジェクトのサンプル属性情報と、各々のサンプル属性情報に対応するサンプルシーンタイプとが含まれる訓練データを取得することと、サンプル属性情報を確率モデルに入力してモデル結果を得ることと、モデル結果とサンプルシーンタイプとの間の差分に基づいて、確率モデルを訓練してシーン認識モデルを得ることとを含む。

【0126】

本実施例では、サンプルオブジェクト情報と、サンプルオブジェクト情報に対応するサンプルシーンとに基づいて訓練して得られたシーン認識モデルを使用することで、自律移動機器にシーンタイプの認識機能を持たせることができ、自律移動機器のスマート性を向上させることができる。

【0127】

ステップ９０４は、オブジェクト情報がシーン認識モデルに入力されて、現在シーンのシーンタイプが得られるように制御することである。

【0128】

選択的に、シーンタイプは、自律移動機器の作業環境に基づいて予め区分けして得られたものである。一例において、自律移動機器の作業環境は部屋であり、シーンタイプには、キッチンタイプ、リビングタイプ、寝室タイプ、浴室タイプ、納戸タイプ、及び／又は書斎タイプが含まれるが、これらに限定されない。この場合、現在シーンのシーンタイプは、予め区分けされたシーンタイプの１つ又は複数となる。

【0129】

本願によるシーン認識方法をより明確に理解するために、以下、当該シーン認識方法について、例を挙げて説明する。図１０を参照して、自律移動機器は、画像収集アセンブリ８２０を使用してシーン画像を収集した後、当該シーン画像を画像認識モデルに入力してオブジェクト情報３２を得て、オブジェクト情報をシーン認識モデルに出力した後、現在シーンのシーンタイプ３３を得る。

【0130】

選択的に、シーン認識モデルから各々のシーンタイプの信頼度が更に出力され、信頼度は、出力された各々のシーンタイプの正確度を指示するためのものである。この場合、ステップ９０４の後に、自律移動機器は、シーンタイプを信頼度の高いものから低いものへの順序に従ってソートし、ソート順位が上位のＮ位までのシーンタイプを出力する。Ｎは、１よりも大きい整数である。

【0131】

選択的に、Ｎの値が自律移動機器に格納されており、Ｎの値は、３、２等であってもよく、本実施例では、Ｎの値が限定されない。シーン認識モデルから出力されたシーンタイプの個数がＮ未満である場合、自動機器は、全てのシーンタイプを出力する。

【0132】

一例において、ユーザ端末は、自律移動機器と通信接続され、この場合、上位のＮ位までのシーンタイプを出力することは、ユーザ端末に上位のＮ位までのシーンタイプを表示させるために、上位のＮ位までのシーンタイプをユーザ端末に送信する。

【0133】

別例において、自律移動機器には、例えば表示スクリーン又はオーディオ再生アセンブリなどの情報出力アセンブリが装着されており、この場合、上位のＮ位までのシーンタイプを出力することは、出力アセンブリを介して上位のＮ位までのシーンタイプを出力することを含む。

【0134】

選択的に、自律移動機器は、現在シーンのシーンタイプを確定した後、更に現在シーンのシーンタイプに応じて、対応する作業ポリシーを確定し、自律移動機器を、清掃ポリシーに従って清掃作業を実行するように制御する。

【0135】

一例において、自律移動機器は、床面クリーニング機器である。この場合、現在シーンのシーンタイプが乾き領域タイプである場合、対応する作業ポリシーを、第一清掃アセンブリを使用して現在シーンを清掃することであると確定し、自律移動機器を、第一清掃アセンブリを使用して現在シーンを清掃するように制御し、現在シーンのシーンタイプが湿り領域タイプである場合、対応する作業ポリシーを、第二清掃アセンブリを使用して現在シーンを清掃することであると確定し、第二清掃アセンブリを使用して現在シーンを清掃する。

【0136】

そのうち、乾き領域タイプには、寝室タイプ、書斎タイプ及び／又はリビングタイプが含まれるが、これらに限定されなくい。それに合わせて、第一清掃アセンブリは、例えば毛ブラシ等、ほこりを清掃するためのアセンブリとなる。湿り領域タイプには、キッチンタイプ及び／又は浴室タイプが含まれるが、これらに限定されない。それに合わせて、第二清掃アセンブリは、例えば吸水性モップ等、液体を清掃するためのアセンブリとなる。

【0137】

無論、自律移動機器の異なる作業環境に応じて、対応する作業ポリシーは、他の作業ポリシーであってもよいが、本実施例は、ここで一つ一つ列挙しない。

【0138】

上記をまとめて、本実施例による自律移動機器の制御方法は、前記画像収集アセンブリによって収集されたシーン画像を取得し、シーン画像を画像認識して、現在シーン内に位置するオブジェクトの属性情報を指すオブジェクト情報を得て、サンプルオブジェクト情報と、サンプルオブジェクト情報に対応するサンプルシーンタイプとに基づいて訓練して得られたシーン認識モデルを取得し、オブジェクト情報がシーン認識モデルに入力されて、現在シーンのシーンタイプが得られるように制御することで、自律移動機器が現在シーンのシーンタイプを判断できないという問題を解決可能であり、シーン認識モデルを使用することで、自律移動機器が現在置かれているシーンのシーンタイプを判断できるため、シーンタイプに対する認識を実現して、自律移動機器のスマート性を向上させることができる。

【0139】

また、シーン認識モデルから出力されたシーンタイプの信頼度を取得して、信頼度の最も高いＮ個のシーンタイプを出力することで、出力結果の正確性を高めることができる。

【0140】

実施例６
図１１は、本願の一実施例による自律移動機器の制御装置のブロック図であり、本実施例は、当該装置が図８に示す自律移動機器内の制御アセンブリ８１０に適用される例を説明する。当該装置は、画像取得モジュール１１１０、画像認識モジュール１１２０、モデル取得モジュール４３０及び機器制御モジュール１１４０を少なくとも含む。

【0141】

画像取得モジュール１１１０は、前記自律移動機器の移動中に、前記画像収集アセンブリによって収集されたシーン画像であって、前記自律移動機器が置かれている現在シーンの画像となるシーン画像を取得するためのものであり、
画像認識モジュール１１２０は、前記シーン画像を画像認識して、前記現在シーン内に位置するオブジェクトの属性情報を指すオブジェクト情報を得るためのものであり、
モデル取得モジュール１１３０は、サンプルオブジェクト情報と、前記サンプルオブジェクト情報に対応するサンプルシーンタイプとに基づいて訓練して得られたシーン認識モデルを取得するためのものであり、
機器制御モジュール１１４０は、前記オブジェクト情報が前記シーン認識モデルに入力されて、前記現在シーンのシーンタイプが得られるように制御するためのものである。

【0142】

関連する詳細については、上記方法の実施例を参照されたい。

【0143】

説明すべきなのは、上記実施例で提供される自律移動機器によるシーン認識の場合について、上記各機能モジュールの区分けのみを例として説明したが、実際の応用では、必要に応じて、上記機能を、異なる機能モジュールに割り当てて遂行させてもよく、即ち、自律移動機器の内部構造を異なる機能モジュールに区分けして、上記で説明された全て又は一部の機能を遂行させてもよい。また、上記実施例による自律移動機器の制御方法は、自律移動機器の制御装置の実施例と同じ構想に属し、その具体的な実現過程について、方法の実施例を参照されたく、ここで繰り返して述べない。

【0144】

実施例７
図１２は、本願の一実施例による自律移動機器の構造模式図であり、図１２に示すように、当該システムは、制御アセンブリ１２１０と、制御アセンブリ１２１０と通信接続された画像収集アセンブリ１２２０とを少なくとも含む。

【0145】

画像収集アセンブリ１２２０は、自律移動機器の移動中の環境画像１２３０を収集して、当該環境画像１２３０を制御アセンブリ１２１０に送信するためのものである。選択的に、画像収集アセンブリ１２２０は、カメラやビデオカメラ等として実現されてもよく、本実施例では、画像収集アセンブリ１２２０の実現方式が限定されない。

【0146】

選択的に、画像収集アセンブリ１２２０の画角は、水平方向に１２０°であり、鉛直方向に６０°であるが、無論、画角は、他の数値であってもよく、本実施例では、画像収集アセンブリ１２０の画角の値が限定されない。画像収集アセンブリ１２２０の画角は、自律移動機器の進行方向における環境画像１２３０を収集できることを保証可能である。

【0147】

また、画像収集アセンブリ１２２０の数量は、１つ又は複数であってもよく、本実施例では、画像収集アセンブリ１２２０の数量が限定されない。

【0148】

制御アセンブリ１２１０は、自律移動機器を制御するためのものである。例えば、自律移動機器の起動、停止の制御や、自律移動機器内の各アセンブリ（例えば画像収集アセンブリ１２２０）の起動、停止の制御等を行う。

【0149】

本実施例において、制御アセンブリ１２１０は、メモリと通信接続され、当該メモリにプログラムが記憶されており、当該プログラムは、制御アセンブリ１２１０によってロードされて実行され、自律移動機器が置かれている作業領域のエッジ情報１２４０を取得するステップと、移動時に収集された環境画像１２３０を取得するステップと、環境画像１２３０に基づいて通行ドア情報を獲得するステップと、通行ドア情報及びエッジ情報１２４０に基づいて、作業領域内の独立領域１２５０を区分けするステップとを少なくとも実現する。換言すれば、当該プログラムは、本願による自律移動機器の制御方法が実現されるように制御アセンブリ１２１０によってロードされて実行される。

【0150】

独立領域１２５０とは、作業領域における他の領域とは属性が異なる領域を指す。例えば、部屋のうち、寝室領域、リビング領域、ダイニング領域、キッチン領域等である。異なる独立領域は、通常、通行ドア及び壁によって区分けされるため、壁と床面との間の境界線は、エッジ情報によって獲得可能であり、通行ドアの位置は、通行ドア情報によって獲得可能であり、その結果、エッジ情報と通行ドア情報との結合によって、領域の区分けを行うことが可能である。

【0151】

そのうち、エッジ情報１２４０とは、各々の独立領域の床面境界の情報を指し、当該エッジ情報には、対応する床面境界の位置及び長さが含まれる。通行ドア情報とは、各々の独立領域内の通行ドアの情報を指し、通行ドア情報には、ドア枠及び／又はドアの作業領域内での位置情報が含まれる。通行ドアとは、人、自律移動機器及び／又は他のオブジェクトが或る独立領域に出入り可能なドアを指す。通行ドアは、オープン型の仮想的なドア（即ち、ドアパネル等の仕切り物体のないドア）、又は物理的なドアであてもよく、本実施例では、通行ドアのタイプが限定されない。

【0152】

補足説明すべきなのは、ドア枠及び／又はドアの作業領域内での位置情報とは、床面への垂直投影方向において、ドア枠及び／又はドアの投影位置が作業領域内にある地理的位置を指す。

【0153】

選択的に、作業領域内の独立領域１２５０を区分けした後、制御アセンブリ１２１０は、環境画像１２３０に基づいて、対応する独立領域１２５０のシーン予測結果１２６０を確定するステップと、独立領域１２５０のシーン予測結果１２６０に応じて、独立領域のシーンタイプ１２７０を確定するステップとを更に実現してもよい。

【0154】

シーンタイプ１２７０は、自律移動機器が現在置かれている独立領域のタイプを指示するためのものであり、シーンタイプ１２７０の区分け方式は、自律移動機器の作業領域に応じて設定される。例えば、自律移動機器の作業領域が部屋であれば、シーンタイプ１２７０には、寝室タイプ、キッチンタイプ、書斎タイプ、浴室タイプ等が含まれ、本実施例では、シーンタイプ１７０の区分け方式が限定されない。

【0155】

補足説明すべきなのは、本実施例において、自律移動機器は、例えば、自律移動機器を移動させるための移動アセンブリ（例えば、ホイール）、移動アセンブリを運動するように駆動する移動駆動アセンブリ（例えば、モータ）等の他のアセンブリを更に含んでもよく、そのうち、移動駆動アセンブリは、制御アセンブリ１１０と通信接続され、制御アセンブリ１２１０の制御の下で、移動駆動アセンブリは動作して移動アセンブリを運動させることで、自律移動機器全体の運動が実現されるが、本実施例は、ここで、自律移動機器に含まれるアセンブリを一つ一つ列挙しない。

【0156】

また、自律移動機器は、掃除ロボット、自動芝刈り機、又は、自動走行機能を有する他の機器であってもよく、本願では、自律移動機器の機器タイプが限定されない。

【0157】

本実施例では、エッジ情報と通行ドア情報とを結合して、作業領域を複数の独立領域に区分けすることで、従来技術が作業領域の区分けを実現できないという問題を解決可能であり、作業領域の区分けを実現し、区分けされた独立領域に従って、個別化された作業を行う効果を達成することができる。また、通行ドアは、オープン型の仮想的なドアであってもよいため、当該仮想的なドアの情報とエッジ情報とを結合して各々の独立領域の領域境界を得ることで、対応する独立領域を区分けすることができ、オーブン型ドアシーンに対する領域区分けを実現し、領域区分けの正確度を向上させることができる。

【0158】

実施例８
以下、本願による自律移動機器の制御方法を詳細に紹介する。

【0159】

図１３は、自律移動機器の制御方法のフローチャートであり、図１３では、当該自律移動機器の制御方法が図１に示す自律移動機器に用いられるとともに、各ステップの実行主体が制御アセンブリ１２１０である例を説明し、当該方法は、以下のステップ１３０１～１３０４を少なくとも含む。
ステップ１３０１は、自律移動機器が置かれている作業領域のエッジ情報を取得することである。

【0160】

エッジ情報とは、各々の独立領域の床面境界の情報を指し、当該エッジ情報には、対応する床面境界の位置及び長さが含まれる。エッジ情報とは、自律移動機器の移動中に、エッジワイズ走行で獲得された経路情報である。

【0161】

選択的に、自律移動機器は、エッジワイズ走行の機能を有し、当該機能では、自律移動機器が壁と床面とで形成された境界に沿って走行すれば、当該境界のエッジ情報を取得でき、自律移動機器が物体（例えば、キャビネット、テーブル、ベッド等）と床面とで形成された境界に沿って走行すれば、当該境界のエッジ情報を取得できる。

【0162】

ステップ１３０２は、移動時に収集された環境画像を取得することである。

【0163】

自律移動機器は、作業領域内を移動する際の作業時間（タイムスタンプとも言う）と、当該作業時間に対応する環境画像を記録する。作業領域に対する作業が完了した後、当該環境画像を読み取る。

【0164】

一例において、自律移動機器は、今回の作業が完了した後、今回の作業の開始時間及び終了時間に応じて、記憶済みの環境画像から、開始時間～終了時間に対応する期間内の環境画像を読み取る。

【0165】

ステップ１３０３は、環境画像に基づいて通行ドア情報を獲得することである。

【0166】

環境画像に通行ドアの画像が含まれるかどうかを認識し、環境画像に通行ドアの画像が含まれる場合、通行ドアの作業領域内での位置情報を取得する。

【0167】

そのうち、通行ドアとは、自律移動機器が独立領域に進入するか又は独立領域から退出する通路である。通行ドアは、ドア枠、フェンス開口等であってもよく、本実施例では、通行ドアのタイプが限定されない。一例において、通行ドアは、作業領域内のドア枠を含む。
一例において、自律移動機器に画像認識モデルが記憶されており、自律移動機器は、環境画像を画像認識モデルに入力して、目標オブジェクトの属性情報が含まれるオブジェクト認識結果を得る。オブジェクト認識結果に通行ドア情報が含まれる場合、環境画像に通行ドアの画像が含まれると確定し、オブジェクト認識結果に通行ドア情報が含まれない場合、環境画像に通行ドアの画像含まれないと確定する。そのうち、目標オブジェクトは、通行ドアを含む。

【0168】

画像認識モデルは、小さなネットワークモデルに基づいてサンプル環境画像及びサンプルオブジェクト結果を使用して訓練して得られたものである。

【0169】

選択的に、画像認識過程による自律移動機器へのハードウェア要件を低減するために、画像認識モデルは、動作時に占有する計算資源が自律移動機器によって提供される最大計算資源よりも低い。画像認識モデルは、小さなネットワークモデルに基づいて訓練データを使用して訓練して得られたものである。そのうち、訓練データには、自律移動機器の作業領域内の各オブジェクトの訓練画像と、各々の訓練画像の認識結果とが含まれる。小さなネットワークモデルとは、モデル層数が第一数値未満となり、及び／又は、各々の層におけるノード数量が第二数値未満となるネットワークモデルを指す。ここで、第一数値及び第二数値は、何れも小さな整数である。例えば、小さなネットワークモデルは、小型ＹＯＬＯモデル、又は、ＭｏｂｉｌｅＮｅｔモデルである。無論、小さなネットワークモデルは、他のモデルであってもよいが、本実施例は、ここで一つ一つ列挙しない。

【0170】

選択的に、画像認識モデルが動作時に占有する計算資源を更に削減するために、訓練により画像認識モデルを得た後、自律移動機器は、更に画像認識モデルに対してモデル圧縮処理を行ってもよい。モデル圧縮処理には、モデル枝刈り、モデル量子化及び／又は低ランク分解等が含まれるが、これらに限定されない。

【0171】

そのうち、オブジェクト認識結果には、目標オブジェクトの属性情報、例えばオブジェクトのタイプ、オブジェクトの大きさ、オブジェクトの在環境画像内での位置情報が含まれる。目標オブジェクトには、通行ドアの他に、ベッド、テーブル、ソファ等の生活用品が更に含まれてもよく、本実施例では、目標オブジェクトのタイプが限定されない。

【0172】

選択的に、通行ドアの作業領域内での位置情報を取得することは、画像認識モデルから出力された環境画像内の通行ドアと自律移動機器との間の第一距離を取得することと、当該環境画像の収集時におけるエッジ情報によって指示される境界との間の第二距離を取得することと、第一距離及び第二距離に応じて、エッジ情報によって指示される境界に対する通行ドアの位置を確定して、通行ドアの位置情報を得ることとを含む。又は、自律移動機器に測位アセンブリが装着されており、自律移動機器は、画像認識モデルから出力された環境画像内の通行ドアと自律移動機器との間の第一距離を取得し、当該環境画像の収集時に測位アセンブリによって取得された測位情報を収集し、第一距離及び測位情報に応じて、通行ドアの位置情報を得る。無論、自律移動機器が通行ドアの位置情報を取得する方式は、他の方式であってもよいが、本実施例は、ここで一つ一つ列挙しない。

【0173】

ステップ１３０４は、通行ドア情報及びエッジ情報に基づいて、作業領域内の独立領域を区分けすることである。

【0174】

作業領域内の１つ又は複数の独立領域、例えばオープン型キッチン等の領域は、完全に閉じられたものではなく、作業領域内の他の領域と連通しているものである可能性があるため、この場合、自律移動機器のエッジ情報だけでは、当該独立領域と他の領域とを区別することができない。これに鑑みて、本実施例では、エッジ情報と通行ドア情報とを結合することで、オープン型の独立領域を確定して、領域区分けの正確性を向上させることができる。

【0175】

通行ドア情報及びエッジ情報に基づいて、作業領域内の独立領域を区分けすることは、通行ドア情報によって指示される対応する通行ドアの作業領域内での位置情報を取得することと、エッジ情報と位置情報とを結合して、結合された境界情報を得ることと、結合された境界情報によって構成される各閉領域を、対応する独立領域として区分けする。

【0176】

そのうち、エッジ情報は、自律移動機器のエッジワイズ走行で得られたものである。

【0177】

例えば、自律移動機器は掃除機であり、掃除機は、ユーザの家全体をクリーニングした後に家のエッジ情報を取得し、その後、清掃中に収集された環境画像を取得して、各々の環境画像を認識し、環境画像に通行ドアの画像が含まれる場合に当該通行ドアの位置情報を取得し、当該位置情報とエッジ情報とを結合した後、複数の閉図形を得て、各々の閉図形は、１つの独立領域に対応する。

【0178】

上記をまとめて、本実施例による自律移動機器の制御方法は、自律移動機器が置かれている作業領域のエッジ情報を取得し、移動時に収集された環境画像を取得し、環境画像に基づいて通行ドア情報を獲得し、通行ドア情報及びエッジ情報に基づいて、作業領域内の独立領域を区分けすることで、従来技術が作業領域の区分けを実現できないという問題を解決可能であり、作業領域の区分けを実現し、区分けされた独立領域に従って、個別化された作業を行う効果を達成することができる。また、通行ドアは、オープン型の仮想的なドアであってもよいため、当該仮想的なドアの情報とエッジ情報とを結合して各々の独立領域の領域境界を得ることで、対応する独立領域を区分けすることができ、オーブン型ドアシーンに対する領域区分けを実現し、領域区分けの正確度を向上させることができる。

【0179】

また、画像認識モデルに対して圧縮処理を行って、通行ドア認識用の画像認識モデルを得ることで、画像認識モデルが動作時に占有する計算資源を更に削減し、認識速度を向上させ、自律移動機器によるハードウェアへの要件を低減することができる。

【0180】

選択的に、作業領域内の複数の独立領域を取得した後、自律移動機器は、更に各々の独立領域のシーンタイプを認識してもよい。この場合、ステップ１３０４の後に、図１４を参照して、自律移動機器の制御方法は、以下のステップ１４０１～１４０２を更に含む。

【0181】

ステップ１４０１は、環境画像に基づいて、対応する独立領域のシーン予測結果を確定することである。

【0182】

シーン予測結果は、自律移動機器が単一の独立領域の関連情報に基づいて予測したシーンタイプを指示するためのものである。シーン予測結果は、１つ又は複数のシーンタイプであってもよい。

【0183】

シーンタイプは、自律移動機器が現在置かれている独立領域のタイプを指示するためのものである。シーンタイプの区分け方式は、自律移動機器の作業領域に応じて設定される。例えば、自律移動機器の作業領域が部屋であれば、シーンタイプには、寝室タイプ、キッチンタイプ、書斎タイプ、浴室タイプ等が含まれ、本実施例では、シーンタイプの区分け方式が限定されない。

【0184】

一例において、環境画像に基づいて、対応する独立領域のシーン予測結果を確定することは、画像認識モデルを取得することと、各々の独立領域について、独立領域に対応する環境画像を画像認識モデルに入力して、オブジェクト認識結果を得ることと、シーン認識モデルを取得すること、オブジェクト認識結果をシーン認識モデルに入力して、独立領域の少なくとも１つの予測シーンタイプが含まれるシーン予測結果を得ることとを含む。

【0185】

画像認識モデルの関連説明の詳細については、ステップ１３０３を参照されたく、本実施例は、ここで繰り返して述べない。

【0186】

シーン認識モデルは、確率モデルに基づいてオブジェクトのサンプル属性情報及びサンプルシーンを使用して訓練して得られたものである。

【0187】

選択的に、シーン認識モデルによって出力されたシーン予測結果には、複数のシーンタイプが含まれ、この場合、シーン認識モデルから、各々のシーンタイプに対応する信頼度が更に出力される。信頼度は、出力された各々のシーンタイプの正確度を指示するためのものである。

【0188】

ステップ１４０２は、独立領域のシーン予測結果に応じて、独立領域のシーンタイプを確定することである。

【0189】

一例において、独立領域のシーン予測結果に応じて、独立領域のシーンタイプを確定することは、各々の独立領域の位置姿勢情報を取得することと、各々の独立領域のシーン領域結果と各々の独立領域の位置姿勢情報とを結合して、予め設定された確率分布ポリシーに従って各独立領域のシーンタイプを確定することとを含む。そのうち、確率分布ポリシーは、各々の目標シーンタイプについて、各独立領域からシーンタイプが目標シーンタイプである確率の最も高い独立領域を確定するためのものである。

【0190】

位置姿勢情報には、対応する独立領域の作業領域内での位置情報及び方向情報が含まれる。そのうち、方向情報は、通行ドアの対応する独立領域内での方向であってもよい。

【0191】

独立領域のシーンタイプを確定する場合、自律移動機器は、予め設定された確率分布ポリシーに従って、複数の独立領域のシーン予測結果に応じて各々の独立領域のシーンタイプを確定してもよく、
例示的に、確率分布ポリシーとしては、各々のシーンタイプについて、対応するテンプレート位置姿勢情報が存在し、独立領域の位置姿勢情報と各々のシーンタイプのテンプレート位置姿勢情報とを比較して、位置姿勢比較結果を得て、各々の目標シーンタイプについて、当該目標シーンタイプに対応するシーン予測結果及び位置姿勢比較結果と、対応する重みとを乗算した和により、確率結果を得て、確率結果の最も高い独立領域のタイプを当該シーンタイプとして確定することである。

【0192】

本願による自律移動機器の制御方法をより明確に理解するために、以下、当該方法について、例を挙げて説明する。図１５を参照して、自律移動機器は、作業領域内で作業を完了した後に作業領域内のエッジ情報を取得し、作業中に画像収集アセンブリによって収集された環境画像を画像認識モデル４１に入力して、オブジェクト情報４２を得て、オブジェクト情報４２内の通行ドア情報とエッジ情報とを結合して作業領域を区分けして、複数の独立領域１２５０を得て、オブジェクト情報をシーン認識モデルに入力した後、各々の独立領域のシーン予測結果１２６０を得て、複数の独立領域のシーン予測結果１２６０を結合して確率分布ポリシーに基づいて各々の独立領域のシーンタイプ１２７０を得る。

【0193】

上記をまとめて、本実施例による自律移動機器の制御方法は、前記環境画像に基づいて、対応する独立領域のシーン予測結果を確定し、前記独立領域のシーン予測結果に応じて、前記独立領域のシーンタイプを確定することで、自律移動機器は、作業領域全体における各々の独立領域のシーンタイプを認識して、より多くの情報をユーザに提供することができ、自律移動機器をよりスマート化させることができる。

【0194】

実施例９
図１６は、本願の一実施例による自律移動機器の制御装置のブロック図であり、本実施例は、当該装置が図１２に示す自律移動機器の制御システム内に適用される制御アセンブリ１２１０を例として説明する。当該装置は、第一情報取得モジュール１６１０、環境画像取得モジュール１６２０、第二情報取得モジュール１６３０及び領域区分け制御モジュール１６４０を少なくとも含む。

【0195】

第一情報取得モジュール１６１０は、前記自律移動機器が置かれている作業領域のエッジ情報を取得するためのものであり、
環境画像取得モジュール１６２０は、移動時に収集された環境画像を取得するためのものであり、
第二情報取得モジュール１６３０は、前記環境画像に基づいて通行ドア情報を獲得するためのものであり、
領域区分け制御モジュール１６４０が、前記通行ドア情報及び前記エッジ情報に基づいて、前記作業領域内の独立領域を区分けするためのものである。

【0196】

関連する詳細については、上記方法の実施例を参照されたい。

【0197】

説明すべきなのは、上記実施例で提供される自律移動機器の制御装置による自律移動機器の制御の場合について、上記各機能モジュールの区分けのみを例として説明したが、実際の応用では、必要に応じて、上記機能を、異なる機能モジュールに割り当てて遂行させてもよく、即ち、自律移動機器の制御装置の内部構造を異なる機能モジュールに区分けして、上記で説明された全て又は一部の機能を遂行させてもよい。また、上記実施例による自律移動機器の制御装置は、自律移動機器の制御方法の実施例と同じ構想に属し、その具体的な実現過程の詳細について、方法の実施例を参照されたく、ここで繰り返して述べない。

【0198】

実施例１０
図１７は、本願の一実施例による自律移動機器の制御装置のブロック図であり、当該装置は、図１、図８又は図１２に示す自律移動機器であってもよいが、無論、自律移動機器に装着されて自律移動機器とは互いに独立した機器であってもよい。当該装置はプロセッサ１７０１及びメモリ１７０２を少なくとも含む。

【0199】

プロセッサ１７０１は、１つ又は複数の処理コアを含んでもよく、例えば、４コアプロセッサ、８コアプロセッサ等とされる。プロセッサ１７０１は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、デジタル信号処理）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、フィールドプログラマブルゲートアレイ）、ＰＬＡ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ、プログラマブルロジック アレイ）のうち、少なくとも１つのハードウェアを採用して実現されてもよい。プロセッサ１７０１は、メインプロセッサ及びコプロセッサを含んでもよく、メインプロセッサは、ウェイクアップ状態のデータを処理するためのプロセッサであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置）とも呼ばれ、コプロセッサは、スタンバイ状態のデータを処理するための低消費電力プロセッサである。いくつかの実施例において、プロセッサ８０１は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能）プロセッサを更に含んでもよく、当該ＡＩプロセッサは、機械学習に関する計算操作を処理するためのものである。

【0200】

メモリ１７０２は、１つ又は複数のコンピュータ読取可能な記憶媒体を含んでもよく、当該コンピュータ読取可能な記憶媒体は、非一時的なものであってもよい。メモリ８０２は、高速ランダムアクセスメモリ、及び不揮発性メモリ、例えば１つ又は複数の磁気ディスク記憶機器、フラッシュメモリ記憶機器を更に含んでもよい。いくつかの実施例において、メモリ１７０２内の非一時的のコンピュータ読取可能な記憶媒体は、少なくとも１つの命令を記憶するためのものであり、当該少なくとも１つの命令は、プロセッサ１７０１によって実行されて本願における方法の実施例による自律移動機器の制御方法を実現するために使用される。

【0201】

いくつかの実施例において、選択的に、自律移動機器の制御装置には、周辺機器インターフェース及び少なくとも１つの周辺機器が更に含まれてもよい。プロセッサ１７０１と、メモリ１７０２と、周辺機器インターフェースとの間は、バス又は信号線を介して接続されてもよい。各周辺機器は、バス、信号線又は回路板を介して周辺機器インターフェースに接続されてもよい。例示的に、周辺機器には、無線周波数回路、タッチ表示スクリーン、オーディオ回路、及び電源等が含まれるが、これらに限定されない。

【0202】

無論、自律移動機器の制御装置は、より少ないか又はより多くのアセンブリを含んでもよいが、本実施例は、これについて限定しない。

【0203】

選択的に、本願は、コンピュータ読取可能な記憶媒体であって、前記コンピュータ読取可能な記憶媒体にプログラムが記憶されており、前記プログラムは、上記方法の実施例における自律移動機器の制御方法が実現されるようにプロセッサによってロードされて実行される、コンピュータ読取可能な記憶媒体を更に提供している。

【0204】

選択的に、本願は、コンピュータ製品であって、当該コンピュータ製品は、コンピュータ読取可能な記憶媒体を含み、前記コンピュータ読取可能な記憶媒体にプログラムが記憶されており、前記プログラムは、現上記方法の実施例における自律移動機器の制御方法が実現されるようにプロセッサによってロードされて実行される、コンピュータ製品を更に提供している。

【0205】

以上の前記実施例における各技術的特徴は、任意に組み合わせることが可能であり、記述を簡潔にするために、上記実施例における各技術的特徴のすべての可能な組み合わせを記述していないが、これらの技術的特徴の組み合わせは、矛盾しない限り、本明細書に記載されている範囲に属するとされるべきである。

【0206】

以上の実施例は、本願の幾つかの実施形態のみを詳細且つ具体的に示しているが、本発明の保護範囲を制限するものではないと理解すべきである。当業者にとって、本出願の構想から逸脱しない前提で、幾つかの変形や改良を行うことが可能であり、これらはすべて本出願の保護範囲に属することを留意されたい。従って、本出願の保護範囲は、特許請求の範囲に準じるものとされるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【手続補正書】

【提出日】2023-01-11

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

自律移動機器の制御方法であって、前記方法は、
前記自律移動機器が置かれている作業領域のエッジ情報を取得することと、
移動時に収集された環境画像を取得することと、
前記環境画像に基づいて通行ドア情報を獲得することと、
前記通行ドア情報及び前記エッジ情報に基づいて、前記作業領域内の独立領域を区分けすることとを含む、ことを特徴とする自律移動機器の制御方法。

【請求項2】

上述の前記通行ドア情報及び前記エッジ情報に基づいて、前記作業領域内の独立領域を区分けすることの後に、
前記環境画像に基づいて、対応する独立領域のシーン予測結果を確定することと、
前記独立領域のシーン予測結果に応じて、前記独立領域のシーンタイプを確定することとを更に含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

上述の前記通行ドア情報及び前記エッジ情報に基づいて、前記作業領域内の独立領域を区分けすることは、
前記通行ドア情報によって指示される対応する通行ドアの前記作業領域内での位置情報を取得することと、
前記エッジ情報と前記位置情報とを結合して、結合された境界情報を得ることと、
前記結合された境界情報によって構成される各閉領域を、対応する独立領域として区分けすることとを含む、ことを特徴とする請求項２に記載の方法。

【請求項4】

上述の前記環境画像に基づいて通行ドア情報を獲得することは、
前記環境画像に通行ドアの画像が含まれるかどうかを認識することと、
前記環境画像に通行ドアの画像が含まれる場合、前記通行ドアの前記作業領域内での位置情報を取得することとを含み、及び／又は、
前記通行ドアは、前記作業領域内のドア枠を含む、ことを特徴とする請求項１から３のいずれか１項に記載の方法。

【請求項5】

上述の前記独立領域のシーン予測結果に応じて、前記独立領域のシーンタイプを確定することは、
各々の独立領域の位置姿勢情報であって、対応する独立領域の前記作業領域内での位置情報及び方向情報が含まれる位置姿勢情報を取得することと、
各々の独立領域のシーン領域結果と各々の独立領域の位置姿勢情報とを結合して、予め設定された確率分布ポリシーに従って各独立領域のシーンタイプを確定することとを含み、
ここで、確率分布ポリシーは、各々の目標シーンタイプについて、各独立領域からシーンタイプが前記目標シーンタイプである確率の最も高い独立領域を確定するためのものであり、及び／又は、
上述の前記環境画像に基づいて、対応する独立領域のシーン予測結果を確定することは、
動作時に占有する計算資源が前記自律移動機器によって提供される最大計算資源よりも低い画像認識モデルを取得することと、
各々の独立領域について、前記独立領域に対応する環境画像を前記画像認識モデルに入力して、目標オブジェクトの属性情報が含まれるオブジェクト認識結果を獲得することと、
オブジェクトのサンプル属性情報及びサンプルシーンタイプを使用して訓練して得られたシーン認識モデルを取得することと、
前記オブジェクト認識結果を前記シーン認識モデルに入力して、前記独立領域の少なくとも１つの予測シーンタイプが含まれるシーン予測結果を得ることとを含む、ことを特徴とする請求項２に記載の方法。

【請求項6】

前記画像認識モデルは、小さなネットワークモデルに基づいてサンプル環境画像及びサンプルオブジェクト結果を使用して訓練して得られたものであり、及び／又は、
前記シーン認識モデルは、確率モデルに基づいてオブジェクトのサンプル属性情報及びサンプルシーンを使用して訓練して得られたものである、ことを特徴とする請求項５に記載の方法。

【請求項7】

上述の前記環境画像に基づいて通行ドア情報を獲得することは、
前記環境画像が画像認識モデルに入力されて、目標オブジェクトの属性情報を含むオブジェクト認識結果が得られ、前記画像認識モデルの動作時に占有する計算資源が前記自律移動機器によって提供される最大計算資源よりも低いことと、
前記オブジェクト認識結果に通行ドア情報が含まれる場合、前記環境画像に前記通行ドアの画像が含まれると確定し、前記通行ドアの前記作業領域内での位置情報を取得することとを含む、ことを特徴とする請求項１から３のいずれか１項に記載の方法。

【請求項8】

前記エッジ情報とは、前記自律移動機器の移動中に、エッジワイズ走行で獲得された経路情報であり、前記環境画像は、前記自律移動機器が作業領域に対する作業が完了した後に読み取られており、
上述の前記通行ドア情報及び前記エッジ情報に基づいて、前記作業領域内の独立領域を区分けすることは、
前記エッジ情報と前記位置情報とを結合して、結合された境界情報を得ることができ、前記結合された境界情報は、複数の閉図形をを含み、各々の閉図形は、１つの独立領域に対応することと、
前記結合された境界情報によって構成される各閉領域を、対応する独立領域として区分けすることとを含む、ことを特徴とする請求項１から３のいずれか１項に記載の方法。

【請求項9】

前記環境画像に基づいて通行ドアの作業領域内での位置情報を取得することは、
画像認識モデルから出力された環境画像内の通行ドアと自律移動機器との間の第一距離を取得することと、前記環境画像の収集時におけるエッジ情報によって指示される境界との間の第二距離を取得することと、前記第一距離及び第二距離に応じて、エッジ情報によって指示される境界に対する通行ドアの位置を確定して、通行ドアの位置情報を得ることとを含み、又は、
前記自律移動機器に測位アセンブリが装着され、前記自律移動機器は、画像認識モデルから出力された環境画像内の通行ドアと自律移動機器との間の第一距離を取得することと、前記環境画像の収集時に測位アセンブリによって取得された測位情報を収集することと、前記第一距離及び測位情報に応じて、通行ドアの位置情報を得ることとを含み、
前記通行ドア情報及び前記エッジ情報に基づいて、前記作業領域内の独立領域を区分けする、ことを特徴とする請求項１から３のいずれか１項に記載の方法。

【請求項10】

上述の前記独立領域のシーン予測結果に応じて、前記独立領域のシーンタイプを確定することは、
対応する独立領域の前記作業領域内での位置情報及び方向情報が含まれる各々の独立領域の位置姿勢情報を取得することと、
各々の独立領域のシーン領域結果と各々の独立領域の位置姿勢情報とを結合して、予め設定された確率分布ポリシーに従って各独立領域のシーンタイプを確定することとを含み、
ここで、確率分布ポリシーは、各々の目標シーンタイプについて、各独立領域からシーンタイプが前記目標シーンタイプである確率の最も高い独立領域を確定するためのものである、ことを特徴とする請求項２に記載の方法。

【請求項11】

前記確率分布ポリシーは、
各々のシーンタイプについて、対応するテンプレート位置姿勢情報が存在し、前記独立領域の位置姿勢情報と各々のシーンタイプのテンプレート位置姿勢情報とを比較して、位置姿勢比較結果を得ることと、
各々の目標シーンタイプについて、前記目標シーンタイプに対応するシーン予測結果及び位置姿勢比較結果と、対応する重みとを乗算した和により、確率結果を得ることと、
確率結果の最も高い独立領域のタイプを前記シーンタイプとして確定することとを含む、ことを特徴とする請求項５又は１０に記載の方法。

【請求項12】

自律移動機器の制御装置であって、
前記自律移動機器が置かれている作業領域のエッジ情報を取得するための第一情報取得モジュールと、
移動時に収集された環境画像を取得するための環境画像取得モジュールと、
前記環境画像に基づいて通行ドア情報を獲得するための第二情報取得モジュールと、
前記通行ドア情報及び前記エッジ情報に基づいて、前記作業領域内の独立領域を区分けするための領域区分け制御モジュールとを含む、ことを特徴とする自律移動機器の制御装置。

【国際調査報告】