特表2023-503747 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ シェンチェン　センスタイム　テクノロジー　カンパニー　リミテッドの特許一覧

特表2023-503747障害検出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-02-01

(54)【発明の名称】障害検出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム

(51)【国際特許分類】

G06V 10/82 20220101AFI20230125BHJP

G06T 7/00 20170101ALI20230125BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021562323

(86)(22)【出願日】2021-04-08

(85)【翻訳文提出日】2021-10-20

(86)【国際出願番号】 CN2021085927

(87)【国際公開番号】W WO2022088611

(87)【国際公開日】2022-05-05

(31)【優先権主張番号】202011172403.6

(32)【優先日】2020-10-28

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】518209698

【氏名又は名称】シェンチェンセンスタイムテクノロジーカンパニーリミテッド

【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮＳＥＮＳＥＴＩＭＥＴＥＣＨＮＯＬＯＧＹＣＯ．，ＬＴＤ

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】ジャンジャンポン

(72)【発明者】

【氏名】チョンフイ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA05

5L096EA07

5L096FA02

5L096FA18

5L096FA69

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

本開示の実施例は、障害検出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラムを開示し、当該障害検出方法は、検出対象画像を取得するステップと、検出対象画像に対して物体検出を行い、検出対象画像における物体の位置情報を取得するステップと、検出対象画像に対してセマンティックセグメンテーションを行い、検出対象画像における地面領域の位置情報を取得するステップと、物体の位置情報及び地面領域の位置情報に基づいて障害領域を取得するステップと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

検出対象画像を取得するステップと、
前記検出対象画像に対して物体検出を行い、前記検出対象画像における物体の位置情報を取得するステップと、
前記検出対象画像に対してセマンティックセグメンテーションを行い、前記検出対象画像における地面領域の位置情報を取得するステップと、
前記物体の位置情報及び前記地面領域の位置情報に基づいて障害領域を取得するステップと、を含む、障害検出方法。

【請求項2】

前記検出対象画像を取得するステップは、
カメラの補正パラメータを取得するステップであって、前記補正パラメータは歪みパラメータを含むステップと、
撮影された目標画像を取得し、前記歪みパラメータに基づいて前記目標画像を較正し、前記検出対象画像を得るステップと、を含む
請求項１に記載の障害検出方法。

【請求項3】

前記補正パラメータは変換パラメータをさらに含み、
前記検出対象画像に対してセマンティックセグメンテーションを行い、前記検出対象画像における地面領域の位置情報を取得するステップは、
前記検出対象画像を第１深層ニューラルネットワークに入力し、前記検出対象画像における全ての画素点のセマンティックラベルを取得するステップであって、前記セマンティックラベルは地面ラベルと背景ラベルを含むステップと、
前記変換パラメータに基づいて、前記検出対象画像における前記地面ラベルに対応する画素点を前記カメラ座標系での地面領域に変換し、前記カメラ座標系における前記地面領域の位置情報を得るステップと、を含む
請求項２に記載の障害検出方法。

【請求項4】

前記補正パラメータは変換パラメータをさらに含み、前記検出対象画像における物体は非特定物体を含み、
前記検出対象画像に対して物体検出を行い、前記検出対象画像における物体の位置情報を取得するステップは、
前記検出対象画像を第２深層ニューラルネットワークに入力し、前記検出対象画像における前記非特定物体の輪郭枠を取得するステップと、
前記変換パラメータに基づいて、前記非特定物体の輪郭枠を前記カメラ座標系での輪郭枠に変換し、前記カメラ座標系における前記非特定物体の位置情報を得るステップと、をさらに含む
請求項２又は３に記載の障害検出方法。

【請求項5】

前記補正パラメータは変換パラメータをさらに含み、前記検出対象画像における物体は特定物体を含み、
前記検出対象画像に対して物体検出を行い、前記検出対象画像における物体の位置情報を取得するステップは、
前記検出対象画像を第３深層ニューラルネットワークに入力し、前記検出対象画像における特定物体の画像位置情報を取得するステップと、
前記変換パラメータに基づいて、前記物体の画像位置情報を前記カメラ座標系における前記特定物体の位置情報に変換するステップと、を含む
請求項２から４のいずれか１項に記載の障害検出方法。

【請求項6】

前記検出対象画像を第３深層ニューラルネットワークに入力し、前記検出対象画像における特定物体の画像位置情報を取得するステップは、
前記検出対象画像を前記第３深層ニューラルネットワークに入力し、前記検出対象画像における特定物体の囲み枠を取得するステップと、
前記囲み枠の対角座標に基づいて前記特定物体の画像位置情報を計算するステップと、を含む
請求項５に記載の障害検出方法。

【請求項7】

前記物体の位置情報及び前記地面の位置情報に基づいて現在の計画地図を形成するステップであって、前記現在の計画地図は走行可能領域と、前記物体が含まれる障害領域とを含むステップと、
前記現在の計画地図の走行可能領域に基づいて計画経路を取得するステップと、をさらに含む
請求項１から６のいずれか１項に記載の障害検出方法。

【請求項8】

前記検出対象画像における物体が非特定物体を含む場合に応じて、前記障害領域は前記カメラ座標系における前記非特定物体の輪郭枠に対応する領域を含むと特定するステップ、及び／又は、
前記検出対象画像における物体が特定物体を含む場合に応じて、前記特定物体の種別情報を取得し、前記特定物体の位置情報及び種別情報に基づいてカメラ座標系における前記特定物体の物体枠を生成するステップであって、前記障害領域は前記カメラ座標系における前記特定物体の物体枠に対応する領域を含むステップ、をさらに含む
請求項７に記載の障害検出方法。

【請求項9】

検出対象画像を取得するように構成されるカメラ部と、
前記検出対象画像に対して物体検出を行い、前記検出対象画像における物体の位置情報を取得するように構成される物体検出部と、
前記検出対象画像に対してセマンティックセグメンテーションを行い、前記検出対象画像における地面領域の位置情報を取得するように構成されるセマンティックセグメンテーション部と、
前記物体の位置情報及び前記地面領域の位置情報に基づいて障害領域を取得するように構成される障害検出部と、を含む、障害検出装置。

【請求項10】

前記カメラ部は、カメラの補正パラメータを取得するステップであって、前記補正パラメータは歪みパラメータを含むステップと、撮影された目標画像を取得し、前記歪みパラメータに基づいて前記目標画像を較正し、前記検出対象画像を得るステップと、を実行するように構成される
請求項９に記載の装置。

【請求項11】

前記補正パラメータは変換パラメータをさらに含み、
前記セマンティックセグメンテーション部は、前記検出対象画像を第１深層ニューラルネットワークに入力し、前記検出対象画像における全ての画素点のセマンティックラベルを取得するステップであって、前記セマンティックラベルは地面ラベルと背景ラベルを含むステップと、前記変換パラメータに基づいて、前記検出対象画像における前記地面ラベルに対応する画素点を前記カメラ座標系での地面領域に変換し、前記カメラ座標系における前記地面領域の位置情報を得るステップと、を実行するように構成される
請求項１０に記載の装置。

【請求項12】

前記補正パラメータは変換パラメータをさらに含み、前記検出対象画像における物体は非特定物体を含み、
前記物体検出部は、前記検出対象画像を第２深層ニューラルネットワークに入力し、前記検出対象画像における前記非特定物体の輪郭枠を取得するステップと、前記変換パラメータに基づいて、前記非特定物体の輪郭枠を前記カメラ座標系での輪郭枠に変換し、前記カメラ座標系における前記非特定物体の位置情報を得るステップと、を実行するようにも構成される
請求項１０又は１１に記載の装置。

【請求項13】

前記補正パラメータは変換パラメータをさらに含み、前記検出対象画像における物体は特定物体を含み、
前記物体検出部は、前記検出対象画像を第３深層ニューラルネットワークに入力し、前記検出対象画像における特定物体の画像位置情報を取得するステップと、前記変換パラメータに基づいて、前記物体の画像位置情報を前記カメラ座標系における前記特定物体の位置情報に変換するステップと、を実行するようにも構成される
請求項１０から１２のいずれか１項に記載の装置。

【請求項14】

前記物体検出部は、前記検出対象画像を前記第３深層ニューラルネットワークに入力し、前記検出対象画像における特定物体の囲み枠を取得するステップと、前記囲み枠の対角座標に基づいて前記特定物体の画像位置情報を計算するステップと、を実行するようにも構成される
請求項１３に記載の装置。

【請求項15】

前記物体の位置情報及び前記地面の位置情報に基づいて現在の計画地図を形成するステップであって、前記現在の計画地図は走行可能領域と、前記物体が含まれる障害領域とを含むステップと、前記現在の計画地図の走行可能領域に基づいて計画経路を取得するステップと、を実行するように構成される経路計画部、をさらに含む
請求項９から１４のいずれか１項に記載の装置。

【請求項16】

前記検出対象画像における物体が非特定物体を含む場合に応じて、前記障害領域は前記カメラ座標系における前記非特定物体の輪郭枠に対応する領域を含むと特定するステップ、及び／又は、前記検出対象画像における物体が特定物体を含む場合に応じて、前記特定物体の種別情報を取得し、前記特定物体の位置情報及び種別情報に基づいてカメラ座標系における前記特定物体の物体枠を生成するステップであって、前記障害領域は前記カメラ座標系における前記特定物体の物体枠に対応する領域を含むステップ、を実行するように構成される領域特定部、をさらに含む
請求項１５に記載の装置。

【請求項17】

互いに結合されたメモリとプロセッサとを含み、前記プロセッサは、請求項１から８のいずれか１項に記載の障害検出方法を実現するために前記メモリに記憶されたプログラム命令を実行するように構成される、電子機器。

【請求項18】

プロセッサによって実行されると請求項１から８のいずれか１項に記載の障害検出方法を実現するプログラム命令が記憶された、コンピュータ読み取り可能記憶媒体。

【請求項19】

コンピュータ読み取り可能コードを含み、前記コンピュータ読み取り可能コードが電子機器で実行されると、前記電子機器内のプロセッサは請求項１から８のいずれか１項に記載の障害検出方法を実現するように実行する、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本特許出願は、２０２０年１０月２８日に提出された中国特許出願番号が２０２０１１１７２４０３．６、出願人がシェンチェンセンスタイムテクノロジーカンパニーリミテッド、出願名称が「障害検出方法及び装置、電子機器並びに記憶媒体」である中国特許出願に基づく優先権を主張し、この出願の全ての内容が参照によって本願に組み込まれる。

【0002】

本開示の実施例は経路計画の技術分野に関し、特に障害検出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラムに関する。

【背景技術】

【0003】

近年、移動ロボットの急速な発展に伴い、障害物検出及び回避の仕方はロボット知能化のレベルを反映する重要な基準となっており、良好な障害物回避機能は移動ロボット安全走行の重要な保障とされており、良好な障害物回避の実現には、ロボットに対する経路計画が関わる。

【0004】

ロボットナビゲーション分野の経路計画とは、まず走行の出発点及び目標点をロボットに伝え、次いで障害物が存在する屋内環境内で既知の地図情報に基づいてロボットが走行する合理的な経路を計画することをいう。ここで、合理的な経路は少なくとも、経路は出発点から目標点までの比較的短い経路であることと、該経路は既知地図における障害物を最大限に回避できることとの条件を満たす必要がある。

【発明の概要】

【0005】

本開示の実施例は少なくとも障害検出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラムを提供する。

【0006】

本開示の実施例の第１態様は障害検出方法を提供し、前記障害検出方法は、検出対象画像を取得するステップと、前記検出対象画像に対して物体検出を行い、前記検出対象画像における物体の位置情報を取得するステップと、前記検出対象画像に対してセマンティックセグメンテーションを行い、前記検出対象画像における地面領域の位置情報を取得するステップと、前記物体の位置情報及び前記地面領域の位置情報に基づいて障害領域を取得するステップと、を含む。

【0007】

このように、障害領域は前記物体の位置情報及び前記地面領域の位置情報の双方に基づいて特定されており、また、検出対象画像における地面領域の位置情報はセマンティックセグメンテーションに基づいて取得されたものであるため、特定された地面領域の正確性を向上させることができ、正確度の高い障害領域を取得することができ、環境に対する効果的な障害物解析が可能となる。

【0008】

いくつかの実施例において、前記検出対象画像を取得するステップは、カメラの補正パラメータを取得するステップであって、前記補正パラメータは歪みパラメータを含むステップと、撮影された目標画像を取得し、前記歪みパラメータに基づいて前記目標画像を較正し、前記検出対象画像を得るステップと、を含む。

【0009】

このように、歪みパラメータによって目標画像を較正し、検出対象画像を得ることは、経路計画の正確性の向上に寄与する。

【0010】

いくつかの実施例において、前記補正パラメータは変換パラメータをさらに含み、前記検出対象画像に対してセマンティックセグメンテーションを行い、前記検出対象画像における地面領域の位置情報を取得するステップは、前記検出対象画像を第１深層ニューラルネットワークに入力し、前記検出対象画像における全ての画素点のセマンティックラベルを取得するステップであって、前記セマンティックラベルは地面ラベルと背景ラベルを含むステップと、前記変換パラメータに基づいて、前記検出対象画像における前記地面ラベルに対応する画素点を前記カメラ座標系での地面領域に変換し、前記カメラ座標系における前記地面領域の位置情報を得るステップと、を含む。

【0011】

このように、第１深層ニューラルネットワークのセマンティックラベルによって検出対象画像における地面領域と背景領域とを区別し、さらに検出対象画像の情報を変換パラメータによってカメラ座標系に投影することは、地面領域、背景領域とカメラとの距離関係を反映する点で有益である。

【0012】

いくつかの実施例において、前記補正パラメータは変換パラメータをさらに含み、前記検出対象画像における物体は非特定物体を含み、前記検出対象画像に対して物体検出を行い、前記検出対象画像における物体の位置情報を取得するステップは、前記検出対象画像を第２深層ニューラルネットワークに入力し、前記検出対象画像における非特定物体の輪郭枠を取得するステップと、前記変換パラメータに基づいて、前記非特定物体の輪郭枠を前記カメラ座標系での輪郭枠に変換し、前記カメラ座標系における前記非特定物体の位置情報を得るステップと、をさらに含む。

【0013】

このように、第２深層ニューラルネットワークによって検出対象画像における非特定物体に対してセマンティックセグメンテーションを行うことで、非特定物体の輪郭枠を補正し、輪郭枠で非特定物体の形状を表すことは、経路計画において非特定物体に密接して実用性の高い計画経路を得ることに寄与する。

【0014】

いくつかの実施例において、前記補正パラメータは変換パラメータをさらに含み、前記検出対象画像における物体は特定物体を含み、前記検出対象画像に対して物体検出を行い、前記検出対象画像における物体の位置情報を取得するステップは、前記検出対象画像を第３深層ニューラルネットワークに入力し、前記検出対象画像における特定物体の画像位置情報を取得するステップと、前記変換パラメータに基づいて、前記物体の画像位置情報を前記カメラ座標系における前記特定物体の位置情報に変換するステップと、を含む。

【0015】

このように、第３深層ニューラルネットワークによって検出対象画像における特定物体に対して物体検出を行い、特定物体の位置情報を得る。

【0016】

いくつかの実施例において、前記検出対象画像を第３深層ニューラルネットワークに入力し、前記検出対象画像における特定物体の画像位置情報を取得するステップは、前記検出対象画像を前記第３深層ニューラルネットワークに入力し、前記検出対象画像における特定物体の囲み枠を取得するステップと、前記囲み枠の対角座標に基づいて前記特定物体の画像位置情報を計算するステップと、を含む。

【0017】

このように、囲み枠の対角座標によって特定物体の位置情報を計算する計算方法を提供する。

【0018】

いくつかの実施例において、前記障害検出方法は、前記物体の位置情報及び前記地面の位置情報に基づいて現在の計画地図を形成するステップであって、前記現在の計画地図は走行可能領域と、前記物体が含まれる障害領域とを含むステップと、前記現在の計画地図の走行可能領域に基づいて計画経路を取得するステップと、をさらに含む。

【0019】

このように、地面の位置情報によって走行領域を取得すると共に、物体の位置情報によって走行領域における障害領域を取得することにより、経路計画を行うための現在の計画地図を生成する。

【0020】

いくつかの実施例において、前記障害検出方法は、前記検出対象画像における物体が非特定物体を含む場合に応じて、前記障害領域は前記カメラ座標系における前記非特定物体の輪郭枠に対応する領域を含むと特定するステップ、及び／又は、前記検出対象画像における物体が特定物体を含む場合に応じて、前記特定物体の種別情報を取得し、前記特定物体の位置情報及び種別情報に基づいてカメラ座標系における前記特定物体の物体枠を生成するステップであって、前記障害領域は前記カメラ座標系における前記特定物体の物体枠に対応する領域を含むステップ、をさらに含む。

【0021】

このように、障害領域を形成する方法を提供し、物体枠に基づいて走行領域における障害領域を迅速に生成することに寄与する。また、特定物体について、特定物体の種別情報を考慮することにより、障害検出装置は特定物体に密接するように経路を計画する必要があるか否かを決定することが可能となり、計画経路の実用性の向上に寄与する。

【0022】

本開示の実施例の第２態様は障害検出装置を提供し、前記障害検出装置は、検出対象画像を取得するように構成されるカメラ部と、前記検出対象画像に対して物体検出を行い、前記検出対象画像における物体の位置情報を取得するように構成される物体検出部と、前記検出対象画像に対してセマンティックセグメンテーションを行い、前記検出対象画像における地面領域の位置情報を取得するように構成されるセマンティックセグメンテーション部と、前記物体の位置情報及び前記地面領域の位置情報に基づいて障害領域及び前記障害領域が回避された計画経路を取得するように構成される障害検出部と、を含む。

【0023】

いくつかの実施例において、前記カメラ部は、カメラの補正パラメータを取得するステップであって、前記補正パラメータは歪みパラメータを含むステップと、撮影された目標画像を取得し、前記歪みパラメータに基づいて前記目標画像を較正し、前記検出対象画像を得るステップと、を実行するように構成される。

【0024】

いくつかの実施例において、前記補正パラメータは変換パラメータをさらに含み、前記セマンティックセグメンテーション部は、前記検出対象画像を第１深層ニューラルネットワークに入力し、前記検出対象画像における全ての画素点のセマンティックラベルを取得するステップであって、前記セマンティックラベルは地面ラベルと背景ラベルを含むステップと、前記変換パラメータに基づいて、前記検出対象画像における前記地面ラベルに対応する画素点を前記カメラ座標系での地面領域に変換し、前記カメラ座標系における前記地面領域の位置情報を得るステップと、を実行するように構成される。

【0025】

いくつかの実施例において、前記補正パラメータは変換パラメータをさらに含み、前記検出対象画像における物体は非特定物体を含み、前記物体検出部は、前記検出対象画像を第２深層ニューラルネットワークに入力し、前記検出対象画像における前記非特定物体の輪郭枠を取得するステップと、前記変換パラメータに基づいて、前記非特定物体の輪郭枠を前記カメラ座標系での輪郭枠に変換し、前記カメラ座標系における前記非特定物体の位置情報を得るステップと、を実行するようにも構成される。

【0026】

いくつかの実施例において、前記補正パラメータは変換パラメータをさらに含み、前記検出対象画像における物体は特定物体を含み、前記物体検出部は、前記検出対象画像を第３深層ニューラルネットワークに入力し、前記検出対象画像における特定物体の画像位置情報を取得するステップと、前記変換パラメータに基づいて、前記物体の画像位置情報を前記カメラ座標系における前記特定物体の位置情報に変換するステップと、を実行するようにも構成される。

【0027】

いくつかの実施例において、前記物体検出部は、前記検出対象画像を前記第３深層ニューラルネットワークに入力し、前記検出対象画像における特定物体の囲み枠を取得するステップと、前記囲み枠の対角座標に基づいて前記特定物体の画像位置情報を計算するステップと、を実行するようにも構成される。

【0028】

いくつかの実施例において、前記装置は、前記物体の位置情報及び前記地面の位置情報に基づいて現在の計画地図を形成するステップであって、前記現在の計画地図は走行可能領域と、前記物体が含まれる障害領域とを含むステップと、前記現在の計画地図の走行可能領域に基づいて計画経路を取得するステップと、を実行するように構成される経路計画部、をさらに含む。

【0029】

いくつかの実施例において、前記装置は、前記検出対象画像における物体が非特定物体を含む場合に応じて、前記障害領域は前記カメラ座標系における前記非特定物体の輪郭枠に対応する領域を含むと特定するステップ、及び／又は、前記検出対象画像における物体が特定物体を含む場合に応じて、前記特定物体の種別情報を取得し、前記特定物体の位置情報及び種別情報に基づいてカメラ座標系における前記特定物体の物体枠を生成するステップであって、前記障害領域は前記カメラ座標系における前記特定物体の物体枠に対応する領域を含むステップ、を実行するように構成される領域特定部、をさらに含む。

【0030】

本開示の実施例の第３態様は電子機器を提供し、前記電子機器は、互いに結合されたメモリとプロセッサとを含み、プロセッサは、上記第１態様における障害検出方法を実現するためにメモリに記憶されたプログラム命令を実行するように構成される。

【0031】

本開示の実施例の第４態様はコンピュータ読み取り可能記憶媒体を提供し、それにプログラム命令が記憶されており、プログラム命令がプロセッサによって実行されると上記第１態様における障害検出方法を実現する。

【0032】

本開示の実施例の第５態様はコンピュータプログラムを提供し、それはコンピュータ読み取り可能コードを含み、前記コンピュータ読み取り可能コードが電子機器で実行されると、前記電子機器内のプロセッサは上記第１態様における障害検出方法を実現するように実行する。

【0033】

上記解決手段において、障害検出装置は、検出対象画像を取得し、検出対象画像に対して物体検出を行い、検出対象画像における物体の位置情報を取得し、検出対象画像に対してセマンティックセグメンテーションを行い、検出対象画像における地面領域の位置情報を取得し、物体の位置情報及び地面領域の位置情報に基づいて障害領域を取得する。上記解決手段によって、環境に対する障害物解析が可能となる。

【0034】

以上の一般説明と以下の詳細説明は解釈するための例示的なものに過ぎず、本開示の実施例を制限しないことを理解すべきである。

【図面の簡単な説明】

【0035】

【図1】本開示の実施例により提供される障害検出方法の一実施例のフローチャートである。

【図2】図１に示す障害検出方法におけるステップＳ１１の一実施例のフローチャートである。

【図3】本開示の実施例により提供される物体枠を含む検出対象画像のブロック図である。

【図4】図１に示す障害検出方法におけるステップＳ１２の一実施例のフローチャートである。

【図5】図１に示す障害検出方法におけるステップＳ１２の別の実施例のフローチャートである。

【図6】図１に示す障害検出方法におけるステップＳ１３の一実施例のフローチャートである。

【図7】本開示の実施例により提供される障害検出装置の一実施例のブロック図である。

【図8】本開示の実施例により提供される電子機器の一実施例のブロック図である。

【図9】本開示の実施例により提供されるコンピュータ読み取り可能記憶媒体の一実施例のブロック図である。

【発明を実施するための形態】

【0036】

ここの図面は明細書に組み込まれて明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の実施例の技術的解決手段を説明するために用いられる。

【0037】

以下において、明細書の図面を参照しながら本開示の実施例の解決手段を詳細に説明する。

【0038】

以下の説明において、本開示の実施例を十分に理解できるように、特定システム構造、インタフェース、技術等の具体的な詳細が提供され、これらは限定するためのものではなく説明するためのものである。

【0039】

本明細書の用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３種の関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａが単独して存在することと、ＡとＢが同時に存在することと、Ｂが単独して存在することとの３種の場合を示す。また、本明細書の符号「／」は、一般的に、前後の関連対象が「又は」の関係であることを示す。また、本明細書の用語の「複数」は２つ又は２つよりも多いことを示す。また、本明細書の用語の「少なくとも１種」は多種のうちのいずれか１種、又は多種のうちの少なくとも２種からなる任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１種を含むということは、Ａ、Ｂ及びＣからなる集合から選択されるいずれか１つ又は複数の要素を含むことを示してもよい。

【0040】

床清掃ロボットは家庭用スマート端末の重要な一環であり、知能化される床清掃ロボットには、自身の位置を測位するとともに、周辺の物体情報を感知して経路計画を行い、障害物、例えば靴、椅子脚、靴下等を回避し、効率的な清掃プロセスを実現することが要求される。従って、障害物の検出及び解析はスマート清掃機の経路計画における重要な技術構成要素である。

【0041】

床清掃ロボットは一般的に以下の２つのタイプがある。即ち、１）シングルライン・レーザレーダに基づく床清掃ロボット、及び２）両眼又は単眼カメラに基づく床清掃ロボット。シングルライン・レーザレーダの解決手段について、その利点は、カバーされる角度範囲が大きいことであり、通常のシングルライン・レーザレーダはリアルタイムで３６０度の走査範囲が可能である。しかし、シングルライン・レーザレーダは単一の水平面のみを走査できるため、高さの異なる障害物を完全にカバーすることができず、例えば、靴下が地面に密接している時に検出されることはできない。レーザレーダのように、マルチライン・レーザレーダを使用すると、このような問題をある程度緩和することができるが、現在マルチライン・レーザレーダはコストが高く、家庭用清掃機のような消費者製品への適用に適していない。他に赤外測距センサに基づく解決手段もあるが、このような解決手段はどちらも検出可能範囲が疎になるという問題を抱えている。第２のタイプにおける両眼又は単眼視に基づく解決手段について、このような解決手段は画像を取得することができるため、返される結果が疎になるというシングルライン・レーザレーダの問題が回避されるとともに、コストも高くない。現在、視覚に基づく解決手段は２つの方策があり、１つの方策は、目標検出によって画像における障害物の位置を検出し、１つの矩形状枠でマークし、次いでカメラのパラメータに基づいて障害物の位置を画像座標から世界座標に投影することである。このような目標検出に基づく方法は、一定のセマンティック情報を得ることができ、例えば、靴下検出器を使用して靴下を検出することができ、スリッパ検出器を使用してスリッパを検出することができる。しかし、家庭シーンでは、例えばケーブルやテーブル脚の一部等の形状が複雑である物体が多く存在し、これらの障害物を１つの矩形状枠でぴったりと囲むことが困難である。過大な１つの矩形状枠で囲まれたとしても、障害物の形状情報が省略された結果、後続の障害物回避時に床清掃ロボットは障害物に密接するように走行することができない。視覚に基づく解決手段のもう１つの方策は、両眼カメラを使用して前方シーンの深度マップ情報を取得し、次いで深度情報によって障害物解析を行って障害物回避を実現する。しかし、このような方法は、両眼カメラの２つのカメラセンサの間に一定の位置制約があり（例えば、２つのカメラは一定の距離を隔て、且つ水平より上向きの高さが同じである必要がある）、そしてこの解決手段は、白壁のようなテクスチャが微細なシーンへの適合性がよくない。

【0042】

このような視覚に基づく障害物解析の解決手段では、形状が一定でない障害物を描くことができず、また、白壁シーンへの適合性がよくない等の問題が存在している。これらの問題に対して本開示の実施例は単眼カメラを使用する解決手段、及び目標検出技術とセマンティックセグメンテーション技術を融合した障害物解析方法を提供する。

【0043】

従って、本開示の実施例は、床清掃ロボットシーンでの障害物解析に存在する問題に対して、家庭用床清掃ロボットに適用し得る障害検出方法を提供する。いくつかの可能な実施方法では、本開示の実施例により提供される障害検出方法は他のロボット、例えば、掃除ロボット、芝刈りロボット、屋外配達ロボット等にも適用可能であり、ここでは説明を省略する。

【0044】

図１は本開示の実施例により提供される障害検出方法の一実施例のフローチャートである。本開示の実施例の障害検出方法の実行主体は障害検出装置であってもよく、例えば、障害検出方法は端末装置、サーバ又は他の処理装置により実行してもよく、障害検出装置は、ユーザ側装置（ＵｓｅｒＥｑｕｉｐｍｅｎｔ：ＵＥと略称）、携帯機器、ユーザ端末、端末、セルラー電話、コードレス電話機、携帯情報端末（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ：ＰＤＡと略称）、携帯型デバイス、計算装置、車載装置、ウェアラブル装置等であってもよい。いくつかの可能な実施形態では、該障害検出方法はプロセッサによりメモリに記憶されたコンピュータ読み取り可能な命令を呼び出すことで実現してもよい。

【0045】

具体的には、本開示の実施例の障害検出方法は以下のステップを含んでもよい。

【0046】

ステップＳ１１で、検出対象画像を取得する。

【0047】

本開示の実施例において、障害検出装置はロボットが置かれる環境の検出対象画像を取得する。検出対象画像はロボットに搭載されるカメラ部によって取得してもよく、カメラ部は具体的には単眼赤緑青（ＲＧＢ）カメラであってもよい。カメラモデルはロボットの固定位置に固定され、一般的に走行方向におけるロボットの正面位置に設けられ、ロボット進行方向での環境画像を取得できるようにしており、つまりカメラ視野は地面と、解析を必要とする存在し得る障害物とをカバーする必要がある。

【0048】

ステップＳ１２では、検出対象画像に対して物体検出を行い、検出対象画像における物体の位置情報を取得する。

【0049】

本開示の実施例において、障害検出装置は検出対象画像に対して物体検出を行い、検出対象画像における物体の位置情報を取得する。ロボットにとって、検出対象画像における物体は障害物である。障害検出装置は物体の位置情報によって有効な障害領域を生成することができる。

【0050】

いくつかの実施形態において、本開示の実施例の物体は形状の観点から、特定物体と非特定物体に区別されてもよい。ここで、特定物体とは、開発者が予め設定した比較的一定の形状を有する物体をいい、例えばスリッパ、丸めた紙、プルトップ缶等である。非特定物体とは形状が複雑である物体をいい、例えばテーブル脚、ケーブル等である。

【0051】

ステップＳ１３では、検出対象画像に対してセマンティックセグメンテーションを行い、検出対象画像における地面領域の位置情報を取得する。

【0052】

本開示の実施例において、障害検出装置はセマンティックセグメンテーション部によって検出対象画像に対して地面検出を行う。ここで、当該ステップのセマンティックセグメンテーション部と上述した非特定物体を検出するセマンティックセグメンテーション部は同一の部分であってもよいし、別の部分であってもよい。

【0053】

セマンティックセグメンテーション部は、補正された歪みパラメータに基づいて較正された検出対象画像が入力され、検出対象画像における地面とマックされたいくつかの画素点、及びいくつかの画素点からなる地面領域が出力される。

【0054】

ステップＳ１４では、物体の位置情報及び地面の位置情報に基づいて障害領域を取得する。

【0055】

このように、障害領域により、障害領域が回避される計画経路を特定することができる。

【0056】

本開示の実施例において、障害検出装置は融合部によって上記地面情報及び物体情報を取得する。融合部入力情報は、（１）カメラに対して、現在の領域における地面に該当する領域、及び非特定物体の位置及び形状であるセマンティックセグメンテーション部が取得した情報と、（２）カメラに対して、走行前方の特定物体の位置及び種別である物体検出部が取得した情報と、を含む。

【0057】

上記地面情報及び物体情報はいずれもカメラ空間における情報であるため、障害検出装置は上記地面情報及び物体情報によって現在の計画地図を形成することができ、ここで、現在の計画地図は二次元地図であってもよいし、三次元地図であってもよい。

【0058】

本開示の実施例において、障害領域は物体の位置情報及び地面領域の位置情報の双方に基づいて特定されており、また、検出対象画像における地面領域の位置情報はセマンティックセグメンテーションに基づいて取得されたものであるため、特定された地面領域の正確性を向上させることができ、これにより、正確度の高い障害領域を取得することができ、環境に対する効果的な障害物解析が可能となる。

【0059】

検出対象画像を取得するプロセスにおいて、障害検出装置は、検出対象画像の精度を向上させるために、検出対象画像に対して前処理を行うようにしてもよく、具体的な前処理プロセスは図２を参照する。図２は図１に示す障害検出方法におけるステップＳ１１の一実施例のフローチャートである。図２に示すように、ステップＳ１１は具体的に以下のステップＳ２１とステップＳ２２を含む。

【0060】

ステップＳ２１では、カメラの補正パラメータを取得し、補正パラメータは歪みパラメータを含む。

【0061】

本開示の実施例において、ロボットにおけるカメラ部の位置が固定された後、障害検出装置はカメラを補正する必要がある。いくつかの実施形態において、障害検出装置は張正友補正法によってカメラ部の内部パラメータ及び外部パラメータを補正するようにしてもよい。ここで、内部パラメータはカメラの焦点距離及び歪みパラメータを含んでもよいが、これらに限定されず、外部パラメータはカメラのホモグラフィ行列を含んでもよいが、これに限定されない。歪みパラメータは具体的に接線方向歪み及びラジアル歪みを含み、ラジアル歪みがカメラ座標系から画像物理座標系へ変換する段階で発生し、接線方向歪みがカメラの作成段階で発生し、これは受光素子平面とレンズ平面が平行でないためである。ホモグラフィ行列は、画像物理座標系とカメラ座標系との間の投影マッピングの変換関係である。

【0062】

いくつかの可能な実施形態において、例えば孟胡の平面補正方法、呉毅紅の平行円補正方法等の他の補正法によってカメラ部の内部パラメータ及び外部パラメータを補正してもよい。

【0063】

ステップＳ２２では、撮影された目標画像を取得し、歪みパラメータに基づいて目標画像を較正し、検出対象画像を得る。

【0064】

本開示の実施例において、接線方向歪み及びラジアル歪みは、カメラ部により収集された検出対象画像の部分の変形を招くことがある。従って、障害検出装置は目標画像を取得した後、歪みパラメータに基づいて目標画像を較正する必要があり、これにより、カメラ部自身の接線方向歪み及びラジアル歪みによる画像歪みの影響を低減させ、後続の経路計画の正確性の向上に寄与する。

【0065】

このように、歪みパラメータによって目標画像を較正し、検出対象画像を得ることは、経路計画の正確性の向上に寄与する。

【0066】

特定物体について、障害検出装置は物体検出部によって直接検出することができ、具体的な検出プロセスは図４を参照する。図４は図１に示す障害検出方法におけるステップＳ１２の一実施例のフローチャートである。本実施例において、補正パラメータは変換パラメータをさらに含み、図４に示すように、ステップＳ１２は具体的に以下のステップＳ３１とステップＳ３２を含む。

【0067】

ステップＳ３１では、検出対象画像を第３深層ニューラルネットワークに入力し、検出対象画像における特定物体の画像位置情報を取得する。

【0068】

本開示の実施例において、物体検出部は１つの第３深層ニューラルネットワーク及び１つの幾何学的投影部を含む。第３深層ニューラルネットワークは、補正された歪みパラメータに基づいて較正された検出対象画像が入力され、特定物体の画像位置情報が含まれる検出対象画像が出力される。ここで、特定物体の画像位置情報は図３の物体枠によって示される。図３には２つの丸めた紙及び１つのプルトップ缶を含めた特定物体が示される。

【0069】

いくつかの実施形態において、ステップＳ３１は、検出対象画像を第３深層ニューラルネットワークに入力し、検出対象画像における特定物体の囲み枠を取得すること、及び囲み枠の対角座標に基づいて特定物体の画像位置情報を計算することにより実現される。

【0070】

いくつかの実施形態において、第３深層ニューラルネットワークは予め本開示の実施例における特定物体で訓練され、第３深層ニューラルネットワークは、特定物体の位置及び種別を認識し、物体枠によって示すようにしてもよい。物体枠は特定物体を囲む囲み枠と、セマンティック識別子とを含んでもよく、セマンティック識別子は囲み枠における特定物体に対応する種別を示すものである。

【0071】

このように、囲み枠の対角座標によって特定物体の位置情報を計算する計算方法を提供する。

【0072】

ステップＳ３２では、変換パラメータに基づいて、物体の画像位置情報をカメラ座標系における特定物体の位置情報に変換する。

【0073】

本開示の実施例において、障害検出装置は変換パラメータに基づいて物体の画像位置情報をカメラ座標系における特定物体の位置情報に変換し、囲み枠によって示す。ここで、変換パラメータは補正されたカメラ部の外部パラメータであり、カメラのホモグラフィ行列を含むが、これに限定されない。いくつかの実施形態において、障害検出装置は幾何学的投影部によって囲み枠の左上隅座標と右下隅座標との間の中点位置、又は右上隅座標と左下隅座標との間の中点位置を画像における特定画像における物体の位置とし、次いで予め補正されたホモグラフィ行列に結び付けてカメラに対する特定物体の位置を算出する。

【0074】

【0075】

いくつかの実施形態において、カメラ座標系における特定物体の囲み枠を得た後、障害検出装置は特定物体の種別情報を囲み枠にマークし、図３に示す特定物体の物体枠を形成する。後続の経路計画のプロセスにおいて、特定物体の種別情報を考慮することは、実生活の状況により近く実用性の高い計画経路を得ることに寄与する。例えば、特定物体が靴等のロボットに影響しない物体である場合、特定物体に密接するように経路を計画することができる。特定物体が電気スタンド、電気ヒータ等の比較的危険な物体である場合、ロボット走行中に危険を誘発することを防止するために、特定物体と一定距離を離すように経路を計画することができる。

【0076】

非特定物体について、障害検出装置はセマンティックセグメンテーションの方法で検出することができ、なお、セマンティックセグメンテーションの方法で非特定物体を検出する検出プロセスは、上記物体検出部によって行われてもよいし、別のセマンティックセグメンテーション部によって行われてもよく、具体的な検出プロセスは図５を参照する。図５は図１に示す障害検出方法におけるステップＳ１２の別の実施例のフローチャートである。本実施例において、補正パラメータは変換パラメータをさらに含み、検出対象画像における物体は非特定物体を含み、図５に示すように、ステップＳ１２は具体的に以下のステップＳ４１とステップＳ４２を含む。

【0077】

ステップＳ４１では、検出対象画像を第２深層ニューラルネットワークに入力し、検出対象画像における非特定物体の輪郭枠を取得する。

【0078】

本開示の実施例において、第２深層ニューラルネットワークは、補正された歪みパラメータに基づいて較正された検出対象画像が入力され、非特定物体の画像位置情報を含む検出対象画像が出力される。ここで、非特定物体の画像位置情報は非特定物体を囲む輪郭枠によって示される。

【0079】

ステップＳ４２では、変換パラメータに基づいて、非特定物体の輪郭枠をカメラ座標系での輪郭枠に変換し、カメラ座標系における非特定物体の位置情報を得る。

【0080】

本開示の実施例において、障害検出装置はホモグラフィ行列に基づいて非特定物体の画像位置情報をカメラ座標系における非特定物体の位置情報に変換し、輪郭枠によって示す。

【0081】

上記第３深層ニューラルネットワークは特定物体の物体枠のみ出力可能であり、ここで、物体枠は特定物体を囲む矩形状枠である。第２深層ニューラルネットワークの認識原理として、非特定物体のエッジ点を認識し、いくつかのエッジ点を組み合わせて接続することにより、閉じたエッジ線、即ち非特定物体を囲む輪郭枠が形成される。特定物体の矩形状物体枠に比べて、非特定物体の輪郭枠は物体の具体的な形状情報をより良好に示すことができ、これは非特定物体に密接するようにロボットの走行経路を計画することが可能となる点で有益であり、これにより、ロボット計画経路の実用性を向上させることが可能となる。

【0082】

【0083】

検出対象画像に対して地面と背景のセマンティックセグメンテーションを行う具体的な操作プロセスを図６に示し、図６は図１に示す障害検出方法におけるステップＳ１３の一実施例のフローチャートである。本実施例において、補正パラメータは変換パラメータをさらに含み、図６に示すように、ステップＳ１３は具体的に以下のステップＳ５１とステップＳ５２を含む。

【0084】

ステップＳ５１では、検出対象画像を第１深層ニューラルネットワークに入力し、検出対象画像における全ての画素点のセマンティックラベルを取得し、セマンティックラベルは地面ラベルと背景ラベルを含む。

【0085】

本開示の実施例において、セマンティックセグメンテーション部は全畳み込みの１つの第１深層ニューラルネットワーク及び１つの幾何学的投影部を含む。第１深層ニューラルネットワークは、補正された歪みパラメータに基づいて較正された検出対象画像が入力され、検出対象画像における各画素点のセマンティックラベルが出力される。

【0086】

なお、セマンティックセグメンテーション部は同様に非特定物体の輪郭枠を分割することに用いることができる。つまり、上記第２深層ニューラルネットワークと当該ステップの第１深層ニューラルネットワークは、同一の深層ニューラルネットワークであってもよく、ここでは説明を省略する。

【0087】

いくつかの実施形態において、セマンティックラベルは具体的に地面ラベルと背景ラベルを含む。ある画素点が地面画素点として認識された場合、セマンティックラベルを１とし、ある画素点が背景画素点として認識された場合、セマンティックラベルを０とする。

【0088】

ステップＳ５２では、変換パラメータに基づいて、検出対象画像における地面ラベルに対応する画素点をカメラ座標系での地面領域に変換し、カメラ座標系における地面の位置情報を得る。

【0089】

本開示の実施例において、障害検出装置はホモグラフィ行列に基づいて、セマンティックラベルが１である各地面画素点を画像空間からカメラ空間に投影し、カメラ座標系における地面画素点の位置情報を取得する。次いで、障害検出装置は投影後の地面画素点を組み合わせてカメラ座標系での地面領域とし、他の領域を背景領域とする。ここで、地面領域はロボットの走行領域である。

【0090】

上記解決手段において、障害検出装置は検出対象画像を取得し、検出対象画像に対して物体検出を行い、検出対象画像における物体の位置情報を取得し、検出対象画像に対してセマンティックセグメンテーションを行い、検出対象画像における地面の位置情報を取得し、物体の位置情報及び地面領域の位置情報に基づいて障害領域を取得する。上記解決手段において、障害検出装置は、検出対象画像に対して物体検出及びセマンティックセグメンテーションを行うことで、検出対象画像における地面領域及び物体の位置を自動的に認識してマークすることができ、ここで、地面領域はロボットの走行領域であり、検出された物体の位置が走行領域内に現れる場合に該物体が障害物であると解析することができ、これにより、環境に対する効果的な障害物解析が可能となり、さらに解析結果に基づいて経路計画を行うことも可能となる。

【0091】

具体的な実施形態の上記方法において、各ステップの記述順序は厳しい実行順序であるというわけではなく、実施プロセスの何の制限にもならず、各ステップの具体的な実行順序はその機能と可能な内在的論理に依存することが当業者に理解される。

【0092】

【0093】

いくつかの実施例において、障害検出方法は、物体の位置情報及び地面の位置情報に基づいて現在の計画地図を形成するステップであって、現在の計画地図は走行可能領域と、物体が含まれる障害領域とを含むステップと、現在の計画地図の走行可能領域に基づいて計画経路を取得するステップと、をさらに含んでもよい。

【0094】

このように、地面の位置情報によって走行領域を取得し、引き続き物体の位置情報によって走行領域における障害領域を取得することにより、経路計画を行うための現在の計画地図を生成する。

【0095】

現在の計画地図は走行可能領域及び物体の障害領域を含む。障害領域は物体の位置情報に基づいて生成された領域であり、走行可能領域は地面領域の、障害領域を除いた一部領域である。いくつかの実施例において、検出対象画像に非特定物体が含まれる場合、カメラ座標系における非特定物体の輪郭枠で囲んだ領域は、非特定物体が存在するとみなすことができ、従って該領域は障害領域（又は障害領域の一部）である。検出対象画像に特定物体が含まれる場合、上記第３深層ニューラルネットワーク（又は別の方法）によって特定物体の種別情報を取得し、次いで特定物体の位置情報及び種別情報に基づいてカメラ座標系における該特定物体の物体枠を生成するようにしてもよく、また、カメラ座標系における特定物体の物体枠で囲んだ領域は、特定物体が存在するとみなすことができるので、該領域は障害領域（又は障害領域の一部）である。なお、異なる特定物体に対応する物体枠のサイズには差異が存在し得る。これは異なる特定物体によるロボットへの影響が異なるので、ロボットがより正確な経路を計画できるようにサイズの異なる物体枠に対応させるためである。例えば、特定物体が靴等のロボットに影響しない物体である場合、物体枠のサイズを小さくし、つまり障害領域を小さいものとし、よって、特定物体に密接するように経路を計画することができる。特定物体が電気スタンド、電気ヒータ等の比較的危険な物体である場合、物体枠のサイズを大きくし、つまり障害領域を大きなものとし、ロボット走行中に危険を誘発することを防止するために、特定物体と一定距離を離すように経路を計画することができる。後続の経路計画のプロセスにおいて、特定物体の種別情報を考慮することは、実生活の状況により近く実用性の高い計画経路を得ることに寄与する。

【0096】

障害領域を除外することで、障害検出装置は走行領域におけるロボットの走行可能領域を取得し、次いで走行可能領域を軌跡計画部に入力することができる。障害検出装置は軌跡計画部によって終点情報を入力し、障害領域が回避される計画経路を取得する。

【0097】

いくつかの実施例において、障害検出方法は、検出対象画像における物体が非特定物体を含む場合に応じて、障害領域はカメラ座標系における非特定物体の輪郭枠に対応する領域を含むと特定するステップ、をさらに含んでもよい。

【0098】

別の実施例において、障害検出方法は、検出対象画像における物体が特定物体を含む場合に応じて、特定物体の種別情報を取得し、特定物体の位置情報及び種別情報に基づいてカメラ座標系における特定物体の物体枠を生成するステップであって、障害領域はカメラ座標系における特定物体の物体枠に対応する領域を含むステップ、をさらに含んでもよい。

【0099】

【0100】

図７を参照して、図７は本開示の実施例により提供される障害検出装置の一実施例のブロック図である。障害検出装置７０は、
検出対象画像を取得するように構成されるカメラ部７１と、
検出対象画像に対して物体検出を行い、検出対象画像における物体の位置情報を取得するように構成される物体検出部７２と、
検出対象画像に対してセマンティックセグメンテーションを行い、検出対象画像における地面領域の位置情報を取得するように構成されるセマンティックセグメンテーション部７３と、
物体の位置情報及び地面領域の位置情報に基づいて障害領域を取得するように構成される障害検出部７４と、を含む。

【0101】

いくつかの実施例において、カメラ部７１は、カメラの補正パラメータを取得するステップであって、補正パラメータは歪みパラメータを含むステップと、撮影された目標画像を取得し、歪みパラメータに基づいて目標画像を較正し、検出対象画像を得るステップと、を実行するように構成される。

【0102】

いくつかの実施例において、補正パラメータは変換パラメータをさらに含み、セマンティックセグメンテーション部７３は、検出対象画像を第１深層ニューラルネットワークに入力し、検出対象画像における全ての画素点のセマンティックラベルを取得するステップであって、セマンティックラベルは地面ラベルと背景ラベルを含むステップと、変換パラメータに基づいて、検出対象画像における地面ラベルに対応する画素点をカメラ座標系での地面領域に変換し、カメラ座標系における地面領域の位置情報を得るステップと、を実行するように構成される。

【0103】

いくつかの実施例において、補正パラメータは変換パラメータをさらに含み、検出対象画像における物体は非特定物体を含み、物体検出部７２は、検出対象画像を第２深層ニューラルネットワークに入力し、検出対象画像における非特定物体の輪郭枠を取得するステップと、変換パラメータに基づいて、非特定物体の輪郭枠をカメラ座標系での輪郭枠に変換し、カメラ座標系における非特定物体の位置情報を得るステップと、を実行するようにも構成される。

【0104】

いくつかの実施例において、補正パラメータは変換パラメータをさらに含み、検出対象画像における物体は特定物体を含み、物体検出部７２は、検出対象画像を第３深層ニューラルネットワークに入力し、検出対象画像における特定物体の画像位置情報を取得するステップと、変換パラメータに基づいて、物体の画像位置情報をカメラ座標系における特定物体の位置情報に変換するステップと、を実行するようにも構成される。

【0105】

いくつかの実施例において、物体検出部７２は、検出対象画像を第３深層ニューラルネットワークに入力し、検出対象画像における特定物体の囲み枠を取得するステップと、囲み枠の対角座標に基づいて特定物体の画像位置情報を計算するステップと、を実行するようにも構成される。

【0106】

いくつかの実施例において、装置は、物体の位置情報及び地面の位置情報に基づいて現在の計画地図を形成するステップであって、現在の計画地図は走行可能領域と、物体が含まれる障害領域とを含むステップと、現在の計画地図の走行可能領域に基づいて計画経路を取得するステップと、を実行するように構成される、経路計画部をさらに含む。

【0107】

いくつかの実施例において、装置は、検出対象画像における物体が非特定物体を含む場合に応じて、障害領域はカメラ座標系における非特定物体の輪郭枠に対応する領域を含むと特定するステップ、又は、検出対象画像における物体が特定物体を含む場合に応じて、特定物体の種別情報を取得し、特定物体の位置情報及び種別情報に基づいてカメラ座標系における特定物体の物体枠を生成するステップであって、障害領域はカメラ座標系における特定物体の物体枠に対応する領域を含むステップ、を実行するように構成される、領域特定部をさらに含む。

【0108】

本開示の実施例において、本開示の実施例の解決手段を実現するためのシステムは、カメラ部、物体検出部、地面分割部（上記実施例におけるセマンティックセグメンテーション部に対応）、融合部（上記実施例における障害検出部に対応）及び軌跡計画部を含んでもよい。

【0109】

実施において、例えば靴下、靴等の比較的一定の形状を有する物体を定義する必要があり、ここでこれらの物体を集合Ａと言う。

【0110】

システムの実際の配備においては、カメラ部は、現在の画像を受信し、画像を物体検出部及びセマンティックセグメンテーション部にそれぞれ配信するようにしてもよい。物体検出部は、画像における全ての集合Ａ内の物体を検出し、物体の種別と、現在のロボットに対する物体の位置とを出力する。地面分割部は入力された画像に対して、画像における画素にラベルを付け、平地に該当する領域を出力する。融合部は、平地領域と物体集合Ａの位置とを結び付けて、床清掃ロボットが走行可能な領域地図を出力する。この地図に基づいて、軌跡計画部は障害物回避の軌跡を計画し、最後にシステム制御部は障害物回避軌跡の実行を完了する。

【0111】

カメラ部の視野が地面と、解析を必要とする存在し得る障害物とをカバーできるかどうかを決定するように、カメラ部を床清掃ロボットのある特定された位置に固定する必要がある。カメラ部を固定した後、補正プロセスを行う必要がある。一方では、カメラ部の内部パラメータＩ（焦点距離及び歪みパラメータを含む）を補正し、他方では、外部パラメータＥ（ここで、外部パラメータとは、カメラの撮像面と地面との２つの平面間のホモグラフィ行列を指す）を補正する。当該補正は張正友補正法を採用してもよい。

【0112】

物体検出部は、補正された歪みパラメータに基づいて較正された画像が入力され、特定タイプの障害物の種別及び位置が出力されてもよい。ここで、特定タイプの障害物とは、システム開発者が開発前に指定した比較的一定の形状を有する物体（例えばスリッパ、丸めた紙、プルトップ缶等）である。具体的には、物体検出部は１つの深層ニューラルネットワークＭ１及び１つの幾何学的投影部Ｇを含んでもよい。ニューラルネットワークＡは、画像が入力され、検出された物体の囲み枠が出力されており、次いで、幾何学的投影部は囲み枠の左下隅と右下隅との二点間の中点を画像における物体の位置とし、予め補正された外部パラメータＥと結び付けて、カメラ部に対する物体の位置を算出することができる。

【0113】

地面分割部は、補正された歪みパラメータに基づいて較正された画像が入力され、入力された画像における各画素のセマンティックラベルが出力される。具体的には、セマンティックラベルが０又は１とし、セマンティックラベルが１とする場合に該画素が地面であることを意味し、それ以外の場合は背景である。地面分割部は全畳み込みの１つの深層ネットワークＭ２によって実現してもよい。各画素のセマンティックラベルを得た後、幾何部Ｇによって、セマンティックが地面である各画素を画像空間からカメラ空間に投影することができる（即ちカメラに対する座標）。

【0114】

融合部は以下の情報を決定することができる。つまり、１）地面分割部が取得した情報、即ち、カメラ部に対して、現在の領域のうちのどの領域が地面であるかという情報、及び２）物体検出部が取得した情報、即ち、カメラ部に対して、前方のどの位置にどのような障害物体が存在するかという情報。この両方の情報はいずれもカメラ空間系における情報であるため、融合部はこの両方の情報を組み合わせて解析し、現在のカメラ部のカバー範囲内にどの領域が走行可能であるかを得る。走行可能な領域は局所の地図で記述するようにしてもよい。局所の地図を軌跡計画部に入力すれば、障害物回避の軌跡を得ることができる。

【0115】

本開示の実施例において、単眼ＲＧＢカメラを使用することで床清掃ロボットの一般的な障害物回避の機能を実現し、物体検出とセマンティックセグメンテーションを融合した技術によって単眼ＲＧＢのシーン内障害物解析機能を実現することにより、床清掃ロボットの障害物回避のハードウェアコスト上の要件を低減できるとともに、特定タイプ及び非特定タイプの障害物を検出及び解析し、床清掃ロボットの障害物回避効果を高めることもできる。

【0116】

本開示の実施例において、自律ナビゲーションの移動ロボットに本解決手段を適用して障害物解析を行うことで、ロボットの前方にどのような障害物があるか、そしてどの領域が走行可能な領域であるかを把握し、これらの情報を計画制御システムにフィードバックすることにより、障害物回避を実現する。

【0117】

図８を参照して、図８は本開示の実施例により提供される電子機器の一実施例のブロック図である。電子機器８０は互いに結合されたメモリ８１とプロセッサ８２とを含み、プロセッサ８２は、上記いずれかの障害検出方法の実施例におけるステップを実現するためにメモリ８１に記憶されたプログラム命令を実行するように構成される。一実施シーンにおいて、電子機器８０は、マイクロコンピュータ、サーバを含んでもよいが、これらに限定されず、また、電子機器８０はさらにノートパソコン、タブレットコンピュータ等の携帯機器を含んでもよく、ここでは限定しない。

【0118】

具体的には、プロセッサ８２は、上記いずれかの障害検出方法の実施例におけるステップを実現するようにそれ自身及びメモリ８１を制御するように構成される。プロセッサ８２は、中央処理ユニット（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ：ＣＰＵと略称）と呼ばれることもある。プロセッサ８２は信号処理能力を有する集積回路チップであってよい。プロセッサ８２は、共通プロセッサ、デジタル信号プロセッサ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ：ＤＳＰと略称）、特定用途向け集積回路（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ：ＡＳＩＣと略称）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ：ＦＰＧＡと略称）又は他のプログラマブル論理デバイス、離散ゲート又はトランジスタ論理デバイス、離散ハードウェアコンポーネント等であってもよい。共通プロセッサはマイクロプロセッサ又は任意の一般的なプロセッサ等であってもよい。なお、プロセッサ８２は集積回路チップとの協働によって実現されてもよい。

【0119】

図９を参照して、図９は本開示の実施例により提供されるコンピュータ読み取り可能記憶媒体の一実施例のブロック図である。コンピュータ読み取り可能記憶媒体９０にはプロセッサによって実行され得るプログラム命令９０１が記憶されており、プログラム命令９０１は上記いずれかの障害検出方法の実施例におけるステップを実現するために用いられる。

【0120】

いくつかの実施例において、本開示の実施例により提供される装置が備えた機能又は部分は、上記方法実施例に記載の方法を実行するために用いられ、その具体的な実施形態については上記方法実施例の説明を参照してよく、簡単化するために、ここでは説明を省略する。

【0121】

本開示の実施例はさらにコンピュータプログラムを提供することができ、それはコンピュータ読み取り可能コードを含み、前記コンピュータ読み取り可能コードが電子機器で実行されると、前記電子機器内のプロセッサは上記のいずれかの障害検出方法の実施例におけるステップを実現するように実行する。

【0122】

本明細書ではそれぞれの実施例についての説明はそれぞれの実施例の相違点を重点として強調し、その同一又は類似的な点について相互に参照してよく、簡単化するために、ここで繰り返して説明しない。

【0123】

本開示の実施例により提供されるいくつかの実施例では、開示された方法及び装置は、他の形態で実現することができることを理解すべきである。例えば、上述した装置の実施形態は例示的なものに過ぎず、例えば、部分又はユニットの分割は、論理機能の分割に過ぎず、実際に実現時に別の形態で分割してもよく、例えばユニット又はコンポーネントは組み合わせてもよく、又は別のシステムに統合してもよく、又はいくつかの特徴を省略もしくは実行しなくてもよい。一方、図示又は説明した相互の結合、直接結合又は通信接続はいくつかのインタフェース、機器又はユニットを介した間接結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。

【0124】

また、本開示の実施例の各実施例における各機能ユニットは１つの処理ユニットに統合されてもよく、それぞれ独立して物理的に存在してもよく、２つ又は２つ以上で１つのユニットに統合されてもよい。上記統合されたユニットはハードウェアの形で実現してもよいし、ソフトウェア機能ユニットの形で実現してもよい。

【0125】

統合されたユニットは、ソフトウェア機能ユニットの形で実現され且つ独立した製品として販売又は使用される場合、コンピュータ読み取り可能記憶媒体に記憶されてもよい。このような見解をもとに、本開示の実施例の技術的解決手段は、実質的には、又は従来技術に寄与する部分、又は該技術的解決手段の全て又は一部がソフトウェア製品の形で具体化されることができ、当該コンピュータソフトウェア製品は、記憶媒体に記憶されており、１つのコンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器等であってもよい）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本開示の実施例の各実施形態の方法の全て又は一部のステップを実行させるための複数の命令を含む。前記の記憶媒体は、ＵＳＢフラッシュドライブ、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、磁気ディスク又は光ディスク等のプログラムコードを記憶可能である様々な媒体を含む。

【産業上の利用可能性】

【0126】

本開示の実施例において、障害領域は前記物体の位置情報及び前記地面領域の位置情報の双方に基づいて特定されており、また、検出対象画像における地面領域の位置情報はセマンティックセグメンテーションに基づいて取得されたものであるから、特定された地面領域の正確性を向上させることができ、これにより、正確度の高い障害領域を取得することができ、環境に対する効果的な障害物解析が可能となる。

【図1】