特表 2024-516478 サラウンドビュー画像を使用して床汚れを検出する方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-16

(54)【発明の名称】サラウンドビュー画像を使用して床汚れを検出する方法及びシステム

(51)【国際特許分類】

   A47L 11/28 20060101AFI20240409BHJP

   G06T 7/00 20170101ALI20240409BHJP

   G06V 10/82 20220101ALI20240409BHJP

   A47L 13/00 20060101ALI20240409BHJP

   A47L 7/00 20060101ALI20240409BHJP

   A47L 11/24 20060101ALI20240409BHJP

   B08B 3/00 20060101ALI20240409BHJP

【ＦＩ】

A47L11/28

G06T7/00 350C

G06V10/82

G06T7/00 600

A47L13/00

A47L7/00 Z

A47L11/24

B08B3/00

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023545769

(86)(22)【出願日】2022-06-08

(85)【翻訳文提出日】2023-10-20

(86)【国際出願番号】 IB2022055312

(87)【国際公開番号】W WO2022259158

(87)【国際公開日】2022-12-15

(31)【優先権主張番号】202141025477

(32)【優先日】2021-06-08

(33)【優先権主張国・地域又は機関】IN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＷＣＤＭＡ

(71)【出願人】

【識別番号】520412811

【氏名又は名称】エルアンドティー テクノロジー サービシズ リミテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】ハスワール，マンジュ エス

(72)【発明者】

【氏名】プレム クマール，ジェイ フレンジック

(72)【発明者】

【氏名】ゴーシュ，アーナブ

(72)【発明者】

【氏名】サンク，ウジワラ

(72)【発明者】

【氏名】エヌ，サハナ

(72)【発明者】

【氏名】メティ，キラン

【テーマコード（参考）】

3B201

5L096

【Ｆターム（参考）】

3B201AB56

5L096AA06

5L096BA03

5L096BA04

5L096FA06

5L096FA59

5L096FA64

5L096FA66

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

【課題】床汚れを検出する方法が開示される。
【解決手段】方法は、前方駆動方向に向けられた床清掃装置本体の外部上側に取り付けられた１つ以上の画像撮影装置を使用して床面の画像を撮影することを含む。画像は広角ビュー画像に対応する。方法は、床面の歪みのない仮想トップビュー画像を生成することを含む。歪みのない仮想トップビュー画像は床面のサラウンドビュー画像に対応する。方法は、第１の事前訓練された機械学習モデルを使用して、歪みのない仮想トップビュー画像から床汚れを検出することを含む。方法は、床汚れ属性を抽出するために床汚れを処理することを含む。床汚れ属性は、寸法と、床汚れの種別と、画像撮影装置からの床汚れの距離と、床汚れの場所と、のうち少なくとも１つを備える。方法は、床汚れの処理に基づいて床汚れを洗浄することを含む。
【選択図】 図１

【特許請求の範囲】

【請求項1】

床汚れを検出する方法であって、
床清掃装置１０２によって、前方駆動方向に向けられた前記床清掃装置本体の外部上側に取り付けられた１つ以上の画像撮影装置１０４を使用して床面の複数の画像を撮影すること５０２であって、前記複数の画像は複数の広角ビュー画像に対応する、撮影することと、
前記床清掃装置１０２によって、撮影された前記床面の前記複数の画像を使用して前記床面の少なくとも１つの歪みのない仮想トップビュー画像３０４を生成すること５０４であって、前記少なくとも１つの歪みのない仮想トップビュー画像３０４は前記床面のサラウンドビュー画像に対応する、生成することと、
前記床清掃装置１０２によって、第１の事前訓練された深層学習モデルを使用して、前記床面の前記少なくとも１つの歪みのない仮想トップビュー画像３０４から少なくとも１つの床汚れを検出すること５０６であって、前記少なくとも１つの歪みのない仮想トップビュー画像３０４のキャンバス面積は、前記１つ以上の画像撮影装置１０４によってカバーされる床面積に対して所定の比率を有する、検出することと、
１つ以上の床汚れ属性から少なくとも１つの床汚れ属性を抽出するために、前記床清掃装置１０２によって、前記少なくとも１つの床汚れ１０６を処理すること５０８と、
を備え、
前記１つ以上の床汚れ属性は、前記床汚れの寸法１０５と、一連の床汚れ種別のうち１つの床汚れ種別と、前記１つ以上の画像撮影装置１０４の各々からの前記少なくとも１つの床汚れ１０６の距離と、前記床面積内の前記少なくとも１つの床汚れ１０６の場所と、を備える、方法。

【請求項2】

前記床面の前記サラウンドビュー画像を生成することは、
前記複数の広角ビュー画像から複数の鳥瞰ビュー画像を生成することと、
前記床面の前記サラウンドビュー画像を生成するために前記複数の鳥瞰ビュー画像をブレンドすることであって、前記床面の前記サラウンドビュー画像は、メートル単位での前記床清掃装置１０２と前記床汚れ１０６との間の距離計算を容易にし、前記メートル単位は、センチメートル単位、ミリメートル単位、及びメートル単位のうち１つに対応する、ブレンドすることと、
を更に備える、請求項１の方法。

【請求項3】

前記第１の事前訓練された深層学習モデルは、物体検出ベースのたたみ込みニューラルネットワーク（ＣＮＮ）モデルに対応する、請求項１の方法。

【請求項4】

前記床汚れ種別は、第２の事前訓練された深層学習モデルを使用して前記一連の床汚れ種別から抽出され、前記第２の事前訓練された深層学習モデルはサポートベクトルマシン（ＳＶＭ）分類ベースの学習モデルに対応する、請求項１の方法。

【請求項5】

前記少なくとも１つの床汚れ１０６の場所を特定するために前記床面の前記サラウンドビュー画像において前記少なくとも１つの床汚れ１０６のピクセル境界をピクセルで識別することであって、前記サラウンドビュー画像における前記ピクセル境界の前記ピクセルは前記１つ以上の画像撮影装置１０４の各々の較正に関して実世界の距離に較正される、識別することと、
前記サラウンドビュー画像の最下縁と前記少なくとも１つの床汚れ１０６の前記ピクセル境界の下方縁との間の前記距離を計算することであって、前記距離はピクセルで計算される、計算することと、
を更に備える、請求項１の方法。

【請求項6】

前記床清掃装置１０２の近傍に対応するサラウンドビュー画像内の物体を検出することと、
少なくとも１つの物体属性を抽出するために前記物体を処理することであって、前記物体属性は、物体の種別と、前記１つ以上の画像撮影装置１０４の各々からの前記物体の距離と、のうち少なくとも１つを備える、処理することと、
予め定義された閾値を上回る前記１つ以上の画像撮影装置１０４の各々からの前記物体の前記距離に基づいて警報を生成することと、
を更に備える、請求項１の方法。

【請求項7】

前記少なくとも１つの床汚れ１０６の前記処理に基づいて前記少なくとも１つの床汚れ１０６を洗浄することを更に備える、請求項１の方法。

【請求項8】

床汚れを検出する床清掃装置１０２であって、
通信ネットワークを介して前記床清掃装置１０２に通信可能に連結された、床面の複数の画像を撮影するための１つ以上の画像撮影装置１０４と、
メモリ２０４に通信可能に連結されたプロセッサ２０２と、
を備えており、前記メモリ２０４は前記画像撮影装置１０４からの前記複数の画像を記憶するように構成され得、前記プロセッサは、
前記複数の画像を使用して前記床面の少なくとも１つの歪みのない仮想トップビュー画像３０４を生成するように、
物体検出のために事前訓練された深層学習モデルを使用して前記床面の前記少なくとも１つの歪みのない仮想トップビュー画像３０４から少なくとも１つの床汚れを検出するように、及び
１つ以上の床汚れ属性から少なくとも１つの床汚れ属性を抽出するために前記少なくとも１つの床汚れ１０６を処理するように構成されており、
前記１つ以上の床汚れ属性は、前記床汚れの寸法１０５と、一連の床汚れ種別のうち１つの床汚れ種別と、前記１つ以上の画像撮影装置１０４の各々からの前記少なくとも１つの床汚れ１０６の距離と、前記床面積内の前記少なくとも１つの床汚れ１０６の場所と、のうち少なくとも１つを備える、床清掃装置。

【請求項9】

前記歪みのない仮想トップビュー画像３０４を生成することは、
前記複数の画像から複数の鳥瞰ビュー画像を生成することと、
前記床面のサラウンドビュー画像を生成するために前記複数の鳥瞰ビュー画像をブレンドすることであって、前記床面の前記サラウンドビュー画像は、メートル単位での前記床清掃装置１０２と前記床汚れ１０６との間の距離計算を容易にし、前記メートル単位は、センチメートル単位、ミリメートル単位、及びメートル単位のうちの１つに対応する、ブレンドすることと、
を更に備える、請求項１の床清掃装置１０２。

【請求項10】

前記プロセッサは、
前記サラウンドビュー画像におけるピクセル境界のピクセルは前記１つ以上の画像撮影装置１０４の各々の較正に関して実世界の距離に較正されるところ、前記少なくとも１つの床汚れ１０６の場所を特定するために前記床面の前記サラウンドビュー画像において前記少なくとも１つの床汚れ１０６の前記ピクセル境界を前記ピクセルで識別するように、及び
前記距離はピクセルで計算されるところ、前記サラウンドビュー画像の前記最下縁と前記少なくとも１つの床汚れ１０６の前記ピクセル境界の前記下方縁との間の前記距離を計算するように構成されている、請求項９の床清掃装置１０２。

【発明の詳細な説明】

【技術分野】

【0001】

[001] 本開示は概してコンピュータビジョンに関し、より詳細には人工知能を使用してサラウンドビュー画像から床汚れを検出するシステム及び方法に関する。

【背景技術】

【0002】

[002] 床汚れは、床清掃器材によって検出及び洗浄されるべき欠陥である。この器材のいくつかは、車輪と人間の運転者席とを備える車両であることが多い。そのような床清掃車両の人間の操作者は、欠陥の上で車両を操縦する。床汚れが検出されると、操作者は機械を制御し、汚れに対して清掃ブラシを作動させる。床汚れを検出する人的労力は自動化されておらず、エラーが起こりやすいので、結果的に、清掃車両が汚れの上を通過しても汚れが残ってしまう。コンピュータビジョン及び画像処理技術を使用して床汚れを検出及び洗浄するために、様々な技術が試みられており、活発な研究領域となっている。しかしながら、そのような技術に関連する課題は、検知距離及びカバレッジ面積が正しくないこと、センサ又は通常のカメラシステムが欠陥を適切な寸法で撮影できないこと、訓練センサ／アルゴリズムが清浄な床と非清浄な床とを区別する必要があること、欠陥と床のテクスチャとを区別する必要があること、機械的加工なしに既存の機械に後付けできないことである。

【0003】

[003] したがって、床面を洗浄するために床汚れを正確に検出するシステム及び方法が必要とされている。

【発明の概要】

【0004】

[004] 一実施形態においては、サラウンドビュー画像を使用して床汚れを検出する方法が開示される。方法は、床清掃装置によって、前方駆動方向に向けられた床清掃装置本体の外部上側に取り付けられた１つ以上の画像撮影装置を使用して床面の複数の画像を撮影することを含んでいてもよく、複数の画像は複数の広角ビュー画像に対応する。方法は更に、床清掃装置によって、撮影された床面の複数の画像を使用して床面の少なくとも１つの歪みのない仮想トップビュー画像を生成することを含んでいてもよく、少なくとも１つの歪みのない仮想トップビュー画像は床面のサラウンドビュー画像に対応する。方法は更に、床清掃装置によって、第１の事前訓練された機械学習モデルを使用して、床面の少なくとも１つの歪みのない仮想トップビュー画像から少なくとも１つの床汚れを検出することを含んでいてもよく、少なくとも１つの歪みのない仮想トップビュー画像のキャンバス面積は、１つ以上の画像撮影装置によってカバーされる床面積に対して所定の比率を有する。方法は更に、１つ以上の床汚れ属性から少なくとも１つの床汚れ属性を抽出するために、床清掃装置によって、少なくとも１つの床汚れを処理することを含んでいてもよい。一実施形態によれば、１つ以上の床汚れ属性は、床汚れの寸法と、一連の床汚れ種別のうち１つの床汚れ種別と、１つ以上の画像撮影装置の各々からの少なくとも１つの床汚れの距離と、床面積内の少なくとも１つの床汚れの場所と、を備える。方法は更に、床清掃装置による、少なくとも１つの床汚れの処理に基づく少なくとも１つの床汚れの洗浄を含んでいてもよい。

【0005】

[005] 一実施形態においては、サラウンドビュー画像を使用して床汚れを検出するシステムが開示される。システムは、プロセッサと、プロセッサに通信可能に連結されたメモリとを備える。メモリはプロセッサ実行可能命令を記憶し、この命令は、実行されると、プロセッサに、前方駆動方向に向けられた床清掃装置本体の外部上側に取り付けられた１つ以上の画像撮影装置を使用して床面の複数の画像を撮影させ、複数の画像は複数の広角ビュー画像に対応する。プロセッサ実行可能命令は更に、実行されると、プロセッサに、撮影された床面の複数の画像を使用して床面の少なくとも１つの歪みのない仮想トップビュー画像を生成させ、少なくとも１つの歪みのない仮想トップビュー画像は床面のサラウンドビュー画像に対応する。プロセッサ実行可能命令は更に、実行されると、プロセッサに、第１の事前訓練された深層学習モデルを使用して、床面の少なくとも１つの歪みのない仮想トップビュー画像から少なくとも１つの床汚れを検出させ、少なくとも１つの歪みのない仮想トップビュー画像のキャンバス面積は、１つ以上の画像撮影装置によってカバーされる床面積に対して所定の比率を有する。プロセッサ実行可能命令は更に、実行されると、１つ以上の床汚れ属性から少なくとも１つの床汚れ属性を抽出するために、プロセッサに、少なくとも１つの床汚れを処理させる。一実施形態によれば、１つ以上の床汚れ属性は、床汚れの寸法と、一連の床汚れ種別のうち１つの床汚れ種別と、１つ以上の画像撮影装置の各々からの少なくとも１つの床汚れの距離と、床面積内の少なくとも１つの床汚れの場所と、を備える。プロセッサ実行可能命令は更に、実行されると、プロセッサに、少なくとも１つの床汚れの処理に基づいて少なくとも１つの床汚れを洗浄させる。

【0006】

[006] 前述の概説及び以下の詳細な説明はいずれも、例示的且つ説明的なものに過ぎず、特許請求される本発明を限定するものではないことを理解されたい。

【図面の簡単な説明】

【0007】

[007] 添付の図面は、本開示に組み込まれてその一部を構成するものであって、例示的な実施形態を示すと共に、説明と併せて、開示される原理を説明するのに役立つ。

【0008】

【図1】[008] 本開示の一実施形態による、サラウンドビュー画像を使用して床汚れを検出する床清掃装置の概略図である。

【図2】[009] 本開示の一実施形態による、サラウンドビュー画像を使用して床汚れを検出する床清掃装置の機能ブロック図である。

【図3】[010] ＡからＢは、本開示の一実施形態による、複数の広角ビュー画像を撮影し、床汚れを検出するために床面の歪みのない仮想トップビュー画像を生成する、例示的なシナリオを示す。

【図4】[011] ＡからＣはまとめて、本開示の一実施形態による、床汚れ属性を抽出するために使用される床清掃装置の例示的なシナリオを示す。

【図5】[012] 本開示の一実施形態による、サラウンドビュー画像を使用して床汚れを検出する例示的な方法を示すフローチャートである。

【発明を実施するための形態】

【0009】

[013] 添付の図面を参照して、例示的な実施形態を説明する。便利な場合には、同一又は類似の部品を参照するために、全図を通して同一の参照番号が用いられる。本明細書においては開示される原理の例及び特徴を説明するが、開示される実施形態の趣旨及び範囲から逸脱することなく、修正、適応、及び他の実装形態が可能である。以下の詳細な説明は例示的なものとしてのみ考えられることが意図されており、真の範囲及び趣旨は以下の特許請求の範囲によって示される。追加の実例となる実施形態が以下に列挙される。

【0010】

[014] 以下に説明される実装形態は、コンピュータビジョン及び人工知能（ＡＩ）を使用して床汚れを検出する、開示される方法及びシステムにおいて見出され得る。開示されるシステム（床清掃装置又は車両と称される）は、物体検出ベースのたたみ込みニューラルネットワーク（ＣＮＮ）モデル及びサポートベクトルマシン（ＳＶＭ）分類ベースの機械学習モデルなどであるがこれらに限定されない、深層学習モデルを使用し得る。本開示の例示的な態様は、鳥瞰ビュー生成及び物体分析を使用して床汚れを検出及び識別することを提供し得る。

【0011】

[015] 本開示の例示的な態様は、各カメラのカバレッジが１８０度の鳥瞰ビューを生成する複数の画像撮影装置（３カメラシステムなど）を提供し得る。一実施形態によれば、鳥瞰ビューは、床面上の欠陥、汚れを真の寸法（ｃｍ、ｍｍなど）で見ること、及び床汚れとカメラとの間の距離を計算することを可能にする。一実施形態によれば、床面上の欠陥及び汚れは、床清掃装置によって、分類のための物体分析を使用してサラウンドビュー画像で分析することができる。開示される床清掃装置は、床清掃装置における作業効率を向上させ得ると共に、操作者又はヒューマンエラーによって残された床汚れ欠陥を確実に識別することにより、床清掃における作業のいくらかを自動化することもできる。

【0012】

[016] 図１は、本開示の一実施形態による、サラウンドビュー画像を使用して床汚れを検出する床清掃装置の概略図である。

【0013】

[017] 図１を参照すると、前方視超広角魚眼（１８０度カメラ）を参考配置（indicative placement）した床清掃装置の代表写真が示されている。

【0014】

[018] 床清掃装置１０２の概略図１００は、１つ以上の画像撮影装置１０４を含む。床清掃装置１０２は、１つ以上の画像撮影装置１０４に直接連結され得る。一実施形態によれば、床清掃装置１０２は、通信ネットワークを介して、１つ以上の画像撮影装置１０４に通信可能に連結され得る。ユーザが床清掃装置１０２に関連付けられてもよい。

【0015】

[019] 一実施形態によれば、超広角魚眼レンズカメラは、車両の周囲の最大カバレッジを可能にするように、床清掃装置上、又は車両本体の上縁部の車両側部上に設置することができる。

【0016】

[020] 各カメラの処理によって生成される鳥瞰ビューは、床レベルの特徴、物体、又は欠陥のトップビューを提供する仮想トップビューカメラのように作用する。この仮想トップカメラビューの面積カバレッジは、カメラビューの画像登録の際に指定されるキャンバス面積に正比例する。

【0017】

[021] 床清掃装置１０２は、前方駆動方向に向けられた床清掃装置本体の外部上側に取り付けられた１つ以上の画像撮影装置１０４を使用して床面の複数の画像を撮影するように構成され得る、適当な論理、回路構成、インターフェイス、及び／又はコードを含み得る。一実施形態によれば、複数の画像は複数の広角ビュー画像に対応する。一実施形態によれば、床清掃装置１０２は、撮影された床面の複数の画像を使用して床面の少なくとも１つの歪みのない仮想トップビュー画像を生成するように構成され得る。一実施形態によれば、少なくとも１つの歪みのない仮想トップビュー画像は、床面のサラウンドビュー画像に対応する。

【0018】

[022] 一実施形態によれば、床清掃装置１０２は、第１の事前訓練された機械学習モデルを使用して、床面の少なくとも１つの歪みのない仮想トップビュー画像から少なくとも１つの床汚れ１０６を検出するように構成され得る。一実施形態によれば、少なくとも１つの歪みのない仮想トップビュー画像のキャンバス面積は、１つ以上の画像撮影装置によってカバーされる床面積に対して所定の比率を有する。一実施形態によれば、床清掃装置１０２は、少なくとも１つの床汚れ属性を抽出するために、少なくとも１つの床汚れ１０６を処理するように構成され得る。一実施形態によれば、少なくとも１つの床汚れ属性は、床汚れ１０６の寸法と、一連の床汚れ種別のうち１つの床汚れ種別と、１つ以上の画像撮影装置の各々からの少なくとも１つの床汚れ１０６の距離と、床面積内の少なくとも１つの床汚れ１０６の場所と、のうち少なくとも１つを備える。一実施形態によれば、床清掃装置１０２は、少なくとも１つの床汚れ１０６の処理に基づいて少なくとも１つの床汚れ１０６を洗浄するように構成され得る。

【0019】

[023] 図１においては床清掃装置１０２及び１つ以上の画像撮影装置１０４は単一のエンティティとして示されているが、本開示はそのように限定されるものではない。したがって、いくつかの実施形態においては、本開示の範囲から逸脱することなく、画像撮影装置１０４の機能性は、床清掃装置１０２に含まれなくてもよく、２つの別個のエンティティとして作用してもよい。

【0020】

[024] 図２は、本開示の一実施形態による、床汚れを検出するための床清掃装置の機能ブロック図である。図１を、図２の要素との関連で説明する。

【0021】

[025] 図２を参照すると、床清掃装置１０２は、プロセッサ２０２と、メモリ２０４と、入力／出力（Ｉ／Ｏ）装置２０６と、ネットワークインターフェイス２０８と、アプリケーションインターフェイス２１０と、持続的データ記憶装置２１２とを含み得る。床清掃装置１０２は、例えば、床清掃装置１０２における床汚れの検出の性能を決定するためのソフトウェアアプリケーションの一部として、機械学習モデル２１４も含み得る。プロセッサ２０２は、メモリ２０４、Ｉ／Ｏ装置２０６、ネットワークインターフェイス２０８、アプリケーションインターフェイス２１０、及び持続的データ記憶装置２１２に通信可能に連結され得る。１つ以上の実施形態においては、床清掃装置１０２は、画像撮影装置１０４を介して画像データを受信するための設備／機能性も含み得る。

【0022】

[026] プロセッサ２０２は、床汚れを検出するために機械／深層学習モデルを訓練するように構成され得る適当な論理、回路、インターフェイス、及び／又はコードを含み得る。一実施形態によれば、機械／深層学習モデルは、物体検出、床汚れの種別への分類、及び床汚れの輪郭の決定のために事前訓練され得る。訓練されると、機械／深層学習モデルは、床清掃装置１０２の画像撮影装置１０４からの画像データのリアルタイム床汚れ検出のために、他の電子装置（例えばユーザ装置）上又は床清掃装置１０２上のいずれかに配備され得る。プロセッサ２０２は、当業者には既知であろういくつかのプロセッサ技術に基づいて実装され得る。プロセッサ２０２の実装形態の例は、グラフィクス処理ユニット（ＧＰＵ）、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、マイクロコントローラ、人工知能（ＡＩ）アクセラレータチップ、コプロセッサ、中央処理装置（ＣＰＵ）、及び／又はこれらの組み合わせであり得る。

【0023】

[027] メモリ２０４は、プロセッサ２０２によって実行可能な命令を記憶するように構成され得る適当な論理、回路、及び／又はインターフェイスを含み得る。加えて、メモリ２０４は、画像撮影装置１０４からの画像データ（複数の画像）、機械／深層学習モデルのプログラムコード、及び／又は機械学習モデルのプログラムコードを組み込み得るソフトウェアアプリケーションを記憶するように構成され得る。メモリ２０４の実装形態の例は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードを含み得るが、これらに限定されない。

【0024】

[028] Ｉ／Ｏ装置２０６は、ユーザと床清掃装置１０２との間のＩ／Ｏインターフェイスとして作用するように構成され得る適当な論理、回路、及び／又はインターフェイスを含み得る。ユーザは、床清掃装置１０２を操作する操作者又は清掃者を含み得る。Ｉ／Ｏ装置２０６は、種々の入力装置及び出力装置を含んでいてもよく、これらは床清掃装置１０２の様々な操作上の構成要素と通信するように構成され得る。Ｉ／Ｏ装置２０６の例は、タッチスクリーン、キーボード、マウス、ジョイスティック、マイク、及び表示スクリーンを含み得るが、これらに限定されない。

【0025】

[029] ネットワークインターフェイス２０８は、床清掃装置１０２の様々な構成要素が通信ネットワークを介してユーザ装置などの他の装置と通信することを容易にするように構成され得る適当な論理、回路、インターフェイス、及び／又はコードを含み得る。ネットワークインターフェイス２０８は、有線又は無線通信をサポートするために既知の技術を実装するように構成され得る。ネットワークインターフェイス２０８の構成要素は、アンテナ、無線周波数（ＲＦ）送受信器、１つ以上の増幅器、チューナ、１つ以上の発振器、デジタルシグナルプロセッサ、コーダデコーダ（ＣＯＤＥＣ）チップセット、識別モジュール、及び／又はローカルバッファを含み得るが、これらに限定されない。

【0026】

[030] ネットワークインターフェイス２０８は、オフライン及びオンライン無線通信を介して、インターネット、イントラネットなどのネットワーク、並びに／又は携帯電話ネットワーク、無線ローカルエリアネットワーク（ＷＬＡＮ）、パーソナルエリアネットワーク、及び／もしくはメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークと通信するように構成され得る。無線通信は、Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ）、Ｅｎｈａｎｃｅｄ Ｄａｔａ ＧＳＭ Ｅｎｖｉｒｏｎｍｅｎｔ（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ－ＣＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、ＬＴＥ、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ－Ｆｉ）（ＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、ＩＥＥＥ８０２．１１ｎ、及び／又は任意の他のＩＥＥＥ８０２．１１プロトコルなど）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ－ＭＡＸ、モノのインターネット（ＩｏＴ）技術、マシン型通信（ＭＴＣ）技術、電子メールのためのプロトコル、インスタントメッセージングのためのプロトコル、及び／又はショートメッセージサービス（ＳＭＳ）のためのプロトコルなど、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用し得る。

【0027】

[031] アプリケーションインターフェイス２１０は、ユーザが床清掃装置１０２と相互作用するための媒体として構成され得る。アプリケーションインターフェイス２１０は、ユーザによって設定される好み及び床清掃装置１０２の構成に従って変化し得る動的インターフェイスを有するように構成されてもよい。いくつかの実施形態においては、アプリケーションインターフェイス２１０は、床清掃装置１０２にインストールされたアプリケーションのユーザインターフェイスに対応していてもよい。

【0028】

[032] 持続的データ記憶装置２１２は、プロセッサ２０２によって実行可能なプログラム命令、オペレーティングシステム、及び／又は特定アプリケーション向け情報（application-specific information）を記憶するように構成され得る適当な論理、回路、及び／又はインターフェイスを含み得る。持続的データ記憶装置２１２は、コンピュータ実行可能命令又はデータ構造を担持するため又は記憶させるためのコンピュータ可読記憶媒体を含み得る。そのようなコンピュータ可読記憶媒体は、プロセッサ２０２などの汎用又は専用コンピュータによってアクセスされ得る任意の利用可能な媒体を含み得る。

【0029】

[033] 限定ではなく例として、そのようなコンピュータ可読記憶媒体は、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）もしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶装置（例えばハードディスクドライブ（ＨＤＤ））、フラッシュメモリ装置（例えばソリッドステートドライブ（ＳＳＤ）、セキュアデジタル（ＳＤ）カード、他のソリッドステートメモリ装置）、又はコンピュータ実行可能命令もしくはデータ構造の形態で特定のプログラムコードを担持もしくは記憶するために使用され得ると共に汎用もしくは専用コンピュータによってアクセスされ得る任意の他の記憶媒体を含むがこれらに限定されない、タンジブルな又は非一時的なコンピュータ可読記憶媒体を含み得る。上記のものの組み合わせも、コンピュータ可読記憶媒体の範囲内に含まれ得る。

【0030】

[034] コンピュータ実行可能命令は、例えば、プロセッサ２０２に、床清掃装置１０２に関連付けられた特定の１つの動作又は一連の動作を実施させるように構成された命令及びデータを含み得る。図１で説明した床清掃装置１０２によって実行される機能又は動作は、プロセッサ２０２によって実行され得る。一実施形態によれば、追加的又は代替的には、プロセッサ２０２の動作は、床清掃装置１０２の種々のモジュールによって実施される。

【0031】

[035] 図３Ａから図３Ｂは、本開示の一実施形態による、複数の広角ビュー画像を撮影し、床汚れを検出するために床面の歪みのない仮想トップビュー画像を生成する、例示的なシナリオを示す。

【0032】

[036] 図３Ａを参照すると、物体シーン３０２の広角ビューが、床清掃装置１０２（車両とも称される）の前縁に取り付けられた１８０度などの最大視野（ＦＯＶ）の低コスト魚眼ＣＭＯＳカメラを採用することによって撮影される。一実施形態によれば、床清掃装置１０２は、ある範囲を有する歪みのない仮想トップビュー（鳥瞰ビュー）カメラ画像３０４を生成するように構成され得る。歪みのない仮想トップビューの左右の境界は互いに平行であり、したがって、物体までの距離を、特定の範囲までは歪みなしに測定することを確実にする。一例として、床清掃装置１０２は、コンピュータビジョンと人工知能との独自の組合せを使用するカメラベースのサラウンドビューシステムの鳥瞰ビューを採用することにより床汚れを検出及び識別するために、車両のサラウンドビューシステムの部分的な（単一又は２つのカメラの）鳥瞰ビューを採用するように構成されていてもよい。

【0033】

[037] 一実施形態によれば、各カメラビューから作り出される鳥瞰ビューは、床レベル欠陥又は床汚れの「真のビュー」を与える。一実施形態によれば、サラウンドビューにおける鳥瞰ビューの生成は地表面画像登録を使用し、したがって、透視変換された画像が、図３Ａに示すように、実際の寸法の地表面の鳥瞰ビュー又は「仮想トップカメラ」を作成する。

【0034】

[038] 図３Ｂを参照すると、サラウンドビューシステムを使用して鳥瞰ビューにより床汚れを検出するためのフローチャートが示されている。カメラビュー画像は、床清掃装置１０２（又は車両）の周囲に取り付けられた超広角カメラの各々から導出され（３０６）、表示モニタ上に表示もされる。一実施形態によれば、床清掃装置のサラウンドビューシステムは、歪み除去（３０８）、ホモグラフィ（３１０）、鳥瞰ビュー変換及びブレンディング（３１２）を実施し得る。

【0035】

[039] 図４Ａから図４Ｃはまとめて、本開示の一実施形態による、床汚れ属性を抽出するために使用される床清掃装置の例示的なシナリオを示す。

【0036】

[040] 一実施形態によれば、マルチカメラベースのサラウンドビューシステムにおいて鳥瞰ビュー画像中の床汚れを検出及び分析するためのブロック図４００Ａが図示されている。

【0037】

[041] 床汚れを検出する場合、重要であり得る少なくとも２つの重要な点がある。第一に、床汚れの種別を識別すること、第二に、床汚れの正確な場所及び車両からの距離を検出すること、第三に、床汚れの寸法である。鍵となるのは、そもそも床汚れを検出及び識別することである。識別されると、床汚れの寸法が抽出され得る。

【0038】

[042] 床清掃装置は、床汚れのトップビューを与えるサラウンドビューシステムの仮想トップビュー又は鳥瞰ビューを深層たたみ込みネットワークベースの物体検出モデル推論にかけることによって、物体の検出及び識別を提供し得る。ドローンからの航空ビューからの確実な物体検出のいくつかの実装形態におけるように、任意の最新鋭の深層たたみ込みネットワークが使用され得る。一実施形態によれば、床清掃装置は、Ｙｏｌｏ Ｖ２アーキテクチャを使用する物体検出及び認識検出器モデルを実装した。

【0039】

[043] 鳥瞰ビュー画像内の床汚れは、適当な注釈付けツールを使用してグラウンドトゥルースとして注釈付けされることができ、物体認識モデルを訓練するために使用される。訓練されると、同じモデルを使用して床汚れ検出の推論を導出することができる。

【0040】

[044] いくつかの実施形態においては、鳥瞰ビュー画像上での床清掃装置の物体分析は、床汚れの確実な輪郭を得るために、セマンティックセグメンテーションなどのセグメンテーション深層学習セグメンテーション方法を実施することができる。マスクＲＣＮＮ又はＵ－ｎｅｔなどのセマンティックセグメンテーション技術が使用され得る。

【0041】

[045] 図４Ｂを参照すると、適切なクラスタリングの方法を使用する床清掃装置による床汚れの分類のためのフローチャート４００Ｂが示されている。

【0042】

[046] 一実施形態によれば、サポートベクトルマシン（ＳＶＭ）ベースの分類モデルが床清掃装置１０２によって使用され得る。床汚れは、認識されると、床汚れの境界をピクセル座標でマークするために境界ボックスによって位置特定され得る。認識された床汚れは、そのピクセル境界で、鳥瞰ビュー画像に戻って位置特定されるか又は書き込まれる。床汚れの寸法の精度を確保することが重要である。これは、サラウンドビューが床汚れを確実に撮影することによって床清掃装置から仮想トップビューを生成することにより、可能になる。サラウンドビュープロセスにおける画像ビュー登録は床清掃装置１０２（又は車両）の周囲の指定された範囲内の床レベルで行われるので、これは確実である。

【0043】

[047] 図４Ｃを参照すると、鳥瞰ビューにおいて検出された床汚れの代表写真４０２（床汚れのカメラビュー）、４０４（床汚れの鳥瞰ビュー）、及び４０６（カメラエッジから識別された床汚れまでの検出距離）が示されている。

【0044】

[048] 床清掃装置の清掃プロセスを支援するためには、床清掃装置からの床汚れの距離を識別することが重要である。カメラが床清掃装置１０２又は車両の外部に前方視位置で取り付けられていると仮定すると、鳥瞰ビュー画像の最下縁から検出された床汚れのピクセル境界又は境界ボックスの下方縁までの距離がピクセルで導出される。ピクセルがカメラ較正などに関して実世界の距離に較正されると仮定すると、床汚れまでの距離は、限定はしないが、ミリメートル及びセンチメートルなどの実世界の単位で検出されることができる。

【0045】

[049] 一実施形態によれば、床清掃装置１０２は、サラウンドビュー内の物体、床清掃装置１０２又は車両の周囲の人間を検出及び認識すると共にそれらまでの距離を検出するように構成され得る。これらの物体が安全ゾーン内で床清掃装置１０２もしくは車両により近いとき又は床清掃装置１０２もしくは車両に近すぎるときには、床清掃装置は警告を発するように構成され得る。車両は、掘削機及びブームリフトなどのオフハイウェイ車両に対応し得る。

【0046】

[050] 図５は、本開示の一実施形態による、サラウンドビュー画像を使用して床汚れを検出する例示的な方法を示すフローチャートである。制御はステップ５０２で開始し、ステップ５０４に進む。

【0047】

[051] ステップ５０２において、床面の複数の画像が、１つ以上の画像撮影装置を使用して撮影され得る。一実施形態によれば、床清掃装置１０２は、前方駆動方向に向けられた床清掃装置本体の外部上側に取り付けられた１つ以上の画像撮影装置を使用して床面の複数の画像を撮影するように構成され得る。一実施形態によれば、複数の画像は複数の広角ビュー画像に対応する。

【0048】

[052] ステップ５０４において、撮影された床面の複数の画像を使用して床面の少なくとも１つの歪みのない仮想トップビュー画像が生成され得る。一実施形態によれば、床清掃装置１０２は、撮影された床面の複数の画像を使用して床面の少なくとも１つの歪みのない仮想トップビュー画像を生成するように構成されていてもよく、少なくとも１つの歪みのない仮想トップビュー画像は床面のサラウンドビュー画像に対応する。

【0049】

[053] ステップ５０６において、床面の少なくとも１つの歪みのない仮想トップビュー画像から、少なくとも１つの床汚れが検出され得る。一実施形態によれば、床清掃装置１０２は、第１の事前訓練された機械学習モデルを使用して、床面の少なくとも１つの歪みのない仮想トップビュー画像から少なくとも１つの床汚れを検出するように構成され得る。一実施形態によれば、少なくとも１つの歪みのない仮想トップビュー画像のキャンバス面積は、１つ以上の画像撮影装置によってカバーされる床面積に対して所定の比率を有する。

【0050】

[054] ステップ５０８において、少なくとも１つの床汚れ属性を抽出するために、少なくとも１つの床汚れが処理され得る。一実施形態によれば、床清掃装置１０２は、少なくとも１つの床汚れ属性を抽出するために、少なくとも１つの床汚れを処理するように構成され得る。一実施形態によれば、少なくとも１つの床汚れ属性は、床汚れの寸法と、一連の床汚れ種別のうち１つの床汚れ種別と、１つ以上の画像撮影装置の各々からの少なくとも１つの床汚れの距離と、床面積内の少なくとも１つの床汚れの場所と、のうち少なくとも１つを備える。

【0051】

[055] ステップ５１０において、少なくとも１つの床汚れが洗浄され得る。一実施形態によれば、床清掃装置１０２は、少なくとも１つの床汚れの処理に基づいて少なくとも１つの床汚れを洗浄するように構成され得る。

【0052】

[056] 本開示の例示的な態様は、各カメラのカバレッジが１８０度の鳥瞰ビューを生成する複数の画像撮影装置（３カメラシステムなど）を提供し得る。一実施形態によれば、鳥瞰ビューは、床面上の欠陥、汚れを真の寸法（ｃｍ、ｍｍなど）で見ること、及び床汚れとカメラとの間の距離を計算することを可能にする。一実施形態によれば、床面上の欠陥及び汚れは、床清掃装置によって、分類のための物体分析を使用してサラウンドビュー画像で分析することができる。開示される床清掃装置は、床清掃装置における作業効率を向上させ得ると共に、操作者又はヒューマンエラーによって残された床汚れ欠陥を確実に識別することにより、床清掃における作業のいくらかを自動化することもできる。

【0053】

[057] 開示内容及び実施例は例示的なものとしてのみ考えられることが意図されており、開示された実施形態の真の範囲及び趣旨は以下の特許請求の範囲によって示される。

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図5】

【国際調査報告】