特許 7597606 画像処理装置、画像処理方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-02

(45)【発行日】2024-12-10

(54)【発明の名称】画像処理装置、画像処理方法、及び、プログラム

(51)【国際特許分類】

   G06T 7/593 20170101AFI20241203BHJP

   G06T 1/00 20060101ALI20241203BHJP

【ＦＩ】

G06T7/593

G06T1/00 315

【請求項の数】 8

(21)【出願番号】P 2021023258

(22)【出願日】2021-02-17

(65)【公開番号】P2022125588

(43)【公開日】2022-08-29

【審査請求日】2024-01-12

(73)【特許権者】

【識別番号】000232254

【氏名又は名称】日本電気通信システム株式会社

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】山本 裕明

(72)【発明者】

【氏名】陳 靖翔

(72)【発明者】

【氏名】吉田 裕志

【審査官】高野 美帆子

(56)【参考文献】

【文献】国際公開第２０２２／０６４６０５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／５９３

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

撮像装置により撮像された床面を含む画像から算出される距離情報であって、前記撮像装置から前記画像の各画素に対応する撮像対象までの距離を表す距離情報を取得する、取得手段と、
取得した前記距離情報に含まれる各画素に係る距離の度数分布において、度数が極大値をとる距離のうちの最遠の距離に基づいて、前記撮像対象が前記床面か否かを区別するための距離の基準値を算出する算出手段と、を備え、
前記算出手段は、前記度数分布における、区間内の距離の平均値に基づき、当該平均値を含む新たな区間を設定することを繰り返し、当該平均値の変化が所定の条件を満たした場合、当該平均値を前記基準値に設定する
画像処理装置。

【請求項2】

前記算出手段は、前記最遠の距離から所定の距離を減算した値を前記基準値に設定する、
請求項１に記載の画像処理装置。

【請求項3】

前記算出手段は、前記繰り返しごとに幅が狭くなるように、前記新たな区間を設定する、
請求項１または２に記載の画像処理装置。

【請求項4】

前記算出手段は、前記区間を設定するための平均値の初期値に、前記撮像装置と前記床面との距離としてとり得る値より大きな値を設定する、
請求項１及至３のいずれか１項に記載の画像処理装置。

【請求項5】

前記算出手段は、前記繰り返しごとに、異なる時刻に撮像された前記画像から算出される前記距離情報に係る度数分布用いて、前記平均値を算出する、
請求項１及至４のいずれか１項に記載の画像処理装置。

【請求項6】

さらに、前記距離情報に含まれる各画素に係る距離と前記基準値とに基づいて、当該画素に対応する前記撮像対象が前記床面か否かを判定する、判定手段を備える、
請求項１及至５のいずれか１項に記載の画像処理装置。

【請求項7】

撮像装置により撮像された床面を含む画像から算出される距離情報であって、前記撮像装置から前記画像の各画素に対応する撮像対象までの距離を表す距離情報を取得し、
取得した前記距離情報に含まれる各画素に係る距離の度数分布において、度数が極大値をとる距離のうちの最遠の距離に基づいて、前記撮像対象が前記床面か否かを区別するための距離の基準値を算出し、
前記算出を行うステップにおいて、前記度数分布における、区間内の距離の平均値に基づき、当該平均値を含む新たな区間を設定することを繰り返し、当該平均値の変化が所定の条件を満たした場合、当該平均値を前記基準値に設定する
画像処理方法。

【請求項8】

コンピュータに、
撮像装置により撮像された床面を含む画像から算出される距離情報であって、前記撮像装置から前記画像の各画素に対応する撮像対象までの距離を表す距離情報を取得し、
取得した前記距離情報に含まれる各画素に係る距離の度数分布において、度数が極大値をとる距離のうちの最遠の距離に基づいて、前記撮像対象が前記床面か否かを区別するための距離の基準値を算出し、
前記算出を行う処理において、前記度数分布における、区間内の距離の平均値に基づき、当該平均値を含む新たな区間を設定することを繰り返し、当該平均値の変化が所定の条件を満たした場合、当該平均値を前記基準値に設定する
処理を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、画像処理方法、及び、プログラムに関する。

【背景技術】

【0002】

工場や倉庫等の施設内において、ロボット等の作業を行う移動体の導入が進んでいる。このような移動体は、施設内において、荷物や備品等の障害物を避けて、走行可能な床面の経路を移動する。そのため、施設内における走行可能な床面の経路が示された情報が必要となる。

【0003】

経路情報を作成するには、例えば、施設の天井に深度カメラを設置し、深度カメラにより取得した撮像対象までの距離から床面と障害物とを区別することが考えられる。このようにして、床面と障害物とが区別できれば、例えば、移動体の制御システム等は、経路に関する情報を生成することができる。

【0004】

深度カメラにより、撮像対象までの距離を測定する方法の一例が、例えば、特許文献１に開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－２５９０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

一般的に、視差により距離を測定している深度カメラでは、撮像対象までの距離によって、誤差が大きくなることが知られている。また、各深度カメラは、製造時の個体差があり、個別にキャリブレーションをする必要がある。これらのための対処として、設置された深度カメラごとに、レーザー距離計等を用いて正確な距離を測定し、誤差を補正することが考えられる。しかしながら、多数の深度カメラが設定されている場合に、深度カメラごとに補正を行うことは難しい。

【0007】

本開示の目的の一つは、上述の課題を解決し、簡単な構成で、深度カメラにより障害物と床面とを区別できる、画像処理装置、画像処理方法、及び、プログラムを提供することである。

【課題を解決するための手段】

【0008】

本開示の一態様における画像処理装置は、撮像装置により撮像された床面を含む画像から算出される距離情報であって、前記撮像装置から前記画像の各画素に対応する撮像対象までの距離を表す距離情報を取得する、取得手段と、取得した前記距離情報に含まれる各画素に係る距離の度数分布において、度数が極大値をとる距離のうちの最遠の距離に基づいて、前記撮像対象が前記床面か否かを区別するための距離の基準値を算出する、算出手段と、を備える。

【0009】

本開示の一態様における画像処理方法は、撮像装置により撮像された床面を含む画像から算出される距離情報であって、前記撮像装置から前記画像の各画素に対応する撮像対象までの距離を表す、距離情報を取得し、
取得した前記距離情報に含まれる各画素に係る距離の度数分布において、度数が極大値をとる距離のうちの最遠の距離に基づいて、前記撮像対象が前記床面か否かを区別するための距離の基準値を算出する。

【0010】

本開示の一態様におけるプログラムは、コンピュータに、撮像装置により撮像された床面を含む画像から算出される距離情報であって、前記撮像装置から前記画像の各画素に対応する撮像対象までの距離を表す距離情報を取得し、
取得した前記距離情報に含まれる各画素に係る距離の度数分布において、度数が極大値をとる距離のうちの最遠の距離に基づいて、前記撮像対象が前記床面か否かを区別するための距離の基準値を算出する処理を実行させる。

【発明の効果】

【0011】

本開示の効果は、簡単な構成で、深度カメラにより障害物と床面とを区別できることである。

【図面の簡単な説明】

【0012】

【図1】第１の実施形態における、施設内における距離測定の概要を示す模式図である。

【図2】第１の実施形態における、画像処理装置１０の構成を示すブロック図である。

【図3】第１の実施形態における、距離情報の度数分布の例を示す図である。

【図4】第１の実施形態における、基準値算出処理を示すフローチャートである。

【図5】第１の実施形態における、深度カメラが撮像する画像の各画素と、当該カメラの撮像範囲と、の対応を説明する図である。

【図6】第１の実施形態における、距離情報の例を示す図である。

【図7】第１の実施形態における、極大値検出処理を示すフローチャートである。

【図8】第１の実施形態における、最遠の対象物距離Ｚ_ｅを検出するアルゴリズムを説明する図である。

【図9】第１の実施形態における、最遠の対象物距離Ｚ_ｅと、基準値との関係を示す図である。

【図10】第１の実施形態における、各画素に対応する撮像対象が判定された後の距離情報の例を示す図である。

【図11】第１の実施形態における、判定結果に基づいて生成されたマップの例を示す図である。

【図12】第１の実施形態における、第２の実施形態における、極大値検出処理を示すフローチャートである。

【図13】第１の実施形態における、第３の実施形態における、画像処理装置１の構成を示すブロック図である。

【図14】コンピュータ５００のハードウェア構成の例を示すブロック図である。

【発明を実施するための形態】

【0013】

実施形態について図面を参照して詳細に説明する。なお、各図面、及び、明細書記載の各実施形態において、同様の構成要素には同一の符号を付与し、説明を適宜省略する。

【0014】

（第１の実施形態）
第１の実施形態について説明する。

【0015】

はじめに、第１の実施形態における、施設内における距離測定の概要を説明する。図１は、第１の実施形態における、施設内における距離測定の概要を示す模式図である。図１は、例えば、工場の屋内の一部を示している。図１を参照すると、工場内では、移動体が床面を走行する。床面には、移動体の走行の障害となる物体（以下、障害物と記載）が配置されている。また、工場内の上部、例えば天井には、深度カメラが設置され、当該深度カメラが、床面及び障害物を撮像している。深度カメラは、撮像した画像及び当該画像に関連付けられた情報（後述する距離情報）を、例えば、通信ネットワークを介して、画像処理装置１０に送信している。画像処理装置１０は、受信した距離情報を統計処理（後述する極大値検出処理）し、処理結果に基づいて、障害物と床面とを区別するための基準値を算出する。画像処理装置１０は、算出した基準値に基づいて、床面と障害物とを区別して、図示しない表示装置に、移動体が走行可能な経路（障害物が配置されていない床面）を示すマップを表示させる。なお、深度カメラを画像処理装置１０の近傍に設置して、ＵＳＢケーブル等で互いを接続し、深度カメラが画像処理装置１０へ距離情報を送信するようにしてもよい。

【0016】

（構成）
第１の実施形態における、画像処理装置１０の構成を説明する。

【0017】

図２は、第１の実施形態における、画像処理装置１０の構成を示すブロック図である。図２を参照すると、画像処理装置１０は、距離情報取得部１１、距離情報記憶部１２、基準値算出部１３、床面判定部１４、及び、出力制御部１５を含む。

【0018】

距離情報取得部１１は、深度カメラにより撮像された床面を含む画像から算出される距離情報であって、深度カメラから画像の各画素に対応する撮像対象までの距離（以下、対処物距離とも記載）を表す距離情報を取得する。

【0019】

距離情報記憶部１２は、距離情報取得部１１が取得した距離情報を、記憶する。距離情報の詳細は、後述する。

【0020】

基準値算出部１３は、距離情報記憶部１２から取得した距離情報に含まれる各画素に係る距離の度数分布において、度数が極大値をとる距離のうちの最遠の距離に基づいて、撮像対象が床面か否かを区別するための距離の基準値を算出する。

【0021】

図３は、第1の実施形態における、距離情報の度数分布の例を示す図である。度数分布は、対象物距離ｚの値ごとに、画像内の当該値を示す画素の数（度数）を示す。図３の例では、横軸を対象物距離ｚとし、縦軸を度数Ｎとしている。図３の例において、度数が極大値をとる対象物距離ｚのうち最遠の対象物距離Ｚ_ｅとは、度数が極大値をとる２つの山凸Ａ及び凸Ｂのうち、凸Ｂの極大値に対応する対象物距離ｚのことである。この場合、基準値算出部１３は、凸Ｂの極大値に対応する対象物距離、つまり最遠の対象物距離Ｚ_ｅに基づいて、基準値を算出する。最遠の対象物距離Ｚ_ｅの算出方法、及び、基準値の算出方法の詳細は後述する。

【0022】

床面判定部１４は、距離情報に含まれる各画素に係る距離と、基準値算出部１３が算出した基準値とに基づいて、当該画素に対応する撮像対象が床面か否かを判定する。

【0023】

出力制御部１５は、床面判定部１４の判定結果に基づいて、移動体が走行可能な経路を示すマップを、表示装置に表示させる。

【0024】

（動作）
次に、第１の実施形態の動作について説明する。

【0025】

（基準値算出処理）
以下、第１の実施形態における、基準値算出処理について説明する。

【0026】

図４は、第１の実施形態における、基準値算出処理を示すフローチャートである。基準値算出処理は、例えば、所定の周期で、床面と障害物とを区別する基準値を取得するために実行される。また、基準値算出処理は、例えば、深度カメラを新たに設置または移設した場合に、キャリブレーションとして、基準値を取得するために実行される。

【0027】

距離情報取得部１１は、深度カメラから、距離情報を取得する（ステップＳ１１）。そして、距離情報取得部１１は、取得した距離情報を、距離情報記憶部１２に記憶させる。

【0028】

ここで、距離情報について、図５を用いて説明する。図５は、第1の実施形態における、深度カメラが撮像する画像の各画素と、当該カメラの撮像範囲と、の対応を説明する図である。

【0029】

図５を参照すると、１台の深度カメラで撮像可能な撮像範囲における、床面及び障害物である撮像対象が示されている。また、撮像範囲内の撮像対象の上部には、カメラ面に仮想的に展開された、深度カメラにより撮像される画像の各画素が示されている。ここで、カメラ面とは、カメラの高さにおける、床面と並行な仮想的な面である。各画素の位置（ｘｙ座標）は、ｘ軸とｙ軸と（ｘｙ平面）で表され、深度カメラから各画素に対応する床面や障害物上の点までの距離ｚは、ｚ軸上の位置（ｚ座標）で表される。

【0030】

ここで、深度カメラにより撮像される画像の画素数は、ｎ×ｎとする（ｎは正の整数）。画素数は、深度カメラの種類により異なり、ｎ×ｎに限定されず、ｎ×ｍ（ｍは正の整数）であってもよい。

【0031】

図５の例では、各画素の位置（ｘｙ座標）は、画像の左上を原点Ｏ（ｘ_０ｙ_０）として、ｘ軸がｘ_０からｘ_ｎ－１の座標で表され、ｙ軸がｙ_０からｙ_ｎ－１の座標で表されている。この場合、例えば、カメラ面の画素Ａ（ｘ_ｉｙ_ｉ）（ｉは正の整数で、ｉ＜ｎ）に対応する、撮像範囲内の撮像対象は、床面上の点Ａ’に位置する。そして、画素Ａ（ｘ_ｉｙ_ｉ）には、深度カメラから床面までの距離である対処物距離ｚが、ｚ軸の座標Ｚ_ｉ，ｉとして付与されている。

【0032】

このように、各画素には、画像上（ｘｙ平面上）の位置を示すｘｙ座標と、当該座標における対象物距離ｚであるｚ座標と、が関連付けられている。

【0033】

図６は、第1の実施形態における、距離情報の例を示す図である。距離情報は、各画素のｘｙ座標、各画素のｚ座標、及び、判定結果を含む。判定結果は、後述する基準値に基づいて、各画素が床面または障害物であるかを判定した結果である。図６の距離情報の例では、図５に示す各画素に関連付けられたｘ軸、ｙ軸、及び、ｚ軸の各座標と、空欄の判定結果と、を示している。

【0034】

基準値算出部１３は、取得された距離情報から、度数が極大値をとる対象物距離ｚのうち最遠の対象物距離Ｚ_ｅを検出する極大値検出処理を行う（ステップＳ１２）。ここで、極大値検出処理について詳細に説明する。

【0035】

（極大値検出処理）
図７は、第1の実施形態における、極大値検出処理を示すフローチャートである。基準値算出部１３は、距離情報記憶部１２に記憶されたある時刻の距離情報を取得する（ステップＳ１２１）。基準値算出部１３は、取得した距離情報の度数分布を生成する（ステップＳ１２２）。ここで、基準値算出部１３は、図３に示したような、画像の画素全体に対する対象物距離ｚの度数分布を生成する。

【0036】

図８は、第1の実施形態における、最遠の対象物距離Ｚ_ｅを検出するアルゴリズムを説明する図である。以下、図８を用いてアルゴリズムを説明する。

【0037】

基準値算出部１３は、最遠の対象物距離Ｚ_ｅを検出するために、対象物距離ｚを表す変数Ｚに初期値Ｚ_０を設定する（ステップＳ１２３）。ここで、初期値Ｚ_０には、深度カメラと床面との距離のとり得る値より大きな値を設定する。このような初期値Ｚ_０を設定することにより、以下の極大値検出処理において、変数Ｚが最遠の対象物距離Ｚ_ｅに収束し易くなる。深度カメラと床面との距離のとり得る値は、例えば、レーザー距離測定器等により、予め測定されていてもよい。

【0038】

基準値算出部１３は、変数Ｚに基づき、変数Ｚを含む対象物距離ｚの区間［ｍ_ｘ，Ｍ_ｘ］を算出する（ステップＳ１２４）。ここで、ｘは、繰り返し回数を示す０以上の整数である。ｍ_ｘは、繰り返し回数ｘにおける、区間の始点（対象物距離ｚが最小値をとる点）であり、Ｍ_ｘは、繰り返し回数ｘにおける、区間の終点（対象物距離ｚが最大値をとる点）である。始点ｍ_ｘ、終点Ｍ_ｘは、例えば、繰り返し回数ｘにおける変数Ｚの値Ｚ_ｘを用いて、ｍ_ｘ＝Ｚ_ｘ（１－Ａ）、Ｍ_ｘ＝Ｚ_ｘ（１＋Ｂ）により算出される。定数値Ａ及びＢは、それぞれ０より大きく、１より小さい実数の定数である。また、Ａ及びＢは、深度カメラの個体差等により変わる値である。図８（ａ）を参照すると、例えば、変数Ｚの初期値Ｚ_０を用いて最初に算出した区間は［ｍ_０，Ｍ_０］となる。

【0039】

基準値算出部１３は、算出した区間内の対象物距離ｚの平均値を算出し、算出した平均値で変数Ｚを更新する（ステップＳ１２５）。この場合、変数Ｚの値Ｚ_ｘ＋１は、区間［ｍ_ｘ，Ｍ_ｘ］における対象物距離ｚの平均値、

【0040】

【数1】

【0041】

により算出される。ただし、Δzは、度数分布の横軸ｚのビン幅であり、Ｎ（ｍ_ｘ）、Ｎ（ｍ_ｘ＋Δz）、及び、Ｎ（Ｍ_ｘ）は、それぞれ、対象物距離ｍ_ｘ、Ｎｍ_ｘ＋Δz、及び、Ｍ_ｘに対する度数（画素数）である。

【0042】

例えば、基準値算出部１３は、区間［ｍ_０，Ｍ_０］に対して、上述の式１に基づいて、変数Ｚの値Ｚ_１を算出する。

【0043】

ついで、基準値算出部１３は、変数Ｚが収束しているか否かを判定する（ステップＳ１２６）。ここで、基準値算出部１３は、変数Ｚの変化が、所定の条件を満たしている場合、変数Ｚが収束していると判定する。所定の条件として、例えば、一つ前の繰り返しで算出した変数Ｚの値Ｚ_ｘと、現在の繰り返しで算出した変数Ｚの値Ｚ_ｘ＋１と、の差分が所定範囲内に収まっていることが用いられる。また、所定の条件として、所定の繰り返し回数の間、連続して、上記差分が所定範囲内に収まっていることが用いられてもよい。

【0044】

基準値算出部１３は、変数Ｚが収束していない場合（ステップＳ１２６ ＮＯ）、ステップＳ１２４の区間算出処理と、ステップＳ１２５の平均値算出処理とを繰り返す。

【0045】

図８（ｂ）を参照すると、ステップＳ１２４の区間算出処理と、ステップＳ１２５の平均値算出処理と、を繰り返すことにより、繰り返し回数ｋ（ただし、ｋ＝０，１，２・・・）における変数Ｚの値Ｚ_ｋが、最遠の対象物距離Ｚ_ｅに近づいていく。

【0046】

基準値算出部１３は、変数Ｚが収束している場合（ステップＳ１２６ ＹＥＳ）、収束した変数Ｚを、最遠の対象物距離Ｚ_ｅに設定する（ステップＳ１２７）。

【0047】

図８（ｃ）を参照すると、繰り返し回数ｌにおける変数Ｚの値Ｚ_ｌが、最遠の対象物距離Ｚ_ｅ近傍に収束している。

【0048】

このようにして、基準値算出部１３は、極大値検出処理により、距離情報から、最遠の対象物距離Ｚ_ｅを算出する。

【0049】

図４を参照すると、基準値算出部１３は、最遠の対象物距離Ｚ_ｅに基づいて、基準値を算出する（ステップＳ１３）。ここで、基準値算出部１３は、例えば、最遠の対象物距離Ｚ_ｅから所定の距離だけ近い対象物距離を基準値に設定する。また、基準値算出部１３は、最遠の対象物距離Ｚ_ｅから、最遠の対象物距離Ｚ_ｅの所定の割合だけ近い対象物距離を基準値に設定してもよい。また、基準値算出部１３は、最遠の対象物距離Ｚ_ｅから、度数分布における最遠の対象物距離Ｚ_ｅに対応する山の幅（例えば、度数が極大値の所定の割合となる対象物距離）だけ近い対象物距離を基準値に設定してもよい。

【0050】

図９は、第１の実施形態における、最遠の対象物距離Ｚ_ｅと、基準値との関係を示す図である。図９の例では、最遠の対象物距離Ｚ_ｅから距離ａだけ近い対象物距離を基準値Ｚ_ｓとしている。

【0051】

床面判定部１４は、基準値算出部１３が算出した基準値に基づいて、距離情報に含まれる画素ごとに、撮像対象が床面または障害物かを判定する（ステップＳ１４）。例えば、図６に示した距離情報の例では、画素ごとに、対象物距離ｚと基準値Ｚ_ｓとを、比較して、対象物距離ｚが基準値Ｚ_ｓより小さい画素の撮像対象を、障害物と判定し、対象物距離ｚが基準値Ｚ_ｓ以上の画素の撮像対象を、床面と判定する。そして、床面判定部１４は、判定結果を距離情報に設定する。また、各深度カメラは、例えば、レンズの球面収差等による画像の不明確性のため、各画素の距離情報に揺らぎが発生することから、床面判定部１４は、対象物距離ｚが基準値Ｚ_ｓ近傍の所定範囲内の対象物距離に位置する画素を、床面と判定してもよい。このようにすることで、床面判定部１４は、各画素の距離情報の揺らぎを軽減でき、誤判定を減少させることができる。

【0052】

図１０は、第1の実施形態における、各画素に対応する撮像対象が判定された後の距離情報の例を示す図である。図１０の距離情報は、図５に示す各画素と撮像対象との関係に基づく判定結果が設定されている。

【0053】

出力制御部１５は、距離情報に設定された判定結果に基づいて、移動体が走行可能な経路を示すマップを生成して表示装置に表示させる（ステップＳ１５）。図１１は、第１の実施形態における、判定結果に基づいて生成されたマップの例を示す図である。例えば、出力制御部１５は、図１０の距離情報の判定結果に基づき、図１１のマップを生成する。図１１のマップでは、床面と判定された画素の位置が走行可能な経路として表示されている。

【0054】

以上により、第１の実施形態の動作が完了する。

【0055】

なお、上述の極大値検出処理では、距離情報の度数分布を生成（ステップＳ１２１）した後に、初期値の設定（ステップＳ１２２）を行ったが、初期値の設定を行った後に、距離情報の度数分布を生成してもよい。

【0056】

また、上述の基準値算出処理では、度数分布を生成して、ビン幅ごとに度数を集約して、設定した区間の平均値を算出した。しかしながら、これに限らず、距離情報の各画素のz座標の値のうち、例えば、区間［ｍ_ｘ，Ｍ_ｘ］の範囲内にあるものを合計し、その画素数で割ることで、区間［ｍ_ｘ，Ｍ_ｘ］に対する対象物距離ｚの平均値を求めてもよい。

【0057】

次に、第１の実施形態の効果を説明する。

【0058】

第１の実施形態によれば、簡単な構成で、深度カメラにより障害物と床面とを区別できる。その理由は、距離情報取得部１１が、深度カメラにより撮像された床面を含む画像から算出される距離情報であって、深度カメラから画像の各画素に対応する撮像対象までの距離を表す距離情報を取得し、基準値算出部１３が、取得した距離情報に含まれる各画素に係る距離の度数分布において、度数が極大値をとる距離のうちの最遠の距離に基づいて、撮像対象が床面か否かを区別するための距離の基準値を算出するためである。

【0059】

（第１の実施形態の変形例）
上述した第1の実施形態の基準値算出処理では、変数Ｚの初期値Ｚ_０に、深度カメラと床面との距離のとり得る値より大きな値を設定し、当該初期値Ｚ_０に基づき区間を設定した。また、各繰り返し処理の区間算出の際に、定数値Ａ及びＢを用いた。しかしながら、これに限らず、度数分布の対象物距離ｚの全域を区間の初期値に設定し、定数値Ａ及びＢの代わりに、繰り返しごとに所定の割合で小さくなるような、可変の値Ａ’及びＢ’の値を用いてもよい。この場合、始点ｍ_ｘ、終点Ｍ_ｎは、それぞれ、ｍ_ｘ＝Ｚ_ｘ（１－Ａ’）、Ｍ_ｘ＝Ｚ_ｘ（１＋Ｂ’）により算出される。そして、区間算出処理と、平均値算出処理とを、変数Ｚが収束するまで繰り返すことにより、最遠の対象物距離Ｚ_ｅが算出される。

【0060】

例えば、床面積が深度カメラの撮像範囲の半分以上を占めるような場合には、このような処理により、変数Ｚの初期値Ｚ_０を設定しなくても、最遠の対象物距離Ｚ_ｅを算出できる。

【0061】

（第２の実施形態）
第２の実施形態について説明する。

【0062】

第１の実施形態では、１つの画像に基づく距離情報に基づいて、極大値検出処理を行った。第２の実施形態では、時刻の異なる複数の画像に基づく距離情報を用いて、度数が極大値をとる対象物距離ｚのうち最遠の対象物距離Ｚ_ｅを算出する。

【0063】

図１２は、第２の実施形態における、極大値検出処理を示すフローチャートである。ここでは、第１の実施形態の極大値検出処理と異なる点について説明する。

【0064】

基準値算出部１３は、対象物距離ｚを表す変数Ｚの初期値Ｚ_０を設定する（ステップＳ２２１）。距離情報取得部１１は、距離情報記憶部１２から、距離情報を取得する（ステップＳ２２２）。ここで、距離情報取得部１１は、ステップＳ２２２～Ｓ２２６を繰り返すたびに、異なる時刻の撮像画像から算出された距離情報を取得する。

【0065】

基準値算出部１３は、取得した距離情報について度数分布を生成する（ステップＳ２２３）。区間算出処理（ステップＳ２２４）及び平均値算出処理（ステップＳ２２５）は、第１の実施形態の極大値検出処理の区間算出処理（ステップＳ１２３）及び平均値算出処理（ステップＳ１２４）と同様である。

【0066】

基準値算出部１３は、変数Ｚが収束していない場合（ステップＳ２２６ ＮＯ）、ステップＳ２２２の距離情報を取得する処理から繰り返す。

【0067】

基準値算出部１３は、変数Ｚが収束している場合（ステップＳ２２６ ＹＥＳ）、収束した変数Ｚを、最遠の対象物距離Ｚ_ｅに設定する（ステップＳ２２７）。

【0068】

（第２の実施形態の効果）
第２の実施形態によれば、使用環境等による深度カメラの距離情報の時間的な揺らぎがある場合でも、基準値を正しく算出できる。その理由は、基準値算出部１３が、基準値算出処理における繰り返しごとに、異なる時刻に撮像された画像から算出される距離情報に係る度数分布を用いて、度数が極大値をとる距離のうち最遠の距離を求め、床面と障害物とを区別する基準値を算出するためである。これにより、深度カメラの距離情報の時間的な揺らぎの影響が軽減され、正しい基準値を算出できる。

【0069】

（第３の実施形態）
第３の実施形態について説明する。

【0070】

図１３は、第３の実施形態における、画像処理装置１の構成を示すブロック図である。画像処理装置１は、距離情報取得部２、及び、基準値算出部３を含む。距離情報取得部２、及び、基準値算出部３は、それぞれ、本開示の距離情報取得手段、及び、基準値算出手段の一実施形態である。また、距離情報取得部２、及び、基準値算出部３は、それぞれ、第１の実施形態の、距離情報取得部１１、及び、基準値算出部１３に相当する。

【0071】

距離情報取得部２は、撮像装置により撮像された床面を含む画像から算出される距離情報であって、撮像装置から画像の各画素に対応する撮像対象までの距離を表す距離情報を取得する。基準値算出部３は、取得した距離情報に含まれる各画素に係る距離の度数分布において、度数が極大値をとる距離のうちの最遠の距離に基づいて、撮像対象が床面か否かを区別するための距離の基準値を算出する。

【0072】

（第３の実施形態の効果）
第３の実施形態によれば、簡単な構成で、深度カメラにより障害物と床面とを区別できる。その理由は、画像処理装置１の距離情報取得部２が、撮像装置により撮像された床面を含む画像から算出される距離情報であって、撮像装置から画像の各画素に対応する撮像対象までの距離を表す距離情報を取得し、基準値算出部３が、取得した距離情報に含まれる各画素に係る距離の度数分布において、度数が極大値をとる距離のうちの最遠の距離に基づいて、撮像対象が床面か否かを区別するための距離の基準値を算出するためである。

【0073】

（ハードウェア構成）
上述した各実施形態において、画像処理装置１０の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、コンピュータ５００とプログラムとの任意の組み合わせにより実現されてもよい。

【0074】

図１４、はコンピュータ５００のハードウェア構成の例を示すブロック図である。図１４を参照すると、コンピュータ５００は、例えば、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、プログラム５０４、記憶装置５０５、ドライブ装置５０７、通信インタフェース５０８、入力装置５０９、出力装置５１０、入出力インタフェース５１１、及び、バス５１２を含む。

【0075】

プログラム５０４は、各装置の各機能を実現するための命令（instruction）を含む。プログラム５０４は、予め、ＲＯＭ５０２やＲＡＭ５０３、記憶装置５０５に格納される。ＣＰＵ５０１は、プログラム５０４に含まれる命令を実行することにより、各装置の各機能を実現する。例えば、ＣＰＵ５０１がプログラム５０４に含まれる命令を実行することにより、距離情報取得部１１、基準値算出部１３、床面判定部１４、及び、出力制御部１５の機能を実現する。また、例えば、ＲＡＭ５０３が、距離情報記憶部１２のデータを記憶してもよい。また、例えば、記憶装置５０５が、距離情報記憶部１２のデータを記憶してもよい。

【0076】

ドライブ装置５０７は、記録媒体５０６の読み書きを行う。通信インタフェース５０８は、通信ネットワークとのインタフェースを提供する。入力装置５０９は、例えば、マウスやキーボード等であり、オペレータ等からの情報の入力を受け付ける。出力装置５１０は、例えば、ディスプレイであり、オペレータ等へ情報を出力（表示）する。入出力インタフェース５１１は、周辺機器とのインタフェースを提供する。バス５１２は、これらハードウェアの各構成要素を接続する。なお、プログラム５０４は、通信ネットワークを介してＣＰＵ５０１に供給されてもよいし、予め、記録媒体５０６に格納され、ドライブ装置５０７により読み出され、ＣＰＵ５０１に供給されてもよい。

【0077】

なお、図１４に示されているハードウェア構成は例示であり、これら以外の構成要素が追加されていてもよく、一部の構成要素を含まなくてもよい。

【0078】

画像処理装置１０の実現方法には、様々な変形例がある。例えば、画像処理装置１０は、構成要素毎にそれぞれ異なるコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つのコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。

【0079】

また、各装置の各構成要素の一部または全部は、プロセッサ等を含む汎用または専用の回路（circuitry）や、これらの組み合わせによって実現されてもよい。これらの回路は、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

【0080】

また、各装置の各構成要素の一部又は全部が複数のコンピュータや回路等により実現される場合、複数のコンピュータや回路等は、集中配置されてもよいし、分散配置されてもよい。

【0081】

以上、実施形態を参照して本開示を説明したが、本開示は上記実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。また、各実施形態における構成は、本開示のスコープを逸脱しない限りにおいて、互いに組み合わせることが可能である。

【符号の説明】

【0082】

１、１０ 画像処理装置
２、１１ 距離情報取得部
３、１３ 基準値算出部
１２ 距離情報記憶部
１４ 床面判定部
１５ 出力制御部
５００ コンピュータ
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ プログラム
５０５ 記憶装置
５０６ 記録媒体
５０７ ドライブ装置
５０８ 通信インタフェース
５０９ 入力装置
５１０ 出力装置
５１１ 入出力インタフェース
５１２ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】