特許 7042520 体積推定装置、体積推定システムおよび体積推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-17

(45)【発行日】2022-03-28

(54)【発明の名称】体積推定装置、体積推定システムおよび体積推定方法

(51)【国際特許分類】

   G01B 11/28 20060101AFI20220318BHJP

   G06T 7/62 20170101ALI20220318BHJP

   G06T 7/60 20170101ALI20220318BHJP

   G01B 11/24 20060101ALI20220318BHJP

   G01B 17/06 20060101ALI20220318BHJP

   G01F 17/00 20060101ALI20220318BHJP

【ＦＩ】

G01B11/28 H

G06T7/62

G06T7/60 180B

G01B11/24 K

G01B17/06

G01F17/00 B

【請求項の数】 6

(21)【出願番号】P 2020043226

(22)【出願日】2020-03-12

(62)【分割の表示】P 2018089724の分割

【原出願日】2018-05-08

(65)【公開番号】P2020101566

(43)【公開日】2020-07-02

【審査請求日】2021-05-06

(73)【特許権者】

【識別番号】396006181

【氏名又は名称】ウエノテックス株式会社

(74)【代理人】

【識別番号】110002608

【氏名又は名称】特許業務法人オーパス国際特許事務所

(72)【発明者】

【氏名】上野 光陽

(72)【発明者】

【氏名】小林 幸平

(72)【発明者】

【氏名】今宿 芳明

(72)【発明者】

【氏名】名取 則行

【審査官】森 雅之

(56)【参考文献】

【文献】特開平１１－２１１４３８（ＪＰ，Ａ）

【文献】特許第４９１７９８３（ＪＰ，Ｂ２）

【文献】特許第４５７８５６６（ＪＰ，Ｂ２）

【文献】特許第６７５７９５２（ＪＰ，Ｂ２）

【文献】特許第６７０４５７２（ＪＰ，Ｂ２）

【文献】米国特許第８１８０１４５（ＵＳ，Ｂ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ

Ｇ０６Ｔ

Ｇ０１Ｆ

(57)【特許請求の範囲】

【請求項1】

搬送装置によって搬送される被搬送物の体積を推定する体積推定装置であって、
前記被搬送物が載せられる前記搬送装置の搬送面上の三次元空間を撮影する深度カメラから画素毎に奥行き情報を含む深度画像データを取得する深度画像データ取得部と、
前記深度画像データ取得部によって取得された前記搬送面に被搬送物が載せられていない空荷状態の前記深度画像データの画素の奥行き情報に基づいて、前記深度カメラから当該画素に対応する領域までの距離を空荷時距離として取得する空荷時距離取得部と、
前記深度画像データ取得部によって取得された前記搬送装置の稼働中の前記深度画像データの画素の奥行き情報に基づいて、前記深度カメラから当該画素に対応する領域までの距離を稼働時距離として取得する稼働時距離取得部と、
前記空荷時距離と、前記稼働時距離と、に基づいて前記被搬送物の体積を推定する体積推定部と、
前記空荷状態の前記深度画像データの画素（「画素Ａ」という）についての前記空荷時距離に基づいて、この画素Ａに対応する領域の面積を第１面積として取得し、かつ、前記搬送装置の稼働中の前記深度画像データにおける前記画素Ａに対応する画素（「画素Ｂ」という）についての前記稼働時距離に基づいて、この画素Ｂに対応する領域の面積を第２面積として取得する面積取得部と、を有し、
前記体積推定部が、
前記画素Ａについての前記空荷時距離と前記画素Ｂについての前記稼働時距離との差分値（「高さ」という）を取得し、
前記第１面積と前記第２面積と前記高さとを用いて四角錐台の体積を算出し、
全ての画素について四角錐台の体積を算出して、これら体積の合計値を前記被搬送物の推定体積とすることを特徴とする体積推定装置。

【請求項2】

搬送装置によって搬送される被搬送物の体積を推定する体積推定装置であって、
前記被搬送物が載せられる前記搬送装置の搬送面上の三次元空間を撮影する深度カメラから画素毎に奥行き情報を含む深度画像データを取得する深度画像データ取得部と、
前記深度画像データ取得部によって取得された前記搬送面に被搬送物が載せられていない空荷状態の前記深度画像データの画素の奥行き情報に基づいて、前記深度カメラから当該画素に対応する領域までの距離を空荷時距離として取得する空荷時距離取得部と、
前記深度画像データ取得部によって取得された前記搬送装置の稼働中の前記深度画像データの画素の奥行き情報に基づいて、前記深度カメラから当該画素に対応する領域までの距離を稼働時距離として取得する稼働時距離取得部と、
前記空荷時距離と、前記稼働時距離と、に基づいて前記被搬送物の体積を推定する体積推定部と、
前記空荷状態の前記深度画像データの画素（「画素Ａ」という）についての前記空荷時距離に基づいて、この画素Ａに対応する領域の面積を第１面積として取得し、かつ、前記搬送装置の稼働中の前記深度画像データの画素（「画素Ｂ」という）についての前記稼働時距離に基づいて、この画素Ｂに対応する領域の面積を第２面積として取得する面積取得部と、を有し、
前記体積推定部が、
前記画素Ａについての前記空荷時距離と前記第１面積とを用いて四角錐の体積を算出し、
全ての前記画素Ａについて算出した四角錐の体積の合計値（「第１合計値」という）を算出し、
前記画素Ｂについての前記稼働時距離と前記第２面積とを用いて四角錐の体積を算出し、
全ての前記画素Ｂについて算出した四角錐の体積の合計値（「第２合計値」という）を算出し、
前記第１合計値と前記第２合計値との差分値を前記被搬送物の推定体積とすることを特徴とする体積推定装置。

【請求項3】

前記搬送装置が、ダンプトラックであり、前記搬送面が、前記ダンプトラックの荷台の内面である、請求項１または請求項２に記載の体積推定装置。

【請求項4】

搬送装置によって搬送される被搬送物の体積を推定する体積推定システムであって、
前記被搬送物が載せられる前記搬送装置の搬送面上の三次元空間を撮影する深度カメラと、
請求項１～請求項３のいずれか一項に記載の体積推定装置と、を備えることを特徴とする体積推定システム。

【請求項5】

搬送装置によって搬送される被搬送物の体積を推定する体積推定方法であって、
前記被搬送物が載せられる前記搬送装置の搬送面上の三次元空間を深度カメラで撮影して、画素毎に奥行き情報を含む深度画像データを取得し、
前記搬送面に被搬送物が載せられていない空荷状態の前記深度画像データに基づいて、前記深度カメラから当該深度画像データの画素に対応する領域までの距離を空荷時距離として取得し、
前記搬送装置の稼働中の前記深度画像データに基づいて、前記深度カメラから当該深度画像データの画素に対応する領域までの距離を稼働時距離として取得し、
前記空荷状態の前記深度画像データの画素（「画素Ａ」という）についての前記空荷時距離に基づいて、この画素Ａに対応する領域の面積を第１面積として取得し、かつ、前記搬送装置の稼働中の前記深度画像データにおける前記画素Ａに対応する画素（「画素Ｂ」という）についての前記稼働時距離に基づいて、この画素Ｂに対応する領域の面積を第２面積として取得し、
前記画素Ａについての前記空荷時距離と前記画素Ｂについての前記稼働時距離との差分値（「高さ」という）を取得し、
前記第１面積と前記第２面積と前記高さとを用いて四角錐台の体積を算出し、
全ての画素について四角錐台の体積を算出して、これら体積の合計値を前記被搬送物の推定体積とすることを特徴とする体積推定方法。

【請求項6】

搬送装置によって搬送される被搬送物の体積を推定する体積推定方法であって、
前記被搬送物が載せられる前記搬送装置の搬送面上の三次元空間を深度カメラで撮影して、画素毎に奥行き情報を含む深度画像データを取得し、
前記搬送面に被搬送物が載せられていない空荷状態の前記深度画像データに基づいて、前記深度カメラから当該深度画像データの画素に対応する領域までの距離を空荷時距離として取得し、
前記搬送装置の稼働中の前記深度画像データに基づいて、前記深度カメラから当該深度画像データの画素に対応する領域までの距離を稼働時距離として取得し、
前記空荷状態の前記深度画像データの画素（「画素Ａ」という）についての前記空荷時距離に基づいて、この画素Ａに対応する領域の面積を第１面積として取得し、かつ、前記搬送装置の稼働中の前記深度画像データの画素（「画素Ｂ」という）についての前記稼働時距離に基づいて、この画素Ｂに対応する領域の面積を第２面積として取得し、
前記画素Ａについての前記空荷時距離と前記第１面積とを用いて四角錐の体積を算出し、
全ての前記画素Ａについて算出した四角錐の体積の合計値（「第１合計値」という）を算出し、
前記画素Ｂについての前記稼働時距離と前記第２面積とを用いて四角錐の体積を算出し、
全ての前記画素Ｂについて算出した四角錐の体積の合計値（「第２合計値」という）を算出し、
前記第１合計値と前記第２合計値との差分値を前記被搬送物の推定体積とすることを特徴とする体積推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、体積推定装置、体積推定システムおよび体積推定方法に関する。特に、コンベアやダンプトラックなどの搬送装置によって搬送される廃棄物や土砂などの体積の推定に適した体積推定装置、体積推定システムおよび体積推定方法に関する。

【背景技術】

【0002】

近年、資源の有効活用の観点から、廃棄物をリサイクル可能な資源として再利用することが求められている。例えば、建築廃材などの廃棄物は、素材毎に選別して、再利用しやすいように破砕処理することで価値ある資源として蘇る。

【0003】

廃棄物は、処理場において選別処理および破砕処理が行われる。処理場では、廃棄物管理のため、廃棄物の搬入量および搬出量が測定される。

【0004】

特許文献１に、車両に積載された廃棄物の量を算出する積載量算出装置に係る発明が開示されている。この装置は、車両の荷台の積載面に対して複数の測定箇所を予め分散させて配置し、積載物上面までの距離を複数のレーザ距離計により測定する。そして、荷台の積載面までの距離を少なくとも一つのレーザ距離計により測定し、荷台の積載面からの積載高を求めて、積載容量を算出する。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１２－７８１１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に開示されている積載量算出装置は、測定箇所に応じた複数のレーザ距離計が必要となる。そのため、積載量の算出精度を高めようとすると、測定箇所を増やしてレーザ距離計を多数配置しなければならなかった。また、例えば、積載面に凹凸があるダンプトラックや積載面の断面がＶ字状のコンベアなど、平坦でない積載面を有する搬送装置に対応するには、積載面までの距離を測定するレーザ距離計をさらに多数配置しなければならなかった。そのため、装置構成が複雑であり、装置コストが高くなってしまうという問題があった。

【0007】

そこで、本発明は、簡易な構成で精度よく体積を推定できる体積推定装置、体積推定システムおよび体積推定方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本発明の一態様に係る体積推定装置は、搬送装置によって搬送される被搬送物の体積を推定する体積推定装置であって、前記被搬送物が載せられる前記搬送装置の搬送面上の三次元空間を撮影する深度カメラから画素毎に奥行き情報を含む深度画像データを取得する深度画像データ取得部と、前記深度画像データ取得部によって取得された前記搬送面に被搬送物が載せられていない空荷状態の前記深度画像データの画素の奥行き情報に基づいて、前記深度カメラから当該画素に対応する領域までの距離を空荷時距離として取得する空荷時距離取得部と、前記深度画像データ取得部によって取得された前記搬送装置の稼働中の前記深度画像データの画素の奥行き情報に基づいて、前記深度カメラから当該画素に対応する領域までの距離を稼働時距離として取得する稼働時距離取得部と、前記空荷時距離と前記稼働時距離とに基づいて前記被搬送物の体積を推定する体積推定部と、を有していることを特徴とする。

【0009】

本発明において、前記空荷状態の前記深度画像データの画素（「画素Ａ」という）についての前記空荷時距離に基づいて、この画素Ａに対応する領域の面積を第１面積として取得し、かつ、前記搬送装置の稼働中の前記深度画像データにおける前記画素Ａに対応する画素（「画素Ｂ」という）についての前記稼働時距離に基づいて、この画素Ｂに対応する領域の面積を第２面積として取得する面積取得部をさらに有し、前記体積推定部が、前記第１面積と、前記第２面積と、前記画素Ａについての前記空荷時距離と、前記画素Ｂについての前記稼働時距離と、に基づいて、前記被搬送物の体積を推定する。前記体積推定部が、前記画素Ａについての前記空荷時距離と前記画素Ｂについての前記稼働時距離との差分値（「高さ」という）を取得し、前記第１面積と前記第２面積と前記高さとを用いて四角錐台の体積を算出し、全ての画素について四角錐台の体積を算出して、これら体積の合計値を前記被搬送物の推定体積とする。

【0010】

上記目的を達成するため、本発明の他の一態様に係る体積推定装置は、搬送装置によって搬送される被搬送物の体積を推定する体積推定装置であって、前記被搬送物が載せられる前記搬送装置の搬送面上の三次元空間を撮影する深度カメラから画素毎に奥行き情報を含む深度画像データを取得する深度画像データ取得部と、前記深度画像データ取得部によって取得された前記搬送面に被搬送物が載せられていない空荷状態の前記深度画像データの画素の奥行き情報に基づいて、前記深度カメラから当該画素に対応する領域までの距離を空荷時距離として取得する空荷時距離取得部と、前記深度画像データ取得部によって取得された前記搬送装置の稼働中の前記深度画像データの画素の奥行き情報に基づいて、前記深度カメラから当該画素に対応する領域までの距離を稼働時距離として取得する稼働時距離取得部と、前記空荷時距離と前記稼働時距離とに基づいて前記被搬送物の体積を推定する体積推定部と、を有し、前記体積推定部が、前記空荷時距離と、前記稼働時距離と、に基づいて前記被搬送物の体積を推定することを特徴とする。

【0011】

本発明において、前記空荷状態の前記深度画像データの画素（「画素Ａ」という）についての前記空荷時距離に基づいて、この画素Ａに対応する領域の面積を第１面積として取得し、かつ、前記搬送装置の稼働中の前記深度画像データの画素（「画素Ｂ」という）についての前記稼働時距離に基づいて、この画素Ｂに対応する領域の面積を第２面積として取得する面積取得部をさらに有し、前記体積推定部が、前記第１面積と、前記第２面積と、前記画素Ａについての前記空荷時距離と、前記画素Ｂについての前記稼働時距離と、に基づいて、前記被搬送物の体積を推定する。前記体積推定部が、前記画素Ａについての前記空荷時距離と前記第１面積とを用いて四角錐の体積を算出し、全ての前記画素Ａについて算出した四角錐の体積の合計値（「第１合計値」という）を算出し、前記画素Ｂについての前記稼働時距離と前記第２面積とを用いて四角錐の体積を算出し、全ての前記画素Ｂについて算出した四角錐の体積の合計値（「第２合計値」という）を算出し、前記第１合計値と前記第２合計値との差分値を前記被搬送物の推定体積とする。
本発明において、前記搬送装置が、ダンプトラックであり、前記搬送面が、前記ダンプトラックの荷台の内面であることが好ましい。

【0012】

上記目的を達成するために、本発明の他の一態様に係る体積推定システムは、搬送装置によって搬送される被搬送物の体積を推定する体積推定システムであって、前記被搬送物が載せられる前記搬送装置の搬送面上の三次元空間を撮影する深度カメラと、上記体積推定装置と、を備えることを特徴とする。

【0013】

上記目的を達成するために、本発明の他の一態様に係る体積推定方法は、搬送装置によって搬送される被搬送物の体積を推定する体積推定方法であって、前記被搬送物が載せられる前記搬送装置の搬送面上の三次元空間を深度カメラで撮影して、画素毎に奥行き情報を含む深度画像データを取得し、前記搬送面に被搬送物が載せられていない空荷状態の前記深度画像データに基づいて、前記深度カメラから当該深度画像データの画素に対応する領域までの距離を空荷時距離として取得し、前記搬送装置の稼働中の前記深度画像データに基づいて、前記深度カメラから当該深度画像データの画素に対応する領域までの距離を稼働時距離として取得し、前記空荷状態の前記深度画像データの画素（「画素Ａ」という）についての前記空荷時距離に基づいて、この画素Ａに対応する領域の面積を第１面積として取得し、かつ、前記搬送装置の稼働中の前記深度画像データにおける前記画素Ａに対応する画素（「画素Ｂ」という）についての前記稼働時距離に基づいて、この画素Ｂに対応する領域の面積を第２面積として取得し、前記第１面積と、前記第２面積と、前記画素Ａについての前記空荷時距離と、前記画素Ｂについての前記稼働時距離とに基づいて前記被搬送物の体積を推定し、前記画素Ａについての前記空荷時距離と前記画素Ｂについての前記稼働時距離との差分値（「高さ」という）を取得し、前記第１面積と前記第２面積と前記高さとを用いて四角錐台の体積を算出し、全ての画素について四角錐台の体積を算出して、これら体積の合計値を前記被搬送物の推定体積とすることを特徴とする。
上記目的を達成するために、本発明の他の一態様に係る体積推定方法は、搬送装置によって搬送される被搬送物の体積を推定する体積推定方法であって、前記被搬送物が載せられる前記搬送装置の搬送面上の三次元空間を深度カメラで撮影して、画素毎に奥行き情報を含む深度画像データを取得し、前記搬送面に被搬送物が載せられていない空荷状態の前記深度画像データに基づいて、前記深度カメラから当該深度画像データの画素に対応する領域までの距離を空荷時距離として取得し、前記搬送装置の稼働中の前記深度画像データに基づいて、前記深度カメラから当該深度画像データの画素に対応する領域までの距離を稼働時距離として取得し、前記空荷状態の前記深度画像データの画素（「画素Ａ」という）についての前記空荷時距離に基づいて、この画素Ａに対応する領域の面積を第１面積として取得し、かつ、前記搬送装置の稼働中の前記深度画像データの画素（「画素Ｂ」という）についての前記稼働時距離に基づいて、この画素Ｂに対応する領域の面積を第２面積として取得し、前記第１面積と、前記第２面積と、前記画素Ａについての前記空荷時距離と、前記画素Ｂについての前記稼働時距離と、に基づいて、前記被搬送物の体積を推定し、前記画素Ａについての前記空荷時距離と前記第１面積とを用いて四角錐の体積を算出し、全ての前記画素Ａについて算出した四角錐の体積の合計値（「第１合計値」という）を算出し、前記画素Ｂについての前記稼働時距離と前記第２面積とを用いて四角錐の体積を算出し、全ての前記画素Ｂについて算出した四角錐の体積の合計値（「第２合計値」という）を算出し、前記第１合計値と前記第２合計値との差分値を前記被搬送物の推定体積とすることを特徴とする。

【発明の効果】

【0014】

本発明によれば、被搬送物が載せられる搬送装置の搬送面上の三次元空間を撮影する深度カメラから画素毎に奥行き情報を含む深度画像データを取得する。搬送面に被搬送物が載せられていない空荷状態の深度画像データの画素の奥行き情報に基づいて、深度カメラから当該画素に対応する領域までの距離を空荷時距離として取得する。搬送装置の稼働中の深度画像データの画素の奥行き情報に基づいて、深度カメラから当該画素に対応する領域までの距離を稼働時距離として取得する。空荷時距離と稼働時距離とに基づいて被搬送物の体積を推定する。このようにしたことから、深度カメラから取得した深度画像データは、画素毎に奥行き情報を含んでいるので、深度画像データを用いることで深度カメラから各画素に対応する領域までの距離を取得できる。そのため、各画素に対応する領域についての距離から被搬送物の高さを求めて、被搬送物の体積を推定することができる。したがって、簡易な構成で精度よく被搬送物の体積を推定できる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態に係る体積推定システムを説明する図である。

【図2】図１の体積推定システムが有するコンベアの平面図である。

【図3】図１の体積推定システムが有するコンベアの断面図である。

【図4】図１の体積推定システムが有する体積推定装置の機能ブロックを示す図である。

【図5】図１の体積推定システムが有する深度カメラにより撮影される三次元空間を模式的に示す図である。

【図6】図４の体積推定装置のコンピュータにおいて実行される本発明に係る処理（体積推定処理）の一例を示すフローチャートである。

【図7】空荷状態の深度画像データを用いて体積を算出する様子を模式的に示す図である。

【図8】コンベアの稼働中の深度画像データを用いて体積を算出する様子を模式的に示す図である。

【図9】空荷状態の深度画像データを用いて算出した体積およびコンベアの稼働中の深度画像データを用いて算出した体積から、被搬送物の体積を推定する様子を模式的に示す図である。

【図10】図４の体積推定装置のコンピュータにおいて実行される本発明に係る処理（体積推定処理）の他の一例を示すフローチャートである。

【図11】本発明に係る体積推定システムをダンプトラックの荷台に載せられた被搬送物の体積を推定する構成に適用した図である。

【発明を実施するための形態】

【0016】

以下、本発明の一実施形態に係る体積推定システムについて、図１～図９を参照して説明する。本実施形態の体積推定システムは、搬送装置によって搬送される廃棄物の体積を推定するものである。もちろん、本発明は、これら以外にも、土砂などの体積の推定にも用いることができる。

【0017】

図１は、本発明の一実施形態に係る体積推定システムを説明する図である。図２および図３は、図１の体積推定システムが有するコンベアの平面図および断面図である。図４は、図１の体積推定システムが有する体積推定装置の機能ブロックを示す図である。図５は、図１の体積推定システムが有する深度カメラにより撮影される三次元空間を模式的に示す図である。図６は、図４の体積推定装置のコンピュータにおいて実行される本発明に係る処理（体積推定処理）の一例を示すフローチャートである。図７は、空荷状態の深度画像データを用いて体積を算出する様子を模式的に示す図である。図８は、コンベアの稼働中の深度画像データを用いて体積を算出する様子を模式的に示す図である。図９は、空荷状態の深度画像データを用いて算出した体積およびコンベアの稼働中の深度画像データを用いて算出した体積から、被搬送物の体積を推定する様子を模式的に示す図である。

【0018】

本実施形態に係る体積推定システム１は、図１～図３に示す搬送装置としてのコンベア５０によって搬送される被搬送物Ｍの体積を推定するものである。

【0019】

コンベア５０は、断面Ｖ字形状のレーン５１を有し、搬送面であるレーン５１の上面５２に載せられた被搬送物Ｍを一方向（搬送方向Ｆ）に搬送する。コンベア５０は、廃棄物処理場にある建屋の平らな床面Ｇに設置されている。コンベア５０は、図示しない破砕機の下流に連なっており、破砕機によって破砕された廃棄物である被搬送物Ｍを上面５２に載せて搬送する。コンベア５０として、ベルト式コンベアやバケット式のコンベアなどの各種コンベアを採用可能である。

【0020】

図１～図３に示すように、体積推定システム１は、深度カメラ１０と、体積推定装置２０と、を有している。

【0021】

深度カメラ１０は、コンベア５０の上方に配置されており、レーン５１の上面５２に上下方向に対向している。深度カメラ１０は、上面５２上の三次元空間を撮影して深度画像データを生成する。具体的には、深度カメラ１０は、上面５２または上面５２に載せられた被搬送物Ｍの表面で反射された超音波やレーザ光を検知して三次元空間内の撮影領域Ｒについて深度カメラ１０の位置からの距離に係る情報（「奥行き情報」という）を取得し、画素毎に奥行き情報を含む深度画像データを生成する。深度カメラ１０は、レーン５１が搬送方向Ｆに進む速度に合わせて、撮影領域Ｒが重ならずかつ間隔をあけないように順次撮影する。

【0022】

深度画像データは、縦方向および横方向に並ぶ多数の画素により構成されており、詳細には多数の画素に対応するデータの集合である。本実施形態において、深度画像データは、例えば、各画素を奥行きに応じた濃淡で表したグレースケール画像である。深度画像データは、距離が近いほど淡く、距離が遠いほど濃くなるように、各画素について２５６階調の濃淡として表現する。深度画像データは、各画素を奥行きに応じた色で表したカラー画像であってもよい。深度画像データの縦方向は搬送方向Ｆに一致し、横方向はコンベア５０を横切る方向に一致する。深度画像データは、画素毎に奥行き情報を含むデータであればよく、その視認態様は任意である。本実施形態において、深度画像データは、多数の画素が横方向に並ぶ列を複数有する（すなわち複数列）構成であるが、これ以外にも、多数の画素が横方向に並ぶ列を１つのみ有する（すなわち一列）構成であってもよい。

【0023】

図５に、深度カメラ１０により撮影される三次元空間を模式的に示す。深度カメラ１０は、四角錐状の三次元空間の頂点（位置Ｐ０）に位置し、この三次元空間を撮影して深度画像データを生成する。三次元空間内で平面状の撮影領域Ｒ１、Ｒ２を撮影した場合を考えると、位置Ｐ０から距離Ｌ１離れた位置Ｐ１にある撮影領域Ｒ１は、位置Ｐ０から距離Ｌ２（Ｌ２＜Ｌ１）離れた位置Ｐ２にある平面状の撮影領域Ｒ２より面積が大きい。そのため、撮影領域Ｒ１を撮影したときに生成される深度画像データＤ１の画素に対応する領域ｒ１は、撮影領域Ｒ２を撮影したときに生成される深度画像データＤ２の画素に対応する領域ｒ２より面積が大きい。このことは、１枚の深度画像データＤにも当てはまる。すなわち、深度カメラ１０から遠い位置を示す奥行き情報を含む画素に対応する領域は、深度カメラ１０から近い位置を示す奥行き情報を含む画素に対応する領域より面積が大きい。したがって、深度画像データＤの画素に対応する領域は、深度カメラ１０からの距離に応じた面積を有することがわかる。撮影領域Ｒ１の深度画像データＤ１の画素（画素Ａ）に対応する領域ｒ１を下底とし、撮影領域Ｒ２の深度画像データＤ２における画素Ａに対応する画素（画素Ｂ）に対応する領域ｒ２を上底とし、深度カメラ１０から画素Ａまでの距離Ｌ１と深度カメラ１０から画素Ｂまでの距離Ｌ２との差分値を高さとした四角錐台Ｔの体積を求めることで、撮影領域Ｒ１を撮影したときと撮影領域Ｒ２を撮影したときとの三次元空間内での体積の変化量を得ることができる。

【0024】

この原理を応用し、深度画像データを用いることにより三次元空間内にある被搬送物Ｍの体積を推定することができる。

【0025】

第１の体積推定方法を示す。（１）被搬送物Ｍがない状態を撮影した深度画像データＤ１および被搬送物Ｍがある状態を撮影した深度画像データＤ２を取得する。（２）深度画像データＤ１および深度画像データＤ２の各画素について、画素に含まれる奥行き情報に基づいて、深度カメラ１０から当該画素に対応する領域までの距離を取得する。（３）深度カメラ１０からの距離に基づいて深度画像データＤ１の画素（画素Ａ）に対応する領域の面積（第１面積）を取得する。（４）深度カメラ１０からの距離に基づいて深度画像データＤ２における画素Ａに対応する画素（画素Ｂ）に対応する領域の面積（第２面積）を取得する。（５）画素Ａに対応する領域までの距離と画素Ｂに対応する領域までの距離との差分値（高さ）を取得する。そして、（６）第１面積（下底面積）と第２面積（上底面積）と高さとを用いて、四角錐台の体積を算出する。（７）全ての画素について四角錐台Ｔの体積を算出して、これら体積の合計値を被搬送物Ｍの推定体積とする。なお、第１の体積推定方法において、深度カメラ１０の画角が比較的狭い場合、深度画像データＤ１および深度画像データＤ２の画素に対応する領域の面積が全て同一であるものとして、上記高さ（すなわち、深度カメラ１０からの距離）に基づいて簡易的に体積を推定してもよい。

【0026】

第２の体積推定方法を示す。第２の体積推定方法は、深度カメラ１０の撮影方向と直交する基準平面をさらに用いて対象物の体積を推定する。基準平面は、深度カメラ１０から基準距離だけ離れているものとする。（１）被搬送物Ｍがない状態を撮影した深度画像データＤ１および被搬送物Ｍがある状態を撮影した深度画像データＤ２を取得する。（２）深度画像データＤ１および深度画像データＤ２の各画素について、画素に含まれる奥行き情報に基づいて、深度カメラ１０から当該画素に対応する領域までの距離を取得する。（３）深度カメラ１０からの距離に基づいて深度画像データＤ１の画素（画素Ａ）に対応する領域の面積（第１面積）を取得する。（４）深度カメラ１０からの距離に基づいて深度画像データＤ２の画素（画素Ｂ）に対応する領域の面積（第２面積）を取得する。（５）基準平面を深度カメラ１０で撮影した場合の深度画像データＤ３の画素に対応する領域の面積（第３面積）を取得する。（６）基準距離と画素Ａに対応する領域までの距離と差分値（第１高さ）を取得する。（７）基準距離と画素Ｂに対応する領域までの距離との差分値（第２高さ）を取得する。（８）第１面積（上底面積）と第３面積（下底面積）と第１高さとを用いて、四角錐台の体積を算出する。（７）深度画像データＤ１の全ての画素について四角錐台の体積を算出して、これら体積の合計値（第１合計値）を算出する。（９）第２面積（上底面積）と第３面積（下底面積）と第２高さとを用いて、四角錐台の体積を算出する。（１０）深度画像データＤ２の全ての画素について四角錐台の体積を算出して、これら体積の合計値（第２合計値）を算出する。（１１）第１合計値と第２合計値との差分値を被搬送物Ｍの推定体積とする。

【0027】

なお、第２の体積推定方法において、深度カメラ１０の画角が比較的狭い場合、深度画像データＤ１、深度画像データＤ２および深度画像データＤ３の画素に対応する領域の面積が全て同一であるものとして、上記第１高さおよび上記第２高さ（すなわち、深度カメラ１０からの距離）に基づいて簡易的に体積を推定してもよい。このようにすることで、空荷状態の深度画像データＤ１の画素に対応する領域について基準距離Ｌｇと空荷時距離Ｌ１との差分値（第１高さ）を演算し、稼働中の深度画像データＤ２の画素に対応する領域について基準距離Ｌｇと稼働時距離Ｌ２との差分値（第２高さ）を演算することにより、空荷状態の深度画像データＤ１の画素と稼働中の深度画像データＤ２の画素との対応を考慮することなく、より簡易に被搬送物Ｍの体積を推定できる。

【0028】

本実施形態の体積推定装置２０では、後者である第２の体積推定方法を採用し、深度カメラ１０の位置Ｐ０から基準距離Ｌｇ離れた位置Ｐｇにある床面Ｇを基準平面として用いる。

【0029】

体積推定装置２０は、例えば、タブレット端末で構成されている。体積推定装置２０は、パーソナルコンピュータなどで構成されていてもよい。体積推定装置２０は、中央処理装置（ＣＰＵ）であるコンピュータと、コンピュータの作業領域として用いられるメモリと、コンピュータに実行されるプログラムやデータを格納する記憶装置と、タッチパネル付ディスプレイと、を有している。また、体積推定装置２０は、例えば、近距離無線や通信ケーブルなどにより深度カメラ１０と通信する通信装置を有している。

【0030】

体積推定装置２０のコンピュータは、記憶装置などに格納されたプログラムを実行することにより、深度画像データ取得部２１、空荷時距離取得部２２、稼働時距離取得部２３、面積取得部２４、および、体積推定部２５として機能する。

【0031】

深度画像データ取得部２１は、深度カメラ１０によって生成された深度画像データを取得する。深度画像データ取得部２１は、コンベア５０の上面５２に被搬送物Ｍが載せられていない空荷状態の深度画像データＤ１、および、コンベア５０の稼働中の深度画像データＤ２を取得する。

【0032】

空荷時距離取得部２２は、深度画像データ取得部２１によって取得された空荷状態の深度画像データＤ１の画素の奥行き情報に基づいて、深度カメラ１０から当該画素に対応する領域までの距離を空荷時距離Ｌ１として取得する。空荷時距離取得部２２は、深度画像データＤ１が有する全ての画素について空荷時距離Ｌ１を取得する。

【0033】

稼働時距離取得部２３は、深度画像データ取得部２１によって取得されたコンベア５０の稼働中の深度画像データＤ２の画素の奥行き情報に基づいて、深度カメラ１０から当該画素に対応する領域までの距離を稼働時距離Ｌ２として取得する。稼働時距離取得部２３は、深度画像データＤ２が有する全ての画素について稼働時距離Ｌ２を取得する。

【0034】

面積取得部２４は、空荷状態の深度画像データＤ１の画素についての空荷時距離Ｌ１に基づいて、この画素に対応する領域の面積を第１面積Ｓ１として取得する。面積取得部２４は、コンベア５０の稼働中の深度画像データＤ２の画素についての稼働時距離Ｌ２に基づいて、この画素に対応する領域の面積を第２面積Ｓ２として取得する。面積取得部２４は、深度カメラ１０で基準平面である床面Ｇを撮影した場合の深度画像データＤ３の画素に対応する領域の面積を第３面積Ｓ３として取得する。面積取得部２４は、深度画像データＤ１、深度画像データＤ２および深度画像データＤ３の全ての画素について、第１面積Ｓ１、第２面積Ｓ２および第３面積Ｓ３を取得する。

【0035】

面積取得部２４は、深度カメラ１０の位置Ｐ０からの距離を入力することにより、深度画像データＤ１、Ｄ２、Ｄ３の画素に対応する領域の面積を算出する関数を有している。または、面積取得部２４は、深度カメラ１０の位置Ｐ０からの距離と、深度画像データＤの画素に対応する領域の面積とを関連付けて格納したテーブルを有していてもよい。本実施形態において、床面Ｇは平面であることから、深度画像データＤ３が有する全ての画素についての第３面積Ｓ３は同一としている。面積取得部２４は、深度カメラ１０による撮影において生じる深度画像データの歪み（例えば、レンズ形状の影響により、中心部分から周縁部にかけて樽形に変形したり、深度画像データの周縁部が引き延ばされたりする歪みなど）を補正して各画素の面積を取得するようにしてもよい。

【0036】

体積推定部２５は、深度画像データＤ１の画素（画素Ａ）についての第１面積Ｓ１と、深度画像データＤ２における上記画素Ａに対応する画素（画素Ｂ）についての第２面積Ｓ２と、第３面積Ｓ３と、上記画素Ａについての空荷時距離Ｌ１と、上記画素Ｂについての稼働時距離Ｌ２と、基準距離Ｌｇと、に基づいて、被搬送物Ｍの体積を推定する。

【0037】

具体的には、体積推定部２５は、基準距離Ｌｇと画素Ａについての空荷時距離Ｌ１との差分値を第１高さＨ１として取得する。体積推定部２５は、画素Ａについての第１面積Ｓ１を上底面積とし、第３面積Ｓ３を下底面積とし、第１高さＨ１を高さとして用いて、四角錐台Ｔ１の体積を算出する。体積推定部２５は、深度画像データＤ１の全ての画素について四角錐台Ｔ１の体積を算出して、これら体積の合計値（第１合計値Ｋ１）を算出する。

【0038】

また、体積推定部２５は、基準距離Ｌｇと画素Ｂについての稼働時距離Ｌ２との差分値を第２高さＨ２として取得する。体積推定部２５は、画素Ｂについての第２面積Ｓ２を上底面積とし、第３面積Ｓ３を下底面積とし、第２高さＨ２を高さとして用いて、四角錐台Ｔ２の体積を算出する。体積推定部２５は、深度画像データＤ２の全ての画素について四角錐台Ｔ２の体積を算出して、これら体積の合計値（第２合計値Ｋ２）を算出する。

【0039】

そして、体積推定部２５は、第２合計値Ｋ２から第１合計値Ｋ１を差し引くことにより、被搬送物Ｍの体積を算出する。

【0040】

また、体積推定装置２０は、表示操作部２６を有している。表示操作部２６は、液晶ディスプレイや有機ＥＬディスプレイなどからなる表示装置と、表示装置に重ねられたタッチパネルと、を有している。表示操作部２６は、表示装置に表示された操作アイコンとタッチパネルと組み合わせたソフトウェアスイッチを有しており、このソフトウェアスイッチにより体積推定装置２０を操作する。表示操作部２６の表示装置には、例えば、深度画像データＤ１および深度画像データＤ２に基づく画像や、体積推定部２５によって推定された被搬送物Ｍの体積が表示される。

【0041】

次に、上述した体積推定システム１の体積推定装置２０のコンピュータにおいて実行される本発明に係る処理（体積推定処理）の一例について、図６のフローチャートを参照して説明する。

【0042】

体積推定装置２０のコンピュータは、深度カメラ１０によってコンベア５０の上面５２に何も載せられていない（被搬送物Ｍが載せられていない）空荷状態を撮影することにより生成された深度画像データＤ１を取得する（Ｓ１１０）。深度画像データＤ１の各画素に対応する領域ｒ１について空荷時距離Ｌ１および第１面積Ｓ１を取得する（Ｓ１２０、Ｓ１３０）。深度カメラ１０で床面Ｇを撮影した場合の深度画像データＤ３の各画素に対応する領域ｒ３について第３面積Ｓ３を取得する（Ｓ１４０）。深度画像データＤ１の各画素に対応する領域ｒ１について、基準距離Ｌｇと空荷時距離Ｌ１との差分値を算出して第１高さＨ１として取得する（Ｓ１５０）。第１面積Ｓ１（上底面積）と第３面積Ｓ３（下底面積）と第１高さＨ１（高さ）を用いて、四角錐台Ｔ１の体積を算出する（Ｓ１６０）。深度画像データＤ１の全ての画素について四角錐台Ｔ１の体積を算出するまで繰り返し（Ｓ１７０でＮ）、算出が終わると（Ｓ１７０でＹ）、これら体積の合計値（第１合計値Ｋ１）を算出する（Ｓ１８０）。図７に、四角錐台Ｔ１の体積を算出する様子を模式的に示す。図７の網掛け部分が、四角錐台Ｔ１の集合体である。

【0043】

次に、体積推定装置２０のコンピュータは、コンベア５０の稼働開始を待ち（Ｓ１９０でＮ）、コンベア５０が稼働開始すると（Ｓ１９０でＹ）、深度カメラ１０によって稼働中のコンベア５０を撮影することにより生成された深度画像データＤ２を取得する（Ｓ２００）。深度画像データＤ２の各画素に対応する領域ｒ２について稼働時距離Ｌ２および第２面積Ｓ２を取得する（Ｓ２１０、Ｓ２２０）。深度カメラ１０で床面Ｇを撮影した場合の深度画像データＤ３の画素に対応する領域ｒ３について第３面積Ｓ３を取得する（Ｓ２３０）。深度画像データＤ２の各画素に対応する領域ｒ２について、基準距離Ｌｇと稼働時距離Ｌ２との差分値を算出して第２高さＨ２として取得する（Ｓ２４０）。第２面積Ｓ２（上底面積）と第３面積Ｓ３（下底面積）と第２高さＨ２（高さ）を用いて、四角錐台Ｔ２の体積を算出する（Ｓ２５０）。深度画像データＤ２の全ての画素について四角錐台Ｔ２の体積を算出するまで繰り返し（Ｓ２６０でＮ）、算出が終わると（Ｓ２６０でＹ）、これら体積の合計値（第２合計値Ｋ２）を算出する（Ｓ２７０）。図８に四角錐台Ｔ２の体積を算出する様子を模式的に示す。図８の網掛け部分が、四角錐台Ｔ２の集合体である。

【0044】

体積推定装置２０のコンピュータは、第２合計値Ｋ２から第１合計値Ｋ１を差し引いて被搬送物Ｍの体積を算出する（Ｓ２８０）。図９に、被搬送物Ｍの体積を算出する様子を模式的に示す。図９の網掛け部分は、四角錐台Ｔ２からそれに対応する四角錐台Ｔ１を差し引いた四角錐台Ｔ３の集合体である。

【0045】

そして、体積推定装置２０のコンピュータは、コンベア５０が稼働停止するまで（Ｓ２９０でＮ）、Ｓ２００～Ｓ２８０を繰り返して被搬送物Ｍの体積を算出し、コンベア５０が稼働停止すると（Ｓ２９０でＹ）、本フローチャートの処理を終了する。

【0046】

以上より、本実施形態の体積推定システム１によれば、被搬送物Ｍが載せられるコンベア５０の上面５２上の三次元空間を撮影する深度カメラ１０から画素毎に奥行き情報を含む深度画像データＤ１、Ｄ２を取得する。上面５２に被搬送物Ｍが載せられていない空荷状態の深度画像データＤ１の画素の奥行き情報に基づいて、深度カメラ１０から当該画素に対応する領域までの距離を空荷時距離Ｌ１として取得する。コンベア５０の稼働中の深度画像データＤ２の画素の奥行き情報に基づいて、深度カメラ１０から当該画素に対応する領域までの距離を稼働時距離Ｌ２として取得する。空荷時距離Ｌ１と稼働時距離Ｌ２とに基づいて被搬送物Ｍの体積を推定する。このようにしたことから、深度カメラ１０から取得した深度画像データＤ１、Ｄ２は、画素毎に奥行き情報を含んでいるので、深度画像データＤ１、Ｄ２を用いることで深度カメラ１０から各画素に対応する領域までの距離（空荷時距離Ｌ１、稼働時距離Ｌ２）を取得できる。そのため、各画素に対応する領域についての距離から被搬送物Ｍの高さを求めて、被搬送物Ｍの体積を推定することができる。したがって、簡易な構成で精度よく被搬送物の体積を推定できる。

【0047】

また、空荷状態の深度画像データＤ１の画素（「画素Ａ」という）についての空荷時距離Ｌ１に基づいて、この画素Ａに対応する領域の面積を第１面積Ｓ１として取得する。コンベア５０の稼働中の深度画像データＤ２の画素（「画素Ｂ」という）についての稼働時距離Ｌ２に基づいて、この画素Ｂに対応する領域の面積を第２面積Ｓ２として取得する。深度カメラ１０で床面Ｇを撮影した場合の深度画像データＤ３の画素に対応する領域の面積を第３面積Ｓ３として取得する。そして、第１面積Ｓ１と、第２面積Ｓ２と、第３面積Ｓ３と、画素Ａについての空荷時距離Ｌ１と、画素Ｂについての稼働時距離Ｌ２と、基準距離Ｌｇと、に基づいて、被搬送物Ｍの体積を推定する。深度画像データＤ１、Ｄ２、Ｄ３は、深度カメラ１０からの距離に応じて各画素に対応する領域の面積が変化する。すなわち、深度カメラ１０に近いほど画素に対応する領域の面積が小さくなり、深度カメラ１０から遠いほど画素に対応する領域の面積が大きくなる。そのため、深度カメラ１０からの距離（空荷時距離Ｌ１、稼働時距離Ｌ２および基準距離Ｌｇ）に基づいて、深度画像データＤ１、Ｄ２、Ｄ３の画素に対応する領域の面積（第１面積Ｓ１、第２面積Ｓ２および第３面積Ｓ３）を取得し、これら面積を用いて被搬送物Ｍの体積を推定することで、推定精度を効果的に高めることができる。さらに、空荷状態の深度画像データＤ１の画素に対応する領域の第１面積Ｓ１と床面Ｇの深度画像データＤ３の画素に対応する第３面積Ｓ３とを演算し、稼働中の深度画像データＤ２の画素に対応する領域の第２面積Ｓ２と床面Ｇの深度画像データＤ３の画素に対応する第３面積Ｓ３とを演算することにより、空荷状態の深度画像データＤ１の画素と稼働中の深度画像データＤ２の画素との対応を考慮することなく、より簡易に被搬送物の体積を推定できる。

【0048】

上述した実施形態の体積推定システム１では、上記第２の体積推定方法を採用したものであったが、上記第１の体積推定方法を採用したものであってもよい。体積推定システム１において上記第１の体積推定方法を採用した場合に、体積推定装置２０のコンピュータにおいて実行される本発明に係る処理（体積推定処理）の他の一例について、図１０のフローチャートを参照して説明する。

【0049】

体積推定装置２０のコンピュータは、深度カメラ１０によってコンベア５０の上面５２に何も載せられていない（被搬送物Ｍが載せられていない）空荷状態を撮影することにより生成された深度画像データＤ１を取得する（Ｔ１１０）。深度画像データＤ１の各画素に対応する領域ｒ１について空荷時距離Ｌ１および第１面積Ｓ１を取得する（Ｔ１２０、Ｔ１３０）。

【0050】

次に、体積推定装置２０のコンピュータは、コンベア５０の稼働開始を待ち（Ｔ１４０でＮ）、コンベア５０が稼働開始すると（Ｔ１４０でＹ）、深度カメラ１０によって稼働中のコンベア５０を撮影することにより生成された深度画像データＤ２を取得する（Ｔ１５０）。深度画像データＤ２の各画素に対応する領域ｒ２について稼働時距離Ｌ２および第２面積Ｓ２を取得する（Ｔ１６０、Ｔ１７０）。深度画像データＤ１の画素（画素Ａ）に対応する領域ｒ１についての空荷時距離Ｌ１と、深度画像データＤ２における画素Ａに対応する画素（画素Ｂ）に対応する領域ｒ２についての稼働時距離Ｌ２との差分値を高さＨとして取得する（Ｔ１８０）。第１面積Ｓ１（下底面積）と第２面積Ｓ２（上底面積）と高さＨを用いて、四角錐台Ｔの体積を算出する（Ｔ１９０）。深度画像データＤ２の全ての画素について四角錐台Ｔの体積を算出するまで繰り返し（Ｔ２００でＮ）、算出が終わると（Ｔ２００でＹ）、これら体積を合計して被搬送物Ｍの体積を算出する（Ｔ２１０）。

【0051】

そして、体積推定装置２０のコンピュータは、コンベア５０が稼働停止するまで（Ｔ２２０でＮ）、Ｔ１５０～Ｔ２１０を繰り返して被搬送物Ｍの体積を算出し、コンベア５０が稼働停止すると（Ｔ２２０でＹ）、本フローチャートの処理を終了する。

【0052】

このような構成によれば、空荷状態の深度画像データＤ１の画素（「画素Ａ」という）についての空荷時距離Ｌ１に基づいて、この画素Ａに対応する領域の面積を第１面積Ｓ１として取得する。コンベア５０の稼働中の深度画像データＤ２における画素Ａに対応する画素（「画素Ｂ」という）についての稼働時距離Ｌ２に基づいて、この画素Ｂに対応する領域の面積を第２面積Ｓ２として取得する。そして、第１面積Ｓ１と、第２面積Ｓ２と、画素Ａについての空荷時距離Ｌ１と、画素Ｂについての稼働時距離Ｌ２と、に基づいて、被搬送物Ｍの体積を推定する。深度画像データＤ１、Ｄ２は、深度カメラ１０からの距離に応じて各画素に対応する領域の面積が変化する。すなわち、深度カメラ１０に近いほど画素に対応する領域の面積が小さくなり、深度カメラ１０から遠いほど画素に対応する領域の面積が大きくなる。そのため、深度カメラ１０からの距離（空荷時距離Ｌ１および稼働時距離Ｌ２）に基づいて、深度画像データＤ１、Ｄ２の画素に対応する領域の面積（第１面積Ｓ１および第２面積Ｓ２）を取得し、これら面積を用いて被搬送物の体積を推定することで、推定精度を効果的に高めることができる。

【0053】

また、上述した実施形態では、搬送装置としてのコンベア５０によって搬送される被搬送物Ｍの体積を推定するものであったが、これ以外にも、例えば、図１１に示すように、ダンプトラック７０の荷台７１に積載された土砂などの堆積の推定に本発明の体積推定システムを適用してもよい。この構成においては、ダンプトラック７０の荷台７１の内面が搬送面に相当する。この構成においても、上述した体積推定システム１と同様の効果を奏する。

【0054】

上記に本発明の実施形態を説明したが、本発明はこれら実施形態の構成に限定されない。前述の実施形態に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものや、実施形態の特徴を適宜組み合わせたものも、本発明の趣旨を逸脱しない限り、本発明の範囲に含まれる。

【符号の説明】

【0055】

１…体積推定システム
１０…深度カメラ
２０…体積推定装置
２１…深度画像データ取得部
２２…空荷時距離取得部
２３…稼働時距離取得部
２４…面積取得部
２５…体積推定部
２６…表示操作部
５０…コンベア
５１…レーン
５２…上面
７０…ダンプトラック
７１…荷台
Ｆ…搬送方向
Ｇ…床面
Ｒ、Ｒ１、Ｒ２…撮影領域
Ｌ１…空荷時距離
Ｌ２…稼働時距離
Ｌｇ…基準距離
Ｓ１…第１面積
Ｓ２…第２面積
Ｓ３…第３面積
Ｈ１…第１高さ
Ｈ２…第２高さ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】