特許 7496016 物体のマスタデータの取得方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-28

(45)【発行日】2024-06-05

(54)【発明の名称】物体のマスタデータの取得方法及び装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240529BHJP

   G06F 3/0346 20130101ALI20240529BHJP

   G01B 11/02 20060101ALI20240529BHJP

   G06T 7/11 20170101ALI20240529BHJP

   G06T 7/136 20170101ALI20240529BHJP

【ＦＩ】

G06F3/01 510

G06F3/0346 422

G01B11/02 H

G06T7/11

G06T7/136

【請求項の数】 8

【外国語出願】

(21)【出願番号】P 2023076600

(22)【出願日】2023-05-08

(65)【公開番号】P2023174550

(43)【公開日】2023-12-07

【審査請求日】2023-06-09

(31)【優先権主張番号】10 2022 113 259.5

(32)【優先日】2022-05-25

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】591005615

【氏名又は名称】ジック アーゲー

(74)【代理人】

【識別番号】110001069

【氏名又は名称】弁理士法人京都国際特許事務所

(72)【発明者】

【氏名】クリスティアン ムルター

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開２０１６－０１８４５９（ＪＰ，Ａ）

【文献】特開２０１７－１１７３４１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０３５８０９８（ＵＳ，Ａ１）

【文献】欧州特許出願公開第０２７２２６５６（ＥＰ，Ａ１）

【文献】中国特許出願公開第１１０３０８８１７（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１，３／０３４６

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｔ １／００，７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

(57)【特許請求の範囲】

【請求項1】

秤（１４）と、
物体（１２）の画像を撮影するためのカメラ（１６）と、
物体（１２）の体積を測定するための体積測定ユニット（２０）を有する評価ユニット（１８）と、
物体（１２）が前記秤（１４）の上に置かれたときに物体の体積に関するマスタデータを記録するための開始時点を自動的に決定する開始ユニット（２６）と、
記録したマスタデータを保存するためのメモリ（２８）と、
マスタデータを出力するための出力ユニット（２２）と、
を備える物体（１２）のマスタデータを取得するための装置において行われる、物体（１２）のマスタデータを取得するための方法において、
・前記秤（１４）により物体の重さを量るステップと、
・前記開始ユニット（２６）によりマスタデータを記録するための開始時点を決定するステップであって、
カメラ（１６）で前記物体（１２）の深度値画像を撮影し、
前記画像内の隣接領域を決定してそれを一次の暫定的物体とし、
画像エッジ（３３）に触れることなく該画像の内部に存在する一次の暫定的物体を全て有効クラスに仕分け、エッジとの接触がある一次の暫定的物体を無効クラスに仕分けることで、一次の暫定的物体を有効クラスと無効クラスに分類し、
無効クラス内の一次の暫定的物体を、その深度値を評価し、深度閾値を超える深度値を持つ新たな下位領域を形成することにより分析し、
前記下位領域を走査して隣接領域を探索し、該隣接領域を二次の暫定的物体とし、
前記二次の暫定的物体が前記画像エッジ（３３）に触れていなければそれを有効クラスへ移動させ、
有効クラス内の暫定的物体と無効クラス内に残っている暫定的物体との重畳を、該重畳は重畳閾値を超えていなければならないという条件で見つけ出し、
重畳があれば該当の暫定的物体を有効クラスから無効クラスへ移動させ、
有効クラス内の暫定的物体を測定対象の物体と定め、
有効クラス内に物体がなければエラー信号を出力し、そうでなければ前記開始時点を決定するステップと、
・こうして決定された開始時点の後、前記開始ユニット（２６）により前記物体（１２）の体積検出を開始するステップと、
・前記体積測定ユニット（２０）によりマスタデータを記録するステップと、
・前記メモリ（２８）により記録したマスタデータを保存するステップと、
・前記出力ユニット（２２）によりマスタデータを出力するステップと
を備える方法。

【請求項2】

深度値の評価及び深度閾値を超える深度値を持つ新たな下位領域の形成のために深度値ヒストグラムを記録して評価することを特徴とする請求項１に記載の方法。

【請求項3】

深度値の欠落した領域があった場合は、前記重畳の探索が有効クラスの暫定的物体と前記深度値の欠落した領域との重畳の探索も含み、重畳があった場合は、該当の暫定的物体を有効クラスから無効クラスに移動させることを特徴とする請求項１に記載の方法。

【請求項4】

請求項１～３のいずれかに記載の方法を実行するための、物体（１２）のマスタデータ
を取得するための装置において、
・秤（１４）と、
・物体（１２）の画像を撮影するためのカメラ（１６）と、
・物体（１２）の体積を測定するための体積測定ユニット（２０）を有する評価ユニット（１８）と、
・物体（１２）が前記秤（１４）の上に置かれたときに物体の体積に関するマスタデータを記録するための開始時点を自動的に決定する開始ユニット（２６）と、
・記録したマスタデータを保存するためのメモリ（２８）と、
・マスタデータを出力するための出力ユニット（２２）と、
を備え、
前記開始ユニット（２６）が前記カメラ（１６）の記録画像から前記開始時点を決定するように設計されており、そのために該開始ユニット（２６）が画像評価ユニット（３０）を有し、該画像評価ユニット（３０）が、前記物体（１２）に加えて、無関係の物体（５０）も許容可能な又は許容不可能な無関係の物体（５０）に分類されるような物体分類を実行するように設計されている
ことを特徴とする装置。

【請求項5】

前記開始ユニットが前記開始時点をできるだけ早く出力し、許容可能な無関係の物体がまだ画像領域内にあるときに既に該開始時点を出力するように設計されていることを特徴とする請求項４に記載の装置。

【請求項6】

前記カメラが深度値を含む画像を生成するようになっていることを特徴とする請求項４に記載の装置。

【請求項7】

前記画像評価ユニットが前記深度値を参酌して前記物体分類を実行するように設計されていることを特徴とする請求項６に記載の装置。

【請求項8】

前記評価ユニットが、待ち時間の間に開始時点を決定できなかった場合にメッセージを出力するように設計されていることを特徴とする請求項４に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は物体のマスタデータを取得するための方法及び装置に関する。

【背景技術】

【0002】

物体のマスタデータには何よりもまず体積と重さが含まれる。このデータを記録するために、従来技術では物体を秤に載せ、体積検出システムでそれを測定する。正しいマスタデータを記録するには、これまでは物体が秤の上で周囲に無関係の物体がない自由な状態になっていなければならならず、そうなってからその秤の上で光学的な体積検出システムを用いた測定も自動的に行われる。秤の上に物体を置く人の手及び腕等のような無関係の物体がカメラの視野内にあると、体積取得システムはもはや正しく物体を捕らえてそのマスタデータを取得することはできない。これは重さを量る工程にも当てはまり、重さが不正にならないことを確実にするため、秤の上の物体には触れてはならない。

【0003】

このようなマスタデータ取得システムとしてメトリルス有限会社（Metrilus GmbH）製のＳ１１０／１２０という名称のものが知られている。このシステムは、重さを記録するための秤、体積を測定するための３次元カメラ、並びにコードリーダを備えている。３次元カメラは秤の上の物体を認識し、その物体がコードリーダで識別されるとともに体積取得システムにより無関係の物体が検出されなければ、マスタデータの取得を開始する。

【0004】

故に、物体が測定できるためには、それが規定の領域内に自由な状態で置かれている必要がある。ここで「自由な状態で置かれている」とは他の物体との接触があってはならないという意味である。故に、一般に測定中は無関係の物体が測定領域内に全く存在しないようにする必要がある。ここで無関係の物体には、例えば、前記物体に触れることなく外側から測定領域内に突き出ている手等の物体も含まれる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

これの欠点は、測定時の労力が増して速度上の不利が生じること、また無関係の物体が測定されることにより誤測定が生じることである。

【0006】

故に、本発明の目的は、物体のマスタデータを取得するための改良された方法及び新たな装置、特により高速且つより信頼できるマスタデータの取得が可能な方法及び装置を提供することである。

【課題を解決するための手段】

【0007】

この目的は以下の特徴を有する方法により解決される。物体のマスタデータを取得するための本発明に係る方法は、
・物体を秤に載せて重さを量るステップと、
・マスタデータを記録するための開始時点を決定するステップであって、
カメラで前記物体の深度値画像を撮影し、
前記画像内の隣接領域を決定してそれを一次の暫定的物体とし、
画像エッジに触れることなく該画像の内部に存在する一次の暫定的物体を全て有効クラスに仕分け、エッジとの接触がある一次の暫定的物体を無効クラスに仕分けることで、一次の暫定的物体を有効クラスと無効クラスに分類し、
無効クラス内の一次の暫定的物体を、その深度値を評価し、深度閾値を超える深度値を持つ新たな下位領域を形成することにより分析し、
前記下位領域を走査して隣接領域を探索し、該隣接領域を二次の暫定的物体とし、
前記二次の暫定的物体が前記画像エッジに触れていなければそれを有効クラスへ移動させ、
有効クラス内の暫定的物体と無効クラス内に残っている暫定的物体との重畳を、該重畳は重畳閾値を超えていなければならないという条件で見つけ出し、
重畳があれば該当の暫定的物体を有効クラスから無効クラスへ移動させ、
有効クラス内の暫定的物体を測定対象の物体と定め、
有効クラス内に物体がなければエラー信号を出力し、そうでなければ前記開始時点を決定する
というステップと、
・こうして決定された開始時点の後、前記物体の体積検出を開始するステップと、
・マスタデータを記録するステップと、
・記録したマスタデータを保存するステップと、
・マスタデータを出力するステップと
を備える。

【0008】

無関係の物体を許容可能なものと許容不可能なものに分類することにより、無関係の物体（より細かく言えば許容可能な無関係の物体）がカメラの視野内にあるときでもデータ取得を行うことができる。これにより、秤の上に置いた物体を放した手がまだカメラの視野内にあるときでももうデータ取得を開始できるから、スループットが向上する。

【0009】

無関係の物体を分類することにより、より確実なデータ取得も可能になる。エラー解析を行う場合はそれも結果的に改善される。

【0010】

本発明の主題による方法の有利な一実施形態は、深度値の評価及び深度閾値を超える深度値を持つ新たな下位領域の形成のために一次の暫定的物体を分析する間に深度値ヒストグラムを記録して評価するものである。これにより、無関係の物体を許容可能なものと許容不可能なものに分類することが容易になる。

【0011】

３次元カメラにおいては画像の一部領域で深度値が欠落していることが時々あるが、そのような領域があると有意義な評価を行うことができないため、本発明の更なる発展形では、前記重畳の探索が、有効クラス内の暫定的物体と深度値が欠落した領域との重畳の探索も含む。重畳が見つかったら、そのときの暫定的物体を有効クラスから無効クラスへ移動させる。

【0012】

本発明の更に別の実施形態では、評価の終わりに有効クラス内に物体がない場合、マスタデータの取得が不可能であることを意味するエラー信号が出力される。

【0013】

前記課題は、物体のマスタデータを取得するための本発明の主題による装置によっても同様に解決される。該装置は、
・秤と、
・物体の画像を撮影するためのカメラと、
・物体の体積を測定するための体積測定ユニットを有する評価ユニットと、
・物体が秤の上に置かれたときに物体の体積に関するマスタデータを記録するための開始時点を自動的に決定する開始ユニットと、
・記録したマスタデータを保存するためのメモリと、
・マスタデータを出力するための出力ユニットと、
を特徴として有し、
前記開始ユニットは前記カメラの記録画像から前記開始時点を決定するように設計されており、そのために該開始ユニットは画像評価ユニットを有し、該画像評価ユニットは、前記物体に加えて、無関係の物体も許容可能な又は許容不可能な無関係の物体に分類されるような物体分類を実行するように設計されている。

【0014】

一実施例において、前記開始ユニットは前記開始時点をできるだけ早く出力し、許容可能な無関係の物体がまだ画像領域内にあるときに既に該開始時点を出力する。これにより更にスループットを向上させることができる。

【0015】

分類を容易にするため、カメラは深度値を生成する、即ち３次元画像が撮影される。なぜなら、そうすれば画像評価ユニットが物体分類の間に深度値を参酌することができ、それにより分類がより容易になるからである。

【0016】

本発明の別の実施形態では、待ち時間の間に開始時点を決定できなかった場合には前記評価ユニットがメッセージ、即ちエラー信号を出力するという有用な設計になっている。このようにすれば、システムのユーザはマスタデータが記録されなかったことを素早く認識することができる。

【0017】

以下では本発明について実施例を用いて図面を参照しながら詳しく説明する。

【図面の簡単な説明】

【0018】

【図1】本発明の主題による装置を概略的に表現した図。

【図2】カメラの視野を様々な位置にある無関係の物体とともに示す概略上面図。

【図3】カメラの視野を様々な位置にある無関係の物体とともに示す概略上面図。

【図4】カメラの視野を様々な位置にある無関係の物体とともに示す概略上面図。

【図5】カメラの視野を様々な位置にある無関係の物体とともに示す概略上面図。

【図6】カメラの視野を様々な位置にある無関係の物体とともに示す概略上面図。

【図7】画像の欠陥を含むカメラの視野を示す概略上面図。

【図8】本発明の主題による方法のフローチャート。

【発明を実施するための形態】

【0019】

本発明の主題による装置１０は物体１２のマスタデータを記録するために用いられる。機械の構造要素１３に加えて、本装置１０は秤１４、物体１２の画像を記録するためのカメラ１６、及び評価ユニット１８を備えている。評価ユニット１８は物体１２の体積を測定するための体積測定ユニット２０を備えている。これらのユニットは各々の評価作業を遂行するためにプリント回路基板とプログラム可能なＩＣ等の電子部品とを含むものとすることができる。秤１４は物体１２の重さを検出するために用いられ、体積測定ユニット２０は体積を測定するために用いられる。こうして測定されたデータは最終的に出力ユニット２２を通じてマスタデータとして又は少なくともマスタデータの一部として出力２４に出力することができる。取得したマスタデータを保存又は一時的に記憶するためにメモリ２８が設けられている。

【0020】

評価ユニット１８は更に開始ユニット２６を備えている。これは、物体１２がカメラ１６の視野３２内に置かれたときに、物体の体積に関するマスタデータを記録して決定するための開始時点を自動的に決定するものである。このために開始ユニット２６はカメラ１６の記録画像から前記開始時点を決定するように設計されているとともに画像評価ユニット３０を有しており、該画像評価ユニット３０は、物体１２に加えて、無関係の物体５０も許容可能又は許容不可能と分類されるような物体分類を行うように設計されている。

【0021】

開始ユニット２６は前記開始時点をできるだけ早く出力するように設計されており、許容可能と分類された無関係の物体５０がまだカメラ１６の視野３２内にあるときでも開始時点を出力することができる。

【0022】

カメラ１６は、画像エッジ３３を持つ２次元画像に加えて画素毎に深度値も測定することで全体にわたり３次元画像を取得する３次元カメラとして設計されている。

【0023】

本発明の主題による方法１００の少なくとも一部の実施例のフローチャートを図８に示し、図３～７を参照しながら以下に説明する。図３～７はそれぞれカメラ１６で見た秤１４とその上に置かれた物体１２の上面図である。これらの図には視野３２のエッジ３３も破線で示してある。これは２次元画像中の画像エッジ３３である。

【0024】

本方法１００は、開始時点において開始信号により物体１２の体積の取得とひいてはマスタデータの取得を開始することを目的として、主に開始ユニット２６において実行される。

【0025】

最初のステップ１１０において物体が秤１４の上に置かれる。

【0026】

そして、マスタデータを記録し始めるために開始信号を与えることができる開始時点が決定される。開始時点は以下の手順で決定される。

【0027】

ステップ１２０において、深度値を有する物体１２の画像がカメラ１６で撮影される。

【0028】

ステップ１３０において、前記画像から深度値に基づいて該画像中の隣接領域が決定される。本特許の意味における「領域」は画像の個々の画素でも画像のグループでもよい。これらの隣接領域が最初の暫定的物体となる。例えば図３では物体１２がそのような隣接領域となる。図６では、視野３２中に突き出た腕と手、即ち無関係の物体５０が、手で部分的に覆い隠された物体１２とともに１つの隣接領域となる。画像の評価は全て画像評価ユニット３０において行われる。

【0029】

次のステップ１４０において、一次の暫定的物体が有効クラスと無効クラスに分類される。ここでは、画像エッジ３３に触れることなく画像内にある全ての一次の暫定的物体が有効クラスに仕分けられ、エッジとの接触がある一次の暫定的物体が無効クラスに仕分けられる。

【0030】

こうして、例えば、
・図３の状況では物体１２が有効クラスに仕分けられる。
・図４の状況では物体１２が有効クラスに入り、無関係の物体５０が無効クラスに入る。
・図５及び６の状況では、いずれも一次の暫定的物体が１つしかない。なぜなら、無関係の物体５０が測定対象の物体１２に少なくとも触れており、これら２つが一次の暫定的物体となるからである。この一次の暫定的物体は無効クラスに仕分けられる。

【0031】

図７は、無関係の物体５０はないが、視野３２内に深度値のない領域５２がある状況を示している。この特別なエラー状況については後で考察する。

【0032】

ステップ１５０において、無効クラスに仕分けられた一次の暫定的物体が分析される。深度値が評価され、それが深度閾値を超えているかどうかが確認される。超えている場合はその領域が新たな下位領域となる。深度値の評価のため及び深度閾値を超える深度値を持つ新たな下位領域の形成のために、好ましくは深度値ヒストグラムが評価ユニット１８において記録されて評価される。

【0033】

次のステップにおいて、各下位領域を検査してそれらが隣接しているかどうかが確認され、隣接領域が二次の暫定的物体となる。通常、深度値ヒストグラム中のピークが二次の暫定的物体に対応する。これにより、そして深度値ヒストグラムを用いることで、図５及び６に示した状況において物体１２と無関係の物体５０が２つの二次の暫定的物体に分離される。

【0034】

次のステップ１７０において、これらの二次の暫定的物体が画像エッジ３３に触れているかどうかが確認される。画像エッジ３３に触れていない二次の暫定的物体があれば、その二次の暫定的物体を無効クラスから有効クラスに移動させる。例えば図５中の物体１２はこうなるであろう。

【0035】

こうして、ここまでに本発明に係る方法により有効クラス１８０又は無効クラス１９０に仕分けられた暫定的物体が見つかったことになる。

【0036】

次のステップ２００において、有効クラスの暫定的物体と無効クラスに残っている暫定的物体との重畳があるかどうかが確認される。ここでは、重なった面積が十分に大きい場合、即ち重畳閾値を超えている場合にその重畳を重畳と分類することが理に適っている。図６はそのような重畳を示しており、手が物体１２の十分に大きな面積を覆っている。

【0037】

重畳があれば、前に有効クラス（参照番号１８０）に入っていた該当の暫定的物体を有効クラスから無効クラス（参照番号２１０）に移動させる。図６に示した状況では、物体１２がこうして無効クラスに移動させられる。

【0038】

重畳がない場合、例えば図４及び５に示した状況における物体１２の場合がそうであるが、物体１２は有効クラスに残る。

【0039】

３次元カメラにおいては、例えば欠陥画素や評価エラーに起因して、画像の一部領域で深度値が欠落していることが時々あるが、そのような深度値のない領域５２が存在すると有意義な評価を行うことができないため、重畳の探索には有効クラスの暫定的物体と深度値の欠落した領域５２との重畳の探索も含めることが好ましい。十分に大きい重畳が見つかったら、該当の暫定的物体を有効クラスから無効クラスへ移動させる。このような状況を図７に示す。

【0040】

これらのステップの後、ステップ２２０において、有効クラスに残っている暫定的物体が測定対象の物体と定められる。

【0041】

こうして開始時点が見つかり、開始信号が与えられたら、ステップ２３０において、物体１２の体積検出が開始される（開始時点）。

【0042】

体積データは体積測定ユニット２０においてカメラ１６の３次元画像から計算され、マスタデータの一部となる。このデータはメモリ２８に集められた後、出力ユニット２２を介して出力２４を越えて出力される。

【0043】

開始時点を決定するときに有効クラスに物体１２が残っていない場合、マスタデータの取得が不可能であることを意味するエラー信号を出力することが理に適っている。その場合は開始信号も出されない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】