特表2024-533867所定の搬送アイテムが監視領域内に配置されているかどうかを判定する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-12
(54)【発明の名称】所定の搬送アイテムが監視領域内に配置されているかどうかを判定する方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240905BHJP
G06T 7/70 20170101ALI20240905BHJP
【ＦＩ】
G06T7/00 350C
G06T7/70 A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024541125
(86)(22)【出願日】2022-09-20
(85)【翻訳文提出日】2024-03-19
(86)【国際出願番号】 EP2022076020
(87)【国際公開番号】W WO2023046653
(87)【国際公開日】2023-03-30
(31)【優先権主張番号】102021124348.3
(32)【優先日】2021-09-21
(33)【優先権主張国・地域又は機関】DE
(81)【指定国・地域】
(71)【出願人】
【識別番号】524106521
【氏名又は名称】３６ゼロ ヴィジョン ゲーエムベーハー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【弁理士】
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】カラマット，ムハンマド ジーシャン
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096AA09
5L096FA06
5L096FA16
5L096FA32
5L096FA33
5L096FA69
5L096GA34
5L096GA55
5L096HA11
5L096KA04
(57)【要約】
本発明は、所定の搬送アイテム（１）が監視領域（２）内に配置されているかどうかを判定する方法に関し、物体の搬送経路が通る監視領域（２）の画像信号を取得し、画像信号を人工ニューラルネットワーク（７）に供給する前に、他の人工ニューラルネットワーク（１９）により、前記画像信号に基づいて、物体の少なくとも一部が監視領域（２）内に配置されているかどうかを判定し、該他のニューラルネットワークにより、物体の少なくとも一部が監視領域内に配置されていると判定された場合、画像信号がニューラルネットワークに供給され、人工ニューラルネットワーク（７）により、前記画像信号に基づいて、物体の判定された少なくとも一部が、所定の搬送アイテムの少なくとも一部に対応するかどうか判定され、人工ニューラルネットワーク（７）により、所定の搬送アイテムの少なくとも一部が監視領域内に配置されていると判定された場合、監視領域の画像が生成される。
【特許請求の範囲】
【請求項1】
監視領域内に少なくとも１つの所定の搬送アイテムが配置されているかどうかを判定する方法であって、物体の搬送経路が通る前記監視領域の画像信号を取得することと、
前記画像信号を人工ニューラルネットワークに供給する前に、他の人工ニューラルネットワークにより、前記画像信号に基づいて、物体の少なくとも一部が前記監視領域内に配置されているかどうかを判定することであって、該他のニューラルネットワークにより、前記物体の少なくとも一部が前記監視領域内に配置されていると判定された場合、前記画像信号が前記ニューラルネットワークに供給される、ことと、
前記人工ニューラルネットワークにより、前記画像信号に基づいて、判定された前記物体の少なくとも一部が、前記少なくとも１つの所定の搬送アイテムの少なくとも一部に対応するかどうか判定することと、
前記人工ニューラルネットワークにより、前記少なくとも１つの所定の搬送アイテムの少なくとも一部が前記監視領域内に配置されていると判定された場合、前記監視領域の画像を生成することと、
を含む方法。
【請求項2】
前記ニューラルネットワークは畳み込みニューラルネットワークを有する、請求項１に記載の方法。
【請求項3】
ａ）前記画像信号は前記畳み込みニューラルネットワークの入力層に供給される、及び／又は、ｂ）前記畳み込みニューラルネットワークの入力層のニューロンの数は、前記画像信号の画素数に対応する、及び／又は、
ｃ）前記畳み込みニューラルネットワークの入力層は三次元である、
請求項２に記載の方法。
【請求項4】
前記ニューラルネットワークは少なくとも１つの層を有し、ａ）前記層はニューラル畳み込み層である、及び／又は、
ｂ）前記層は、前記入力層に接続されている及び／又は前記入力層から出力データを受信する、
請求項１乃至３のいずれか一項に記載の方法。
【請求項5】
前記畳み込みニューラルネットワークは、それぞれが１つ以上の副層を有する複数の層を有し、ａ）第１の層は前記入力層に続き、少なくとも１つのフィルタを適用することによって生成され、及び／又は、
ｂ）第１の層と、該第１の層に続く第２の層とが存在し、該第２の層は少なくとも１つのフィルタを適用することによって生成される、
請求項１乃至４のいずれか一項に記載の方法。
【請求項6】
ａ）前記畳み込みニューラルネットワークは意思決定層及び複数の先行層を有し、該意思決定層は少なくとも２つの層に接続され、及び／又は、ｂ）前記畳み込みニューラルネットワークの意思決定層は教師なし学習アルゴリズムを有し、前記意思決定層は先行層に完全に接続され、及び/又は、
ｃ）前記畳み込みニューラルネットワークは意思決定層及び入力層を有し、該意思決定層は、とりわけ直接、該入力層に接続されている、
請求項１乃至５のいずれか一項に記載の方法。
【請求項7】
ａ）前記ニューラルネットワークは教師なし学習アルゴリズムを有する、及び／又は、ｂ）前記ニューラルネットワークの意思決定層は前記教師なし学習アルゴリズムを有する、
請求項１乃至６のいずれか一項に記載の方法。
【請求項8】
前記意思決定層、とりわけ少なくとも１つのニューロンに供給される前記画像信号のデータ要素は、該データ要素が前記所定の搬送アイテムの一部を含むかどうかを判定するために評価される、請求項１乃至７のいずれか一項に記載の方法。
【請求項9】
前記評価は少なくとも１つのパラメータを決定することを含み、該決定された少なくとも１つのパラメータを用いて、前記データ要素が前記所定の搬送アイテムの一部を含むかどうかが判定される、請求項８に記載の方法。
【請求項10】
ａ）前記教師なし学習アルゴリズムは、前記画像信号のデータ要素が前記所定の搬送アイテムの一部を含むかどうかを判定するために前記ニューラルネットワークのトレーニング結果を用いる、及び／又は、ｂ）前記教師なし学習アルゴリズムは、前記決定された少なくとも１つのパラメータが少なくとも１つの予めトレーニングされたパラメータ範囲内にあると判定された場合に、前記供給されたデータ要素が前記所定の搬送アイテムの一部を含むと判定される、請求項９記載の方法。
【請求項11】
ａ）前記教師なし学習アルゴリズムは、前記所定の搬送アイテムの少なくとも一部を取り囲む境界ボックスを出力として出力するように構成されている、及び／又は、ｂ）前記教師なし学習アルゴリズムは、前記所定の搬送アイテムの一部が前記監視領域内に配置されていると判定された場合に境界ボックスを生成する、
請求項１乃至１０のいずれか一項に記載の方法。
【請求項12】
ａ）前記画像を生成するためのキャプチャ時間が決定され、及び／又は、ｂ）前記画像を生成するためのキャプチャ時間が決定され、該キャプチャ時間は、前記他の人工ニューラルネットワークが、前記物体の少なくとも一部は前記監視領域内に配置されていると判定した判定時間から所定の時間オフセットされ、及び／又は、
ｃ）キャプチャ時間は、前記人工ニューラルネットワークが、前記物体は前記監視領域内に配置されていると判定した判定時間から所定の時間オフセットされ、該所定の時間は、前記キャプチャ時間に前記物体の全体が前記監視領域内に配置されているように選択される、
請求項１乃至１１のいずれか一項に記載の方法。
【請求項13】
生成された前記画像に基づいて搬送アイテム品質が評価される、請求項１乃至１２のいずれか一項に記載の方法。
【請求項14】
ａ）前記他のニューラルネットワークは別の畳み込みニューラルネットワークを有する、又は、ｂ）前記他のニューラルネットワークは、前記畳み込みニューラルネットワークよりも層の数が少ない別の畳み込みニューラルネットワークを有する、
請求項１乃至１３のいずれか一項に記載の方法。
【請求項15】
前記他のニューラルネットワークの意思決定層は別の教師なし学習アルゴリズムを有する、請求項１乃至１４のいずれか一項に記載の方法。
【請求項16】
ａ）前記他の教師なし学習アルゴリズムは、前記画像信号のデータ要素が前記物体の一部を含むかどうかを判定するために、前記他のニューラルネットワークのトレーニング結果を用いる、及び／又は、ｂ）前記他の教師なし学習アルゴリズムは、前記画像信号に基づいて他のパラメータを決定し、前記他の教師なし学習アルゴリズムは、該他のパラメータに応じて、前記物体の少なくとも一部が前記監視領域内に配置されているかどうかを判定する、
請求項１５に記載の方法。
【請求項17】
ａ）前記ニューラルネットワークのトレーニングは第１のトレーニング段階と、とりわけ該第１のトレーニング段階に続く第２のトレーニング段階とを有し、及び／又は、ｂ）前記ニューラルネットワークのトレーニングは第１のトレーニング段階と、とりわけ該第１のトレーニング段階に続く第２のトレーニング段階とを有し、該第２のトレーニング段階における前記ニューラルネットワークのトレーニングは、該第１のトレーニング段階でトレーニングされた前記ニューラルネットワークを用いて行われる、
請求項１乃至１６のいずれか一項に記載の方法。
【請求項18】
前記第１のトレーニング段階において、ａ）トレーニングすべき前記ニューラルネットワークは別の意思決定層を有する、及び／又は、
ｂ）トレーニングすべき前記ニューラルネットワークの意思決定層は教師なし学習アルゴリズムを有さない、
請求項１７に記載の方法。
【請求項19】
ａ）前記第１のトレーニング段階においてトレーニングすべき前記ニューラルネットワークに供給されるトレーニング画像の数は、前記第２のトレーニング段階においてトレーニングすべき前記ニューラルネットワークに供給される画像の数よりも多い、及び／又はｂ）前記第１のトレーニング段階においてトレーニングすべき前記ニューラルネットワークに供給される画像はラベル付けされ、及び／又は
ｃ）前記第１のトレーニング段階においてトレーニングすべき前記ニューラルネットワークに供給される画像は前記所定の搬送アイテムを含む、請求項１７又は１８に記載の方法。
【請求項20】
ａ）前記第２のトレーニング段階においてトレーニングすべき前記ニューラルネットワークの意思決定層は前記教師なし学習アルゴリズムを有し、及び／又はｂ）前記第２のトレーニング段階において、ラベル付けされていないトレーニング画像が前記ニューラルネットワークに供給され、及び／又は、
ｃ）前記第２のトレーニング段階において、トレーニングすべき前記ニューラルネットワークには、前記所定の搬送アイテムを含むトレーニング画像及び／又は前記所定の搬送アイテムを含まないトレーニング画像が供給される、請求項１７乃至１９のいずれか一項に記載の方法。
【請求項21】
前記意思決定層、とりわけ少なくとも１つのニューロンに供給されるトレーニング画像のトレーニングデータ要素について、少なくとも１つのパラメータ、とりわけ２つのパラメータが決定される、請求項１７乃至２０のいずれか一項に記載の方法。
【請求項22】
トレーニング画像のトレーニングデータ要素に含まれる画像情報の、とりわけ正規分布の分散及び／又は期待値が決定される、請求項２１に記載の方法。
【請求項23】
前記第２のトレーニング段階において供給される前記トレーニング画像について、少なくとも１つのトレーニングデータ要素が前記搬送物体の一部を有する、前記決定された少なくとも１つのパラメータを考慮して少なくとも１つのパラメータ範囲が決定される、請求項２１又２２記載の方法。
【請求項24】
前記他のニューラルネットワークをトレーニングするために、異なる物体を含む及び／又は前記所定の搬送アイテムとは異なる物体を含むトレーニング画像が供給される、請求項１乃至２３のいずれか一項に記載の方法。
【請求項25】
前記他のニューラルネットワークの意思決定層に供給されるトレーニング画像について、前記トレーニング画像が前記所定の搬送アイテムの少なくとも一部を有するかどうかを特徴づける少なくとも１つの他のパラメータが決定される、請求項２４に記載の方法。
【請求項26】
請求項１乃至２５のいずれか一項に記載の方法を行うコンピューティング装置。
【請求項27】
少なくとも１つの所定の搬送アイテムが監視領域内に配置されているかどうかを判定するコンピューティング装置、とりわけ請求項２６に記載のコンピューティング装置であって、人工ニューラルネットワークを有する搬送アイテム認識モジュールと、他の人工ニューラルネットワークを有し、該搬送アイテム認識モジュールの上流に接続されるフィルタモジュールとを有し、
当該コンピューティング装置は、前記フィルタモジュールの他の人工ニューラルネットワークが、前記画像信号に基づいて前記監視領域内に物体の少なくとも一部が配置されているかどうかを判定することであって、前記他のニューラルネットワークが、前記物体の少なくとも一部が前記監視領域内に配置されていると判定した場合に、前記画像信号が前記搬送アイテム認識モジュールのニューラルネットワークに供給される、ことを行い、前記人工ニューラルネットワークが、前記画像信号に基づいて、前記物体の判定された少なくとも一部が、前記少なくとも１つの所定の搬送アイテムの少なくとも一部に対応するかどうかを判定することを行う、ように構成され、
当該コンピューティング装置は、前記人工ニューラルネットワークが、前記少なくとも１つの所定の搬送アイテムの少なくとも一部が前記監視領域内に配置されていると判定した場合に、前記監視領域の画像を生成させる、コンピューティング装置。
【請求項28】
監視領域に由来する画像信号を取得する画像取得装置と、データ伝送の点で該画像取得装置に接続され、取得された前記画像信号が供給される、請求項２６又は請求項２７に記載のコンピューティング装置とを有する装置。
【請求項29】
前記画像取得装置は、前記コンピューティング装置によって出力されたキャプチャ信号を受信した後に前記画像を取得する、請求項２８に記載の装置。
【請求項30】
命令を含み、プログラムが、とりわけ請求項２６又は２７に記載のコンピューティング装置によって実行された場合、請求項１乃至２５のいずれか一項に記載の方法を実行させる、コンピュータプログラム製品。
【請求項31】
請求項３０に記載のコンピュータプログラム製品が記憶されるデータキャリア又は請求項３０に記載のコンピュータプログラム製品を伝送するデータキャリア信号。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、所定の搬送アイテムが監視領域内に配置されているかどうかを判定する方法に関する。さらに、本発明は、所定の搬送アイテムが監視領域内に配置されているかどうかを判定するコンピュータ装置及びそのようなコンピュータ装置を有する装置に関する。本発明は、コンピュータプログラム製品、データキャリア及びデータキャリア信号にも関する。
【背景技術】
【0002】
従来技術から、生産ラインの様々な設計が知られている。生産ラインでは、所定の搬送アイテムが生産ルートに沿って少なくとも１回検査される。この点に関して、従来技術から、搬送アイテムの品質を評価する装置を提供することが知られている。これらの装置は、通常、画像取得装置を有し、これによって生産ラインの領域が監視される。画像取得装置はデータ伝送に関して生産ラインに接続されている。これにより、搬送アイテムの位置に関するセンサ値が画像取得装置に送信される。この情報は、搬送アイテムが監視領域に実際に配置されたときに、監視領域の少なくとも１つの画像を取得するために必要である。この点に関して、製造ラインと画像取得装置との間には、データ伝送の点で直接的な接続が存在する。データは、データラインを介して又は無線で伝送できる。
【0003】
既知の画像取得装置の欠点は、画像取得装置の構造が非常に複雑なことである。加えて、画像取得装置が監視領域の画像信号を取得できるようにするためには高いセットアップ作業が必要となる。したがって、画像取得装置を生産ライン上の別の位置に移動させることは、非常に時間及び費用がかかるか又は不可能な場合ですらある。
【発明の概要】
【0004】
本発明は上記のような欠点が生じない方法を提供することを目的とする。
【0005】
当該目的は、少なくとも１つの所定の搬送アイテムが監視領域内に配置されているかどうかを判定する方法であって、
物体の搬送経路が通過する監視領域の画像信号が取得され、
前記画像信号を人工ニューラルネットワークに供給する前に、前記画像信号に基づいて、他の人工ニューラルネットワークにより、前記物体の少なくとも一部が監視領域に配置されているかどうかが判定され、前記他のニューラルネットワークにより、前記物体の少なくとも一部が監視領域に配置されていると判定された場合に、前記画像信号が前記ニューラルネットワークに供給され、
前記人工ニューラルネットワークにより、前記画像信号に基づいて、前記物体の少なくとも一部が前記少なくとも１つの所定の搬送アイテムの少なくとも一部に対応するかどうか判定され、
前記人工ニューラルネットワークにより、前記監視領域内に前記少なくとも１つの所定の搬送アイテムが配置されていると判定された場合に、前記監視領域の画像が生成される。
物体の搬送経路が通過する監視領域の画像信号が取得され、
前記画像信号を人工ニューラルネットワークに供給する前に、前記画像信号に基づいて、他の人工ニューラルネットワークにより、前記物体の少なくとも一部が監視領域に配置されているかどうかが判定され、前記他のニューラルネットワークにより、前記物体の少なくとも一部が監視領域に配置されていると判定された場合に、前記画像信号が前記ニューラルネットワークに供給され、
前記人工ニューラルネットワークにより、前記画像信号に基づいて、前記物体の少なくとも一部が前記少なくとも１つの所定の搬送アイテムの少なくとも一部に対応するかどうか判定され、
前記人工ニューラルネットワークにより、前記監視領域内に前記少なくとも１つの所定の搬送アイテムが配置されていると判定された場合に、前記監視領域の画像が生成される。
【0006】
本発明の他の目的は、上述した欠点を回避できるコンピューティング装置を提供することである。
【0007】
前記装置は、少なくとも１つの所定の搬送アイテムが監視領域に配置されているかどうかを判定するコンピューティング装置により実施され、コンピューティング装置は、
人工ニューラルネットワークを有する搬送アイテム認識モジュールと、別の人工ニューラルネットワークを有し、搬送アイテム認識モジュールの上流に接続されたフィルタモジュールとを有し、
コンピューティング装置は、フィルタモジュールの他の人工ニューラルネットワークが画像信号に基づいて監視領域に物体の少なくとも一部が配置されているかどうかを判定し、他の人工ニューラルネットワークが監視領域に物体の少なくとも一部が配置されていると判定した場合に画像信号を搬送アイテム認識モジュールのニューラルネットワークに供給し、人工ニューラルネットワークが画像信号に基づいて物体の判定された少なくとも一部が少なくとも１つの所定の搬送アイテムの少なくとも一部に対応するかどうかを判定するように構成され、
コンピューティング装置は、人工ニューラルネットワークが少なくとも１つの所定の搬送アイテムの少なくとも一部が監視領域に配置されていると判定した場合に監視領域の画像を生成させる。
人工ニューラルネットワークを有する搬送アイテム認識モジュールと、別の人工ニューラルネットワークを有し、搬送アイテム認識モジュールの上流に接続されたフィルタモジュールとを有し、
コンピューティング装置は、フィルタモジュールの他の人工ニューラルネットワークが画像信号に基づいて監視領域に物体の少なくとも一部が配置されているかどうかを判定し、他の人工ニューラルネットワークが監視領域に物体の少なくとも一部が配置されていると判定した場合に画像信号を搬送アイテム認識モジュールのニューラルネットワークに供給し、人工ニューラルネットワークが画像信号に基づいて物体の判定された少なくとも一部が少なくとも１つの所定の搬送アイテムの少なくとも一部に対応するかどうかを判定するように構成され、
コンピューティング装置は、人工ニューラルネットワークが少なくとも１つの所定の搬送アイテムの少なくとも一部が監視領域に配置されていると判定した場合に監視領域の画像を生成させる。
【0008】
本発明によれば、人工ニューラルネットワークを設けることにより、画像信号が評価されるコンピュータユニットを、搬送アイテムが搬送される搬送装置にデータ伝送するために接続する必要がなくなることが認識されている。とりわけ、画像取得装置と搬送装置との間のハードウェア接続がもはや必要ない。したがって、本発明によれば、搬送装置のセンサによって測定された測定値をコンピューティング装置に伝送する必要がない。コンピューティング装置は、搬送装置によって測定されたデータから独立して、搬送アイテムの少なくとも一部が監視領域内に配置されているかどうか及び判定された搬送アイテムが所定の搬送アイテムであるかどうかを判定できる。これにより、搬送装置の設定を変更することなく、搬送経路上の任意の場所にコンピューテシング装置を配置することが可能となる。加えて、この方法は、ほとんど全ての画像取得装置を用いて行うことができ、複雑な画像取得装置の必要性が解消される。
【0009】
他のニューラルネットワークを備えるフィルタモジュールは、全ての画像信号が搬送アイテム認識モジュールに供給しなくてよいという利点を提供する。これは、フィルタモジュールが、所定の搬送アイテムを含まない画像信号をフィルタリングすることができるので有利である。これは、搬送アイテム認識モジュールによってそれらを分析する必要がないことを意味する。搬送アイテム認識モジュールによる画像信号処理は、フィルタモジュールによる画像信号処理よりも時間がかかるため、フィルタモジュールを備えることにより高速なデータ処理が保証される。
【0010】
フィルタモジュールは、監視領域内に物体の少なくとも一部が配置されているかどうかを認識するように構成されている。これは、フィルタモジュールが監視領域内に物体全体が配置されていることを認識することも含む。しかしながら、フィルタモジュールは、物体が何かを認識しない。そのため、フィルタモジュールは、当該物体が所定の搬送アイテムであるかどうかを認識しない。
【0011】
搬送アイテム認識モジュールは、判定された物体のされた少なくとも一部が所定の搬送アイテムの少なくとも一部に対応するかどうかを認識するように設計されている。これは、完全に特定された物体が所定の搬送アイテムに対応するかどうかを認識することも含む。所定の搬送アイテムは、搬送装置によって搬送されるべき物体であり、それ故に対象となる物体である。しかしながら、動作の間、所定の搬送アイテム以外の物体がコンベヤベルト上に配置され得る及び／又は画像信号は、対象ではない人又は生産ラインの可動部品等の他の物体を含み得る。したがって、これらの物体は関連性のない物体として認識しなければならず、考慮されない。
【0012】
搬送アイテムは、搬送装置によって位置の空間的変化を受ける物体である。搬送アイテムはユーザにとって関心のあるものであるため、この方法は、搬送アイテムが監視領域に配置されているかどうかを確認することを意図している。搬送装置は搬送アイテムを搬送するために用いられ、例えば、コンベヤベルトであり得る。あるいは、搬送装置として機能する他の装置も考えられる。
【0013】
この文脈において、「少なくとも１つの所定の搬送アイテム」は、コンピューティング装置が単一の所定の搬送アイテム又は複数の所定の搬送アイテムを特定できることを意味すると理解される。複数の所定の搬送アイテムは同じ種類のアイテムであり得る。あるいは、搬送アイテムの種類が異なっていてもよい。この場合、各搬送アイテムの種類が動作の間にコンピューティング装置によって「所定の搬送アイテム」として認識されるように、それらについて以下で説明するトレーニングプロセスを行わなければならない。
【0014】
搬送経路は、搬送装置が所定の搬送アイテム又は別の物体を搬送する経路である。この点について、監視領域は搬送経路の一部をカバーするように選択される。これは、所定の搬送アイテムが搬送の間に監視領域を常に通過することを保証する簡単な方法を構成する。
【0015】
画像生成又は画像キャプチャは、特定の時点で、とりわけ繰り返しの及び／又は永続的な使用のために、画像信号が電気メモリ装置に記憶されるプロセスであると理解される。電気メモリ装置はコンピューティング装置及び／又は画像取得装置のハードディスクであり得る。例えば、表示可能な画像は、記憶された画像信号に基づいて生成され得る。画像信号は全体として前述の画像を形成する多数の画素を含む。
【0016】
コンピューティング装置は、画像信号を処理及び／又は評価するデータ処理電気機器である。この点について、コンピューティング装置はプロセッサであり得るか又はプロセッサを有し得る。
【0017】
画像信号の光は人間の目に見える光であり得る。光は３８０ｎｍ（ナノメートル）～７８０ｎｍの範囲の波長を有し得る。これは、画像を生成するために複雑で高価な画像取得装置を使用する必要がないという利点を提供する。画像を生成するために、とりわけ、携帯電話、タブレットコンピュータ、カメラ等の電子機器を用いることができる。
【0018】
人工ニューラルネットワーク及び／又は他のニューラルネットワークは、動作前にトレーニングされていてもよい。加えて、人工ニューラルネットワーク及び／又は他のニューラルネットワークをトレーニングするためにコンピューティング装置の動作の間に確認されたデータを用いることができる。トレーニングプロセスについては以下でより詳細に説明する。
【0019】
ニューラルネットワークは少なくとも入力層及び意思決定層を有するネットワークであり得る。さらに、ニューラルネットワークは、なくとも１つの層を有し得る。ニューラルネットワークは、とりわけ、ディープニューラルネットワークであり得る。ディープニューラルネットワークは複数の層を有する人工ニューラルネットワークである。とりわけ、ニューラルネットワークは入力層及び意思決定層を有する。ニューラルネットワークは、その間に、データ伝送に関して入力層と意思決定層とに接続される少なくとも１つの層を有する。入力層と意思決定層との間に配置される１つ以上の層は隠れ層とも呼ばれる。前述の各層はニューロンを有する。
【0020】
ある層のニューロンは別の層のニューロンに接続されている。この接続は、ある層のニューロンが別の層の全てのニューロンに接続されるようにすることができる。あるいは、ある層のニューロンは他の層のニューロンの一部のみに接続されることもできる。これにより、ニューラルネットワークにおいて、入力層の１つ以上の出力が層に供給される接続が実現される。加えて、層の１つ以上の出力が意思決定層に供給される。
【0021】
この点に関して、ニューラルネットワークは畳み込みニューラルネットワークとも呼ばれる畳み込みニューラルネットワークを有し得る。畳み込みニューラルネットワークは画像信号の検査にとりわけ適している。とりわけ、畳み込みニューラルネットワークを用いて画像信号のパターンを容易に認識できる。
【0022】
画像取得装置によって取得された画像信号は畳み込みニューラルネットワークの入力層に供給できる。この点に関して、畳み込みニューラルネットワークの入力層のニューロンの数は画像信号の画素数に対応できる。そのため、入力層は、画像の高さ及び幅に関する情報を含む。畳み込みニューラルネットワークの入力層は３次元であり得る。この点に関して、入力層は画像の高さ及び幅に関する情報と画像情報を含むことができる。画像情報は、例えば色情報であり得る。色情報が赤色、黄色、青色に限定される場合、入力層は３つの下位層を有する。
【0023】
畳み込みニューラルネットワークは１つ以上の層を有し得る。層はニューラル畳み込み層及び／又は入力層に続く層であり得る。層は入力層から出力データを受信する。
【0024】
層は複数の副層を有し得る。副層は平面内に配置された複数のニューロンを有し、平面は互いにオフセットされている。したがって、層は異なる抽象レベルで情報を出力する多次元マトリックスとみなすことができる。そのため、第１の層はエッジに関する情報を認識して出力できる。第１の層は入力層に続く。第１の層に続く第２の層はエッジに基づいて異なる形状を認識し出力できる。第２の層に続く第３の層は異なる形状に基づいて物体を認識し出力できる。第３の層に続く第４の層は物体に基づいて構造を認識し出力できる。その結果、層の数が多いほど、画像信号をより正確に分析できる。
【0025】
上述したように、畳み込みニューラルネットワークは複数の層を有することができ、それぞれが１つ以上の副層を有する。ニューラルネットワークは第１の層と、第１の層に続く第２の層とを有することができ、第２の層はフィルタ、とりわけ１次元又は多次元フィルタを適用することによって生成される。フィルタは、第１の層に適用されると、第２の層の副層、とりわけ１つの副層を生成するように構成されている。そのため、フィルタは第１の層に、とりわけ第１の層の副層の数に関して適合されている。第２の層の副層の数は第１の層に適用されるフィルタの数に対応できる。
【0026】
第１の層は入力層に続き、フィルタ、とりわけ１次元又は多次元フィルタを適用することにより生成できる。フィルタは、入力層に適用されると、第１の層の副層、とりわけ単一の副層を生成するように構成されている。そのため、フィルタは入力層に、とりわけ第１の層の副層の数に関して適合されている。第１の層の副層の数は、入力層に適用されるフィルタの数に依存する。
【0027】
ニューラルネットワークの意思決定層は少なくとも２つの層に接続できる。これは、少なくとも２つの層の出力が意思決定層に直接供給されることを意味する。とりわけ、意思決定層は各層からの出力を直接受信できる。あるいは、意思決定層は入力層に直接接続できる。これは、ニューラルネットワークが入力層と意思決定層との間に層を持たない場合である。
【0028】
人工ニューラルネットワークは教師なし機械アルゴリズム、とりわけ学習アルゴリズムを有し得る。教師なしアルゴリズムは、判定された物体の少なくとも１つの部分が所定の搬送アイテムの少なくとも１つの部分に対応するかどうかを正確に認識するために用いられる。
【0029】
教師なしアルゴリズムは、入力に基づいて入力データの構造及び関係を確認するアルゴリズムである。この文脈では、２種類の教師なし学習アルゴリズムを区別できる。「クラスタ」アルゴリズムは、データセット内で互いに類似する観察クラスタを見つけよう試みる。「関連」アルゴリズムは、関連を推論できるルールを見つけようと試みる。教師なしアルゴリズムが近接探索アルゴリズム、とりわけ最近傍アルゴリズムである場合にとりわけ有利である。
【0030】
畳み込みニューラルネットワークの意思決定層は教師なし学習アルゴリズムを有し得る。そのため、教師なし学習アルゴリズムには層又は入力層の出力データが供給される。意思決定層及びそれゆえに教師なしアルゴリズムは先行する層又は入力層に完全に接続できる。とりわけ、意思決定層の全てのニューロンは先行するさらなる層又は入力層の全てのニューロンに接続されている。畳み込みニューラルネットワークは１つの層、とりわけ、先行する層に完全に接続された意思決定層のみを有し得る。先行層は、入力層から意思決定層への情報の流れにおいて、意思決定層の前に配置される層であると理解される。
【0031】
意思決定層は、とりわけ排他的に一方向に延びる複数のニューロンを有し得る。このような一次元の意思決定層はデータのより高速な処理を可能にする。
【0032】
実際の動作において、意思決定層に供給される画像信号のデータ要素は、それが所定の搬送アイテムの一部を含むかどうかを判定するために評価され得る。この点に関して、評価は、供給されるデータ要素の少なくとも１つのパラメータの決定を含み得る。とりわけ、２つのパラメータを決定できる。パラメータは種類が異なっていてもよい。例えば、１つのパラメータはデータ要素に含まれる画像情報の分散であってもよく及び／又は別のパラメータはデータ要素に含まれる画像情報の期待値であってもよい。教師なし学習アルゴリズム及び少なくとも１つの決定されたパラメータ、とりわけ、２つの決定されたパラメータを用いて、データ要素が所定の搬送アイテムの一部を含むかどうかを判定できる。
【0033】
教師なし学習アルゴリズムは、データ要素が所定の搬送アイテムの一部を含むかどうかを判定するためにトレーニング結果を用いることができる。トレーニング結果は少なくとも１つのパラメータ範囲であり得る。とりわけ、トレーニング結果は２つのパラメータ範囲であり得る。これは、教師なし学習アルゴリズムが２つのパラメータを決定する場合に関連する。以下では、トレーニングの間に確認されたパラメータ範囲をトレーニング前パラメータ範囲と呼ぶ。
【0034】
教師なし学習アルゴリズムは、決定された少なくとも１つのパラメータが少なくとも１つのトレーニング前パラメータ範囲内にある場合に、供給されたデータ要素が所定の搬送アイテムの一部を含むと判定できる。２つのパラメータが決定される場合、教師なし学習アルゴリズムは、分散等の第１の決定されたパラメータが第１のトレーニング前パラメータ範囲内にあり、期待値等の第２の決定されたパラメータが第２のトレーニング前パラメータ範囲内にある場合に、供給されたデータ要素が所定の搬送アイテムの一部を含むと判定する。教師なし学習アルゴリズムを用いることにより、画像信号に含まれる物体が所定の搬送アイテムに対応するかどうかを判定できることが認識されている。したがって、ニューラルネットワークを柔軟に用いることができる。とりわけ、画像信号がニューラルネットワークにとって未知の物体を含む場合にも、ニューラルネットワークを用いることができる。これは、教師なし学習アルゴリズムが少なくとも１つのパラメータを参照し、画像信号が所定の搬送アイテムを含むかどうかを判定するために少なくとも１つのパラメータを用いるために可能である。
【0035】
トレーニングプロセスに応じて、教師なし学習アルゴリズムは、別の所定の搬送アイテムも判定するようにトレーニングできる。すなわち、本方法は、複数の所定の搬送アイテムが特定される場合にも同様に動作する。他の搬送アイテムは、例えば、所定の搬送アイテムとは種類が異なる。この場合、両方の搬送アイテムの種類を監視領域に同時に配置することができる。あるいは、搬送アイテムの種類を異なる時点で監視領域に配置することもできる。
【0036】
この場合、トレーニングプロセスの間、同じ種類の複数のパラメータ範囲が決定されており、各搬送アイテムに割り当てられている。これは、実際の動作で確認されたパラメータが所定のパラメータ範囲内であれば、コンピューティング装置は、所定のパラメータ範囲に割り当てられた所定の搬送アイテムを判定できることを意味する。その結果、監視領域に所定の搬送アイテム又は複数の種類の所定の搬送アイテムが配置されているかどうかを容易に認識できる。
【0037】
特定の実施形態では、教師なしアルゴリズムは、所定の搬送アイテムの一部を取り囲む境界ボックスを出力するように構成できる。とりわけ、境界ボックスは、所定の搬送アイテムの一部が監視領域に配置されていると判定された場合に生成できる。境界ボックスは、上述のデータ要素の分析に基づいて決定される。そのため、データ要素を分析した後、それらのデータ要素は搬送アイテムの一部を含むことが知られる。
【0038】
教師なし学習アルゴリズムを有する畳み込みニューラルネットワークを用いることの利点は、所定の搬送アイテムが監視領域に配置されているかどうかを認識することにおいてとりわけ優れていることである。
【0039】
特定の実施形態では、コンピューティング装置はキャプチャ時間を決定するトリガモジュールを有し得る。トリガモジュールは、データ伝送の点で搬送アイテム認識モジュールの下流に接続できる。これは、トリガモジュールが入力データとして搬送アイテム認識モジュールから出力データを受信することを意味する。あるいは、トリガモジュールは、搬送アイテム認識モジュールと並列に動作することも可能である。
【0040】
この文脈で、キャプチャ時間は画像がキャプチャされた時間に対応する。キャプチャ時間は、他の人工ニューラルネットワークが監視領域内に物体の少なくとも一部が配置されていると判定した判定時刻から所定の時間オフセットできる。あるいは、キャプチャ時間に対してキャプチャ時間を時間的にオフセットされていないため、監視領域内に物体が配置されていると判定した時刻と同時に画像がキャプチャされる。この場合、他の人工ニューラルネットワークは物体、とりわけ搬送アイテムが全体として監視領域に配置されていると判定する。
【0041】
物体の一部、とりわけ搬送アイテムの一部のみが監視領域に配置されていると判定された場合、キャプチャ時に物体全体、とりわけ搬送アイテムが監視領域に配置されているように時間を選択できる。これは、物体、とりわけ搬送アイテムが判定時の位置から物体、とりわけ搬送アイテム全体が監視領域に配置される位置に移動した場合にのみ画像がキャプチャされることを意味する。その結果、トリガモジュールは、何時搬送アイテム全体が監視領域に配置されるかを予測する。これは、後続の処理の一部として実際に処理できる画像のみが撮像されることを確かなものにする簡単な方法である。これは、搬送アイテム全体が監視領域に配置されることを必要とする。
【0042】
搬送アイテム認識モジュールのニューラルネットワークが、判定された物体が少なくとも１つの所定の搬送アイテムに対応することを判定した場合にのみキャプチャ時間を決定できる及び／又は画像を生成できる。
【0043】
物体、とりわけ搬送アイテム全体が何時監視領域に配置されているかを判定するためにトリガモジュールのアルゴリズムを用いることができる。トリガモジュールは線形二次推定アルゴリズムを有することができ、これは搬送アイテム全体が何時監視領域に配置されるかを判定するために用いられる。
【0044】
そのため、トリガモジュールは、画像取得装置が画像を取得するためにキャプチャ信号の受信から一定の時間を必要とするという事実を考慮する。したがって、トリガモジュールは、画像取得装置が画像を取得するのが早すぎることも遅すぎることもなく、常に、所定の搬送アイテム全体が監視領域に配置されたときに画像を取得することを保証する。
【0045】
キャプチャされた画像は、後続のステップで搬送アイテムの品質を評価できるように処理できる。とりわけ、搬送アイテムに損傷があるかどうか及び/又は他の望ましくない特性があるかどうかを評価できる。その結果、画像を簡単な方法で、データ伝送に関して搬送装置への接続なしに提供でき、搬送アイテムの品質を評価するために用いることができる。これは、搬送装置及び／又は搬送アイテムの状態及び／又は特性に関するセンサデータ等の電子データがコンピューティング装置に送信されないことを意味する。そのため、搬送品質の判定は、取得された光学画像信号のみに基づき得る。
【0046】
既に上述したように、コンピューティング装置はフィルタモジュールを有する。フィルタモジュールは、物体の少なくとも一部が監視領域内に配置されているかどうかを判定するために、人工ニューラルネットワークに供給する前に画像信号を評価するように構成されている。この点に関して、フィルタモジュールは、画像取得装置によって取得された画像信号を最初に受信するようにコンピューティング装置に設けられている。そのため、フィルタモジュールは、監視領域からの画像信号の一部のみが搬送アイテム認識モジュールに供給されるように画像信号をフィルタリングできる。これは、フィルタモジュールがフィルタモジュールの下流のモジュールよりも少ない計算能力を必要とするので有利である。これは、監視領域に物体が配置されていない場合に必要な計算能力を低く抑えることができることを意味する。
【0047】
フィルタモジュールは別の人工ニューラルネットワークを有することができる。他の人工ニューラルネットワークは、供給された画像信号に基づいて監視領域に物体が配置されているかどうか判定できる。他の人工ニューラルネットワークはディープニューラルネットワークであり得る。他の人工ニューラルネットワークは人工ニューラルネットワークよりも少ない層を有し得る。これにより、他の人工ニューラルネットワークは、人工ニューラルネットワークよりも画像信号を高速に処理できる。
【0048】
加えて、他の人工ニューラルネットワークは他の畳み込みニューラルネットワークであり得る。上述したように、他の畳み込みニューラルネットワークは画像パターンを認識できるため、画像信号の解析に有利である。その結果、他の人工ニューラルネットワークは、画像信号を高速に処理するのに最適化されており、物体の少なくとも一部が監視領域に配置されていることを認識する点で人工ニューラルネットワークと異なる。しかしながら、監視領域にどのような物体が配置されているかを通常認識しないか又は全く認識しない。これに対して、人工ニューラルネットワークは監視領域内の物体が所定の搬送アイテムに対応するかを認識するように最適化されている。
【0049】
画像取得装置によって取得された画像信号は他の人工ニューラルネットワークの入力層に供給できる。この点について、他の畳み込みニューラルネットワークの入力層のニューロンの数は画像信号の画素数に対応できる。そのため、入力層は画像の高さ及び幅の情報を含む。他の畳み込みニューラルネットワークの入力層は３次元であり得る。この点について、入力層は、画像の高さ及び幅の情報及び画像情報を含み得る。画像情報は、例えば色情報であり得る。色情報が赤色、黄色及び青色に限定されている場合、入力層は３つの副層を有する。その結果、他のニューラルネットワークの入力層は上述のニューラルネットワークの入力層と同一であり得る。
【0050】
他の畳み込みニューラルネットワークは１つ以上のさらなる層を有し得る。更なる層は、ニューラル畳み込み層及び/又は入力層に続く層であり得る。さらなる層は入力層から出力データを受信する。所定の画素サイズのさらなる層を有する少なくとも１つのフィルタは受信したデータを分析し、出力行列を出力する。出力行列の数はフィルタの数に依存する。出力行列のサイズはフィルタサイズ及びパディング及びステップサイズ等の他の要因に依存する。加えて、さらなる層の出力はプーリングにより、単純化、とりわけ小さくすることができる。
【0051】
上述のように、他の畳み込みニューラルネットワークのさらなる層の数は、畳み込みニューラルネットワークの層の数よりも少ない。そのため、他の畳み込みニューラルネットワークは１つの入力層及び１つの出力層のみを有し得る。あるいは、他のニューラルネットワークは、入力層と出力層との間に１つ以上の層を有し得る。そのため、他のニューラルネットワークは１０以下のさらなる層を有し得る。対照的に、畳み込みニューラルネットワークは２０以上のさらなる層を有し得る。
【0052】
他の人工ニューラルネットワークは他の教師なし機械アルゴリズム、とりわけ学習アルゴリズムを有し得る。他の教師なしアルゴリズムは物体の少なくとも一部が監視領域に配置されているかどうかを認識するために用いられる。とりわけ、他の教師なしアルゴリズムは、監視領域に配置された以前未知であった物体も認識する。他の教師なしアルゴリズムが近接探索アルゴリズム、とりわけ最近傍アルゴリズムである場合にとりわけ有利である。
【0053】
他の畳み込みニューラルネットワークの意思決定層は他の教師なし学習アルゴリズムを有し得る。そのため、他の教師なし学習アルゴリズムにはさらなる層又は入力層の出力データが供給される。意思決定層及びそれ故に他の教師なしアルゴリズムは先行するさらなる層又は入力層に完全に接続できる。とりわけ、意思決定層の全てのニューロンは先行するさらなる層又は入力層の全てのニューロンに接続されている。他の畳み込みニューラルネットワークは単一の層、とりわけ意思決定層のみを有することができ、意思決定層は先行層又は入力層に完全に接続される。先行層は、入力層から意思決定層への情報の流れにおいて、意思決定層の前に配置される層として理解される。
【0054】
他の教師なし学習アルゴリズムは、物体の一部が監視領域内に配置されているかどうかに関する情報を出力するように構成できる。教師なし学習アルゴリズムは物体の一部が監視領域に配置されていると判定した場合、画像がニューラルネットワークに供給される。その結果、画像信号は簡単な方法でフィルタリングされ、物体の少なくとも一部が監視領域に配置されている画像信号のみがニューラルネットワークに供給される。その後、ニューラルネットワークは、判定された物体が所定の搬送アイテムであるかどうかを上述の方法で判定し及び／又は境界ボックスを生成できる。
【0055】
他の教師なし学習アルゴリズム、画像信号のデータ要素が物体の一部を含むかどうかを判定するために他のニューラルネットワークからのトレーニング結果を用いることができる。これにより、他の教師なし学習アルゴリズムは、画像信号に基づいて別のパラメータを決定できる。他のパラメータに応じて、教師なし学習アルゴリズムは物体の少なくとも一部が監視領域に配置されているかどうかを判定できる。とりわけ、トレーニングプロセスで予めトレーニングされた別のパラメータ又は別のパラメータ範囲を用いて、データ要素が物体の一部を含むかどうかを評価できる。そのため、実際の動作において決定された他のパラメータと、トレーニングプロセスにおいて予めトレーニングされた他のパラメータ範囲とを比較することにより、データ要素が物体の少なくとも一部を含むかどうかを判定できる。
【0056】
これにより、他のパラメータが予めトレーニングされた他のパラメータ範囲内にあるかどうかを評価することができる。この場合、他のニューラルネットワークは、物体の少なくとも一部が監視領域内に配置されていることを認識する。その結果、他のニューラルネットワークは、いずれの場合も、実際の動作で確認された他のパラメータが予めトレーニングされた他のパラメータ範囲内にあるかどうかを評価する点でニューラルネットワークのように動作し、それぞれのネットワークの出力は評価結果に依存する。したがって、ニューラルネットワークに関する上記の説明も参照する。
【0057】
上述したように、２つのニューラルネットワークは層の数が異なり得る。とりわけ、他のニューラルネットワークの層の数はニューラルネットワークよりも少ない場合があるため、他のニューラルネットワークはそれがどの物体であるかを正確に認識できない。しかしながら、他のニューラルネットワークは、物体の少なくとも一部が監視領域内に配置されているかどうかを正確に認識できる。その結果、ニューラルネットワークは問題の物体が所定の搬送アイテムであるか又は搬送アイテムの一部であるかを出力する一方で、他のニューラルネットワークは物体の一部が監視領域内に配置されているかどうかを出力する。
【0058】
他の人工ニューラルネットワークの構造、とりわけ異なる層の間の接続はニューラルアーキテクチャサーチシステムによって確認できる。これはトレーニングプロセスでも行うことができる。この点に関して、ネットワークの構造は、パターンの正確な認識のためではなく、速度のために最適化されている。このように構成されたシステムは画像信号をとりわけ迅速に検査できるという利点がある。
【0059】
人工ニューラルネットワークでは、１つの層の全てのニューロンが別の層の全てのニューロンに接続されている。探索システムは、ニューロン間のどの接続が実際に必要であることを認識し、不要な接続を取り除くように設計されている。したがって、探索システムはニューロン間の接続の数を減らし、人工ニューラルネットワークが画像信号を迅速に処理できるようにする。意思決定層は先行層に完全に接続されているため、最適化は決定に先行する層でのみ行われる。
【0060】
畳み込みニューラルネットワークは、使用される前にトレーニングプロセスの一部としてトレーニングされる。ニューラルネットワークのトレーニングは第１のトレーニング段階と、とりわけ第１のトレーニング段階に続く第２のトレーニング段階とを有し得る。第２のトレーニング段階におけるニューラルネットワークのトレーニングは、第１のトレーニング段階でトレーニングされたニューラルネットワークを用いて行うことができる。これについては以下で詳細に説明する。
【0061】
第１のトレーニング段階では、実際の運用で使用されるニューラルネットワークに比べて、トレーニングすべきニューラルネットワークが異なる意思決定層を有するようにニューラルネットワークを変更できる。とりわけ、トレーニングすべきネットワークの意思決定層は教師なし学習アルゴリズムを有さない。これは、第１のトレーニング段階では、トレーニングすべきニューラルネットワークの意思決定層に先行する層がトレーニングされることを意味する。
【0062】
第１のトレーニング段階では、トレーニング画像を用いてトレーニングが行われる。第１のトレーニング段階でトレーニングすべきニューラルネットワークに供給されるトレーニング画像の数は、第２のトレーニング段階でトレーニングすべきニューラルネットワークに供給される画像の数よりも多い。トレーニングすべきニューラルネットワークに供給される画像はラベル付けされている。第１のトレーニング段階はニューラルネットワークの基礎的なトレーニングとして理解できる。これは、トレーニングが特定のユースケース、すなわち、少なくとも１つの所定の搬送アイテムに焦点が当てられておらず、ニューラルネットワークが多数の異なる物体を学習することを目的としていることを意味する。
【0063】
ここで、「ラベル付けされた」という用語は、画像信号が、画像の高さ、画像の幅及び色等の他の画像情報を含むことを意味する。加えて、画像信号は、画像内で描写される物体に関する情報を含む。とりわけ、画像信号は、例えば、ねじ、椅子、ペン等どのような物体が関与しているかに関する情報を含む。この文脈で、第１のトレーニング段階の間に供給されるトレーニング画像は所定の搬送アイテムを含むことができる。ラベル付き又は分類された物体は少なくとも部分的に境界ボックスによって囲まれ、畳み込みニューラルネットワークは所定の搬送アイテムが画像信号内のどこに配置されているかを認識する。
【0064】
第１のトレーニングプロセスにおいて、トレーニングすべきニューラルネットワークには多数の画像、とりわけ、上述したように、物体及び物体の位置に関する情報を含む、例えば、数百万の画像が供給される。上述したように、画像は様々な異なる物体を示すことができ、搬送アイテムが画像に含まれ得るか又は含まれない場合がある。
【0065】
第１のトレーニング段階は一度だけ行われることが好ましい。この場合、ニューラルネットワークは新たなユースケースのそれぞれについて第２のトレーニング段階に従ってのみトレーニングされる。あるいは、第１のトレーニング段階は各第２のトレーニング段階の前に、とりわけ、ニューラルネットワークが新たなユースケースで用いられるたびに行うことができる。
【0066】
第２のトレーニング段階では、トレーニングすべきニューラルネットワークの意思決定層は教師なし学習アルゴリズムを有する。これは、第２のトレーニング段階でトレーニングすべきニューラルネットワークは、実際の動作で用いられるニューラルネットワークに構造及び機能が対応することを意味する。第２のトレーニング段階では、第１のトレーニング段階でトレーニングされたニューラルネットワークが用いられる。これは、第２のトレーニング段階では、意思決定層に先行する１つ以上の層は既にトレーニングされていることを意味する。第２のトレーニング段階は、特定のユースケース、すなわち、ニューラルネットワークが少なくとも１つの搬送アイテムを認識する場合に、ニューラルネットワークをトレーニングするために用いられる。
【0067】
トレーニングのために、トレーニングすべきニューラルネットワークに、所定の搬送アイテムと、場合によっては１つ以上の他の物体とを含むトレーニング画像及び物体を含まない、故に所定の搬送アイテムを含まないトレーニング画像を供給できる。しかしながら、供給されるトレーニング画像の２０～１００％、とりわけ８０～９５％、好ましくは９０～９５％が所定の搬送アイテムを描写することが有利である。第２のトレーニング段階では、第１のトレーニング段階と同じトレーニング画像を供給することができる。あるいは、異なるトレーニング画像を供給することもできる。この点について、第２のトレーニング段階では、少なくとも１つのトレーニング画像、とりわけ複数のトレーニング画像をニューラルネットワークに供給できる。また、この文脈で、トレーニング画像の一部はラベル付けされてもいいし、トレーニング画像の一部はラベル付けされなくてもよい。あるいは、全ての画像はラベル付けされなくてもよい。この点について、物体を含む全てのトレーニング画像はラベル付けされる。物体を含まないトレーニング画像はラベル付けされない。
【0068】
第２のトレーニング段階の後、ニューラルネットワークは、少なくとも１つの所定の搬送アイテムに関してトレーニングされる。これは、ニューラルネットワークが、監視領域内の物体が所定の搬送アイテムであるかどうかを非常に正確に認識することを意味する。したがって、ニューラルネットワークの出力は、監視領域内の物体が所定の搬送アイテムであるかどうかである。
【0069】
この点について、意思決定層の少なくとも１つのニューロンに供給されるトレーニングデータ要素について、少なくとも１つのパラメータが決定される。これは、上述したように、ニューラルネットワークが第２のトレーニング段階で所定の搬送アイテムに関してトレーニングされるため、第２のトレーニング段階で行うことができる。トレーニングデータ要素は意思決定層に先行する層に由来する。トレーニングデータ要素は、画像情報、とりわけ画像強度を含み及び／又はトレーニング画像の画像領域を表す。意思決定層にはそれぞれが画像領域を表す複数のトレーニングデータ要素が供給される。その結果、完全な画像は、トレーニングデータ要素の形で意思決定層に利用可能となる。トレーニングすべきニューラルネットワークに供給される各トレーニング画像について、トレーニングデータ要素は意思決定層に供給されることを理解されたい。
【0070】
意思決定層では、トレーニングデータ要素、とりわけトレーニング画像の全てのトレーニングデータ要素について、少なくとも１つのパラメータ、とりわけ２つのパラメータが確認される。具体的には、トレーニングデータ要素に含まれる画像情報の分散が第１のパラメータとして決定され及び／又はトレーニングデータ要素に含まれる画像情報の期待値、とりわけ正規分布が第２のパラメータとして決定される。
【0071】
この点について、トレーニングデータ要素が搬送物体の一部を有する、少なくとも１つの決定されたパラメータを考慮してパラメータ範囲を決定できる。多数のトレーニング画像がトレーニングのために用いられるため、パラメータ範囲を確認できる。したがって、パラメータ範囲を確認することができるように多くのパラメータが決定される。２つのパラメータが決定される場合、所定の搬送アイテムに割り当てられる２つのパラメータ範囲が決定される。この点について、トレーニングデータ要素は、確認された両方のパラメータがそれぞれのパラメータ範囲内にあれば搬送アイテムの少なくとも一部を有する。
【0072】
これは、画像信号が物体を含むかどうかを第１のトレーニング段階でトレーニングされた層が非常に正確に確認できるという状況を利用する。したがって、第２のトレーニング段階では、少なくとも１つのクラスタ、とりわけパラメータ範囲を形成できる。第２のトレーニング段階では、教師なしアルゴリズムは適合されないが、上記のパラメータが決定される。そのため、第２のトレーニング段階の完了後、パラメータ値又はパラメータ値の範囲は既知であり、搬送アイテムの一部を含むトレーニング画像のトレーニングデータ要素が配置されるクラスタ範囲が定義される。パラメータ値又はパラメータ値範囲の知識により、実際の動作において、画像信号が搬送アイテムの少なくとも一部を含むかどうかの判定を行うことができる。
【0073】
他のニューラルネットワーク、とりわけ畳み込みネットワークは、使用される前にトレーニングプロセスの一部としてトレーニングされる。トレーニングは、ニューラルネットワークのトレーニングと同一であり得る。これは、他のニューラルネットワークも２つのトレーニング段階でトレーニングできることを意味する。ニューラルネットワークと同様に、他のニューラルネットワークの意思決定層に供給されるトレーニング画像のトレーニングの間に、少なくとも１つの他のパラメータを決定できる。この点について、他の教師なし学習アルゴリズムは他のパラメータ又は別のパラメータ範囲を決定できる。決定された及び予めトレーニングされた他のパラメータ又は他のパラメータ範囲は、物体の少なくとも一部が監視領域内に配置されているかどうかを特徴づけることができる。そのため、実際の動作では、確認された他のパラメータを、トレーニングプロセスで決定された予めトレーニングされたパラメータ又は予めトレーニングされた他のパラメータ範囲と比較し、その比較に応じて、物体の少なくとも一部が監視領域内に配置されているかどうかを判定できる。とりわけ、決定された他のパラメータが予めトレーニングされた他のパラメータ範囲内にある場合、物体の少なくとも一部が監視領域内に配置されていると判定できる。ニューラルネットワークに対して、他のニューラルネットワークは、物体の少なくとも一部が監視領域内に配置されているかどうかを出力するようにトレーニングされる。
【0074】
とりわけ有利なのは、監視領域に由来する画像信号を取得するための画像取得装置と、データ伝送の観点で該画像取得装置に接続されている本発明に係るコンピューティング装置とを有する装置である。画像取得装置及びコンピューティング装置は、画像取得装置によって取得された画像信号がコンピューティング装置に供給されるように接続されている。
【0075】
画像取得装置及びコンピューティング装置は同じ装置に統合できる。例えば、係る装置は、携帯電話、カメラ、タブレットコンピュータ等であり得る。あるいは、画像取得装置及びコンピューティング装置は互いに別個に形成できる。例えば、コンピューティング装置は、データ伝送の点で画像取得装置に接続されるコンピュータの一部であり得る。そのため、既知の装置とは対照的に、コンピューティング装置は、搬送装置ではなく画像取得装置と通信する必要がある。
【0076】
画像取得装置はレンズを有し得る。この点に関して、同じ画像取得装置は、監視領域に由来する画像信号を取得でき、画像をキャプチャし、それ故に生成できる。あるいは、１つの画像取得装置が監視領域に由来する画像信号を取得し、別の画像取得装置が画像をキャプチャし、それ故に生成できる。画像取得装置は、画像信号が画像取得装置によって継続的に取得されるように監視領域を継続的に監視できる。したがって、画像信号はコンピューティング装置によって継続的に評価される。画像取得装置は人間の目に見える波長範囲にある画像信号を取得できるように設計できる。あるいは又はそれに加えて、画像取得装置は、人間の目に見える波長範囲外、とりわけ赤外線又はハイパースペクトル範囲にある画像信号を処理できるように設計できる。
【0077】
上述したように、コンピューティング装置はキャプチャ信号を出力し、それを画像取得装置に送信できる。画像取得装置は、キャプチャ時のキャプチャ信号を受信した後に画像をキャプチャし、それ故に生成できる。キャプチャ信号はキャプチャ時に関する情報を含むか又はキャプチャ時に出力される。
【0078】
とりわけ有利なのは、プログラムがコンピュータによって実行された場合に、コンピュータに本発明の方法を実行させる命令を含むコンピュータプログラムである。本発明に係るコンピュータプログラムが記憶されたデータキャリアも有利である。加えて、本発明に係るコンピュータプログラムを伝送するデータキャリア信号も有利である。
【図面の簡単な説明】
【0079】
本発明の主題は図面に概略的に示され、同じ又は同じ効果を有する要素には、通常、同じ参照符号が付されている。
【発明を実施するための形態】
【0080】
図１に示す装置９は、画像取得装置１０及びコンピューティング装置３を有する。ここで、画像取得装置１０及びコンピューティング装置３の少なくとも一部は、ハウジング１２によって取り囲まれた装置９のキャビティ内に配置されている。画像取得装置１０及びコンピューティング装置３はデータ伝送の点で接続されている。このように、画像取得装置１０によって取得された光学画像信号がコンピューティング装置３に送信される。装置９は携帯電話であり得る。図１から分かるように、装置９は、データ伝送の点で搬送装置１１に接続されていない。これは、搬送装置１１と装置９との間でデータのやりとりがないことを意味する。とりわけ、搬送装置１１から装置９に又はその逆にデータが伝送されない。
【0081】
画像取得装置１０は、画像信号が由来する監視領域２を監視する。搬送装置１１はコンベヤベルト等であり得る。この点について、搬送装置１１は物体を搬送するために用いられる。物体は、さらに分析される所定の搬送アイテム１であり得る。あるいは、物体は、関連性がなく、したがってさらに分析されるべきではない別の搬送アイテム１ａであり得る。
【0082】
画像取得装置１０は、監視領域２が搬送装置１１の一領域を含むように配置されている。とりわけ、監視領域２は物体の搬送経路を含むため、所定の搬送アイテム１及びそれ以外の無関係な搬送アイテム１ａは必ず監視領域２を通過するようになっている。図１の場合、所定の搬送アイテム１の一部が監視領域２に配置されている。画像取得装置１０は、コンピューティング装置３によって出力されるキャプチャ信号１３を受信した後に監視領域２の画像をキャプチャし得る。
【0083】
コンピューティング装置３は、画像取得装置１０が取得した画像信号が供給されるフィルタモジュール６を有する。さらに、コンピューティング装置３は、フィルタモジュール６の出力信号を供給可能な搬送アイテム認識モジュール４を有する。搬送アイテム認識モジュール４は、図３にその構造を示す人工ニューラルネットワークを有する。フィルタモジュール６は、図３にその構造を示す別の人工ニューラルネットワークを有する。コンピューティング装置３はトリガモジュール５も有する。フィルタモジュール６の出力信号は搬送アイテム認識モジュール４及びトリガモジュール５に供給される。
【0084】
搬送アイテム認識モジュール４及びトリガモジュール５は、画像取得装置１０に供給されるキャプチャ信号１３を生成する。画像取得装置１０は、キャプチャ信号１３を受信した後に監視領域２の画像をキャプチャする。画像は記憶され、その後、所定の搬送アイテム１の品質を判定するために用いることができる。
【0085】
図１に示す実施形態では、トリガモジュール５は、搬送アイテム認識モジュール４の下流に接続されている。
【0086】
図２は、搬送アイテム認識モジュール４の人工ニューラルネットワーク７の概略構造を示す。
【0087】
ニューラルネットワーク７は入力層１５及び意思決定層１６に加えて複数の層１７、１７’を有する。図２では２つの層、すなわち、第１の層１７及び第２の層１７’を示すが、ニューラルネットワーク７は２つ以上の層１７、１７’を有する。入力層１５から意思決定層１６への情報の流れは矢印で示す方向に生じる。そのため、ニューラルネットワーク７は１００以上の層を有することができる。
【0088】
以下で詳細に説明するように、画像取得装置１０からフィルタモジュール６によって受信された画像信号は、フィルタモジュール６において、所定の搬送アイテム１の少なくとも一部が監視領域２に配置されていると判定された場合に、搬送アイテム認識モジュール４に送信される。
【0089】
この場合、画像信号はニューラルネットワーク７の入力層１５に供給される。入力層は三次元である。入力層１５の幅方向Ｗの延在は画像の幅に対応し、入力層１５の高さ方向Ｈの延在は画像の高さに対応する。図２に示していない入力層１５のニューロンの数は、幅方向Ｗにおける、幅方向Ｗにおいて画像信号に含まれる画素数に対応し、高さ方向Ｈにおいて、高さ方向Ｈにおいて画像信号に含まれる画素数に対応する。入力層１５は深さ方向Ｄにさらなる画像情報を含み得る。そのため、入力層１５は深さ方向Ｄに色情報を含み得る。赤色、黄色、青色のみが考慮される場合、入力層は深さ方向Ｄに図２に示さない３つの副層、すなわち、上述の色ごとに１つの副層を有する。しかしながら、画像情報は色に限定されない。
【0090】
層１７は畳み込み層である。層１７のそれぞれは複数のフィルタを有し、深さ方向Ｄにおいて層１７の広がりが大きくなる。これは、深さ方向Ｄにおける層１７の副層の数が入力層１５及び／又はそれぞれの先行層１７、１７’よりも多いことを意味する。加えて、フィルタは、少なくとも幅方向Ｗにおいてニューロンの数が減少するように選択される。この文脈で、幅方向Ｗにおけるニューロンの数は、層１７、１７’からさらなる層１７、１７’にかけて意思決定層１６の方向にさらに減らすことができる。とりわけ、ニューラルネットワーク７は意思決定層１６が一次元になるように設計されている。図２に示す場合では、意思決定層１６はそのため高さ方向Ｈに延びる。
【0091】
意思決定層１６は教師なし学習アルゴリズムを有する。教師なし学習アルゴリズムは近接探索アルゴリズム、とりわけ最近傍アルゴリズムであり得る。意思決定層１６は先行層１７に完全に接続されている。これは、先行層１７の全てのニューロンが意思決定層１６の全てのニューロンに接続されていることを意味する。畳み込みニューラルネットワーク７は１つの層、すなわち、先行層に完全に接続された意思決定層１６のみを有する。
【0092】
教師なし学習アルゴリズムは、その出力１８が、物体、とりわけ監視領域２内の搬送アイテム１、１ａの少なくとも一部が所定の搬送アイテム１の少なくとも一部に対応するかどうかに関する情報を含むように構成されている。加えて、教師なし学習アルゴリズムは、搬送アイテム又は搬送アイテムの一部を取り囲む境界ボックスを生成する。
【0093】
図３はフィルタモジュール６の別の人工ニューラルネットワーク７の概略構造を示す。
【0094】
他のニューラルネットワーク１９は入力層２０及び意思決定層２２に加えて複数のさらなる層２１を有する。図３には１つのさらなる層２１を示すが、ニューラルネットワーク１９は２つ以上の層２１を有することができる。しかしながら、他のニューラルネットワーク１９は、図２に示すニューラルネットワーク７よりも少ない数のさらなる層２１を有する。入力層１５から意思決定層１６への情報の流れは矢印によって示す方向に起こる。
【0095】
画像取得装置１０によって取得された画像信号は入力層２０に供給される。入力層は三次元的に設計され、ニューラルネットワーク７の入力層１５と同一である。したがって、上記の説明を参照する。
【0096】
意思決定層２２は教師なし学習アルゴリズムを有する。教師なし学習アルゴリズムは近接探索アルゴリズム、とりわけ最近傍アルゴリズムであり得る。教師なし学習アルゴリズムは、その出力２３が、物体の少なくとも一部が監視領域２内に配置されているかどうかに関する情報を含むように構成できる。この文脈で、フィルタモジュールは、判定された物体が所定の搬送アイテムであるかどうかを区別しない。フィルタモジュール６は、監視領域内に搬送アイテム１又は他の搬送アイテム１ａ又は他の物体が配置されていることのみを確認する。
【0097】
図４は図２に示すニューラルネットワーク７のトレーニングのフローチャートである。トレーニングは２つのトレーニング段階Ｔ１、Ｔ２を有し、第２のトレーニング段階Ｔ２は第１のトレーニング段階Ｔ１に続く。第１のトレーニング段階Ｔ１では、図２に示すニューラルネットワークに基づくニューラルネットワークがトレーニングされる。トレーニングすべきニューラルネットワークは意思決定層１６の点で図２に示すニューラルネットワークとは異なる。そのため、トレーニングすべきニューラルネットワークの意思決定層１６は教師なし学習アルゴリズムを有しておらず、代わりに先行する層で確認された結果を出力する。出力は、所定の搬送アイテム１の一部が監視領域２内に配置されているかどうかに関する情報を含むことができ及び／又は監視領域内の搬送アイテム１の一部を取り囲む境界ボックスを含み得る。
【0098】
第１のトレーニング段階の第１のトレーニングステップＴ１１で、複数のトレーニング画像が入力層に供給される。トレーニング画像にはラベルを付けることができ、とりわけ、全てのトレーニング画像がラベル付けされている。とりわけ、画像は、物体が配置されているかどうか及び／又はどこに物体が配置されているかに関する情報を含む。この点について、トレーニング画像は所定の搬送アイテム１を含むことができる。トレーニング画像は、所定の搬送アイテムに加えて他の物体を含むこともできる。トレーニング画像は、所定の搬送アイテム１を含まないこともあり得る。その結果、トレーニング画像は多数の異なる物体を含む。
【0099】
トレーニングすべきニューラルネットワーク７に多数のトレーニング画像が供給される。第１のトレーニング段階の目的は基礎的なトレーニングであり、その後にニューラルネットワークは、少なくとも１つの所定の搬送アイテムを含み得る多数の物体を認識する。第１のトレーニングプロセスが完了した後、ニューラルネットワークの層１７、１７’は、画像信号に物体の一部が配置されているかどうかを既に正確に認識できる。
【0100】
第１のトレーニング段階Ｔ１の完了後、第２のトレーニング段階Ｔ２が開始される。第２のトレーニング段階は第１のトレーニング段階Ｔ１でトレーニングされたニューラルネットワークＴ１に基づき、図４における破線矢印で示す。第２のトレーニング段階は、ニューラルネットワークを特定のユースケースのためにトレーニングするのに用いられる。これは、第２のトレーニング段階が完了すれば、ニューラルネットワークは監視領域内の物体が所定の搬送アイテムであるかどうかを容易に認識できることを意味する。
【0101】
第２のトレーニング段階Ｔ２でトレーニングされるニューラルネットワークは、図２に示す、実際に用いられるニューラルネットワークと構造及び機能の面で異なるものではない。すなわち、第２のトレーニング段階Ｔ２でトレーニングされるニューラルネットワークは、教師なし学習アルゴリズムを備える意思決定層１６を有する。加えて、第２のトレーニング段階Ｔ２でトレーニングされるニューラルネットワークは、第１のトレーニング段階Ｔ１でトレーニングされた層１７、１７’を有する。
【0102】
第１のトレーニングステップＴ２１では、トレーニングすべきニューラルネットワーク７に所定の搬送アイテムを含む画像及び所定の搬送アイテムを含まない画像が供給される。第１のトレーニング段階Ｔ１とは対照的に、画像の少なくとも一部はラベル付けされていないか又は全ての画像がラベル付けされていない。
【0103】
第２のトレーニングステップＴ２２では、意思決定層１６に供給されるトレーニング画像のトレーニングデータ要素毎に、複数のパラメータが意思決定層１６で決定される。トレーニングデータ要素はトレーニング画像の一部を表し、光強度等の少なくとも１つの画像情報を含む。第２のトレーニングステップＴ２２では、次に、トレーニングデータ要素に含まれる画像情報について正規分布が確認される。とりわけ、正規分布の分散及び／又は期待値が確認される。パラメータはトレーニング画像のトレーニングデータ要素毎に決定される。加えて、この処理は、トレーニングすべきニューラルネットワークに供給されるトレーニング画像、とりわけトレーニング画像のトレーニングデータ要素毎に繰り返される。
【0104】
第３のトレーニングステップＴ２３では、確認されたパラメータ値に基づいて、搬送アイテム１の少なくとも一部を含むトレーニングデータ要素が存在する少なくとも１つのパラメータ範囲が決定される。したがって、トレーニングデータ要素が所定の搬送アイテム１の一部を含まないパラメータ値も分かる。これは、画像信号が所定の搬送アイテム１の一部を含むかどうかを層１７、１７’が既に正確に把握している状況を利用している。トレーニングデータの画像情報、ひいてはパラメータは所定の搬送アイテム１の一部を含むかどうかに依存するため、確認されたパラメータを用いて、トレーニングデータアイテムが所定の搬送アイテム１の一部を含むかどうかを分類できる。
【0105】
図５はトレーニングデータ要素を示す図である。ここで、縦軸はトレーニングデータ要素に含まれる画像情報の分散等のパラメータであり、横軸はトレーニングデータ要素に含まれる画像情報の期待値等の他のパラメータである。図５に示すトレーニングデータ要素は、ニューラルネットワーク７に供給される各トレーニング画像の同じ画像区間を示す。この場合、ニューラルネットワーク７に２０枚のトレーニング画像が供給され、１０枚のトレーニング画像は第１の所定のトレーニングアイテムを含み、１０枚のトレーニング画像は第２の所定のトレーニングアイテムを含むものとする。
【0106】
図５に示す例示の実施形態では、ニューラルネットワークは、２つの所定の異なる搬送アイテムを認識するようにトレーニングされるものとする。トレーニングプロセスの一部として、クラスタ範囲Ｃ１及びＣ２とも呼ばれる２つのパラメータ範囲が識別される。第１のクラスタ範囲は第１の期待範囲Ｅ１及び第１の分散範囲Ｖ１によって定義される。第２のクラスタ範囲は第２の期待範囲Ｅ２及び第２の分散範囲Ｖ２によって定義される。クラスタ範囲は、第１の所定の搬送アイテムの確認されたパラメータ値及び第２の所定の搬送アイテムの確認されたパラメータ値によって決定される。ここで、第１のクラスタ範囲は、第１の所定の搬送アイテムについてニューラルネットワークによって決定されたパラメータ値がクラスタ範囲内にあるように選択される。加えて、第２のクラスタ範囲は、第２の所定の搬送アイテムについてニューラルネットワークによって決定されたパラメータ値が第２のクラスタ範囲Ｃ２内にあるように選択される。
【0107】
図３に示す他のニューラルネットワーク１９はニューラルネットワーク７と同じようにトレーニングされる。この点については、図４及び図５に関する上述の説明を参照されたい。しかしながら、ニューラルネットワーク７とは対照的に、他のニューラルネットワーク１９は、監視領域２内に物体の少なくとも一部が配置されているかどうかの情報を出力する。
【0108】
【0109】
第１の方法ステップＳ１では、監視領域２に由来する画像信号が画像取得装置１０によって取得される。取得された画像信号はフィルタモジュール６に供給される。フィルタモジュール６は、搬送アイテム１の少なくとも一部が監視領域２内に配置されているかどうかを判定するために用いられる。フィルタモジュール６は、畳み込みニューラルネットワークであり得る他の人工ニューラルネットワーク１９を有する。畳み込みニューラルネットワークは、使用前に既にトレーニングされている。
【0110】
第２の方法ステップＳ２では、他の人工ネットワーク１９は、画像取得装置１０から受信した画像信号に基づいて、監視領域２内に物体の少なくとも一部が配置されているかどうかを判定する。とりわけ、確認された他のパラメータ値が他の予めトレーニングされたパラメータ範囲内にあるかどうかを判定する。フィルタモジュール６において、監視領域２内に物体の一部が配置されていないと判定された場合、処理が終了し、方法シーケンスを新たなに開始する。これは、確認された他のパラメータ値が他の予めトレーニングされたパラメータ範囲内にない場合である。これを破線矢印で示す。フィルタモジュール６が画像取得装置１０から画像信号を継続的に受信するため、上述したようにフィルタモジュール６で新たな画像信号が検査される。
【0111】
フィルタモジュール６の出力が、監視領域２内に物体の一部が配置されていることを示す場合、第３の方法ステップＳ３で、フィルタモジュール６から搬送アイテム認識モジュール４に出力が送信される。搬送アイテム認識モジュール４では、フィルタモジュール６からの画像信号が層１７、１７’で処理される。このプロセスで、画像信号の複数のデータ要素が意思決定層１６に送信される。意思決定層では、分散や期待値等の前述のパラメータがデータ要素ごとに決定される。上述したように、各データ要素は画像信号の一部を表す。すなわち、画像信号はデータ要素の形で意思決定層に供給される。
【0112】
そして、教師なし学習アルゴリズムは確認されたパラメータ値に基づいて、データ要素が第１のクラスタ範囲Ｃ１にあるか又は第２のクラスタ範囲Ｃ２にあるかをデータ要素毎に判定する。そうである場合、搬送アイテム認識モジュールは、クラスタ範囲Ｃ１、Ｃ２に割り当てられた所定の搬送アイテム又は所定の搬送アイテムの少なくとも一部であると判定する。この処理を画像信号の全てのデータ要素について繰り返される。
【0113】
第４の方法ステップＳ４では、搬送アイテムの一部又は搬送アイテムを取り囲む境界ボックスを生成される。境界ボックスは分析されたデータ要素を用いて生成できる。そのため、データ要素を分析した後に、これが搬送アイテムの一部を含むかどうかが分かる。
【0114】
第５の方法ステップＳ５では、搬送アイテム認識モジュール４からトリガモジュール５に出力信号が送信される。トリガモジュール５では、搬送アイテム認識モジュール４からの出力信号に基づいてキャプチャ時間が決定される。加えて、トリガモジュール５では、搬送アイテム１全体が監視領域２内に配置される時間が決定される。
【0115】
搬送アイテム認識モジュール４及び／又はトリガモジュール５の出力に基づいて、キャプチャ信号が生成され、画像取得装置５に送信される。キャプチャ信号は、画像取得装置５が画像をキャプチャするという情報と、それがいつ行われるかという情報とを含み得る。
【0116】
第６の方法ステップＳ６で、画像取得装置１０は監視領域２の画像をキャプチャして、それを保存する。ここでは詳述しないが、キャプチャされた画像に基づいて搬送アイテム品質の評価を行うことができる。
【符号の説明】
【0117】
１ 所定の搬送アイテム
１ａ 他の搬送アイテム
２ 監視領域
３ コンピューティング装置
４ 搬送アイテム認識モジュール
５ トリガモジュール
６ フィルタモジュール
７ 人工ニューラルネットワーク
８ 入力層
９ 装置
１０ 画像取得装置
１１ コンベアベルト
１２ ハウジング
１３ キャプチャ信号
１４ 制御信号
１５ 入力層
１６ 意思決定層
１７ 第１の層
１７’ 第２の層
１８ ニューラルネットワークの教師なし学習アルゴリズムの出力
１９ 他の人工ニューラルネットワーク
２０ 他のニューラルネットワークの入力層
２１ 他のニューラルネットワークのさらなる層
２２ 他のニューラルネットワークの意思決定層
２３ 他のニューラルネットワークの教師なし学習アルゴリズムの出力
Ｈ 高さ方向
Ｗ 幅方向
Ｄ 深さ方向
Ｃ１ 第１のクラスタ範囲
Ｃ２ 第２のクラスタ範囲
Ｅ１ 第１の期待値範囲
Ｅ２ 第２の期待値範囲
Ｖ１ 第１の分散範囲
Ｖ２ 第２の分散範囲
Ｓ１～Ｓ６ 方法ステップ
１ａ 他の搬送アイテム
２ 監視領域
３ コンピューティング装置
４ 搬送アイテム認識モジュール
５ トリガモジュール
６ フィルタモジュール
７ 人工ニューラルネットワーク
８ 入力層
９ 装置
１０ 画像取得装置
１１ コンベアベルト
１２ ハウジング
１３ キャプチャ信号
１４ 制御信号
１５ 入力層
１６ 意思決定層
１７ 第１の層
１７’ 第２の層
１８ ニューラルネットワークの教師なし学習アルゴリズムの出力
１９ 他の人工ニューラルネットワーク
２０ 他のニューラルネットワークの入力層
２１ 他のニューラルネットワークのさらなる層
２２ 他のニューラルネットワークの意思決定層
２３ 他のニューラルネットワークの教師なし学習アルゴリズムの出力
Ｈ 高さ方向
Ｗ 幅方向
Ｄ 深さ方向
Ｃ１ 第１のクラスタ範囲
Ｃ２ 第２のクラスタ範囲
Ｅ１ 第１の期待値範囲
Ｅ２ 第２の期待値範囲
Ｖ１ 第１の分散範囲
Ｖ２ 第２の分散範囲
Ｓ１～Ｓ６ 方法ステップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2024-03-25
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
監視領域内に少なくとも１つの所定の搬送アイテムが配置されているかどうかを判定する方法であって、物体の搬送経路が通る前記監視領域の画像信号を取得することと、
前記画像信号を人工ニューラルネットワークに供給する前に、他の人工ニューラルネットワークにより、前記画像信号に基づいて、物体の少なくとも一部が前記監視領域内に配置されているかどうかを判定することであって、該他のニューラルネットワークにより、前記物体の少なくとも一部が前記監視領域内に配置されていると判定された場合、前記画像信号が前記ニューラルネットワークに供給される、ことと、
前記人工ニューラルネットワークにより、前記画像信号に基づいて、判定された前記物体の少なくとも一部が、前記少なくとも１つの所定の搬送アイテムの少なくとも一部に対応するかどうか判定することと、
前記人工ニューラルネットワークにより、前記少なくとも１つの所定の搬送アイテムの少なくとも一部が前記監視領域内に配置されていると判定された場合、前記監視領域の画像を生成することと、
を含む方法。
【請求項2】
前記ニューラルネットワークは畳み込みニューラルネットワークを有する、請求項１に記載の方法。
【請求項3】
ａ）前記画像信号は前記畳み込みニューラルネットワークの入力層に供給される、及び／又は、ｂ）前記畳み込みニューラルネットワークの入力層のニューロンの数は、前記画像信号の画素数に対応する、及び／又は、
ｃ）前記畳み込みニューラルネットワークの入力層は三次元である、
請求項２に記載の方法。
【請求項4】
前記ニューラルネットワークは少なくとも１つの層を有し、ａ）前記層はニューラル畳み込み層である、及び／又は、
ｂ）前記層は、前記入力層に接続されている及び／又は前記入力層から出力データを受信する、
請求項３に記載の方法。
【請求項5】
前記畳み込みニューラルネットワークは、それぞれが１つ以上の副層を有する複数の層を有し、ａ）第１の層は前記入力層に続き、少なくとも１つのフィルタを適用することによって生成され、及び／又は、
ｂ）第１の層と、該第１の層に続く第２の層とが存在し、該第２の層は少なくとも１つのフィルタを適用することによって生成される、
請求項３に記載の方法。
【請求項6】
ａ）前記畳み込みニューラルネットワークは意思決定層及び複数の先行層を有し、該意思決定層は少なくとも２つの層に接続され、及び／又は、ｂ）前記畳み込みニューラルネットワークの意思決定層は教師なし学習アルゴリズムを有し、前記意思決定層は先行層に完全に接続され、及び/又は、
ｃ）前記畳み込みニューラルネットワークは意思決定層及び入力層を有し、該意思決定層は、とりわけ直接、該入力層に接続されている、
請求項３に記載の方法。
【請求項7】
ａ）前記ニューラルネットワークは教師なし学習アルゴリズムを有する、及び／又は、ｂ）前記ニューラルネットワークの意思決定層は前記教師なし学習アルゴリズムを有する、
請求項６に記載の方法。
【請求項8】
前記意思決定層、とりわけ少なくとも１つのニューロンに供給される前記画像信号のデータ要素は、該データ要素が前記所定の搬送アイテムの一部を含むかどうかを判定するために評価される、請求項７に記載の方法。
【請求項9】
前記評価は少なくとも１つのパラメータを決定することを含み、該決定された少なくとも１つのパラメータを用いて、前記データ要素が前記所定の搬送アイテムの一部を含むかどうかが判定される、請求項８に記載の方法。
【請求項10】
ａ）前記教師なし学習アルゴリズムは、前記画像信号のデータ要素が前記所定の搬送アイテムの一部を含むかどうかを判定するために前記ニューラルネットワークのトレーニング結果を用いる、及び／又は、ｂ）前記教師なし学習アルゴリズムは、前記決定された少なくとも１つのパラメータが少なくとも１つの予めトレーニングされたパラメータ範囲内にあると判定された場合に、前記供給されたデータ要素が前記所定の搬送アイテムの一部を含むと判定される、請求項９記載の方法。
【請求項11】
ａ）前記教師なし学習アルゴリズムは、前記所定の搬送アイテムの少なくとも一部を取り囲む境界ボックスを出力として出力するように構成されている、及び／又は、ｂ）前記教師なし学習アルゴリズムは、前記所定の搬送アイテムの一部が前記監視領域内に配置されていると判定された場合に境界ボックスを生成する、
請求項１０に記載の方法。
【請求項12】
ａ）前記画像を生成するためのキャプチャ時間が決定され、及び／又は、ｂ）前記画像を生成するためのキャプチャ時間が決定され、該キャプチャ時間は、前記他の人工ニューラルネットワークが、前記物体の少なくとも一部は前記監視領域内に配置されていると判定した判定時間から所定の時間オフセットされ、及び／又は、
ｃ）キャプチャ時間は、前記人工ニューラルネットワークが、前記物体は前記監視領域内に配置されていると判定した判定時間から所定の時間オフセットされ、該所定の時間は、前記キャプチャ時間に前記物体の全体が前記監視領域内に配置されているように選択される、
請求項１に記載の方法。
【請求項13】
生成された前記画像に基づいて搬送アイテム品質が評価される、請求項１に記載の方法。
【請求項14】
ａ）前記他のニューラルネットワークは別の畳み込みニューラルネットワークを有する、又は、ｂ）前記他のニューラルネットワークは、前記畳み込みニューラルネットワークよりも層の数が少ない別の畳み込みニューラルネットワークを有する、
請求項１に記載の方法。
【請求項15】
前記他のニューラルネットワークの意思決定層は別の教師なし学習アルゴリズムを有する、請求項１に記載の方法。
【請求項16】
ａ）前記他の教師なし学習アルゴリズムは、前記画像信号のデータ要素が前記物体の一部を含むかどうかを判定するために、前記他のニューラルネットワークのトレーニング結果を用いる、及び／又は、ｂ）前記他の教師なし学習アルゴリズムは、前記画像信号に基づいて他のパラメータを決定し、前記他の教師なし学習アルゴリズムは、該他のパラメータに応じて、前記物体の少なくとも一部が前記監視領域内に配置されているかどうかを判定する、
請求項１５に記載の方法。
【請求項17】
ａ）前記ニューラルネットワークのトレーニングは第１のトレーニング段階と、とりわけ該第１のトレーニング段階に続く第２のトレーニング段階とを有し、及び／又は、ｂ）前記ニューラルネットワークのトレーニングは第１のトレーニング段階と、とりわけ該第１のトレーニング段階に続く第２のトレーニング段階とを有し、該第２のトレーニング段階における前記ニューラルネットワークのトレーニングは、該第１のトレーニング段階でトレーニングされた前記ニューラルネットワークを用いて行われる、
請求項１に記載の方法。
【請求項18】
前記第１のトレーニング段階において、ａ）トレーニングすべき前記ニューラルネットワークは別の意思決定層を有する、及び／又は、
ｂ）トレーニングすべき前記ニューラルネットワークの意思決定層は教師なし学習アルゴリズムを有さない、
請求項１７に記載の方法。
【請求項19】
ａ）前記第１のトレーニング段階においてトレーニングすべき前記ニューラルネットワークに供給されるトレーニング画像の数は、前記第２のトレーニング段階においてトレーニングすべき前記ニューラルネットワークに供給される画像の数よりも多い、及び／又はｂ）前記第１のトレーニング段階においてトレーニングすべき前記ニューラルネットワークに供給される画像はラベル付けされ、及び／又は
ｃ）前記第１のトレーニング段階においてトレーニングすべき前記ニューラルネットワークに供給される画像は前記所定の搬送アイテムを含む、請求項１８に記載の方法。
【請求項20】
ａ）前記第２のトレーニング段階においてトレーニングすべき前記ニューラルネットワークの意思決定層は前記教師なし学習アルゴリズムを有し、及び／又はｂ）前記第２のトレーニング段階において、ラベル付けされていないトレーニング画像が前記ニューラルネットワークに供給され、及び／又は、
ｃ）前記第２のトレーニング段階において、トレーニングすべき前記ニューラルネットワークには、前記所定の搬送アイテムを含むトレーニング画像及び／又は前記所定の搬送アイテムを含まないトレーニング画像が供給される、請求項１９に記載の方法。
【請求項21】
前記意思決定層、とりわけ少なくとも１つのニューロンに供給されるトレーニング画像のトレーニングデータ要素について、少なくとも１つのパラメータ、とりわけ２つのパラメータが決定される、請求項２０に記載の方法。
【請求項22】
トレーニング画像のトレーニングデータ要素に含まれる画像情報の、とりわけ正規分布の分散及び／又は期待値が決定される、請求項２１に記載の方法。
【請求項23】
前記第２のトレーニング段階において供給される前記トレーニング画像について、少なくとも１つのトレーニングデータ要素が前記少なくとも１つの所定の搬送アイテムの一部を有する、前記決定された少なくとも１つのパラメータを考慮して少なくとも１つのパラメータ範囲が決定される、請求項２２に記載の方法。
【請求項24】
前記他のニューラルネットワークをトレーニングするために、異なる物体を含む及び／又は前記所定の搬送アイテムとは異なる物体を含むトレーニング画像が供給される、請求項２３に記載の方法。
【請求項25】
前記他のニューラルネットワークの意思決定層に供給されるトレーニング画像について、前記トレーニング画像が前記所定の搬送アイテムの少なくとも一部を有するかどうかを特徴づける少なくとも１つの他のパラメータが決定される、請求項２４に記載の方法。
【請求項26】
請求項１乃至２５のいずれか一項に記載の方法を行うコンピューティング装置。
【請求項27】
少なくとも１つの所定の搬送アイテムが監視領域内に配置されているかどうかを判定するコンピューティング装置であって、人工ニューラルネットワークを有する搬送アイテム認識モジュールと、他の人工ニューラルネットワークを有し、該搬送アイテム認識モジュールの上流に接続されるフィルタモジュールとを有し、
当該コンピューティング装置は、前記フィルタモジュールの他の人工ニューラルネットワークが、画像信号に基づいて前記監視領域内に物体の少なくとも一部が配置されているかどうかを判定することであって、前記他のニューラルネットワークが、前記物体の少なくとも一部が前記監視領域内に配置されていると判定した場合に、前記画像信号が前記搬送アイテム認識モジュールのニューラルネットワークに供給される、ことを行い、前記人工ニューラルネットワークが、前記画像信号に基づいて、前記物体の判定された少なくとも一部が、前記少なくとも１つの所定の搬送アイテムの少なくとも一部に対応するかどうかを判定することを行う、ように構成され、
当該コンピューティング装置は、前記人工ニューラルネットワークが、前記少なくとも１つの所定の搬送アイテムの少なくとも一部が前記監視領域内に配置されていると判定した場合に、前記監視領域の画像を生成させる、コンピューティング装置。
【請求項28】
監視領域に由来する画像信号を取得する画像取得装置と、データ伝送の点で該画像取得装置に接続され、取得された前記画像信号が供給される、請求項２７に記載のコンピューティング装置と、を有する装置。
【請求項29】
前記画像取得装置は、前記コンピューティング装置によって出力されたキャプチャ信号を受信した後に前記画像を取得する、請求項２８に記載の装置。
【請求項30】
命令を含み、プログラムが、コンピューティング装置によって実行された場合、請求項１乃至２５のいずれか一項に記載の方法を実行させる、コンピュータプログラム製品。
【請求項31】
請求項３０に記載のコンピュータプログラム製品が記憶されるデータキャリア又は請求項３０に記載のコンピュータプログラム製品を伝送するデータキャリア信号。
【国際調査報告】