知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024108118
(43)【公開日】2024-08-09
(54)【発明の名称】ニューラルネットワークを適応させる方法
(51)【国際特許分類】
G06V 10/82 20220101AFI20240802BHJP
G06V 10/40 20220101ALI20240802BHJP
G06T 7/00 20170101ALI20240802BHJP
G06F 18/213 20230101ALI20240802BHJP
G06N 3/0464 20230101ALI20240802BHJP
B25J 13/00 20060101ALI20240802BHJP
【ＦＩ】
G06V10/82
G06V10/40
G06T7/00 350C
G06F18/213
G06N3/0464
B25J13/00 Z
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023205165
(22)【出願日】2023-12-05
(31)【優先権主張番号】18/161,305
(32)【優先日】2023-01-30
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】390008235
【氏名又は名称】ファナック株式会社
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100112357
【弁理士】
【氏名又は名称】廣瀬 繁樹
(74)【代理人】
【識別番号】100130133
【弁理士】
【氏名又は名称】曽根 太樹
(72)【発明者】
【氏名】トー タン
(72)【発明者】
【氏名】加藤 哲朗
【テーマコード（参考）】
3C707
5L096
【Ｆターム（参考）】
3C707AS02
3C707BS10
3C707DS01
3C707KS01
3C707KS36
3C707KT01
3C707KT03
3C707KT06
3C707KT11
3C707LW12
3C707LW15
3C707MT10
3C707NS02
5L096AA02
5L096BA05
5L096FA02
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
【課題】画像内の環境に依存しない特徴のみを識別するように特徴抽出ニューラルネットワークを適応させるシステム及び方法を提供する。
【解決手段】方法は、訓練特徴画像が訓練画像によるものであって、テスト特徴画像がテスト画像によるものであることをデータセット分類器ニューラルネットワークが識別する能力の精度を改善するように、データセット分類器ニューラルネットワーク内の重みを修正することを含む。方法はまた、訓練特徴画像が訓練画像によるものであって、テスト特徴画像がテスト画像によるものであることをデータセット分類器ニューラルネットワークが識別する能力の精度を低減するように、特徴抽出ニューラルネットワーク内の重みを修正することを含む。
【選択図】図４
【解決手段】方法は、訓練特徴画像が訓練画像によるものであって、テスト特徴画像がテスト画像によるものであることをデータセット分類器ニューラルネットワークが識別する能力の精度を改善するように、データセット分類器ニューラルネットワーク内の重みを修正することを含む。方法はまた、訓練特徴画像が訓練画像によるものであって、テスト特徴画像がテスト画像によるものであることをデータセット分類器ニューラルネットワークが識別する能力の精度を低減するように、特徴抽出ニューラルネットワーク内の重みを修正することを含む。
【選択図】図４
【特許請求の範囲】
【請求項1】
特徴抽出ニューラルネットワークを適応させるシステムであって、前記システムは、
少なくとも１つのプロセッサ、並びにデータ及び実行可能コードを記憶するメモリデバイスを含むコンピュータを備え、前記実行可能コードは、実行されると前記少なくとも１つのプロセッサに対して、
２次元の赤緑青（ＲＧＢ）訓練画像を使用して前記特徴抽出ニューラルネットワークを訓練することと、
訓練される前記特徴抽出ニューラルネットワークに前記訓練画像を提供することによって訓練特徴画像を生成することと、
前記訓練特徴画像が前記訓練画像によるものであるという識別子と共に、前記訓練特徴画像をデータセット分類器ニューラルネットワークに提供することと、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを観察することと、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークが識別する能力の精度を改善するように、前記データセット分類器ニューラルネットワーク内の重みを修正することと、
訓練される前記特徴抽出ニューラルネットワークにテスト画像を提供することによってテスト特徴画像を生成することであって、前記テスト画像は、前記訓練画像内の環境に依存する特徴とは異なる環境に依存する特徴と、前記訓練画像内の環境に依存しない特徴と同じであるか又は同様である環境に依存しない特徴と、を含む、ということと、
前記テスト特徴画像が前記テスト画像によるものであるという識別子と共に、前記テスト特徴画像を前記データセット分類器ニューラルネットワークに提供することと、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを観察することと、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を改善するように、前記データセット分類器ニューラルネットワーク内の前記重みを修正することと、
を行わせる、システム。
少なくとも１つのプロセッサ、並びにデータ及び実行可能コードを記憶するメモリデバイスを含むコンピュータを備え、前記実行可能コードは、実行されると前記少なくとも１つのプロセッサに対して、
２次元の赤緑青（ＲＧＢ）訓練画像を使用して前記特徴抽出ニューラルネットワークを訓練することと、
訓練される前記特徴抽出ニューラルネットワークに前記訓練画像を提供することによって訓練特徴画像を生成することと、
前記訓練特徴画像が前記訓練画像によるものであるという識別子と共に、前記訓練特徴画像をデータセット分類器ニューラルネットワークに提供することと、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを観察することと、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークが識別する能力の精度を改善するように、前記データセット分類器ニューラルネットワーク内の重みを修正することと、
訓練される前記特徴抽出ニューラルネットワークにテスト画像を提供することによってテスト特徴画像を生成することであって、前記テスト画像は、前記訓練画像内の環境に依存する特徴とは異なる環境に依存する特徴と、前記訓練画像内の環境に依存しない特徴と同じであるか又は同様である環境に依存しない特徴と、を含む、ということと、
前記テスト特徴画像が前記テスト画像によるものであるという識別子と共に、前記テスト特徴画像を前記データセット分類器ニューラルネットワークに提供することと、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを観察することと、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を改善するように、前記データセット分類器ニューラルネットワーク内の前記重みを修正することと、
を行わせる、システム。
【請求項2】
前記少なくとも１つのプロセッサは、
訓練される前記特徴抽出ニューラルネットワークに前記訓練画像を提供することによって訓練特徴画像を再び生成し、
前記訓練特徴画像が前記訓練画像によるものであるという前記識別子を伴うことなく、前記訓練特徴画像を前記データセット分類器ニューラルネットワークに再び提供し、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを再び観察し、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を低減するように、前記特徴抽出ニューラルネットワーク内の前記重みを修正し、
訓練される前記特徴抽出ニューラルネットワークに前記テスト画像を提供することによってテスト特徴画像を再び生成し、
前記テスト特徴画像が前記テスト画像によるものであるという前記識別子を伴うことなく、前記テスト特徴画像を前記データセット分類器ニューラルネットワークに再び提供し、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを再び観察し、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を低減するように、前記特徴抽出ニューラルネットワーク内の前記重みを修正する、請求項１に記載のシステム。
訓練される前記特徴抽出ニューラルネットワークに前記訓練画像を提供することによって訓練特徴画像を再び生成し、
前記訓練特徴画像が前記訓練画像によるものであるという前記識別子を伴うことなく、前記訓練特徴画像を前記データセット分類器ニューラルネットワークに再び提供し、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを再び観察し、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を低減するように、前記特徴抽出ニューラルネットワーク内の前記重みを修正し、
訓練される前記特徴抽出ニューラルネットワークに前記テスト画像を提供することによってテスト特徴画像を再び生成し、
前記テスト特徴画像が前記テスト画像によるものであるという前記識別子を伴うことなく、前記テスト特徴画像を前記データセット分類器ニューラルネットワークに再び提供し、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを再び観察し、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を低減するように、前記特徴抽出ニューラルネットワーク内の前記重みを修正する、請求項１に記載のシステム。
【請求項3】
前記データセット分類器ニューラルネットワーク内の前記重みの修正、及び前記特徴抽出ニューラルネットワーク内の前記重みの修正は、交互の順序で繰り返される、請求項２に記載のシステム。
【請求項4】
前記訓練特徴画像が前記訓練画像によるものであって、前記テスト特徴画像が前記テスト画像によるものであったことを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を低減することは、前記訓練特徴画像及び前記テスト特徴画像内の環境に依存しない特徴のみを提供することを含む、請求項２に記載のシステム。
【請求項5】
前記特徴抽出ニューラルネットワークは、物体のセグメンテーション画像を生成するニューラルネットワーク画像分割システムの一部である、請求項１に記載のシステム。
【請求項6】
前記画像分割システムは、前記物体を取り出すロボットを有するロボットシステムの一部である、請求項５に記載のシステム。
【請求項7】
前記物体は、パレット上に位置する箱である、請求項６に記載のシステム。
【請求項8】
前記テスト画像は、前記ロボットシステムが使用される開発環境から提供される、請求項６に記載のシステム。
【請求項9】
前記特徴抽出ニューラルネットワーク及び前記データセット分類器ニューラルネットワークは、深層学習マスクＲ－ＣＮＮ（畳み込みニューラルネットワーク）である、請求項１に記載のシステム。
【請求項10】
特徴抽出ニューラルネットワークを適応させる方法であって、
２次元の赤緑青（ＲＧＢ）訓練画像を使用して前記特徴抽出ニューラルネットワークを訓練することと、
訓練される前記特徴抽出ニューラルネットワークに前記訓練画像を提供することによって訓練特徴画像を生成することと、
前記訓練特徴画像が前記訓練画像によるものであるという識別子と共に、前記訓練特徴画像をデータセット分類器ニューラルネットワークに提供することと、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを観察することと、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークが識別する能力の精度を改善するように、前記データセット分類器ニューラルネットワーク内の重みを修正することと、
訓練される前記特徴抽出ニューラルネットワークにテスト画像を提供することによってテスト特徴画像を生成することであって、前記テスト画像は、前記訓練画像内の環境に依存する特徴とは異なる環境に依存する特徴と、前記訓練画像内の環境に依存しない特徴と同じであるか又は同様である環境に依存しない特徴と、を含む、ということと、
前記テスト特徴画像が前記テスト画像によるものであるという識別子と共に、前記テスト特徴画像を前記データセット分類器ニューラルネットワークに提供することと、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを観察することと、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を改善するように、前記データセット分類器ニューラルネットワーク内の前記重みを修正することと、
を含む、方法。
２次元の赤緑青（ＲＧＢ）訓練画像を使用して前記特徴抽出ニューラルネットワークを訓練することと、
訓練される前記特徴抽出ニューラルネットワークに前記訓練画像を提供することによって訓練特徴画像を生成することと、
前記訓練特徴画像が前記訓練画像によるものであるという識別子と共に、前記訓練特徴画像をデータセット分類器ニューラルネットワークに提供することと、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを観察することと、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークが識別する能力の精度を改善するように、前記データセット分類器ニューラルネットワーク内の重みを修正することと、
訓練される前記特徴抽出ニューラルネットワークにテスト画像を提供することによってテスト特徴画像を生成することであって、前記テスト画像は、前記訓練画像内の環境に依存する特徴とは異なる環境に依存する特徴と、前記訓練画像内の環境に依存しない特徴と同じであるか又は同様である環境に依存しない特徴と、を含む、ということと、
前記テスト特徴画像が前記テスト画像によるものであるという識別子と共に、前記テスト特徴画像を前記データセット分類器ニューラルネットワークに提供することと、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを観察することと、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を改善するように、前記データセット分類器ニューラルネットワーク内の前記重みを修正することと、
を含む、方法。
【請求項11】
訓練される前記特徴抽出ニューラルネットワークに前記訓練画像を提供することによって訓練特徴画像を再び生成することと、
前記訓練特徴画像が前記訓練画像によるものであるという前記識別子を伴うことなく、前記訓練特徴画像を前記データセット分類器ニューラルネットワークに再び提供することと、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを再び観察することと、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を低減するように、前記特徴抽出ニューラルネットワーク内の前記重みを修正することと、
訓練される前記特徴抽出ニューラルネットワークに前記テスト画像を提供することによってテスト特徴画像を再び生成することと、
前記テスト特徴画像が前記テスト画像によるものであるという前記識別子を伴うことなく、前記テスト特徴画像を前記データセット分類器ニューラルネットワークに再び提供することと、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを再び観察することと、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を低減するように、前記特徴抽出ニューラルネットワーク内の前記重みを修正することと、
を更に含む、請求項１０に記載の方法。
前記訓練特徴画像が前記訓練画像によるものであるという前記識別子を伴うことなく、前記訓練特徴画像を前記データセット分類器ニューラルネットワークに再び提供することと、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを再び観察することと、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を低減するように、前記特徴抽出ニューラルネットワーク内の前記重みを修正することと、
訓練される前記特徴抽出ニューラルネットワークに前記テスト画像を提供することによってテスト特徴画像を再び生成することと、
前記テスト特徴画像が前記テスト画像によるものであるという前記識別子を伴うことなく、前記テスト特徴画像を前記データセット分類器ニューラルネットワークに再び提供することと、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを再び観察することと、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を低減するように、前記特徴抽出ニューラルネットワーク内の前記重みを修正することと、
を更に含む、請求項１０に記載の方法。
【請求項12】
前記データセット分類器ニューラルネットワーク内の前記重みの修正、及び前記特徴抽出ニューラルネットワーク内の前記重みの修正は、交互の順序で繰り返される、請求項１１に記載の方法。
【請求項13】
前記訓練特徴画像が前記訓練画像によるものであって、前記テスト特徴画像が前記テスト画像によるものであったことを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を低減することは、前記訓練特徴画像及び前記テスト特徴画像内の環境に依存しない特徴のみを提供することを含む、請求項１１に記載の方法。
【請求項14】
前記特徴抽出ニューラルネットワークは、物体のセグメンテーション画像を生成するニューラルネットワーク画像分割システムの一部である、請求項１０に記載の方法。
【請求項15】
前記画像分割システムは、前記物体を取り出すロボットを有するロボットシステムの一部である、請求項１４に記載の方法。
【請求項16】
前記物体は、パレット上に位置する箱である、請求項１５に記載の方法。
【請求項17】
前記テスト画像は、前記ロボットシステムが使用される開発環境から提供される、請求項１５に記載の方法。
【請求項18】
前記特徴抽出ニューラルネットワーク及び前記データセット分類器ニューラルネットワークは、深層学習マスクＲ－ＣＮＮ（畳み込みニューラルネットワーク）である、請求項１０に記載の方法。
【請求項19】
物体のセグメンテーション画像を生成するニューラルネットワーク画像分割システムの一部である特徴抽出ニューラルネットワークを適応させる方法であって、前記画像分割システムは、前記物体を取り出すロボットを有するロボットシステムの一部であって、前記方法は、
２次元の赤緑青（ＲＧＢ）訓練画像を使用して前記特徴抽出ニューラルネットワークを訓練することと、
訓練される前記特徴抽出ニューラルネットワークに前記訓練画像を提供することによって訓練特徴画像を生成することと、
前記訓練特徴画像が前記訓練画像によるものであるという識別子と共に、前記訓練特徴画像をデータセット分類器ニューラルネットワークに提供することと、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを観察することと、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークが識別する能力の精度を改善するように、前記データセット分類器ニューラルネットワーク内の重みを修正することと、
訓練される前記特徴抽出ニューラルネットワークにテスト画像を提供することによってテスト特徴画像を生成することであって、前記テスト画像は、前記訓練画像内の環境に依存する特徴とは異なる環境に依存する特徴と、前記訓練画像内の環境に依存しない特徴と同じであるか又は同様である環境に依存しない特徴と、を含む、ということと、
前記テスト特徴画像が前記テスト画像によるものであるという識別子と共に、前記テスト特徴画像を前記データセット分類器ニューラルネットワークに提供することと、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを観察することと、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を改善するように、前記データセット分類器ニューラルネットワーク内の前記重みを修正することと、
訓練される前記特徴抽出ニューラルネットワークに前記訓練画像を提供することによって訓練特徴画像を再び生成することと、
前記訓練特徴画像が前記訓練画像によるものであるという前記識別子を伴うことなく、前記訓練特徴画像を前記データセット分類器ニューラルネットワークに再び提供することと、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを再び観察することと、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を低減するように、前記特徴抽出ニューラルネットワーク内の前記重みを修正することと、
訓練される前記特徴抽出ニューラルネットワークに前記テスト画像を提供することによってテスト特徴画像を再び生成することと、
前記テスト特徴画像が前記テスト画像によるものであるという前記識別子を伴うことなく、前記テスト特徴画像を前記データセット分類器ニューラルネットワークに再び提供することと、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを再び観察することと、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を低減するように、前記特徴抽出ニューラルネットワーク内の前記重みを修正することと、
を含む、方法。
２次元の赤緑青（ＲＧＢ）訓練画像を使用して前記特徴抽出ニューラルネットワークを訓練することと、
訓練される前記特徴抽出ニューラルネットワークに前記訓練画像を提供することによって訓練特徴画像を生成することと、
前記訓練特徴画像が前記訓練画像によるものであるという識別子と共に、前記訓練特徴画像をデータセット分類器ニューラルネットワークに提供することと、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを観察することと、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークが識別する能力の精度を改善するように、前記データセット分類器ニューラルネットワーク内の重みを修正することと、
訓練される前記特徴抽出ニューラルネットワークにテスト画像を提供することによってテスト特徴画像を生成することであって、前記テスト画像は、前記訓練画像内の環境に依存する特徴とは異なる環境に依存する特徴と、前記訓練画像内の環境に依存しない特徴と同じであるか又は同様である環境に依存しない特徴と、を含む、ということと、
前記テスト特徴画像が前記テスト画像によるものであるという識別子と共に、前記テスト特徴画像を前記データセット分類器ニューラルネットワークに提供することと、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを観察することと、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を改善するように、前記データセット分類器ニューラルネットワーク内の前記重みを修正することと、
訓練される前記特徴抽出ニューラルネットワークに前記訓練画像を提供することによって訓練特徴画像を再び生成することと、
前記訓練特徴画像が前記訓練画像によるものであるという前記識別子を伴うことなく、前記訓練特徴画像を前記データセット分類器ニューラルネットワークに再び提供することと、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを再び観察することと、
前記訓練特徴画像が前記訓練画像によるものであることを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を低減するように、前記特徴抽出ニューラルネットワーク内の前記重みを修正することと、
訓練される前記特徴抽出ニューラルネットワークに前記テスト画像を提供することによってテスト特徴画像を再び生成することと、
前記テスト特徴画像が前記テスト画像によるものであるという前記識別子を伴うことなく、前記テスト特徴画像を前記データセット分類器ニューラルネットワークに再び提供することと、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークがどれほどの精度で識別したかを再び観察することと、
前記テスト特徴画像が前記テスト画像によるものであることを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を低減するように、前記特徴抽出ニューラルネットワーク内の前記重みを修正することと、
を含む、方法。
【請求項20】
前記訓練特徴画像が前記訓練画像によるものであって、前記テスト特徴画像が前記テスト画像によるものであったことを前記データセット分類器ニューラルネットワークが識別する前記能力の精度を低減することは、前記訓練特徴画像及び前記テスト特徴画像内の環境に依存しない特徴のみを提供することを含む、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、画像内の環境に依存しない特徴のみを識別するように特徴抽出ニューラルネットワークを適応させるシステム及び方法に関し、より具体的には、画像内の環境に依存しない特徴のみを識別するように特徴抽出ニューラルネットワークを適応させ、特徴抽出ニューラルネットワークは、ロボットによって取り出される箱を識別する画像分割システムにおいて提供される、システム及び方法に関する。
【背景技術】
【0002】
関連技術の説明
ロボットは、ピックアンドプレース操作を含む多数の商用作業を行い、当該ピックアンドプレース操作では、ロボットは、ある場所から別の場所へ物体を取り出して移動させる。例えば、ロボットは、パレットから箱を取り出して、当該箱をコンベヤベルト上に配置する場合があって、ここで、ロボットは、箱を保持するために吸盤を有するエンドエフェクタを採用することが多い。ロボットが効果的に箱を取り出すために、ロボットは、取り出す箱の幅、長さ、及び高さを認識する必要があり、当該幅、長さ、及び高さは、ピックアンドプレース操作の前にロボット制御装置に入力される。しかしながら、多くの場合には、同じパレット上にある箱のサイズは異なっており、それにより、ピックアンドプレース操作中に箱のサイズをロボットに入力するのが非効率となる。箱はまた、同じ高さに並べて配置される場合があって、ここで、当該箱が別々の箱であるか、又は単一の大きい箱であるかを区別するのは困難である。現在、ロボットシステムは、リアルタイムで取り出す箱のサイズを決定できない。
ロボットは、ピックアンドプレース操作を含む多数の商用作業を行い、当該ピックアンドプレース操作では、ロボットは、ある場所から別の場所へ物体を取り出して移動させる。例えば、ロボットは、パレットから箱を取り出して、当該箱をコンベヤベルト上に配置する場合があって、ここで、ロボットは、箱を保持するために吸盤を有するエンドエフェクタを採用することが多い。ロボットが効果的に箱を取り出すために、ロボットは、取り出す箱の幅、長さ、及び高さを認識する必要があり、当該幅、長さ、及び高さは、ピックアンドプレース操作の前にロボット制御装置に入力される。しかしながら、多くの場合には、同じパレット上にある箱のサイズは異なっており、それにより、ピックアンドプレース操作中に箱のサイズをロボットに入力するのが非効率となる。箱はまた、同じ高さに並べて配置される場合があって、ここで、当該箱が別々の箱であるか、又は単一の大きい箱であるかを区別するのは困難である。現在、ロボットシステムは、リアルタイムで取り出す箱のサイズを決定できない。
【0003】
２０２０年９月９日に出願され、本出願の譲受人に譲渡され、その内容を参照により本明細書に援用される、Mix－Size Depalletizing（混合サイズデパレタイジング）と題するＴｅ Ｔａｎｇらによる米国特許出願公開第２０２２／００７２７１２号明細書は、箱の積み重ねからロボットによって取り出される箱を識別するシステム及び方法を開示している。方法は、３Ｄカメラを使用して、箱の２Ｄ（２次元）の赤緑青（ＲＧＢ）カラー画像及び箱の２Ｄ距離画像を取得することを含み、ここで、距離画像内の画素には、カメラから箱までの距離を識別する値が割り当てられる。方法は、訓練される特徴抽出ニューラルネットワークを使用してＲＧＢ画像及び距離画像から特徴を抽出する画像分割（セグメンテーション）プロセスを行うことによって箱のセグメンテーション画像を生成し、画像内の抽出特徴を組み合わせ、セグメンテーション画像内の各箱が同じラベルを有するように、特徴画像内の画素にラベルを割り当てる。次いで、方法は、セグメンテーション画像を使用して、箱を取り出す場所を識別する。
【0004】
７１２号出願で使用される画像分割プロセスは、深層学習技術を採用する。深層学習は、特定の現実世界の環境を、増大する複雑な概念の階層として表すことによって、より優れた学習性能を提供する特定のタイプの機械学習である。深層学習は通常、非線形処理を行ういくつかの層のニューラルネットワークを備えるソフトウェア構造を採用し、ここで、連続する各層は、前の層からの出力を受け取る。概して、当該層は、センサから生データを受け取る入力層と、データから抽象的な特徴を抽出する多数の隠れ層と、隠れ層からの特徴抽出に基づいて特定の事柄を識別する出力層と、を含む。ニューラルネットワークは、ある事が正しいかどうかの確率を得るためにノードへの入力が乗算される「重み」を各々有するニューロン又はノードを含む。より具体的には、ノードの各々は、入力の何らかの割合である当該ノードの出力を生成するためにノードへの入力が乗算される浮動小数点数である重みを有する。重みは、教師あり処理の下、一式の既知のデータをニューラルネットワークに分析させることによって、且つ正しい出力の最高の確率をネットワークが得ることができるようにコスト関数を最小化することにより、最初に「訓練される」か、又は設定される。深層学習ニューラルネットワークは多くの場合に、画像内の物体の視覚的な検出及び分類のために画像特徴抽出及び変換を提供するように採用され、ここで、動画又は画像のストリームは、物体を識別及び分類し、物体をより充分に認識するためのプロセスを通じて学習するために、ネットワークによって分析され得る。したがって、当該タイプのネットワークでは、システムは、同じ処理構成を使用して、特定の物体を検出し、どのようにアルゴリズムが物体を認識できるようになったかに基づいて、異なるように当該特定の物体を分類し得る。
【0005】
７１２号出願に開示されるタイプの特徴抽出ニューラルネットワークは、一旦訓練されると、本明細書で開発環境と称される現実世界の用途で使用する準備が整っている。特定の開発環境について、ロボットシステムは、識別及び取り出す予定の特定の物体のテスト画像を使用してテストされる。しかしながら、開発環境で取り出される物体を識別するロボット能力のテスト中に使用されるテスト画像は、ロボットシステムにおいてニューラルネットワークの訓練中に使用される訓練画像と著しく異なっている場合があるため、ロボットシステムの性能は不充分となる。例えば、ニューラルネットワークは、パレットから箱を取り出すロボットシステムにおいて採用される場合に、パレット上に位置する箱の多数の訓練画像を使用して訓練されており、ここで、画像内の箱のサイズ及び場所は既知である。ロボットシステムが特定の開発環境で提供される場合に、取り出される箱は、訓練画像内の箱と比べて、例えば、サイズ、形状、テクスチャなどにおいて大きく異なっている場合があるため、開発環境について箱を識別するロボットシステムの能力は、満足のいくものではない場合がある。更に、開発環境自体は、訓練環境と異なっている場合があって、ここで、例えば、照明、環境内の物体の光の反射、影、カメラの視野角、背景の特徴などの差も、テスト画像を識別するロボットシステムの能力を低減し得る。
【発明の概要】
【0006】
以下の説明は、画像内の環境に依存しない特徴のみを識別するように特徴抽出ニューラルネットワークを適応させるシステム及び方法を開示及び記載する。方法は、２次元のＲＧＢ訓練画像を使用して特徴抽出ニューラルネットワークを訓練することと、訓練される特徴抽出ニューラルネットワークに訓練画像を提供することによって訓練特徴画像を生成することと、訓練特徴画像が訓練画像によるものであるという識別子と共に、訓練特徴画像をデータセット分類器ニューラルネットワークに提供することと、訓練特徴画像が訓練画像によるものであることをデータセット分類器ニューラルネットワークがどれほどの精度で識別したかを観察することと、訓練特徴画像が訓練画像によるものであったことをデータセット分類器ニューラルネットワークが識別する能力の精度を改善するように、データセット分類器ニューラルネットワーク内の重みを修正することと、を含む。方法はまた、訓練される特徴抽出ニューラルネットワークにテスト画像を提供することによってテスト特徴画像を生成することであって、テスト画像は、訓練画像内の環境に依存する特徴とは異なる、環境に依存する特徴と、訓練画像内の環境に依存しない特徴と同じであるか又は同様である、環境に依存しない特徴と、を含む、ということと、テスト特徴画像がテスト画像によるものであるという識別子と共に、テスト特徴画像をデータセット分類器ニューラルネットワークに提供することと、テスト特徴画像がテスト画像によるものであることをデータセット分類器ニューラルネットワークがどれほどの精度で識別したかを観察することと、テスト特徴画像がテスト画像によるものであることをデータセット分類器ニューラルネットワークが識別する能力の精度を改善するように、データセット分類器ニューラルネットワーク内の重みを修正することと、を含む。方法は、訓練される特徴抽出ニューラルネットワークに訓練画像を提供することによって訓練特徴画像を再び生成することと、訓練特徴画像が訓練画像によるものであるという識別子を伴うことなく、訓練特徴画像をデータセット分類器ニューラルネットワークに再び提供することと、訓練特徴画像が訓練画像によるものであることをデータセット分類器ニューラルネットワークがどれほどの精度で識別したかを再び観察することと、訓練特徴画像が訓練画像によるものであったことをデータセット分類器ニューラルネットワークが識別する能力の精度を低減するように、特徴抽出ニューラルネットワーク内の重みを修正することと、を更に含む。方法はまた、訓練される特徴抽出ニューラルネットワークにテスト画像を提供することによってテスト特徴画像を再び生成することと、テスト特徴画像がテスト画像によるものであるという識別子を伴うことなく、テスト特徴画像をデータセット分類器ニューラルネットワークに再び提供することと、テスト特徴画像がテスト画像によるものであることをデータセット分類器ニューラルネットワークがどれほどの精度で識別したかを再び観察することと、テスト特徴画像がテスト画像によるものであったことをデータセット分類器ニューラルネットワークが識別する能力の精度を低減するように、特徴抽出ニューラルネットワーク内の重みを修正することと、を含む。
【0007】
本開示の追加の特徴は、添付の図面と併せて、以下の説明及び付属する特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
画像内の環境に依存しない特徴のみを識別するように特徴抽出ニューラルネットワークを適応させるシステム及び方法を対象とする本開示の実施形態の以下の説明は、本質的に単なる例示であって、本開示又はその用途若しくは使用を限定することを全く意図していない。例えば、当該システム及び方法は、ロボットによって取り出される箱を識別するために使用されるニューラルネットワークを訓練する用途を有する。しかしながら、当該システム及び方法は、他の用途を有するであろう。
【0010】
図１は、パレット２０上に位置する段ボール箱１６の積み重ね１８から箱１６を取り出して、箱１６をコンベヤベルト２２上に配置するように構成されたエンドエフェクタ１４を有するロボット１２を含むロボットシステム１０の実例である。システム１０は、本明細書の説明から利することができる任意のタイプのロボットシステムを表すことを意図したものであって、ロボット１２は、その目的に好適な任意のロボットであり得る。３Ｄカメラ２４は、箱１６の積み重ね１８の２Ｄ（２次元）上面ＲＢＧ画像及び距離画像を撮影し、且つロボット１２の移動を制御するロボット制御装置２６に当該画像を提供するように位置している。箱１６は、パレット２０上で異なる向きを有していてもよく、パレット２０上で複数の層に積み重ねられていてもよく、異なるサイズを有していてもよい。
【0011】
図２は、７１２号出願に開示されるタイプのニューラルネットワーク訓練データセットモジュール３０の概略ブロック図であって、ニューラルネットワーク訓練データセットモジュール３０は、取り出される箱１６をロボット１２が識別できるように、画像分割（セグメンテーション）を行うニューラルネットワークを訓練する。様々なＲＧＢ訓練画像３２は、画像３２から特徴を抽出するフィルタリングプロセスを行うニューラルネットワーク特徴抽出モジュール３４に提供される。例えば、モジュール３４は、勾配エッジ、輪郭、基本形状などを画像３２から抽出して、訓練画像３２の抽出特徴画像３６を提供する学習ベースのニューラルネットワークを含み得る。画像３６は、領域提案モジュール４０に提供され、領域提案モジュール４０は、ニューラルネットワークを使用して、訓練画像３２内で識別される特徴を分析し、画像３６内の箱１６の場所を決定する。特に、モジュール４０は、様々なサイズの多数のバウンディングボックス、例えば、５０個～１００個の候補ボックス、すなわち、様々な長さ及び幅を有するボックスを提供するニューラルネットワークを含み、当該ボックスは、段ボール箱１６が画像３６内の特定の場所に存在する確率を識別するために使用される。領域提案モジュール４０は、当業者に周知であるスライディングサーチウィンドウテンプレートを採用し、ここで、箱１６のうちの１つの考えられる存在を識別する特徴を探すために、全てのバウンディングボックスを含むサーチウィンドウを特徴画像３６上で、例えば、画像３６の左上から画像３６の右下へ移動させる。
【0012】
スライディングウィンドウサーチは、多数のバウンディングボックス４６を含むバウンディングボックス画像４４を生成し、バウンディングボックス４６の各々は、画像３６内で予測される箱を取り囲む。モジュール４０は、各ボックス４６の中心位置（ｘ，ｙ）、幅（ｗ）、及び高さ（ｈ）をパラメータ化し、箱１６がボックス４６内に存在する０％と１００％との間の予測信頼値を提供する。画像４４は、バイナリ分類分割モジュール４８に提供され、バイナリ分類分割モジュール４８は、ニューラルネットワークを使用して、バウンディングボックス４６の各々において画素が箱１６に属するかどうかを推定し、箱１６の一部ではないボックス４６内の背景画素を除去する。異なる特徴、例えば、色によって箱１６を識別する２Ｄ（２次元）セグメンテーション画像（図示せず）が生成されるように、ボックス４６の各々における画像４４内の残っている画素に特定の箱１６についての値が割り当てられる。記載される画像分割プロセスは、深層学習マスクＲ－ＣＮＮ（畳み込みニューラルネットワーク）の修正形態である。
【0013】
上述のように、特定の訓練画像を使用した画像分割ニューラルネットワーク内の重み付きノードの訓練は、特定の開発環境について箱を識別するようにノードを訓練するために充分ではない場合がある。これは、ニューラルネットワークを訓練するために使用される訓練データ５２と、特定の開発環境について、訓練されるニューラルネットワークをテストするために使用されるテストデータ５４と、を含む実例５０によって図３に示される。この例について、訓練データ及びテストデータは、箱のサイズ、形状、テクスチャなどだけでなく、環境の照明、光の反射、影、カメラの視野角、背景の特徴なども含む。説明５０は、訓練データ５２及びテストデータ５４の一部の最小限の重複のみが重複領域５６に存在し、したがって、開発環境について訓練データ５２を使用して訓練されるロボットシステム１０の性能は不充分となることを示す。本明細書の説明に関して、領域５６内に入るデータ特徴は、本明細書において、環境に依存しない特徴と称され、この例では、箱１６の形状を含むことができ、領域５６の外側に入るデータ特徴は、本明細書において、環境に依存する特徴と称され、テクスチャ、照明、環境内の物体の光の反射、影、カメラの視野角、背景の特徴などを含み得る。述べられるように、本開示は、訓練データ５２とテストデータ５４との間の重複領域５６に入るべき環境に依存しない特徴を識別し、当該特徴のみを使用して、特定の開発環境について特徴抽出モジュール３４においてニューラルネットワークを更に訓練することを提案する。
【0014】
図４は、ニューラルネットワークデータセット分類器システム６０の概略ブロック図であって、ニューラルネットワークデータセット分類器システム６０は、特定の開発環境について、例えば、７１２号出願に開示されるような画像分割プロセスを行う分割モジュール３６において使用するデータセット分類器畳み込みニューラルネットワーク６２を訓練し、ここで、モジュール３０に対する同様の要素は、同じ参照番号によって識別される。システム６０は、上述のように訓練画像３２によって訓練された後のニューラルネットワーク特徴抽出モジュール３４を含む。特徴抽出モジュール３４は再び、訓練画像３２と同じであるか又は同様である様々な訓練画像６８を受け取って、上述の方法で訓練画像６８の抽出特徴画像７０を生成し、ここで、画像７０は、ベクトル７２によって識別される訓練画像６８内の環境に依存する特徴を定めた様々な訓練画像指標と、ベクトル７４によって識別される訓練画像６８内の環境に依存しない特徴を定めた様々な訓練画像指標と、を含む。特徴抽出モジュール３４はまた、開発環境から取得され収集される様々なテスト画像７６を受け取って、上述の方法でテスト画像７６の抽出特徴画像７８を生成し、ここで、画像７８は、ベクトル８０によって識別されるテスト画像７６内の環境に依存する特徴を定めた様々なテスト画像指標と、ベクトル８２によって識別されるテスト画像７６内の環境に依存しない特徴を定めた様々なテスト画像指標と、を含む。示されているように、ベクトル７２及び８０は異なっているため、訓練画像６８及びテスト画像７６内の環境に依存する特徴が異なっていることを示すが、ベクトル７４及び８２は同様であるため、訓練画像６８及びテスト画像７６内の環境に依存しない特徴は同じであるか又は同様であることを示す。
【0015】
次いで、特徴画像７０及び７８は、開発環境についてデータセット分類器ニューラルネットワーク６２を訓練するために使用される。ニューラルネットワーク６２は、画像７０又は７８内の抽出特徴が訓練画像６８によるものかテスト画像７６によるものかに関する予測子として動作する。分類器ニューラルネットワーク６２の訓練段階の間、訓練画像６８からの抽出特徴画像７０がニューラルネットワーク６２に提供される度に、ネットワーク６２は、画像７０と共に、モジュール３４に現在入力されている画像６８が訓練画像６８であるという、ライン８４によって表されるグラウンドトゥルースラベルも受け取る。したがって、ニューラルネットワーク６２は、モジュール３４に入力されている画像が訓練画像６８であることを確実に示しているはずである出力を提供する。この例では、ニューラルネットワーク６２からの１又は１００％の出力は、画像が訓練画像６８であることを示す。ニューラルネットワーク６２が、１００％であるか又は１００％に近い出力を提供しない場合に、モジュール３４に入力される次の訓練画像６８について、画像７０が訓練画像６８によるものであるというより優れた表示をネットワーク６２が提供するように、ネットワーク６２内のノードの重みが調整される。同様に、テスト画像７６からの抽出特徴画像７８がニューラルネットワーク６２に提供される度に、ネットワーク６２は、画像７８と共に、モジュール３４に現在入力されている画像７６がテスト画像７６であるという、ライン８６によって表されるグラウンドトゥルースラベルも受け取る。したがって、ニューラルネットワーク６２は、モジュール３４に入力されている画像がテスト画像７６であることを確実性と共に示しているはずである出力を提供する。この例では、ニューラルネットワーク６２からの０又は０％の出力は、画像がテスト画像７６であることを示す。ニューラルネットワーク６２が、０％であるか又は０％に近い出力を提供しない場合に、モジュール３４に入力される次のテスト画像７６について、画像７８がテスト画像７６によるものであるというより充分な表示をネットワーク６２が提供するように、ネットワーク６２内のノードの重みが調整される。
【0016】
図５は、訓練画像６８及びテスト画像７６、並びにシステム６０によって訓練されているデータ分類器ニューラルネットワーク６２を使用して、環境に依存しない特徴だけを提供するように、又はほぼ当該特徴だけを提供するように特徴抽出モジュール３４を適応させるか又は訓練するように動作する適応システム９０の概略ブロック図であって、ここで、ニューラルネットワーク訓練データセットモジュール３０に対する同様の要素は、同じ参照番号によって識別される。訓練画像６８又はテスト画像７６が特徴抽出モジュール３４に送信され、抽出特徴画像９２が上述の方法で生成される度に、訓練されるデータ分類器ニューラルネットワーク６２は、特徴画像９２が訓練画像６８によるものであるか又はテスト画像７６によるものである確率又は予測値を出力する。その確率値が、５０％であるか又は５０％に近い場合、すなわち、特徴画像９２が訓練画像６８から生成されていることを示す１００％と、特徴画像９２がテスト画像７６から生成されていることを示す０％との中間である場合に、ニューラルネットワーク６２は、特徴画像９２が訓練画像６８から生成されているかテスト画像７６から生成されているかを認識せず、したがって、特徴画像９２は、環境に依存しない特徴のみを含むか又はほぼ当該特徴を含む一方、環境に依存する特徴は、特徴画像９２において除外されることが認識される。ニューラルネットワーク６２が確率値を出力すると、その値と５０％との差は、コスト関数として取得され、次いで、当該コスト関数は、特徴抽出モジュール３４においてノードの重みを調整するために使用されるため、モジュール３４は次回に、環境に依存しない特徴のみをより優れて出力する。特徴抽出モジュール３４が更新されているとき、領域提案モジュール４０及び分類分割モジュール４８も更新されている。このように、ニューラルネットワーク６２及び特徴抽出モジュール３４の訓練間の複数の反復は、特徴抽出モジュール３４を完全に適応させるように行われ、その結果、その出力は最終的に、約５０％となる。
【0017】
様々なコンピュータ及び制御装置が上記において記載及び示唆される。当該コンピュータ及び制御装置のソフトウェアアプリケーション及びモジュールは、プロセッサ並びにデータ及び実行可能コードを記憶するメモリモジュールを有する１つ以上の計算デバイス上で実行されることを理解されたい。また、当業者に充分に理解されるように、本開示を記載するために本明細書で述べられるいくつかの様々なステップ及びプロセスは、電気的な現象を使用してデータを操作及び／又は変換する、コンピュータ、プロセッサ、又は他の電子計算デバイスによって行われる動作を指し得る。当該コンピュータ及び電子デバイスは、コンピュータ又はプロセッサによって行うことができる様々なコード又は実行可能命令を含む実行可能プログラムが記憶された、非一時的なコンピュータが読みとり可能な媒体を含む様々な揮発性メモリ及び／又は不揮発性メモリを採用してもよく、ここで、メモリ及び／又はコンピュータ可読媒体は、全ての形態及びタイプのメモリ及び他のコンピュータ可読媒体を含んでもよい。
【0018】
前述の説明は単に、本開示の好ましい実施形態を開示及び記載している。当業者は、当該説明並びに添付の図面及び特許請求の範囲から、以下の特許請求の範囲で定められるような本開示の趣旨及び範囲から逸脱することなく、様々な変更、修正、及び変形が行われ得ることを容易に認識するであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【外国語明細書】