(58)【調査した分野】(Int.Cl.,DB名)
前記マシンは、以前に遭遇したパラメータの範囲外の品目又は状態に遭遇する際に特別な情報を要求し、そしてその受け取られた特別な情報を他のマシン又は中央処理ユニットの1つへ送り出すように構成された、請求項1に記載の自己更新ネットワーク。
【発明を実施するための形態】
【0010】
果物をそれらの等級に従って分類するマシンに関して実施形態をここに説明する。しかしながら、ここに述べる実施形態は、単なる例示に過ぎず、本発明の範囲は、ここに述べる用途又は実施形態に限定されない。例えば、本発明のシステムは、例(マシン学習アルゴリズム)からルールを自動的に学習できるいかなる形式の装置にも有用であり、このような装置は、人為的な神経ネットワークを使用しそして繰り返し学習できるマシン、例えば、医療診断マシン、欠陥テストマシン、及び物体識別マシンを含むが、これに限定されない。
【0011】
ここで使用する「遠隔配置」とは、異なるフォーラム、会社、組織、団体、及び/又は物理的場所に配置されることを意味する。例えば、同じ建物の異なる階床に配置されたマシンは、異なる階床が異なる組織の受け皿である場合には互いに遠隔配置される。ここで使用する「処理ユニット」は、中央処理ユニット(20)と、マシン(30)又はマシンのグループ(50)との両方を含む。ここで使用する「パラメータ」は、中心的パラメータ及び内部パラメータを含む。
【0012】
ここに開示するシステムは、複数のマシン間での情報交換を整合するのに有用である。
この開示は、互いに通信して異なるマシンからのデータの全本体を検査し、中心的パラメータのセットを発生し及び修正するマシンのネットワークについて述べる。マシンは、中央処理ユニットから遠隔配置され且つ世界中の異なる場所に配置される。ネットワーク化することにより、異なるマシンは、互いに学習し、そして異なるマシンから得た「知識」を利用して、その対応部分を教示し且つ改善することができる。例えば、マシンが果物の分類マシンである場合には、マシンは、柑橘果物に影響する新たな状態が世界中の異なる場所に現れる傾向を学習しそして調整する。中央処理ユニットは、このデータに基づいてこの状態を検出する方法を見つけるか、又はそのマシンにおいて調整され更新されたローカルの中心的パラメータを使用して、どの地理的場所がこの状態を受け易いか決定し、そしてその新たな状態を検出してその新たな欠陥を伴う果物を拒絶する上で助けとなる場所にあるマシンへその情報及び新たな中心的パラメータを送り出すことができる。
【0013】
中央処理ユニットは、検出マシンのグローバルネットワークを使用して高いレベルからデータを見て分析する。従って、本発明のシステムは、個々のマシンだけでは提供できないインテリジェントな熟知した状況理解を許す。
【0014】
図1は、ネットワークを経て複数のマシン30と通信する中央処理ユニット20を備えたマシンネットワーク10を示す。中央処理ユニット20は、情報を受信してマシン30へ選択的に送信するように構成される。各マシン30は、1つのマシンユニット又はユニットのグループであり、そして典型的に、テストされる品目を受け取るためのハードウェアコンポーネントを含む。ある場合には、複数のマシン30は、中央処理ユニット20を通ることなくそれらの間でデータを直接共有するマシン30の「グループ」又は「ファミリー」50を形成するようグループ編成される。マシンファミリー50のマシン30は、同じ一般的な地理的領域における存在、特定の果物タイプ(例えば、柑橘系果物)を取り扱う構成、又は同じ会社の表示、等の共通性をしばしば有する。マシン30は、受け取った各品目をテストし、そしてその品目を内部パラメータのセットに基づいて特徴付ける。
例えば、果物分類マシンの場合には、マシン30は、各果物を「拒絶」、「ジュース」、「等級B」及び「等級A」と特徴付ける。マシン30は、中央処理ユニット20にデータを送信するよう構成され、中央処理ユニット20は、全てのマシン30からデータを収集し、そしてそれ自身の中心的パラメータを開発する。1つの実施形態では、中央処理ユニット20は、最初、マシンからデータを受け取って自己トレーニングしそしてそれ自身の中心的パラメータのセットを発生する。より多くのデータが受け取られる場合には、中央処理ユニット20は、その中心的パラメータを洗練化及び修正して、特徴付けの精度及び寛容さが時間と共に向上するようにする。
【0015】
マシン30は、典型的に、例えば、状態の存在を検出することにより品目を特徴付けるのに使用される。マシン30は、果物分類マシン、検出マシン、店のレジ台マシン、医療診断マシン、欠陥検出マシン、等である。本発明は、特定タイプのマシンに使用されることに限定されない。例えば、マシンは、ハイテク製造施設の入口のセキュリティチェックシステムの一部分でもよく、この場合には、知的所有権又は技術的データを悪用するのに使用できるデジタルストレージ装置の存在を検出するのに使用される。店の入口/出口のマシンは、盗難商品を検出するのに使用することができる。欠陥検出マシンは、航空機の翼の極微クラックを検出することができ、そして医療診断装置は、癌、骨折又は他の状態のタイプを検出することができる。果物分類マシンは、果物の傷や損傷を検出する。ターゲット品目の存在が検出されると、警報が発せられ、オペレータを招いてターゲット品目/状態の存在を確認するか、又は自動応答を作動させて、例えば、望ましくない物体をロックし、それをゴミ箱に向け直し、修理チケットをオープンし、又は医療ファイルにコメントを記入する。
【0016】
異なるマシンが異なる品目及び状態に遭遇し、異なる情報に露出され、及び異なる分類/特徴付けルールを学習及び開発する。従って、各マシン30は、強さ及び弱さの独特のセットを有する。各マシン30は、他のマシン30及び中央処理ユニット20へデータを送信すると共に、他のマシン30及び中央処理ユニット20から情報を受信する。異なるマシン間の通信及びマシン30と中央処理ユニット20との間の通信は、所定のプロトコルを使用してセキュアなネットワークを通して達成される。
【0017】
処理ユニット(例えば、マシン30)は、どのデータを、他のどの処理ユニットに送信すべきかを、マシン30間のデータ比較に基づいて決定する。例えば、データの比較で、マシンXが、マシンYがまだ遭遇していない品目に遭遇したことが明らかになると、マシンXは、マシンYが遭遇していない品目のパラメータをマシンYへ送信し、マシンYが、その品目に最初に遭遇したときにその品目を認識できるようにする。イチジク分類マシン30及びオレンジ分類マシン30が互いに且つ他のマシン30とデータを比較する別の例では、イチジク分類マシン及びオレンジ分類マシンは、他のマシンの幾つかが一般的に丸い物体を分類しそして同様の特徴をイチジク及びオレンジとして共有することを通知する。それらは、それらのマシンへデータを送信し、そしておそらくそれらのマシンからパラメータを得て、マシンの両セットが、イチジク、オレンジ及び他の品目を区別できるようにする。イチジク分類マシンがオレンジに直接遭遇しなくても、それによってオレンジが受け取られた場合にオレンジを認識することができる。というのは、オレンジ分類マシンからオレンジパラメータを学習するからである。
【0018】
別の例では、建物Aのセキュリティチェックマシンは、従業員が携帯するUSB装置に頻繁に遭遇する。他方、建物Bのセキュリティチェックマシンは、その従業員及び顧客からのUSB装置に遭遇しない。建物A及び建物Bのマシン間の品目を比較すると、建物Aのマシンは、USB装置のパラメータを建物Bのマシンへ送信する。建物Cの第3のマシンがUSB装置に対するそれ自身のパラメータを既に有している場合には、建物A及びCのマシンは、それらの内部パラメータを比較し、そしてパラメータを更に洗練化するための更新を行う。
【0019】
上述したように、マシン及び処理ユニットは、自身のパラメータを比較し及び更新することにより互いに「学習」することができる。ある場合には、ある処理ユニットで欠落したパラメータは、別の処理ユニットから受信されることにより追加される。他の場合には、異なるものであるが同じ品目をまだ識別するパラメータが処理ユニットをトリガーし、特徴付け能力を強化するようにパラメータの1つ以上のセットを修正する。
【0020】
1つの実施形態では、各マシン30又はマシン30のグループは、人工知能プログラムを合体し、そして自身の内部状態を学習し又は入力に基づいてそれを変化させることができる。例えば、マシン30は、より多くの品目がこれを通過するときに、通常の品目に関して学習することができる。マシンは、例えば、神経ネットワークを合体することができる。始めに、神経ネットワークのシナプス重み及びスレッシュホールドが初期化され、そして品目の第1セットが、出力を受け取るためにマシンに導入される。例えば、マシン30が果物分類マシンである場合には、出力は、各果物に指定される分類(例えば、等級A、等級B、ジュース、拒絶)となる。マシントレーナーは、最初、ランダムに混合された果物のバッチをマシン30へ供給し、そして各果物をどのように分類するかの入力を与え、これにより、マシン30を「トレーニング」する。このタイプのマシントレーニングは、良く知られている。マシン30は、測定値と、測定値の各セットにより生じると想定される成果とを使用することで、果物をどのように分類しなければならないかを識別するための状態のセットを発生する。マシンは、品目のテストを実行し、測定を行い、そして品目ごとにパラメータのセットを発生する。各マシンは、それが遭遇する全ての品目のパラメータを記録するストレージユニットを有している。果物セットでの初期トレーニングの後に、各マシンは、受け取られる次の果物を特徴付けるのに使用する内部パラメータのセットを有する。マシン30又はマシン30のグループが見た果物が多いほど、自身のメモリに有するデータポイントが多くなり、且つ次の特徴付けの精度が高くなる。内部パラメータは、特徴付けの精度を向上するように修正され続ける。
【0021】
1つの実施形態において、各マシン30は、それが遭遇した全ての品目のパラメータを中央処理ユニット20へ送信する。中央処理ユニット20は、中心的パラメータのセットを維持する。中央処理ユニット20は、各入力を実行することによりシステムの複数のマシン30から受け取ったデータを処理して、中心的パラメータを発生及び修正し、これを使用して次の果物を特徴付ける。
【0022】
又、中央処理ユニット20は、人工知能プログラムも合体する。中央処理ユニット20は、ネットワーク内の全てのマシン30からデータを受信するので、全てのグローバルな可能性をカバーするより広いパラメータセットを開発する。更に、中央処理ユニット20は、マシン30とは異なり、領域のトレンドを分析することができる。
中央処理ユニット20は、それが見るトレンド及びパターンに基づいて、遭遇する新たなパラメータに対して幾つかのマシンを準備することができる。或いは又、マシン30は、遭遇するデータを互いに直接的に共有し、互いに効率的に「教育」を行う。
【0023】
又、中央処理ユニット20は、インテリジェンスデータ、又はマシン30へ選択的に配布されるべきデータのような外部データ40も受け取る。外部データ40は、ある領域の状況に関するインテリジェンス情報又は詳細を含む。例えば、マシンが検出マシンである状況を想定する。イタリアのフローレンスで貴重な絵画が盗まれた場合に、外部データを使用して、この状況を中央処理ユニット20に通知することができる。中央処理ユニット20は、それに応答して、絵画に対する感度を高めるようにパラメータを調整し、そしてその調整されたパラメータをマシンへ送信して、マシンがほぼ即座に盗難絵画を「探索」するようにする。同様に、スタジアムがゆっくりと移動する長いラインを有する場合に、そのラインをより速く移動する上で助けとなるように入口におけるマシンの感度レベルを下げる要求が入力される。製品分類マシンを伴う別の場合には、所与の地域における予想天気傾向に関する情報は、その天気と相関したある種のダメージの検出を強めるようシステムに警告することができる。別の場合には、タービン安全点検マシンは、ある季節及び地域における渡り鳥の増加からの残留羽の増加によるあるブレードダメージのパターンを学習し、そして毎年その期間にその地域において点検マシンの感度を上げるようにマシンを調整することができる。外部データ50は、マシンのトレーナー40により又は別のソースから入力される。
【0024】
図2は、マシン30及び中央処理ユニット20の一実施形態を示す。各マシン30は、人工知能を使用する処理モジュール32と、内部パラメータを記憶するメモリ38とを有する。処理モジュール32及びメモリ38は、一緒に、「処理ユニット」(32+38)と称される。処理ユニットを有するのに加えて、マシン30は、品目を受け取り、受け取った品目を、例えば、移動メカニズムで移動し、そして各品目にテストモジュール34を経て1つ以上のテストを受けさせるように構成される。テストは、形状又は重みを簡単に決定することであり、画像形成のより複雑な形態であり、且つ状態を分析又は検出する上で助けとなる他の既知のテストである。テスト結果(例えば、測定値)を使用して、特徴付けモジュール36は、品目を特徴付ける。テストモジュール34及び特徴付けモジュール36は、一緒に、「測定ユニット」(34+36)と称され、そして品目を受け取り、保持し及びテストするための物理的なコンポーネントを含む。品目を特徴付けるのにより多くの情報が必要な場合には、マシン30は、オペレータ又は付加的なセンサのような外部ソースから特別な情報を要求する。品目を特徴付ける場合に、マシン30は、メモリ38に記憶された内部パラメータを使用する。この内部パラメータは、異なる状態をもつ品目をそれらの特徴と相関させることにより既に発生されたものである。従って、この特徴は、内部パラメータに対する測定の比較を含む。より多くの特別な情報が受け取られるときには、各マシンは、内部パラメータのセットを更新又は修正する。マシン30は、ネットワークを経て情報を交換するための受信器/送信器39を有する。
【0025】
中央処理ユニット20は、人工知能プログラムを含む処理モジュール24と、中心的パラメータ及びネットワークの異なるマシンに関するデータを記憶するためのマシンデータベースを含むメモリ22とを備えている。処理モジュール24及びメモリ22は、一緒に、「処理ユニット」(24+22)と称される。中央処理ユニット20は、マシン30から受け取った測定及び特徴データに基づいてそれ自身の中心的パラメータのセットを発生する。この中心的パラメータは、単一のマシン30のローカルな内部パラメータに比しておそらく非常に広範囲であり且つ包括的である。というのは、各マシン30は、それが直接取り扱う品目にしか遭遇しないが、中央処理ユニット20は、グローバルな視点を有するからである。マシンのデータベースは、それに情報を送信する全てのマシンを追跡する。データを受け取ると、中央処理ユニット20は、知識を共有するどのマシン、マシンのグループ又はマシンのファミリーからデータが到来したか追跡するためにデータにマシンIDをタグ付けする。このように、中央処理ユニット20は、天気、又は他の外部共通現象のような傾向、或いは警報サインであるパターンに対する前途を捕獲する。又、中央処理ユニット20は、マシンデータベースを使用して、パラメータに対する新たな更新/修正からどのマシンが利益を得るか決定する。
【0026】
図示されたように、中央処理ユニット20及び各マシン30は、ネットワーク内の他のマシン30及び処理ユニットへ通信するために受信部26及び送信部28を有する。受信部26及び送信部28は、1つの物理的コンポーネントでもよい。又、上述したように、中央処理ユニット20は、マシン30以外のソースから外部データ40も受け取る。マシン30の処理モジュール32は、手近に異常状態があること又は状況が警報を必要とすることを決定すると、警報ジェネレータを経て警報を発生する。警報を受け取ると、アクション(例えば、品目を向け直す)をトリガーするための内部システムの反応が生じるか、又は人間のオペレータが状況を評価して適切に応答することができる。警報は、オペレータによりアクセスされる装置へのある形式のオーディオビジュアル出力である。
【0027】
明確に示されないが、マシン30及び中央処理ユニット20は、両方とも、オペレータ及び/又はマシントレーナーと通信するためのユーザインターフェイスを含む。
【0028】
図3は、マシンネットワークシステム10の繰り返しパラメータ更新プロセス70と、マシン30と中央処理ユニット20との間の繰り返しデータフローとを示す。繰り返しデータフローは、異なるマシン30間又はマシングループ(各「マシングループ」は複数のマシンを含む)間に直接生じる。図示されたように、マシン30は、品目を受け取り、そして各品目にテストを受けさせて、測定値を得る(ステップ71)。このフローチャートでは、マシン30は、その初期トレーニングを既に受けており、そしてパラメータの予備セットを有すると仮定する。次いで、測定値がそれらパラメータに対して比較され、成果を決定する(ステップ73)。測定値が、1つの既に遭遇した品目のパラメータに実質的に良く適合する場合には(ステップ75−「ノー」)、マシン30は、新たな品目/状況に遭遇しないと結論し、そして品目を一貫して、即ち品目をそれらパラメータで処理するようトレーニングされた仕方で、特徴付け又は処理するように進む(ステップ77)。マシン30は、ローカルストレージユニット又は中央処理ユニット20のいずれかに、成果に関わらずスキャンからのデータを記憶する。測定値が、以前に遭遇したパラメータセットに充分一致しない場合には(ステップ75−「イエス」)、自動応答をトリガーするか又はオペレータに警報を与えるように警報が発せられる(ステップ79)。オペレータは、品目を検査し、測定値を再検討し、そして特徴を思いつくために、必要に応じて、品目に付加的なテストを受けさせる。ある実施形態では、マシン30は、付加的な情報を収集する。次いで、オペレータは、その特徴を入力することによってフィードバック(特別な情報)をマシンに与える(ステップ81)。マシンは、丁度受け取った特別な情報を合体するようにそのパラメータを更新する(ステップ83)。警報及びオペレータ入力をトリガーした測定値は、マシン30内に保持されるか、及び/又は他のマシン30へ送信されるか、及び/又は中央処理ユニット20へ送信される(ステップ85)。
【0029】
マシン30、マシンのグループ50、又は中央処理ユニット20は、多くの場合に異なる位置にあるマシンネットワーク10内のマシンから測定値及び特徴を受け取る(ステップ91)。中央処理ユニット20、マシン30、及び/又はマシンのグループ50は、マシン30とは独立したデータを受け取り、そして以前のトレーニングからの中心的パラメータのセットを有する(ステップ93)。トレーニングは、それ自身の内部データセット、或いは他のマシン30、マシンのファミリー50及び/又は中央処理ユニット20から受け取ったデータセットに基づくものである。上述したように、中央処理ユニット20は、外部データも受け取る(ステップ95)。
【0030】
マシン30及び/又は中央処理ユニット20は、マシン30、マシンのファミリー50及び中央処理ユニット20から受け取った測定データ、並びに以前に遭遇していない品目/状態に関する特別な情報81に基づいて、その中心的パラメータ94を修正し続ける。
中心的パラメータは、ほぼ全てのマシンがどの品目に遭遇したかをマシン30、マシンのファミリー50及び中央処理ユニット20が識別する上で助けとなり、従って、その品目のパラメータを強化することができる。中心的パラメータは、検出の「分解能」を選択的に高めるのに使用される。中心的パラメータが修正されると、中央処理ユニット20、マシン30、及び/又はマシンのファミリー50は、それ自身又はその他に対して、更新されたパラメータから利益が得られるマシン、例えば、更新されたパラメータの影響を受ける状態/品目に遭遇するマシンを識別する(ステップ97)。例えば、新たに見つかった状態が、ある地域にしかない果物の病害によるものである場合には、その状態に対するパラメータが他の位置のマシンへは送信されない。他方、パラメータが、いずれの位置にも適用できる状態(傷)に関するものである場合には、パラメータが全てのマシン30へ送信される。更新されたパラメータは、次いで、識別された選択マシンへ送信される(ステップ99)。
【0031】
修正された中心的パラメータを受信するマシン30は、それ自身の内部パラメータを、その修正された中心的パラメータを反映するように更に修正する。このように、マシン30、他のマシン30、マシンの他のファミリー50、及び中央処理ユニット20は、互いに教示及び学習し続ける。マシンネットワーク10のマシン30は、複数のソースから、1)マシンを通過する品目、2)例えば、ローカルオペレータから受け取った特別な情報、3)中央処理ユニット20から受け取った更新されたパラメータ、4)自身からの新たなデータ及び更新されたパラメータ、5)他のマシン30又はマシンのファミリー50からのデータ及び更新されたパラメータ、を学習する。
【0032】
図4は、各マシン30が分類マシン100である実施形態を示す。分類マシン100は、米国特許第5,845,002号に説明された特徴を合体した果物分類マシンであり、人工知能及び内部パラメータを含むように処理ユニット32+38で改善される。本発明は、特定形式のマシンと共に使用されることに限定されないが、マシン30の処理モジュール及び/又は中央処理ユニット20をどのように使用するかの具体的な例を与えるように開示がなされる。
【0033】
図5は、分類マシン100の部分を詳細に示す。図示されたように、分類マシン100は、複数の品目114を搬送する従来のコンベアライン112を備えている。図示簡単化のために、この特定の図は、処理ユニットを示していないが、処理ユニットは、分類マシン100の一部分である。これは、単に1つの規範的な実施形態に過ぎず、コンベアラインの使用は、本発明の概念を限定するものではなく、品目は、静止状態で検査されてもよく、又はロボットのような他の移動マシンを使用して検査されてもよい。品目114は、本開示の状況では果物(例えば、柑橘系果物)であるが、これは、本発明を限定するものではない。特定の分類マシン100は、一般的に球形で、トポグラフィック表面テクスチャーを有する品目に適している。他の実施形態では、分類マシン100は、医療検査マシン、物体選別マシン、等に置き換えられてもよい。
【0034】
コンベア112は、果物114を光学的ハウジング116へ搬送し、そこで、果物は、光学的ハウジング116内の検査ステーション118において照明される。コンベア112は、果物114の画像形成のための提示をコントロールするように果物114を搬送しそして配向する。コンベアは、検査ステーション118における果物114の最大光学的露出を与えるように設計される。ここに示す実施形態のコンベアシステム112は、果物114を回転するための被駆動スプールを備えている。
図4及び
図5の実施形態では、果物114は、検査ステーション118を経て移動するときに後退方向に回転され、コンベア112を下る前進移動を少なくとも部分的に補償する。果物114は、完全且つ信頼性の高い画像形成を許すために長時間露出中に同じ表面がカメラ130を向いたままとなるように回転される。これは、もちろん、この分野で良く知られた手段により時間同期される。
【0035】
果物114がコンベア112によってハウジング116及び検査ステーション118へ搬送されるとき、果物114は、一対の光源122、124により照明される。光源122、124は、下から果物114に焦点が合わされ、更に、果物114の表面に光学的照明を与える上で助けとなるように従来の光学系が設けられる。
【0036】
光源22、24は、光ファイバであるか、レーザビームであるか、或いはLEDにより形成された光ビームである。或いは又、単一の光源が使用されて、2つの光源22、24へと光学的に分割されてもよい。光源22、24(又は単一の光源)は、入射光を発生し、入射光は、果物内で散乱されて果物にグローを生じさせる。光の周波数又は周波数スペクトルは、被検査物体の光学的特性に基づいて選択され、物体内で望ましい散乱が生じて、その結果、表面を通してグローが投影されるようにする。柑橘系果物では、普通の可視スペクトルで充分である。
【0037】
カメラ130は、テクスチャーモードコンピュータ134に結合される。テクスチャーモードコンピュータ134は、コンベア・分類システムの機能を実行するマスターコンピュータ136と、システム100へのユーザ入力及び出力アクセスを与える入力/出力コンピュータ138との両方に結合されたパーソナルコンピュータである。果物114のテクスチャー分析は、テクスチャーモードコンピュータ134により行われる。ユーザインストラクションに基づき、入力/出力コンピュータ138を経てマスターリモートコンピュータ136へ至る入力は、複数の分類ステーション140においてテクスチャーモードコンピュータ134により指示される分類動作を実現し、分類ステーションは、果物114が乗るソレノイド作動式の放出フィンガーを備え、それにより、果物114は、コンベアライン112から適当な分類ビン142又は二次コンベアへ放出される。
【0038】
分類マシン100のテクスチャーモジュールは、照明及び光学系(光学的ハウジング116を含む)、カメラ30及びミラー126a、126b、128a、128bによって設けられる画像形成手段、及びテクスチャーモードコンピュータ134内の画像処理手段を含む3つのサブシステムで構成される。
【0039】
中央入力/出力コンピュータ138及びマスターリモートコンピュータ136は、従来型であり、従来の分類・選別装置に使用されたものと実質的に同じものである。中央入力/出力コンピュータ138は、ユーザインターフェイスのあらゆる観点を与え、種々の分類パラメータの入力及び出力を選択し、且つ
図4の簡単な直線的描写より複雑な配列でコンベア112のための複数のレーンが設けられたマシン100においてコンベア経路を決定することを含むシステム制御を与える。
【0040】
ある用途では、監視される物体の形式において特定形式の欠陥を望ましい光学的効果で強調するように、入射光の特定の波長又はスペクトルを使用することが望ましい。入射光の正しい周波数又はスペクトルを決定することは、特定形式の物体及び欠陥に直面する適度に熟練した実施者に委ねられる。
【0041】
検査ステーション118は、スプリアスな画像を回避するためのフラットな黒い非反射面を与えるか、又は必要に応じて反射面を含ませて果物に入射する光の輝度を高めるように、必要に応じて適当にバッフルが付けられる。
図5に示す実施形態では、果物内で散乱した光及びその果皮を通して投影される光からのグローが下部ミラー126a、126bから反射され、そしてそこから上部ミラー128a、128bへ反射される。
【0042】
CCDマトリクス又はスキャニングカメラ130は、その光学系132が上部ミラー128a、128bに焦点を合わせ、単一のコンピュータ画像において、果物114の半球体の全外面を垂直に捕獲する。
【0043】
図6に示すように、果物114の2つの半球体の1つの画像を各々捕獲する2つのカメラ130a、130bが設けられる。例えば、果物14の第1の半球体画像は、右下のミラー127aにより左上のミラー129aへ反射され、そしてそこから第1のカメラ130aへ反射される。又、その第1の半球体の画像は、左下のミラー127bにより第1のカメラ130aにおける右上ミラー129bへも反射される。
【0044】
果物114がコンベヤ112を下って、その他方の半球体を露出するように同期回転を経験した後に、果物114の第2の半球体の画像が右下のミラー127cにより左上のミラー129cへ反射され、そして左下のミラー127dから左上のミラー129dへ反射され、それにより生じる両画像は、他方のカメラ130bへ反射される。
【0045】
照明システムは、果物114の両側で且つ果物中心線の下に配置された2つのタングステンハロゲン投影ランプ122、124を使用する。これらランプは、果物114の果皮(peel)/外皮(skin)を通して伝送されてカメラで検出できるグロー効果を発生するために果物114に入射する適切な周波数又はスペクトルの充分な光を放射する。換言すれば、果物は、光の位置、強度、及び周波数/スペクトルが、果物114の果皮又は皮への光の貫通が生じてその中で散乱されて、果皮を通るグロー効果を与えるものであるとすれば、カメラにグロー効果を与える。
【0046】
カメラ130には、特殊なフィルタがなく、そして画像形成の露出時間が電子的に制御される。露光時間の電子的制御は、果物サイズ及び果皮厚みの差によるグローの強度差を補償する。これは、実行の初期部分中に決定され、そして自動又は手動のいずれかの適切な修正が入力/出力コントローラ138を通して入力される。
【0047】
自動制御は、出力周波数を発生するために各カメラ130にマウントされたホトダイオードの使用によるか、各ホトダイオードにより感知された光の量に基づく周波数ジェネレータ(図示せず)により、行われる。ホトダイオード144で制御される周波数ジェネレータからの出力周波数を使用することにより、カメラ30内のCCDチップの露出時間が制御される。
【0048】
果物114を照明する方法、及び1つ以上のカメラ、種々の光学系及び構成を使用して果物114のコンピュータ画像を撮影する方法は、多数ある。以下に述べるテクスチャー特徴が果物表面の著しい部分を除去しないように各果物114の実質的に完全なコンピュータ画像が与えられる。ある用途では、単一のカメラ30及び簡単な光学系を使用した1つの半球体のみの画像で充分である。
【0049】
テクスチャーモードコンピュータ134は、画像処理を遂行し、そして分類情報を、この技術で知られた最終的なドロップアウト選択のためにシステムの残り部分へ送る。
【0050】
捕獲した画像を処理してトポグラフィー表面テクスチャー等級付けを行うことを以下に述べる。ここに示す実施形態では、第1ステップは、果物114内で散乱されてその果皮を経て出て来る光からグローを構成しない、光源122、124からの反射光強度のような無効情報をドロップアウトすることである。
図7Aを参照すれば、滑らかな果物果皮の実際のコンピュータ画像が示されている。果物114の2つの画像、本質的に果物の2つの半球体ビューが
図7Aに示されている。従って、グラフィック画像の領域146は、それらの特有の高い強度レベルのために、トポグラフィー表面テクスチャーに関する情報を搬送しないグラフィック情報信号の部分として排除することができる。
【0051】
果物表面のスキャンを行って、画像を構成する全ピクセルパターンの強度の最大、最小及び標準偏差を与え、更なる検査を必要とする表面欠陥、例えば、腫れ及び皺、果皮、切れ目、穴、等を構成する画像の強度変化がある場合には指示を与える。
【0052】
柑橘系果物の腫れは、その下の果肉から若干引き離された果皮の領域であり、従って、若干腫れ上がっているか又は「膨らんでいる」。皺は、外皮面の一部分が隣接領域に対して凹んだ逆転である。
【0053】
欠陥が検出されない場合には、例えば、果物表面が砂利状態(pebbliness)であることを表す高周波数データに対してグラフィック画像がチェックされる。果物114から導出されるデータは、次いで、既定の基準に従う分類目的でマスターコンピュータ136へフィードバックされる。
【0054】
果物表面のグローバルな統計学的分析が、果皮欠陥の存在を指示する場合には、一連のデータフィルタを適用してそれらを識別することにより欠陥の形式を決定することができる。ハイパスデータフィルタは、切れ目又は穴をサーチするのに使用できる。しみ分析、トレーシング、及び高い強度の領域のアスペクト比を伴うローパスフィルタは、腫れ及び皺を識別しそして腐敗からそれを区別するのに有用である。
【0055】
腫れ及び皺データが分離された後に、標準偏差値を越えるピーク強度を示すための一連のチェックを使用して、腫れ及び皺のような欠陥の分類内の欠陥の程度を識別することができる。この処理が行われた後、果物全体のサイズが、影響のある面積と比較され、影響のある表面の欠陥に対するパーセント値が発生される。腐敗又は皮の途切れのような他の欠陥は、パーセント評価を受けず、果物の影響を受ける面積の割合に関わらずに、果物を直ちに排除する原因を構成する。
【0056】
滑らかなオレンジ皮のコンピュータ画像が示された
図7Aは、カメラに与えられる反射画像からの二重画像を示す。照明源からの明るい領域146は、果皮状態の性質に関連した情報を含まないので排除される。次いで、最大、最小及び標準偏差を得て画像ピクセルの強度変化を特徴付けるために全グラフィック画像の統計学的情報が得られる。この場合に、返送される統計学的偏差は、果物が滑らかで、許容範囲内に充分入ることを示す。この点において、それ以上の統計学的分析は実行されず、果物の位置は、分類マシン100内にタグ付けされそしてコンベア112を下って搬送されて、適当な分類ビン142又は二次コンベアへ引き回されるか、或いは付加的な方法及び基準に従って分析及び分類される。
【0057】
説明上、
図7Aの2つの半球体画像の1つの部分にわたり典型的なスキャン線148が得られる。スキャン線強度が
図7Bのヒストグラムに描かれ、強度は、垂直軸に対してグラフ化されそして水平軸においてスキャン線に沿って位置され、端150は、
図7Bのヒストグラムの左端に対応し、そしてスキャン線148の端152は、
図7Bのヒストグラムの右端に対応する。
図7Bのヒストグラムの視覚検査は、平均値から非常に制限された偏差を伴う値の範囲内に維持されたピクセル強度の変化を示し、種々の果物欠陥が示された
図8-14に描かれたヒストグラムとはかなり異なるパターンを与える。従来の統計学的手段を通して、ヒストグラムは、有意義な統計学的パラメータによって特徴付けられ、そしてそれらパラメータを通して、果物114のトポグラフィー表面テクスチャーを確実に識別するように分類に分けられる。
【0058】
図8は、酸敗(sour rot)として知られている表面分解により傷付けられた果物114のコンピュータ画像から得られる強度ヒストグラムを示す。
図7Bのヒストグラムと比較して、最大と最小との間に非常に広い変化があり、平均値からの偏差は、
図7Bの場合より著しく大きい。
図9は、はっきりした腐敗(clear rot)の外皮傷を特徴とする果物114のコンピュータ画像から得られた強度ヒストグラムを示す。
図10は、消費者が嫌う高い多孔性又は砂利状表面を特徴とする果物114のコンピュータ画像から得られた強度ヒストグラムを示す。
図11は、柔らかい腫れ及び皺として知られた状態により表面が傷付いた果物114のコンピュータ画像から得られた強度ヒストグラムを示し、そして
図12は、凹凸として知られた欠陥により表面が傷付いた果物114から得られたヒストグラムである。
図13は、割れ目、切れ目、穴及びこすり傷を含む「ヒビ」を伴う果物114から得られたヒストグラムを示す。
図14は、はっきりした腫れ及び皺と称される外皮欠陥を伴う果物114から得られたヒストグラムを示す。
【0059】
上述したヒストグラムの各々は、果物を特徴付けるための既定の状態の一部分としてマシンのメモリにセーブされる。新たに受け取った果物からの測定値を得ると、マシン30は、それに画像形成テストを受けさせ、
図7Aに開示したものと同様の画像を発生し、そしてヒストグラムを作成する。ヒストグラムは、次いで、特徴付けを行うためにある状態/欠陥を指示する記憶されたヒストグラムに対して比較される。
【0060】
図3のプロセス70を、分類マシン100に関連して以下に説明する。分類マシン100は、農場又は果樹園のような異なる施設、おそらく、世界の異なる部分に配置される。
各分類マシンは、最初、サンプルから得られたデータのセットにより、又はオペレータによって「トレーニング」され、オペレータは、果物の代表的サンプルをマシンに通し、そしてそのサンプルの各果物をどのビン142に入れるかの入力を与える。分類マシン100は、それ自身のパラメータセットをサンプル果物及びその入力に基づいて開発し、そしてそれらパラメータを使用して、遭遇する次の果物を分類する。より詳細には、ステップ71において、果物は、
図7Aに示すように、2つの半球体として画像形成され、スキャン線148は、2つの半球体画像の一部分を横切る。次いで、スキャン線の強度が、
図7B及び
図8-14に示されたものと同様に、ヒストグラムに描かれる。ステップ73において、マシンは、現在の果物のヒストグラムをその内部パラメータに対して比較する。現在の果物のヒストグラムと、以前に作成されたヒストグラムの1つとの間に実質的に厳密な一致がある場合には(ステップ75−「ノー」)、現在の果物は、同様のヒストグラムを作成した以前の果物と同じビン142へ選別又は分類される(ステップ77)。他方、現在の果物のヒストグラムが、以前に作成されたいずれのヒストグラムにも充分厳密に類似していない場合には(ステップ75−「イエス」)、警報が発生される(ステップ79)。システム又はオペレータに対し、その警報に応答して、データを使用して、果物をどのように分類すべきかトレーニングし及び決定し、そしてどのように分類すべきかをマシン100に告げる(ステップ81)。マシン100は、その内部パラメータをこの新たなデータで修正し又は更新し(ステップ83)、そして現在の果物をオペレータ入力に従って分類する(ステップ77)。
【0061】
マシン30、マシンのファミリー50、及び/又は中央処理ユニット20は、最初に、選択されたマシンから、及びある場合には、ネットワーク内の全てのマシンからスキャンデータ及び分類データを受け取り(ステップ91)、そしてそれ自身の中心的パラメータを発生する(ステップ93)。この中心的パラメータは、いずれのマシン100のローカルパラメータとも厳密に同じではない。というのは、マシン30及び/又は処理手段20は、ネットワーク内の単一マシン100より多くの果物を「見」、そしておそらく、単一マシン100より多くの変化及び状態に露出されるからである。従って、中心的パラメータは、カバーされる欠陥の範囲が広く、そして高い分解能で欠陥を区別できる。又、マシン30、マシンのファミリー50、及び/又は中央処理ユニット20は、外部データを受け取る(ステップ95)。例えば、外部データは、特定の状態又は地方の天候状態のあらゆるケースを報告するための農務省からの要求である。
【0062】
次いで、マシン30、マシンのファミリー50、及び/又は中央処理ユニット20は、マシン100に、データを受け取ること、及び更新/修正された中心的パラメータを受け取ることを示す(ステップ97)。例えば、パラメータに対する更新/修正が果物の外皮の砂利状態に関するものである場合には、この更新は、主たる機能が果物を分類して種々の食料品店へ発送することであるマシン100へ送信される。しかしながら、修正されたパラメータは、ジュース工場のマシンへは送信されない。というのは、果物外皮のテクスチャーは、典型的に、外皮を除去した後に行われるジュースプロセスには、あまり問題がないからである。同時に、マシン30、マシンのファミリー50、及び/又は中央処理ユニット20は、ネットワーク内の全てのマシン100が外部データからの要求を受け取らねばならないことも決定する。次いで、データ及び/又はパラメータは、選択されたマシンへ送信される(ステップ99)。
【0063】
処理ユニットの種々の実施形態は、1つ以上のコンピュータシステムで実施され、又はそれらを含む。コンピュータシステムは、ここに述べる実施形態の利用又は機能の範囲に関して限定を示唆するものではない。コンピュータシステムは、少なくとも1つのプロセッサ及びメモリを備えている。プロセッサは、コンピュータ実行可能なインストラクションを実行し、そして実際のプロセッサ又は仮想プロセッサである。コンピュータシステムは、コンピュータ実行可能なインストラクションを実行して処理能力を高めるための複数の処理ユニットを含むマルチプロセッサシステムを備えている。メモリは、揮発性メモリ(例えば、レジスタ、キャッシュ、ランダムアクセスメモリ(RAM))、不揮発性メモリ(例えば、リードオンリメモリ(ROM)、電気的に消去可能なプログラマブルリードオンリメモリ(EEPROM)、フラッシュメモリ、等)、又はその組み合わせである。
本発明の一実施形態では、メモリは、ここに開示する概念の種々の実施形態を具現化するソフトウェアを記憶する。
【0064】
更に、コンピューティング装置は、メモリ/ストレージ、1つ以上の入力装置、1つ以上の出力装置、及び1つ以上の通信接続のようなコンポーネントを含む。ストレージは、除去可能又は除去不能であり、磁気ディスク、磁気テープ又はカセット、コンパクトディスクリードオンリメモリ(CD−ROM)、コンパクトディスク再書き込み可能(CD−RW)、デジタルビデオディスク(DVD)、又は情報を記憶するのに使用され且つコンピューティング装置内でアクセスされる他の媒体を含む。本発明の種々の実施形態では、ストレージは、本発明の種々の実施形態を具現化するソフトウェアのためのインストラクションを記憶する。入力装置は、タッチ入力装置、例えば、キーボード、マウス、ペン、トラックボール、タッチスクリーン又はゲームコントローラ、ボイス入力コンピューティング装置、スキャニングコンピューティング装置、デジタルカメラ、或いはコンピューティング装置に入力を与える別の装置である。出力コンピューティング装置は、ディスプレイ、プリンタ、スピーカ、又はコンピューティング装置からの出力を与える別のコンピューティング装置である。通信接続は、通信媒体を経て別のコンピューティング装置又はシステムと通信することができる。通信媒体は、コンピュータ実行可能なインストラクション、オーディオ又はビデオ情報、或いは他のデータのような情報を修正データ信号において搬送する。修正データ信号とは、1つ以上の特徴セットを有する信号であるか又は信号の情報をエンコードするように変化された信号である。例えば、これに限定されないが、通信媒体は、電気的、光学的、RF、赤外線、音響又は他のキャリアで具現化されるワイヤード又はワイヤレス技術を含む。更に、バス、コントローラ又はネットワークのような相互接続メカニズムは、コンピュータシステムの種々のコンポーネントを相互接続する。
本発明の種々の実施形態では、オペレーティングシステムソフトウェアは、コンピュータシステムで実行されるソフトウェアに対するオペレーティング環境を与え、そしてコンピュータシステムのコンポーネントのアクティビティを整合することができる。
【0065】
本発明の種々の実施形態は、コンピュータ読み取り可能な媒体の一般的な状況において説明される。コンピュータ読み取り可能な媒体は、コンピュータシステム内でアクセスされる利用可能な媒体である。例えば、これに限定されないが、コンピュータシステム内において、コンピュータ読み取り可能な媒体は、メモリ、ストレージ、通信媒体、及びその組み合わせを含む。
【0066】
本発明は、特許請求の範囲及びその精神から逸脱せずに変更及び修正を行って実現できることを理解されたい。例えば、マシン100の幾つかの実施形態をここに述べるが、本発明のシステムは、ここに開示する実施形態だけで具現化されるように限定されない。このシステムは、例えば、果物以外の品目を検出しそして特徴付けるように構成された他の形式のマシンでも具現化でき、それらのマシンは、医療装置、セキュリティチェックマシン、店の在庫追跡装置、等を含むが、それに限定されない。この説明は、余すところのないものでもないし、又はここに開示された正確な形態に本発明を限定するものでもない。
本発明は、修正及び変更と共に実施できることを理解されたい。