特開 2022-130308 歯色を判定する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022130308

(43)【公開日】2022-09-06

(54)【発明の名称】歯色を判定する方法

(51)【国際特許分類】

   G06T 7/90 20170101AFI20220830BHJP

   G06T 7/00 20170101ALI20220830BHJP

【ＦＩ】

G06T7/90 Z

G06T7/00 350C

【審査請求】有

【請求項の数】18

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022012764

(22)【出願日】2022-01-31

(31)【優先権主張番号】21158015.4

(32)【優先日】2021-02-18

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】596032878

【氏名又は名称】イボクラール ビバデント アクチェンゲゼルシャフト

(74)【代理人】

【識別番号】100064012

【弁理士】

【氏名又は名称】浜田 治雄

(72)【発明者】

【氏名】ラウダシル パトリック

(72)【発明者】

【氏名】フライ アレン

(57)【要約】      （修正有）

【課題】実用現場においても正確な色判定を保証する歯色を判定する方法を提供する。
【解決手段】方法は、評価装置が、畳み込みニューラルネットワークを使用した反復的に学習するトレーニングアルゴリズム１６を含み、トレーニングアルゴリズム１６が少なくとも１個の既知の、必要に応じてＲＧＢ色空間内で仮想的に作成された、サンプル歯色に基づいて、異なった照明条件及び撮影角度において画像を捕捉および評価して、対応するサンプル歯色への割り当てを学習し、撮影装置が、既知のサンプル歯色を有する補助体の画像を少なくとも１本の歯と共に撮影した少なくとも２枚の画像を異なった撮影角度から捕捉し、評価装置が、対応するサンプル歯色への学習された割り当てに基づいて捕捉された画像を評価して、判定すべき歯の歯色を、般的な歯科用カラーキーような基準値に従って出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

歯色を判定する方法であって、
評価装置がＣＮＮを使用した反復的に学習するアルゴリズムを含み、前記アルゴリズムが準備工程内で少なくとも１個の既知の、必要に応じてＲＧＢ色空間内で仮想的に作成された、サンプル歯色に基づいて、異なった照明条件および撮影角度において画像を捕捉および評価して、対応するサンプル歯色への割り当てを学習し、
評価工程において、
特にスマートフォン等の端末装置のカメラあるいはスキャナ等の撮影装置を設け、その撮影装置によって、既知の、必要に応じて仮想的に作成された、サンプル歯色を有する補助体の画像を少なくとも１本の歯と共に撮影し、
前記撮影装置が判定すべき歯と補助体の組み合わせの少なくとも２枚の画像を異なった撮影角度から捕捉して評価装置に送信し、
評価装置が、対応する、必要に応じて仮想的に作成された、サンプル歯色への学習された割り当てに基づいて捕捉された画像を評価して、判定すべき歯の歯色を、例えば一般的な歯科用カラーキーのＡ１，Ｂ２等のような、基準値に従って出力する方法。

【請求項2】

準備工程において、対応するサンプル歯色への割り当ての精度が閾値を上回るか、あるいは反復に際して生成されたデータの先行した反復中のデータに対する変化が閾値を下回った場合に、学習アルゴリズムの反復が終了することを特徴とする請求項１に記載の方法。

【請求項3】

準備工程が終了する際に、評価装置あるいはそれのデータがクラウド内に保存され、評価工程中に少なくとも２枚の画像のクラウドへの送信が実行されることを特徴とする請求項１または２に記載の方法。

【請求項4】

端末装置が判定すべき歯の歯色を出力することを特徴とする請求項１ないし３のいずれかに記載の方法。

【請求項5】

補助体が基準点を備え、評価工程において評価すべき画像中に基準点が確認された場合にのみ評価を開始し、特に基準点が不在の場合は別の画像を要求することを特徴とする請求項１ないし４のいずれかに記載の方法。

【請求項6】

評価工程において評価装置が評価すべき画像を、特に基準点が確認された後に、セグメントに分割することを特徴とする請求項１ないし５のいずれかに記載の方法。

【請求項7】

評価工程において評価装置が、セグメントのうちの１つのセグメントが、実質的に歯の形状でかつ歯に類似して僅かな色差および明度差を備えた面を有する場合に、そのセグメントを歯のセグメントとして設定することを特徴とする請求項６に記載の方法。

【請求項8】

評価工程において評価装置が、セグメントのうちの１つのセグメントを補助体のセグメントとして設定することを特徴とする請求項６または７に記載の方法。

【請求項9】

評価工程において評価装置が、セグメント中、特に歯のセグメントおよび／または補助体のセグメント中に反射を検索し、反射が所与の閾値未満であると確認された場合にのみ評価を続行し、また特に反射が所与の閾値を上回った場合には別の画像を要求することを特徴とする請求項６ないし８のいずれかに記載の方法。

【請求項10】

評価工程において評価装置が、セグメント、特に歯のセグメントの支配的な色を判定し、学習された割り当てに基づいて、すなわち特に異なった照明条件を考慮しながら、最小色差の方法に従って評価を実行することを特徴とする請求項１ないし９のいずれかに記載の方法。

【請求項11】

評価工程において評価装置が、補助体のセグメントと歯のセグメントの色値および明度値の比較にも基づいて評価を実行することを特徴とする請求項１ないし１０のいずれかに記載の方法。

【請求項12】

カメラ等の撮影装置あるいは端末装置が周囲光センサを備え、その周囲光センサの出力信号が評価装置に送信されることを特徴とする請求項１ないし１１のいずれかに記載の方法。

【請求項13】

評価装置が、所与の回数の評価の後に、実行された評価を取り込みながら準備工程を再度実行することを特徴とする請求項１ないし１２のいずれかに記載の方法。

【請求項14】

評価装置がセグメント境界の方向性あるいは非平行性に基づいて警告信号を発信するジオメトリ検出装置を備え、また評価装置が警告信号を、端末装置の方向性の必要な変更の指示として、端末装置のディスプレイ上に表示することを特徴とする請求項１ないし１３のいずれかに記載の方法。

【請求項15】

実用現場に存在する既知の歯の形状がセグメントの設定のために、および／またはジオメトリ検出の改善のために評価装置内に保存され、捕捉された形状あるいはセグメント境界と比較されることを特徴とする請求項１ないし１４のいずれかに記載の方法。

【請求項16】

撮影装置がカメラとして構成され、評価装置がスマートフォンのアプリを含み、前記アプリが評価装置による評価の少なくとも一部を実行することを特徴とする請求項１ないし１５のいずれかに記載の方法。

【請求項17】

撮影装置をスキャナとして構成し、そのスキャナ内にコンピュータ、特にラズベリーパイ等のミニコンピュータを内蔵し、前記コンピュータが評価装置による評価の少なくとも一部を実行することを特徴とする請求項１ないし１６のいずれかに記載の方法。

【請求項18】

歯色を判定する方法であって、
評価装置がＣＮＮを使用した反復的に学習するアルゴリズムを含み、前記アルゴリズムが準備工程内で少なくとも１個の既知のＲＧＢ歯色に基づいて、異なった照明条件および撮影角度において画像を捕捉および評価して、対応するＲＧＢ歯色への割り当てを学習し、
評価工程において、
特にスマートフォン等の端末装置のカメラあるいはスキャナ等の撮影装置を設け、その撮影装置によって既知のＲＧＢ歯色を有する補助体の画像を少なくとも１本の歯と共に撮影し、
前記撮影装置が判定すべき歯と補助体の組み合わせの少なくとも２枚の画像を異なった撮影角度から捕捉して評価装置に送信し、
評価装置が、対応するＲＧＢ歯色への学習された割り当てに基づいて捕捉された画像を評価して、判定すべき歯の歯色を、例えば一般的な歯科用カラーキーのＡ１，Ｂ２等のような、基準値に従って出力する方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、請求項１の前文に記載の歯色を判定する方法に関する。

【背景技術】

【0002】

欧州特許出願公開第３６１３３８２号（Ａ１）明細書により、色選択体を使用し、それを色判定すべき歯の横に保持することが知られている。歯と、補助体として形成された色選択体が共に写真撮影される。補助体が既知の歯色を有しているため、それを使用して容易かつ正確に歯色を判定することができる。

【0003】

上述した解決方式は、可能な限り再現可能な照明条件を必要とする。既知の歯色を有する補助体の存在によって測定された歯色を校正あるいは標準化することができる。しかしながら、そのような性能にもかかわらず実用現場においては誤差が発生し、そのため研究所で達成し得るような色判定の正確性は実用現場では達成されないことが判明している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】欧州特許出願公開第３６１３３８２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

従って本発明の目的は、実用現場においても正確な色判定が保証される、請求項１の前文に記載の歯色を判定する方法を提供することである。

【課題を解決するための手段】

【0006】

前記の課題は本発明に従って請求項１によって解決される。従属請求項において好適な追加構成が定義される。

【0007】

本発明によれば、評価装置がまず反復学習アルゴリズム内でサンプル歯の画像を異なった照明条件および撮影角度において捕捉し、評価し、捕捉された画像毎の既知の該当するサンプル歯色への割り当てを学習する。

【0008】

異なった撮影角度における捕捉と学習が本発明において特に重要であり、評価装置の検出能力の改善のために重要な役目を果たす。

【0009】

サンプル歯の画像の撮影のために、初期撮影装置が使用される。初期撮影装置は極めて高品質なものとすることができる。例えば、プロ用の一眼レフカメラを使用し、そのカメラのＲＡＷデータを読み込むようにすることができる。通常ＲＡＷデータの画質は、ＪＰＧ変換されたカメラデータ等の標準フォーマットに比べて高品質である。

【0010】

しかしながら、初期撮影装置として端末装置のカメラを使用することもでき、例えばスマートフォンのカメラを使用することができる。

【0011】

撮影装置、例えば追加的な撮影装置が評価工程内で使用される。評価工程内において、色を判定すべき歯の画像が、既知の色を有する補助体と共に撮影される。

【0012】

評価装置は、学習された画像、およびそれと共に捕捉された画像データにアクセスする。

【0013】

評価装置は、準備工程で使用される第１の部分と、実用現場で評価装置を使用するための第２の部分を備えることが好適である。

【0014】

第２の部分は、第１の部分と同じデータにアクセスする。

【0015】

それによって、準備において取得されたデータを放棄する必要なく、評価装置を現場、例えば歯科診療所で、使用可能にすることが達成される。

【0016】

取得したデータおよび情報への容易なアクセスを可能にするために、それらをクラウド内、あるいは保護されていて診療所内の他者にアクセス可能な領域内に同様に保存することが好適である。

【0017】

実用現場において、第１の部分と同じデータにアクセスする評価装置の第２の部分が使用される。

【0018】

従って、データは評価装置に対して常に利用可能状態にある。しかしながらそのことは、本発明に係る方法において常にデータへの無制限アクセスが必要であることを意味するものではない。

【0019】

むしろ、評価装置が第２の部分内にメモリを備え、そのメモリの内容が定期的にクラウドと同期されることが好適である。

【0020】

その後評価装置の第２の部分が実行することは、（追加的な）撮影装置によって捕捉された画像を評価することと、その画像を、学習されているサンプル歯色への割り当てに基づいて、サンプル歯色に割り当てることと、さらに同じ方式に基づいて一般的な歯科用カラーキーに従って歯色を発行することである。

【0021】

歯色を数値のみによって仮想的な色空間内、好適はＲＧＢ色空間内に生成し、それを基準として使用することも可能である。そのような色はここでＲＧＢ歯色と呼称されるが、それには他の仮想的な歯空間内で生成された色も含まれることが理解される。

【0022】

その種の仮想的な歯色を生成する複数の可能性がある：
１．歯のスキャンを使用し、対応するＲＧＢ値を検出する。
２．既存の歯ライブラリの数値を使用する。
３．歯色を数値的に判定するために分光光度計等の色測定装置を使用する。

【0023】

意外なことに、準備工程における複数の撮影状況によって、測定すべき歯の実際の色の顕著に改善された検出および判定が達成される。

【0024】

それらの撮影状況には、異なった光源および明度で処理されるものが含まれる。

【0025】

例えば、同じサンプル歯をハロゲンランプ、ＬＥＤランプ、晴天時の日光、および曇りの時の自然光の光スペクトルで撮影することができる。さらにそれを３つの異なった明度レベルで行う。さらに、５ないし１５の垂直および水平方向に偏移させた撮影角度で実施する。

【0026】

その準備によって、サンプル歯ごとに例えば１００ないし３００の異なった撮影状況である広範囲なデータベースが達成される。

【0027】

前述の説明は単に例示的なものであり、特に準備工程中の撮影状況の数によって本発明が限定されないことが理解される。

【0028】

本発明の好適な構成形態において、準備工程において反復を行い、反復ごとにどの程度結果が変化するかを検査する。結果の変化が所与の閾値よりも小さい場合、所要の精度が達成されたと判断される。

【0029】

この構成形態は、変化が閾値を複数回下回った後に初めて反復を中止するような方式に変更することも可能である。
準備工程の終了後に、準備工程の結果とサンプル歯色との間の割り当てを含む全ての検出されたデータを、必要な際にデータにアクセス可能であるクラウドに転送するように構成することが好適である。

【0030】

端末装置で評価工程を実行する前に、検出されたデータが必要な限り、特に全て端末装置上にローカルに保存されていることを確認するデータ照合を実行することが好適である。

【0031】

データは定期的に同期され、従って変更が定期的に端末装置に伝達される。

【0032】

従って、端末装置が評価工程を実行すべきである場合に、準備工程においてデータが取得および提供されている限り、常に評価装置の最新のデータが利用可能になる。

【0033】

評価装置の第１の部分は準備工程中にのみ動作するが、別の照明条件あるいは撮影角度で捕捉する必要がある場合はさらに利用可能である。

【0034】

実用現場で重要な照明条件および撮影角度が捕捉されているものの必要に応じてさらに微調整が有用である場合、評価装置を実行可能あるいはコンパイル可能なプログラムとしてクラウド内に保存することができる。

【0035】

この解決方式は、歯科医師が必要な装備を所持していてかつ自信で独自の照明条件を考慮することができる場合に、第１の工程を実行するために必要なサンプル歯色が利用可能であることを前提条件として、必要に応じてその歯科医師が評価装置の第１の部分も自信で使用することができるという利点を有する。

【0036】

歯科医師は、その歯科医師によって捕捉され、特殊な照明条件の点において新規であるデータを、必要であれば他の歯科医師が利用可能になるようにクラウド内で提供することができる。

【0037】

地域的な適応が必要である場合にも、同様な処理が可能である：

【0038】

極付近の地域では大気の吸収帯域が顕著に強く作用するため、赤道付近と極付近の地域間で日光の光スペクトルが地理的に異なる。

【0039】

第１の工程において日光の平均値が基礎にされる場合、赤道付近の地域にいる歯科医師は、彼が評価装置を使用して取得したデータに基づいて、設定された日光データが補正を必要とするという認識に至ることも可能である。

【0040】

歯科医師が地域に適応させたデータは、例えば同じ地域にいる歯科医師が利用できるようにクラウド内で提供することができる。

【0041】

このことは、作成されたデータのクラウド内でのデータ交換を可能にする本発明の好適な可能性の一例に過ぎない。その他の理由によるデータ交換も本発明に含まれることが理解される。

【0042】

評価装置内における実質的な評価のために、補助体上に基準点を設けることが好適である。基準点は、評価装置によって認識され得るように選択される。例えば３あるいは４個の基準点を設ける場合、撮影された画像中おけるそれらの基準点の配置から、どの角度で撮影が実行されたかを推測することができる。

【0043】

本発明によれば、前記の角度検出から、該当する撮影角度に割り当てられたデータの推定あるいは照合を実行することが好適である。

【0044】

別の好適な構成形態において、撮影された画像のセグメントへの分割を実行する。

【0045】

そのセグメント化は、評価工程において検出されたデータが反射の存在を推測させるものである領域を遮閉することができるという利点を有する。

【0046】

意外なことに、その方式によって、特に明るくすなわち反射し易い環境においても、評価の精度を顕著に向上させることができる。

【0047】

評価装置によって実行される評価のために、多様なパラメータを使用することができる：

【0048】

例えば、周囲光センサを使用して周囲の明度への標準化を実行することができる。一般的に、スマートフォン等の端末装置は通常ディスプレイの明るさを調整するための周囲光センサを有する。

【0049】

本発明の好適な構成形態において、前述した標準化を実行するために周囲光センサを利用する。

【0050】

高性能のスマートフォンは、さらに人工光と日光との間のスペクトルを識別することもできる。その識別は内蔵された周囲光センサによっても同様に実行される。その識別結果も、不適正なデータが最初から評価装置に対して利用不可能にされるため、本発明において有効に利用することができる。

【0051】

本発明のその他の詳細、特徴、ならびに利点は、添付図面を参照しながら後述する本発明に係る方法の実施例の説明によって明らかにされる。

【図面の簡単な説明】

【0052】

【図1】本発明に係る準備工程を概略的に示したフローチャート図である。

【図2】準備工程と評価工程のいずれにも使用可能であるサブルーチンとしての画像パイプラインの概略フローチャート図である。

【図3】評価工程を概略的に示したフローチャート図である。

【図4】入出力を有する関数である、本発明に係る学習アルゴリズムを示した説明図である。入出力を有する関数としてのアルゴリズムである。

【図5】アルゴリズム中の畳み込みニューラルネットワーク（ＣＮＮ）層を概略的に示した説明図である。ＣＮＮの概略説明図である。

【図6】最大プーリングの一例を概略的に示した説明図である。

【発明を実施するための形態】

【0053】

図１には、本発明に係る歯色を判定する方法の準備工程１２が示されている。ここで準備工程１２はトレーニング１０として示され、図１のフローチャートにおいてトレーニングスタート１０によって開始する。

【0054】

まず、ステップ１２に「撮影」として示されている画像が撮影される。その撮影がサンプル歯色を示していて、対応するサンプルとして形成された歯が異なった照明条件および撮影角度で撮影、捕捉、ならびに評価される。

【0055】

撮影されたデータは、サブルーチンである画像パイプライン１４に送信されるが、その構成は図２に示されている。

【0056】

画像パイプライン１４内における処理後に、処理データがトレーニングアルゴリズム１６に送信される。そのアルゴリズムが実質的なトレーニングを実行し、すなわち異なった照明条件および撮影角度におけるデータ形式のサンプル歯色の最適化された再生を実行する。

【0057】

それに続いて、ステップ１８においてトレーニングが十分であったかどうかが検定される。そこで否定された場合、すなわちより高い精度が必要である場合、ステップ１２にフィードバックされ、捕捉されたデータが再び画像パイプライン１４に送られる。

【0058】

一方、トレーニングが十分であるとされた場合は、ステップ２０において「トレーニングされた」データがクラウド内に保存される。ブロック２２でトレーニングが終了する。

【0059】

図２には、画像パイプライン１４の個別のステップが示されている。画像パイプライン１４は、ステップ２６で開始される。画像データ２８が存在し、ステップ２８において画像メモリ内に保存される。

【0060】

画像３０が生成され、解像度およびフォーマットに関してステップ３２で検査される。解像度およびフォーマットが適正でない場合経路３４に進行し、他方、フォーマットおよび解像度がいずれも適正である場合は経路３６の実行に誘導される。

【0061】

画像３０は、経路３６内でステップ３８において、基準対象物の基準点がどこにあるか検査され；それが検出される。再び経路４０内において、基準点が存在しないか、あるいは適正な基準点が存在するかを判定する可能性が提供される。

【0062】

他方、基準点が検出できた場合は経路４２に誘導され、ブロック４４において画像３０から重要な情報が抽出される。重要な情報には、基準対象物から検出されたブロック４６の色値が含まれる。

【0063】

画像３０内に歯のセグメントが存在するかどうかが検査される。それが肯定された場合、経路４８に進行する。

【0064】

並行して経路５０によって色値が処理される。ブロック５２においてアルゴリズムに色値が伝達され、アルゴリズムがその色値から経路５４において画像３０の色情報を作成し、さらにブロック５６において呼び出し側プログラムへのデータ移転が実行され、すなわちサブルーチンである画像パイプラインが終了する。

【0065】

経路４８において歯のセグメントもさらに処理される。ブロック５８において、反射が存在するかどうかが検査される。反射が閾値より高い場合に経路６０に進行し、それが経路３４および経路４０と同様に、ブロック６２において結果無しとして終了する。

【0066】

一方、経路６２のように反射が閾値より低い場合は、ｋ平均法によって支配的な歯色が計算される。そのことはブロック６６で実行される。

【0067】

そのことから経路６８において色値が得られ、それが再びアルゴリズム５２に送信される。

【0068】

図３には、評価工程が示されている。この評価工程は、端末装置内、例えばスマートフォン内で実行されるように設定される。最初のブロック７０はクラウドを示し、第２のブロック７２がスマートフォンを示す。

【0069】

好適な構成形態において、エンドユーザによって捕捉された画像のデータがブロック７４においてクラウドに送信され、ブロック７６において画像パイプラインに転送される（図２）。この画像パイプラインは図１の画像パイプライン１４と同一である。

【0070】

データを処理および評価した後に、ステップ７８において、十分な画像が存在するかどうかが検査される。肯定された場合は経路８０に進行し、ブロック８２において分類アルゴリズムが実行される。従って、ブロック８２の出力側で、ブロック８４において分類された色が提供される。その分類された色が、ブロック８６においてスマートフォン７２に転送される。

【0071】

ブロック８８においてスマートフォンがデータを受信し、ブロック９０において色分類が終了する。

【0072】

他方、ステップ７８において、十分な画像が存在していないと確認された場合、経路９２に進行する。その場合、ブロック９４における色分類がスマートフォンによって開始され、９６において撮影が実行される。

【0073】

従って、経路９２を介して撮影の実行あるいは画像の撮影がトリガあるいは起動される。

【0074】

経路９８において、スマートフォン７２の出力側に画像が存在する。その画像は、ブロック１００において経路１０２を介してクラウドに転送されて保存され、従ってその画像によってブロック７４の実行を開始することができる。

【0075】

以下に例示的な学習アルゴリズムを説明する：

【0076】

図４に示されるように、アルゴリズムが完了までトレーニングされている場合、アルゴリズムが関数として最高レベルにあるとみなすことができ、各入力画像に対して０ないしＮ（分類の数）の自然数（０を含む）を割り当てる。発行された数は異なった分類を示し、従って数の上限が、適用状態あるいは分類すべき異なった対象物の数に依存する。本発明の構成形態によれば、その数は歯科用カラーキーの１６個の異なった色に相当する（Ａ１－Ｄ４）。

【0077】

図４には、アルゴリズムが入出力を有する関数として示されている。このアルゴリズムはニューラルネットワークの変更型、いわゆるＣＮＮ（畳み込みニューラルネットワーク）に属する。ＣＮＮは、特に画像を分類（すなわち何が見えるかの定義）、類似性に従って画像をグループ化、および背景中で画像を認識するために使用されるニューラルネットワークである。すなわち、ＣＮＮは、例えば顔、人物、道路標識、腫瘍、動物、およびその他の多くの視覚的なデータの特徴を認識するために使用される。

【0078】

実験によって、ＣＮＮが画像認識において極めて有効であり、深層学習を可能にすることが示されている。ＡｌｅｘＮｅｔ（ＩＬＳＶＲＣ２０１２）と呼ばれる周知の深層畳み込みアーキテクチャを使用することができ；当時は、自動運転車、ロボット技術、ドローン、治安、医療診断への適用が提唱された。

【0079】

本発明において使用されるＣＮＮは、人間のように画像を感知しない。むしろ、画像がどのようにＣＮＮに提供されるかと、ＣＮＮによってどのように処理されるかが重要である。

【0080】

ＣＮＮは画像をむしろ容積、すなわち三次元の対象として感知し、従って幅と高さのみで測定される平坦な画面としては感知しない。そのことは、デジタルカラー画像がＲＧＢ（赤－緑－青）コードを有していて、人間によって感知される色スペクトルを生成するためにそれら３つの色が混合されることに基づく。ＣＮＮは、そのような画像を、分離されていて相互に積層された３つの色層として感知する。

【0081】

すなわちＣＮＮは、通常のカラー画像を四角いボックスとして感知し、そのボックスの幅と高さがそれらの寸法中におけるピクセルの数によって測定され、また深さはＲＧＢのそれぞれに対応する３つの層を含む。それらの深さの層がチャネルと呼ばれる。

【0082】

それらの数値は、ＣＮＮ内に記憶される初期的な生の検出特徴であって、ＣＮＮの役割は、それらの数値のうちのどれが、特定の分類に従って画像を正確に識別するための補助となる重要な指標であるかを発見することである。

【0083】

ＣＮＮは大まかに見て３つの異なったレイヤからなり、それを介して入力画像が数学的操作を通じて連続的に伝搬される。レイヤの数、特徴、および配置は、使用目的に応じて最適な結果が得られるように変更することができる。図５には、ＣＮＮのアーキテクチャの例が示されている。次の段落において、異なったレイヤが詳細に説明される。

【0084】

図５には、ＣＮＮ畳み込みレイヤが概略的に示されている。次から次へと１つのピクセルに注目する代わりに、ＣＮＮがピクセルからなる正方形の領域を捕捉し、それにフィルタを通過させる。フィルタも同様に正方形のマトリクスであり、それが画像自体よりは小さくまたフィールドと同じ大きさを有する。そのフィルタはカーネルと呼ばれ、またフィルタの役割は、ピクセルの中にパターンを発見することである。その処理を畳み込みと呼称する。

【0085】

畳み込みを可視化した例を以下のＵＲＬで閲覧することができる：
ｈｔｔｐｓ：／／ｃｓ２３１ｎ．ｇｉｔｈｕｂ．ｉｏ／ａｓｓｅｔｓ／ｃｏｎｖ－ｄｅｍｏ／ｉｎｄｅｘ．ｈｔｍｌ

【0086】

ＣＮＮの最初の層は３つの名前：最大プーリング、ダウンサンプリング、およびサブサンプリングを有する。図６には、例示的な最大プーリングレイヤが示されている。先行した各レイヤの入力が、ダウンサンプリング層に提供され、畳み込みの場合と同様にこの方法もパッチ式に適用される。この場合、最大プーリングにおいて単に最大の数値が画像のフィールドの中から取り出され（図６参照）、別のフィールドの最大値の近傍の新しいマトリクスに挿入され、活性化カード内に含まれる情報の残りは破棄される。

【0087】

このステップにおいて小さな数値に関する多くの情報が喪失されるが、そのことが代替的な方法の研究を提起した。しかしながら、ダウンサンプリングは、情報が喪失されるとしてもメモリおよび処理労力が低減されるという利点も有する。

【0088】

全結合レイヤ
全結合レイヤ（Ｄｅｎｓｅ Ｌａｙｅｒ）は「伝統的な」レイヤであり、従来型のニューラルネットワークにも適用される。そのレイヤは、可変数のニューロンから形成される。そのようなレイヤ中のニューロンは、通常のニューラルネットワーク内の場合と同様に、先行したレイヤ内の全ての出力に対して完全な結合を有する。従って、出力を、行列乗算と、続くバイアスオフセットによって計算することができる。以下の説明において、次のＵＲＬを全体的に引用する。

【0089】

ｗｗｗ．ａｄｖｅｎｔｕｒｅｓｉｎｍａｃｈｉｎｅｌｅａｒｎｉｎｇ．ｃｏｍ／ｗｐ－ｃｏｎｔｅｎｔ／ｕｐｌｏａｄｓ／２０２０／０２／Ａ－ｂｅｇｉｎｎｅｒｓ－ｉｎｔｒｏｄｕｃｔｉｏｎ－ｔｏ－ｎｅｕｒａｌ－ｎｅｔｗｏｒｋｓ－Ｖ３．ｐｄｆ．

【0090】

学習プロセス

【0091】

ＣＮＮの学習プロセスは、大部分で従来型のニューラルネットワークのプロセスと同様である。従って、次のＵＲＬが全体的に引用される：
ｈｔｔｐｓ：／／ｆｕｔｕｒｉｓｍ．ｃｏｍ／ｈｏｗ－ｄｏ－ａｒｔｉｆｉｃｉａｌ－ｎｅｕｒａｌ－ｎｅｔｗｏｒｋｓ－ｌｅａｒｎ
従来ＣＮＮは、専ら画像中の対象物を認識するために使用されたが、本発明によればそのアーキテクチャを、より高い精度で対象物の色を分類するために使用する。

【符号の説明】

【0092】

１０ トレーニングスタート
１２ ステップ
１４ 画像パイプライン
１６ トレーニングアルゴリズム
１８ ステップ
２０ ステップ
２２ ブロック
２６ ステップ
２８ ステップ
３０ 画像
３２ ステップ
３４ 経路
３６ 経路
３８ ステップ
４０ 経路
４２ 経路
４４ ブロック
４６ ブロック
４８ 経路
５０ 経路
５２ ブロック
５４ 経路
５６ ブロック
５８ ブロック
６０ 経路
６２ ブロック
６４ 経路
６６ ブロック
６８ 経路
７０ ブロック
７２ ブロック
７４ ブロック
７６ ブロック
７８ ステップ
８０ 経路
８２ ブロック
８４ ブロック
８６ ブロック
８８ ブロック
９０ ブロック
９２ 経路
９４ ブロック
９６ ブロック
９８ 経路
１００ ブロック
１０２ 経路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【外国語明細書】