ホーム > 特許ランキング > ブランヴィヴォ リミテッド
知財求人 - 知財ポータルサイト「IP Force」
特表2024-505611一般的なコンテンツの脳反応モデルを使用した専門分野固有のコンテンツの分類
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-07
(54)【発明の名称】一般的なコンテンツの脳反応モデルを使用した専門分野固有のコンテンツの分類
(51)【国際特許分類】
G06Q 50/10 20120101AFI20240131BHJP
G06N 3/02 20060101ALI20240131BHJP
【ＦＩ】
G06Q50/10
G06N3/02
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023534244
(86)(22)【出願日】2021-12-27
(85)【翻訳文提出日】2023-06-05
(86)【国際出願番号】 IB2021062329
(87)【国際公開番号】W WO2022153120
(87)【国際公開日】2022-07-21
(31)【優先権主張番号】17/148,607
(32)【優先日】2021-01-14
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521229670
【氏名又は名称】ブランヴィヴォ リミテッド
(74)【代理人】
【識別番号】100086461
【弁理士】
【氏名又は名称】齋藤 和則
(72)【発明者】
【氏名】アサフ、ヤニフ
(72)【発明者】
【氏名】ホロヴィッツ、アサフ
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049CC11
(57)【要約】
コンテンツの分類方法は、特定の専門分野のカテゴリからのコンテンツ項目（２００）を受信し、各前記コンテンツ項目からそれぞれのフィーチャを抽出するステップを有する。人間の観察者によって実行される、特定の専門分野の前記コンテンツ項目のラベルが受信され、ラベルは、人間の観察者によって前記コンテンツ項目に割り当てられたそれぞれのカテゴリを示す。一般コンテンツ脳反応モデル（２１２）がアップロードされ、そのモデルは一般的コンテンツのデータベース（２０４）を提示された人間の脳の測定値を使用して推定され、一般的コンテンツのデータベースは、フィーチャを使用して定義され、フィーチャと脳アクティビティの間のマッピングを含む。モデルは抽出されたフィーチャに適用され、ラベルを使用して、特定の専門分野に対する脳反応を計算する。専門分野に関連付けられた新しいコンテンツ項目が与えられると、モデルと専門分野固有の脳反応に基づいて、新しいコンテンツ項目に最もよく一致するカテゴリが推定される。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
コンテンツの分類方法であって：、特定の専門分野の複数の事前定義されたカテゴリに属するコンテンツ項目のセットを受信し、前記特定の専門分野の各前記コンテンツ項目からそれぞれのフィーチャを抽出するステップと；
１人または複数の人間の観察者によって実行される、前記特定の専門分野の前記コンテンツ項目のラベルを受信するステップであって、前記ラベルは、前記コンテンツ項目ごとに、前記複数の事前定義されたカテゴリの中から前記１人または複数の人間の観察者によって前記コンテンツ項目に割り当てられたそれぞれのカテゴリを示す、ステップと；
一般的コンテンツのデータベースを提示された人間の脳の測定値を使用して推定された一般コンテンツ脳反応モデルをアップロードするステップであって、前記一般的コンテンツのデータベースは、前記フィーチャのセットを使用して定義され、前記フィーチャのセットと前記抽出された脳アクティビティのセットとの間のマッピングを含む、ステップと；
前記一般コンテンツ脳反応モデルを前記抽出されたフィーチャに適用し、前記ラベルを使用して、前記特定の専門分野に対する前記カテゴリごとの脳反応のセットを計算するステップと； そして
前記専門分野に関連付けられた新しいコンテンツ項目が与えられた時に、前記一般コンテンツ脳反応モデルと専門分野固有の脳反応に基づいて、前記複数の事前定義されたカテゴリの中から前記新しいコンテンツ項目に最もよく一致するカテゴリを推定するステップと；
を有することを特徴とするコンテンツの分類方法。
【請求項2】
前記カテゴリを推定するステップは：前記新しいコンテンツ項目から複数の前記フィーチャを抽出するステップと；
前記一般コンテンツ脳反応モデルを前記新しいコンテンツ項目から抽出された前記フィーチャに適用して、新しいコンテンツ脳反応を計算するステップと；そして
前記専門分野固有の脳反応のセットと前記新しいコンテンツ脳反応を使用して、前記新しいコンテンツ項目に最もよく一致する前記カテゴリを推定するステップと；
を有する、ことを特徴とする請求項１に記載のコンテンツの分類方法。
【請求項3】
前記カテゴリを推定するステップは、脳アクティビティ座標系において、前記新しいコンテンツ脳反応と前記専門分野固有の脳反応との間の距離のそれぞれのセットを推定し、そして前記ラベルを使用して、前記距離のセットに従って、前記新しいコンテンツ項目を前記事前定義されたカテゴリの１つに分類するステップを有する、ことを特徴とする請求項２に記載のコンテンツ分類方法。
【請求項4】
前記カテゴリを推定するステップは、前記新しいコンテンツ項目が前記所与のカテゴリのいずれかと同じラベルを有する確率のそれぞれのセットを計算し、そして計算された確率のセットに従って前記新しいコンテンツ項目を前記所定のカテゴリのうちの１つに分類するステップを有する、ことを特徴とする請求項１に記載のコンテンツ分類方法。
【請求項5】
前記フィーチャを抽出するステップは、抽出された前記フィーチャから、統計的に重要でないとみなされる１つ以上の所定のフィーチャを省略するステップを有する、ことを特徴とする請求項１～４のいずれかに記載のコンテンツ分類方法。
【請求項6】
前記抽出されたフィーチャは、色の濃淡、特徴的な空間周波数、コントラストレベル、および普及率のうちの少なくとも１つを有する、ことを特徴とする請求項１～４のいずれかに記載のコンテンツ分類方法。
【請求項7】
線形回帰および非線形回帰のうちの１つである統計モデルを使用して、前記一般コンテンツ脳反応モデルを導出するステップを有する、ことを特徴とする請求項１～４のいずれかに記載のコンテンツ分類方法。
【請求項8】
前記人間の脳の測定値が脳接続行列を含む、ことを特徴とする請求項１～４のいずれかに記載のコンテンツ分類方法。
【請求項9】
前記脳接続性行列は、脳コネクトームを形成するための脳組織の微細構造推定に基づく接続性行列の重みを有する、ことを特徴とする請求項８に記載のコンテンツ分類方法。
【請求項10】
前記人間の脳の測定値が、接続性関連行列と組み合わされた認知層に基づいてモデル化される、ことを特徴とする請求項１～４のいずれかに記載のコンテンツ分類方法。
【請求項11】
前記特定の分野の前記コンテンツ項目は半導体ダイの画像を含み、前記カテゴリは事前に定義された品質ビンであり、前記人間によるレビューによるラベルは各画像を事前定義された品質ビンの１つに属するダイを示すとして割り当てるステップを有する、ことを特徴とする請求項１～４のいずれかに記載のコンテンツ分類方法。
【請求項12】
当該ダイの画像が所定のビンの１つに属するダイを表すものとして分類された、半導体ダイの使用を決定するステップを有する、ことを特徴とする請求項１１に記載のコンテンツ分類方法。
【請求項13】
前記脳の測定は、解剖学的磁気共鳴画像法（ＭＲＩ）、拡散テンソル画像法（ＤＴＩ）、機能的ＭＲＩ（ｆＭＲＩ）、脳波図（ＥＥＧ）、脳磁図（ＭＥＧ）、赤外線イメージング、紫外線イメージング、コンピュータ断層撮影（ＣＴ）、脳マッピング超音波、生体内細胞データ、生体内分子データ、ゲノムデータ、および光学イメージングのうちの１つまたは複数によって実行される、ことを特徴とする請求項１～４のいずれかに記載のコンテンツ分類方法。
【請求項14】
前記ラベルは、一連のフレーム、画像、音声、触覚信号、匂い、味、および抽象的なコンテンツタイプのうちの少なくとも１つのラベルを有する、ことを特徴とする請求項１～４のいずれかに記載のコンテンツ分類方法。
【請求項15】
前記抽象的なコンテンツタイプは、感情であることを特徴とする請求項１４に記載のコンテンツ分類方法。
【請求項16】
前記フィーチャが第１の空間として表され、前記脳アクティビティの集合が第２の空間として表され、そして前記第１の空間と前記第２の空間の間の線形変換として前記一般コンテンツ脳反応モデルが定義される、ことを特徴とする請求項１～４のいずれかに記載のコンテンツ分類方法。
【請求項17】
コンテンツ分類装置であって、インタフェースとプロセッサとを有し、前記インタフェースは：
特定の専門分野の複数の事前定義されたカテゴリに属するコンテンツ項目のセットを受信し、前記特定の専門分野の各前記コンテンツ項目からそれぞれのフィーチャを抽出するステップと；
１人または複数の人間の観察者によって実行される、前記特定の専門分野の前記コンテンツ項目のラベルを受信するステップであって、前記ラベルは、前記コンテンツ項目ごとに、前記複数の事前定義されたカテゴリの中から前記１人または複数の人間の観察者によって前記コンテンツ項目に割り当てられたそれぞれのカテゴリを示す、ステップと；
を実行するように構成され、
前記プロセッサは：
一般的コンテンツのデータベースを提示された人間の脳の測定値を使用して推定された一般コンテンツ脳反応モデルをアップロードするステップであって、前記一般的コンテンツのデータベースは、前記フィーチャのセットを使用して定義され、前記フィーチャのセットと前記抽出された脳アクティビティのセットとの間のマッピングを含む、ステップと；
前記一般コンテンツ脳反応モデルを前記抽出されたフィーチャに適用し、前記ラベルを使用して、前記特定の専門分野に対する前記カテゴリごとの脳反応のセットを計算するステップと； そして
前記専門分野に関連付けられた新しいコンテンツ項目が与えられた時に、前記一般コンテンツ脳反応モデルと専門分野固有の脳反応に基づいて、前記複数の事前定義されたカテゴリの中から前記新しいコンテンツ項目に最もよく一致するカテゴリを推定するステップと；
を実行するように構成される、
ことを特徴とするコンテンツ分類装置。
【請求項18】
前記プロセッサは：前記新しいコンテンツ項目から複数の前記フィーチャを抽出するステップと；
前記一般コンテンツ脳反応モデルを前記新しいコンテンツ項目から抽出された前記フィーチャに適用して、新しいコンテンツ脳反応を計算するステップと；そして
前記専門分野固有の脳反応のセットと前記新しいコンテンツ脳反応を使用して、前記新しいコンテンツ項目に最もよく一致する前記カテゴリを推定するステップと；
により前記カテゴリを推定する、
ことを特徴とする請求項１７に記載のコンテンツ分類装置。
【請求項19】
前記プロセッサは、脳アクティビティ座標系において、前記新しいコンテンツ脳反応と前記専門分野固有の脳反応との間の距離のそれぞれのセットを推定し、そして前記ラベルを使用して、前記距離のセットに従って、前記新しいコンテンツ項目を前記事前定義されたカテゴリの１つに分類することにより、前記カテゴリを推定するように構成される、ことを特徴とする請求項１８に記載のコンテンツ分類装置。
【請求項20】
前記プロセッサは、前記新しいコンテンツ項目が前記所与のカテゴリのいずれかと同じラベルを有する確率のそれぞれのセットを計算し、そして計算された確率のセットに従って前記新しいコンテンツ項目を前記所定のカテゴリのうちの１つに分類することにより、前記カテゴリを推定するように構成される、ことを特徴とする請求項１７に記載のコンテンツ分類装置。
【請求項21】
前記プロセッサは、抽出された前記フィーチャから、統計的に重要でないとみなされる１つ以上の所定のフィーチャを省略することにより、前記フィーチャを抽出するように構成される、ことを特徴とする請求項１７～２０のいずれかに記載のコンテンツ分類装置。
【請求項22】
前記抽出されたフィーチャは、色の濃淡、特徴的な空間周波数、コントラストレベル、および普及率のうちの少なくとも１つを有する、ことを特徴とする請求項１７～２０のいずれかに記載のコンテンツ分類装置。
【請求項23】
前記プロセッサはさらに、線形回帰および非線形回帰のうちの１つである統計モデルを使用して、前記一般コンテンツ脳反応モデルを導出するように構成される、ことを特徴とする請求項１７～２０のいずれかに記載のコンテンツ分類装置。
【請求項24】
前記人間の脳の測定値が脳接続行列を含む、ことを特徴とする請求項１７～２０のいずれかに記載のコンテンツ分類装置。
【請求項25】
前記脳接続性行列は、脳コネクトームを形成するための脳組織の微細構造推定に基づく接続性行列の重みを有する、ことを特徴とする請求項２４に記載のコンテンツ分類装置。
【請求項26】
前記人間の脳の測定値が、接続性関連行列と組み合わされた認知層に基づいてモデル化される、ことを特徴とする請求項１７～２０のいずれかに記載のコンテンツ分類装置。
【請求項27】
前記特定の専門分野の前記コンテンツ項目は半導体ダイの画像を含み、前記カテゴリは事前に定義された品質ビンであり、前記人間によるレビューによるラベルは各画像を事前定義された品質ビンの１つに属するダイを示すとして割り当てるステップを有する、ことを特徴とする請求項１７～２０のいずれかに記載のコンテンツ分類装置。
【請求項28】
前記プロセッサはさらに、当該ダイの画像が所定のビンの１つに属するダイを表すものとして分類された、半導体ダイの使用を決定するように構成される、ことを特徴とする請求項２７に記載のコンテンツ分類装置。
【請求項29】
前記脳の測定は、解剖学的磁気共鳴画像法（ＭＲＩ）、拡散テンソル画像法（ＤＴＩ）、機能的ＭＲＩ（ｆＭＲＩ）、脳波図（ＥＥＧ）、脳磁図（ＭＥＧ）、赤外線イメージング、紫外線イメージング、コンピュータ断層撮影（ＣＴ）、脳マッピング超音波、生体内細胞データ、生体内分子データ、ゲノムデータ、および光学イメージングのうちの１つまたは複数によって実行される、ことを特徴とする請求項１７～２０のいずれかに記載のコンテンツ分類装置。
【請求項30】
前記ラベルは、一連のフレーム、画像、音声、触覚信号、匂い、味、および抽象的なコンテンツタイプのうちの少なくとも１つのラベルを有する、ことを特徴とする請求項１７～２０のいずれかに記載のコンテンツ分類装置。
【請求項31】
前記抽象的なコンテンツタイプは、感情であることを特徴とする請求項３０に記載のコンテンツ分類装置。
【請求項32】
前記フィーチャが第１の空間として表され、前記脳アクティビティの集合が第２の空間として表され、そして前記第１の空間と前記第２の空間の間の線形変換として前記一般コンテンツ脳反応モデルが定義される、ことを特徴とする請求項１７～２０のいずれかに記載のコンテンツ分類装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は一般に人工知能（ＡＩ）に関する。より具体的には、本発明は、脳反応モデルを使用して専門分野固有のコンテンツを自動分類するための技術を対象とする。
【背景技術】
【0002】
人間の脳とその基礎となる生物学的ニューラルネットワークは、少量のデータを処理して認知的分類を迅速に行う効率的な方法を備えている。したがって、人間の脳の反応を模倣できる機械学習（ＭＬ）アルゴリズムには、コンテンツを分類するために利用できる非常に限られたトレーニングに依存するなど、特別な利点がある可能性がある。
【0003】
たとえば、電子回路の欠陥検査の分野では、一部の検査作業は依然として人間の専門家によって手作業で実行されなければならない。その理由は、まれな欠陥などの欠陥を特定したり、欠陥の結果を決定したり（たとえば、特定の欠陥によるダイの廃棄）など、既存の自動検査技術では代替できない人間の専門家の能力が依然として存在するためである。
【0004】
別の例は健康診断の分野でも見られ、診断プロセスのほとんどが医療専門家によって手動で実行されている。診断用のＡＩモデルはより利用可能になる可能性があるが、データの収集、構造化、ラベル付けによってＡＩが医療システムの制御下で自律的なツールになることが制限されるため、人間の専門家が引き続き診断プロセスの一部となることが予想される。
【0005】
したがって、そのような人間による専門家のレビューに代わることができる自動化された目視検査技術が必要である。
【発明の概要】
【0006】
本明細書に記載の本発明の一実施形態は、特定の専門分野の複数の事前定義されたカテゴリに属するコンテンツ項目のセットを受信し、特定の専門分野の各コンテンツ項目からそれぞれのフィーチャを抽出するステップを有するコンテンツの分類方法を提供する。１人または複数の人間の観察者によって実行される、特定の専門分野のコンテンツ項目のラベルが受信され、そのラベルは、コンテンツ項目ごとに、複数の事前定義されたカテゴリの中から１人または複数の人間の観察者によってコンテンツ項目に割り当てられたそれぞれのカテゴリを示す。一般的コンテンツのデータベースを提示された人間の脳の測定値を使用して推定された一般コンテンツ脳反応モデルがアップロードされ、一般的コンテンツのデータベースは、フィーチャのセットを使用して定義され、フィーチャのセットと抽出された脳アクティビティのセットとの間のマッピングを含む。一般コンテンツ脳反応モデルが抽出されたフィーチャに適用され、ラベルを使用して、特定の専門分野に対するカテゴリごとの脳反応のセットが計算される。専門分野に関連付けられた新しいコンテンツ項目が与えられた時に、一般コンテンツ脳反応モデルと専門分野固有の脳反応に基づいて、複数の事前定義されたカテゴリの中から新しいコンテンツ項目に最もよく一致するカテゴリが推定される。
【0007】
幾つかの実施形態では、カテゴリを推定するステップは：（ａ）新しいコンテンツ項目から複数のフィーチャを抽出するステップと；（ｂ）一般コンテンツ脳反応モデルを新しいコンテンツ項目から抽出されたフィーチャに適用して、新しいコンテンツ脳反応を計算するステップと；そして（ｃ）専門分野固有の脳反応のセットと新しいコンテンツ脳反応を使用して、新しいコンテンツ項目に最もよく一致するカテゴリを推定するステップと；を有する．
幾つかの実施形態では、カテゴリを推定するステップは、脳アクティビティ座標系において、新しいコンテンツ脳反応と専門分野固有の脳反応との間の距離のそれぞれのセットを推定し、そしてラベルを使用して、距離のセットに従って、新しいコンテンツ項目を事前定義されたカテゴリの１つに分類するステップを有する。
一実施形態では、カテゴリを推定するステップは、新しいコンテンツ項目が所与のカテゴリのいずれかと同じラベルを有する確率のそれぞれのセットを計算し、そして計算された確率のセットに従って新しいコンテンツ項目を所定のカテゴリのうちの１つに分類するステップを有する．
幾つかの実施形態では、カテゴリを推定するステップは、脳アクティビティ座標系において、新しいコンテンツ脳反応と専門分野固有の脳反応との間の距離のそれぞれのセットを推定し、そしてラベルを使用して、距離のセットに従って、新しいコンテンツ項目を事前定義されたカテゴリの１つに分類するステップを有する。
一実施形態では、カテゴリを推定するステップは、新しいコンテンツ項目が所与のカテゴリのいずれかと同じラベルを有する確率のそれぞれのセットを計算し、そして計算された確率のセットに従って新しいコンテンツ項目を所定のカテゴリのうちの１つに分類するステップを有する．
【0008】
他の実施形態では、フィーチャを抽出するステップは、抽出されたフィーチャから、統計的に重要でないとみなされる１つ以上の所定のフィーチャを省略するステップを有する。
幾つかの実施形態では、抽出されたフィーチャは、色の濃淡、特徴的な空間周波数、コントラストレベル、および普及率のうちの少なくとも１つを有する。
幾つかの実施形態では、コンテンツの分類方法はさらに、線形回帰および非線形回帰のうちの１つである統計モデルを使用して、一般コンテンツ脳反応モデルを導出するステップを有する。
一実施形態では、人間の脳の測定値が脳接続行列を含む．
他の実施形態では、人間の脳の測定値が、接続性関連行列と組み合わされた認知層に基づいてモデル化される。
幾つかの実施形態では、特定の分野のコンテンツ項目は半導体ダイの画像を含み、カテゴリは事前に定義された品質ビンであり、人間によるレビューによるラベルは各画像を事前定義された品質ビンの１つに属するダイを示すとして割り当てるステップを有する。
幾つかの実施形態では、抽出されたフィーチャは、色の濃淡、特徴的な空間周波数、コントラストレベル、および普及率のうちの少なくとも１つを有する。
幾つかの実施形態では、コンテンツの分類方法はさらに、線形回帰および非線形回帰のうちの１つである統計モデルを使用して、一般コンテンツ脳反応モデルを導出するステップを有する。
一実施形態では、人間の脳の測定値が脳接続行列を含む．
他の実施形態では、人間の脳の測定値が、接続性関連行列と組み合わされた認知層に基づいてモデル化される。
幾つかの実施形態では、特定の分野のコンテンツ項目は半導体ダイの画像を含み、カテゴリは事前に定義された品質ビンであり、人間によるレビューによるラベルは各画像を事前定義された品質ビンの１つに属するダイを示すとして割り当てるステップを有する。
【0009】
幾つかの実施形態では、当該ダイの画像が所定のビンの１つに属するダイを表すものとして分類された、半導体ダイの使用を決定するステップを有する。
一実施形態では、脳の測定は、解剖学的磁気共鳴画像法（ＭＲＩ）、拡散テンソル画像法（ＤＴＩ）、機能的ＭＲＩ（ｆＭＲＩ）、脳波図（ＥＥＧ）、脳磁図（ＭＥＧ）、赤外線イメージング、紫外線イメージング、コンピュータ断層撮影（ＣＴ）、脳マッピング超音波、生体内細胞データ、生体内分子データ、ゲノムデータ、および光学イメージングのうちの１つまたは複数によって実行される。
幾つかの実施形態では、ラベルは、一連のフレーム、画像、音声、触覚信号、匂い、味、および抽象的なコンテンツタイプのうちの少なくとも１つのラベルを有する。
幾つかの実施形態では、抽象的なコンテンツタイプは、感情である。
一実施形態では、フィーチャが第１の空間として表され、脳アクティビティの集合が第２の空間として表され、そして第１の空間と第２の空間の間の線形変換として一般コンテンツ脳反応モデルが定義される。
一実施形態では、脳の測定は、解剖学的磁気共鳴画像法（ＭＲＩ）、拡散テンソル画像法（ＤＴＩ）、機能的ＭＲＩ（ｆＭＲＩ）、脳波図（ＥＥＧ）、脳磁図（ＭＥＧ）、赤外線イメージング、紫外線イメージング、コンピュータ断層撮影（ＣＴ）、脳マッピング超音波、生体内細胞データ、生体内分子データ、ゲノムデータ、および光学イメージングのうちの１つまたは複数によって実行される。
幾つかの実施形態では、ラベルは、一連のフレーム、画像、音声、触覚信号、匂い、味、および抽象的なコンテンツタイプのうちの少なくとも１つのラベルを有する。
幾つかの実施形態では、抽象的なコンテンツタイプは、感情である。
一実施形態では、フィーチャが第１の空間として表され、脳アクティビティの集合が第２の空間として表され、そして第１の空間と第２の空間の間の線形変換として一般コンテンツ脳反応モデルが定義される。
【0010】
本発明の他の一実施形態は、コンテンツ分類装置であって、インタフェースとプロセッサとを有する、コンテンツ分類装置を提供する。インタフェースは：（ｉ）特定の専門分野の複数の事前定義されたカテゴリに属するコンテンツ項目のセットを受信し、前記特定の専門分野の各前記コンテンツ項目からそれぞれのフィーチャを抽出するステップと；（ｉｉ）１人または複数の人間の観察者によって実行される、前記特定の専門分野の前記コンテンツ項目のラベルを受信するステップであって、前記ラベルは、前記コンテンツ項目ごとに、前記複数の事前定義されたカテゴリの中から前記１人または複数の人間の観察者によって前記コンテンツ項目に割り当てられたそれぞれのカテゴリを示す、ステップと；を実行するように構成され、プロセッサは：（ｉ）一般的コンテンツのデータベースを提示された人間の脳の測定値を使用して推定された一般コンテンツ脳反応モデルをアップロードするステップであって、一般的コンテンツのデータベースは、フィーチャのセットを使用して定義され、フィーチャのセットと抽出された脳アクティビティのセットとの間のマッピングを含む、ステップと；（ｉｉ）一般コンテンツ脳反応モデルを抽出されたフィーチャに適用し、ラベルを使用して、特定の専門分野に対するカテゴリごとの脳反応のセットを計算するステップと； そして（ｉｉｉ）専門分野に関連付けられた新しいコンテンツ項目が与えられた時に、一般コンテンツ脳反応モデルと専門分野固有の脳反応に基づいて、複数の事前定義されたカテゴリの中から新しいコンテンツ項目に最もよく一致するカテゴリを推定するステップと；を実行するように構成される。
【図面の簡単な説明】
【0011】
本発明は以下の図を参照した実施形態の詳細な説明からより完全に理解されよう：
【図1】本発明の一実施形態による、一般的な脳反応モデルとラベル付き脳反応の専門分野固有のデータベースを使用して、特定の専門分野に属する新しいコンテンツ項目を分類するように構成された装置を概略的に示すブロック図である。
【図2】本発明の一実施形態による、図１の装置の要素と、一般的な脳反応モデルを生成しそれを使用して図１のラベル付き脳反応のデータベースを導出するために適用される処理スキームと、を概略的に示す、フローチャートを伴うブロック図である。
【図4】本発明の一実施形態による、新しいコンテンツ項目を分類するために使用される、新しいコンテンツ項目の脳反応と、専門分野固有のラベル付き脳反応の分散との間の推定距離のセットの絵画的概略図である。
【発明を実施するための形態】
【0012】
（概要）
以下に説明する本発明の実施形態は、一般的な脳反応モデルを使用して所与の専門分野のコンテンツを分類するための装置および方法を提供する。専門分野の例には、半導体処理欠陥の検査が含まれるが、一般に、開示された技術は、他の適切な専門分野に関連するコンテンツの分類に使用することができる。コンテンツ項目は、例えば、（例えば、処理された半導体ダイの）画像を含むことができる。しかしながら、一般に、開示された技術は、音響ファイルであるコンテンツ項目など、他のタイプのコンテンツの分類に使用することができる。
以下に説明する本発明の実施形態は、一般的な脳反応モデルを使用して所与の専門分野のコンテンツを分類するための装置および方法を提供する。専門分野の例には、半導体処理欠陥の検査が含まれるが、一般に、開示された技術は、他の適切な専門分野に関連するコンテンツの分類に使用することができる。コンテンツ項目は、例えば、（例えば、処理された半導体ダイの）画像を含むことができる。しかしながら、一般に、開示された技術は、音響ファイルであるコンテンツ項目など、他のタイプのコンテンツの分類に使用することができる。
【0013】
一般に、開示された技術は、一般的な脳反応モデル（以下「裸の脳反応モデル」とも呼ばれる）を生成および使用して、必要な専門分野固有の脳反応を計算する。 一般的な脳反応モデルは、専門分野に特化したものではないという意味で、一般的、または裸のものである。一般的に言えば、裸の脳反応モデルは何千もの脳領域の反応で構成されており、各領域はコンテンツの異なる属性によって独自に活性化される。応答は、例えば、十分に大きな画像セットなど、専門分野に特化していないコンテンツデータベースを提示された人間の観察者の脳の機能的ＭＲＩスキャンから推定することができる。
【0014】
一般的な脳反応モデルは、以下「フィーチャ」と呼ぶ非常に多くの属性をカバーしている。 このカバレッジにより、特定の分野のコンテンツにさらされた人間の脳をスキャンして、モデルにコンテンツ固有の属性を追加する必要がなく、コンテンツ固有の脳反応のシミュレーションが可能になる。たとえば、グレーの色合いなどの特徴は、特定のコンテンツに対する脳の反応がグレーの色合いのフィーチャリストに新しいグレーの色合いを追加する必要がない程度まで、一般モデルによってカバーされる。
【0015】
特定の分類タスクについては、ラベル付き専門分野固有の脳反応のセットが計算される。その専門分野に属するがラベルが不明な新しいコンテンツ項目が与えられると、その脳の反応も計算される。
【0016】
統計分析を使用して、新しいコンテンツが属するカテゴリ（たとえば、そのラベル）は、たとえばマッピングされた応答を専門分野固有の脳反応のばらつきと比較することによって、プロセッサによって推定される。このようにして、専門分野の新しいコンテンツ項目を分類できる。以下で詳細に説明する裸の脳反応モデルは、通常、フィーチャの空間（コンテンツ項目を定義する）と、ｆＭＲＩ で抽出された脳振幅を含む脳アクティビティ空間との間の１つまたは複数のマッピング（たとえば、演算子）を含む。
【0017】
上で示したように、開示された技術は、特定の条件下で、十分に包括的な一般コンテンツを人間に提示し、その過程で脳をスキャンすることによって、一般的な脳反応モデルを構築できるという観察に基づいている。 その後、専門分野固有のラベル付きコンテンツ項目のデータベースを使用して、一般的な脳反応モデルをそれぞれの専門分野固有の脳反応を計算するために使用することができる。 専門分野固有の脳反応は、後で特定の専門分野の新しいコンテンツを分類するために使用できる。
【0018】
例えば、洗練された都市環境を捉えた一連の画像などの一般的なコンテンツのデータベースは、脳スキャン中に多数の人に提示される場合がある。ｆＭＲＩ スキャン、およびｆＭＲＩで抽出された脳反応を使用して、専門分野固有の画像 （電子回路など）に対する脳反応をシミュレートできる。
【0019】
したがって、開示された技術は、実際の人間の脳を利用して、新しいコンテンツを自動的に分類するために、多くの異なる専門分野における人間の専門家の能力をより厳密に（例えば、完全に人工的なモデルよりも近い）採用および模倣する「エキスパートマシン」を生成する。それにもかかわらず、この専門家のパフォーマンスは、ほとんどが裸の脳反応モデルの生成に非専門家を使用し、少数の専門分野固有の人間 （「専門家」） をラベル付けに使用することによって達成される。
【0020】
複雑な環境からのコンテンツを使用は、任意の同じ種類のコンテンツ（例： 画像）のフィーチャの十分に大きなセット Ｆ がカバー（例： サンプリング）されることを保証し、それはプロセスが、異なるシミュレートされた脳反応を生成し、その脳反応がそれぞれ異なる専門分野からのコンテンツを成功裏に分類するための基礎として機能するために総合的に充分である。実際、本発明者らは、そのようなフィーチャの「ユニバーサル」セット Ｆ を生成し、一般的な脳反応モデルを専門分野固有の脳反応分類問題に成功裏に適用できることを経験的に発見した。
【0021】
このようなフィーチャのユニバーサルセット Ｆ は、中でも画像のスペクトル分析およびフィーチャの卓越度を使用して得られた、例えば、幾何学形状、色、色合い、コントラスト、特徴的な空間周波数、などを含むことができる。フィーチャ抽出ステップには通常、平滑化、バイアス、拡張などの初期画像前処理ステップの実行が含まれる。
【0022】
特定の専門分野の複数のカテゴリの一例は、処理された半導体ダイの画像のカテゴリである。このような用途における専門分野は、半導体プロセスの欠陥の検査である。この例では、１人以上の熟練した人間の観察者がコンテンツにラベルを付け、各カテゴリには、同様の（例えば、同じビン）品質のダイを表すとラベル付き画像のみが含まれ、それに応じてカテゴリにラベルが付けられる。言い換えれば、異なるダイ品質を示すものとしてラベル付き異なる画像（つまり、異なるカテゴリビンに属するダイ）は、 Ｍ 個のラベルのセット Ｇ に対して異なるラベル Ｌｓ ∈ Ｇ， ｓ＝１，２，…Ｍ でそれぞれラベル付けされる。（たとえば、同じラベルが付された画像の各グループは、単一の事前定義されたラベル付き品質ビンに対応する）。
【0023】
したがって、いくつかの実施形態では、開示された技術の準備段階は２つのフェーズに分割される：
（ｉ） 最初の「ユニバーサル」フェーズでは、一般コンテンツデータベースのコンテンツを提示された人間の実際の脳スキャンが含まれる。統計モデルを使用して、「裸の」脳反応モデルが生成され、一般的なコンテンツを定義する「ユニバーサル」フィーチャセット Ｆ と脳反応振幅の１セット（すなわち、 Ｆ ）との間の最適変換が確立される。例えば、フィーチャのセットは、コンテンツ項目の各フィーチャベクトルにわたることによって、一般的なコンテンツを表す１つのフィーチャ空間を定義するものであり得る。
（ｉｉ） 専門分野固有のフェーズ。このフェーズでは、１人以上の人間の専門家が、特定の専門分野のコンテンツ項目を、その専門分野の事前定義されたカテゴリのグループ Ｇ の１つに属するものとしてラベル付けする。裸の脳反応モデルは、ラベル付きコンテンツ項目のカテゴリに従ってラベル付きコンテンツ項目に対する脳反応を計算するために適用され、それによって、その専門分野の人間の専門家の推定脳反応のデータベースが取得される。
（ｉ） 最初の「ユニバーサル」フェーズでは、一般コンテンツデータベースのコンテンツを提示された人間の実際の脳スキャンが含まれる。統計モデルを使用して、「裸の」脳反応モデルが生成され、一般的なコンテンツを定義する「ユニバーサル」フィーチャセット Ｆ と脳反応振幅の１セット（すなわち、 Ｆ ）との間の最適変換が確立される。例えば、フィーチャのセットは、コンテンツ項目の各フィーチャベクトルにわたることによって、一般的なコンテンツを表す１つのフィーチャ空間を定義するものであり得る。
（ｉｉ） 専門分野固有のフェーズ。このフェーズでは、１人以上の人間の専門家が、特定の専門分野のコンテンツ項目を、その専門分野の事前定義されたカテゴリのグループ Ｇ の１つに属するものとしてラベル付けする。裸の脳反応モデルは、ラベル付きコンテンツ項目のカテゴリに従ってラベル付きコンテンツ項目に対する脳反応を計算するために適用され、それによって、その専門分野の人間の専門家の推定脳反応のデータベースが取得される。
【0024】
一実施形態では、最初の準備フェーズ中に、プロセッサは、一般コンテンツデータベースの（デジタル化された）コンテンツのそれぞれから、前述の所定の「ユニバーサル」コンテンツセットに属するフィーチャセット（例えば、フィーチャベクトル）ｆ を抽出する（ ｆ ∈ Ｆ ）。 コンテンツ項目ごとに、フィーチャのセット ｆ ∈ Ｆ のそれぞれが異なる重みを指定する。これは、セット Ｆ のバイナリ（チェック済み／チェックなし）フィーチャとすることができる（つまり、一部のアプリケーションでは、 ｆ の一部のメンバーがヌル化され、使用されない）。
【0025】
裸の脳反応モデルは、後述するフィーチャ ｆｉ ∈ Ｆ と推定脳振幅 ｛Ａ｝ との間の線形関係など、一連の関係（方程式など）から構築できる。後者は「脳アクティビティマップ」とも呼ばれる：
式（１）
Ａｊ（Ｒｊ）＝Σ（ｉ＝１） ｎ αｉｊｆｉ ，１ ≦ ｊ ≦ ｋ
ここで、 Ａｊ（Ｒｊ） は、以下でさらに説明する脳領域 Ｒｊ の ｆＭＲＩ 抽出されたアクティビティであり、プロセッサはその後、たとえば線形回帰を実行することによって統計的に係数 αｉｊ を導き出す。
式（１）
Ａｊ（Ｒｊ）＝Σ（ｉ＝１） ｎ αｉｊｆｉ ，１ ≦ ｊ ≦ ｋ
ここで、 Ａｊ（Ｒｊ） は、以下でさらに説明する脳領域 Ｒｊ の ｆＭＲＩ 抽出されたアクティビティであり、プロセッサはその後、たとえば線形回帰を実行することによって統計的に係数 αｉｊ を導き出す。
【0026】
別の表現では、画像フィーチャのベクトル ｆ 、ｆ＝（ｆ１，ｆ２，…，ｆｎ） が、ｆＭＲＩ スキャン中に被験者に示された各画像に対して抽出され、そこからそれぞれの脳活性化フィーチャベクトル、 Ａ＝（Ａ１，Ａ２，…，Ａｋ） が抽出される。未知のマッピング：
は上記の式（１）では、係数 αｉｊ を使用する一組の線形関数によって推定されるが、本明細書では、画像のフィーチャを高次元（すなわち、ｋ ＞ ｎ ）の脳活性化空間にマッピングするものとして説明することができる。関数 Φ（ｆ）は、例えば、ｋ 個の線形関数のセットによって Φ（ｆ） をモデル化することにより、スーパーバイズドフィーチャラーニングを使用することによって推定することができる。即ち：
式（１´）
Ａｊ＝ｆＴβｊ
ここで、
である。
【数1-1】
式（１´）
Ａｊ＝ｆＴβｊ
ここで、
【数1-2】
【0027】
統計的に解かれた式（１）の関係はそれにより、関係の「最良適合」係数の集合を定義し、それは以下では、配列 ［αｉｊ
Ｆ，０］ として示される。これは、フィーチャ空間の任意のベクトルを脳アクティビティ空間内のそれぞれの脳アクティビティベクトルに変換する、前述のマッピング（例えば、演算子）としても記述することができる。
【0028】
式（１）の構造は、以下で説明するように、使用される基礎となる脳モデルと統計モデルによって異なることに注意が必要である。示されている方程式は、単に説明を簡単にするために例として提供されている。たとえば、一連の非線形関係で式（１）を置き換えることができる。
【0029】
したがって、より一般的には、以下 Ｓｔａｔ と呼ぶ統計アルゴリズム （特に、線形回帰または非線形回帰、または一般線形モデル （ＧＬＭ） など） は、抽出されたフィーチャと各画像に対するそれぞれ推定された脳の振幅との間の大量の関係式（式（１）の関係など）のセットを統計的に解いて、一般コンテンツ脳反応モデル（または演算子）を取得する：
式（２）
［αｉｊ Ｆ，０］＝Ｓｔａｔ（｛［αｉｊ Ｆ，０］｝ｆ∈Ｆ）
式（２）
［αｉｊ Ｆ，０］＝Ｓｔａｔ（｛［αｉｊ Ｆ，０］｝ｆ∈Ｆ）
【0030】
係数 ［αｉｊ
Ｆ，０］の配列 で記述されるこのモデル、または統計的に推定された演算子は、コンテンツ（画像など）がアプリケーション固有ではないという意味で、まだ「裸」または暗示的であり、従って抽出されたフィーチャのセットは実際の分類標的を表さない。
【0031】
上記の裸の脳反応モデルの次元は例としてのみ示されており、実際の次元は使用される基礎となる脳モデルの複雑さ（解剖学的、機能的など）に応じて変化しうる。同時に、正確な数学的記述に関係なく、十分に包括的な（たとえば、大規模なデータベースの）一般的コンテンツにより、使用される任意の裸の脳反応モデルが「完全」であることが保証される（たとえば、係数 ［αｉｊ
Ｆ，０］ はデータベースの拡大の影響を受けない）。
【0032】
上で述べたように、前述のエキスパートマシン（例えば、専門分野固有の脳反応のデータベース）を構築するために、プロセッサは、それぞれがそれぞれのラベル Ｌｓ∈Ｇ を有する、（デジタル化された）コンテンツ項目の専門分野固有のセットをアップロードする。各ラベル付きカテゴリには、 Ｎｓ 個のコンテンツ項目が含まれると想定される。プロセッサは、専門分野固有のコンテンツ項目のそれぞれから、前述の事前定義されたフィーチャのユニバーサルセットのフィーチャのサブセット Ｆｄｓ、 Ｆｄｓ⊆Ｆ を抽出する。サブセット Ｆｄｓ は、事前定義されたセット Ｆ と同一にすることも、より小さい最適化されたサブセットにすることもできる。例えば、白黒画像の表示の検出または受信の場合、抽出されたフィーチャのサブセットは同じセットであるが、グレー以外の色合い（例えば、赤の色合い）については重みがゼロである可能性がある。別の例として、ｆｄｓ および／または ｆ の要素は、それぞれ集合 Ｆｄｓ および／または Ｆ のバイナリ（チェック済み／未チェック）フィーチャとすることができる。あるいは、サブセットサイズを縮小してグレーの階調のみを構成することもできる。つまり、他の色の無効な階調を処理しないことでメモリスペースを節約し、計算量を削減できる。
【0033】
いずれにしても、各専門分野固有のコンテンツについて、フィーチャ ｆｄｓ∈Ｆｄｓ のそれぞれのベクトル ｆｄｓ の非ゼロ要素（つまり、重み）は、コンテンツ項目間で異なる。
【0034】
フィーチャセット Ｆｄｓ の抽出には、上記と同様の前処理ステップが含まれ、前述のフィーチャセット Ｆ のより小さなフィーチャサブセット Ｆｄｓ への縮小の可能性に加えて、モデルを特定のアプリケーション（例：グレースケール画像コンテンツに基づく画像分類）に最適化する。
【0035】
次に、プロセッサは、裸の脳反応モデル ［αｉｊ
Ｆ，０］ （フィーチャ ｆｉ∈Ｆ に関して脳反応振幅を指定する）を再適用し、カテゴリ Ｌｓ∈Ｇ ごとにラベル付き専門分野固有の脳反応を計算する：
式（３）
｛［αｉｊ Ｆ，０］ｆｄｓ｝ｆｄｓ∈Ｆｄｓ，Ｌｓ∈Ｇ
一実施形態では、式（３）によって与えられる専門分野固有の脳反応のセットは、脳反応空間におけるベクトルの散乱として説明できる。
式（３）
｛［αｉｊ Ｆ，０］ｆｄｓ｝ｆｄｓ∈Ｆｄｓ，Ｌｓ∈Ｇ
一実施形態では、式（３）によって与えられる専門分野固有の脳反応のセットは、脳反応空間におけるベクトルの散乱として説明できる。
【0036】
分類を必要とする、いまだ未知のラベル ｘ∈Ｇ を有する新しいコンテンツ項目が与えられた場合（たとえば、処理された半導体ダイの新しい画像が与えられた場合）、その新しいコンテンツ項目は、その専門分野の複数のカテゴリの１つに属すると想定される。したがって、プロセッサは新しいコンテンツ項目のフィーチャセット（たとえば、フィーチャベクトル） ｆｎｃ∈ Ｆｄｓ を抽出する。
【0037】
次に、プロセッサは脳反応モデルを新しいコンテンツ項目に適用して、新しいコンテンツの脳反応を計算する：
式（４）
｛［αｉｊ Ｆ，０］ｆｎｃ
ここで、上で述べたように、ｆｎｃ ∈ Ｆｄｓ は、新しいコンテンツの抽出されたフィーチャセットである。 新しいコンテンツが、半導体欠陥の画像の拡張セットのような、同じコンテンツのフィーチャセット ｆｎｃ ∈ Ｆν ⊆ Ｆｄｓ を生成する（たとえば、拡張によって）、同じコンテンツ項目の異なる「ビュー」のセットである場合、新しいコンテンツの脳反応は統計的に次のようにリファインできる：
式（５）
Ｓｔａｔ（｛［αｉｊ Ｆ，０］ｆｎｃ｝ｆｎｃ，∈Ｆν）
式（４）
｛［αｉｊ Ｆ，０］ｆｎｃ
ここで、上で述べたように、ｆｎｃ ∈ Ｆｄｓ は、新しいコンテンツの抽出されたフィーチャセットである。 新しいコンテンツが、半導体欠陥の画像の拡張セットのような、同じコンテンツのフィーチャセット ｆｎｃ ∈ Ｆν ⊆ Ｆｄｓ を生成する（たとえば、拡張によって）、同じコンテンツ項目の異なる「ビュー」のセットである場合、新しいコンテンツの脳反応は統計的に次のようにリファインできる：
式（５）
Ｓｔａｔ（｛［αｉｊ Ｆ，０］ｆｎｃ｝ｆｎｃ，∈Ｆν）
【0038】
カテゴリごとに専門分野固有のコンテンツ項目が Ｎｓ 個あるため、これらの脳反応の平均：
式（６）
は、脳アクティビティの座標系におけるラベルの位置の推定値を与える。
式（６）
【数6】
【0039】
別の表現では、特定の専門分野からの仮定されたラベル付きデータセットは、
｛ｆ ，Ｌｓ｝ｓ＝１ Ｍ として書くことができる。ここで、ｓ ∈ Ｇ であり、カテゴリのセット Ｇ に Ｍ個のカテゴリがあると仮定している。一部のアプリケーションでは ｆ の一部のメンバーがヌル化されて使用されないため、そのような削減されたフィーチャベクトルは上記で ｆｄｓ として示されることに再度注意が必要である。
｛ｆ ，Ｌｓ｝ｓ＝１ Ｍ として書くことができる。ここで、ｓ ∈ Ｇ であり、カテゴリのセット Ｇ に Ｍ個のカテゴリがあると仮定している。一部のアプリケーションでは ｆ の一部のメンバーがヌル化されて使用されないため、そのような削減されたフィーチャベクトルは上記で ｆｄｓ として示されることに再度注意が必要である。
【0040】
同じカテゴリ （つまり、クラス） に属する脳の活性化は平均され、平均は次のように表される：
式（６´）
新しいフィーチャベクトル ｆｎｃ の予測は、
とそれぞれの平均値
の間の類似性に基づいて行われる。
式（６´）
【数6B】
【数6B-1】
【数6B-2】
【0041】
上記の説明では、その後、プロセッサは類似性テストなどの統計テストを適用するか、またはいくつかの実施形態では、ベクトル ［αｉｊ
Ｆ，０］ｆｎｃ とそれぞれのラベルごとの平均ベクトルとの間の内積を計算し、未知のラベル ｘ がラベル Ｌｓ∈Ｇ である確率を生成する：
式（７）
グローバル正規化係数まで。
式（７）
【数7】
【0042】
より一般的には、類似性は、新しいコンテンツ脳反応 ［αｉｊ
Ｆ，０］ｆｎｃ とラベル付き散乱 ｛［αｉｊ
Ｆ，０］ｆｄｓ｝ｆｄｓ∈Ｆｄｓ，Ｌｓ∈ との間の距離を計算することによって推定できる。 Ｌ１ またはヘリンジャー距離などの他の距離を類似性の推定に使用できる。
【0043】
内積が使用される場合、ラベルを使用して、プロセッサは確率分布とその分布に適用される分類基準に従ってコンテンツを分類する。 例えば、プロセッサは、分類の結果とし
て最も可能性の高いラベルを選択することができる。より一般的には、プロセッサは、以下でさらに説明するように、マッピングされた新しいコンテンツとマッピングされたラベル付きコンテンツとの間の類似性のレベルに従ってコンテンツを分類する。
て最も可能性の高いラベルを選択することができる。より一般的には、プロセッサは、以下でさらに説明するように、マッピングされた新しいコンテンツとマッピングされたラベル付きコンテンツとの間の類似性のレベルに従ってコンテンツを分類する。
【0044】
いくつかの実施形態では、プロセッサはさらに、分類に基づいて決定を出力する。たとえば、プロセッサは、事前に指定された合格基準を使用して、分類に基づいて半導体ダイを不合格にし、そのダイを社内の根本原因分析に導く決定を下すことができる。
【0045】
感情、口調などの非視覚的な専門分野を含む、非常に異なる専門分野のコンテンツを分類するために、コンテンツ前処理のステップには、開示された技術を使用してさらなる分析を行うためにコンテンツタイプ間でコンテンツを変換することが含まれる場合がある。たとえば、前処理には、オーディオファイルを画像に符号化することが含まれる場合がある。
【0046】
あるいは、非視覚的カテゴリに属するコンテンツは、オーディオに関して、ラウドネスレベル、および特徴的な音の周波数など、定義された関連するフィーチャの独自のタイプのデータベースを有することもできる。しかしながら、本発明者らは、プロセッサが、代わりに異なる前処理ステップを実行するようにプログラムできること、例えば、オーディオ情報を視覚情報に符号化し、検証可能な方法で視覚コンテンツの抽出されたフィーチャを使用できることを発見した。同様に、匂いや抽象的なコンテンツタイプ（例えば、感情）などの他の非視覚的コンテンツタイプも、開示された技術を使用して、多次元視覚スケールにうまく符号化され、分類することができる。
【0047】
（装置の説明）
図１は、本発明の一実施形態による、一般脳反応モデル２１２とラベル付き脳反応の専門分野固有データベース２００を使用して、特定の専門分野に属する新しいコンテンツ項目１０２を分類するように構成された装置１０を概略的に示すブロック図である。 専門分野固有の新しいコンテンツ項目１０２は、例えば、処理された半導体ダイの画像であり得る。
図１は、本発明の一実施形態による、一般脳反応モデル２１２とラベル付き脳反応の専門分野固有データベース２００を使用して、特定の専門分野に属する新しいコンテンツ項目１０２を分類するように構成された装置１０を概略的に示すブロック図である。 専門分野固有の新しいコンテンツ項目１０２は、例えば、処理された半導体ダイの画像であり得る。
【0048】
装置１０がその意図された使用を実行するために、装置１０のメモリ１１２はデータベース２００を保持する。データベース２００は、図２で説明されるように、事前に計算されたカテゴリごとの、ラベル付き脳反応は：
｛［αｉｊ Ｆ，０］ｆｄｓ｝ｆｄｓ∈Ｆｄｓ，Ｌｓ∈
である。換言すれば、プロセッサ１１０は、メモリ１１２内にその専門分野の「エキスパートマシン」を保持する。
｛［αｉｊ Ｆ，０］ｆｄｓ｝ｆｄｓ∈Ｆｄｓ，Ｌｓ∈
である。換言すれば、プロセッサ１１０は、メモリ１１２内にその専門分野の「エキスパートマシン」を保持する。
【0049】
デジタル化モジュール１０４は、新しいコンテンツ１０２を、装置１０への入力のために、以下デジタル画像と呼ばれるデジタルデータセットにデジタル化する。デジタル画像は、（例えば、ネットワークを介して、またはローカル通信リンクを介して）装置１０のプロセッサ１１０に通信されうる。デジタル画像はメモリ１１２に記憶され得る。
【0050】
プロセッサ１１０のフィーチャ抽出モジュール１２２は、フィーチャ認識アルゴリズムを実行して、新しいコンテンツ１０２からそれぞれの新しいコンテンツフィーチャセット（例えば、フィーチャベクトル） ｆｎｃ を抽出する。通常、フィーチャ抽出モジュール１２２は、フィーチャベクトル ｆｎｃ の抽出を支援するため、特定の専門分野のコンテンツでの使用に適した、前述の前処理ステップのうちの１つまたは複数を含み得る。
【0051】
プロセッサ１１０は、フィーチャベクトル ｆｎｃ を乗算モジュール１２４に入力し、乗算モジュール１２４は、新しいコンテンツ、 ［αｉｊ
Ｆ，０］ｆｎｃ の脳反応モデルを導出する。この段階では、新しいコンテンツには前述のいまだ未知のラベル ｘ∈Ｇ が付いている。入力を受け取ると、統計的テストモジュール１２５は、ラベル付きマッピングされた脳反応
｛［αｉｊ Ｆ，０］ｆｄｓ｝ｆｄｓ∈Ｆｄｓ，Ｌｓ∈
に対するマッピングされた脳反応データ点（例えばベクトル）
［αｉｊ Ｆ，０］ｆｎｃ
を推計し、ここで、これらはすべて脳アクティビティ空間内のベクトル、またはより一般的には、図４に示すように脳アクティビティ座標系内のデータ点になりうる。続いて、統計的テストモジュール１２５は、例えば式（７）を用いて、ベクトルの内積を計算することにより、類似性検定を実行し、人間の専門家が新しいコンテンツ１０２をカテゴリ Ｌｓ に属するものとして分類およびラベル付けしたであろう確率 ｐ ＝ ｐｓ、 ｘ ＝ Ｌｓ を計算する。より一般的には、以下で説明するように、２つのセットは、図４に示すような推定距離のセットを使用して類似性チェックを受ける。
｛［αｉｊ Ｆ，０］ｆｄｓ｝ｆｄｓ∈Ｆｄｓ，Ｌｓ∈
に対するマッピングされた脳反応データ点（例えばベクトル）
［αｉｊ Ｆ，０］ｆｎｃ
を推計し、ここで、これらはすべて脳アクティビティ空間内のベクトル、またはより一般的には、図４に示すように脳アクティビティ座標系内のデータ点になりうる。続いて、統計的テストモジュール１２５は、例えば式（７）を用いて、ベクトルの内積を計算することにより、類似性検定を実行し、人間の専門家が新しいコンテンツ１０２をカテゴリ Ｌｓ に属するものとして分類およびラベル付けしたであろう確率 ｐ ＝ ｐｓ、 ｘ ＝ Ｌｓ を計算する。より一般的には、以下で説明するように、２つのセットは、図４に示すような推定距離のセットを使用して類似性チェックを受ける。
【0052】
すべてのラベルをカバーするために、統計的テストモジュール１２５は（時間論理は図示せず）カテゴリ Ｌｓ∈Ｇ ごとの脳反応の専門分野固有のセットの全ての格納されたセット２００を呼び出し、新しいコンテンツ項目１０２が専門分野固有のコンテンツのラベル付きセットの１つに属する確率分布を生成する。
【0053】
コンテンツ分類器１２６は、ラベルが付けられ、選択肢として等級付けされた確率分布を含む結果１５０を用意する。この目的のために、コンテンツ分類器１２６は、最大確率のラベル、最小距離を選択するなど、事前定義された基準を適用することができる。コンテンツ分類器１２６は、結果に応じた決定を、例えばユーザディスプレイ（図示せず）に出力する。
【0054】
例えば、処理された半導体ダイの画像の場合、結果はモジュール１２６によって３つの選択肢に制限されうる。ダイが「良好」ビンに属するとラベル付けされる９７％の確率、ダイが「許容」ビンに属するとラベル付けされる２％の確率、ダイは「不合格」ビンに属するものとしてラベル付けされるべき１％の確率。 この決定は、例えば、「不合格」ビンに許容される最大確率として０．１％の基準を有し、上記の分類に基づいてダイを拒否し、ダイを根本原因分析のために人間の検査に移す、メモリ１１２に記憶された基準に基づきうる。
【0055】
プロセッサ１１０は、リモートプログラム／ユーザからのクエリ、または例えばタッチスクリーンを使用するユーザによる選択／クエリなどの通信およびユーザインターフェース１１４を使用して、ローカルまたはリモートで関与することができる。
【0056】
様々な実施形態において、図１に示される装置の異なる電子要素は、１つ以上の個別コンポーネント、１つ以上の特定用途向け集積回路（ＡＳＩＣ）および／または１つ以上のフィールド プログラマブル ゲート アレイ （ＦＰＧＡ）の使用など、適切なハードウェアを使用して実装され得る。開示されたプロセッサ、ユニット、およびモジュールの機能の一部、例えば、プロセッサ１１０およびそのモジュール１２２～１２６の一部またはすべての機能は、１つまたは複数の汎用プロセッサで実装することができ、これらのプロセッサは、本明細書に記載の処理を実行するようにソフトウェアでプログラムされる。ソフトウェアは、例えば、ネットワークを介して、またはホストから電子形式でプロセッサにダウンロードすることができ、あるいは、代替的または追加的に、磁気、光学、磁気媒体などの非一過性有形媒体または電子メモリ上に提供および／または保存することもできる。特に、プロセッサ１１０は、以下でさらに説明するように、図３を含めて本明細書に開示される専用アルゴリズムをプロセッサ１１０が実行できるようにする、専用アルゴリズムを実行する。
【0057】
（コンテンツ固有のラベル付き脳反応セットの生成）
図２は、本発明の一実施形態による、図１の装置１０の要素（１２２、１２４）と、一般的な脳反応モデル２１２を生成し、それを使用して図１のラベル付き脳反応データベース２００を導出するために適用される処理スキームと、を概略的に示す、フローチャートを伴うブロック図である。
図２は、本発明の一実施形態による、図１の装置１０の要素（１２２、１２４）と、一般的な脳反応モデル２１２を生成し、それを使用して図１のラベル付き脳反応データベース２００を導出するために適用される処理スキームと、を概略的に示す、フローチャートを伴うブロック図である。
【0058】
示されている処理は ２つのフェーズに分かれている：
（ｉ）フェーズ２０１では、実際の脳スキャンを行い、統計モデル２２２を使用して、一般コンテンツ脳反応モデル ［αｉｊ Ｆ，０］ （２１２） を生成する。それはコンテンツデータベース２０４のフィーチャとｆＭＲＩ抽出脳振幅のそれぞれのセット２１１を結ぶ。
（ｉｉ）フェーズ２０２では、一般コンテンツ脳反応モデル２１２を適用して、
カテゴリ Ｌｓ∈Ｇ ごとの脳反応 ｛［αｉｊ Ｆ，０］ｆｄｓ｝ｆｄｓ∈Ｆｄｓ，Ｌｓ∈ の専門分野固有のセット、またはデータベース２２４の専門分野固有のコンテンツ（例えば、半導体ダイの各ラベル付き画像）のフィーチャのベクトルｆｄｓ ２２６を計算する。このようにして、予測または分類の人間の脳の力が、複数の専門分野のエキスパートマシンをモデル化するために利用される。
（ｉ）フェーズ２０１では、実際の脳スキャンを行い、統計モデル２２２を使用して、一般コンテンツ脳反応モデル ［αｉｊ Ｆ，０］ （２１２） を生成する。それはコンテンツデータベース２０４のフィーチャとｆＭＲＩ抽出脳振幅のそれぞれのセット２１１を結ぶ。
（ｉｉ）フェーズ２０２では、一般コンテンツ脳反応モデル２１２を適用して、
カテゴリ Ｌｓ∈Ｇ ごとの脳反応 ｛［αｉｊ Ｆ，０］ｆｄｓ｝ｆｄｓ∈Ｆｄｓ，Ｌｓ∈ の専門分野固有のセット、またはデータベース２２４の専門分野固有のコンテンツ（例えば、半導体ダイの各ラベル付き画像）のフィーチャのベクトルｆｄｓ ２２６を計算する。このようにして、予測または分類の人間の脳の力が、複数の専門分野のエキスパートマシンをモデル化するために利用される。
【0059】
提示された実施形態によれば、データベース２００の生成には、デジタル化コンテンツのデータベース２０４を受信することから始まるプロセスを実行するために装置１０によって使用されるアルゴリズムが含まれる。デジタル化コンテンツの例を２つ挙げれば、複雑な都市環境を捉えた、および／または種々の人間の活動やジェスチャーなどの他の複雑な環境を捉えた、カラー画像のセットがある。
【0060】
図１のフィーチャ抽出モジュール１２２を使用して、プロセッサ１１０は、各コンテンツ（すなわち、デジタル化された画像）から、事前定義されたフィーチャセット２０６ Ｆ＝（ｆ１、ｆ２、…、ｆｋ） に属するフィーチャ（黒塗りの円）を抽出する。このような抽出には通常、前処理およびパターン認識の予備ステップが含まれる。
【0061】
上で示したように、コンテンツごとにベクトル （ｆ１、ｆ２、…、ｆｋ） のフィーチャの一部がチェックされ、一部はチェックされず、コンテンツが特定の項目を表すフィーチャベクトル ｆｃｏｎｔｅｎｔ を生成する。たとえば、グレースケール画像では色のフィーチャがチェックされず、直線と直角のみを含む対象の画像で欠落している円弧など、一部の幾何学的フィーチャがチェックされている場合とチェックされていない場合がある。
【0062】
プロセッサ１１０はさらに、データベース２０４のコンテンツが提示された人の脳の機能的ＭＲＩ（ｆＭＲＩ）画像を含むｆＭＲＩデータ（２０８）のそれぞれのデータベースを受信する。データ２０８はｆＭＲＩデータとして提示されるが、脳波（ＥＥＧ）、脳磁図（ＭＥＧ）、赤外線画像、紫外線画像、コンピュータ断層撮影（ＣＴ）、超音波画像、生体内細胞データ、生体内分子データ、ゲノムデータ、または光学イメージングなどの他のタイプのものであってもよい。
【0063】
活性化され得る脳領域および／または脳の神経経路のマップなど、事前に指定された脳モデルを使用して、パターン認識モジュール２１０は、脳の測定値から、人間に提示された画像ごとの脳反応振幅２１３のセット２１１それぞれの脳モデルを生成する（たとえば、そのようなデータをモデルに記入する）。ここで脳反応振幅２１３は、例えば、式（１）の脳アクティビティ振幅 Ａｊ（Ｒｊ） を含む。
【0064】
数学的には、医療画像およびその他の測定ツールによる、特定の脳領域および／または神経経路（後者は「脳コネクトーム」とも呼ばれる）の活性化のモデル化は、一般的な人間の脳反応モデルであるｆＭＲＩの行列のセットを置き換えることによって実現できる。提示されたコンテンツのフィーチャに相関する応答値を抽出して脳アクティビティマップを生成し、前述の一般コンテンツ脳反応モデル（演算子）の設定振幅 Ａｊ（Ｒｊ） を提供する。
【0065】
示される実施形態では、ｆＭＲＩで抽出された脳振幅のセット２１１（例えば、脳アクティビティマップのセット２１３）は、脳領域（Ｒ１、Ｒ２、…、Ｒｋ）ごとの反応のグレーレベル値を含むことが示されている。脳アクティビティの振幅（例えば、灰色の陰影のバーコード）は、例えば、各脳領域 Ｒｊ のアクティビティの振幅を示す数値インデックスを与えるｍ－ビットスケールを使用し、一方で（別の配列（図示せず）では、脳領域間の相互作用（例えば、カップリング）を考慮する（つまり、コネクトームに従って重み付けされ、そして例えば、対角要素が脳領域の値を表す、一般人脳反応モデルの行列、のセットの非対角要素として表される）ことにより、活性化のレベルを示しうる。
【0066】
したがって、統計モデル２２２は、抽出されたフィーチャのベクトル ｆｃｏｎｔｅｎｔ を脳反応振幅２１３のそれぞれの配列に変換し、そして式（１）～（２）を使用して一般コンテンツ脳反応モデル ［αｉｊ
Ｆ，０］ （２１２）を生成する際に使用するために演算子をメモリに記憶するために、最良適合の裸の脳反応モデル２１２（すなわち、最良適合演算子 ［αｉｊ
Ｆ，０］ ）を統計的に導出する（例えば、多次元回帰を使用する）。
【0067】
フェーズ２０２では、１人以上の専門家が専門分野固有のコンテンツのセット２２４をレビューし、ラベルを付ける（２２８）。たとえば、コンテンツが加工された半導体ダイの画像であれば、そのような専門家は欠陥検査技術者でありうる。専門家は、事前定義された可能なラベルのグループ Ｇ＝（Ｌ１，Ｌ２， …， Ｌｍ） から任意のラベルを選択できる。ラベルの事前定義されたグループには、例えば、Ｌ１＝「最高ビン」（例えば完全にクリーンなダイ）、Ｌ２＝「高ビン」、Ｌ３＝「中ビン」、Ｌ４＝「低ビン」、Ｌ５＝「最低ビン」、およびＬ６＝「拒否」などのラベルが含まれる場合がある。ここで、一般に、レビューおよびラベル付けプロセス２２８の結果は、セット２３０ Ｇ＝（Ｌ１，Ｌ２， …， Ｌｍ）のすべてのラベルをカバーする必要がある。
【0068】
並行して、プロセッサ１１０は、フィーチャ抽出モジュール１２２を使用してセット２２４から専門分野固有のコンテンツ、専門分野固有のフィーチャのそれぞれのサブセット２２６を抽出する。
【0069】
このステップでは、推定された裸のモデル２１２は、適用された専門分野固有のフィーチャのサブセット２２６
であり、各ラベル Ｌｓ∈Ｇ ごとの計算を使用して、カテゴリ Ｌｓ ごとのラベル付き専門分野固有の脳反応
｛［αｉｊ Ｆ，０］ｆｄｓ｝ｆｄｓ∈Ｆｄｓ，Ｌｓ∈ を得る。
であり、各ラベル Ｌｓ∈Ｇ ごとの計算を使用して、カテゴリ Ｌｓ ごとのラベル付き専門分野固有の脳反応
｛［αｉｊ Ｆ，０］ｆｄｓ｝ｆｄｓ∈Ｆｄｓ，Ｌｓ∈ を得る。
【0070】
図１に戻り、まだ分類されていない、専門分野の新しいコンテンツ項目、たとえばいまだ未知のラベル ｘ∈Ｇ があり、フィーチャセット ｆｎｃ を持つと仮定すると、一般コンテンツ脳反応モデル２１２が、式（４）を使用して、新しいコンテンツに対する脳の反応を計算するために適用される。次に、統計的テストモジュール１２５は、上述したように、ラベル ｘ がラベル Ｌｓ∈Ｇ の１つであるカテゴリごとの確率を出力する。
【0071】
したがって、図１の結果１５０は、新しいコンテンツ（例えば専門分野からの新しい画像）のラベルの確率分布 ｐ＝ （p１，p２，…，ｐｍ）であり、そのラベルは、ラベル（Ｌ１，Ｌ２， …， Ｌｍ）の１つであるか、または ｘ＝Ｌｓ である確率 ｐ＝ ｐｓ である。このような確率は、たとえば式（７）を使用して計算できる。
【0072】
半導体ダイの例の場合、図１の結果１５０は、上にリストされたラベル（Ｌ１，Ｌ２， …， Ｌ6）の１つである新しい画像のラベルの確率分布 ｐ＝ （p１，p２，…，ｐ６）でありうる。
【0073】
その後、例えば、確率振幅の閾値処理やラベルごとの発生率レベルなどの許容基準に基づいて、確率分布が意思決定プロセス（例えば、画像化されたダイがハイエンドの用途に適しているか、ローエンドの用途に適しているか、または破棄する必要があるか、を決定する商業的決定など）に変換される。
【0074】
（新しいコンテンツを分類する方法）
図３は、本発明の一実施形態による、図１の装置１０を使用して特定の専門分野に属する新しいコンテンツ項目を分類する方法を概略的に示すフローチャートである。本実施形態によるアルゴリズムは、装置１０のメモリ１１２に格納された、一般コンテンツの脳反応モデル２１２と、カテゴリごとにラベル付き専門分野固有の脳反応２００とを使用するプロセスを実行する。新しいコンテンツの一例は、半導体加工欠陥を検出するために検査装置によって撮影された加工済み半導体ダイの前述の画像である。
図３は、本発明の一実施形態による、図１の装置１０を使用して特定の専門分野に属する新しいコンテンツ項目を分類する方法を概略的に示すフローチャートである。本実施形態によるアルゴリズムは、装置１０のメモリ１１２に格納された、一般コンテンツの脳反応モデル２１２と、カテゴリごとにラベル付き専門分野固有の脳反応２００とを使用するプロセスを実行する。新しいコンテンツの一例は、半導体加工欠陥を検出するために検査装置によって撮影された加工済み半導体ダイの前述の画像である。
【0075】
プロセスは、専門分野固有コンテンツのアップロードステップ３０２から始まり、プロセッサ１１０は、半導体処理欠陥検査などの特定の専門分野の異なるカテゴリ Ｌｓ∈Ｇ としてラベル付きの、複数のコンテンツ項目をアップロードする。各カテゴリは、良性欠陥のラベルから重大な欠陥のラベルまでの範囲の異なるラベル Ｌｓ を有する。詳細には、コンテンツのカテゴリの１つは、「ゴールデン ダイ」（つまり欠陥のないダイの画像）の参照画像、であってもよい。コンテンツはすでにデジタル形式になっているものとする。
【0076】
次に、専門分野固有のフィーチャ抽出ステップ３０４で、プロセッサ１１０のフィーチャ抽出モジュール１２２が前処理を実行し、フィーチャベクトル ｆｄｓ ∈ Ｆｄｓ のそれぞれのセットを抽出し、メモリ１１２に格納する。
【0077】
次に、裸の脳反応モデルのアップロードステップ３０６で、プロセッサ１１０はメモリ１１２から裸の脳反応モデル２１２、 ［αｉｊ
Ｆ，０］ をアップロードする。
【0078】
次に、専門分野固有脳反応の計算ステップ３０８で、ラベル付き（２３０）フィーチャベクトル ｆｄｓ ∈ Ｆｄｓ のセットを使用して、プロセッサ１１０によってベアモデル２１２が適用され、脳反応
｛［αｉｊ Ｆ，０］ｆｄｓ｝ｆｄｓ∈Ｆｄｓ，Ｌｓ∈ が計算される、すなわち、当該専門分野の前述のエキスパートマシンデータベース２００内で。
｛［αｉｊ Ｆ，０］ｆｄｓ｝ｆｄｓ∈Ｆｄｓ，Ｌｓ∈ が計算される、すなわち、当該専門分野の前述のエキスパートマシンデータベース２００内で。
【0079】
新しいコンテンツのフィーチャ抽出ステップ３１０において、いまだ未知のラベル ｘ ∈ Ｇ を有する新しいコンテンツ項目が与えられると（例えば、処理された半導体ダイの新しい画像が与えられると）、プロセッサ１１０は新しいコンテンツ項目からフィーチャベクトル ｆｎｃ ∈ Ｆｄｓ を抽出する。
【0080】
新しいコンテンツマッピングステップ３１２で、式（４）を使用して、新しいコンテンツに対する脳反応 ［αｉｊ
Ｆ，０］ｆｎｃ を計算する。
【0081】
ラベル付けステップ３１４で、例えば式(７)を含む統計検定を使用して、プロセッサ１１０は、 ｘ ＝ Ｌｓ である確率 ｐ ＝ ｐｓ を生成する。具体的には、式（７）を使用して、プロセッサ１１０は、モジュール１２５を用いて、ベクトル ［αｉｊ
Ｆ，０］ｆｎｃ の脳アクティビティ空間における ［αｉｊ
Ｆ，０］ｆｄｓ 方向の成分を計算する。
【0082】
最後に、分類ステップ３１６で、プロセッサ１１０のモジュール１２６は、確率分布Ｐおよび他の事前に指定された分類基準（例えば、図４に示す前述の距離のセット）に基づいて新しいコンテンツ項目を分類する（例えば、最も確率の高いラベル、または最適に適合するラベルに分類する。）
【0083】
図３のフローチャートは、単に明確化のために例として挙げたものである。図３によって説明される検査プロセスはウェハダイについて例示されているが、ＰＣＢの回路などの他の電子回路も同様の方法で検査することができる。開示された方法の図３に示された例は特定の専門分野のものであるが、この方法は必要な変更を加えて、工学から心理学、法執行機関からエンターテイメントに至るまでの多数の専門分野に構築および適用することができる。
【0084】
図４は、本発明の一実施形態による、新しいコンテンツ項目を分類するために使用される、新しいコンテンツ項目の脳反応４１０と、専門分野固有のラベル付き脳反応の分散との間の推定距離４０４のセットの絵画的概略図である。
【0085】
見られるように、新しいコンテンツのデータポイント４１０は、脳反応のラベル付きセット４０２から異なる距離（例えば、Ｌ１ 距離）を有し、Ｌ２ ラベル付きセット４０２からの距離 ｄ２ がこれらの最小値であり、 Ｌ４ ラベル付きセット４０２からの距離 ｄ４ が最大値である。
【0086】
一実施形態では、プロセッサ１１０は、新しいコンテンツにラベルＬ２を付ける。別の実施形態では、プロセッサ１１０は、距離 ｄ１、ｄ２、…、ｄｓ、…、ｄｍ の逆数に基づいて確率分布を生成し、距離から導出された確率分布に従って、確率を有するラベル Ｌ１、Ｌ２、…、Ｌｓ、…、Ｌｍ でデータ点４１０にラベルを付ける。
【0087】
図４の図は、単に明確化のために例として挙げたものである。追加のステップを実行することもできるが、簡単にするために省略している。例えば、一実施形態では、散乱４０２のそれぞれが最初に単一のデータ点に平均化され、平均値間の距離が計算される。図４に示す例は、多くの専門分野で構築および適用できる。
【0088】
したがって、上述の実施形態は例として引用したものであり、本発明は特に上に図示し説明したものに限定されないことが理解されるであろう。むしろ、本発明の範囲は、上記の様々な特徴の組み合わせおよびサブ組合せの両方、ならびに上記の説明を読んで当業者に想起される、従来技術には開示されていないそれらの変形および修正が含まれる。
【図1】
【図2】
【図3】
【図4】
【国際調査報告】