特許 7460949 カテゴリ識別プログラム、カテゴリ識別装置及びカテゴリ識別方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-26

(45)【発行日】2024-04-03

(54)【発明の名称】カテゴリ識別プログラム、カテゴリ識別装置及びカテゴリ識別方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240327BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 22

(21)【出願番号】P 2020042133

(22)【出願日】2020-03-11

(65)【公開番号】P2021144423

(43)【公開日】2021-09-24

【審査請求日】2022-12-26

(73)【特許権者】

【識別番号】506301140

【氏名又は名称】公立大学法人会津大学

(74)【代理人】

【識別番号】100094525

【弁理士】

【氏名又は名称】土井 健二

(74)【代理人】

【識別番号】100094514

【弁理士】

【氏名又は名称】林 恒徳

(72)【発明者】

【氏名】岡 嶐一

(72)【発明者】

【氏名】畠 圭佑

(72)【発明者】

【氏名】橋本 康弘

(72)【発明者】

【氏名】奥山 祐市

【審査官】堀井 啓明

(56)【参考文献】

【文献】特開２００９－２１２６０５（ＪＰ，Ａ）

【文献】特開２０１７－４５３３１（ＪＰ，Ａ）

【文献】国際公開第２００８／００１８８９（ＷＯ，Ａ１）

【文献】特開２００５－２２２１３８（ＪＰ，Ａ）

【文献】特開２０００－３０６１９１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ １０／００－２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

撮像装置から対象物までの距離値を各ピクセルに対応付けて有する画像データに基づいて、前記対象物のカテゴリを複数のカテゴリから識別する処理をコンピュータに実行させるカテゴリ識別プログラムであって、
複数の画像データに含まれる複数のピクセルごとに、各ピクセルに対応するカテゴリの入力を受け付け、
前記カテゴリの入力を受け付けた前記複数のピクセルのそれぞれを、各ピクセルの特徴に基づいて多次元空間に分布し、
前記多次元空間における前記複数のピクセルの位置に基づいて、前記複数のピクセルのそれぞれを複数のクラスタに分割し、
前記複数のクラスタごとに、各クラスタに含まれるピクセルのそれぞれに対応する前記距離値の平均値及び標準偏差を算出し、
新たな画像データの入力を受け付け、
入力を受け付けた前記新たな画像データに含まれる第１ピクセルの特徴に基づいて、前記第１ピクセルに対応する第１クラスタを前記複数のクラスタから特定し、
特定した前記第１クラスタに対応する前記平均値及び前記標準偏差と、前記第１ピクセルに対応する第１距離値とに基づいて、前記第１ピクセルに対応するカテゴリを特定する、
処理をコンピュータに実行させることを特徴とするカテゴリ識別プログラム。

【請求項2】

請求項１において、
前記複数のピクセルを分布する処理では、
前記複数のピクセルごとに、各ピクセルを含むｋ（ｋは１以上の整数）×ｋのサイズのピクセル群を、前記複数の画像データのうちの各ピクセルを含む画像データから抽出し、
前記複数のピクセルのそれぞれに対応する前記ピクセル群に含まれるｋ×ｋ個の近傍ピクセルごとに、各近傍ピクセルの色情報を示すＲＧＢ値に含まれるＲ値、Ｇ値及びＢ値に対応する点を、各次元が前記ピクセル群に含まれる前記近傍ピクセルごとの前記Ｒ値、前記Ｇ値及び前記Ｂ値に対応する３×ｋ×ｋ次元空間に分布する、
ことを特徴とするカテゴリ識別プログラム。

【請求項3】

請求項２において、
前記複数のクラスタに分割する処理では、前記複数のピクセルのそれぞれをｋ－ｍｅａｎｓ法を用いることによって前記複数のクラスタに分割する、
ことを特徴とするカテゴリ識別プログラム。

【請求項4】

請求項３において、
前記第１クラスタを特定する処理では、
前記複数のクラスタのうち、前記第１ピクセルの前記ＲＧＢ値との関係が以下の式（１）を満たすクラスタのうち、以下の式（２）の値が最小になるクラスタを前記第１クラスタとして特定し、

【数1】

【数2】

前記式（１）及び前記式（２）において、ｒは、前記第１ピクセルの前記Ｒ値であって、ｇは、前記第１ピクセルの前記Ｇ値であって、ｂは、前記第１ピクセルの前記Ｂ値であり、ｒ_ｉは、前記複数のクラスタのうちのｉ番目のクラスタにおけるセントロイドに対応する前記Ｒ値であり、ｇ_ｉは、前記セントロイドに対応する前記Ｇ値であり、ｂ_ｉは、前記セントロイドに対応する前記Ｂ値であり、εは、所定の閾値である、
ことを特徴とするカテゴリ識別プログラム。

【請求項5】

請求項４において、
前記平均値及び標準偏差を算出する処理では、各クラスタに含まれるピクセルのそれぞれに対応する前記距離値の平均値及び標準偏差の算出を、前記複数のカテゴリのそれぞれに対応するピクセルごとに行い、
前記カテゴリを特定する処理では、
前記複数のカテゴリのうち、以下の式（３）の値が最小になるカテゴリを、前記第１ピクセルに対応するカテゴリとして特定し、

【数3】

前記式（３）において、ｄは、前記第１距離値であり、μ_ｊは、前記ｉ番目のクラスタと前記複数のカテゴリのうちのｊ番目のカテゴリとに対応する前記平均値であり、σ_ｊは、前記ｉ番目のクラスタと前記ｊ番目のカテゴリとに対応する前記標準偏差である、
ことを特徴とするカテゴリ識別プログラム。

【請求項6】

請求項５において、
前記カテゴリを特定する処理では、
前記複数のカテゴリのうち、前記第１クラスタに対応する前記平均値との関係が以下の式（４）とを満たすカテゴリを、前記第１ピクセルに対応するカテゴリとして特定し、

【数4】

前記式（４）において、ｈは、所定の閾値である、
ことを特徴とするカテゴリ識別プログラム。

【請求項7】

請求項１において、
前記複数のピクセルを分布する処理では、前記複数のピクセルごとに、各ピクセルのＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量に対応する点を、各次元が前記ＳＩＦＴ特徴量における各特徴に対応する１２８次元空間または２５６次元空間に分布する、
ことを特徴とするカテゴリ識別プログラム。

【請求項8】

請求項１において、
前記平均値及び標準偏差を算出する処理では、
前記複数のクラスタごとに、各クラスタに含まれるピクセルのそれぞれに対応するカテゴリのうち、対応するピクセルの数が最も多い最多カテゴリを特定し、
前記カテゴリを特定する処理では、前記第１クラスタに対応する前記最多カテゴリが以下の式（５）を満たす場合、前記第１クラスタに対応する前記最多カテゴリを、前記第１ピクセルに対応するカテゴリとして特定し、

【数5】

前記式（５）において、ｄは、前記第１距離値であり、ｍ_ｃは、前記第１クラスタと前記最多カテゴリであるｃ番目のカテゴリとに対応する前記平均値であり、σ_ｃ ^２は、前記第１クラスタと前記ｃ番目のカテゴリとに対応する前記標準偏差の２乗であり、ｈは、所定の閾値である、
ことを特徴とするカテゴリ識別プログラム。

【請求項9】

請求項１において、
前記第１クラスタを特定する処理と前記カテゴリを特定する処理は、前記新たな画像データのうちの部分画像データに含まれる複数のピクセルのそれぞれについて行われ、さらに、
前記部分画像データに含まれる複数のピクセルのそれぞれに対応するカテゴリのうち、対応するピクセルの数が最も多いカテゴリを、前記部分画像データに対応するカテゴリとして特定する、
処理をコンピュータに実行させることを特徴とするカテゴリ識別プログラム。

【請求項10】

撮像装置から対象物までの距離値を各ピクセルに対応付けて有する画像データに基づいて、前記対象物のカテゴリを複数のカテゴリから識別する処理をコンピュータに実行させるカテゴリ識別プログラムであって、
複数の画像データに含まれる複数のピクセルごとに、各ピクセルに対応するカテゴリの入力を受け付け、
前記カテゴリの入力を受け付けた前記複数のピクセルのそれぞれを、各ピクセルの特徴に基づいて多次元空間に分布し、
前記多次元空間に含まれる格子点ごとに、各格子点を中心とした多胞体を前記多次元空間において特定し、
前記多次元空間に含まれる格子点ごとに、前記複数のピクセルのうち、各格子点に対応する前記多胞体に含まれるピクセルを特定し、
前記多次元空間に含まれる格子点ごとに、特定した前記多胞体に含まれるピクセルのそれぞれに対応するカテゴリのうち、対応するピクセルの数が最も多い最多カテゴリを特定し、
新たな画像データの入力を受け付け、
入力を受け付けた前記新たな画像データに含まれる第１ピクセルが有する特徴に基づいて、前記第１ピクセルに対応する第１格子点を前記多次元空間に含まれる格子点から特定し、
特定した前記第１格子点に対応する前記最多カテゴリを、前記第１ピクセルに対応するカテゴリとして特定する、
処理をコンピュータに実行させることを特徴とするカテゴリ識別プログラム。

【請求項11】

請求項１０において、さらに、
各格子点に対応する前記多胞体に含まれるピクセルについての前記距離値の平均値及び標準偏差を、前記複数のカテゴリのそれぞれに対応するピクセルごとに行う処理をコンピュータに実行させ、
前記多次元空間に含まれる格子点ごとに、各格子点の前記多胞体に含まれるピクセルのそれぞれに対応するカテゴリのうち、対応するピクセルの数が最も多い最多カテゴリを特定し、
前記カテゴリを特定する処理では、前記第１格子点に対応する前記最多カテゴリが以下の式（５）を満たす場合、前記第１格子点に対応する前記最多カテゴリを前記第１ピクセルに対応するカテゴリとして特定し、

【数6】

前記式（５）において、ｄは、前記第１ピクセルに対応する第１距離値であり、ｍ_ｃは、前記第１格子点と前記最多カテゴリであるｃ番目のカテゴリとに対応する前記平均値であり、σ_ｃ ^２は、前記第１格子点と前記ｃ番目のカテゴリとに対応する前記標準偏差の２乗であり、ｈは、所定の閾値である、
ことを特徴とするカテゴリ識別プログラム。

【請求項12】

請求項１０において、
前記第１格子点を特定する処理と前記カテゴリを特定する処理は、前記新たな画像データのうちの部分画像データに含まれる複数のピクセルのそれぞれについて行われ、さらに、
前記部分画像データに含まれる複数のピクセルのそれぞれに対応するカテゴリのうち、対応するピクセルの割合が最も大きいカテゴリを、前記部分画像データに対応するカテゴリとして特定する、
処理をコンピュータに実行させることを特徴とするカテゴリ識別プログラム。

【請求項13】

撮像装置から対象物までの距離値または各ピクセルの色情報を示すＲＧＢ値を各ピクセルに対応付けて有する画像データに基づいて、前記対象物のカテゴリを複数のカテゴリから識別する処理をコンピュータに実行させるカテゴリ識別プログラムであって、
学習用の画像データに含まれる複数のピクセルごとに、各ピクセルに対応するカテゴリの入力を受け付け、
前記カテゴリの入力を受け付けた前記複数のピクセルに含まれる２つのピクセルの組合せごとに、各組合せに含まれるピクセルの前記距離値または前記ＲＧＢ値の相関値を算出し、
前記複数のピクセルに含まれる２つのピクセルの組合せごとの前記相関値に基づいて、前記複数のピクセルのそれぞれを複数のクラスタに分割し、
前記複数のピクセルごとに、各ピクセルを含む組合せのそれぞれに対応する前記相関値からなる第１相関値群を特定し、
新たな画像データの入力を受け付け、
入力を受け付けた前記新たな画像データを構成する複数のピクセルに含まれる２つのピクセルの組合せごとに、各組合せに対応する前記相関値を算出し、
前記新たな画像データを構成する複数のピクセルごとに、各ピクセルを含む組合せのそれぞれに対応する前記相関値からなる第２相関値群を特定し、
前記学習用の画像データと前記新たな画像データとの間において、前記第１相関値群と前記第２相関値群との差異が所定以下であるピクセルの組合せを特定し、
特定した前記組合せごとに、各組合せに含まれるピクセルのうち、前記学習用の画像データに含まれるピクセルに対応するカテゴリを、各組合せに含まれるピクセルのうち、前記新たな画像データに含まれるピクセルに対応するカテゴリとして特定する、
処理をコンピュータに実行させることを特徴とするカテゴリ識別プログラム。

【請求項14】

請求項１３において、さらに、
前記新たな画像データを構成する前記複数のピクセルに含まれる２つのピクセルの組合せごとの前記相関値に基づいて、前記新たな画像データを構成する複数のピクセルのそれぞれを複数のクラスタに分割し、
前記新たな画像データを構成する複数のピクセルのそれぞれを分割した複数のクラスタごとに、各クラスタに含まれるピクセルのうち、前記差異が所定以下である組合せに含まれるピクセルを特定する処理をコンピュータに実行させ、
前記カテゴリを特定する処理では、前記新たな画像データを構成する複数のピクセルのそれぞれを分割した複数のクラスタごとに、特定した前記ピクセルのそれぞれに対応するカテゴリのうちの最も多くのピクセルに対応するカテゴリを、各クラスタに対応するカテゴリとして特定する、
ことを特徴とするカテゴリ識別プログラム。

【請求項15】

請求項１３において、
前記複数のクラスタに分割する処理では、前記複数のピクセルのそれぞれをｋ－ｍｅａｎｓ法を用いることによって前記複数のクラスタに分割する、
ことを特徴とするカテゴリ識別プログラム。

【請求項16】

請求項１３において、
前記複数のクラスタに分割する処理では、前記複数のピクセルのそれぞれをスペクトラムクラスタリング方とｋ－ｍｅａｎｓ法とを用いることによって前記複数のクラスタに分割する、
ことを特徴とするカテゴリ識別プログラム。

【請求項17】

撮像装置から対象物までの距離値を各ピクセルに対応付けて有する画像データに基づいて、前記対象物のカテゴリを複数のカテゴリから識別するカテゴリ識別装置であって、
複数の画像データに含まれる複数のピクセルごとに、各ピクセルに対応するカテゴリの入力を受け付けるカテゴリ受付部と、
前記カテゴリの入力を受け付けた前記複数のピクセルのそれぞれを、各ピクセルの特徴に基づいて多次元空間に分布するピクセル分布部と、
前記多次元空間における前記複数のピクセルの位置に基づいて、前記複数のピクセルのそれぞれを複数のクラスタに分割するクラスタ分割部と、
前記複数のクラスタごとに、各クラスタに含まれるピクセルのそれぞれに対応する前記距離値の平均値及び標準偏差を算出する指標算出部と、
新たな画像データの入力を受け付ける画像受付部と、
入力を受け付けた前記新たな画像データに含まれる第１ピクセルの特徴に基づいて、前記第１ピクセルに対応する第１クラスタを前記複数のクラスタから特定するクラスタ特定部と、
特定した前記第１クラスタに対応する前記平均値及び前記標準偏差と、前記第１ピクセルに対応する第１距離値とに基づいて、前記第１ピクセルに対応するカテゴリを特定するカテゴリ特定部と、を有する、
ことを特徴とするカテゴリ識別装置。

【請求項18】

撮像装置から対象物までの距離値を各ピクセルに対応付けて有する画像データに基づいて、前記対象物のカテゴリを複数のカテゴリから識別するカテゴリ識別装置であって、
複数の画像データに含まれる複数のピクセルごとに、各ピクセルに対応するカテゴリの入力を受け付けるカテゴリ受付部と、
前記カテゴリの入力を受け付けた前記複数のピクセルのそれぞれを、各ピクセルの特徴に基づいて多次元空間に分布するピクセル分布部と、
前記多次元空間に含まれる格子点ごとに、各格子点を中心とした多胞体を前記多次元空間において特定し、前記多次元空間に含まれる格子点ごとに、前記複数のピクセルのうち、各格子点に対応する前記多胞体に含まれるピクセルを特定するピクセル特定部と、
前記多次元空間に含まれる格子点ごとに、特定した前記多胞体に含まれるピクセルのそれぞれに対応するカテゴリのうち、対応するピクセルの数が最も多い最多カテゴリを特定する最多カテゴリ特定部と、
新たな画像データの入力を受け付ける画像受付部と、
入力を受け付けた前記新たな画像データに含まれる第１ピクセルが有する特徴に基づいて、前記第１ピクセルに対応する第１格子点を前記多次元空間に含まれる格子点から特定する格子点特定部と、
特定した前記第１格子点に対応する前記最多カテゴリを、前記第１ピクセルに対応するカテゴリとして特定するカテゴリ特定部と、を有する、
ことを特徴とするカテゴリ識別装置。

【請求項19】

撮像装置から対象物までの距離値または各ピクセルの色情報を示すＲＧＢ値を各ピクセルに対応付けて有する画像データに基づいて、前記対象物のカテゴリを複数のカテゴリから識別するカテゴリ識別装置であって、
学習用の画像データに含まれる複数のピクセルごとに、各ピクセルに対応するカテゴリの入力を受け付けるカテゴリ受付部と、
前記カテゴリの入力を受け付けた前記複数のピクセルに含まれる２つのピクセルの組合せごとに、各組合せに含まれるピクセルの前記距離値または前記ＲＧＢ値の相関値を算出する相関値算出部と、
前記複数のピクセルに含まれる２つのピクセルの組合せごとの前記相関値に基づいて、前記複数のピクセルのそれぞれを複数のクラスタに分割するクラスタ分割部と、
前記複数のピクセルごとに、各ピクセルを含む組合せのそれぞれに対応する前記相関値からなる第１相関値群を特定する相関値群特定部と、
新たな画像データの入力を受け付ける画像受付部と、を有し、
前記相関値算出部は、入力を受け付けた前記新たな画像データを構成する複数のピクセルに含まれる２つのピクセルの組合せごとに、各組合せに対応する前記相関値を算出し、
前記相関値群特定部は、前記新たな画像データを構成する複数のピクセルごとに、各ピクセルを含む組合せのそれぞれに対応する前記相関値からなる第２相関値群を特定し、さらに、
前記学習用の画像データと前記新たな画像データとの間において、前記第１相関値群と前記第２相関値群との差異が所定以下であるピクセルの組合せを特定する組合せ特定部と、
特定した前記組合せごとに、各組合せに含まれるピクセルのうち、前記学習用の画像データに含まれるピクセルに対応するカテゴリを、各組合せに含まれるピクセルのうち、前記新たな画像データに含まれるピクセルに対応するカテゴリとして特定するカテゴリ特定部と、を有する、
ことを特徴とするカテゴリ識別装置。

【請求項20】

撮像装置から対象物までの距離値を各ピクセルに対応付けて有する画像データに基づいて、前記対象物のカテゴリを複数のカテゴリから識別するカテゴリ識別方法であって、
複数の画像データに含まれる複数のピクセルごとに、各ピクセルに対応するカテゴリの入力を受け付け、
前記カテゴリの入力を受け付けた前記複数のピクセルのそれぞれを、各ピクセルの特徴に基づいて多次元空間に分布し、
前記多次元空間における前記複数のピクセルの位置に基づいて、前記複数のピクセルのそれぞれを複数のクラスタに分割し、
前記複数のクラスタごとに、各クラスタに含まれるピクセルのそれぞれに対応する前記距離値の平均値及び標準偏差を算出し、
新たな画像データの入力を受け付け、
入力を受け付けた前記新たな画像データに含まれる第１ピクセルの特徴に基づいて、前記第１ピクセルに対応する第１クラスタを前記複数のクラスタから特定し、
特定した前記第１クラスタに対応する前記平均値及び前記標準偏差と、前記第１ピクセルに対応する第１距離値とに基づいて、前記第１ピクセルに対応するカテゴリを特定する、
処理をコンピュータに実行させることを特徴とするカテゴリ識別方法。

【請求項21】

撮像装置から対象物までの距離値を各ピクセルに対応付けて有する画像データに基づいて、前記対象物のカテゴリを複数のカテゴリから識別するカテゴリ識別方法であって、
複数の画像データに含まれる複数のピクセルごとに、各ピクセルに対応するカテゴリの入力を受け付け、
前記カテゴリの入力を受け付けた前記複数のピクセルのそれぞれを、各ピクセルの特徴に基づいて多次元空間に分布し、
前記多次元空間に含まれる格子点ごとに、各格子点を中心とした多胞体を前記多次元空間において特定し、
前記多次元空間に含まれる格子点ごとに、前記複数のピクセルのうち、各格子点に対応する前記多胞体に含まれるピクセルを特定し、
前記多次元空間に含まれる格子点ごとに、特定した前記多胞体に含まれるピクセルのそれぞれに対応するカテゴリのうち、対応するピクセルの数が最も多い最多カテゴリを特定し、
新たな画像データの入力を受け付け、
入力を受け付けた前記新たな画像データに含まれる第１ピクセルが有する特徴に基づいて、前記第１ピクセルに対応する第１格子点を前記多次元空間に含まれる格子点から特定し、
特定した前記第１格子点に対応する前記最多カテゴリを、前記第１ピクセルに対応するカテゴリとして特定する、
処理をコンピュータに実行させることを特徴とするカテゴリ識別方法。

【請求項22】

撮像装置から対象物までの距離値または各ピクセルの色情報を示すＲＧＢ値を各ピクセルに対応付けて有する画像データに基づいて、前記対象物のカテゴリを複数のカテゴリから識別する処理をコンピュータに実行させるカテゴリ識別プログラムであって、
学習用の画像データに含まれる複数のピクセルごとに、各ピクセルに対応するカテゴリの入力を受け付け、
前記カテゴリの入力を受け付けた前記複数のピクセルに含まれる２つのピクセルの組合せごとに、各組合せに含まれるピクセルの前記距離値または前記ＲＧＢ値の相関値を算出し、
前記複数のピクセルに含まれる２つのピクセルの組合せごとの前記相関値に基づいて、前記複数のピクセルのそれぞれを複数のクラスタに分割し、
前記複数のピクセルごとに、各ピクセルを含む組合せのそれぞれに対応する前記相関値からなる第１相関値群を特定し、
新たな画像データの入力を受け付け、
入力を受け付けた前記新たな画像データを構成する複数のピクセルに含まれる２つのピクセルの組合せごとに、各組合せに対応する前記相関値を算出し、
前記新たな画像データを構成する複数のピクセルごとに、各ピクセルを含む組合せのそれぞれに対応する前記相関値からなる第２相関値群を特定し、
前記学習用の画像データと前記新たな画像データとの間において、前記第１相関値群と前記第２相関値群との差異が所定以下であるピクセルの組合せを特定し、
特定した前記組合せごとに、各組合せに含まれるピクセルのうち、前記学習用の画像データに含まれるピクセルに対応するカテゴリを、各組合せに含まれるピクセルのうち、前記新たな画像データに含まれるピクセルに対応するカテゴリとして特定する、
処理をコンピュータに実行させることを特徴とするカテゴリ識別方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像データに含まれる対象物のカテゴリを識別するカテゴリ識別プログラム、カテゴリ識別装置及びカテゴリ識別方法に関し、より詳細には、カメラ等の撮像装置（以下、単にカメラとも呼ぶ）から対象物までの距離値を各ピクセルに対応付けて有する画像データを用いることにより、対象物のカテゴリを識別するカテゴリ識別プログラム、カテゴリ識別装置及びカテゴリ識別方法に関する。

【背景技術】

【0002】

近年、車両やドローン等（以下、単に車両等とも呼ぶ）の移動物体に、外界を撮影するカメラが搭載される場合がある。そして、このようなカメラによって撮像された動画データから距離情報の取得を行う方法が既に提案されている。

【0003】

具体的に、特許文献１には、任意の方向に移動するカメラ（例えば、１台のカメラ）によって撮影された動画データを用いることによって、対象物からカメラまでの距離を算出する方法が記載されている。

【0004】

また、上記のような対象物のカテゴリの識別についても、既にいくつかの方法が提案されている。例えば、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）による画像識別が典型である。

【0005】

具体的に、このような方法では、例えば、ＲＧＢの画像データからなる学習データを入力層に入力し、その画像データに対応するカテゴリ（例えば、人手によって予め指定されたカテゴリ）の情報を出力層に入力させることにより、誤差逆伝番播法（Ｂａｃｋ－Ｐｒｏｐａｇａｔｉｏｎ）という方法で階層間のノードの結合係数値を変化させて学習モデルの生成を行う。そして、未知の画像データに対応するカテゴリの識別を行う場合、未知の画像データを入力層から入力することによって出力層から出力される最大値に対応するカテゴリを、その未知の画像データに対応するカテゴリとして識別する。

【0006】

さらに、ディープラーニングでは、例えば、画像データにおいて部分的に存在する部分画像データを識別する方法であるセマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｒｇｍｅｎｔａｔｉｏｎ）が既に提案されている。この方法は、例えば、画像データの一部に映る対象物を背景から切り離して識別を行う方法である。

【0007】

ただし、上記のようなセマンティックセグメンテーションでは、学習段階において小さな領域の画像データ（学習データ）を拡大して学習させるため、学習段階と識別段階とで大きさが異なる対象物については、十分な精度の識別を行うことが難しいという問題がある。

【0008】

また、非特許文献１及び非特許文献２に記載されているように、例えば、ディープラーニング以外の識別方法であるＢｏＦ（Ｂａｇ ｏｆ Ｆｅａｔｕｒｅｓ）についても既に提案されている。この方法では、学習段階において、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｔｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）と呼ばれる画像データのエッジ特徴に基づく特徴（局所特徴）をベクトルで表現して１２８次元または２５６次元の空間に分布し、これをｋ－ｍｅａｎｓ法等によって複数のクラスタに分割し、さらに、各クラスタの中心のベクトル（Ｖｉｓｕａｌ Ｗｏｒｄ）に対応するヒストグラムを学習することによってサポートベクトルマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｅｒ Ｍａｃｈｉｎｅ）等の分類器を生成する。その後、識別段階において、未知の画像データから生成したヒストグラムと上記の分類器とを用いることによって、その未知の画像データのカテゴリを識別する。

【先行技術文献】

【特許文献】

【0009】

【文献】特開２０１９－１０１９６７号公報

【非特許文献】

【0010】

【文献】黄瀬浩一、“Ｂａｇ ｏｆ ｆｅａｔｕｒｅｓに基づく物体認識”、コンピュータビジョン、最先端ガイド、Ｖｏｌｕｍｅ ３，ｐｐ．６３－１１０，アドコム・メディア社（２０１０）

【文献】藤吉弘恒、山下隆義、“Ｓｃａｌｅ－Ｉｎｖａｔｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ （ＳＩＦＴ）”、コンピュータビジョン、最先端ガイド、Ｖｏｌｕｍｅ １，ｐｐ．５－２８，アドコム・メディア社（２０１０）

【文献】Ｓｐｅｃｔｒａｌ Ｌｅａｒｎｉｎｇ，“Ｓｅｐａｎｄａｒ Ｋａｍｖａｒ， Ｄａｎ Ｋｌｅｉｎ， ａｎｄ Ｃｈｒｉｓ Ｍａｎｎｉｎｇ， Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ （ＩＪＣＡＩ） ２００３

【文献】ｈｔｔｐ：／／ｖｄａ．ｕｎｉｖｉｅ．ａｃ．ａｔ／Ｔｅａｃｈｉｎｇ／ＩＰＡ／１８ｗ／ＬｅｃｔｕｒｅＮｏｔｅｓ／０６＿ｇｒａｐｈ＿ｂａｓｅｄ＿ｓｅｇｅｍｅｎｔａｔｉｏｎ＿２．ｐｄｆ

【文献】Ｓｅｒｇｉｏｓ Ｔｈｅｏｄｏｒｉｄｉｓ ａｎｄ Ｋｏｎｓｔａｎｔｉｎｏｕｓ Ｋｏｕｔｒｏｕｍｂａｓ, Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ, Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ, Ａｃａｄｅｍｉｃ Ｐｒｅｓs, ２００３.

【発明の概要】

【発明が解決しようとする課題】

【0011】

ここで、例えば、車両等の自動運転の分野では、カメラによって撮影した動画データに道路における信号が含まれている場合、車両等の進行や停止についての判断が行われ、動画データに先行車が含まれている場合、自車が進行することができない状態にあるという判断が行われ、さらに、動画データに歩行者が含まれている場合、車両等の走行を注意して行うべきであるという判断が行われることが求められる。

【0012】

そのため、車両等の自動運転の分野では、対象物のカテゴリの識別精度をより高める必要性から、周囲の対象物までの距離情報や色情報であるＲＧＢ値を用いて各対象物の画像データに含まれる１以上のピクセル（以下、ピクセル群とも呼ぶ）のカテゴリを識別する方法が求められている。

【0013】

そこで、本発明の目的は、対象物までの距離情報及びＲＧＢ値のうちの少なくともいずれかを用いることによってピクセル群のカテゴリを識別することを可能とするカテゴリ識別プログラム、カテゴリ識別装置及びカテゴリ識別方法を提供することにある。

【課題を解決するための手段】

【0014】

上記目的を達成するための本発明におけるカテゴリ識別プログラムは、撮像装置から対象物までの距離値を各ピクセルに対応付けて有する画像データに基づいて、前記対象物のカテゴリを複数のカテゴリから識別する処理をコンピュータに実行させるカテゴリ識別プログラムであって、複数の画像データに含まれる複数のピクセルごとに、各ピクセルに対応するカテゴリの入力を受け付け、前記カテゴリの入力を受け付けた前記複数のピクセルのそれぞれを、各ピクセルの特徴に基づいて多次元空間に分布し、前記多次元空間における前記複数のピクセルの位置に基づいて、前記複数のピクセルのそれぞれを複数のクラスタに分割し、前記複数のクラスタごとに、各クラスタに含まれるピクセルのそれぞれに対応する前記距離値の平均値及び標準偏差を算出し、新たな画像データの入力を受け付け、入力を受け付けた前記新たな画像データに含まれる第１ピクセルの特徴に基づいて、前記第１ピクセルに対応する第１クラスタを前記複数のクラスタから特定し、特定した前記第１クラスタに対応する前記平均値及び前記標準偏差と、前記第１ピクセルに対応する第１距離値とに基づいて、前記第１ピクセルに対応するカテゴリを特定する、処理をコンピュータに実行させることを特徴とする。

【0015】

また、上記目的を達成するための本発明におけるカテゴリ識別プログラムは、一つの態様では、前記複数のピクセルごとに、各ピクセルを含むｋ（ｋは１以上の整数）×ｋのサイズのピクセル群を、前記複数の画像データのうちの各ピクセルを含む画像データから抽出し、前記複数のピクセルのそれぞれに対応する前記ピクセル群に含まれるｋ×ｋ個の近傍ピクセルごとに、各近傍ピクセルの色情報を示すＲＧＢ値に含まれるＲ値、Ｇ値及びＢ値に対応する点を、各次元が前記ピクセル群に含まれる前記近傍ピクセルごとの前記Ｒ値、前記Ｇ値及び前記Ｂ値に対応する３×ｋ×ｋ次元空間に分布する、ことを特徴とする。

【0016】

また、上記目的を達成するための本発明におけるカテゴリ識別プログラムは、一つの態様では、前記複数のピクセルのそれぞれをｋ－ｍｅａｎｓ法を用いることによって前記複数のクラスタに分割する、ことを特徴とする。

【0017】

また、上記目的を達成するための本発明におけるカテゴリ識別プログラムは、一つの態様では、前記複数のクラスタのうち、前記第１ピクセルの前記ＲＧＢ値との関係が以下の式（１）を満たすクラスタのうち、以下の式（２）の値が最小になるクラスタを前記第１クラスタとして特定し、

【0018】

【数1】

【0019】

【数2】

【0020】

前記式（１）及び前記式（２）において、ｒは、前記第１ピクセルの前記Ｒ値であって、ｇは、前記第１ピクセルの前記Ｇ値であって、ｂは、前記第１ピクセルの前記Ｂ値であり、ｒ_ｉは、前記複数のクラスタのうちのｉ番目のクラスタにおけるセントロイドに対応する前記Ｒ値であり、ｇ_ｉは、前記セントロイドに対応する前記Ｇ値であり、ｂ_ｉは、前記セントロイドに対応する前記Ｂ値であり、εは、所定の閾値である、ことを特徴とする。

【0021】

また、上記目的を達成するための本発明におけるカテゴリ識別プログラムは、一つの態様では、各クラスタに含まれるピクセルのそれぞれに対応する前記距離値の平均値及び標準偏差の算出を、前記複数のカテゴリのそれぞれに対応するピクセルごとに行い、前記複数のカテゴリのうち、以下の式（３）の値が最小になるカテゴリを、前記第１ピクセルに対応するカテゴリとして特定し、

【0022】

【数3】

【0023】

前記式（３）において、ｄは、前記第１距離値であり、μ_ｊは、前記ｉ番目のクラスタと前記複数のカテゴリのうちのｊ番目のカテゴリとに対応する前記平均値であり、σ_ｊは、前記ｉ番目のクラスタと前記ｊ番目のカテゴリとに対応する前記標準偏差である、ことを特徴とする。

【0024】

また、上記目的を達成するための本発明におけるカテゴリ識別プログラムは、一つの態様では、前記複数のカテゴリのうち、前記第１クラスタに対応する前記平均値との関係が以下の式（４）とを満たすカテゴリを、前記第１ピクセルに対応するカテゴリとして特定し、

【0025】

【数4】

【0026】

前記式（４）において、ｈは、所定の閾値である、ことを特徴とする。

【0027】

また、上記目的を達成するための本発明におけるカテゴリ識別プログラムは、一つの態様では、前記複数のピクセルごとに、各ピクセルのＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量に対応する点を、各次元が前記ＳＩＦＴ特徴量における各特徴に対応する１２８次元空間または２５６次元空間に分布する、ことを特徴とする。

【0028】

また、上記目的を達成するための本発明におけるカテゴリ識別プログラムは、一つの態様では、前記複数のクラスタごとに、各クラスタに含まれるピクセルのそれぞれに対応するカテゴリのうち、対応するピクセルの数が最も多い最多カテゴリを特定し、前記第１クラスタに対応する前記最多カテゴリが以下の式（５）を満たす場合、前記第１クラスタに対応する前記最多カテゴリを、前記第１ピクセルに対応するカテゴリを特定し、

【0029】

【数5】

【0030】

前記式（５）において、ｄは、前記第１距離値であり、ｍ_ｃは、前記第１クラスタと前記最多カテゴリであるｃ番目のカテゴリとに対応する前記平均値であり、σ_ｃ ^２は、前記第１クラスタと前記ｃ番目のカテゴリとに対応する前記標準偏差の２乗であり、ｈは、所定の閾値である、ことを特徴とする。

【0031】

また、上記目的を達成するための本発明におけるカテゴリ識別プログラムは、一つの態様では、前記新たな画像データのうちの部分画像データに含まれる複数のピクセルのそれぞれについて行われ、さらに、前記カテゴリを特定する処理において特定した前記複数のピクセルのそれぞれに対応するカテゴリのうち、対応するピクセルの数が最も多いカテゴリを、前記部分画像データに対応するカテゴリとして特定する、処理をコンピュータに実行させることを特徴とする。

【0032】

また、上記目的を達成するための本発明におけるカテゴリ識別プログラムは、撮像装置から対象物までの距離値を各ピクセルに対応付けて有する画像データに基づいて、前記対象物のカテゴリを複数のカテゴリから識別する処理をコンピュータに実行させるカテゴリ識別プログラムであって、複数の画像データに含まれる複数のピクセルごとに、各ピクセルに対応するカテゴリの入力を受け付け、前記カテゴリの入力を受け付けた前記複数のピクセルのそれぞれを、各ピクセルの特徴に基づいて多次元空間に分布し、前記多次元空間に含まれる格子点ごとに、各格子点を中心とした多胞体を前記多次元空間において特定し、前記多次元空間に含まれる格子点ごとに、前記複数のピクセルのうち、各格子点に対応する前記多胞体に含まれるピクセルを特定し、前記多次元空間に含まれる格子点ごとに、特定した前記多胞体に含まれるピクセルのそれぞれに対応するカテゴリのうち、対応するピクセルの数が最も多い最多カテゴリを特定し、新たな画像データの入力を受け付け、入力を受け付けた前記新たな画像データに含まれる第１ピクセルが有する特徴に基づいて、前記第１ピクセルに対応する第１格子点を前記多次元空間に含まれる格子点から特定し、特定した前記第１格子点に対応する前記最多カテゴリを、前記第１ピクセルに対応するカテゴリとして特定する、処理をコンピュータに実行させることを特徴とする。

【0033】

また、上記目的を達成するための本発明におけるカテゴリ識別プログラムは、一つの態様では、各格子点に対応する前記多胞体に含まれるピクセルについての前記距離値の平均値及び標準偏差を、前記複数のカテゴリのそれぞれに対応するピクセルごとに行う処理をコンピュータに実行させ、前記多次元空間に含まれる格子点ごとに、各格子点の前記多胞体に含まれるピクセルのそれぞれに対応するカテゴリのうち、対応するピクセルの数が最も多い最多カテゴリを特定し、前記第１格子点に対応する前記最多カテゴリが以下の式（５）を満たす場合、前記第１格子点に対応する前記最多カテゴリを前記第１ピクセルに対応するカテゴリとして特定し、

【0034】

【数6】

【0035】

前記式（５）において、ｄは、前記第１ピクセルに対応する第１距離値であり、ｍ_ｃは、前記第１格子点と前記最多カテゴリであるｃ番目のカテゴリとに対応する前記平均値であり、σ_ｃ ^２は、前記第１格子点と前記ｃ番目のカテゴリとに対応する前記標準偏差の２乗であり、ｈは、所定の閾値である、ことを特徴とする。

【0036】

また、上記目的を達成するための本発明におけるカテゴリ識別プログラムは、一つの態様では、前記新たな画像データのうちの部分画像データに含まれる複数のピクセルのそれぞれについて行われ、さらに、前記部分画像データに含まれる複数のピクセルのそれぞれに対応するカテゴリのうち、対応するピクセルの割合が最も大きいカテゴリを、前記部分画像データに対応するカテゴリとして特定する、処理をコンピュータに実行させることを特徴とする。

【0037】

また、上記目的を達成するための本発明におけるカテゴリ識別プログラムは、撮像装置から対象物までの距離値または各ピクセルの色情報を示すＲＧＢ値を各ピクセルに対応付けて有する画像データに基づいて、前記対象物のカテゴリを複数のカテゴリから識別する処理をコンピュータに実行させるカテゴリ識別プログラムであって、学習用の画像データに含まれる複数のピクセルごとに、各ピクセルに対応するカテゴリの入力を受け付け、前記カテゴリの入力を受け付けた前記複数のピクセルに含まれる２つのピクセルの組合せごとに、各組合せに含まれるピクセルの前記距離値または前記ＲＧＢ値の相関値を算出し、前記複数のピクセルに含まれる２つのピクセルの組合せごとの前記相関値に基づいて、前記複数のピクセルのそれぞれを複数のクラスタに分割し、前記複数のピクセルごとに、各ピクセルを含む組合せのそれぞれに対応する前記相関値からなる第１相関値群を特定し、新たな画像データの入力を受け付け、入力を受け付けた前記新たな画像データを構成する複数のピクセルに含まれる２つのピクセルの組合せごとに、各組合せに対応する前記相関値を算出し、前記新たな画像データを構成する複数のピクセルごとに、各ピクセルを含む組合せのそれぞれに対応する前記相関値からなる第２相関値群を特定し、前記学習用の画像データと前記新たな画像データとの間において、前記第１相関値群と前記第２相関値群との差異が所定以下であるピクセルの組合せを特定し、特定した前記組合せごとに、各組合せに含まれるピクセルのうち、前記学習用の画像データに含まれるピクセルに対応するカテゴリを、各組合せに含まれるピクセルのうち、前記新たな画像データに含まれるピクセルに対応するカテゴリとして特定する、処理をコンピュータに実行させることを特徴とする。

【0038】

また、上記目的を達成するための本発明におけるカテゴリ識別プログラムは、一つの態様では、前記新たな画像データを構成する前記複数のピクセルに含まれる２つのピクセルの組合せごとの前記相関値に基づいて、前記新たな画像データを構成する複数のピクセルのそれぞれを複数のクラスタに分割し、前記新たな画像データを構成する複数のピクセルのそれぞれを分割した複数のクラスタごとに、各クラスタに含まれるピクセルのうち、前記差異が所定以下である組合せに含まれるピクセルを特定し、前記新たな画像データを構成する複数のピクセルのそれぞれを分割した複数のクラスタごとに、特定した前記ピクセルのそれぞれに対応するカテゴリのうちの最も多くのピクセルに対応するカテゴリを、各クラスタに対応するカテゴリとして特定する、ことを特徴とする。

【0039】

また、上記目的を達成するための本発明におけるカテゴリ識別プログラムは、一つの態様では、前記複数のピクセルのそれぞれをスペクトラムクラスタリング法とｋ－ｍｅａｎｓ法とを用いることによって前記複数のクラスタに分割する、ことを特徴とする。

【0040】

また、上記目的を達成するための本発明におけるカテゴリ識別装置は、撮像装置から対象物までの距離値を各ピクセルに対応付けて有する画像データに基づいて、前記対象物のカテゴリを複数のカテゴリから識別するカテゴリ識別装置であって、複数の画像データに含まれる複数のピクセルごとに、各ピクセルに対応するカテゴリの入力を受け付けるカテゴリ受付部と、前記カテゴリの入力を受け付けた前記複数のピクセルのそれぞれを、各ピクセルの特徴に基づいて多次元空間に分布するピクセル分布部と、前記多次元空間における前記複数のピクセルの位置に基づいて、前記複数のピクセルのそれぞれを複数のクラスタに分割するクラスタ分割部と、前記複数のクラスタごとに、各クラスタに含まれるピクセルのそれぞれに対応する前記距離値の平均値及び標準偏差を算出する指標算出部と、新たな画像データの入力を受け付ける画像受付部と、入力を受け付けた前記新たな画像データに含まれる第１ピクセルの特徴に基づいて、前記第１ピクセルに対応する第１クラスタを前記複数のクラスタから特定するクラスタ特定部と、特定した前記第１クラスタに対応する前記平均値及び前記標準偏差と、前記第１ピクセルに対応する第１距離値とに基づいて、前記第１ピクセルに対応するカテゴリを特定するカテゴリ特定部と、を有する、ことを特徴とする。

【0041】

また、上記目的を達成するための本発明におけるカテゴリ識別装置は、撮像装置から対象物までの距離値を各ピクセルに対応付けて有する画像データに基づいて、前記対象物のカテゴリを複数のカテゴリから識別するカテゴリ識別装置であって、複数の画像データに含まれる複数のピクセルごとに、各ピクセルに対応するカテゴリの入力を受け付けるカテゴリ受付部と、前記カテゴリの入力を受け付けた前記複数のピクセルのそれぞれを、各ピクセルの特徴に基づいて多次元空間に分布するピクセル分布部と、前記多次元空間に含まれる格子点ごとに、各格子点を中心とした多胞体を前記多次元空間において特定し、前記多次元空間に含まれる格子点ごとに、前記複数のピクセルのうち、各格子点に対応する前記多胞体に含まれるピクセルを特定するピクセル特定部と、前記多次元空間に含まれる格子点ごとに、特定した前記多胞体に含まれるピクセルのそれぞれに対応するカテゴリのうち、対応するピクセルの数が最も多い最多カテゴリを特定する最多カテゴリ特定部と、新たな画像データの入力を受け付ける画像受付部と、入力を受け付けた前記新たな画像データに含まれる第１ピクセルが有する特徴に基づいて、前記第１ピクセルに対応する第１格子点を前記多次元空間に含まれる格子点から特定する格子点特定部と、特定した前記第１格子点に対応する前記最多カテゴリを、前記第１ピクセルに対応するカテゴリとして特定するカテゴリ特定部と、を有する、ことを特徴とする。

【0042】

また、上記目的を達成するための本発明におけるカテゴリ識別方法は、撮像装置から対象物までの距離値を各ピクセルに対応付けて有する画像データに基づいて、前記対象物のカテゴリを複数のカテゴリから識別するカテゴリ識別方法であって、複数の画像データに含まれる複数のピクセルごとに、各ピクセルに対応するカテゴリの入力を受け付け、前記カテゴリの入力を受け付けた前記複数のピクセルのそれぞれを、各ピクセルの特徴に基づいて多次元空間に分布し、前記多次元空間における前記複数のピクセルの位置に基づいて、前記複数のピクセルのそれぞれを複数のクラスタに分割し、前記複数のクラスタごとに、各クラスタに含まれるピクセルのそれぞれに対応する前記距離値の平均値及び標準偏差を算出し、新たな画像データの入力を受け付け、入力を受け付けた前記新たな画像データに含まれる第１ピクセルの特徴に基づいて、前記第１ピクセルに対応する第１クラスタを前記複数のクラスタから特定し、特定した前記第１クラスタに対応する前記平均値及び前記標準偏差と、前記第１ピクセルに対応する第１距離値とに基づいて、前記第１ピクセルに対応するカテゴリを特定する、処理をコンピュータに実行させることを特徴とする。

【0043】

また、上記目的を達成するための本発明におけるカテゴリ識別方法は、撮像装置から対象物までの距離値を各ピクセルに対応付けて有する画像データに基づいて、前記対象物のカテゴリを複数のカテゴリから識別するカテゴリ識別方法であって、複数の画像データに含まれる複数のピクセルごとに、各ピクセルに対応するカテゴリの入力を受け付け、前記カテゴリの入力を受け付けた前記複数のピクセルのそれぞれを、各ピクセルの特徴に基づいて多次元空間に分布し、前記多次元空間に含まれる格子点ごとに、各格子点を中心とした多胞体を前記多次元空間において特定し、前記多次元空間に含まれる格子点ごとに、前記複数のピクセルのうち、各格子点に対応する前記多胞体に含まれるピクセルを特定し、前記多次元空間に含まれる格子点ごとに、特定した前記多胞体に含まれるピクセルのそれぞれに対応するカテゴリのうち、対応するピクセルの数が最も多い最多カテゴリを特定し、新たな画像データの入力を受け付け、入力を受け付けた前記新たな画像データに含まれる第１ピクセルが有する特徴に基づいて、前記第１ピクセルに対応する第１格子点を前記多次元空間に含まれる格子点から特定し、特定した前記第１格子点に対応する前記最多カテゴリを、前記第１ピクセルに対応するカテゴリとして特定する、処理をコンピュータに実行させることを特徴とする。

【発明の効果】

【0044】

本発明におけるカテゴリ識別プログラム、カテゴリ識別装置及びカテゴリ識別方法によれば、対象物までの距離情報を用いることによって各ピクセルのカテゴリを識別することが可能になる。

【図面の簡単な説明】

【0045】

【図1】図１は、情報処理装置１の構成を説明する図である。

【図2】図２は、第１の実施の形態におけるカテゴリ識別処理について説明する図である。

【図3】図３は、第１の実施の形態におけるカテゴリ識別処理について説明する図である。

【図4】図４は、第１の実施の形態におけるカテゴリ識別処理について説明する図である。

【図5】図５は、学習データとして用いられる画像データＤＴの具体例を説明する図である。

【図6】図６は、学習データとして用いられる画像データＤＴの具体例を説明する図である。

【図7】図７は、第１の実施の形態におけるカテゴリ識別処理について説明する図である。

【図8】図８は、Ｓ１４の処理の詳細について説明する図である。

【図9】図９は、Ｓ２２及びＳ２３の処理の詳細について説明する図である。

【図10】図１０は、第１の実施の形態におけるカテゴリ識別処理について説明する図である。

【図11】図１１は、第１の実施の形態におけるカテゴリ識別処理について説明する図である。

【図12】図１２は、第２の実施の形態におけるカテゴリ識別処理について説明する図である。

【図13】図１３は、第２の実施の形態におけるカテゴリ識別処理について説明する図である。

【図14】図１４は、第２の実施の形態におけるカテゴリ識別処理について説明する図である。

【図15】図１５は、第３の実施の形態におけるカテゴリ識別処理について説明する図である。

【図16】図１６は、第３の実施の形態におけるカテゴリ識別処理について説明する図である。

【図17】図１７は、第３の実施の形態におけるカテゴリ識別処理について説明する図である。

【図18】図１８は、第３の実施の形態におけるカテゴリ識別処理について説明する図である。

【図19】図１９は、第３の実施の形態におけるカテゴリ識別処理について説明する図である。

【発明を実施するための形態】

【0046】

以下、図面を参照して本発明の実施の形態について説明する。しかしながら、かかる実施の形態例が、本発明の技術的範囲を限定するものではない。

【0047】

［カテゴリ識別装置の構成］
初めに、カテゴリ識別装置（以下、情報処理装置とも呼ぶ）１のハードウエア構成について説明を行う。図１は、情報処理装置１の構成を説明する図である。

【0048】

情報処理装置１は、汎用的なコンピュータ装置のハードウエア構成を有し、例えば、図１に示すように、プロセッサであるＣＰＵ１０１と、メモリ１０２と、ネットワークインタフェーズ１０３と、記憶媒体１０４とを有する。各部は、バス１０５を介して互いに接続される。

【0049】

記憶媒体１０４は、例えば、画像データに含まれる対象物のカテゴリを識別する処理（以下、カテゴリ識別処理とも呼ぶ）を行うためのプログラム（図示しない）を記憶するプログラム格納領域（図示しない）を有する。また、記憶媒体１０４は、例えば、カテゴリ識別処理を行う際に用いられる情報を記憶する記憶領域１１０を有する。なお、記憶媒体１０４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）であってよい。

【0050】

ＣＰＵ１０１は、記憶媒体１０４（記憶領域１１０）からメモリ１０２にロードされたプログラムを実行してカテゴリ識別処理を行う。

【0051】

また、ネットワークインタフェーズ１０３は、例えば、操作端末５と通信を行う。

【0052】

［第１の実施の形態におけるカテゴリ識別処理］
次に、第１の実施の形態におけるカテゴリ識別処理について説明を行う。図２から図１１は、第１の実施の形態におけるカテゴリ識別処理について説明する図である。

【0053】

情報処理装置１のＣＰＵ１０１は、図２に示すように、プログラムと協働することにより、カテゴリ受付部１１、ピクセル分布部１２、クラスタ分割部１３、指標算出部１４、画像受付部２１、クラスタ特定部２２、カテゴリ特定部２３及びカテゴリ出力部２４として機能する。

【0054】

[学習用の画像データとして用いられる画像データの具体例]
初めに、学習用の画像データとして用いられる画像データＤＴ（例えば、車両等に搭載されたカメラによって撮影された画像データ）の具体例について説明を行う。図５及び図６は、学習用の画像データとして用いられる画像データＤＴの具体例を説明する図である。

【0055】

具体的に、図５は、車両等に搭載されたカメラ（図示しない）によって撮影された動画データに含まれる画像データＤＴ（１つのフレーム画像データ）である。そして、図５に示す画像データＤＴに含まれる各ピクセルには、例えば、特許文献１に記載された方法を用いることによって算出された距離値（カメラと対象物との間の距離値）が対応付けられている。すなわち、例えば、図５に示す画像データＤＴのうち、信号機ＯＢ１に対応するピクセルのそれぞれには、カメラと信号機ＯＢ１との間における距離値が対応付けられており、図５に示す画像データＤＴのうち、対向車両ＯＢ２に対応するピクセルのそれぞれには、カメラと対向車両ＯＢ２との間における距離値が対応付けられている。

【0056】

そのため、図５に示す画像データＤＴを用いることによって、例えば、図６に示すように、カメラと各対象物との間の距離値に応じて明るさ（白さ）を変化させた明暗表示画像データＤＴａを出力することが可能になる。図６に示す例では、明るい対象物（白い対象物）ほど、カメラからの距離値が近い対象物であることを示している。なお、図６のうちの左上部分の図は、カメラの撮影方向を示している。

【0057】

[学習段階における処理]
次に、カテゴリ識別処理における学習段階における処理について説明を行う。

【0058】

情報処理装置１のカテゴリ受付部１１は、図３に示すように、学習データとして用いられる複数の画像データに含まれる複数のピクセルごとに、各ピクセルに対応するカテゴリの入力を受け付ける（Ｓ１１）。

【0059】

具体的に、学習データの学習を行う作業者（以下、単に作業者とも呼ぶ）は、例えば、操作端末５を介して学習データとして用いる複数の画像データ（例えば、図５で説明した画像データＤＴを含む複数の画像データ）を情報処理装置１の記憶媒体１０４に記憶させた後、各画像データに含まれる複数のピクセルのそれぞれに対応するカテゴリを情報処理装置１に入力する。そして、カテゴリ受付部１１は、作業者が入力した複数のピクセルごとのカテゴリの入力を受け付ける。

【0060】

そして、情報処理装置１のピクセル分布部１２は、Ｓ１１の処理でカテゴリの入力を受け付けた複数のピクセルのそれぞれを、各ピクセルの特徴に基づいて多次元空間に分布する（Ｓ１２）。

【0061】

具体的に、ピクセル分布部１２は、図７に示すように、例えば、各ピクセルの色情報を示すＲＧＢ値に含まれるＲ値、Ｇ値及びＢ値に対応する点を、各次元がＲ値、Ｇ値及びＢ値のそれぞれに対応する３次元空間に分布するものであってよい。なお、図７に示すように、３次元空間に分布された各点には、各ピクセルに対応するカテゴリ（Ｓ１１の処理で入力を受け付けたカテゴリ）と距離値とが対応付けられている。

【0062】

また、ピクセル分布部１２は、例えば、学習データとして用いる複数の画像データに含まれる複数のピクセルごとに、各ピクセルを含むｋ（ｋは１以上の整数）×ｋのサイズのピクセル群を抽出するものであってもよい。そして、ピクセル分布部１２は、複数のピクセルのそれぞれに対応するピクセル群に含まれるｋ×ｋ個のピクセル（以下、近傍ピクセルとも呼ぶ）ごとに、各近傍ピクセルのＲ値、Ｇ値及びＢ値に対応する点を、各次元がピクセル群に含まれる近傍ピクセルごとのＲ値、Ｇ値及びＢ値に対応する３×ｋ×ｋ次元空間に分布するものであってもよい。

【0063】

すなわち、ピクセル分布部１２は、各ピクセルの特徴に対応する点を特定する際に、近傍ピクセルの特徴についても反映させた点の特定を行うものであってもよい。そして、ピクセル分布部１２は、特定した点を多次元空間に分布するものであってもよい。これにより、情報処理装置１は、各対象物のカテゴリの識別をより精度高く行うことを可能とする学習を行うことが可能になる。

【0064】

なお、以下、多次元空間が３次元空間として行うカテゴリ識別処理の方法、すなわち、近傍ピクセルの情報を加味せずに行うカテゴリ識別処理を一様クラスタリング法とも呼び、多次元空間が３×ｋ×ｋ次元空間として行うカテゴリ識別処理の方法、すなわち、近傍ピクセルの情報を加味して行うカテゴリ識別処理を拡張一様クラスタリング法とも呼ぶ。

【0065】

続いて、情報処理装置１のクラスタ分割部１３は、Ｓ１１の処理でカテゴリの入力を受け付けた複数のピクセルの多次元空間における位置に基づいて、複数のピクセルのそれぞれを複数のクラスタに分割する（Ｓ１３）。

【0066】

具体的に、クラスタ分割部１３は、例えば、多次元空間に分布した複数のピクセルの位置に基づき、各ピクセルをｋ－ｍｅａｎｓ法を用いることによって複数のクラスタに分割する。

【0067】

さらに具体的に、クラスタ分割部１３は、例えば、図７で説明した３次元空間に分布された各ピクセルを参照し、予め定められた数であるＫ個のセントロイドを特定する。そして、クラスタ分割部１３は、３次元空間に分布されたピクセルのそれぞれについて、最も近いセントロイドを特定することにより、３次元空間分布されたピクセルのそれぞれをＫ個のクラスタに分割する。

【0068】

その後、情報処理装置１の指標算出部１４は、Ｓ１３の処理で分割した複数のクラスタごとに、各クラスタに含まれるピクセルのそれぞれに対応する距離値の平均値及び標準偏差を算出する（Ｓ１４）。

【0069】

具体的に、指標算出部１４は、例えば、Ｓ１３の処理で分割した複数のクラスタごとであってＳ１１の処理で入力される複数のカテゴリごとに、各クラスタに含まれるピクセルのそれぞれに対応する距離値の平均値及び標準偏差を算出する。以下、Ｓ１４の処理の詳細について説明を行う。

【0070】

[Ｓ１４の処理の詳細]
図８は、Ｓ１４の処理の詳細について説明する図である。以下、セントロイドの総数がＫ個であり、Ｓ１１の処理で入力されるカテゴリの総数がＪであるものとして説明を行う。

【0071】

初めに、ｉ番目のクラスタに含まれるＱ個のピクセルのそれぞれは、図１０に示すように、例えば、以下の式（６）のように定義される。

【0072】

【数7】

【0073】

上記の式（６）において、ｒ_ｉ，ｑは、ｉ番目のクラスタに含まれるｑ番目のピクセルのＲ値を示し、ｇ_ｉ，ｑは、ｉ番目のクラスタに含まれるｑ番目のピクセルのＧ値を示し、ｂ_ｉ，ｑは、ｉ番目のクラスタに含まれるｑ番目のピクセルのＢ値を示し、ｃ_ｉ，ｑは、ｉ番目のクラスタに含まれるｑ番目のピクセルのカテゴリの番号を示し、ｄ_ｉ，ｑは、ｉ番目のクラスタに含まれるｑ番目のピクセルが有する距離値を示している。

【0074】

そして、指標算出部１４は、図８に示すように、Ｋ個のクラスタごとであってＪ個のカテゴリごとに、各ピクセルに対応する距離値の平均値及び標準偏差を算出する。

【0075】

具体的に、指標算出部１４は、例えば、ｉ番目のクラスタに含まれるＱ個のピクセルのうち、ｃ_ｉ，ｑが同一のカテゴリを示すピクセルごとに、各ピクセルに対応する距離値の平均値及び標準偏差を算出する。なお、Ｓ１４の処理において算出される平均値及び標準偏差を含む各ピクセルの情報は、例えば、以下の式（７）のように表現される。

【0076】

【数8】

【0077】

上記の式（７）において、ｒ_ｉは、ｉ番目のクラスタに含まれるセントロイドに対応するピクセルのＲ値を示し、ｇ_ｉは、ｉ番目のクラスタに含まれるセントロイドに対応するピクセルのＧ値を示し、ｂ_ｉは、ｉ番目のクラスタに含まれるセントロイドに対応するピクセルのＢ値を示し、μ_ｊは、ｉ番目のクラスタに含まれるピクセルのうち、ｊ番目のカテゴリに対応するピクセルの距離値の平均値を示し、σ_ｊは、ｉ番目のクラスタに含まれるピクセルのうち、ｊ番目のカテゴリに対応するピクセルの距離値の標準偏差を示している。

【0078】

なお、上記の式（７）に含まれるμ_ｊやσ_ｊは、後述するマハラノビス距離（時間の変動に伴う距離値の変動を吸収する距離）の算出に用いられる。

【0079】

[識別段階における処理]
次に、カテゴリ識別処理における識別段階における処理について説明を行う。

【0080】

情報処理装置１の画像受付部２１は、図４に示すように、識別対象の新たな画像データ（以下、単に新たな画像データとも呼ぶ）の入力を受け付ける（Ｓ２１）。

【0081】

具体的に、作業者は、例えば、操作端末５を介してカテゴリが未知である新たな画像データを入力する。そして、画像受付部２１は、作業者によって入力された新たな画像データを受け付ける。

【0082】

続いて、情報処理装置１のクラスタ特定部２２は、Ｓ２１の処理で入力を受け付けた新たな画像データに含まれるピクセル（以下、第１ピクセルとも呼ぶ）の特徴に基づいて、第１ピクセルに対応する第１クラスタを複数のクラスタから特定する（Ｓ２２）。その後、情報処理装置１のカテゴリ特定部２３は、Ｓ２２の処理で特定した第１クラスタに対応する平均値及び標準偏差と、第１ピクセルに対応する距離値（以下、第１距離値とも呼ぶ）とに基づいて、第１ピクセルに対応するカテゴリを特定する（Ｓ２３）。

【0083】

[Ｓ２２及び２３の処理の詳細]
図９は、Ｓ２２及びＳ２３の処理の詳細について説明する図である。

【0084】

例えば、Ｓ１２の処理においてピクセルの分布が行われた多次元空間が３次元空間であった場合、クラスタ特定部２２は、第１ピクセルの特徴として、Ｒ値、Ｇ値及びＢ値をそれぞれ特定する。

【0085】

そして、クラスタ特定部２２は、例えば、Ｋ個のクラスタのうち、第１ピクセルに対応するＲ値、Ｇ値及びＢ値のそれぞれの関係が以下の式（１）を満たすクラスタのうち、以下の式（２）の値が最小になるクラスタを第１クラスタとして特定する。

【0086】

【数9】

【0087】

【数10】

【0088】

上記の式（１）及び式（２）において、ｒは、第１ピクセルのＲ値を示し、ｇは、第１ピクセルのＧ値を示し、ｂは、第１ピクセルのＢ値を示し、ｒ_ｉは、ｉ番目のクラスタにおけるセントロイドに対応するピクセルのＲ値を示し、ｇ_ｉは、ｉ番目のクラスタにおけるセントロイドに対応するピクセルのＧ値を示し、ｂ_ｉは、ｉ番目のクラスタにおけるセントロイドに対応するピクセルのＢ値を示し、εは、所定の閾値（例えば、十分に小さい数）を示している。

【0089】

なお、上記の式（１）を満たすクラスタが存在しない場合、クラスタ特定部２２は、例えば、第１ピクセルに対応するカテゴリが存在しないものと判定するものであってよい。

【0090】

また、例えば、Ｓ１２の処理においてピクセルの分布が行われた多次元空間が３×ｋ×ｋ次元空間であった場合、クラスタ特定部２２は、第１ピクセルの特徴として、第１ピクセルを含むｋ×ｋ個のピクセル（近傍ピクセル）ごとのＲ値、Ｇ値及びＢ値をそれぞれ特定する。

【0091】

次に、カテゴリ特定部２３は、例えば、以下の式（３）の値（マハラノビス距離）が最小になるカテゴリを、第１ピクセルに対応するカテゴリとして特定する。

【0092】

【数11】

【0093】

式（３）において、ｄは、第１距離値を示し、μ_ｊは、ｉ番目のクラスタに含まれるピクセルのうち、ｊ番目のカテゴリに対応するピクセルの距離値の平均値を示し、σ_ｊは、ｉ番目のクラスタに含まれるピクセルのうち、ｊ番目のカテゴリに対応するピクセルの距離値の標準偏差を示している。

【0094】

なお、例えば、第１クラスタに対応する平均値との関係が以下の式（４）を満たすカテゴリが存在しない場合、カテゴリ特定部２３は、例えば、第１ピクセルに対応するカテゴリが存在しないものと判定するものであってよい。

【0095】

【数12】

【0096】

式（４）において、ｈは、所定の閾値を示している。

【0097】

これにより、情報処理装置１は、図１１に示すように、新たな画像データに含まれるピクセル（第１ピクセル）のカテゴリを特定することが可能にある。すなわち、情報処理装置１は、カメラから対象物までの距離値を用いることによって各ピクセルのカテゴリを識別することが可能になる。

【0098】

その後、情報処理装置１のカテゴリ出力部２４は、例えば、Ｓ２３の処理で特定した第１ピクセルのカテゴリを操作端末５に出力する（Ｓ２４）。

【0099】

なお、Ｓ１３の処理（学習段階）において異なるクラスタに分類された複数のピクセルであっても、例えば、各ピクセルに対応するカテゴリが同一であって、かつ、各ピクセルに対応する距離値の差が小さい場合、Ｓ２３の処理（識別段階）においてそれぞれ同一のカテゴリが特定される可能性がある。また、Ｓ１３の処理(学習段階)において同一のクラスタに分類された複数のピクセルであっても、例えば、各ピクセルに対応するカテゴリが異なっており、かつ、各ピクセルに対応する距離値の差が大きい場合、Ｓ２３の処理（識別段階）においてそれぞれ異なるカテゴリが特定される可能性がある。

【0100】

さらに、Ｓ２２の処理（識別段階）において異なるクラスタが特定された複数のピクセルであっても、例えば、各ピクセルに対応するカテゴリが同一であって、かつ、各ピクセルに対応する距離値の差が小さい場合、Ｓ２３の処理（識別段階の後続処理）においてそれぞれ同一のカテゴリが特定される可能性がある。また、Ｓ２２の処理（識別段階）において同一のクラスタが特定された複数のピクセルであっても、例えば、各ピクセルに対応するカテゴリが異なっており、かつ、各ピクセルに対応する距離値の差が大きい場合、Ｓ２３の処理（識別段階の後続処理）においてそれぞれ異なるカテゴリが特定される可能性がある。

【0101】

また、上記の例では、多次元空間がＲＧＢ値に対応する３次元空間に各ピクセルを分布する場合、または、ｋ×ｋ個のピクセルごとのＲＧＢ値に対応する３×ｋ×ｋ次元空間に各ピクセルを分布する場合について説明を行ったが、情報処理装置１は、例えば、各ピクセルのＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量に対応する点を、各次元がＳＩＦＴ特徴量における各特徴に対応する１２８次元空間または２５６次元空間に分布するものであってもよい。そして、情報処理装置１は、各ピクセルに対応する点を分布した１２８次元空間または２５６次元空間を用いることによって、カテゴリ識別処理における後続処理を行うものであってもよい。

【0102】

また、上記の例では、学習段階において、複数のカテゴリに対応するピクセルのそれぞれを同一の３次元空間に分布させてからｋ－ｍｅａｎｓ法によるクラスタリングを行う場合（Ｓ１２及びＳ１３）について説明を行った。これに対し、情報処理装置１は、カテゴリに対応するピクセルをそれぞれ異なる３次元空間に分布させ、各カテゴリに対応する３次元空間ごとにクラスタリングを行うものであってもよい。そして、情報処理装置１は、この場合、Ｓ１４の処理を各カテゴリに対応する３次元空間ごとに行うものであってもよい。

【0103】

[第１の実施の形態におけるカテゴリ識別処理の変形例（１）]
次に、第１の実施の形態におけるカテゴリ識別処理の第１変形例について説明を行う。

【0104】

指標算出部１４は、Ｓ１４の処理において、Ｓ１３の処理で分割した複数のクラスタごとに、各クラスタに含まれるピクセルのそれぞれに対応するカテゴリのうち、対応するピクセルの数が最も多い最多カテゴリを特定するものであってもよい。

【0105】

そして、カテゴリ特定部２３は、Ｓ２３の処理において、Ｓ２２の処理で特定した第１クラスタに対応する最多カテゴリが以下の式（５）を満たす場合、Ｓ２２の処理で特定した第１クラスタに対応する最多カテゴリを、第１ピクセルに対応するカテゴリを特定するものであってもよい。

【0106】

【数13】

【0107】

上記の式（５）において、ｄは、第１距離値を示し、ｍ_ｃは、第１クラスタと最多カテゴリであるｃ番目のカテゴリとに対応する距離値の平均値を示し、σ_ｃ ^２は、第１クラスタとｃ番目のカテゴリとに対応する距離値の標準偏差の２乗を示し、ｈは、所定の閾値を示す。

【0108】

これにより、情報処理装置１は、識別対象の新たな画像データに含まれる各ピクセルのカテゴリの識別をより高速に行うことが可能になる。

【0109】

[第１の実施の形態におけるカテゴリ識別処理の変形例（２）]
次に、第１の実施の形態におけるカテゴリ識別処理の第２変形例について説明を行う。

【0110】

クラスタ特定部２２及びカテゴリ特定部２３は、Ｓ２２及びＳ２３の処理を、Ｓ２１の処理において入力を受け付けた新たな画像データの一部（以下、部分画像データとも呼ぶ）について行うものであってよい。部分画像データは、例えば、ｍｅａｎ－ｓｈｉｆｔ等の従来の方法を用いることによって新たな画像データから分割された画像データである。

【0111】

そして、カテゴリ特定部２３は、Ｓ２３の処理において、さらに、部分画像データに含まれる複数のピクセルのそれぞれに対応するカテゴリのうち、対応するピクセルの数が最も多いカテゴリを、部分画像データに対応するカテゴリとして特定するものであってよい。さらに、カテゴリ出力部２４は、Ｓ２４の処理において、例えば、部分画像データに対応するカテゴリを操作端末５に出力するものであってよい。

【0112】

これにより、情報処理装置１は、例えば、新たな画像データに含まれる部分画像データごとに、各部分画像データに対応するカテゴリの出力を行うことが可能になる。

【0113】

[第１の実施の形態におけるカテゴリ識別処理の変形例（３）]
次に、第１の実施の形態におけるカテゴリ識別処理の第３変形例について説明を行う。

【0114】

カテゴリ受付部１１は、例えば、作業者によって同一のカテゴリに対応すると判断されたピクセル群からなる画像データの一部、すなわち、同一のアノテーション（ａｎｎｏｔａｔｉｏｎ）カテゴリに対応する画像データの一部（以下、カテゴリ画像データとも呼ぶ）からさらに分割された複数の部分画像データごとに、Ｓ１１の処理を行うものであってもよい。部分画像データは、例えば、ｍｅａｎ－ｓｈｉｆｔ等の従来の方法を用いることによって分割されたカテゴリ画像データの一部である。

【0115】

そして、クラスタ特定部２２及びカテゴリ特定部２３は、Ｓ２２及びＳ２３の処理を、複数の部分画像データごとに行うものであってもよい。

【0116】

その後、情報処理装置１は、カテゴリ画像データに対応する正解のアノテーションカテゴリと、Ｓ２３の処理で特定された部分画像データに対応するカテゴリ（サブカテゴリ）のそれぞれとが全て一致した場合、または、一致した割合が所定の割合（例えば、５０（％））を上回った場合に、カテゴリ画像データに対応するアノテーションカテゴリが正しく識別されたものと判断するものであってもよい。

【0117】

なお、カテゴリ画像データに対応する正解のアノテーションカテゴリは、例えば、作業者によって予め用意された正解のデータ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ Ｄａｔａ）であってよい。また、カテゴリ出力部２４は、カテゴリ画像データに対応するアノテーションカテゴリが正しく識別されたか否かを示す情報を操作端末５に出力するものであってもよい。

【0118】

［第２の実施の形態におけるカテゴリ識別処理］
次に、第２の実施の形態におけるカテゴリ識別処理について説明を行う。図１２から図１４は、第２の実施の形態におけるカテゴリ識別処理について説明する図である。なお、以下、第１の実施の形態と重複する部分については説明を省略する。

【0119】

情報処理装置１のＣＰＵ１０１は、図１２に示すように、プログラムと協働することにより、カテゴリ受付部３１、ピクセル分布部３２、ピクセル特定部３３、最多カテゴリ特定部３４、画像受付部４１、格子点特定部４２、カテゴリ特定部４３及びカテゴリ出力部４４として機能する。

【0120】

[学習段階における処理]
初めに、カテゴリ識別処理における学習段階における処理について説明を行う。

【0121】

情報処理装置１のカテゴリ受付部３１は、図１２に示すように、学習データとして用いられる複数の画像データに含まれる複数のピクセルごとに、各ピクセルに対応するカテゴリの入力を受け付ける（Ｓ３１）。

【0122】

そして、情報処理装置１のピクセル分布部３２は、Ｓ３１の処理でカテゴリの入力を受け付けた複数のピクセルのそれぞれを、各ピクセルの特徴に基づいて多次元空間に分布する（Ｓ３２）。

【0123】

続いて、情報処理装置１のピクセル特定部３３は、多次元空間に含まれる格子点ごとに、各格子点を中心とした多胞体を多次元空間において特定する（Ｓ３３）。

【0124】

具体的に、ピクセル特定部３３は、例えば、多次元空間が３次元空間である場合（一様クラスタリング法を用いる場合）、各ピクセルの３次元空間に含まれる格子点ごとに、各格子点を中心とした立方体を３次元空間に特定する。

【0125】

さらに具体的に、例えば、Ｓ３２の処理において多次元空間が３次元空間であり、かつ、各ピクセルの特徴が各ピクセルのＲ値、Ｇ値及びＢ値である場合、例えば、３次元空間におけるＸ軸上、Ｙ軸上及びＺ軸上のそれぞれには、２５６個の格子点が存在し、３次元空間には、２５６×２５６×２５６個の格子点が存在する。

【0126】

そして、例えば、座標が（５，５，５）である格子点を中心とする３×３×３の立方体に含まれる格子点には、座標が（４，４，４）、（４，４，５）、（４，４，６）、（４，５，４）、（４，５，５）、（４，５，６）、（４，６，４）、（４，６，５）、（４，６，６）、（５，４，４）、（５，４，５）、（５，４，６）、（５，５，４）、（５，５，５）、（５，５，６）、（５，６，４）、（５，６，５）、（５，６，６）、（６，４，４）、（６，４，５）、（６，４，６）、（６，５，４）、（６，５，５）、（６，５，６）、（６，６，４）、（６，６，５）及び（６，６，６）である２７個の格子点が含まれる。

【0127】

そのため、ピクセル特定部３３は、Ｓ３３の処理において、例えば、３次元空間に含まれる格子点のうち、座標が（５，５，５）である格子点を中心とする立方体を特定する場合、上記の２７個の格子点を含む立法体の特定を行う。

【0128】

なお、ピクセル特定部３３は、例えば、多次元空間が３×ｋ×ｋ次元空間である場合（拡張クラスタリング法を用いる場合）についても同様に、３×ｋ×ｋ次元空間に含まれる格子点ごとに、各格子点を中心とした多胞体を３×ｋ×ｋ次元空間において特定する。

【0129】

さらに、ピクセル特定部３３は、多次元空間に含まれる格子点ごとに、Ｓ３２の処理で多次元空間に分布した複数のピクセルのうち、各格子点に対応する多胞体に含まれるピクセルを特定する（Ｓ３４）。

【0130】

具体的に、ピクセル特定部３３は、例えば、３次元空間に含まれる格子点のうちの座標が（５，５，５）である格子点に対応する多胞体に含まれるピクセルとして、Ｓ３２の処理で多次元空間に分布した複数のピクセルのうち、上記の２７個の格子点に分布されたピクセルの数をそれぞれ特定する。

【0131】

その後、情報処理装置１の最多カテゴリ特定部３４は、多次元空間に含まれる格子点ごとに、Ｓ３４の処理で特定した多胞体に含まれるピクセルのそれぞれに対応するカテゴリのうち、対応するピクセルの数が最も多い最多カテゴリを特定する（Ｓ３５）。

【0132】

具体的に、最多カテゴリ特定部３４は、例えば、上記の２７個の格子点に分布されたピクセルの数をカテゴリごとに集計する。そして、ピクセル特定部３３は、例えば、集計したピクセルの数が最大であるカテゴリを、座標が（５，５，５）である格子点に対応する最多カテゴリとして特定する。

【0133】

すなわち、第２の実施の形態では、各格子点に対応する最多ピクセルを学習段階において特定する。これにより、情報処理装置１は、後述するように、識別段階において格子点ごとの最多ピクセルを参照することで、識別対象の新たな画像データに含まれる各ピクセルのカテゴリの識別を高速に行うことが可能になる。

【0134】

なお、以下、多次元空間に含まれる格子点のそれぞれに各格子点に対応する最多カテゴリを対応付けたものをｌａｂｅｌｉｎｇ ｍａｓｋ ｓｐａｃｅとも呼ぶ。

【0135】

[識別段階における処理]
次に、カテゴリ識別処理における識別段階における処理について説明を行う。

【0136】

情報処理装置１の画像受付部４１は、図１４に示すように、識別対象の新たな画像データの入力を受け付ける（Ｓ４１）。

【0137】

そして、情報処理装置１の格子点特定部４２は、Ｓ４１の処理で入力を受け付けた新たな画像データに含まれる第１ピクセルの特徴に基づいて、第１ピクセルに対応する格子点（以下、第１格子点とも呼ぶ）を多次元空間に含まれる格子点から特定する（Ｓ４２）。

【0138】

具体的に、例えば、第１ピクセルのＲ値、Ｇ値及びＢ値のそれぞれが「１０」である場合、格子点特定部４２は、例えば、３次元空間に含まれる格子点のうち、座標が（１０，１０，１０）である格子点を特定する。

【0139】

その後、情報処理装置１のカテゴリ特定部４３は、Ｓ４２の処理で特定した第１格子点に対応する最多カテゴリを、第１ピクセルに対応するカテゴリとして特定する（Ｓ４３）。

【0140】

具体的に、例えば、ｌａｂｅｌｉｎｇ ｍａｓｋ ｓｐａｃｅにおいて、学習段階（Ｓ３５の処理）で特定した最多カテゴリのうちの座標が（１０，１０，１０）である格子点に対応する最多カテゴリがカテゴリＡであった場合、カテゴリ特定部４３は、第１ピクセルに対応するカテゴリとしてカテゴリＡを特定する。

【0141】

これにより、情報処理装置１は、識別対象の新たな画像データに含まれる各ピクセルのカテゴリの識別を高速に行うことが可能になる。具体的に、情報処理装置１は、例えば、ｋ－ＮＮ（ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）等の従来の方法よりもカテゴリの識別を高速に行うことが可能になる。

【0142】

[第２の実施の形態におけるカテゴリ識別処理の変形例]
次に、第２の実施の形態におけるカテゴリ識別処理の変形例について説明を行う。

【0143】

情報処理装置１は、学習段階において、さらに、各格子点に対応する多胞体に含まれるピクセルについての距離値の平均値及び標準偏差を、Ｓ３１の処理で入力を受け付けた複数のカテゴリのそれぞれに対応するピクセルごとに行うものであってよい。また、最多カテゴリ特定部３４は、多次元空間に含まれる格子点ごとに、各格子点の多胞体に含まれるピクセルのそれぞれに対応するカテゴリのうち、対応するピクセルの数が最も多い最多カテゴリを特定するものであってよい。

【0144】

そして、カテゴリ特定部４３は、Ｓ４３の処理において、Ｓ４２の処理で特定した第１格子点に対応する最多カテゴリが以下の式（５）を満たす場合、Ｓ４２の処理で特定した第１格子点に対応する最多カテゴリを第１ピクセルに対応するカテゴリとして特定するものであってよい。

【0145】

【数14】

【0146】

上記の式（５）において、ｄは、第１距離値を示し、ｍ_ｃは、第１格子点と最多カテゴリであるｃ番目のカテゴリとに対応する平均値を示し、σ_ｃ ^２は、第１格子点とｃ番目のカテゴリとに対応する標準偏差の２乗を示し、ｈは、所定の閾値を示す。

【0147】

これにより、情報処理装置１は、識別対象の新たな画像データに含まれる各ピクセルのカテゴリの識別をより高速に行うことが可能になる。

【0148】

なお、第１の実施の形態におけるカテゴリ識別処理の第２変形例及び第３変形例は、第２の実施の形態におけるカテゴリ識別処理においても適用可能である。

【0149】

［第３の実施の形態におけるカテゴリ識別処理］
次に、第３の実施の形態におけるカテゴリ識別処理について説明を行う。図１５から図１９は、第３の実施の形態におけるカテゴリ識別処理について説明する図である。なお、以下、第１の実施の形態または第２の実施の形態と重複する部分については説明を省略する。

【0150】

情報処理装置１のＣＰＵ１０１は、図１５に示すように、プログラムと協働することにより、カテゴリ受付部５１、相関値算出部５２、クラスタ分割部５３、相関値群特定部５４、画像受付部６１、組合せ特定部６２、ピクセル特定部６３及びカテゴリ特定部６４として機能する。

【0151】

[学習段階における処理]
初めに、カテゴリ識別処理における学習段階における処理について説明を行う。

【0152】

情報処理装置１のカテゴリ受付部３１は、図１６に示すように、学習用の画像データに含まれる複数のピクセル群ごとに、各ピクセル群に対応するカテゴリの入力を受け付ける（Ｓ５１）。

【0153】

ここでのピクセル群は、学習用の画像データにおけるｋ（ｋは１以上の整数）×ｋの大きさの領域を示している。そのため、例えば、学習用の画像データに含まれるピクセルのサイズがＭ（Ｍは１以上の整数）×Ｎ（Ｎは１以上の整数）である場合、学習用の画像データには、（Ｍ／ｋ）×（Ｎ／ｋ）個のピクセル群が含まれていることになる。

【0154】

そして、情報処理装置１の相関値算出部５２は、Ｓ５１の処理で入力を受け付けた複数のピクセル群に含まれる２つのピクセル群の組合せごとに、各組合せに含まれるピクセル群に対応する特徴の相関値を算出する（Ｓ５２）。

【0155】

ここでのピクセル群に対応する特徴は、例えば、ピクセル群に対応する距離値、ピクセル群に対応するＲＧＢ値、または、ピクセル群に対応する距離値及びＲＧＢ値の両方である。

【0156】

なお、以下、学習用の画像データにおけるｉ番目のピクセル群に対応する特徴をＦ（ｉ）と表す。すなわち、ピクセル群に対応する特徴がピクセル群に対応する距離値である場合、Ｆ（ｉ）は、ｋ×ｋ次元のベクトルになり、ピクセル群に対応する特徴がピクセル群に対応するＲＧＢ値である場合、Ｆ（ｉ）は、ｋ×ｋ×３次元のベクトルになり、ピクセル群に対応する特徴がピクセル群に対応する距離値及びＲＧＢ値の両方である場合、Ｆ（ｉ）は、ｋ×ｋ×４次元のベクトルになる。

【0157】

そして、相関値算出部５２は、Ｓ５２の処理において、例えば、以下の式（８）から式（１１）を用いることによってＦ（ｉ）とＦ（ｊ）との相関値φ（ｉ，ｊ）を算出する。

【0158】

【数15】

【0159】

【数16】

【0160】

【数17】

【0161】

【数18】

【0162】

上記の式（８）から式（１１）において、ρ（Ｆ（ｉ），ｆ（ｊ））は、Ｆ（ｉ）とＦ（ｊ）との間のコサイン相関を示し、＜Ｆ（ｉ），Ｆ（ｊ））＞は、Ｆ（ｉ）とＦ（ｊ）との内積を示し、｜｜Ｆ（ｉ）｜｜は、Ｆ（ｉ）のノルムを示している。また、上記の式（８）から式（１１）において、ｇ（ｉ，ｊ）は、（ｘ（ｉ），ｙ（ｉ））と（ｘ（ｊ）とｙ（ｊ））との距離がｓ以下である場合が１であり、（ｘ（ｉ），ｙ（ｉ））と（ｘ（ｊ）とｙ（ｊ））との距離がｓ以上である場合が｜｜（ｘ（ｉ），ｙ（ｉ））－（ｘ（ｊ）とｙ（ｊ））｜｜になる関数を示している。

【0163】

図１６に戻り、クラスタ分割部５３は、Ｓ５１の処理で入力を受け付けた複数のピクセル群の組合せごとの相関値に基づいて、Ｓ５１の処理で入力を受け付けた複数におけるピクセル群のそれぞれを複数のクラスタに分割する（Ｓ５３）。

【0164】

具体的に、クラスタ分割部５３は、ピクセル群のそれぞれをノードとし、かつ、各ノード間の結合係数を相関値φ（ｉ，ｊ）とするネットワークについてのスペクトラムクラスタリングを行うことにより、次元数が固有ベクトルの数に対応する多次元空間に各ノードを配置する（非特許文献３及び非特許文献４）。

【0165】

なお、図１９に示すように、例えば、各ノードの連結関係を行列によって表現した場合、スペクトラムクラスタリングは、ノードの番号付けの順序に影響されることなく行われる。この点、スペクトラムクラスタリングにおいて学習用の画像データに含まれるピクセル群をノードとする場合、ノードに対する番号付けは一定にならない。そのため、学習用の画像データに含まれるピクセル群のノードとする場合、上記のような不変性が必須となる。

【0166】

また、この場合、例えば、ｑ個の固有ベクトルに対応するｑ次元空間におけるｉ番目のピクセル群の配置座標は、以下の式（１２）のように表現され、ｑ個の固有ベクトルに対応するｑ次元空間におけるｊ番目のピクセル群の配置座標は、以下の式（１３）のように表現される。さらに、クラスタ分割部５３は、例えば、以下の式（１４）を用いることによって、ｉ番目のピクセル群の配置座標とｊ番目のピクセル群の配置座標との距離を算出する。

【0167】

【数19】

【0168】

【数20】

【0169】

【数21】

【0170】

その後、クラスタ分割部５３は、例えば、算出した距離を用いたｋ－ｍｅａｎｓ法を従うことによって、各ノード（各ピクセル群）を複数のクラスタに分割する（非特許文献５）。

【0171】

図１６に戻り、相関値群特定部５４は、Ｓ５１の処理で入力を受け付けた複数のピクセル群ごとに、各ピクセル群を含む組合せに対応する相関値からなる第１相関値群を特定する（Ｓ５４）。

【0172】

具体的に、例えば、学習用の画像データ（以下、画像データＡとも呼ぶ）に対応する相関値φ_Ａの行列φ_Ａ（ｉ，ｊ）のうちのｉ＝ｉ_ｐである行ベクトルＶ（ｉ_ｐ）_Ａを、ｉ番目のピクセル群の第１相関値群として特定する。

【0173】

なお、クラスタ分割部５３は、Ｓ５３の処理において、ｋ－ｍｅａｎｓ法のみを用いることによって各ピクセル群を複数のクラスタに分割するものであってもよい。この場合、クラスタ分割部５３は、相関値φが０よりも大きく１よりも小さい値になることを利用して、例えば、以下の式（１５）を用いることによって２つのピクセル群の間の距離を算出する。

【0174】

【数22】

【0175】

上記の式（１５）において、ｄ（ｉ，ｊ）は、ｉ番目のピクセル群とｊ番目のピクセル群との距離を示している。

【0176】

[識別段階における処理]
次に、カテゴリ識別処理における識別段階における処理について説明を行う。

【0177】

情報処理装置１の画像受付部６１は、図１７に示すように、識別対象の新たな画像データの入力を受け付ける（Ｓ６１）。

【0178】

そして、相関値算出部５２は、Ｓ５２の処理と同様に、Ｓ６１の処理で入力を受け付けた複数のピクセル群に含まれる２つのピクセル群の組合せごとに、各組合せに含まれるピクセル群に対応する特徴の相関値を算出する（Ｓ６２）。

【0179】

続いて、クラスタ分割部５３は、Ｓ５３の処理と同様に、Ｓ６２の処理で算出したピクセル群の組合せごとの相関値に基づいて、Ｓ６１の処理で入力を受け付けた新たな画像データにおける複数のピクセル群のそれぞれを複数のクラスタに分割する（Ｓ６３）。

【0180】

次に、相関値群特定部５４は、図１８に示すように、Ｓ５４の処理と同様に、Ｓ６１の処理で入力を受け付けた新たな画像データにおける複数のピクセル群ごとに、各ピクセル群を含む組合せのそれぞれに対応する相関値からなる第２相関値群を特定する（Ｓ７１）。

【0181】

具体的に、例えば、Ｓ６１の処理で入力を受け付けた新たな画像データ（以下、画像データＢとも呼ぶ）に対応する相関値φ_Ｂの行列φ_Ｂ（ｉ，ｊ）のうちのｉ＝ｊ_ｑである行ベクトルＶ（ｊ_ｑ）_Ｂを、ｊ番目のピクセル群の第２相関値群として特定する。

【0182】

その後、情報処理装置１の組合せ特定部６２は、Ｓ３１の処理でカテゴリの入力を受け付けた学習用の画像データとＳ６１の処理で入力を受け付けた新たな画像データとの間において、Ｓ５４の処理で特定した第１相関値群とＳ７１の処理で特定した第２相関値群との差異が所定以下であるピクセル群の組合せを特定する（Ｓ７２）。

【0183】

具体的に、例えば、画像データＡに含まれるクラスタＣに含まれるノードの集合を以下の式（１６）のように表現し、画像データＢに含まれるクラスタＥに含まれるノードの集合を以下の式（１７）のように表現する場合、組合せ特定部６２は、以下の式（１８）を用いることによって、Ｓ５４の処理で特定した第１相関値群とＳ７１の処理で特定した第２相関値群との差異を算出する。

【0184】

【数23】

【0185】

【数24】

【0186】

【数25】

【0187】

上記の式（１６）から（１８）において、ｃ_ｐは、クラスタＣに属するｐ番目のノード（ピクセル群）を示し、ｅ_ｑは、クラスタＥに属するｑ番目のノード（ピクセル群）を示し、ｄ（ｃ_ｐ，ｅ_ｑ）は、Ｖ（ｉ_ｐ）_ＡとＶ（ｊ_ｑ）_Ｂとの距離を示している。

【0188】

そして、組合せ特定部６２は、Ｓ７２の処理において、例えば、ｄ（ｃ_ｐ，ｅ_ｑ）が所定以下である場合、クラスタＣに属するｐ番目のノード（ピクセル群）とクラスタＥに属するｑ番目のノード（ピクセル群）との組み合わせを特定する。

【0189】

図１８に戻り、情報処理装置１のピクセル特定部６３は、Ｓ６１の処理で入力を受け付けた新たな画像データにおける複数のピクセル群のそれぞれを分割した複数のクラスタごとに、各クラスタに含まれるピクセル群のうち、Ｓ７２の処理で特定した組合せに含まれるピクセル群を特定する（Ｓ７３）。

【0190】

そして、情報処理装置１のカテゴリ特定部６４は、Ｓ６３の処理で分割した複数のクラスタごとに、Ｓ７３の処理で特定したピクセル群のそれぞれに対応するカテゴリのうちの最も多くのピクセル群に対応するカテゴリを、各クラスタに対応するカテゴリとして特定する（Ｓ７４）。

【0191】

具体的に、カテゴリ特定部６４は、Ｓ７４の処理において、Ｓ７２の処理で特定した組合せごとに、各組合せに含まれるピクセルであってＳ３１の処理でカテゴリの入力を受け付けた学習用の画像データに含まれるピクセルに対応するカテゴリを、各組合せに含まれるピクセルであってＳ６１の処理で入力を受け付けた新たな画像データに含まれるピクセルに対応するカテゴリとして特定する。

【0192】

これにより、情報処理装置１は、識別対象の新たな画像データに含まれるピクセル群のうち、学習用の画像データに含まれるピクセル群と対応付けができたピクセル群について、各ピクセル群に対応するカテゴリを特定することが可能になる。

【0193】

さらに、カテゴリ特定部６４は、Ｓ７４の処理において、Ｓ６３の処理で分割した複数のクラスタごとに、最も多く特定されたカテゴリを各クラスタに対応するカテゴリとして特定する。

【0194】

これにより、情報処理装置１は、識別対象の新たな画像データに含まれる各クラスタに対応するカテゴリを特定することが可能になる。

【0195】

なお、上記の例では、Ｓ６１の処理で入力を受け付けた新たな画像データにおける複数のピクセル群のそれぞれを分割した複数のクラスタごとに、各クラスタに含まれるピクセル群のうち、Ｓ７２の処理で特定した組合せに含まれるピクセル群を特定する処理（Ｓ７３）と、複数のクラスタごとに、Ｓ７３の処理で特定したピクセル群のそれぞれに対応するカテゴリのうちの最も多くのピクセル群に対応するカテゴリを、各クラスタに対応するカテゴリとして特定する処理（Ｓ７４）とを行う場合について説明を行った。これに対し、情報処理装置１は、例えば、Ｓ６１の処理で入力を受け付けた新たな画像データに含まれる部分画像データ（例えば、ｍｅａｎ－ｓｈｉｆｔ等の従来の方法を用いることによって新たな画像データから分割された画像データ）ごとに、各部分画像データに含まれるピクセル群のうち、Ｓ７２の処理で特定した組合せに含まれるピクセル群を特定し、さらに、部分画像データごとに、Ｓ７３の処理で特定したピクセル群のそれぞれに対応するカテゴリのうちの最も多くのピクセル群に対応するカテゴリを、各部分画像データに対応するカテゴリとして特定するものであってもよい。

【符号の説明】

【0196】

１：情報処理装置
３：操作端末
１１：カテゴリ受付部
１２：ピクセル分布部
１３：クラスタ分割部
１４：指標算出部
２１：画像受付部
２２：クラスタ特定部
２３：カテゴリ特定部
２４：カテゴリ出力部
３１：カテゴリ受付部
３２：ピクセル分布部
３３：ピクセル特定部
３４：最多カテゴリ特定部
４１：画像受付部
４２：格子点特定部
４３：カテゴリ特定部
４４：カテゴリ出力部
１０１：ＣＰＵ
１０２：メモリ
１０３：ネットワークインタフェーズ
１０４：記憶媒体
１０５：バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】