特許 7591709 物体分類方法、車両制御方法、情報表示方法、および物体分類装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-21

(45)【発行日】2024-11-29

(54)【発明の名称】物体分類方法、車両制御方法、情報表示方法、および物体分類装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241122BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 12

(21)【出願番号】P 2023147063

(22)【出願日】2023-09-11

(62)【分割の表示】P 2020552992の分割

【原出願日】2019-09-24

(65)【公開番号】P2023158211

(43)【公開日】2023-10-26

【審査請求日】2023-09-11

(31)【優先権主張番号】P 2018194149

(32)【優先日】2018-10-15

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100101683

【弁理士】

【氏名又は名称】奥田 誠司

(74)【代理人】

【識別番号】100155000

【弁理士】

【氏名又は名称】喜多 修市

(74)【代理人】

【識別番号】100188813

【弁理士】

【氏名又は名称】川喜田 徹

(74)【代理人】

【識別番号】100202197

【弁理士】

【氏名又は名称】村瀬 成康

(74)【代理人】

【識別番号】100202142

【弁理士】

【氏名又は名称】北 倫子

(74)【代理人】

【識別番号】100218981

【弁理士】

【氏名又は名称】武田 寛之

(72)【発明者】

【氏名】安藤 貴真

【審査官】鈴木 圭一郎

(56)【参考文献】

【文献】特開２０１８－０９６８３４（ＪＰ，Ａ）

【文献】特開２０１６－１５６８０１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０１６３９０１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

物体の特徴を示す特徴情報を含む画像の画像データを取得することと、
前記特徴情報に基づき、前記画像に含まれる前記物体を分類することと、
を含み、
前記画像データは、
イメージセンサと、
前記イメージセンサに入射する光の光路に配置されたフィルタアレイであって、前記光路に交差する面に沿って２次元的に配列された透光性の複数のフィルタを含み、前記複数のフィルタは、光透過率の波長依存性が互いに異なる２つ以上のフィルタを含み、前記２つ以上のフィルタの各々の光透過率は、複数の波長域において極大値を有する、フィルタアレイと、
を備える第１の撮像装置によって前記画像を撮像することにより取得され、
前記特徴情報は、前記画像データを基に前記複数の波長域の各々の画像を再構成することなく、前記画像データから抽出される、
物体分類方法。

【請求項2】

前記物体を分類することは、機械学習アルゴリズムによって学習された分類モデルを前記画像データに適用することにより行われ、
前記分類モデルは、各々が、学習用画像データと、前記学習用画像データが示す学習用画像に含まれる前記物体を識別するラベルデータとを含む複数の第１の訓練データセットによって予め学習されている、
請求項１に記載の物体分類方法。

【請求項3】

前記複数の第１の訓練データセットに含まれる複数の学習用画像データは、前記第１の撮像装置とは異なる第２の撮像装置によって生成された学習用画像データを含む、
請求項２に記載の物体分類方法。

【請求項4】

前記第２の撮像装置は、前記第１の撮像装置における前記フィルタアレイと同等の特性を有するフィルタアレイを備える、
請求項３に記載の物体分類方法。

【請求項5】

前記物体が分類された後、前記画像データと、前記物体を識別する第２のラベルデータとを含む第２の訓練データセットによって、前記分類モデルがさらに学習されることをさらに含む、
請求項２から４のいずれかに記載の物体分類方法。

【請求項6】

前記複数の第１の訓練データセットに含まれる複数の学習用画像データにおける前記物体の前記学習用画像内での位置は、前記複数の学習用画像データにおいて互いに異なる、請求項２から４のいずれかに記載の物体分類方法。

【請求項7】

前記学習用画像データは、前記物体が前記学習用画像内で所定の範囲以上を占めた状態で撮像されることによって取得される、
請求項２から４のいずれかに記載の物体分類方法。

【請求項8】

前記画像データを取得することは、ディスプレイを含む撮像装置を用いて行われ、
前記画像データが取得される前に、前記画像の中で前記物体が位置すべきエリアまたは前記物体が占めるべき範囲をユーザに知らせるための補助表示を前記ディスプレイに表示させることをさらに含む、
請求項１から４のいずれかに記載の物体分類方法。

【請求項9】

前記複数のフィルタは、光透過率の波長依存性が互いに異なり、
前記複数のフィルタの各々の光透過率は、複数の波長域において極大値を有する、
請求項１から４のいずれかに記載の物体分類方法。

【請求項10】

請求項１から４のいずれかに記載の物体分類方法を用いた車両制御方法であって、
前記第１の撮像装置は、車両に取り付けられ、
前記物体を分類することの結果に基づいて、前記車両の動作を制御することを含む、
車両制御方法。

【請求項11】

請求項１から４のいずれかに記載の物体分類方法を用いた情報表示方法であって、
前記物体を分類することの結果に基づいて、前記物体の名称および前記物体の説明からなる群から選択される少なくとも１つを示すデータをデータベースから取得することと、
前記物体の名称および前記物体の説明からなる群から選択される前記少なくとも１つをディスプレイに表示することと、
を含む、
情報表示方法。

【請求項12】

物体の特徴を示す特徴情報を含む画像の画像データを生成するイメージセンサと、
前記イメージセンサに入射する光の光路に配置されたフィルタアレイであって、前記光路に交差する面に沿って２次元的に配列された透光性の複数のフィルタを含み、前記複数のフィルタは、光透過率の波長依存性が互いに異なる２つ以上のフィルタを含み、前記２つ以上のフィルタの各々の光透過率は、複数の波長域において極大値を有する、フィルタアレイと、
前記特徴情報に基づき、前記画像に含まれる前記物体を分類する信号処理回路と、
を備え、
前記特徴情報は、前記画像データを基に前記複数の波長域の各々の画像を再構成することなく、前記画像データから抽出される、
物体分類装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、物体分類方法、車両制御方法、情報表示方法、および物体分類装置に関する。

【背景技術】

【0002】

機械学習を用いた物体認識では、一般に、学習データとして、モノクロ画像またはＲＧＢ画像が活用される。一方、ＲＧＢ画像よりも多くの波長の情報を含むマルチスペクトル画像を利用して物体認識を行う試みも検討されている。

【0003】

特許文献１は、マルチスペクトル画像を取得するセンサとして、異なる波長域の光を通過させる複数のフィルタが空間的にモザイク状に配置されたスペクトルカメラを開示している。特許文献２は、画像内の免疫細胞の認識精度を高めるために、複数の画像チャネルについて免疫細胞の画像を畳み込みニューラルネットワークによって学習する方法を開示している。特許文献３は、マルチスペクトル画像またはハイパー分光画像を訓練データとする機械学習の方法を開示している。

【先行技術文献】

【特許文献】

【0004】

【文献】特表２０１５－５０１４３２号公報

【文献】国際公開第２０１５/１７７２６８号

【文献】米国特許出願公開第２０１７／００７６４３８号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示は、符号化された画像データから、高精度の物体認識を可能にする新規な物体認識方法を提供する。

【課題を解決するための手段】

【0006】

本開示の一態様に係る物体認識方法は、物体の特徴を示す特徴情報を含む画像の画像データを取得することと、前記特徴情報に基づき、前記画像に含まれる前記物体を認識することと、を含む。前記画像データは、イメージセンサと、前記イメージセンサに入射する光の光路に配置されたフィルタアレイであって、前記光路に交差する面に沿って２次元的に配列された透光性の複数のフィルタを含み、前記複数のフィルタは、光透過率の波長依存性が互いに異なる２つ以上のフィルタを含み、前記２つ以上のフィルタの各々の光透過率は、複数の波長域において極大値を有する、フィルタアレイと、を備える第１の撮像装置によって前記画像を撮像することにより取得される。

【発明の効果】

【0007】

本開示によれば、高精度の物体認識が可能になる。

【図面の簡単な説明】

【0008】

【図1】図１は、本開示の例示的な実施形態における物体認識装置の例を模式的に示す図である。

【図2A】図２Ａは、フィルタアレイの例を模式的に示す図である。

【図2B】図２Ｂは、対象波長域に含まれる複数の波長域のそれぞれの光の透過率の空間分布の一例を示す図である。

【図2C】図２Ｃは、図２Ａに示すフィルタアレイにおける領域Ａ１の分光透過率の例を示す図である。

【図2D】図２Ｄは、図２Ａに示すフィルタアレイにおける領域Ａ２の分光透過率の例を示す図である。

【図3A】図３Ａは、フィルタアレイの２次元分布の例を模式的に示す図である。

【図3B】図３Ｂは、フィルタアレイの２次元分布の他の例を模式的に示す図である。

【図4A】図４Ａは、例示的な実施形態における物体認識装置を用いた物体認識方法の例を示すフローチャートである。

【図4B】図４Ｂは、分類モデルの生成処理の例を示すフローチャートである。

【図4C】図４Ｃは、例示的な実施形態における複数の訓練データセットの例を模式的に示す図である。

【図4D】図４Ｄは、物体の認識結果を分類モデルにフィードバックする例を模式的に示す図である。

【図4E】図４Ｅは、例示的な実施形態における物体認識装置を用いた物体認識方法の他の例を示すフローチャートである。

【図5A】図５Ａは、物体認識の推奨領域を表示して、撮像を補助する機能を模式的に示す図である。

【図5B】図５Ｂは、ズーム機能を有する光学系による物体の拡大を模式的に示す図である。

【図5C】図５Ｃは、フィルタアレイの変形例を模式的に示す図である。

【図6A】図６Ａは、例示的な実施形態における物体認識装置の適用例を模式的に示す図である。

【図6B】図６Ｂは、例示的な実施形態における物体認識装置の他の適用例を模式的に示す図である。

【図6C】図６Ｃは、例示的な実施形態における物体認識装置の他の適用例を模式的に示す図である。

【図7】図７は、例示的な実施形態における物体認識装置を用いた車両制御の例を模式的に示す図である。

【図8】図８は、例示的な実施形態における物体認識装置の例を模式的に示す図である。

【発明を実施するための形態】

【0009】

本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。

【0010】

従来のＲＧＢ画像を用いた物体認識では、その認識能力に限界があった。例えば、実物と、その看板またはポスターとを区別することができない場合がある。これは、一般に、実物から反射される光のＲ、Ｇ、Ｂの各成分の量と、その看板またはポスターから反射される光のＲ、Ｇ、Ｂの各成分の量との差が小さいことに起因する。実物と、その看板またはポスターとを区別するために、例えば、多波長のスペクトルデータを利用することが考えられる。これにより、物体の素材の違いに起因するスペクトルデータの微細な差違を検出することが可能になり得る。

【0011】

従来のハイパースペクトルカメラでは、例えば特許文献１に開示されているように、透過波長域の異なる複数の波長フィルタが２次元的に配置される。動画撮影のようにシングルショットで１フレームの画像が取得される場合、波長域の数と空間解像度とがトレードオフの関係になる。すなわち、多波長画像を取得するために、透過波長域の異なる多くのフィルタを空間的に分散させて配置すると、波長域ごとに取得される画像の空間解像度は低くなる。したがって、物体の認識精度が向上することを期待してハイパースペクトル画像を物体認識に利用したとしても、実際には、低い空間解像度のため、認識精度が低下する可能性がある。

【0012】

イメージセンサの画素数を増やすことによって波長分解能および解像度の両方を向上させることも考えられる。この場合、空間の２次元データに多波長のデータを加えた大容量の３次元データが扱われる。このような大きいサイズのデータに機械学習を適用する場合、前処理、学習、通信、およびデータの保管に多くの時間またはリソースが費やされる。

【0013】

本発明者は、以上の検討に基づき、以下の項目に記載の物体認識方法に想到した。

【0014】

［項目１］
第１の項目に係る物体認識方法は、物体の特徴を示す特徴情報を含む画像の画像データを取得することと、前記特徴情報に基づき、前記画像に含まれる前記物体を認識することと、を含む。前記画像データは、イメージセンサと、前記イメージセンサに入射する光の光路に配置されたフィルタアレイであって、前記光路に交差する面に沿って２次元的に配列された透光性の複数のフィルタを含み、前記複数のフィルタは、光透過率の波長依存性が互いに異なる２つ以上のフィルタを含み、前記２つ以上のフィルタの各々の光透過率は、複数の波長域において極大値を有する、フィルタアレイと、を備える第１の撮像装置によって前記画像を撮像することにより取得される。

【0015】

［項目２］
第１の項目に係る物体認識方法において、前記物体を認識することは、機械学習アルゴリズムによって学習された分類モデルを前記画像データに適用することにより行われ、前記分類モデルは、各々が、学習用画像データと、前記学習用画像データが示す学習用画像に含まれる前記物体を識別するラベルデータとを含む複数の第１の訓練データセットによって予め学習されていてもよい。

【0016】

［項目３］
第２の項目に係る物体認識方法において、前記複数の第１の訓練データセットに含まれる複数の学習用画像データは、前記第１の撮像装置とは異なる第２の撮像装置によって生成された学習用画像データを含んでいてもよい。

【0017】

［項目４］
第３の項目に係る物体認識方法において、前記第２の撮像装置は、前記第１の撮像装置における前記フィルタアレイと同等の特性を有するフィルタアレイを備えていてもよい。

【0018】

［項目５］
第２から第４の項目のいずれかに係る物体認識方法は、前記物体が認識された後、前記画像データと、前記物体を識別する第２のラベルデータとを含む第２の訓練データセットによって、前記分類モデルがさらに学習されることをさらに含んでいてもよい。

【0019】

［項目６］
第２から第５の項目のいずれかに係る物体認識方法において、前記複数の第１の訓練データセットに含まれる複数の学習用画像データにおける前記物体の前記学習用画像内での位置は、前記複数の学習用画像データにおいて互いに異なっていてもよい。

【0020】

［項目７］
第２から第６の項目のいずれかに係る物体認識方法において、前記学習用画像データは、前記物体が前記学習用画像内で所定の範囲以上を占めた状態で撮像されることによって取得されていてもよい。

【0021】

［項目８］
第１から第７の項目のいずれかに係る物体認識方法において、前記画像データを取得することは、ディスプレイを含む撮像装置を用いて行われ、前記物体認識方法は、前記画像データが取得される前に、前記画像の中で前記物体が位置すべきエリアまたは前記物体が占めるべき範囲をユーザに知らせるための補助表示を前記ディスプレイに表示させることをさらに含んでいてもよい。

【0022】

［項目９］
第１から第８の項目のいずれかに係る物体認識方法において、前記複数のフィルタは、光透過率の波長依存性が互いに異なり、前記複数のフィルタの各々の光透過率は、複数の波長域において極大値を有していてもよい。

【0023】

［項目１０］
第１０の項目に係る車両制御方法は、第１から第９の項目のいずれかに係る物体認識方法を用いた車両制御方法であって、前記第１の撮像装置は、車両に取り付けられ、前記物体を認識することの結果に基づいて、前記車両の動作を制御することを含む。

【0024】

［項目１１］
第１１の項目に係る情報表示方法は、第１から第９の項目のいずれかに係る物体認識方法を用いた情報表示方法であって、前記物体を認識することの結果に基づいて、前記物体の名称および前記物体の説明からなる群から選択される少なくとも１つを示すデータをデータベースから取得することと、前記物体の名称および前記物体の説明からなる群から選択される前記少なくとも１つをディスプレイに表示することと、を含む。

【0025】

［項目１２］
第１２の項目に係る物体認識方法は、物体の特徴を示す特徴情報を含む画像の画像データを取得することと、前記特徴情報に基づき、前記画像に含まれる前記物体を認識することと、を含む。前記画像データは、イメージセンサと、互いに異なる波長域の光を発する複数の光源を含む光源アレイと、を備える第１の撮像装置によって、前記複数の光源の一部を発光させた状態で前記画像を撮像する動作を、前記複数の光源の前記一部に含まれる光源の組み合わせを変えながら、複数回に亘って繰り返すことにより取得される。

【0026】

［項目１３］
第１２の項目に係る物体認識方法において、前記物体を認識することは、機械学習アルゴリズムによって学習された分類モデルを前記画像データに適用することにより行われ、前記分類モデルは、各々が、学習用画像データと、前記学習用画像データが示す学習用画像に含まれる前記物体を識別するラベルデータとを含む複数の第１の訓練データセットによって予め学習されていてもよい。

【0027】

［項目１４］
第１３の項目に係る物体認識方法において、前記複数の第１の訓練データセットに含まれる複数の学習用画像データは、前記第１の撮像装置とは異なる第２の撮像装置によって生成された学習用画像データを含んでいてもよい。

【0028】

［項目１５］
第１４の項目に係る物体認識方法において、前記第２の撮像装置は、前記第１の撮像装置における前記光源アレイと同等の特性を有する光源アレイを備えていてもよい。

【0029】

［項目１６］
第１３から第１５の項目のいずれかに係る物体認識方法は、前記物体が認識された後、前記画像データと、前記物体を識別する第２のラベルデータとを含む第２の訓練データセットによって、前記分類モデルがさらに学習されることをさらに含んでいてもよい。

【0030】

［項目１７］
第１３から第１６の項目のいずれかに係る物体認識方法において、前記複数の第１の訓練データセットに含まれる複数の学習用画像データにおける前記物体の前記学習用画像内での位置は、前記複数の学習用画像データにおいて互いに異なっていてもよい。

【0031】

［項目１８］
第１３から第１７の項目のいずれかに係る物体認識方法において、前記学習用画像データは、前記物体が前記学習用画像内で所定の範囲以上を占めた状態で撮像されることによって取得されてもよい。

【0032】

［項目１９］
第１２から第１８の項目のいずれかに係る物体認識方法において、前記画像データを取得することは、ディスプレイを含む撮像装置を用いて行われ、前記物体認識方法は、前記画像データが取得される前に、前記画像の中で前記物体が位置すべきエリアまたは前記物体が占めるべき範囲をユーザに知らせるための補助表示を前記ディスプレイに表示させることをさらに含んでいてもよい。

【0033】

［項目２０］
第２０の項目に係る車両制御方法は、第１２から第１９の項目のいずれかに係る物体認識方法を用いた車両制御方法であって、前記第１の撮像装置は、車両に取り付けられ、前記物体を認識することの結果に基づいて、前記車両の動作を制御することを含む。

【0034】

［項目２１］
第２１の項目に係る情報表示方法は、第１２から第１９の項目のいずれかに係る物体認識方法を用いた情報表示方法であって、前記物体を認識することの結果に基づいて、前記物体の名称および前記物体の説明からなる群から選択される少なくとも１つを示すデータをデータベースから取得することと、前記物体の名称および前記物体の説明からなる群から選択される前記少なくとも１つをディスプレイに表示することと、を含む。

【0035】

［項目２２］
第２２の項目に係る物体認識装置は、物体の特徴を示す特徴情報を含む画像の画像データを生成するイメージセンサと、前記イメージセンサに入射する光の光路に配置されたフィルタアレイであって、前記光路に交差する面に沿って２次元的に配列された透光性の複数のフィルタを含み、前記複数のフィルタは、光透過率の波長依存性が互いに異なる２つ以上のフィルタを含み、前記２つ以上のフィルタの各々の光透過率は、複数の波長域において極大値を有する、フィルタアレイと、前記特徴情報に基づき、前記画像に含まれる前記物体を認識する信号処理回路と、を備える。

【0036】

［項目２３］
第２３の項目に係る物体認識装置は、物体を含む画像の画像信号を生成するイメージセンサと、互いに異なる波長域の光を発する複数の光源を含む光源アレイと、前記イメージセンサおよび前記複数の光源を制御する制御回路であって、前記複数の光源の一部を発光させた状態で前記イメージセンサに撮像させる動作を、前記複数の光源の前記一部に含まれる光源の組み合わせを変えながら、複数回に亘って繰り返す制御回路と、前記イメージセンサによって前記複数回の撮像ごとに生成された前記画像信号から構成される画像データに含まれる、前記物体の特徴を示す特徴情報に基づき、前記画像に含まれる前記物体を認識する信号処理回路と、を備える。

【0037】

［項目２４］
第２４の項目に係る物体認識装置は、メモリと、信号処理回路と、を備える。前記信号処理回路は、複数の画素を含む画像の２次元画像データであって、前記複数の画素の各々のデータに複数の波長域の情報が多重化され、且つ前記複数の画素の各々の輝度分布が符号化されたマルチ／ハイパースペクトル画像データである２次元画像データを受け付け、前記２次元画像データに含まれる特徴情報に基づき、前記２次元画像データが示すシーンに含まれる物体を認識する。

【0038】

［項目２５］
第２４の項目に係る物体認識装置において、前記特徴情報は、前記２次元画像データを基に前記複数の波長域の各々の画像を再構成することなく、前記２次元画像データから抽出されてもよい。

【0039】

［項目２６］
第２４の項目に係る物体認識装置は、前記２次元画像データを取得する撮像装置をさらに備えていてもよい。

【0040】

［項目２７］
第２６の項目に係る物体認識装置において、前記２次元画像データは、前記物体が前記撮像装置の撮像領域における所定の範囲以上を占めた状態で撮像されることによって取得されてもよい。

【0041】

［項目２８］
第２７の項目に係る物体認識装置は、前記撮像装置によって前記２次元画像データが取得される前に、前記撮像装置によって撮像される画像の中で前記物体が位置すべきエリアまたは前記物体が占めるべき範囲をユーザに知らせるための補助表示を表示するディスプレイをさらに備えていてもよい。

【0042】

［項目２９］
第２６の項目に係る物体認識装置において、前記撮像装置は、イメージセンサと、前記イメージセンサに入射する光の光路に配置されたフィルタアレイであって、前記光路に交差する面に沿って２次元的に配列された透光性の複数のフィルタを含み、前記複数のフィルタは、光透過率の波長依存性が互いに異なる２つ以上のフィルタを含み、前記２つ以上のフィルタの各々の光透過率は、複数の波長域において極大値を有する、フィルタアレイと、を含んでいてもよい。

【0043】

［項目３０］
第２９の項目に係る物体認識装置において、前記複数のフィルタは、周期的に配置される複数の部分集合を含んでいてもよい。

【0044】

以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0045】

本開示において、回路、ユニット、装置、部材又は部の全部又は一部、又はブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は複数の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。

【0046】

さらに、回路、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウエアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていても良い。

【0047】

以下、本開示の実施形態を、図面を参照しながら説明する。

【0048】

（実施形態１）
図１は、本開示の例示的な実施形態１における物体認識装置３００の例を模式的に示す図である。図１は、一例として、キノコが撮影される状況を示している。撮影される物体７０は、どのような物でもよい。実施形態１における物体認識装置３００は、撮像装置１５０と、信号処理回路２００と、ディスプレイ４００と、メモリ５００とを備える。撮像装置１５０は、光学系４０と、フィルタアレイ１００Ｃと、イメージセンサ６０とを備える。物体認識装置３００は、例えばスマートフォンまたはタブレットコンピュータなどのコンピュータであり得る。これらのコンピュータに搭載されたカメラが撮像装置１５０として機能してもよい。

【0049】

フィルタアレイ１００Ｃは、イメージセンサ６０に入射する光の光路に配置されている。本実施形態では、フィルタアレイ１００Ｃは、イメージセンサ６０に対向する位置に配置されている。フィルタアレイ１００Ｃは、他の位置に配置されていてもよい。物体７０からの光の像は、フィルタアレイ１００Ｃによって符号化される。ここで「符号化」とは、フィルタアレイ１００Ｃに入射する光を、その光の波長および位置に依存する減衰率で減衰させることにより、像を変調させることを意味する。このようにして変調された像に基づいて生成された画像データを、「符号化された画像データ」と称する。フィルタアレイ１００Ｃの構成および符号化の詳細については、後述する。

【0050】

イメージセンサ６０は、撮像面に２次元に配列された複数の画素である複数の光検出セルを有するモノクロタイプの撮像素子であり得る。イメージセンサ６０は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、赤外線アレイセンサ、テラヘルツアレイセンサ、またはミリ波アレイセンサであり得る。光検出セルは、例えばフォトダイオードを含む。イメージセンサ６０は、必ずしもモノクロタイプの撮像素子である必要はない。例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプの撮像素子を用いてもよい。イメージセンサ６０は、可視の波長範囲に限らず、Ｘ線、紫外、近赤外、中赤外、遠赤外、マイクロ波・電波の波長範囲に検出感度を有していてもよい。

【0051】

イメージセンサ６０は、フィルタアレイ１００Ｃを通過した光の光路に配置されている。イメージセンサ６０は、フィルタアレイ１００Ｃを通過した光を受けて画像信号を生成する。イメージセンサ６０における各光検出セルは、受けた光の量に応じた光電変換信号を出力する。複数の光検出セルから出力された複数の光電変換信号により、画像信号が生成される。図１は、当該画像信号、すなわち符号化された画像データによって構成される撮像画像１２０の例を模式的に示している。

【0052】

光学系４０は、少なくとも１つのレンズを含む。図１に示す例では、光学系４０は１つのレンズとして描かれているが、複数のレンズの組み合わせによって構成されていてもよい。光学系４０は、後述するようにズーム機能を有していてもよい。光学系４０は、物体７０からの光の像を、フィルタアレイ１００Ｃ上に結像させる。

【0053】

信号処理回路２００は、イメージセンサ６０から出力された画像信号を処理する回路である。信号処理回路２００は、例えば中央演算処理装置（ＣＰＵ）および画像処理用演算プロセッサ（ＧＰＵ）とコンピュータプログラムとの組み合わせによって実現され得る。そのようなコンピュータプログラムは、例えばメモリなどの記録媒体に格納され、ＣＰＵまたはＧＰＵなどのプロセッサがそのプログラムを実行することにより、後述する認識処理を実行できる。信号処理回路２００は、デジタルシグナルプロセッサ（ＤＳＰ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス（ＰＬＤ）であってもよい。信号処理回路２００は、インターネットなどのネットワークを介して撮像装置１５０またはスマートフォン等の機器に接続されたサーバコンピュータが有していてもよい。

【0054】

信号処理回路２００は、符号化された画像データから、物体７０を認識する。物体７０の認識には、例えば公知の機械学習アルゴリズムによって学習されたモデルが用いられ得る。物体認識方法の詳細については、後述する。

【0055】

ディスプレイ４００は、認識した物体７０に関連付けられた情報を表示する。ディスプレイ４００は、例えば、スマートフォンまたはタブレットコンピュータのディスプレイであり得る。ディスプレイ４００は、パーソナルコンピュータなどに接続されたディスプレイ、またはラップトップコンピュータに内蔵されたディスプレイであってもよい。

【0056】

次に、フィルタアレイ１００Ｃの構成および符号化の詳細を説明する。

【0057】

図２Ａは、フィルタアレイ１００Ｃの例を模式的に示す図である。フィルタアレイ１００Ｃは、２次元に配列された複数の領域を有する。本明細書では、当該領域を、「セル」と称することがある。各領域には、個別に設定された分光透過率を有するフィルタが配置されている。ここで、「分光透過率」とは、波長依存性を有する光透過率を意味する。分光透過率は、入射光の波長をλとして、関数Ｔ（λ）で表される。分光透過率Ｔ（λ）は、０以上１以下の値を取り得る。このように、フィルタアレイ１００Ｃは、光路に交差する面に沿って２次元に配列された複数のフィルタを含む。

【0058】

図２Ａに示す例では、フィルタアレイ１００Ｃは、６行８列に配列された４８個の矩形領域を有している。実際の用途では、これよりも多くの領域が設けられ得る。その数は、例えばイメージセンサなどの一般的な撮像素子の画素数と同程度であり得る。当該画素数は、例えば数十万から数千万である。ある例では、フィルタアレイ１００Ｃは、撮像素子の直上に配置され、各領域が撮像素子の１つの画素に対応するように配置され得る。各領域は、例えば、撮像素子の１つまたは複数の画素に対向する。

【0059】

図２Ｂは、対象波長域に含まれる複数の波長域Ｗ１、Ｗ２、・・・、Ｗｉのそれぞれの光の透過率の空間分布の一例を示す図である。図２Ｂに示す例では、各領域の濃淡の違いは、透過率の違いを表している。淡い領域ほど透過率が高く、濃い領域ほど透過率が低い。図２Ｂに示すように、波長域によって光透過率の空間分布が異なっている。

【0060】

図２Ｃおよび図２Ｄは、それぞれ、図２Ａに示すフィルタアレイ１００Ｃの複数の領域に含まれる領域Ａ１および領域Ａ２の分光透過率の例を示す図である。領域Ａ１の分光透過率と領域Ａ２の分光透過率とは、互いに異なっている。このように、フィルタアレイ１００Ｃの分光透過率は、領域によって異なる。ただし、必ずしもすべての領域の分光透過率が異なっている必要はない。フィルタアレイ１００Ｃにおける複数の領域の少なくとも２つの領域の分光透過率は、互いに異なる。すなわち、フィルタアレイ１００Ｃは、分光透過率が互いに異なる２つ以上のフィルタを含む。当該２つ以上のフィルタの各々の分光透過率は、複数の波長域において極大値を有し、他の複数の波長域において極小値を有する。

【0061】

ここで本開示における「極大値」および「極小値」の意義を説明する。着目するフィルタの分光透過率の最大値が１、最小値が０になるように正規化されたとき、０．５を超え、且つ隣接する極小値との差が０．２以上であるものを、本開示における「極大値」であると定義する。同様に、上記の正規化を行ったとき、０．５未満、且つ隣接する極大値との差が０．２以上であるものを、本開示における「極小値」であると定義する。フィルタアレイ１００Ｃにおける複数のフィルタのすべての分光透過率が互いに異なっていてもよい。この場合、各フィルタの分光透過率は、複数の波長域において極大値を有し、他の複数の波長域において極小値を有し得る。ある例では、フィルタアレイ１００Ｃに含まれる複数のフィルタの分光透過率のパターンの数は、対象波長域に含まれる波長域の数ｉと同じか、それ以上であり得る。典型的には、フィルタアレイ１００Ｃは、半数以上のフィルタの分光透過率が異なるように設計され得る。

【0062】

フィルタアレイ１００Ｃは、入射光を領域ごとに、波長に関して離散的な複数の強度のピークを有する光に変調し、これらの多波長の光を重畳して出力する。これにより、フィルタアレイ１００Ｃを通過した光の像は、符号化される。

【0063】

各領域の分光透過率の波長方向の分解能は、所望の波長域の帯域幅程度に設定され得る。言い換えれば、分光透過率の曲線において１つの極大値を含む波長範囲のうち、当該極大値に最も近接する極小値と当該極大値との平均値以上の値をとる範囲の幅は、所望の波長域の帯域幅程度に設定され得る。この場合、分光透過率を、例えばフーリエ変換によって周波数成分に分解すれば、その波長域に相当する周波数成分の値が相対的に大きくなる。

【0064】

フィルタアレイ１００Ｃは、典型的には、図２Ａに示すように、格子状に区分けされた複数の領域に相当する複数のセルに分割される。これらのセルが、互いに異なる分光透過率を有する。フィルタアレイ１００Ｃの各領域の光透過率の波長分布および空間分布は、例えばランダム分布または準ランダム分布であり得る。

【0065】

ランダム分布および準ランダム分布の考え方は次の通りである。まず、フィルタアレイ１００Ｃにおける各領域は、光透過率に応じて、例えば０から１の値を有するベクトル要素と考えることができる。ここで、透過率が０の場合、ベクトル要素の値は０であり、透過率が１の場合、ベクトル要素の値は１である。言い換えると、行方向または列方向に一列に並んだ領域の集合を０から１の値を有する多次元のベクトルと考えることができる。したがって、フィルタアレイ１００Ｃは、多次元ベクトルを列方向または行方向に複数備えていると言える。このとき、ランダム分布とは、任意の２つの多次元ベクトルが独立である、すなわち平行でないことを意味する。また、準ランダム分布とは、一部の多次元ベクトル間で独立でない構成が含まれることを意味する。したがって、ランダム分布および準ランダム分布においては、複数の領域に含まれる１つの行または列に並んだ領域の集合に属する各領域での第１の波長域の光の透過率の値を要素とするベクトルと、他の行または列に並んだ領域の集合に属する各領域における第１の波長域の光の透過率の値を要素とするベクトルとは、互いに独立である。第１の波長域とは異なる第２の波長域についても同様に、複数の領域に含まれる１つの行または列に並んだ領域の集合に属する各領域における第２の波長域の光の透過率の値を要素とするベクトルと、他の行または列に並んだ領域の集合に属する各領域における第２の波長域の光の透過率の値を要素とするベクトルとは、互いに独立である。

【0066】

フィルタアレイ１００Ｃをイメージセンサ６０の近傍あるいは直上に配置する場合、フィルタアレイ１００Ｃにおける複数の領域の相互の間隔であるセルピッチは、イメージセンサ６０の画素ピッチと略一致させてもよい。このようにすれば、フィルタアレイ１００Ｃから出射した符号化された光の像の解像度が、画素の解像度と略一致する。フィルタアレイ１００Ｃをイメージセンサ６０から離して配置する場合には、その距離に応じてセルピッチを細かくしてもよい。

【0067】

図２Ａから図２Ｄに示す例では、各領域の透過率が０以上１以下の任意の値をとり得るグレースケールの透過率分布を想定した。しかし、必ずしもグレースケールの透過率分布にする必要はない。例えば、各領域の透過率が略０または略１のいずれかの値を取り得るバイナリ－スケールの透過率分布を採用してもよい。バイナリ－スケールの透過率分布では、各領域は、対象波長域に含まれる複数の波長域のうちの少なくとも２つの波長域の光の大部分を透過させ、残りの波長域の光の大部分を透過させない。ここで「大部分」とは、概ね８０％以上を指す。

【0068】

全セルのうちの一部、例えば半分のセルを、透明領域に置き換えてもよい。そのような透明領域は、対象波長域に含まれるすべての波長域Ｗ１から波長域Ｗｉの光を同程度の高い透過率で透過させる。当該高い透過率は、例えば０．８以上である。そのような構成では、複数の透明領域は、例えば市松状に配置され得る。すなわち、フィルタアレイ１００Ｃにおける複数の領域の２つの配列方向において、光透過率が波長によって異なる領域と、透明領域とが交互に配列され得る。図２Ａに示す例では、２つの配列方向は、横方向および縦方向である。市松状に配置された透明領域を透過する成分を抽出することにより、１つのカメラでモノクロ画像を同時に取得することができる。

【0069】

フィルタアレイ１００Ｃは、多層膜、有機材料、回折格子構造、金属を含む微細構造からなる群から選択される少なくとも１つから構成され得る。多層膜の場合は、例えば、誘電多層膜または金属膜を含む多層膜が用いられる。このとき、各セルにおいて、多層膜の厚さ、材料、および積層順序の少なくとも１つは、異なるように設計され得る。これにより、各セルにおいて、異なる分光特性を実現することができる。また、多層膜により、シャープな立ち上がりまたは立ち下がりを有する分光特性を実現することができる。有機材料を用いる場合は、各セルにおいて、異なる顔料または染料により、または異種材料の積層により、異なる分光特性を実現することができる。回折格子構造の場合は、各セルにおいて、異なる回折ピッチまたは深さの回折構造を設けることにより、異なる分光特性を実現することができる。金属を含む微細構造の場合は、プラズモン効果による分光により、異なる分光特性を実現することができる。

【0070】

フィルタアレイ１００Ｃは、イメージセンサ６０の近傍または直上に配置されている。ここで「近傍」とは、光学系４０からの光の像がある程度鮮明な状態でフィルタアレイ１００Ｃの面上に形成される程度に近接していることを意味する。「直上」とは、ほとんど隙間が生じない程両者が近接していることを意味する。フィルタアレイ１００Ｃおよびイメージセンサ６０は一体化されていてもよい。フィルタアレイ１００Ｃは、光透過率の空間分布を有するマスクである。フィルタアレイ１００Ｃは、入射した光の強度を変調させて通過させる。

【0071】

図３Ａおよび図３Ｂは、フィルタアレイ１００Ｃの２次元分布の例を模式的に示す図である。

【0072】

図３Ａに示すように、フィルタアレイ１００Ｃは、２値マスクによって構成されてもよい。黒部は遮光を表し、白部は透過を表す。白部を通過する光は１００％透過し、黒部を通過する光は１００％遮光される。マスクの透過率の２次元分布は、ランダム分布または準ランダム分布であり得る。マスクの透過率の２次元分布は、必ずしも完全なランダムである必要はない。フィルタアレイ１００Ｃによる符号化は、各波長の画像それぞれを区別するために行われるからである。また、黒部と白部との比率は１：１である必要はない。例えば、白部：黒部＝１：９であってもよい。図３Ｂに示すように、フィルタアレイ１００Ｃは、グレースケールの透過率分布を有するマスクであってもよい。

【0073】

図３Ａおよび図３Ｂに示すように、フィルタアレイ１００Ｃは、波長域Ｗ１、Ｗ２、・・・、Ｗｉごとに異なる透過率の空間分布を有する。波長域それぞれの透過率の空間分布は、平行移動させたとしても一致しない。

【0074】

イメージセンサ６０は、２次元の画素を有するモノクロタイプの撮像素子であり得る。しかし、イメージセンサ６０は、必ずしもモノクロタイプの撮像素子によって構成される必要はない。イメージセンサ６０には、例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、Ｒ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプの撮像素子を用いてもよい。カラータイプの撮像素子により、波長に関する情報量を増やすことができる。これにより、フィルタアレイ１００Ｃの特性を補完することが可能であり、フィルタ設計が容易になる。

【0075】

次に、本実施形態の物体認識装置３００によって撮像画像１２０を示す画像データを取得する過程を説明する。物体７０からの光の像は、光学系４０によって結像され、イメージセンサ６０の直前に設置されたフィルタアレイ１００Ｃによって符号化される。その結果、波長域ごとに異なる符号化情報を有する像が、互いに重なり合って、多重像としてイメージセンサ６０上に結像される。これにより、撮像画像１２０が得られる。このとき、プリズムなどの分光素子を使用しないため、像の空間的なシフトは発生しない。これにより、多重像であっても高い空間解像度を維持することができる。その結果、物体認識の精度を高めることが可能になる。

【0076】

物体認識装置３００の一部に帯域通過フィルタを設置することにより、波長域を限定してもよい。物体７０の波長範囲がある程度既知の場合、波長域を限定することにより、識別範囲も限定することができる。その結果、物体の高い認識精度を実現することができる。

【0077】

次に、本実施形態における物体認識装置３００を用いた物体認識方法を説明する。

【0078】

図４Ａは、本実施形態における物体認識装置３００を用いた物体認識方法の例を示すフローチャートである。この物体認識方法は、信号処理回路２００によって実行される。信号処理回路２００は、メモリ５００に格納されたコンピュータプログラムを実行することにより、図４Ａに示すステップＳ１０１からＳ１０４の処理を実行する。

【0079】

まず、ユーザは、物体７０を、物体認識装置３００が備える撮像装置１５０によって撮像する。これにより、符号化された撮像画像１２０が得られる。

【0080】

ステップＳ１０１において、信号処理回路２００は、撮像装置１５０によって生成された画像データを取得する。当該画像データは、符号化された撮像画像１２０を示す。

【0081】

ステップＳ１０２において、信号処理回路２００は、取得した画像データの前処理を行う。前処理は、認識精度を高めるために行われる。前処理は、例えば、領域抽出、ノイズ除去のための平滑化処理、および特徴抽出などの処理を含み得る。前処理は、不要であれば省略されてもよい。

【0082】

ステップＳ１０３において、信号処理回路２００は、学習済みの分類モデルを画像データに適用して、前処理された画像データが示すシーンに含まれる物体７０を特定する。分類モデルは、例えば公知の機械学習アルゴリズムによって予め学習されている。分類モデルの詳細については、後述する。

【0083】

ステップＳ１０４において、信号処理回路２００は、物体７０に関連付けられた情報を出力する。信号処理回路２００は、例えば、物体７０の名称および／または詳細情報などの情報を、ディスプレイ４００に出力する。ディスプレイ４００は、当該情報を示す画像を表示する。当該情報は、画像に限らず、例えば音声によって提示されてもよい。

【0084】

次に、物体認識方法に用いられる分類モデルを説明する。

【0085】

図４Ｂは、分類モデルの生成処理の例を示すフローチャートである。

【0086】

ステップＳ２０１において、信号処理回路２００は、複数の訓練データセットを収集する。複数の訓練データセットの各々は、学習用画像データと、ラベルデータとを含む。ラベルデータは、学習用画像データが示すシーンに含まれる物体７０を識別する情報である。学習用画像データは、前述の画像データと同様の方法で符号化された画像データである。複数の訓練データセットに含まれる複数の学習用画像データは、本実施形態における撮像装置１５０、または他の撮像装置によって生成された学習用画像データを含み得る。複数の訓練データセットの詳細については後述する。

【0087】

ステップＳ２０２において、信号処理回路２００は、各訓練データに含まれる学習用画像データについて、前処理を行う。前処理については、前述した通りである。

【0088】

ステップＳ２０３において、信号処理回路２００は、複数の訓練データセットから、機械学習によって分類モデルを生成する。機械学習には、例えば、ディープラーニング、サポートベクターマシン、決定木、遺伝的プログラミング、またはベイジアンネットワークなどのアルゴリズムが用いられ得る。ディープラーニングが利用される場合、例えば畳み込みニューラルネットワーク（ＣＮＮ）またはリカレントニューラルネットワーク（ＲＮＮ）などのアルゴリズムが用いられ得る。

【0089】

本実施形態では、機械学習によって訓練されたモデルを利用することにより、符号化画像データから、直接的にシーン内の物体に関する情報を得ることができる。同様のことを従来技術で行うためには、多くの演算が必要であった。例えば、符号化画像データから、圧縮センシングなどの方法で各波長域の画像データを再構築し、それらの画像データから、物体を特定する必要があった。これに対し、本実施形態では、符号化画像データから各波長域の画像データを再構築する必要がない。したがって、当該再構成の処理に費やされる時間または計算リソースを節約することができる。

【0090】

図４Ｃは、本実施形態における複数の訓練データセットの例を模式的に示す図である。図４Ｃに示す例では、各訓練データセットは、１つ以上のキノコを示す符号化画像データと、そのキノコが食用キノコか毒キノコかを示すラベルデータとを含む。このように、各訓練データセットについて、符号化画像データと、正解ラベルを示すラベルデータとが、１：１で対応している。正解ラベルは、例えば、物体７０の名称、特性、「おいしい」もしくは「まずい」などの官能評価、または「良い」もしくは「悪い」などの判定を示す情報であり得る。一般に、複数の訓練データセットは多いほど、学習の精度を高めることができる。ここで、複数の訓練データセットに含まれる複数の学習用画像データにおける物体７０の画像内での位置は、学習用画像データによって異なっていてもよい。符号化情報は、画素ごとに異なる。したがって、画像内での物体７０の位置が異なる学習用画像データが多いほど、分類モデルによる物体認識の精度を高めることができる。

【0091】

本実施形態における物体認識装置３００では、分類モデルは、ユーザが利用する前に、信号処理回路２００に組み込まれている。他の方法としては、撮像画像１２０を示す符号化画像データを、ネットワークまたはクラウド経由で、別途外部に準備された分類システムに送信してもよい。当該分類システムでは、例えばスーパーコンピュータによる高速処理が可能である。これにより、ユーザ側の端末の処理速度が脆弱であっても、ネットワークにさえ接続可能であれば、物体７０の認識結果を、高速にユーザに提供することができる。

【0092】

図４ＡにおけるステップＳ１０１で取得される画像データと、図４ＢにおけるステップＳ２０１で取得される学習用画像データは、例えば同等の特性を有するフィルタアレイによって符号化され得る。その場合、物体７０の認識精度を高くすることができる。ここで、同等の特性を有するフィルタアレイは、厳密に同じ特性を有している必要はなく、一部のフィルタにおいて分光透過特性が異なっていてもよい。例えば、全体の数％から数十％程度のフィルタの特性が異なっていてもよい。学習用画像データを他の撮像装置によって生成する場合、当該他の撮像装置は、撮像装置１５０に含まれるフィルタアレイ１００Ｃと同等の特性を有するフィルタアレイを備え得る。

【0093】

物体７０の認識結果を、分類モデルにフィードバックしてもよい。それにより、分類モデルをさらに訓練することができる。

【0094】

図４Ｄは、物体７０の認識結果を分類モデルにフィードバックする例を模式的に示す図である。図４Ｄに示す例では、前処理が行われた符号化画像データに、学習された分類モデルを適用して、分類結果が出力される。すると、その結果がデータセットに追加され、そのデータセットを用いてさらに機械学習が行われる。これにより、モデルがさらに訓練され、予測精度を向上させることができる。

【0095】

図４Ｅは、認識結果を分類モデルにフィードバックする場合の動作をより詳細に示すフローチャートである。

【0096】

図４Ｅに示すステップＳ３０１からステップＳ３０４は、それぞれ図４Ａに示すステップＳ１０１からステップＳ１０４と同じである。その後、ステップＳ３０５からＳ３０７が実行される。

【0097】

ステップＳ３０５では、信号処理回路２００は、ステップＳ３０１において取得した画像データと、ステップＳ３０３において認識した物体７０を示すラベルデータとを含む新たな訓練データセットを生成する。

【0098】

ステップＳ３０６では、信号処理回路２００は、新たな複数の訓練データセットによって、分類モデルをさらに学習させる。この学習処理は、図４Ｂに示すステップＳ２０２およびステップＳ２０３に示される学習処理と同様である。

【0099】

ステップＳ３０７では、信号処理回路２００は、物体７０の認識を続けるかどうかを判定する。判定がＹｅｓの場合、信号処理回路２００は、再びステップＳ３０１の処理を実行する。判定がＮｏの場合、信号処理回路２００は、物体７０の認識を終了する。

【0100】

このように、物体７０の認識結果を分類モデルにフィードバックすることにより、分類モデルの認識精度を向上させることができる。さらに、ユーザに適した分類モデルの作成も可能になる。

【0101】

分類システムが別途提供されている場合、ユーザは、物体７０の認識結果を含むデータセットを、フィードバックのために、ネットワーク経由で分類システムに送信してもよい。当該データセットは、撮像によって生成された撮像画像１２０を示すデータ、またはそれを前処理したデータと、分類モデルによる認識結果またはユーザの知見に基づく正解ラベルを示すラベルデータとを含み得る。フィードバックのために当該データセットを送信したユーザには、分類システムの提供者から、報酬またはポイントなどのインセンティブが与えられてもよい。ユーザが撮影した撮像画像１２０のアクセス許可、または自動送信の可否の認証が、送信前に、例えば画面ポップアップによってディスプレイ４００に表示されてもよい。

【0102】

フィルタアレイ１００Ｃは、１つの画素に１つの波長情報ではなく、１つの画素に複数の波長情報を多重化させることが可能である。撮像画像１２０は、多重化された２次元情報を含む。当該２次元情報は、空間および波長について、例えばランダムに符号化されたスペクトル情報である。フィルタアレイ１００Ｃとして固定のパターンを使用した場合、機械学習によって符号化のパターンが学習される。これにより、２次元の入力データではあるものの、実質的に３次元（すなわち、位置２次元および波長１次元）の情報が物体認識に活用される。

【0103】

本実施形態における画像データは、波長情報が多重化されたデータであることから、従来の空間解像度を犠牲にするハイパースペクトル画像に比べて、１波長あたりの空間解像度を高めることが可能である。さらに、本実施形態における物体認識装置３００は、シングルショットで１フレームの画像データを取得することが可能である。これにより、従来の解像度が高いスキャン方式のハイパースペクトル撮像方式に比べて、動いている物体、または手振れに強い物体認識が可能である。

【0104】

従来のハイパースペクトル画像の撮像では、１波長当たりの検出感度が低いという課題があった。例えば、４０波長に分解する場合、分解しない場合と比較して、光量が１画素あたり４０分の１に減少してしまう。これに対し、本実施形態における方法では、図３Ａおよび図３Ｂに例示するように、入射光量のうちの例えば５０％程度の光量が、イメージセンサ６０によって検出される。これにより、従来のハイパースペクトル画像に比べて１画素当たりの検出光量が高くなる。その結果、画像のＳＮ比が増加する。

【0105】

次に、本実施形態における物体認識方法を実装した撮像装置による他の機能の例を説明する。

【0106】

図５Ａは、物体認識の推奨領域を表示してカメラによる撮像を補助する機能を模式的に示す図である。物体７０がイメージセンサ６０上に極端に小さく、または極端に大きく結像されると、結像された物体７０の画像と、学習時に認識した訓練データセットの画像との間に差異が生じ、認識精度が低下する。フィルタアレイ１００Ｃは、例えば画素ごとに含まれる波長情報が異なる。このため、物体７０がイメージセンサ６０の撮像領域の一部のみでしか検出されないと、波長情報に偏りが生じる。波長情報の偏りを防ぐために、物体７０は、イメージセンサ６０の撮像領域において、なるべく広く撮影され得る。また、物体７０の像がイメージセンサ６０の撮像領域からはみ出した状態で撮影されると、物体７０の空間解像度の情報に欠落が生じる。したがって、物体認識の推奨領域は、イメージセンサ６０の撮像領域よりもやや内側である。図５Ａに示す例では、物体認識の推奨領域を示す補助表示４００ａが、ディスプレイ４００に表示される。図５Ａにおいて、ディスプレイ４００の全領域が、イメージセンサ６０の撮像領域に対応している。例えば、撮像領域の横幅または縦幅の６０％から９８％の領域が、物体認識の推奨領域としてディスプレイ４００上に表示され得る。物体認識の推奨領域は、撮影領域の横幅または縦幅の７０％から９５％の領域、または８０％から９０％の領域であってもよい。このように、撮像装置１５０によって画像データが取得される前に、補助表示４００ａがディスプレイ４００に表示されてもよい。補助表示４００ａは、撮像されるシーンの中で物体７０が位置すべきエリアまたは物体７０が占めるべき範囲をユーザに知らせる。同様に、複数の訓練データセットに含まれる複数の学習用画像データの各々は、物体７０が画像内で所定の範囲以上を占めた状態で撮像されることによって取得され得る。

【0107】

図５Ｂは、ズーム機能を有する光学系によって物体７０が拡大される様子を模式的に示す図である。図５Ｂの左部分に示す例では、拡大前の物体７０がディスプレイ４００に表示され、図５Ｂの右部分に示す例では、拡大後の物体７０がディスプレイ４００に表示されている。このように、ズーム機能を有する光学系４０により、イメージセンサ６０上に広く物体７０を結像させることができる。

【0108】

図５Ｃは、フィルタアレイ１００Ｃの変形例を模式的に示す図である。図５Ｃに示す例では、複数の領域（Ａ１、Ａ２、・・・）の集まりによって構成された領域群ＡＡが、周期的に配置されている。当該複数の領域は、互いに異なる分光特性を有する。周期的とは、領域群ＡＡが、分光特性を維持したまま、縦方向および／または横方向に２回以上繰り返されることを意味する。図５Ｃに示すフィルタアレイ１００Ｃにより、波長情報の空間的な偏りを防ぐことができる。さらに、物体認識の学習において、図５Ｃに示すフィルタアレイ１００Ｃの全体ではなく、周期構造の部分集合である領域群ＡＡのみによって学習してもよい。これにより、学習時間の短縮を図ることができる。空間において同一の分光特性のフィルタを周期的に配置することにより、撮像領域の全体ではなく一部分に物体が撮像される場合であっても、物体認識が可能になる。

【0109】

フィルタアレイ１００Ｃによって符号化された画像は、例えばランダムに多重化された波長情報を含み得る。このため、当該画像は、ユーザにとっては見づらい。そこで、物体認識装置３００は、ユーザへの表示用に通常のカメラを別途備えてもよい。すなわち、物体認識装置３００は、撮像装置１５０と、通常のカメラとの双眼構成を備えていてもよい。これにより、ユーザには、符号化されていない可視のモノクロ画像をディスプレイ４００上に表示することができる。その結果、ユーザは、物体７０とイメージセンサ６０の撮像領域との位置関係を把握しやすくなる。

【0110】

物体認識装置３００は、画像内の物体７０の輪郭を抽出する機能を有していてもよい。輪郭を抽出することにより、物体７０の周りの不要な背景を除去することができる。不要な背景が除去された画像データを、学習用画像データとして使用してもよい。その場合、認識精度をさらに高めることが可能になる。物体認識装置３００は、輪郭の認識結果をディスプレイ４００に表示し、ユーザが輪郭を微調整できる機能を有していてもよい。

【0111】

図６Ａから図６Ｃは、本実施形態における物体認識装置３００の適用例を模式的に示す図である。

【0112】

図６Ａの部分（ａ）は、植物の種別の判別への適用例を示す。図６Ａの部分（ｂ）は、食品の名称の表示への適用例を示す。図６Ａの部分（ｃ）は、鉱物資源の分析への適用例を示す。図６Ａの部分（ｄ）は、昆虫の種類の特定への適用例を示す。その他にも、本実施形態における物体認識装置３００は、例えば、顔認証などのセキュリティー認証・ロック解除、または人物検出などの用途に有効である。通常のモノクロ画像またはＲＧＢ画像の場合、人の目では一見すると物体を誤認識する可能性がある。これに対し、本実施形態のように多波長情報が加わることにより、物体の認識精度を高めることが可能になる。

【0113】

図６Ｂは、本実施形態における物体認識方法を実装したスマートフォンに、物体７０の詳細な情報が表示される例を示している。この例では、物体認識装置３００は、スマートフォンに搭載されている。スマートフォンを物体７０にかざすだけで、物体７０が何であるかを特定し、その結果に基づいてネットワーク経由で、データベースから物体７０の名称およびその説明情報を収集して表示することができる。このように、スマートフォンなどの携帯情報機器を「画像検索百科事典」として活用することが可能である。「画像検索百科事典」には、完全な識別が難しい場合、複数の候補を、可能性が高い順に提示してもよい。このように、物体７０の認識結果に基づいて、物体７０の名称および説明情報を示すデータをデータベースから取得し、その名称および／または説明情報をディスプレイ４００に表示してもよい。

【0114】

図６Ｃは、街中に存在する複数の物体が、スマートフォンによって認識される例を示している。当該スマートフォンには、物体認識装置３００が搭載されている。物体７０が製造ラインの検査物のように特定されている場合、検査装置は、物体７０に応じた特定波長の情報のみを取得する。一方、街中での利用のように物体７０のターゲットが特定されない状況下では、本実施形態における物体認識装置３００のように多波長情報を取得することが有効である。物体認識装置３００は、使用例に応じてスマートフォンのディスプレイ４００側に配置してもよいし、ディスプレイ４００の反対側の面に配置してもよい。

【0115】

その他にも、本実施形態における物体認識方法は、地図アプリ、自動運転、またはカーナビゲーションなどの、人工知能（ＡＩ）による認識が行われ得る幅広い分野に応用することが可能である。前述のように、物体認識装置は、例えばスマートフォン、タブレット、またはヘッドマウントディスプレイ装置などのポータブル機器にも搭載され得る。カメラによって撮影可能であれば、人、顔、または動物などの生体も物体７０になり得る。

【0116】

信号処理回路２００に入力される画像データが示す撮像画像１２０は、多重符号化画像である。このため、撮像画像１２０は、一見何が写っているか判別が困難である。しかし、撮像画像１２０には、物体７０の特徴を示す情報である特徴情報が含まれている。したがって、ＡＩは、撮像画像１２０から直接物体７０を認識することができる。これにより、比較的多くの時間を費やす画像の再構成の演算処理も不要である。

【0117】

（実施形態２）
実施形態２による物体認識装置３００は、自動運転のためのセンシングデバイスに適用される。以下、実施形態１と同様の内容についての詳細な説明は省略し、実施形態１と異なる点を中心に説明する。

【0118】

図７は、本実施形態における物体認識装置３００を用いた車両制御の例を模式的に示す図である。車両に搭載された物体認識装置３００により、車両外の環境をセンシングして、物体認識装置３００の視野内に入る車両周辺の１つ以上の物体７０を認識することができる。車両周辺の物体７０には、例えば、対向車、並行車、駐車車両、歩行者、自転車、道、車線、白線、歩道、縁石、溝、標識、信号、電柱、店舗、植木、障害物、または落下物が含まれ得る。

【0119】

物体認識装置３００は、実施形態１におけるものと同様の撮像装置を備える。撮像装置は、所定のフレームレートで、動画像の画像データを生成する。当該画像データは、車両周辺の物体７０からの光がフィルタアレイ１００Ｃを通過して多重符号化された撮像画像１２０を示す。信号処理回路２００は、当該画像データを取得し、当該画像データから視野内の１つ以上の物体７０を抽出し、抽出した物体７０の各々が何であるかを推定し、各物体７０をラベル化する。物体７０の認識結果に基づいて、信号処理回路２００は、例えば、周囲環境を理解し、危険を判断し、または目標走行の軌跡４２０を表示することができる。周囲環境、危険情報、および目標走行の軌跡４２０などのデータは、車体のステアリングまたはトランスミッションなどの車載機器の制御に用いられ得る。これにより、自動走行が可能になり得る。物体認識ラベル、または進行経路などの認識結果は、運転手が把握できるように、図７に示すように、車両内に設置されたディスプレイ４００に表示されてもよい。このように、本実施形態における車両制御方法は、撮像装置１５０が取り付けられた車両の動作を、物体７０の認識結果に基づいて制御することを含む。

【0120】

従来のＲＧＢまたはモノクロ画像を用いた物体認識では、写真と実物との区別が難しい。このため、例えば看板またはポスターの写真と、実物とを誤認識する場合があった。しかし、物体認識装置３００では、多波長情報を利用することにより、看板の塗料と、実物の車とのスペクトル分布の差異を考慮することができる。これにより、認識精度を向上させることが可能である。さらに、物体認識装置３００では、多波長情報が重畳された２次元データが取得される。これにより、従来の３次元のハイパースペクトルデータに比べ、データ量が小さい。その結果、データの読み込みおよび転送に要する時間、および機械学習の処理時間を短縮することができる。

【0121】

また、写真と実物との誤認識以外にも、カメラ画像では物体が偶発的に別のものに見えてしまう場合がある。図７に示す例では、街路樹が、その成長度合い、または見る角度によっては人の形状に見えてしまう。このため、形状に基づく従来の物体認識では、図７に示す街路樹が、人として誤認識されてしまうことがあった。この場合、自動運転の環境下では、人が飛び出したと誤認識することにより、車体の減速、または急ブレーキが指示され得る。その結果、事故が誘発されかねない。例えば高速道路では、誤認識によって車体が突然停止することは、あってはならない。このような環境下においても、物体認識装置３００は、多波長情報を活用することにより、従来の物体認識に比べて認識精度を高めることが可能である。

【0122】

物体認識装置３００は、ミリ波レーダー、レーザーレンジファインダー（Ｌｉｄａｒ）、またはＧＰＳなどの各種センサと組み合わせて使用され得る。これにより、認識精度をさらに向上させることができる。例えば、予め記録された道路地図の情報に連動させることにより、目標走行の軌跡の生成精度を向上させることができる。

【0123】

（実施形態３）
実施形態３では、本実施形態１とは異なり、フィルタアレイ１００Ｃの代わりに、発光波長域の異なる複数の光源を用いることにより、符号化された画像データが取得される。以下、実施形態１と同様の内容についての詳細な説明を省略し、実施形態１とは異なる点を中心に説明する。

【0124】

図８は、本実施形態における物体認識装置３００の例を模式的に示す図である。本実施形態における物体認識装置３００は、撮像装置１５０と、信号処理回路２００と、ディスプレイ４００と、メモリ５００とを備える。撮像装置１５０は、光学系４０と、イメージセンサ６０と、光源アレイ１００Ｌと、制御回路２５０とを備える。

【0125】

光源アレイ１００Ｌは、各々が異なる波長域の光を発する複数の光源を含む。制御回路２５０は、イメージセンサ６０、および光源アレイ１００Ｌに含まれる複数の光源を制御する。制御回路２５０は、複数の光源の一部または全部を発光させた状態でイメージセンサ６０に撮像させる動作を、発光させる光源の組み合わせを変えながら、複数回に亘って繰り返す。これにより、光源アレイ１００Ｌから、撮像ごとに、互いに異なる分光特性の光が出射される。発光させる光源の組み合わせには、まったく同じ組み合せは含まれない。ただし、複数の組み合わせのうち、２つ以上の組み合わせにおいて、一部の光源が重複していてもよい。したがって、撮影時間Ｔ１、Ｔ２、Ｔ３、・・・、Ｔｍの各撮影においてそれぞれ得られる撮像画像１２０Ｇ１、１２０Ｇ２、１２０Ｇ３、・・・、１２０Ｇｍは、異なる強度分布を有する。本実施形態では、信号処理回路２００に入力される画像データは、撮像装置１５０におけるイメージセンサ６０によって複数回の撮像ごとに生成された画像信号の集合である。

【0126】

制御回路２５０は、各光源を点灯または消灯の２値に変化させるだけでなく、各光源の光量を調整してもよい。そのような調整を行った場合も、異なる波長情報を有する複数の画像信号を得ることができる。各光源は、例えば、ＬＥＤ、ＬＤ、レーザ、蛍光灯、水銀灯、ハロゲンランプ、メタルハライドランプ、またはキセノンランプであり得るが、それらに限定されない。また、テラヘルツオーダーの波長域の光を出射させる場合、光源は、フェムト秒レーザなどの超高速ファイバレーザが使用され得る。

【0127】

信号処理回路２００は、画像データに含まれる撮像画像１２０Ｇ１、１２０Ｇ２、１２０Ｇ３、・・・、１２０Ｇｍのすべて、またはそれらのうちのいずれかを用いて物体７０の学習および分類を行う。

【0128】

制御回路２５０は、空間的に一様な照度分布の光に限らず、例えば空間的にランダムな強度分布の光を光源アレイ１００Ｌに出射させてもよい。複数の光源から出射される光は、波長ごとに異なる２次元の照度分布を有していてもよい。図８に示すように、光源アレイ１００Ｌから物体７０に向けて出射され、光学系４０を通過した光の像は、イメージセンサ６０上に結像される。この場合、イメージセンサ６０の画素ごとに、または複数画素ごとに入射する光は、図２に示す例と同様に、異なる複数の分光ピークを含むスペクトル特性を有する。これにより、本実施形態１と同様に、シングルショットでの物体認識が可能になる。

【0129】

実施形態１と同様に、複数の訓練データセットに含まれる複数の学習用画像データは、撮像装置１５０、または他の撮像装置によって生成された学習用画像データを含む。学習用画像データを他の撮像装置によって生成するときは、当該他の撮像装置は、撮像装置１５０に含まれる光源アレイ１００Ｌと同等の特性を有する光源アレイを備え得る。認識対象の画像データと、各学習用画像データとが、同等の特性を有する光源アレイによって符号化されている場合、高い物体７０の認識精度が得られる。

【0130】

本開示における物体認識方法は、各画素に複数の波長情報が多重化された画像データを取得することと、機械学習アルゴリズムによって学習された分類モデルを、複数の波長情報が多重化された画像データに適用することにより、画像データが示すシーンに含まれる物体を認識することと、を含む。また、本開示における物体認識方法は、複数の波長情報が多重化された画像データを用いて分類モデル学習強化することを含む。各画素に複数の波長情報が多重化された画像データを得る手段は、前述の実施形態に記載された撮像装置に限定されない。

【0131】

本開示は、信号処理回路２００が実行する動作を規定するプログラムおよび方法も含む。

【産業上の利用可能性】

【0132】

本開示における物体認識装置は、測定の際に対象物を高精度に識別する測定機器に利用され得る。物体認識装置は、例えば、植物・食品・生物の種別識別、道案内・ナビゲーション、鉱物探査、生体・医療・美容向けセンシング、食品の異物・残留農薬検査システム、リモートセンシングシステム、および自動運転などの車載センシングシステムにも応用できる。

【符号の説明】

【0133】

４０ 光学系
６０ イメージセンサ
７０ 物体
１００Ｃ フィルタアレイ
１００Ｌ 光源アレイ
１２０ 撮像画像
２００ 信号処理回路
２５０ 制御回路
３００ 物体認識装置
４００ ディスプレイ
４００ａ 補助表示
４２０ 目標走行の軌跡
５００ メモリ

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】

【図6C】

【図7】

【図8】