特許 7007629 対象物推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-12

(45)【発行日】2022-01-24

(54)【発明の名称】対象物推定装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220117BHJP

   G06F 3/01 20060101ALI20220117BHJP

【ＦＩ】

G06T7/00 300F

G06F3/01 510

【請求項の数】 3

(21)【出願番号】P 2017083872

(22)【出願日】2017-04-20

(65)【公開番号】P2018181204

(43)【公開日】2018-11-15

【審査請求日】2020-03-03

(73)【特許権者】

【識別番号】504409543

【氏名又は名称】国立大学法人秋田大学

(73)【特許権者】

【識別番号】303057365

【氏名又は名称】株式会社安藤・間

(74)【代理人】

【識別番号】110000925

【氏名又は名称】特許業務法人信友国際特許事務所

(72)【発明者】

【氏名】川村 洋平

(72)【発明者】

【氏名】安達 毅

(72)【発明者】

【氏名】伊藤 豊

(72)【発明者】

【氏名】宇津木 慎司

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２００９－０７６０１２（ＪＰ，Ａ）

【文献】特開２００８－２３０２９６（ＪＰ，Ａ）

【文献】特開２００９－２９０６９４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９

Ｇ０６Ｔ １／００ －１／４０

Ｇ０６Ｔ ３／００ －９／４０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

使用者の頭部に装着されて、前記使用者の眼球に対して至近距離から前記使用者の視界に所定の画像及び／または文字列を表示する表示部と、
赤外線から紫外線まで、異なる複数の波長について、各々の波長に係る画像データを出力するハイパースペクトルカメラである撮像装置と、
前記撮像装置が出力する複数の前記画像データから、目的とする対象物の輪郭を認識し、前記輪郭に基づいて複数の前記画像データから対象物の部分を切り出して、前記切り出した部分について、前記複数の波長毎にスペクトル強度データ列を生成し、前記スペクトル強度データ列を辞書データ群と比較して、最も類似する対象物を推定する、ニューラルネットワークよりなる対象物識別処理部と、
前記対象物識別処理部の推定結果を、使用者の視界に重畳させるべく前記表示部を駆動する合成処理部と
を具備する対象物推定装置。

【請求項2】

前記表示部は、眼鏡に装着されて、使用者の眼球に投射される風景に前記画像及び／または文字列を重畳させることで拡張現実を実現する、
請求項１に記載の対象物推定装置。

【請求項3】

前記表示部はヘッドマウントディスプレイであり、
前記合成処理部は、前記撮像装置が出力する複数の前記画像データに、前記推定結果を重畳して前記表示部に表示する、
請求項１に記載の対象物推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、所定の距離だけ離れた場所から視認できる対象物の種別を推定する、対象物推定装置に関する。

【背景技術】

【0002】

対象物を撮像装置で撮影し、撮像装置から得た画像データから当該対象物の正常・異常を判定する等の技術は、マシンビジョンという産業用途の技術として周知である。
また、対象物を撮像装置で撮影し、撮像装置から得た画像データから当該対象物が何であるかを判定、識別する等の技術が幾つか提案されている。

【0003】

特許文献１には、盲人、又は視覚障害者の補助に役立つ視覚補助装置が開示されている。
特許文献２には、拡張現実を利用したコンテンツ表示装置およびコンテンツ表示装置の制御プログラムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－１４３０６０号公報

【文献】特開２０１５－２０４０３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

マシンビジョンは、製造工程や検査工程において利用される技術であり、予め定められた位置、方向や大きさ等、対象物が一定の規則に従って撮像装置の前に配置されていることが必要である。つまり、不定形の対象物には適用できない。
また、不特定の対象物を正確に判定、識別する技術は、膨大な計算機リソースを要するものが多い。

【0006】

本発明はかかる課題に鑑みてなされたものであり、本発明の目的は、不定形の対象物の種別を推定することが可能な、対象物推定装置を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の対象物推定装置は、使用者の頭部に装着されて、使用者の眼球に対して至近距離から使用者の視界に所定の画像及び／または文字列を表示する表示部と、赤外線から紫外線まで、異なる複数の波長について、各々の波長に係る画像データを出力するハイパースペクトルカメラである撮像装置と、撮像装置が出力する複数の画像データから、目的とする対象物の輪郭を認識し、輪郭に基づいて複数の画像データから対象物の部分を切り出して、切り出した部分について、複数の波長毎にスペクトル強度データ列を生成し、スペクトル強度データ列を辞書データ群と比較して、最も類似する対象物を推定する、ニューラルネットワークよりなる対象物識別処理部と、対象物識別処理部の推定結果を、使用者の視界に重畳させるべく表示部を駆動する合成処理部とを具備する。

【発明の効果】

【0008】

本発明によれば、不定形の対象物の種別を推定することが可能な、対象物推定装置を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0009】

【図1】本発明の第一実施形態に係る対象物推定装置の外観図である。

【図2】本発明の第一実施形態に係る対象物推定装置のハードウェア構成を示すブロック図である。

【図3】本発明の第一実施形態に係る対象物推定装置のソフトウェア機能を示すブロック図である。

【図4】ハイパースペクトルカメラにて撮影された画像と、パターン認識部によって対象物の輪郭が定められた画像と、対象物のスペクトル成分に係る画像データ群と、スペクトル成分のグラフである。

【図5】表示部を通じてＡＲグラスの装着者の視界に映し出される拡張現実画像との重畳視界を示す図である。

【図6】対象物推定装置に必要な辞書データ群を作成し更新する辞書データ更新システムのソフトウェア機能を示すブロック図である。

【図7】本発明の第二実施形態に係る対象物推定装置を構成するＡＲグラスの外観図である。

【図8】本発明の第二実施形態に係る対象物推定装置のハードウェア構成を示すブロック図である。

【図9】本発明の第二実施形態に係る対象物推定装置のソフトウェア機能を示すブロック図である。

【図10】本発明の第三実施形態に係る対象物推定装置のソフトウェア機能を示すブロック図である。

【図11】本発明の第四実施形態に係る対象物推定装置のソフトウェア機能を示すブロック図である。

【発明を実施するための形態】

【0010】

本発明は熟練者・知識者（エキスパート）の各分野における、視覚による判定（判別）を、そのような専門的知識や技能を持たない一般の人々が実施できるようにする技術に関する発明である。この発明により、例えば青果や魚介類の鮮度判定、キノコや野草の可食判別、岩石種別の判定等の、広範囲の判定（判別・推定）を、専門家抜きで実施することが可能になる。
本発明に係る対象物推定装置の使用者は、ＡＲ（Augmented Reality:拡張現実）グラスを着用し、実際に見ている映像に重畳された推定情報により、対象物の推定結果を認識する仕組みである。
すなわち、推定する対象物の種別を予め限定することで、識別に要する計算機リソースを大幅に低減することができる。

【0011】

第一実施形態及び第二実施形態では、計算負荷の高いＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）等のディープラーニングではなく、演算負荷の軽い特定スペクトルのパターンマッチングを活用する。
第三実施形態及び第四実施形態では、計算機の進化を想定し、計算負荷の高いＣＮＮ等のディープラーニングを用いたシステムを開示する。
例えば、塩と砂糖は人の視覚では同じ「白」であるが、反射光の特定スペクトルを抽出すると、そのスペクトル強度に明確な違いが現れる。つまり、特定波長のみを通す画像フィルタにより、類似物体の判定（判別・推定）が可能になることを示している。

【0012】

［第一実施形態：外観］
図１は、本発明の第一実施形態に係る対象物推定装置１０１の外観図である。
対象物推定装置１０１は、眼鏡１０２と、眼鏡１０２のフレームの端部である智に設けられたカメラユニット１０３よりなる、ＡＲグラスである。
カメラユニット１０３には、撮像装置であるハイパースペクトルカメラ１０４と、表示部２０７（図２参照）を含む対象物推定処理部２０１（図２参照）が格納されている。
表示部２０７は、対象物推定装置１０１を装着する装着者の眼球に対し、画像を直接照射する。すると、装着者の眼球には、眼鏡１０２を通じて見える外界の風景に、表示部２０７が眼球へ照射する画像が重畳される。すなわち、装着者の視界には、現実世界の風景に仮想の画像が重畳される、ＡＲが実現される。

【0013】

［第一実施形態：ハードウェア構成］
図２は、本発明の第一実施形態に係る対象物推定処理部２０１のハードウェア構成を示すブロック図である。
シングルボードコンピュータで構成される対象物推定処理部２０１は、バス２０２に接続された、ＣＰＵ２０３、ＲＯＭ２０４、ＲＡＭ２０５、不揮発性ストレージ２０６、表示部２０７、そしてハイパースペクトルカメラ１０４を備える。また、図１では図示していないが、図６で後述する辞書データ作成更新機能を実行する際には、操作部２０８を利用する。
不揮発性ストレージ２０６には、シングルボードコンピュータを対象物推定処理部２０１として稼働させるためのプログラムが格納されている。

【0014】

［第一実施形態：ソフトウェア機能］
図３は、本発明の第一実施形態に係る対象物推定処理部２０１における、対象物推定処理のソフトウェア機能を示すブロック図である。
ハイパースペクトルカメラ１０４は、回折格子やプリズム等で入射する光を分光し、光の波長毎に独立した画像データを生成する。本発明の第一実施形態に係るハイパースペクトルカメラ１０４は、可視光領域（７５０ｎｍ近傍から３８０ｎｍ近傍まで）のみならず、赤外線領域（一例として波長１０００ｎｍ近傍）から紫外線領域（一例として波長３５０ｎｍ近傍）迄をカバーする。
ハイパースペクトルカメラ１０４は、赤外線領域から紫外線領域迄を、例えば１０分割する。そして、分割された異なる複数の波長について、各々の波長に係る画像データを生成する。

【0015】

ハイパースペクトルカメラ１０４が任意の風景を撮像することによって生成した、光の波長毎に独立した画像データ群は、一旦フレームメモリ３０１に格納される。
パターン認識部３０２は、フレームメモリ３０１内の画像データ群を読み込み、画像データ群の高周波成分を抽出して、被写体の輪郭を生成する。
パターン認識部３０２が生成した輪郭データは、関心領域切り出し処理部３０３に入力される。関心領域切り出し処理部３０３は、輪郭データ、すなわち画像データにおける切り出し処理のための座標情報に基いて、フレームメモリ３０１内の画像データ群に対し、切り出し処理を実行する。

【0016】

関心領域切り出し処理部３０３によってフレームメモリ３０１内の画像データ群から切り出された関心領域スペクトルデータ群３０４は、スペクトル強度算出部３０５に入力される。スペクトル強度算出部３０５は、関心領域スペクトルデータ群３０４を構成するスペクトルデータ毎に、その強度を合算する。例えば、赤一色の関心領域スペクトルデータは、様々な強度を有する赤のピクセルデータの集合体である。それら全てのピクセルデータの強度を合算する。このような合算処理を、関心領域スペクトルデータ群３０４を構成する全ての関心領域スペクトルデータに対して実行する。すると、スペクトル強度算出部３０５から、スペクトル毎の強度（スペクトル密度関数）を示すスペクトル強度データ列が出力される。

【0017】

スペクトル強度算出部３０５が出力するスペクトル強度データ列は、正規化処理部３０６に入力される。正規化処理部３０６は、スペクトル強度データ列に正規化処理を施す。
ハイパースペクトルカメラ１０４が撮影した被写体は、時刻や天候等の条件によって、明るかったり暗かったりと様々である。そこで、スペクトル強度データ列の強度分布を最高値と最低値を基に正規化することで、同じ被写体を明るい時と暗い時に撮影しても同じスペクトル強度が得られるようにする。

【0018】

正規化処理部３０６によって正規化されたスペクトル強度データ列は、パターンマッチング処理部３０７によって、辞書データ群３０８に含まれるどの被写体パターンと最も近いかが判定される。辞書データ群３０８には、推定を行いたい被写体の種類毎に辞書データが形成されている。この辞書データは、スペクトル強度データ列と同じ要素数を持つデータ列である。
スペクトル強度データ列は、１次元の数列である。同じ要素数を有する１次元の数列同士の類似度の推定は、例えば残差平方和の算出等が挙げられる。
辞書データの作成方法については図６で後述する。

【0019】

パターンマッチング処理部３０７が出力する推定結果、つまりパターン認識部３０２が出力する輪郭データによって囲まれた関心領域の推定結果は、合成処理部３０９に入力される。
合成処理部３０９は、パターン認識部３０２が出力する輪郭データを読み込み、輪郭データにパターンマッチング処理部３０７からの推定結果のテキストデータを合成し、表示部２０７に表示する。

【0020】

なお、対象物推定装置１０１を眼鏡１０２ではなく、使用者の頭部に装着するゴーグル形状のヘッドマウントディスプレイで構成してもよい。この場合、合成処理部３０９にはフレームメモリ３０１から画像データ群が入力され（図３中の一点鎖線）、パターンマッチング処理部３０７からの推定結果のテキストデータに画像データと輪郭データが合成されることとなる。

【0021】

図４Ａは、ハイパースペクトルカメラ１０４にて撮影された風景画像の一例である。画像の中心には、推定を行いたい対象物である大きな岩４０１が見える。
図４Ｂは、図４Ａの画像に対し、パターン認識部３０２によって画像の中心部分に位置する対象物の輪郭Ｏ４０２が定められた画像の一例である。前述のように、パターン認識部３０２は画像の高周波成分に基づいて輪郭Ｏ４０２を形成する。このため、パターン認識部３０２が形成する輪郭Ｏ４０２は、必ずしも対象物の全体を包含するとは限らない。

【0022】

図４Ｃは、図４Ｂにおいて形成された輪郭Ｏ４０２に基づいて関心領域切り出し処理部３０３が作成した、対象物のスペクトル成分に係る関心領域スペクトルデータ群３０４ａ、３０４ｂ、３０４ｃ、３０４ｄ…を示す画像の一例である。図示の制約上、色分け表示ができないが、各画像は異なる波長の光の成分で形成された、同一の形状の画像データである。
図４Ｄは、図４Ｃの関心領域スペクトルデータ群３０４に基づいてスペクトル強度算出部３０５が算出したスペクトル強度データ列を示す棒グラフの一例である。スペクトル強度算出部３０５は、単色のピクセルデータの集合体について、ピクセルデータの強度を合算する。すると、色毎に異なる強度のデータが得られる。

【0023】

図５は、合成処理部３０９によって表示部２０７に表示され、また装着者の眼球に現れる、ＡＲの風景の一例である。装着者は眼鏡１０２を通じて風景を直接肉眼で見ることができる。一方、表示部２０７には、パターン認識部３０２が出力する輪郭データである輪郭Ｏ４０２と「閃緑岩」というパターンマッチング処理部３０７における推定結果のテキストデータＴ５０１が表示され、これが装着者の眼底へ表示される。

【0024】

［第一実施形態：辞書データ作成更新機能］
図６は、本発明の第一実施形態に係る対象物推定処理部２０１における、辞書データ作成更新処理のソフトウェア機能を示すブロック図である。なお、図３と同一の機能ブロックについては同じ符号を付して説明を省略する。
図６に示すブロック図の、図３との相違点は、パターンマッチング処理部３０７の代わりに、操作部２０８の操作情報を受け入れる辞書データ作成更新処理部６０１が設けられている点である。

【0025】

辞書データ作成更新処理部６０１は、ある一種類の被写体に属する複数のスペクトル強度データ列を読み込み、最小二乗法等で近似値よりなる辞書データを作成する。例えば、岩石を推定する対象物推定装置であれば、玄武岩をハイパースペクトルカメラ１０４で撮影したデータだけを複数個読み込ませ、玄武岩のスペクトル強度データ列を複数個作成する。辞書データ作成更新処理部６０１は、それら複数個の玄武岩のスペクトル強度データ列について、最小二乗法等で近似値よりなる辞書データを作成する。同様の作業を、花崗岩、閃緑岩、安山岩、流紋岩、斑糲岩…等、推定したい種類の岩石について実施し、複数種類の辞書データよりなる辞書データ群３０８を作成する。また、これら辞書データ群３０８は後から新たなスペクトル強度データ列を読み込ませて、更新処理を行うこともできる。

【0026】

辞書データ群３０８の作成及び更新には、対象物の判定に関するスキルを有する熟達者によって実施するか、あるいは予め判明している対象物を用いて実施する。

【0027】

［第二実施形態：外観］
図７は、本発明の第二実施形態に係る対象物推定装置７０１の外観図である。なお、図１と同一の機能ブロックについては同じ符号を付して説明を省略する。
図７に示す対象物推定装置７０１の、図１に示す本発明の第一実施形態に係る対象物推定装置１０１との相違点は、カメラユニット７０３に設けられているカメラが、ハイパースペクトルカメラ１０４の代わりに、近赤外線カメラ７０４、近紫外線カメラ７０５、可視光カメラ７０６の３個に置換されている点である。

【0028】

［第二実施形態：ハードウェア構成］
図８は、本発明の第二実施形態に係る対象物推定処理部８０１のハードウェア構成を示すブロック図である。なお、図２と同一の機能ブロックについては同じ符号を付して説明を省略する。
図８に示す対象物推定処理部８０１の、図２に示す本発明の第一実施形態に係る対象物推定処理部２０１との相違点は、ハイパースペクトルカメラ１０４の代わりに、近赤外線カメラ７０４、近紫外線カメラ７０５、可視光カメラ７０６の３個がバス２０２に接続されている点である。

【0029】

図８に示すように、近赤外線カメラ７０４は、第一カメラ８０２、対物レンズ８０３及び近赤外線透過フィルタ８０４から構成される。
近赤外線透過フィルタ８０４は、第一カメラ８０２の対物レンズ８０３の前に設けられている。近赤外線透過フィルタ８０４は近赤外線のみ透過し、可視光線、近紫外線は通過しない。このため、第一カメラ８０２は近赤外線のみ検出する。
近紫外線カメラ７０５は、第二カメラ８０５、対物レンズ８０３及び近紫外線透過フィルタ８０６から構成される。
近紫外線透過フィルタ８０６は、第二カメラ８０５の対物レンズ８０３の前に設けられている。近紫外線透過フィルタ８０６は、近紫外線のみ透過し、可視光線、近赤外線は通過しない。このため、第二カメラ８０５は近紫外線のみ検出する。

【0030】

可視光カメラ７０６は、第三カメラ８０７、対物レンズ８０３及び可視光透過フィルタ８０８から構成される。
可視光透過フィルタ８０８は、第三カメラ８０７の対物レンズ８０３の前に設けられている。可視光透過フィルタは、可視光のみ透過し、近赤外線、近紫外線は通過しない。このため、第三カメラ８０７は可視光のみ検出する。
第一カメラ８０２、第二カメラ８０５及び第三カメラ８０７は一般的なＣＭＯＳ撮像素子である。多くのＣＭＯＳ撮像素子は、近赤外線から近紫外線までの帯域の光を検出し、撮像することが可能である。そこで、必要な波長の光のみ通過させ、それ以外の波長の光を遮断する光学フィルタを光学系に設けることで、近赤外線カメラ７０４、近紫外線カメラ７０５、可視光カメラ７０６を実現することができる。

【0031】

［第二実施形態：ソフトウェア機能］
図９は、本発明の第二実施形態に係る対象物推定処理部８０１における、対象物推定処理のソフトウェア機能を示すブロック図である。なお、図３と同一の機能ブロックについては同じ符号を付して説明を省略する。
図９に示す対象物推定処理部８０１の、図３に示す本発明の第一実施形態に係る対象物推定処理部２０１との相違点は、ハイパースペクトルカメラ１０４の代わりに、近赤外線カメラ７０４、近紫外線カメラ７０５、可視光カメラ７０６の３個がフレームメモリ３０１に画像データを供給している点である。

【0032】

ハイパースペクトルカメラ１０４は、近赤外線領域から近紫外線領域までの帯域を、例えば１０分割して、その波長毎の画像データを生成する。
これに対し、図９に示す対象物推定装置７０１の場合は、近赤外線カメラ７０４は近赤外線の画像データを、近紫外線カメラ７０５は近紫外線の画像データを、可視光カメラ７０６は３原色の画像データを、それぞれ生成する。すなわち、近赤外線カメラ７０４、近紫外線カメラ７０５及び可視光カメラ７０６から合計５個（＝１＋１＋３）の画像データが得られる。

【0033】

対象物を撮影した画像データから対象物を特定するには、なるべくノイズを除去した上で、できるだけ多くの情報が必要になる。ノイズ除去はパターン認識部３０２によって実現できるが、可視光の画像データだけでは、例えば塩と砂糖の様な、一見して同一色に見える異なる物質を区別することは困難である。そこで、人間の目には見えない近赤外線と近紫外線の画像データを追加する。
ハイパースペクトルカメラ１０４を用いる第一実施形態と比べると、３種類のカメラを用いる第二実施形態では、情報の粒度が荒くなる。しかし、可視光だけでは判別が困難な対象物の推定も、近赤外線と近紫外線の画像データを追加することで、対象物の推定がより確実になる。

【0034】

［第三実施形態：ソフトウェア機能］
図１０は、本発明の第三実施形態に係る対象物推定処理部１００１における、対象物推定処理のソフトウェア機能を示すブロック図である。なお、図３と同一の機能ブロックについては同じ符号を付して説明を省略する。
図１０に示す対象物推定処理部１００１の、図３に示す本発明の第一実施形態に係る対象物推定処理部２０１との相違点は、パターン認識部３０２、関心領域切り出し処理部３０３、スペクトル強度算出部３０５、正規化処理部３０６、パターンマッチング処理部３０７の機能を、ＣＮＮ等のディープラーニングによる対象物識別処理部１００２が包括的に実行する点である。
すなわち、対象物識別処理部１００２は公知のＡＩ機能であり、既存のＣＮＮ等のＡＩ機能に対し、ハイパースペクトルカメラ１０４が生成する、スペクトル毎の画像データを与えて、対象物の推定処理を実現する。

【0035】

［第四実施形態：ソフトウェア機能］
図１１は、本発明の第四実施形態に係る対象物推定処理部１１０１における、対象物推定処理のソフトウェア機能を示すブロック図である。なお、図１０と同一の機能ブロックについては同じ符号を付して説明を省略する。
図１１に示す対象物推定処理部１１０１の、図１０に示す本発明の第三実施形態に係る対象物推定処理部１００１との相違点は、対象物識別処理部１００２に、第二実施形態にて説明した、近赤外線カメラ７０４、近紫外線カメラ７０５、可視光カメラ７０６の３個から、近赤外線、近紫外線、そして３原色の、合計５種類の画像データを供給している点である。
すなわち、対象物識別処理部１００２は公知のＡＩ機能であり、既存のＣＮＮ等のＡＩ機能に対し、近赤外線カメラ７０４、近紫外線カメラ７０５、可視光カメラ７０６が生成する、近赤外線、近紫外線、そして３原色の、合計５種類の画像データを与えて、対象物の推定処理を実現する。

【0036】

以上に説明した実施形態は、以下に記す応用が可能である。
（１）本発明の実施形態に係る対象物推定装置１０１は、眼鏡１０２や没入型ディスプレイに組み込む形態を開示したが、ドローンに搭載して遠隔地を撮影しつつ、対象物の推定処理を実行する形態であってもよい。
（２）第二実施形態及び第四実施形態では、近赤外線カメラ７０４、近紫外線カメラ７０５、可視光カメラ７０６の３種類のカメラを設けていたが、単一の撮像素子に、赤色光フィルタ、青色光フィルタ、緑色光フィルタ、赤外光フィルタ、紫外光フィルタの５種類のフィルタを組み込んだカメラを構成してもよい。
（３）図６にて説明した辞書データ作成更新処理は、シングルボードコンピュータでは演算能力が不足することが考えられる。このような場合、辞書データ作成更新処理部６０１をクラウドで処理させてもよい。同様に、対象物識別処理部１００２をクラウドで処理させてもよい。

【0037】

本発明の各実施形態においては、対象物推定装置を開示した。
対象物推定装置は、ハイパースペクトルカメラ１０４、または可視光カメラ７０６に近赤外線カメラ７０４、近紫外線カメラ７０５が撮影した画像データを読み込ませる。関心領域についてスペクトル強度を算出して、辞書データとのパターンマッチングを行い、対象物の種別を推定する。対象物の推定結果は、ＡＲにて表示される。
本発明の各実施形態に係る対象物推定装置を利用することで、対象物の判別に関するスキルを持たない一般人でも、非接触にて、容易に対象物の推定が可能になる。

【0038】

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
例えば、上記した実施形態は本発明をわかりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、更にはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。

【0039】

また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の揮発性あるいは不揮発性のストレージ、または、ＩＣカード、光ディスク等の記録媒体に保持することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0040】

１０１…対象物推定装置、１０２…眼鏡、１０３…カメラユニット、１０４…ハイパースペクトルカメラ、２０１…対象物推定処理部、２０２…バス、２０３…ＣＰＵ、２０４…ＲＯＭ、２０５…ＲＡＭ、２０６…不揮発性ストレージ、２０７…表示部、２０８…操作部、３０１…フレームメモリ、３０２…パターン認識部、３０３…関心領域切り出し処理部、３０４…関心領域スペクトルデータ群、３０５…スペクトル強度算出部、３０６…正規化処理部、３０７…パターンマッチング処理部、３０８…辞書データ群、３０９…合成処理部、４０１…岩、６０１…辞書データ作成更新処理部、７０１…対象物推定装置、７０３…カメラユニット、７０４…近赤外線カメラ、７０５…近紫外線カメラ、７０６…可視光カメラ、８０１…対象物推定処理部、８０２…第一カメラ、８０３…対物レンズ、８０４…近赤外線透過フィルタ、８０５…第二カメラ、８０６…近紫外線透過フィルタ、８０７…第三カメラ、１００１、１１０１…対象物推定処理部、１００２…対象物識別処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】