(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024140414
(43)【公開日】2024-10-10
(54)【発明の名称】対象物識別機器、対象物識別方法およびプログラム
(51)【国際特許分類】
G06T 7/12 20170101AFI20241003BHJP
G06T 7/90 20170101ALI20241003BHJP
G06T 7/00 20170101ALI20241003BHJP
【FI】
G06T7/12
G06T7/90 D
G06T7/00 350B
【審査請求】有
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023051546
(22)【出願日】2023-03-28
(71)【出願人】
【識別番号】504237050
【氏名又は名称】独立行政法人国立高等専門学校機構
(71)【出願人】
【識別番号】523114497
【氏名又は名称】東港金属株式会社
(74)【代理人】
【識別番号】100122426
【弁理士】
【氏名又は名称】加藤 清志
(74)【代理人】
【識別番号】100187104
【弁理士】
【氏名又は名称】乾 智彦
(72)【発明者】
【氏名】的場 隆一
(72)【発明者】
【氏名】袋布 昌幹
(72)【発明者】
【氏名】福田 隆
(72)【発明者】
【氏名】森 俊太郎
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA02
5L096CA02
5L096DA01
5L096EA43
5L096FA06
5L096GA41
5L096KA04
(57)【要約】
【課題】不必要な視線の移動を防止するとともに、色弱や色盲等の色認識能力が劣る作業者であっても、的確に、対象物を視認し、分別できる。
【解決手段】視認範囲を含む領域の画像を取得する撮像部200と、取得された画像を色相情報、彩度情報、明度情報に基づいて、任意の色領域において二値化する二値化処理部110と、二値化された画像から画像処理によって、対象物の境界線画像を抽出する境界線画像抽出部120と、抽出された境界線画像に対して、作業者の色認識能力に応じた色で着色した画像を透過画像に重畳する画像重畳部130と、画像重畳部130により得られた重畳画像を表示する表示部300と、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
視認範囲を含む領域の画像を取得する撮像部と、
該取得された画像を色相情報、彩度情報、明度情報に基づいて、任意の色領域において二値化する二値化処理部と、
該二値化された画像から画像処理によって、対象物の境界線画像を抽出する境界線画像抽出部と、
該抽出された前記境界線画像に対して、作業者の色認識能力に応じた色で着色した画像を透過画像に重畳する画像重畳部と、
前記画像重畳部により得られた重畳画像を表示する表示部と、
を含むことを特徴とする対象物識別機器。
【請求項2】
前記境界線画像抽出部により抽出された前記境界線画像により区画された内側領域を任意の色で着色した画像を生成する画像生成部を備え、
前記画像重畳部は、前記画像生成部において生成された画像を透過画像に重畳することを特徴とする請求項1に記載の対象物識別機器。
【請求項3】
前記対象物識別機器は、スマートグラスであることを特徴とする請求項2に記載の対象物識別機器。
【請求項4】
前記任意の色領域の色は、双方を明確に視認可能な色であることを特徴とする請求項3に記載の対象物識別機器。
【請求項5】
前記画像生成部において着色される前記任意の色は、前記作業者の色認識能力に応じた色であって、前記境界線画像の色と同色であることを特徴とする請求項4に記載の対象物識別機器。
【請求項6】
視認範囲を含む領域の画像を取得する撮像部と、
学習済みモデルに関する情報を記憶する記憶部と、
前記撮像部において取得された画像情報を入力データとして、前記記憶部に記憶された学習済みモデルを用いて、対象物を検出する機械学習部と、
前記機械学習部により検出された前記対象物の画像に対して、作業者の色認識能力に応じた色で着色した画像を透過画像に重畳する画像重畳部と、
前記画像重畳部により得られた画像を含む画像を表示する表示部と、
を備えたことを特徴とする対象物識別機器。
【請求項7】
前記対象物は、機械分別不能であった産業廃棄物内のピッキング対象物であり、前記記憶部に記憶された学習済みモデルは、前記対象物に応じた特化型学習済みモデルであることを特徴とする請求項6に記載の対象物識別機器。
【請求項8】
撮像部と、二値化処理部と、境界線画像抽出部と、画像重畳部と、表示部と、を含む対象物識別機器を用いた対象物識別方法であって、
前記撮像部が、視認範囲を含む領域の画像を取得する第1の工程と、
前記二値化処理部が、該取得された画像を色相情報、彩度情報、明度情報に基づいて、任意の色領域において二値化する第2の工程と、
前記境界線画像抽出部が、該二値化された画像から画像処理によって、対象物の境界線画像を抽出する第3の工程と、
前記画像重畳部が、該抽出された前記境界線画像に対して、作業者の色認識能力に応じた色で着色した画像を透過画像に重畳する第4の工程と、
前記表示部が、前記第4の工程により得られた画像を含む画像を表示する第5の工程と、
を備えたことを特徴とする対象物識別方法。
【請求項9】
撮像部と、二値化処理部と、境界線画像抽出部と、画像重畳部と、表示部と、を含む対象物識別機器を用いた対象物識別方法をコンピュータに実行させるためのプログラムであって、
前記撮像部が、視認範囲を含む領域の画像を取得する第1の工程と、
前記二値化処理部が、該取得された画像を色相情報、彩度情報、明度情報に基づいて、任意の色領域において二値化する第2の工程と、
前記境界線画像抽出部が、該二値化された画像から画像処理によって、対象物の境界線画像を抽出する第3の工程と、
前記画像重畳部が、該抽出された前記境界線画像に対して、作業者の色認識能力に応じた色で着色した画像を透過画像に重畳する第4の工程と、
前記表示部が、前記第4の工程により得られた画像を含む画像を表示する第5の工程と、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象物識別機器、対象物識別方法およびプログラムに関する。
【背景技術】
【0002】
一般に、例えば、産業廃棄物等の処理においては、機械的に分別ができなかった廃棄物を作業者が目視で識別して分別する作業が発生する。
このとき、作業者は物体の色と形とを識別して、機械的に分別ができなかった対象物のピッキングを行う。
【0003】
ところが、ピッキングの対象物がプラスチック等である場合には、同じ色や形状であっても様々な素材が存在する。
一方で、プラスチックは可視光においては同じ色に見えるが、紫外線等の特殊な波長の光を照射すると、材料組成特有の色を呈するために、ピッキングが可能となる場合がある。
しかしながら作業者の中には、色弱や色盲等により色の識別に苦慮する作業者が存在し、上記の分別作業の支障となっている。
【0004】
上記の問題を解消するために、例えば、複数種のプラスチックを含む混在物を搬送するための搬送手段と、前記搬送手段で搬送された混在物に近赤外線を照射するための照射手段と、近赤外線が照射された前記混在物からの反射光が入射される波長の異なる3種以上のバンドパスフィルタをそれぞれ有する撮像部材と、前記混在物の近赤外線照射領域内の各プラスチックからの反射光が前記3種以上のバンドパスフィルタを通して入射される前記撮像部材の領域のうち、同種のプラスチックに基づく前記撮像部材の領域における反射光量を互いに比較してそれらの反射光量差から前記混在物中のプラスチックの材質を識別するための識別手段と、を備えたプラスチックの材質識別システムが開示されている(例えば、特許文献1参照)。
【0005】
また、同様に、例えば、廃棄物を個別に分離し、その後、廃棄物にレーザ照射部からレーザを照射してその廃棄物に変化を与え、その変化の状態をテレビカメラにより撮影して画像を取得し、その取得した画像から廃棄物の素材の種類を判断する廃棄物の素材の種類の判断方法が開示されている(例えば、特許文献2参照)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2002-267599号公報
【特許文献2】特開2001-137828号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1に記載の技術では、システムとしてプラスチックの材質を識別することは可能であっても、ピッキングを作業者が行う場合に、作業者が色弱や色盲等の色認識能力が劣る者であると、上記の分別作業における問題点を解決することができないという課題があった。
【0008】
また、特許文献2に記載の技術では、対象物とディスプレイとの間において、作業者の視線の移動が発生することから、コンベア等で連続的に搬送が行われる場合には、視線の移動により、対象物を取り逃がす可能性があり、上記の分別作業における問題点を解決することができないという課題があった。
【0009】
そこで、本発明は、上述の課題に鑑みてなされたものであり、不必要な視線の移動を防止するとともに、色弱や色盲等の色認識能力が劣る作業者であっても、的確に、対象物を視認し、分別できる対象物識別機器、対象物識別方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
形態1;本発明の1またはそれ以上の実施形態は、視認範囲を含む領域の画像を取得する撮像部と、該取得された画像を色相情報、彩度情報、明度情報に基づいて、任意の色領域において二値化する二値化処理部と、該二値化された画像から画像処理によって、対象物の境界線画像を抽出する境界線画像抽出部と、該抽出された前記境界線画像に対して、作業者の色認識能力に応じた色で着色した画像を透過画像に重畳する画像重畳部と、前記画像重畳部により得られた重畳画像を表示する表示部と、を含むことを特徴とする対象物識別機器を提案している。
【0011】
形態2;本発明の1またはそれ以上の実施形態は、前記境界線画像抽出部により抽出された前記境界線画像により区画された内側領域を任意の色で着色した画像を生成する画像生成部を備え、前記画像重畳部は、前記画像生成部において生成された画像を透過画像に重畳することを特徴とする対象物識別機器を提案している。
【0012】
形態3;本発明の1またはそれ以上の実施形態は、前記対象物識別機器は、スマートグラスであることを特徴とする対象物識別機器を提案している。
【0013】
形態4;本発明の1またはそれ以上の実施形態は、前記任意の色領域の色は、双方を明確に視認可能な色であることを特徴とする対象物識別機器を提案している。
【0014】
形態5;本発明の1またはそれ以上の実施形態は、前記画像生成部において着色される前記任意の色は、前記作業者の色認識能力に応じた色であって、前記境界線画像の色と同色であることを特徴とする対象物識別機器を提案している。
【0015】
形態6;本発明の1またはそれ以上の実施形態は、視認範囲を含む領域の画像を取得する撮像部と、学習済みモデルに関する情報を記憶する記憶部と、前記撮像部において取得された画像情報を入力データとして、前記記憶部に記憶された学習済みモデルを用いて、対象物を検出する機械学習部と、前記機械学習部により検出された前記対象物の画像に対して、作業者の色認識能力に応じた色で着色した画像を透過画像に重畳する画像重畳部と、前記画像重畳部により得られた画像を含む画像を表示する表示部と、を備えたことを特徴とする対象物識別機器を提案している。
【0016】
形態7;本発明の1またはそれ以上の実施形態は、前記対象物は、機械分別不能であった産業廃棄物内のピッキング対象物であり、前記記憶部に記憶された学習済みモデルは、前記対象物に応じた特化型学習済みモデルであることを特徴とする対象物識別機器を提案している。
【0017】
形態8;本発明の1またはそれ以上の実施形態は、撮像部と、二値化処理部と、境界線画像抽出部と、画像重畳部と、表示部と、を含む対象物識別機器を用いた対象物識別方法であって、前記撮像部が、視認範囲を含む領域の画像を取得する第1の工程と、前記二値化処理部が、該取得された画像を色相情報、彩度情報、明度情報に基づいて、任意の色領域において二値化する第2の工程と、前記境界線画像抽出部が、該二値化された画像から画像処理によって、対象物の境界線画像を抽出する第3の工程と、前記画像重畳部が、該抽出された前記境界線画像に対して、作業者の色認識能力に応じた色で着色した画像を透過画像に重畳する第4の工程と、前記表示部が、前記第4の工程により得られた画像を含む画像を表示する第5の工程と、を備えたことを特徴とする対象物識別方法を提案している。
【0018】
形態9;本発明の1またはそれ以上の実施形態は、撮像部と、二値化処理部と、境界線画像抽出部と、画像重畳部と、表示部と、を含む対象物識別機器を用いた対象物識別方法をコンピュータに実行させるためのプログラムであって、前記撮像部が、視認範囲を含む領域の画像を取得する第1の工程と、前記二値化処理部が、該取得された画像を色相情報、彩度情報、明度情報に基づいて、任意の色領域において二値化する第2の工程と、前記境界線画像抽出部が、該二値化された画像から画像処理によって、対象物の境界線画像を抽出する第3の工程と、前記画像重畳部が、該抽出された前記境界線画像に対して、作業者の色認識能力に応じた色で着色した画像を透過画像に重畳する第4の工程と、前記表示部が、前記第4の工程により得られた画像を含む画像を表示する第5の工程と、をコンピュータに実行させるためのプログラムを提案している。
【発明の効果】
【0019】
本発明の1またはそれ以上の実施形態によれば、不必要な視線の移動を防止するとともに、色弱や色盲等の色認識能力が劣る作業者であっても、的確に、対象物を視認し、分別できるという効果がある。
【図面の簡単な説明】
【0020】
【
図1】本発明の第1の実施形態に係る対象物識別機器の全体構成を示す図である。
【
図2】本発明の第1の実施形態に係る対象物識別機器の画像処理ユニットの構成を示す図である。
【
図3】本発明の第1の実施形態に係る対象物識別機器における画像処理の遷移を例示する図である。
【
図4】本発明の第1の実施形態に係る対象物識別機器における画像処理の遷移を例示する図である。
【
図5】本発明の第1の実施形態に係る対象物識別機器の処理フロー図である。
【
図6】本発明の第2の実施形態に係る対象物識別機器の画像処理ユニットの構成を示す図である。
【
図7】本発明の第2の実施形態に係る対象物識別機器の画像処理ユニットにおける機械学習部の構成を示す図である。
【
図8】本発明の第2の実施形態に係る対象物識別機器の処理フロー図である。
【
図9】本発明の第2の実施形態に係る対象物識別機器の検出処理の処理フロー図である。
【発明を実施するための形態】
【0021】
<第1の実施形態>
図1から
図5を用いて、本実施形態に係る対象物識別機器について説明する。ここで、対象物識別機器は、例えば、ARゴーグル等のスマートグラス1である。
【0022】
<スマートグラス1の構成>
図1に示すように、本実施形態に係るスマートグラス1は、支持部10と、画像処理ユニット100と、撮像部200と、表示部300と、を含んで構成されている。
【0023】
支持部10は、テンプルと先セルとを含み、正面視左右対称に設けられている。
テンプルは、智(ヨロイ)から装着者(作業者)の耳に掛かる部分であり、耳上部から耳の後ろ側に回り込むように、先セルが設けられている。
また、支持部10の一部として、本実施形態に係るスマートグラス1を装着者の鼻で支えるための鼻パッドおよび鼻パッドを支えるクリングスが設けられている。
【0024】
画像処理ユニット100は、後述する撮像部200により取得された画像に対して、例えば、二値化処理、境界線抽出処理、画像重畳処理等の処理を実行する。
画像処理ユニット100は、後述する撮像部200の後部に設けられ、ケースを介して、テンプルの側面に連結している。
なお、画像処理ユニット100の処理の詳細については、後述する。
【0025】
撮像部200は、テンプルの側面前方側に連結するように設けられており、視認範囲を含む領域の画像を取得する。
撮像部200は、CCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサ等のイメージセンサ等から構成されている。
撮像部200は、対象物が発した光を受光し、受光した光の明暗を電気信号に変換して、対象物の色や形をデジタルデータとして保存する。
イメージセンサは、画素の集合体であり、諧調とカラーフィルタとによって、光に色情報を与えている。
【0026】
表示部300は、ブリッジにより左右に連結されたリム内に設けられている。
表示部300は、透明有機EL(Electro-Luminescence)ディスプレイや、透明マイクロLED(Light Emitting Diode)ディスプレイ等により構成され、これら透明なディスプレイを介して透過画像を見ながら、表示される画像を認識できる。
【0027】
<画像処理ユニット100の構成>
図2から
図4を用いて、本実施形態に係る画像処理ユニット100の構成について説明する。
【0028】
本実施形態に係る画像処理ユニット100は、
図2に示すように、二値化処理部110と、境界線画像抽出部120と、画像重畳部130と、画像生成部140と、制御部150と、を含んで構成されている。
【0029】
二値化処理部110は、撮像部200において取得された画像を色相情報、彩度情報、明度情報に基づいて、任意の色領域において二値化する。
二値化処理部110は、例えば、撮像部200において取得された画像を色相(H)、彩度(S)、明度(V)の3つのパラメータからなる色空間において、色相(H)、彩度(S)、明度(V)の範囲を指定することによって、特定の範囲の色を指定し、任意の色領域において二値化する。
具体的には、二値化処理部110は、
図3(A)に示すような撮像部200において取得された画像に対して、上記の処理を行い、
図3(B)に示すような二値化処理を実行する。
二値化処理部110の処理結果は、バスラインBLを介して、後述する制御部150に出力される。
なお、任意の色領域の色は、双方を明確に視認可能な色であることが好ましい。
【0030】
境界線画像抽出部120は、
図3(C)に示すように、二値化処理部110において二値化された画像から画像処理によって、対象物の境界線画像を抽出する。
ここで、対象物とは、例えば、分別作業における特定の組成を有する分別対象物である。
境界線画像抽出部120の処理結果は、バスラインBLを介して、後述する制御部150に出力される。
【0031】
画像重畳部130は、境界線画像抽出部120において抽出された境界線画像に対して、作業者の色認識能力に応じた色で着色した画像を透過画像に重畳する。
画像重畳部130は、例えば、対象物の座標情報を取得し、撮像部200と表示部300との相対位置に基づいて、対象物の座標を補正した上で、
図4(D)に示すように、境界線画像抽出部120において抽出された境界線画像に対して、作業者の色認識能力に応じた色で着色した画像を透過画像に重畳する。
画像重畳部130の処理結果は、バスラインBLを介して、後述する制御部150に出力される。
【0032】
画像生成部140は、境界線画像抽出部120により抽出された境界線画像により区画された内側領域を任意の色で着色した画像を生成する。
そして、画像重畳部130は、例えば、
図4(E)に示すように、画像生成部140において生成された画像を透過画像に重畳する。
画像生成部140において着色される任意の色は、作業者の色認識能力に応じた色であって、境界線画像の色と同色であってもよい。
画像生成部140において着色される任意の色は、境界線画像の色と同色で、且つ、彩度を変化させた色であってもよい。
画像生成部140において着色される任意の色は、境界線画像の色と同色で、且つ、明度を変化させた色であってもよい。
画像生成部140において生成された画像は、バスラインBLを介して、後述する制御部150に出力される。
制御部150は、図示しないROM(Read Only Memory)に格納された制御プログラムに基づいて、画像処理ユニット100全体の動作を制御する。
【0033】
<スマートグラス1の処理>
図5を用いて、本実施形態に係るスマートグラス1の処理について説明する。
【0034】
制御部150は、撮像部200を起動させ、視認範囲を含む領域の画像を取得する(ステップS110)。
【0035】
制御部150は、二値化処理部110により、撮像部200において取得された画像を色相情報、彩度情報、明度情報に基づいて、任意の色領域において二値化させる(ステップS120)。
【0036】
制御部150は、境界線画像抽出部120により、二値化処理部110において二値化された画像から画像処理によって、対象物の境界線画像を抽出させる(ステップS130)。
【0037】
制御部150は、画像生成部140により、境界線画像抽出部120により抽出された境界線画像により区画された内側領域を任意の色で着色した画像を生成させる。
制御部150は、画像重畳部130により、画像生成部140において生成された画像を透過画像に重畳させる(ステップS140)。
【0038】
そして、制御部150は、画像重畳部130により、画像生成部140において生成された画像を透過画像に重畳させた画像を表示部300に出力し、処理を終了する(ステップS150)。
【0039】
<作用・効果>
以上、説明したように、本実施形態に係るスマートグラス1は、視認範囲を含む領域の画像を取得する撮像部200と、取得された画像を色相情報、彩度情報、明度情報に基づいて、任意の色領域において二値化する二値化処理部110と、二値化された画像から画像処理によって、対象物の境界線画像を抽出する境界線画像抽出部120と、抽出された境界線画像に対して、作業者の色認識能力に応じた色で着色した画像を透過画像に重畳する画像重畳部130と、画像重畳部130により得られた重畳画像を表示する表示部300と、を含んで構成されている。
つまり、二値化処理部110は、取得された画像を色相情報、彩度情報、明度情報に基づいて、任意の色領域において二値化するため、取得された画像から対象物を的確に識別することができる。
境界線画像抽出部120は、該二値化された画像から画像処理によって、対象物の境界線画像を抽出するため、対象物の形状を視認容易にすることができる。
画像重畳部130は、該抽出された境界線画像に対して、を作業者の色認識能力に応じた色で着色した画像を透過画像に重畳した画像を生成するため、スマートグラス1によって認識できる画像の中から対象物を容易に識別することができる。
そのため、色弱や色盲等の色認識能力が劣る作業者であっても、的確に、対象物を視認し、分別することができる。
【0040】
また、本実施形態に係るスマートグラス1は、境界線画像抽出部120により抽出された境界線画像により区画された内側領域を任意の色で着色した画像を生成する画像生成部140を備え、画像重畳部130は、画像生成部140において生成された画像を透過画像に重畳する。
つまり、境界線だけを作業者の色認識能力に応じた色で着色した画像ではなく、境界線画像により区画された内側領域を任意の色で着色した画像を透過画像に重畳した画像を表示部300が表示する。
そのため、色弱や色盲等の色認識能力が劣る作業者であっても、対象物に対する視認性が向上することから、より的確に、対象物を視認し、分別することができる。
【0041】
また、本実施形態に係るスマートグラス1において、任意の色領域の色は、双方を明確に視認可能な色である。
そのため、対象物の境界線を容易かつ的確に抽出することができる。
【0042】
また、本実施形態に係るスマートグラス1は、画像生成部140において着色される任意の色が、作業者の色認識能力に応じた色であって、境界線画像の色と同色である。
そのため、対象物の全体像を容易かつ的確に認識することができる。
【0043】
<第2の実施形態>
図6から
図9を用いて、本実施形態に係る対象物識別機器について説明する。ここで、対象物識別機器は、例えば、ARゴーグル等のスマートグラス1Aである。
【0044】
<画像処理ユニット100Aの構成>
図6を用いて、本実施形態に係る画像処理ユニット100Aの構成について説明する。
【0045】
本実施形態に係る画像処理ユニット100Aは、
図6に示すように、機械学習部160と、記憶部170と、画像重畳部130Aと、制御部150Aと、を含んで構成されている。
【0046】
機械学習部160は、撮像部200において取得された画像情報を入力データとして、後述する記憶部170に記憶された教師データとしての学習済みモデルを用いて、対象物を検出する。
機械学習部160における検出結果は、バスラインBLを介して、後述する制御部150Aに出力される。
なお、機械学習部160の詳細な構成については、後述する。
【0047】
記憶部170は、学習済みモデルに関する情報を記憶する。
なお、学習済みモデルは、対象物に応じた特化型学習済みモデルである。
記憶部170に記憶された学習済みモデルは、後述する制御部150Aにより読み出され、機械学習部160に供給される。
【0048】
画像重畳部130Aは、機械学習部160により検出された対象物の画像に対して、作業者の色認識能力に応じた色で着色した画像を透過画像に重畳する。
画像重畳部130Aの処理結果は、バスラインBLを介して、後述する制御部150Aに出力される。
【0049】
制御部150Aは、図示しないROM(Read Only Memory)に格納された制御プログラムに基づいて、画像処理ユニット100A全体の動作を制御する。
【0050】
<機械学習部160の構成>
図7を用いて、本実施形態に係る機械学習部160の構成について説明する。
【0051】
本実施形態に係る機械学習部160は、
図7に示すように、収集部161と、撮像画像データベース(DB)162と、抽出部163と、検出対象データセット164と、学習済みデータセット165と、判定部166と、判定結果データベース(DB)167と、を含んで構成されている。
【0052】
収集部161は、撮像部200からの撮像画像を収集する。
ここで、収集された画像情報は、撮像画像データベース(DB)162に格納される。
【0053】
抽出部163は、撮像画像データベース(DB)162から、深層学習に用いられる正例となる撮像画像を抽出し、検出対象データセット164へ格納する。
【0054】
一方で、学習済みデータセット165には、制御部150Aにより記憶部170から読み出された学習済みモデルが格納される。
【0055】
判定部166は、撮像部200において取得された画像情報を入力データとし、学習済みデータセット165に格納された学習済みモデルを用いて、対象物を検出する。
より具体的には、判定部166は、抽出部163により格納された検出対象データセット164と、学習済みデータセット165との、例えば、類似度に対するスコアの乖離度を算出し、この乖離度が予め定めた値以下である場合には、この乖離度を算出した検出対象データセット164内のデータが所望の対象物であることを検出し、当該データを検出結果DB167に格納する。
【0056】
<スマートグラス1Aの処理>
図8を用いて、本実施形態に係るスマートグラス1Aの処理について説明する。
【0057】
制御部150Aは、撮像部200を起動させ、機械学習部160に機械学習を実行させる(ステップS210)。
なお、機械学習部160の処理の詳細については、後述する。
【0058】
制御部150Aは、画像重畳部130に、機械学習部160によって検出された対象物の画像に対して、作業者の色認識能力に応じた色で着色した画像を透過画像に重畳する画像を生成させる(ステップS220)。
【0059】
そして、制御部150は、画像重畳部130により生成された画像を透過画像に重畳させた画像を表示部300に出力し、処理を終了する(ステップS230)。
【0060】
<機械学習部160の処理>
図9を用いて、本実施形態に係る機械学習部160の処理について説明する。
【0061】
制御部150Aは、撮像部200に、例えば、産業廃棄物を搬送するベルトコンベア周辺の画像情報を取得させる(ステップS211)。
【0062】
収集部161は、撮像部200からの撮像画像を収集し、収集された画像情報を撮像画像データベース(DB)162に格納する(ステップS212)。
【0063】
抽出部163は、撮像画像データベース(DB)162から、深層学習に用いられる正例となる撮像画像を抽出し、検出対象データセット164へ格納する(ステップS213)。
【0064】
判定部166は、撮像部200において取得された画像情報を入力データとして、学習済みデータセット165に格納された学習済みモデルを用いて、対象物を検出する(ステップS214)。
【0065】
判定部166は、抽出部163により格納された検出対象データセット164と学習済みデータセット165との、例えば、類似度に対するスコアの乖離度に基づいて、検出対象データセット164内のデータが所望の対象物であることを検出した当該データを判定結果データベース(DB)167に格納する(ステップS215)。
【0066】
ここで、制御部150Aは、次の画像情報に対する処理に移行し、処理すべき画像情報があるのか否かを確認する(ステップS216)。そして、制御部150Aが、処理すべき画像情報がないと判断した場合(ステップS216の「Yes」)には、一連の処理を終了する。
一方で、制御部150Aが、処理すべき画像情報があると判断した場合(ステップS216の「No」)には、処理をステップS214に戻す。
【0067】
<作用・効果>
以上、説明したように、本実施形態に係るスマートグラス1Aは、視認範囲を含む領域の画像を取得する撮像部200と、学習済みモデルに関する情報を記憶する記憶部170と、撮像部200において取得された画像情報を入力データとして、記憶部170に記憶された学習済みモデルを用いて、対象物を検出する機械学習部160と、機械学習部160により検出された対象物の画像に対して、作業者の色認識能力に応じた色で着色した画像を透過画像に重畳する画像重畳部130Aと、画像重畳部130Aにより得られた画像を含む画像を表示する表示部300と、を含んで構成されている。
つまり、機械学習部160は、撮像部200において取得された画像情報を入力データとして、記憶部170に記憶された学習済みモデルを用いて、対象物を検出するため、素早く、正確に、対象物を検出することができる。
画像重畳部130Aは、機械学習部160により検出された対象物の画像に対して、作業者の色認識能力に応じた色で着色した画像を透過画像に重畳し、表示部300は、画像重畳部130Aにより得られた画像を含む画像を表示するため、スマートグラス1Aによって認識できる画像の中から対象物を容易に認識することができる。
そのため、色弱や色盲等の色認識能力が劣る作業者であっても、的確に、対象物を視認し、分別することができる。
【0068】
また、本実施形態に係るスマートグラス1Aにおいて、対象物は、機械分別不能であった産業廃棄物内のピッキング対象物であり、記憶部170に記憶された学習済みモデルは、対象物に応じた特化型学習済みモデルである。
つまり、特化型学習済みモデルを用いて、機械学習を行うことによって、更なる対象物の検出精度の向上を図ることができる。
そのため、色弱や色盲等の色認識能力が劣る作業者であっても、対象物に対する視認性が向上することから、より的確に、対象物を視認し、分別することができる。
【0069】
なお、スマートグラス1、1A等の処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをスマートグラス1、1A等に読み込ませ、実行することによって本発明のスマートグラス1、1Aを実現することができる。ここでいうコンピュータシステムとは、OSや周辺装置等のハードウェアを含む。
【0070】
また、「コンピュータシステム」は、WWW(World Wide Web)システムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
【0071】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0072】
以上、この発明の実施形態について、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0073】
1;スマートグラス
1A;スマートグラス
10;支持部
100;画像処理ユニット
100A;画像処理ユニット
110;二値化処理部
120;境界線画像抽出部
130;画像重畳部
130A;画像重畳部
140;画像生成部
150;制御部
150A;制御部
160;機械学習部
161;収集部
162;撮像画像データベース
163;抽出部
164;検出対象データセット
165;学習済みデータセット
166;判定部
167;判定結果データベース(DB)
170;記憶部
200;撮像部
300;表示部