特開 2023-43626 製品品質検査システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023043626

(43)【公開日】2023-03-29

(54)【発明の名称】製品品質検査システム

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20230322BHJP

   G16Y 10/25 20200101ALI20230322BHJP

【ＦＩ】

G06Q50/04

G16Y10/25

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021151345

(22)【出願日】2021-09-16

(71)【出願人】

【識別番号】519045387

【氏名又は名称】ＡＳＳＥＳＴ株式会社

(74)【代理人】

【識別番号】100120868

【弁理士】

【氏名又は名称】安彦 元

(72)【発明者】

【氏名】澤田 綾子

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC04

(57)【要約】

【課題】製品の品質を人手に頼ることなく高精度かつ自動的に推定する。
【解決手段】ユーザ端末を介して検査対象の製品の外観に関する外観情報を撮像すると共に、撮像した製品の品名に関する品名情報を取得する情報取得手段と、過去において製品の外観の画像を撮像した参照用外観情報と、製品の品質との３段階以上の連関度が規定され、入力を参照用外観情報とし、出力を製品の品質とした学習済みモデルを利用し、上記情報取得手段により取得された外観情報に応じた参照用外観情報に基づき、上記連関度のより高いものを優先させて、製品の品質を推定する推定手段とを備え、上記推定手段は、上記参照用外観情報と、製品の品質との３段階以上の連関度を上記製品の品名毎に予め記憶しておき、上記情報取得手段により取得された上記品名情報に応じた製品の品名の上記連関度を読み出して製品の品質を推定する。
【選択図】図１３

【特許請求の範囲】

【請求項1】

工場において生産される製品の品質検査を行う製品品質検査システムにおいて、
ユーザの頭部又は眼鏡に装着されるユーザ端末に含まれ、当該ユーザ端末を介して検査対象の製品の外観に関する外観情報を撮像すると共に、撮像した製品の品名に関する品名情報を取得する情報取得手段と、
過去において製品の外観の画像を撮像した参照用外観情報と、製品の品質との３段階以上の連関度が規定され、入力を参照用外観情報とし、出力を製品の品質とした学習済みモデルを利用し、上記情報取得手段により取得された外観情報に応じた参照用外観情報に基づき、上記連関度のより高いものを優先させて、製品の品質を推定する推定手段とを備え、
上記推定手段は、上記参照用外観情報と、製品の品質との３段階以上の連関度を上記製品の品名毎に予め記憶しておき、上記情報取得手段により取得された上記品名情報に応じた製品の品名の上記連関度を読み出して製品の品質を推定し、
上記ユーザ端末は、上記ユーザに対して上記推定手段により推定された製品の品質を透過状態で表示する表示部を有すること
を特徴とする製品品質検査システム。

【請求項2】

上記情報取得手段は、撮像した製品の画像と、品名情報とを教師データとして用い、入力を撮像した製品の画像とし、出力を品名情報とした機械学習モデルを利用し、新たに上記ユーザ端末を介して撮像された製品の画像に基づいて品名情報を取得すること
を特徴とする請求項１記載の製品品質検査モデル構築システム。

【請求項3】

工場において生産される製品の品質検査を行う製品品質検査システムにおいて、
ユーザの頭部又は眼鏡に装着されるユーザ端末に含まれ、当該ユーザ端末を介して検査対象の製品の外観に関する外観情報を撮像すると共に、上記工場内の環境に関する環境情報を取得する情報取得手段と、
過去において製品の外観の画像を撮像した参照用外観情報と、製品の品質との３段階以上の連関度が規定され、入力を参照用外観情報とし、出力を製品の品質とした学習済みモデルを利用し、上記情報取得手段により取得された外観情報に応じた参照用外観情報に基づき、上記連関度のより高いものを優先させて、製品の品質を推定する推定手段とを備え、
上記推定手段は、上記参照用外観情報と、製品の品質との３段階以上の連関度を上記工場内の環境毎に予め記憶しておき、上記情報取得手段により取得された上記環境情報に応じた環境の上記連関度を読み出して製品の品質を推定し、
上記ユーザ端末は、上記ユーザに対して上記推定手段により推定された製品の品質を透過状態で表示する表示部を有すること
を特徴とする製品品質検査システム。

【請求項4】

工場において生産される製品の品質検査を行う製品品質検査システムにおいて、
ユーザの頭部又は眼鏡に装着されるユーザ端末に含まれ、当該ユーザ端末を介して検査対象の製品の外観に関する外観情報を撮像すると共に、上記検査を行う時期に関する時期情報を取得する情報取得手段と、
過去において製品の外観の画像を撮像した参照用外観情報と、製品の品質との３段階以上の連関度が規定され、入力を参照用外観情報とし、出力を製品の品質とした学習済みモデルを利用し、上記情報取得手段により取得された外観情報に応じた参照用外観情報に基づき、上記連関度のより高いものを優先させて、製品の品質を推定する推定手段とを備え、
上記推定手段は、上記参照用外観情報と、製品の品質との３段階以上の連関度を上記検査を行う時期毎に予め記憶しておき、上記情報取得手段により取得された上記時期情報に応じた時期の上記連関度を読み出して製品の品質を推定し、
上記ユーザ端末は、上記ユーザに対して上記推定手段により推定された製品の品質を透過状態で表示する表示部を有すること
を特徴とする製品品質検査システム。

【請求項5】

工場において生産される製品の品質検査を行う製品品質検査システムにおいて、
ユーザの頭部又は眼鏡に装着されるユーザ端末に含まれ、当該ユーザ端末を介して検査対象の製品の外観に関する外観情報を撮像すると共に、上記検査対象の製品に対してセンサにより外観をセンシングしたセンシング情報を取得する情報取得手段と、
過去において製品の外観の画像を撮像した参照用外観情報と、製品の品質との３段階以上の連関度が規定され、入力を参照用外観情報とし、出力を製品の品質とした学習済みモデルを利用し、上記情報取得手段により取得された外観情報に応じた参照用外観情報に基づき、上記連関度のより高いものを優先させて、製品の品質を推定する推定手段とを備え、
上記推定手段は、上記参照用外観情報と、製品の品質との３段階以上の連関度を上記センサによるセンシング結果毎に予め記憶しておき、上記情報取得手段により取得された上記セイン寝具情報に応じたセンシング結果の上記連関度を読み出して製品の品質を推定し、
上記ユーザ端末は、上記ユーザに対して上記推定手段により推定された製品の品質を透過状態で表示する表示部を有すること
を特徴とする製品品質検査システム。

【請求項6】

工場において生産される製品の品質検査を行う製品品質検査システムにおいて、
ユーザの頭部又は眼鏡に装着されるユーザ端末に含まれ、当該ユーザ端末を介して検査対象の製品の外観に関する外観情報を撮像すると共に、上記製品の生産状況に関する生産状況情報を取得する情報取得手段と、
過去において製品の外観の画像を撮像した参照用外観情報と、製品の品質との３段階以上の連関度が規定され、入力を参照用外観情報とし、出力を製品の品質とした学習済みモデルを利用し、上記情報取得手段により取得された外観情報に応じた参照用外観情報に基づき、上記連関度のより高いものを優先させて、製品の品質を推定する推定手段とを備え、
上記推定手段は、上記参照用外観情報と、製品の品質との３段階以上の連関度を上記製品の生産状況毎に予め記憶しておき、上記情報取得手段により取得された上記生産状況情報に応じた生産状況の上記連関度を読み出して製品の品質を推定し、
上記ユーザ端末は、上記ユーザに対して上記推定手段により推定された製品の品質を透過状態で表示する表示部を有すること
を特徴とする製品品質検査システム。

【請求項7】

工場において生産される製品の品質検査を行う製品品質検査システムにおいて、
ユーザの頭部又は眼鏡に装着されるユーザ端末に含まれ、当該ユーザ端末を介して検査対象の製品の外観に関する外観情報を撮像すると共に、上記製品の内容を分析した分析情報を取得する情報取得手段と、
過去において製品の外観の画像を撮像した参照用外観情報と、製品の品質との３段階以上の連関度が規定され、入力を参照用外観情報とし、出力を製品の品質とした学習済みモデルを利用し、上記情報取得手段により取得された外観情報に応じた参照用外観情報に基づき、上記連関度のより高いものを優先させて、製品の品質を推定する推定手段とを備え、
上記推定手段は、上記参照用外観情報と、製品の品質との３段階以上の連関度を上記製品の内容の分析結果毎に予め記憶しておき、上記情報取得手段により取得された上記分析情報に応じた分析結果の上記連関度を読み出して製品の品質を推定し、
上記ユーザ端末は、上記ユーザに対して上記推定手段により推定された製品の品質を透過状態で表示する表示部を有すること
を特徴とする製品品質検査システム。

【請求項8】

上記連関度は、人工知能におけるニューラルネットワークのノードで構成されること
を特徴とする請求項１～７のうち何れか１項記載の製品品質検査システム。

【請求項9】

工場において生産される製品の品質検査を行う製品品質検査システムにおいて、
ユーザの頭部又は眼鏡に装着されるユーザ端末に含まれ、当該ユーザ端末を介して検査対象の製品の外観の画像を撮像することにより抽出した製品のキズ、付着物、見栄えの何れかからなる表面情報と共に、撮像した製品の品名に関する品名情報を取得する情報取得手段と、
過去において製品の外観の画像を撮像することにより抽出した製品のキズ、付着物、見栄えの何れかからなる参照用表面情報とし、出力を製品の品質とした学習済みモデルを利用し、上記情報取得手段により取得された表面情報に応じた参照用表面情報に基づき、上記連関度のより高いものを優先させて、製品の品質を推定する推定手段とを備え、
上記推定手段は、上記参照用表面情報と、製品の品質との３段階以上の連関度を上記製品の品名毎に予め記憶しておき、上記情報取得手段により取得された上記品名情報に応じた製品の品名の上記連関度を読み出して製品の品質を推定し、
上記ユーザ端末は、上記ユーザに対して上記推定手段により推定された製品の品質を透過状態で表示する表示部を有すること
を特徴とする製品品質検査システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、工場において生産される製品の品質検査を行う製品品質検査システムに関する。

【背景技術】

【0002】

従来、工場において生産される各種製品の品質についてセンサや撮像画像を利用して自動的に判別することが行われている。

【0003】

この品質の判別は、ベルトコンベアにより搬送されてくる製品を、カメラやセンサで都度自動計測することで行う場合が多いが、中には作業員が生産されてくる製品を手に取って様々な方向から視認して判別しないと分からない欠陥もある。また、製品によっては、工場内の温度や湿度、生産時期、或いは他の分析データを含めて総合的に品質を判別したい場合もある。

【0004】

しかしながら、工場において生産される製品の品質検査を行う従来の製品品質検査システムでは、このような要望に応えることができる技術が未だ提案されていないのが現状であった。

【発明の概要】

【発明が解決しようとする課題】

【0005】

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、工場において生産される製品の品質検査を人手に頼ることなく高精度かつ自動的に推定することが可能な製品品質検査システムを提供することにある。

【課題を解決するための手段】

【0006】

本発明を適用した製品品質検査システムは、工場において生産される製品の品質検査を行う製品品質検査システムにおいて、ユーザの頭部又は眼鏡に装着されるユーザ端末に含まれ、当該ユーザ端末を介して検査対象の製品の外観に関する外観情報を撮像すると共に、撮像した製品の品名に関する品名情報を取得する情報取得手段と、過去において製品の外観の画像を撮像した参照用外観情報と、製品の品質との３段階以上の連関度が規定され、入力を参照用外観情報とし、出力を製品の品質とした学習済みモデルを利用し、上記情報取得手段により取得された外観情報に応じた参照用外観情報に基づき、上記連関度のより高いものを優先させて、製品の品質を推定する推定手段とを備え、上記推定手段は、上記参照用外観情報と、製品の品質との３段階以上の連関度を上記製品の品名毎に予め記憶しておき、上記情報取得手段により取得された上記品名情報に応じた製品の品名の上記連関度を読み出して製品の品質を推定し、上記ユーザ端末は、上記ユーザに対して上記推定手段により推定された製品の品質を透過状態で表示する表示部を有することを特徴とする。

【発明の効果】

【0007】

特段のスキルや経験が無くても、誰でも手軽に工場において生産される製品の品質検査を高精度に行うことができる。

【図面の簡単な説明】

【0008】

【図1】本発明を適用したシステムの全体構成を示すブロック図である。

【図2】探索装置の具体的な構成例を示す図である。

【図3】本発明の動作について説明するための図である。

【図4】本発明の動作について説明するための図である。

【図5】本発明の動作について説明するための図である。

【図6】本発明の動作について説明するための図である。

【図7】本発明の動作について説明するための図である。

【図8】本発明の動作について説明するための図である。

【図9】本発明の動作について説明するための図である。

【図10】本発明の動作について説明するための図である。

【図11】本発明の動作について説明するための図である。

【図12】本発明の動作について説明するための図である。

【図13】本発明の動作について説明するための図である。

【図14】本発明の動作について説明するための図である。

【発明を実施するための形態】

【0009】

以下、本発明を適用した製品品質検査プログラムについて、図面を参照しながら詳細に説明をする。

【0010】

第１実施形態
図１は、本発明を適用した製品品質検査プログラムが実装される品質推定システム１の全体構成を示すブロック図である。品質推定システム１は、情報取得部９と、情報取得部９に接続された推定装置２と、推定装置２に接続されたデータベース３とを備えている。

【0011】

情報取得部９は、本システムを活用する者が各種コマンドや情報を入力するためのデバイスであり、具体的にはキーボードやボタン、タッチパネル、マウス、スイッチ等により構成される。情報取得部９は、テキスト情報を入力するためのデバイスに限定されるものではなく、マイクロフォン等のような音声を検知してこれをテキスト情報に変換可能なデバイスで構成されていてもよい。また情報取得部９は、カメラ等の画像を撮影可能な撮像装置として構成されていてもよい。情報取得部９は、紙媒体の書類から文字列を認識できる機能を備えたスキャナで構成されていてもよい。また情報取得部９は、後述する推定装置２と一体化されていてもよい。情報取得部９は、検知した情報を推定装置２へと出力する。また情報取得部９は地図情報をスキャニングすることで位置情報を特定する手段により構成されていてもよい。また情報取得部９は、温度センサ、湿度センサ、風向センサ、を測るための照度センサで構成されていてもよい。また情報取得部９は、天候についてのデータを気象庁や民間の天気予報会社から取得する通信インターフェースで構成されていてもよい。また情報取得部９は身体に装着して身体のデータを検出するための身体センサで構成されていてもよく、この身体センサは、例えば体温、心拍数、血圧、歩数、歩く速度、加速度を検出するためのセンサで構成されていてもよい。また情報取得部９は図面等の情報をスキャニングしたり、或いはデータベースから読み出すことで取得するデバイスとして構成されていてもよい。情報取得部９は、これら以外に臭気や香りを検知する臭気センサにより構成されていてもよい。

【0012】

データベース３は、品質推定を行う上で必要な様々な情報が蓄積される。品質推定を行う上で必要な情報としては、過去において製品の外観を撮像した製品の外観の画像を撮像した参照用外観情報、製品の外観の画像を撮像することにより抽出した製品のキズ、付着物、見栄えの何れかからなる参照用表面情報等と、これらに対して実際に判断がなされた製品の品質とのデータセットが記憶されている。

【0013】

つまり、データベース３には、このような参照用外観情報又は参照用表面情報他の参照用情報等の何れか１以上と、製品の品質が互いに紐づけられて記憶されている。なお、データベース３にこのような学習データを記憶する代わりに、判別装置２や情報取得部９側に学習データを記憶させるようにしてもよい。即ち、判別装置２や情報取得部９をいわゆるエッジデバイスとし、このエッジデバイスに、人工知能を搭載し、学習データを蓄積させて推論を行うようにしてもよい。

【0014】

推定装置２は、例えば、パーソナルコンピュータ（ＰＣ）等を始めとした電子機器で構成されているが、ＰＣ以外に、携帯電話、スマートフォン、タブレット型端末、ウェアラブル端末等、他のあらゆる電子機器で具現化されるものであってもよい。ユーザは、この推定装置２による探索解を得ることができる。

【0015】

図２は、推定装置２の具体的な構成例を示している。この推定装置２は、推定装置２全体を制御するための制御部２４と、操作ボタンやキーボード等を介して各種制御用の指令を入力するための操作部２５と、有線通信又は無線通信を行うための通信部２６と、各種判断を行う推定部２７と、ハードディスク等に代表され、実行すべき検索を行うためのプログラムを格納するための記憶部２８とが内部バス２１にそれぞれ接続されている。さらに、この内部バス２１には、実際に情報を表示するモニタとしての表示部２３が接続されている。

【0016】

制御部２４は、内部バス２１を介して制御信号を送信することにより、推定装置２内に実装された各構成要素を制御するためのいわゆる中央制御ユニットである。また、この制御部２４は、操作部２５を介した操作に応じて各種制御用の指令を内部バス２１を介して伝達する。

【0017】

操作部２５は、キーボードやタッチパネルにより具現化され、プログラムを実行するための実行命令がユーザから入力される。この操作部２５は、上記実行命令がユーザから入力された場合には、これを制御部２４に通知する。この通知を受けた制御部２４は、推定部２７を始め、各構成要素と協調させて所望の処理動作を実行していくこととなる。この操作部２５は、前述した情報取得部９として具現化されるものであってもよい。

【0018】

推定部２７は、探索解を推定する。この推定部２７は、推定動作を実行するに当たり、必要な情報として記憶部２８に記憶されている各種情報や、データベース３に記憶されている各種情報を読み出す。この推定部２７は、人工知能により制御されるものであってもよい。この人工知能はいかなる周知の人工知能技術に基づくものであってもよい。

【0019】

表示部２３は、制御部２４による制御に基づいて表示画像を作り出すグラフィックコントローラにより構成されている。この表示部２３は、例えば、液晶ディスプレイ（ＬＣＤ）等によって実現される。

【0020】

記憶部２８は、ハードディスクで構成される場合において、制御部２４による制御に基づき、各アドレスに対して所定の情報が書き込まれるとともに、必要に応じてこれが読み出される。また、この記憶部２８には、本発明を実行するためのプログラムが格納されている。このプログラムは制御部２４により読み出されて実行されることになる。

【0021】

上述した構成からなる品質推定システム１における動作について説明をする。以下でいう製品は、工場において生産されるあらゆる工業製品であり、完成形のハードウェアのみならず、部品メーカであれば部品自体が製品になることから、これも含まれる。また、製品は、あらゆる分野のものが含まれ、鉄鋼、素材、電気製品、機械、建築部材、回路部品、半導体チップ等、いかなるものであってもよい。

【0022】

品質推定システム１は、工場においてでき上がった製品を客先に搬出する前において、品質を検査するものである。ここでいう品質とは、いわゆる製品としてのパフォーマンスの高さに加え、素材であればその純度や収率も含まれ、物品として具現化される製品であれば、キズや汚れ、不純物の有無や程度等、外観的な要因に関する事項も含まれる。品質推定システム１は、例えば図３に示すように、参照用外観情報と、製品の品質との３段階以上の連関度が予め設定されていることが前提となる。参照用外観情報とは、製品の外観について、製品を撮像することにより得られた外観情報から得られるものであり、外観情報を解析することで得ることができる。参照用外観情報とは、製品の外観を構成する画像であればいかなるものも含まれるが、より具体的にはその画像から色、輝き、透明度、加工状態等を抽出したものであってもよい。この画像は静止画のみならず動画であってもよい。また、この画像は可視光で構成されるが画像ではなく、スペクトルに応じて表示色を切り替えたいわゆるスペクトル画像で構成されていてもよい。この参照用外観情報は、製品について撮像した画像を解析することで、製品の大きさ、形状、色の何れかに基づいて、製品の外観を特定するようにしてもよい。またこの参照用外観情報は、製品について撮像した超音波画像で構成してもよい。これらの製品の外観は、以前において学習させた特徴量に基づいて判別するようにしてもよい。このとき、人工知能を活用し、製品の大きさ、形状、色等の画像データと、製品の品質を学習させておき、実際に参照用外観情報を取得する際には、これらの学習させた画像データと照らし合わせて、その製品の品質を判別するようにしてもよい。

【0023】

かかる場合には、外観情報と、製品の大きさ、形状、色の何れかの外観とを教師データとして機械学習された予想モデルを用い、入力を上記外観情報とし、出力を上記外観として判定した結果に基づいて、外観を特定するようにしてもよい。

【0024】

製品の品質は、その参照用外観情報として撮像した製品の実際の品質である。この品質は、都度手入力により入力するようにしてもよい。また、製品の品質は、実際に専門家や当業者によって、あるいは業者によって評価されたものであってもよく、その鑑定書に記載の内容に基づいてもよいし、評価者によって評価され、例えば、１００点満点、或いは１０００点満点でランク付けされたものであってもよい。あるいは良、悪の２段階で、或いは２段階以上で評価されたものであってもよい。

【0025】

このような参照用外観情報と、製品の品質からなるデータセットを取得しておき、これを学習させる。

【0026】

図３の例では、入力データとして例えば参照用外観情報Ｐ０１～Ｐ０３であるものとする。このような入力データとしての参照用外観情報Ｐ０１～Ｐ０３は、出力としての製品の品質に連結している。この出力においては、出力解としての、製品の品質が表示されている。

【0027】

参照用外観情報は、この出力解としての製品の品質Ａ～Ｄに対して３段階以上の連関度を通じて互いに連関しあっている。品質は、その製品が同一種類の製品であると仮定した場合に、例えば品質Ａは、良好、品質Ｂは、やや良好、品質Ｃは、ふつう、品質Ｄは、悪い等のように配列している。参照用外観情報がこの連関度を介して左側に配列し、各製品の品質が連関度を介して右側に配列している。連関度は、左側に配列された参照用外観情報に対して、何れの製品の品質と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用外観情報が、いかなる製品の品質に紐付けられる可能性が高いかを示す指標であり、参照用外観情報から最も確からしい製品の品質を選択する上での的確性を示すものである。図３の例では、連関度としてｗ１３～ｗ１９が示されている。このｗ１３～ｗ１９は以下の表１に示すように１０段階で示されており、１０点に近いほど、中間ノードとしての各組み合わせが出力としての製品の品質と互いに関連度合いが高いことを示しており、逆に１点に近いほど中間ノードとしての各組み合わせが出力としての値段と互いに関連度合いが低いことを示している。

【0028】

【表1】

【0029】

推定装置２は、このような図３に示す３段階以上の連関度ｗ１３～ｗ１９を予め取得しておく。つまり推定装置２は、実際の探索解の判別を行う上で、参照用外観情報と、その場合の製品の品質の何れが採用、評価されたか、過去のデータセットを蓄積しておき、これらを分析、解析することで図３に示す連関度を作り上げておく。

【0030】

例えば、参照用外観情報がαであるものとする。このような参照用外観情報に対する製品の品質としては製品の品質Ａが多く評価されたものとする。このようなデータセットを集めて分析することにより、参照用外観情報との連関度が強くなる。

【0031】

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用外観情報Ｐ０１である場合に、過去の製品の品質の評価を行った結果の各種データから分析する。こ参照用外観情報Ｐ０１である場合に、製品の品質Ａの事例が多い場合には、この製品の品質の評価につながる連関度をより高く設定し、製品の品質Ｂの事例が多い場合には、この製品の品質の評価につながる連関度をより高く設定する。例えば参照用外観情報Ｐ０１の例では、製品の品質Ａと、製品の品質Ｃにリンクしているが、以前の事例から製品の品質Ａにつながるｗ１３の連関度を７点に、製品の品質Ｃにつながるｗ１４の連関度を２点に設定している。

【0032】

また、この連関度は、図４に示すように、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。

【0033】

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを、以前の評価対象の製品の外観の画像等と実際に推定・評価した製品の品質とのデータセットを通じて作った後に、実際にこれから新たに製品の品質の判別を行う上で、上述した学習済みデータを利用して製品の品質を探索することとなる。かかる場合には、実際に判別対象の領域において外観情報を新たに取得する。新たに取得する外観情報は、上述した情報取得部９により入力される。外観情報は、品質を判別しようとする製品を撮像することで取得する。この判別方法は、上述した参照用外観情報と同様の手法で行うようにしてもよい。

【0034】

このようにして新たに取得した外観情報に基づいて、製品の品質を判別する。かかる場合には、予め取得した図３（表１）に示す連関度を参照する。例えば、新たに取得した外観情報がＰ０２と同一かこれに類似するものである場合には、連関度を介して製品の品質Ｂがｗ１５、製品の品質Ｃが連関度ｗ１６で関連付けられている。かかる場合には、連関度の最も高い製品の品質Ｂを最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められる製品の品質Ｃを最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。なお、連関度は３段階以上のものを利用する場合に限定されるものではなく、２段階の連関性、即ち、１か０か、関係があるか否かを示すもので構成されるものであってもよい。かかる場合には、入力側の参照用外観情報と、出力側の品質とが互いに紐付けられたテーブルを参照するようにしてもよい。そしてある外観情報が入力された場合、これに対応する参照用外観情報に紐付けられた品質を出力することとなる。

【0035】

このようにして、新たに取得する外観情報から、最も好適な製品の品質を探索し、推定表示することができる。

【0036】

なお、この図３において、参照用外観情報の代替として、過去において製品を撮像することにより抽出した製品のキズ、付着物、見栄えの何れかからなる参照用表面情報と、製品の品質との３段階以上の連関度を予め学習させるようにしてもよい。ここでいう付着物とは、表面に付着した汚れや異物、塵やゴミである。見栄えとは、凹凸や筋、皺やくもり等により見栄えが低下しているか否かを示すものである。参照用表面情報は、例えばキズや内包物のサイズや量、位置、コントラスト、性質等の情報で構成される。参照用表面情報を取得する際には、図５に示すように、推定対象の製品の外観を撮像した画像データと、製品のキズや内包物の大きさや量等からなる表面情報とを教師データとして機械学習された予想モデルを用いるようにしてもよい。入力を上記画像データとし、出力を上記表面情報とすることで新たに表面情報を取得するようにしてもよい。即ち、この表面情報は、以前において学習させた特徴量に基づいて判別するようにしてもよい。なお、ここでいうキズは、実際に製品につけられたキズ以外に、付着した汚れも含む。

【0037】

このようにして得られた表面情報から参照用表面情報を構成し、また撮像した製品についての実際の品質（品質）を取得することで上述と同様にデータセットを得て、図３、４に示すような連関度を形成しておく。次に実際に品質を推定したい製品について撮像することで画像データを取得する。この画像データについて、実際に図５に示す連関度を参照し、表面情報を得る。予め学習させた、参照用外観情報と製品の品質との３段階以上の連関度を参照し、取得した表面情報を介して品質を探索することができる。

【0038】

なお、上述した参照用外観情報は、例えば製品の色、輝き、透明度、加工状態等の情報で構成される。色、輝き、透明度はそのレベルに応じて階層化されたランクで表示されるものであってもよい。また加工状態は、製品のカットの状態、カットされた各面の形状や大きさ、摩擦の仕上がり具合等を示すものであり、そのレベルに応じて階層化されたランクで表示されるものであってもよい。参照用外観情報を取得する際には、図６に示すように、推定対象の製品の外観を撮像した画像データと、製品の色、輝き、透明度、加工状態等からなる外観情報とを教師データとして機械学習された予想モデルを用いるようにしてもよい。入力を上記画像データとし、出力を上記外観情報とすることで新たに外観情報を取得するようにしてもよい。即ち、この外観情報は、以前において学習させた特徴量に基づいて判別するようにしてもよい。

【0039】

このようにして得られた外観情報から参照用外観情報を構成し、また撮像した製品についての実際の品質（品質）を取得することで上述と同様にデータセットを得て、図３、４に示すような連関度を形成しておく。次に実際に品質を推定したい製品について撮像することで画像データを取得する。この画像データについて、実際に図６に示す連関度を参照し、外観情報を得る。予め学習させた、参照用外観情報と製品の品質との３段階以上の連関度を参照し、取得した外観情報を介して品質を探索することができる。

【0040】

なお本発明によれば、参照用外観情報と、製品の品質との３段階以上の連関度を予め学習させ、その連関度を利用して製品の品質を探索する場合に限定されるものではない。つまり外観情報と、製品の品質は、３段階以上の連関度ではなく、２段階以上の連関性に基づいていればよい。２段階以上の連関性とは、各参照用外観情報に、いかなる製品の品質が紐づいているか否かを示すものであってもよい。

【0041】

例えば、参照用外観情報Ｇ１１は、品質が良好、参照用外観情報Ｇ１２は、品質が普通、参照用外観情報Ｇ１３は、品質が悪い等のように参照用外観情報と品質が１対１で紐付けられている。このような紐付けをテンプレートや表にしたデータを予め準備しておくようにしてもよい。そして、実際に参照用外観情報に応じた外観情報を取得した場合には、そのテンプレートや表を参照し、これに対応する品質を出力するようにしてもよい。即ち、外観情報に応じた参照用外観情報に基づいて品質を取得することが可能となる。

【0042】

同様に、参照用表面情報と、製品の品質との３段階以上の連関度を予め学習させ、その連関度を利用して製品の品質を探索する場合に限定されるものではない。つまり表面情報と、製品の品質は、３段階以上の連関度ではなく、２段階以上の連関性に基づいていればよい。２段階以上の連関性とは、各参照用表面情報に、いかなる製品の品質が紐づいているか否かを示すものであってもよい。

【0043】

実際に参照用表面情報に応じた表面情報を取得した場合には、そのテンプレートや表を参照し、これに対応する品質を出力するようにしてもよい。即ち、表面情報に応じた参照用外観情報に基づいて品質を取得することが可能となる。

【0044】

図７の例では、参照用外観情報と、他の参照用情報との他の参照用情報組み合わせが形成されていることが前提となる。他の参照用情報とは、参照用品名情報、参照用環境情報、参照用時期情報、参照用センシング情報、参照用生産状況情報、参照用分析情報等が含まれる。

【0045】

参照用品名情報とは、工場において生産する製品の品名に関する情報である。この品名は、実際の品名以外にブランド名、型番、更にはその会社内において使用されている呼称や記号等も含まれる。

【0046】

参照用環境情報とは、その工場内における環境に関するあらゆる情報である。ここでいう環境とは、温度、湿度、風量等に加え、照明度、消費電力、排水量、水道水の供給量、廃棄物の量等、環境に関するあらゆる情報が含まれる。製品によっては、環境によってその品質に影響する場合もあることから、これを参照用情報として含めている。

【0047】

参照用時期情報は、検査を行う時期に関する情報である。この検査を行う時期は、月単位、週単位といった大まかなものから、日単位、時間、分、秒単位等まで細分化されるものであってもよい。製品によっては、検査の時期によってその品質に影響する場合もあることから、これを参照用情報として含めている。

【0048】

参照用センシング情報は、製品に対してセンサにより外観をセンシングした情報である。このセンサとは、構造や寸法を検出するための周知の光やレーザを利用したもの以外に色彩を検出するためのセンサ、製品から発せられる各波長帯の光を検出するためのスペクトルセンサ等であってもよい。

【0049】

参照用生産状況情報は、検査対象の製品の生産状況を示すデータで構成される。参照用生産状況情報は、その製品のライン単位、又は工場単位、更には前者単位の生産量や生産スピード、在庫のストック等の情報に加え、工場における製造の各工程で滞っている部分やその度合等に関する情報である。製品によっては、生産状況や在庫状況に応じて品質の判定基準を変える必要が出てくるものもあることから、これを参照用情報として含めている。

【0050】

参照用分析情報とは、製品の内容を分析したデータで構成される。この参照用分析情報は、製品の化学分析、成分分析結果、匂いや味の分析結果、微生物分析の結果が含まれる者であってもよい。

【0051】

図７の例では、入力データとして例えば参照用外観情報Ｐ０１～Ｐ０３、他の参照用情報Ｐ１４～１７であるものとする。このような入力データとしての、参照用外観情報に対して、他の参照用情報が組み合わさったものが、図７に示す中間ノードである。各中間ノードは、更に出力に連結している。この出力においては、出力解としての、製品の品質が表示されている。

【0052】

参照用外観情報と他の参照用情報との各組み合わせ（中間ノード）は、この出力解としての、製品の品質に対して３段階以上の連関度を通じて互いに連関しあっている。参照用外観情報と他の参照用情報がこの連関度を介して左側に配列し、製品の品質が連関度を介して右側に配列している。連関度は、左側に配列された参照用外観情報と他の参照用情報に対して、製品の品質と関連性が高いかの度合いを示すものである。換言すれば、この連関度は、各参照用外観情報と他の参照用情報が、いかなる製品の品質に紐付けられる可能性が高いかを示す指標であり、参照用外観情報と他の参照用情報から最も確からしい製品の品質を選択する上での的確性を示すものである。このため、これらの参照用外観情報と他の参照用情報の組み合わせで、最適な製品の品質を探索していくこととなる。

【0053】

図７の例では、連関度としてｗ１３～ｗ２２が示されている。このｗ１３～ｗ２２は表１に示すように１０段階で示されており、１０点に近いほど、中間ノードとしての各組み合わせが出力と互いに関連度合いが高いことを示しており、逆に１点に近いほど中間ノードとしての各組み合わせが出力と互いに関連度合いが低いことを示している。

【0054】

推定装置２は、このような図７に示す３段階以上の連関度ｗ１３～ｗ２２を予め取得しておく。つまり推定装置２は、実際の探索解の判別を行う上で、参照用外観情報と他の参照用情報、並びにその場合の製品の品質が何れが見合うものであったか、過去のデータを蓄積しておき、これらを分析、解析することで図７に示す連関度を作り上げておく。

【0055】

例えば、過去にあった実際の事例における参照用外観情報がαであるものとする。また他の参照用情報が、ある参照用時期情報である、時期Ｗであるものとする。かかる場合に、実際にその製品の品質がいくらであったかを示す製品の品質をデータセットとして学習させ、上述した連関度という形で定義しておく。なお、このような参照用外観情報や、他の参照用情報は、業者等が管理する管理データベースから抽出するようにしてもよい。

【0056】

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例えば参照用外観情報Ｐ０１で、他の参照用情報Ｐ１６である場合に、その製品の品質を過去のデータから分析する。製品の品質がＡの事例が多い場合には、この品質Ａにつながる連関度をより高く設定し、製品の品質Ｂの事例が多く、製品の品質Ａの事例が少ない場合には、製品の品質Ｂにつながる連関度を高くし、製品の品質Ａにつながる連関度を低く設定する。例えば中間ノード６１ａの例では、製品の品質Ａと品質Ｂの出力にリンクしているが、以前の事例から製品の品質Ａにつながるｗ１３の連関度を７点に、製品の品質Ｂにつながるｗ１４の連関度を２点に設定している。

【0057】

また、この図７に示す連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。

【0058】

図７に示す連関度の例で、ノード６１ｂは、参照用外観情報Ｐ０１に対して、他の参照用情報Ｐ１４の組み合わせのノードであり、製品の品質Ｃの連関度がｗ１５、製品の品質Ｅの連関度がｗ１６となっている。ノード６１ｃは、参照用外観情報Ｐ０２に対して、参照用位置情報Ｐ１５、Ｐ１７の組み合わせのノードであり、製品の品質Ｂの連関度がｗ１７、製品の品質Ｄの連関度がｗ１８となっている。

【0059】

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれから製品の品質を判別する際において、上述した学習済みデータを利用して行うこととなる。かかる場合には、実際に外観情報と、参照用情報に応じた情報とを取得する。参照用情報に応じた情報とは、例えば参照用情報が参照用時期情報であれば、検査時の時期情報に相当する。参照用情報が参照用センシング情報であれば、検査対象の製品を製造する工場内の環境に関する環境情報が参照用情報に応じた情報に相当する。参照用情報が参照用環境情報であれば、検査対象の製品に対してセンサにより外観をセンシングしたセンシング情報が参照用情報に応じた情報に相当する。参照用情報が参照用生産状況情報であれば、検査対象の製品の生産状況に関する生産状況情報が参照用情報に応じた情報に相当する。参照用情報が参照用分析情報であれば、検査対象の製品の内容を分析した分析情報が参照用情報に応じた情報に相当する。

【0060】

このようにして新たに取得した外観情報、参照用情報に応じた情報に基づいて、最適な製品の品質を探索する。かかる場合には、予め取得した図７（表１）に示す連関度を参照する。例えば、新たに取得した外観情報がＰ０２と同一かこれに類似するものである場合であって、参照用情報に応じた情報がＰ１７である場合には、連関度を介してノード６１ｄが関連付けられており、このノード６１ｄは、製品の品質Ｃがｗ１９、製品の品質Ｄが連関度ｗ２０で関連付けられている。かかる場合には、連関度の最も高い製品の品質Ｃを最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められる製品の品質Ｄを最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。

【0061】

また、入力から伸びている連関度ｗ１～ｗ１２の例を以下の表２に示す。

【0062】

【表2】

【0063】

この入力から伸びている連関度ｗ１～ｗ１２に基づいて中間ノード６１が選択されていてもよい。つまり連関度ｗ１～ｗ１２が大きいほど、中間ノード６１の選択における重みづけを重くしてもよい。しかし、この連関度ｗ１～ｗ１２は何れも同じ値としてもよく、中間ノード６１の選択における重みづけは何れも全て同一とされていてもよい。
なお、上述した図７の例では、参照用外観情報と、他の参照用情報との組み合わせに対する製品の品質に関する連関度を適用する場合を例にとり説明をしたが、これに限定されるものではなく、上述した参照用表面情報と他の参照用情報との組み合わせに対する製品の品質に関する連関度を形成するものであってもよい。かかる場合における製品の品質推定方法は、上述と同様であるため、以下での説明を省略する。

【0064】

上述した連関度においては、１０段階評価で連関度を表現しているが、これに限定されるものではなく、３段階以上の連関度で表現されていればよく、逆に３段階以上であれば１００段階でも１０００段階でも構わない。一方、この連関度は、２段階、つまり互いに連関しているか否か、１又は０の何れかで表現されるものは含まれない。

【0065】

上述した構成からなる本発明によれば、特段のスキルや経験が無くても、誰でも手軽に製品の品質の探索を行うことができる。また本発明によれば、この探索解の判断を、人間が行うよりも高精度に行うことが可能となる。更に、上述した連関度を人工知能（ニューラルネットワーク等）で構成することにより、これを学習させることでその判別精度を更に向上させることが可能となる。

【0066】

なお、上述した入力データ、及び出力データは、学習させる過程で完全に同一のものが存在しない場合も多々あることから、これらの入力データと出力データを類型別に分類した情報であってもよい。つまり、入力データを構成する情報Ｐ０１、Ｐ０２、・・・・Ｐ１５、１６、・・・は、その情報の内容に応じて予めシステム側又はユーザ側において分類した基準で分類し、その分類した入力データと出力データとの間でデータセットを作り、学習させるようにしてもよい。

【0067】

なお、上述した連関度では、参照用外観情報又は参照用表面情報に加え、上述した各参照用情報の何れかとの組み合わせで構成されている場合を例にとり説明をしたが、これに限定されるものではない。つまり連関度は、参照用外観情報又は参照用表面情報に加え、上述した各参照用情報の何れか２以上との組み合わせで構成されていてもよい。また連関度は、参照用外観情報又は参照用表面情報に加え、上述した各参照用情報の何れか１以上に加え、他のファクターがこの組み合わせに加わって連関度が形成されていてもよい。

【0068】

また、本発明によれば、３段階以上に設定されている連関度を介して最適な解探索を行う点に特徴がある。連関度は、上述した１０段階以外に、例えば０～１００％までの数値で記述することができるが、これに限定されるものではなく３段階以上の数値で記述できるものであればいかなる段階で構成されていてもよい。

【0069】

このような３段階以上の数値で表される連関度に基づいて最も確からしい製品の品質を判別することで、探索解の可能性の候補として複数考えられる状況下において、当該連関度の高い順に探索して表示することも可能となる。このように連関度の高い順にユーザに表示できれば、より確からしい探索解を優先的に表示することも可能となる。

【0070】

これに加えて、本発明によれば、連関度が１％のような極めて低い出力の判別結果も見逃すことなく判断することができる。連関度が極めて低い判別結果であっても僅かな兆候として繋がっているものであり、何十回、何百回に一度は、その判別結果として役に立つ場合もあることをユーザに対して注意喚起することができる。

【0071】

更に本発明によれば、このような３段階以上の連関度に基づいて探索を行うことにより、閾値の設定の仕方で、探索方針を決めることができるメリットがある。閾値を低くすれば、上述した連関度が１％のものであっても漏れなく拾うことができる反面、より適切な判別結果を好適に検出できる可能性が低く、ノイズを沢山拾ってしまう場合もある。一方、閾値を高くすれば、最適な探索解を高確率で検出できる可能性が高い反面、通常は連関度は低くてスルーされるものの何十回、何百回に一度は出てくる好適な解を見落としてしまう場合もある。いずれに重きを置くかは、ユーザ側、システム側の考え方に基づいて決めることが可能となるが、このような重点を置くポイントを選ぶ自由度を高くすることが可能となる。

【0072】

更に本発明では、上述した連関度を更新させるようにしてもよい。この更新は、例えばインターネットを始めとした公衆通信網を介して提供された情報を反映させるようにしてもよい。また参照用外観情報、参照用表面情報、他の参照用情報を取得し、これらに対する製品の品質、改善施策に関する知見、情報、データを取得した場合、これらに応じて連関度を上昇させ、或いは下降させる。

【0073】

つまり、この更新は、人工知能でいうところの学習に相当する。新たなデータを取得し、これを学習済みデータに反映させることを行っているため、学習行為といえるものである。

【0074】

また、この連関度の更新は、公衆通信網から取得可能な情報に基づく場合以外に、専門家による研究データや論文、学会発表や、新聞記事、書籍等の内容に基づいてシステム側又はユーザ側が人為的に、又は自動的に更新するようにしてもよい。これらの更新処理においては人工知能を活用するようにしてもよい。

【0075】

また学習済モデルを最初に作り上げる過程、及び上述した更新は、教師あり学習のみならず、教師なし学習、ディープラーニング、強化学習等を用いるようにしてもよい。教師なし学習の場合には、入力データと出力データのデータセットを読み込ませて学習させる代わりに、入力データに相当する情報を読み込ませて学習させ、そこから出力データに関連する連関度を自己形成させるようにしてもよい。

【0076】

なお図３に示す連関度が、人工知能におけるニューラルネットワークのノードで構成されるものである場合には、入力データとして参照用外観情報が入力され、出力データとして製品の品質が出力され、入力ノードと出力ノードの間に少なくとも１以上の隠れ層が設けられ、機械学習させるようにしてもよい。

【0077】

また本発明は、図８に示すように参照用情報Ｕと参照用情報Ｖという２種類以上の情報の組み合わせの連関度に基づいて製品の品質を判別するものである。この参照用外観情報Ｕが参照用外観情報又は参照用表面情報であり、参照用情報Ｖが他の参照用情報の何れかであるものとする。

【0078】

このとき、図８に示すように、参照用情報Ｕについて得られた出力をそのまま入力データとして、参照用情報Ｖとの組み合わせの中間ノード６１を介して出力（製品の品質）と関連付けられていてもよい。例えば、参照用情報Ｕ（参照用外観情報）について、図３に示すように出力解を出した後、これをそのまま入力として、他の参照用情報Ｖとの間での連関度を利用し、出力（製品の品質）を探索するようにしてもよい。

【0079】

また、本発明は、上述した実施の形態に限定されるものでは無く、例えば図９に示すように、基調となる参照用情報（参照用外観情報又は参照用表面情報）と、製品の品質との３段階以上の連関度を利用するようにしてもよい。かかる場合には、新たに取得した情報に応じた製品の品質との３段階以上の連関度に基づき、解探索を行うことになる。基調となる参照用情報は、上述した参照用外観情報又は参照用表面情報であるが、他の参照用情報も適用可能である。

【0080】

これらの場合も同様に、学習用データとして用いられた参照用情報に応じた情報が入力された場合に、上述した方法に基づいて解探索が行われることとなる。

【0081】

連関度を通じて求められる探索解は、更に、他の参照用情報に基づいて修正され、或いは重み付けを変化させるようにしてもよい。

【0082】

ここでいう他の参照用情報とは、上述した参照用情報の何れかを基調となる参照用情報とした場合、当該基調となる参照用情報以外のいかなる参照用情報に該当する。

【0083】

例えば、他の参照用情報の一つとして、ある参照用表面情報Ｐ１４において、以前において品質としてＢが判別される経緯が多かったものとする。このような参照用相場情報Ｐ１４に応じた品質を新たに取得したとき、品質の探索解Ｂに対して、重み付けを上げる処理を行い、換言すれば品質の探索解Ｂにつながるようにする処理を行うように予め設定しておく。

【0084】

例えば、他の参照用情報Ｇが、より品質の探索解Ｃを示唆するような分析結果であり、参照用情報Ｆが、より品質の探索解Ｄを示唆するような分析結果であるものとする。このように参照用情報との間での設定の後、実際に取得した情報が参照用情報Ｇと同一又は類似する場合には、品質の探索解Ｃの重み付けを上げる処理を行う。これに対して、実際に取得した情報が参照用情報Ｆと同一又は類似する場合には、品質の探索解Ｄの重み付けを上げる処理を行う。つまり、品質につながる連関度そのものを、この参照用情報Ｆ～Ｈに基づいてコントロールするようにしてもよい。或いは、品質を上述した連関度のみで決定した後、この求めた探索解に対して参照用情報Ｆ～Ｈに基づいて修正を加えるようにしてもよい。後者の場合において、参照用情報Ｆ～Ｈに基づいてどのように探索解としての品質にいかなるウェートで修正を加えるかは、都度システム側において設計したものを反映させることとなる。

【0085】

また他の参照用情報は、何れか１種で構成される場合に限定されるものではなく、２種以上の参照用情報に基づいて解探索するようにしてもよい。かかる場合も同様に、参照用情報の示唆する品質につながるケースほど、連関度を介して求められた探索解としての当該判別類型をより高く修正するようにしてもよい。

【0086】

本発明では、品質を探索する代わりに販売価格を探索するようにしてもよい。かかるケースは、店頭や通信販売を通じて販売しようとする製品の販売価格を販売側が適正に決めたい場合、或いは製品の購入側が実際に購入しようとする製品の販売価格が適正か否かを判別する際に適用される。販売価格を推定する場合には、図３に示す品質の代替として販売価格を出力側の解として学習させ、参照用外観情報や参照用表面情報と、製品の販売価格との３段階以上の連関度が予め設定されていることが前提となる。製品の販売価格は、その参照用外観情報として撮像した製品の実際の販売価格である。この販売価格は、店舗やＥコマース、質屋等の運営会社において保存されているデータベースにアクセスすることで取得してもよいし、都度手入力により入力するようにしてもよい。解探索時には、予め学習させた、参照用情報と販売価格との３段階以上の連関度を参照し、取得した情報を介して販売価格を探索することができる。

【0087】

なお、上述した実施の形態においては、製品の品質や販売価格を探索する場合を例に挙げて説明をしたが、これに限定されるものではない。

【0088】

第２実施形態
第２実施形態においては、判別装置２、又はこの判別装置２及び情報取得部９をウェアラブル端末の中でも特に眼鏡型端末、ヘッドマウントディスプレイ（ＨＭＤ）を利用するものである。このＨＭＤは、ユーザの頭部又は眼鏡に一体又は部分的に装着され、拡張現実（ＡＲ：Augmented Reality）或いは複合現実（ＭＲ：Mixed Reality）といった技術を利用し、取得した各種の映像情報に基づいて生成された情報を透過状態で表示する表示部を備える。ユーザは、表示すべき情報をＨＭＤ上において透過して表示する表示部を介して、視認し、理解することができる。これによりユーザは、目の前の状況を見つつ、取得された各種の映像情報に基づいて生成された情報や各種コンテンツを合わせて確認することが可能となる。

【0089】

このため、本発明においては、例えば、外観情報や表面情報をこのＨＭＤに実装された情報取得部９を介して取得する。そして、ＨＭＤ内において実装された判別装置２により解探索を行い、得られた探索解（製品の品質やその販売価格等）を、表示部を介して透過状態で表示するようにしてもよい。

【0090】

このような第２実施形態において学習用データとして学習させる参照用外観情報や、参照用表面情報は、実際にＨＭＤ等を始めとする眼鏡型端末で撮像したものであってもよいが、これに限定されるものではなく、通常のデジタルカメラやスマートフォン等で撮像したものであってもよい。

【0091】

また、この参照用外観情報、参照用表面情報を実際に得る上で、製品のいかなる部位を撮像しているかを紐づけるようにしてもよい。

【0092】

例えば参照用外観情報を得る上で、製品の品質を評価する熟練のベテランの鑑定者や当業者が、製品のいかなる部位を見ているかを検出する。仮にベテラン鑑定者が、製品の底面の部位を中心に視認しているか、或いは製品の斜め上の部位を中心に視認しているか、或いは製品の側面の部位を中心に視認しているのかを検出する。

【0093】

この検出は、例えばベテラン鑑定者に眼鏡型端末を装着させて実際に製品を手に取って検出する作業を行わせ、その間において眼鏡型端末に実装されている情報取得部９を介して随時ベテラン鑑定者が視認している方向の画像を撮像し続ける。そして、事後的にその録画した画像を解析し、或いは画像を再生することにより、実際にベテラン鑑定者が製品の外観情報や表面情報を介して製品の品質を評価する作業を行う上で、製品のいかなる部位を視認しているかを検知することが可能となる。

【0094】

かかる場合において、図１０に示すように、眼鏡型端末で撮像された動画像を時系列的に並べた場合に、製品の底部の画像（Ｐ１）、製品の斜め上の画像（Ｐ２）、斜め上の拡大画像（Ｐ３）、側面の画像（Ｐ４）であったものとする。このようにして時系列的に得られた画像から、撮像対象部位情報を検出するようにしてもよい。ここでいう撮像対象部位情報とは、眼鏡型端末で撮像された画像が製品のいかなる部位を撮像しているかに関する情報である。この撮像対象部位情報は、図１０に示すように、底部、斜め上、側面等のように実際に撮像している部位の名称で構成されていてもよいし、当該部位を特定するための記号や数値、番号等で表現されるものであってもよい。また撮影対象部位情報は、例えば、撮影が拡大画像であるか縮小画像であるか否か、また撮影する際の撮影方向や画角等の情報も盛り込むようにしてもよい。

【0095】

この撮影対象部位情報の取得は、撮影対象となる部位を都度人間が判別して手入力してもよいが、取得した画像を周知の画像解析技術を利用することで得るようにしてもよい。この撮影対象部位情報の取得は、以前において学習させた特徴量に基づいて判別するようにしてもよい。例えば製品の底部、斜め上、側面等の各部の画像を、ディープラーニング技術を利用して、人工知能を通じて抽出することで判別するようにしてもよい。かかる場合には、参照用外観情報に含まれる製品の部位と、撮像対象部位情報とを教師データとして用い、入力を参照用外観情報とし、出力を撮像対象部位情報とした機械学習モデルを利用する。そして、新たにユーザ端末を介して撮像された参照用外観情報に基づいて撮像対象部位情報を取得する。また、撮影対象部位情報の取得は、これ以外に、ＨＭＤや眼鏡型端末において搭載されている、アイトラッキング機能を利用して検出した視線の方向、加速度センサやジャイロセンサを利用して検出した頭部の向き、操作デバイスやハンドトラッキング機能を利用したユーザの手の動き等を介して、撮影対象部位情報を取得するようにしてもよい。

【0096】

このようにして得られた撮影対象部位情報を上述した各画像Ｐ１～Ｐ４等と紐付けて記録しておくことにより、各画像Ｐ１～Ｐ４が製品のいかなる部位を撮像した画像であるかをセットで取得することができる。仮にベテランの鑑定者からこのような参照用外観情報を構成する画像Ｐ１～Ｐ４と、撮影対象部位情報を取得することで、ベテランの鑑定者が実際に製品の検査を行う上でいかなる部位をいかなる順番で確認しているのか、また拡大画像であるか否か、また撮影角度等のような撮影環境も取得することができる。参照用表面情報についても同様に撮影対象部位情報を取得して、これを紐付けて記録しておくことが可能となる。

【0097】

第２実施形態においては、撮影対象部位情報を活用することで、実際の解探索時の利便性を高めることができる。上述した学習データを予め構築した上で、ＨＭＤを装着したユーザが本発明を実施する場合、探索解（品質、販売価格等）の探索は、上述した第１実施形態において説明した方法に基づいて実行する。このとき、ＨＭＤを装着したユーザが自ら視認している製品について撮像した外観情報、表面情報を取得する過程で、同様に撮影対象部位情報を得るようにしてもよい。外観情報、表面情報からこの撮影対象部位情報を取得する方法としては、上述したように学習させた特徴量に基づいて判別するようにしてもよく、例えば外観情報中の製品の底部、斜め上、側面等の製品の各部の画像を、ディープラーニング技術を利用して、人工知能を通じて抽出することで判別するようにしてもよい。かかる場合には、外観情報に含まれる製品の部位と、撮像対象部位情報とを教師データとして用い、入力を外観情報とし、出力を撮像対象部位情報とした機械学習モデルを利用する。そして、新たにユーザ端末を介して撮像された外観情報に基づいて撮像対象部位情報を取得する。表面情報からも同様に撮像対象部位情報を取得することができる。

【0098】

以下、外観情報、表面情報等を始めとする情報から取得した撮影対象部位情報を第１撮影対象部位情報ともいい、参照用外観情報、参照用表面情報等を始めとする参照用情報から取得した撮影対象部位情報を第２撮影対象部位情報ともいう。

【0099】

外観情報、表面情報を取得する過程で、このような第１撮影対象部位情報を都度取得することで以下に説明する優れた効果がある。撮像した外観情報の第１撮影対象部位情報と、参照用外観情報の第２撮影対象部位情報が一致しているかを都度確認することが可能となる。撮像した外観情報の第１撮影対象部位情報と、参照用外観情報の第２撮影対象部位情報が不一致の場合には、ＨＭＤの表示部を介してユーザに注意喚起の表示をすることができる。

【0100】

例えば、撮像した外観情報の第１撮影対象部位情報が“側面”であり、これに対応させるための参照用外観情報の第２撮影対象部位情報が“斜め上”である場合には、ＨＭＤを装着するユーザが外観情報を撮影する製品の部位が誤った部位を撮影していることとなる。かかる場合には、上述のように注意喚起をすることで正しい部位に撮影対象を合わせることをユーザに促すことが可能となる。また、参照用外観情報に紐付けられた第２撮影対象部位情報が、底部を拡大して視認するものであるのに対して、外観情報に紐付けられた第１撮影対象部位情報が同じ底部の画像であるが拡大して視認していない場合には、同様にユーザに対して、画像を拡大して視認するように促すことが可能となる。

【0101】

このようにして、撮像した外観情報の第１撮影対象部位情報と、参照用外観情報の第２撮影対象部位情報との一致度、又は撮像した表面情報の撮影対象部位情報と、参照用表面情報の撮影対象部位情報との一致度を介して、ＨＭＤを装着したユーザに対して、実際に外観情報、表面情報の撮影方法について様々な示唆を行い、又は様々な修正を促すことが可能となる。このとき、このような示唆や修正の促進を、ＨＭＤや眼鏡型端末の表示部を介して透過状態で表示する、上述したＡＲやＭＲを実現するようにしてもよい。なお、この撮影方法についての示唆は、第１撮像対象部位情報と、第２撮像対象部位情報とに基づいたものであればいかなる示唆を表示するものであってもよい。

【0102】

なお、上述した図１０の例において製品について複数箇所を順次撮影対象を切り替える場合を例にとり説明をしたが、これに限定されるものではなく、参照用外観情報等が１箇所の製品について得られたものである場合においても同様に撮影対象部位情報を取得して紐付けておくことで、実際に外観情報等を取得するユーザに対して上述した誘導を行うことが可能となる。

【0103】

なお本発明は、図１１に示すように、参照用外観情報又は参照用表面情報と、製品の品質との３段階以上の連関度を上記製品の部位毎に予め取得するようにしてもよい。かかる場合には、側面用、底部用、斜め上用等の製品の各部位毎に、独立して参照用外観情報又は参照用表面情報と、製品の品質との連関度を学習させて保存しておく。

【0104】

そして、取得した第１撮影対象部位情報に応じた製品の部位の連関度を読み出し、上述と同様に解探索する。仮に第１撮影対象部位情報が製品の底部であれば、その底部用の連関度からなる評価モデルを選択し、品質推定を行う。これにより、製品の部位毎に特化した評価モデルを選択することができ、より高精度な品質推定を行うことができる。

【0105】

なお、本発明は、図１２に示すように、連関度を上述したように製品の各部位について構築するとともに、その連関度を他の参照用情報毎に分類されていてもよい。ここでいう他の参照用情報とは、第１実施形態において説明したあらゆる参照用情報が含まれる。このうち、参照用品名情報に着目した場合、例えば図１２に示すように、他の参照用情報Ａとして、製品についてそれぞれ側面用、底部用、斜め上用等の製品の各部位毎の連関度が形成されており、他の参照用情報Ｂとして製品についてそれぞれ側面用、底部用、斜め上用等の製品の各部位毎の連関度が形成されている。このような各参照用情報毎に分類された、各部位毎の連関度を準備しておく。そして、新たに解探索を行う場合には、上述した撮影対象部位情報を取得すると共に、他の情報を取得する。この取得する他の情報とは、上述した他の参照用情報に対応したものである。仮に他の参照用情報が、参照用品名情報であれば、品名情報を取得することになる。取得した他の情報に応じた参照用情報における製品の部位毎に分類された評価モデルを選択し、同様に解探索を行う。上述した図１２の例の場合、取得したものが他の情報Ｂ（品名情報Ｂ）である場合、これに応じた他の参照用情報Ｂ（参照用品名情報Ｂ）における製品の部位毎に分類された何れかの評価モデルを選択し解探索することとなる。

【0106】

なお、製品の各部位について構築する連関度は、上述した参照用品名情報毎に構築する場合以外に、他のいかなる参照用情報毎に構築してもよい。かかる場合も同様に参照用情報に応じた情報を取得し、取得した情報に応じて連関度を選択することとなる。

【0107】

学習済みモデルを構築する過程では、上述した参照用外観情報、参照用表面情報を取得する際に、同様に第２撮影対象部位情報を取得しておく。また撮像した製品についての実際の品質（販売価格）を取得することで上述と同様にデータセットを得て、図３、４に示すような連関度を形成しておく。解探索時には、推定対象の製品について取得した表面情報から参照用表面情報を構成し、或いは取得した外観情報から参照用外観情報を構成すると共に、同様に第１撮影対象部位情報を取得する。

【0108】

そして取得した第１撮像対象部位情報と、取得した外観情報（表面情報）と同一又は類似の参照用外観情報（参照用表面情報）に紐付けられて記録されている第２撮像対象部位

【0109】

なお本発明は、図１３に示すように、参照用外観情報又は参照用画像情報と、製品の品質との３段階以上の連関度をモデル選択情報毎に予め取得するようにしてもよい。ここでいうモデル選択情報とは、第１実施形態において説明した参照用情報としての、参照用品名情報に応じた品名情報、参照用環境情報に応じた環境情報、参照用時期情報に応じた時期情報、参照用センシング情報に応じたセンシング情報、参照用生産状況情報に応じた生産状況情報、参照用分析情報に応じた分析情報である。これらの情報の詳細は、第１実施形態の説明を引用することにより、以下での説明は省略する。モデル選択情報は、この第１実施形態において説明した品名情報、環境情報、時期情報、センシング情報、生産状況情報、分析情報等のうち何れか１種から選択され、選択されたモデル選択情報の内訳（選択情報１、２、３、・・・）毎に独立して参照用外観情報又は参照用画像情報と、製品の品質との連関度を学習させて保存しておく。モデル選択情報が品名情報であれば、選択情報１として品名〇〇、選択情報２として品名▲▲、選択情報３として品名◇◇等が挙げられ、これらの選択情報毎に連関度が設けられている。

【0110】

そして、推定時には、推定対象の製品におけるモデル選択情報を取得する。そして、取得したモデル選択情報に応じた製品の選択情報１、２、３、・・・の何れかの連関度を読み出し、上述と同様に解探索する。仮にモデル選択情報が選択情報２であれば、その選択情報２用の連関度からなる評価モデルを選択し、品質推定を行う。これにより、製品の選択情報１、２、３、・・・毎に特化した評価モデルを選択することができ、より高精度な品質推定を行うことができる。

【0111】

なお、本発明は、図１４に示すように、連関度を上述したように選択情報１、２、３、・・・について構築するとともに、その連関度を他の参照用情報毎に分類されていてもよい。ここでいう他の参照用情報とは、第１実施形態において説明したあらゆる参照用情報（参照用品名情報、参照用環境情報、参照用時期情報、参照用センシング情報、参照用生産状況情報、参照用分析情報等）が含まれる。このうち、参照用生産状況情報に着目した場合、例えば図１４に示すように、他の参照用情報Ａとして、生産状況〇〇についてそれぞれ選択情報１、２、３、・・・用毎の連関度が形成されており、他の参照用情報Ｂとして生産状況▲▲についてそれぞれ選択情報１、２、３、・・・用毎の連関度が形成されている。このような各参照用情報毎に分類された連関度を準備しておく。そして、新たに解探索を行う場合には、上述したモデル選択情報を取得すると共に、モデル選択情報以外の他の情報を取得する。この取得する他の情報とは、上述した他の参照用情報に対応したものである。仮に他の参照用情報が、参照用生産状況情報であれば、生産状況情報を取得することになる。取得した他の情報に応じた参照用情報における選択情報１、２、３、・・・毎に分類された評価モデルを選択し、同様に解探索を行う。上述した図１４の例の場合、取得したものが他の情報Ｂ（生産状況情報Ｂ）である場合、これに応じた他の参照用情報Ｂ（参照用生産状況情報Ｂ）における選択情報１、２、３、・・・毎に分類された何れかの評価モデルを選択し解探索することとなる。

【0112】

なお、各モデル選択情報について構築する連関度は、上述した参照用生産状況情報毎に構築する場合以外に、他のいかなる参照用情報毎に構築してもよい。かかる場合も同様に参照用情報に応じた情報を取得し、取得した情報に応じて連関度を選択することとなる。

【符号の説明】

【0113】

１ 品質推定システム
２ 推定装置
２１ 内部バス
２３ 表示部
２４ 制御部
２５ 操作部
２６ 通信部
２７ 推定部
２８ 記憶部
６１ ノード

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】