(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-29
(45)【発行日】2022-12-07
(54)【発明の名称】検品支援方法、及び検品支援システム
(51)【国際特許分類】
G06T 7/00 20170101AFI20221130BHJP
G06V 10/25 20220101ALI20221130BHJP
G06V 10/778 20220101ALI20221130BHJP
G06N 20/00 20190101ALI20221130BHJP
【ＦＩ】
G06T7/00 350B
G06T7/00 610C
G06V10/25
G06V10/778
G06N20/00 130
【請求項の数】
6
(21)【出願番号】P 2019001551
(22)【出願日】2019-01-09
(65)【公開番号】P2020112897
(43)【公開日】2020-07-27
【審査請求日】2021-06-28
(73)【特許権者】
【識別番号】597132849
【氏名又は名称】株式会社日立ソリューションズ・クリエイト
(74)【代理人】
【識別番号】110000176
【氏名又は名称】一色国際特許業務法人
(72)【発明者】
【氏名】中矢 雄志
(72)【発明者】
【氏名】北林 久義
(72)【発明者】
【氏名】樋口 正己
【審査官】久保 光宏
(56)【参考文献】
【文献】特開２００９－１５０８６６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ７／００
Ｇ０６Ｖ１０／００－１０／９８
Ｇ０６Ｎ３／００－９９／００
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）
(57)【特許請求の範囲】
【請求項1】
撮影装置を備え、所定の眼鏡に取り付けられた、少なくとも１以上の情報処理装置を含んで構成される、プロセッサ及びメモリを備える検品支援システムが、前記撮影装置により撮影された、前記眼鏡を装着している作業員の視点に対応する所定の部材の画像を取得する学習対象画像取得処理と、
前記所定の部材を特定する情報である物体ラベル及び前記部材の状態を示す情報である状態ラベルを設定すると共に前記取得した画像のうち所定範囲を設定する学習対象部材設定処理と、
前記取得した画像、前記設定した画像の範囲、前記設定した物体ラベル、及び前記設定した状態ラベルに基づき、部材の種類、部材の範囲、部材の状態、及び部材の画像の間の関係を学習した学習済みモデルを生成する学習処理と、
前記撮影装置により撮影された新たな部材の画像を取得する検品画像取得処理と、
前記取得した新たな部材の画像を前記学習済みモデルに入力することにより、前記新たな部材の状態を判定する検品画像判定処理と、
を実行し、
前記学習対象部材設定処理において、前記取得した所定の部材の画像に基づき当該部材の形状又は色彩を認識し、所定の形状又は色彩を有する部分であると認識された当該部材の各部分を示す枠を、所定時間間隔で移動しながらそれぞれ表示し、指定入力がなされたタイミングで枠が表示されている部分に対応する、前記画像の範囲を設定する、
眼鏡による検品支援方法。
【請求項2】
撮影装置を備え、所定の眼鏡に取り付けられた、少なくとも１以上の情報処理装置を含んで構成される、プロセッサ及びメモリを備える検品支援システムが、前記撮影装置により撮影された、前記眼鏡を装着している作業員の視点に対応する所定の部材の画像を取得する学習対象画像取得処理と、
前記所定の部材を特定する情報である物体ラベル及び前記部材の状態を示す情報である状態ラベルを設定すると共に前記取得した画像のうち所定範囲を設定する学習対象部材設定処理と、
前記取得した画像、前記設定した画像の範囲、前記設定した物体ラベル、及び前記設定した状態ラベルに基づき、部材の種類、部材の範囲、部材の状態、及び部材の画像の間の関係を学習した学習済みモデルを生成する学習処理と、
前記撮影装置により撮影された新たな部材の画像を取得する検品画像取得処理と、
前記取得した新たな部材の画像を前記学習済みモデルに入力することにより、前記新たな部材の状態を判定する検品画像判定処理と、
を実行し、
前記学習対象部材設定処理において、前記眼鏡を装着している作業員の視点を基準とする、時間的に大きさが変化する領域を算出し、指定されたタイミングにおける前記領域が示す、前記画像の範囲を設定する、
眼鏡による検品支援方法。
【請求項3】
前記検品支援システムは、前記学習対象画像取得処理において、前記眼鏡を装着している作業員の視点を追跡し、当該視点が所定時間動いていないと判定した場合には、当該視点に対応する前記所定の部材の画像を取得する、
請求項１又は２に記載の眼鏡による検品支援方法。
【請求項4】
前記検品支援システムは、前記判定した新たな部材の状態の情報を出力する出力処理を実行する、請求項１又は２に記載の眼鏡による検品支援方法。
【請求項5】
撮影装置を備え、所定の眼鏡に取り付けられた、少なくとも１以上の情報処理装置を含んで構成される、プロセッサ及びメモリを備える検品支援システムであって、前記撮影装置により撮影された、前記眼鏡を装着している作業員の視点に対応する所定の部材の画像を取得する学習対象画像取得部と、
前記所定の部材を特定する情報である物体ラベル及び前記部材の状態を示す情報である状態ラベルを設定すると共に前記取得した画像のうち所定範囲を設定する学習対象部材設定部と、
前記取得した画像、前記設定した画像の範囲、前記設定した物体ラベル、及び前記設定した状態ラベルに基づき、部材の種類、部材の範囲、部材の状態、及び部材の画像の間の関係を学習した学習済みモデルを生成する学習部と、
前記撮影装置により撮影された新たな部材の画像を取得する検品画像取得部と、
前記取得した新たな部材の画像を前記学習済みモデルに入力することにより、前記新たな部材の状態を判定する検品画像判定部と、
を備え、
前記学習対象部材設定部は、前記取得した所定の部材の画像に基づき当該部材の形状又は色彩を認識し、所定の形状又は色彩を有する部分であると認識された当該部材の各部分を示す枠を、所定時間間隔で移動しながらそれぞれ表示し、指定入力がなされたタイミングで枠が表示されている部分に対応する、前記画像の範囲を設定する、
検品支援システム。
【請求項6】
撮影装置を備え、所定の眼鏡に取り付けられた、少なくとも１以上の情報処理装置を含んで構成される、プロセッサ及びメモリを備える検品支援システムであって、
前記撮影装置により撮影された、前記眼鏡を装着している作業員の視点に対応する所定の部材の画像を取得する学習対象画像取得部と、
前記所定の部材を特定する情報である物体ラベル及び前記部材の状態を示す情報である状態ラベルを設定すると共に前記取得した画像のうち所定範囲を設定する学習対象部材設定部と、
前記取得した画像、前記設定した画像の範囲、前記設定した物体ラベル、及び前記設定した状態ラベルに基づき、部材の種類、部材の範囲、部材の状態、及び部材の画像の間の関係を学習した学習済みモデルを生成する学習部と、
前記撮影装置により撮影された新たな部材の画像を取得する検品画像取得部と、
前記取得した新たな部材の画像を前記学習済みモデルに入力することにより、前記新たな部材の状態を判定する検品画像判定部と、
を備え、
前記学習対象部材設定部は、前記眼鏡を装着している作業員の視点を基準とする、時間的に大きさが変化する領域を算出し、指定されたタイミングにおける前記領域が示す、前記画像の範囲を設定する、
検品支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検品支援方法、及び検品支援システムに関する。
【背景技術】
【0002】
人工知能（AI: Artificial Intelligence）を利用した画像認識技術が種々の分野で活
用されているが、近年ではこれにディープラーニング（深層学習）技術を取り入れることで、従来の人工知能では困難であった、画像の特徴抽出（画像における特徴部分を抽出すること）の精度が向上している。このような技術としては、例えば特許文献１に、画像認識装置が、原画像に所定のデータ処理を施して入力データを生成し、生成された入力データに含まれるオブジェクトの種類を認識する階層型ニューラルネットワークを有するものであって、原画像がサンプル画像である場合は、ネットワークの認識結果に基づいてネットワークのパラメータを学習する処理を行い、原画像が認識の対象画像である場合は、ネットワークの認識結果を出力する処理を行うことが開示されている。
用されているが、近年ではこれにディープラーニング（深層学習）技術を取り入れることで、従来の人工知能では困難であった、画像の特徴抽出（画像における特徴部分を抽出すること）の精度が向上している。このような技術としては、例えば特許文献１に、画像認識装置が、原画像に所定のデータ処理を施して入力データを生成し、生成された入力データに含まれるオブジェクトの種類を認識する階層型ニューラルネットワークを有するものであって、原画像がサンプル画像である場合は、ネットワークの認識結果に基づいてネットワークのパラメータを学習する処理を行い、原画像が認識の対象画像である場合は、ネットワークの認識結果を出力する処理を行うことが開示されている。
【0003】
このような手法を応用することにより、例えば、対象物の画像と、利用者により設定される対象物の属性情報（ラベル）とを用い、画像と対象物との関係を学習した学習モデルを作成することで、これを種々の業務に活用できるようになってきた。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１８－１６５９４８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
製造業の分野でも、製造部品に対する画像認識とこれによる機械学習を行うことで、部品の検査業務を効率よくかつ正確に行うことが試みられている。しかしながら、製造業では様々な種類及び構造を有する多量の部品を取り扱うため、業務に役立てることができるように機械学習の精度を充分に向上させる必要があるが、そのためには、画像に対するラベルの設定を正確に行うことが重要である。そして、そのためには、ラベルを設定する者に業務に関する幅広い知識や経験が必要である。
【0006】
しかしながら、製造業等の分野では、そのような高度の専門スキルを有している人材（作業員）が不足しているのが現状である。したがって、限られた人材の中で効率良く検品しラベルの設定を行わなければならない。
【0007】
以上の課題を解決するための本発明の一つは、撮影装置を備え、所定の眼鏡に取り付けられた、少なくとも１以上の情報処理装置を含んで構成される、プロセッサ及びメモリを備える検品支援システムが、前記撮影装置により撮影された、前記眼鏡を装着している作業員の視点に対応する所定の部材の画像を取得する学習対象画像取得処理と、前記所定の部材を特定する情報である物体ラベル及び前記部材の状態を示す情報である状態ラベルを設定すると共に前記取得した画像のうち所定範囲を設定する学習対象部材設定処理と、前記取得した画像、前記設定した画像の範囲、前記設定した物体ラベル、及び前記設定した状態ラベルに基づき、部材の種類、部材の範囲、部材の状態、及び部材の画像の間の関係を学習した学習済みモデルを生成する学習処理と、前記撮影装置により撮影された新たな部材の画像を取得する検品画像取得処理と、前記取得した新たな部材の画像を前記学習済みモデルに入力することにより、前記新たな部材の状態を判定する検品画像判定処理と、を実行し、前記学習対象部材設定処理において、前記取得した所定の部材の画像に基づき当該部材の形状又は色彩を認識し、所定の形状又は色彩を有する部分であると認識された当該部材の各部分を示す枠を、所定時間間隔で移動しながらそれぞれ表示し、指定入力がなされたタイミングで枠が表示されている部分に対応する、前記画像の範囲を設定する。
また、以上の課題を解決するための本発明の一つは、撮影装置を備え、所定の眼鏡に取り付けられた、少なくとも１以上の情報処理装置を含んで構成される、プロセッサ及びメモリを備える検品支援システムが、前記撮影装置により撮影された、前記眼鏡を装着している作業員の視点に対応する所定の部材の画像を取得する学習対象画像取得処理と、前記所定の部材を特定する情報である物体ラベル及び前記部材の状態を示す情報である状態ラベルを設定すると共に前記取得した画像のうち所定範囲を設定する学習対象部材設定処理と、前記取得した画像、前記設定した画像の範囲、前記設定した物体ラベル、及び前記設定した状態ラベルに基づき、部材の種類、部材の範囲、部材の状態、及び部材の画像の間の関係を学習した学習済みモデルを生成する学習処理と、前記撮影装置により撮影された新たな部材の画像を取得する検品画像取得処理と、前記取得した新たな部材の画像を前記学習済みモデルに入力することにより、前記新たな部材の状態を判定する検品画像判定処理と、を実行し、前記学習対象部材設定処理において、前記眼鏡を装着している作業員の視点を基準とする、時間的に大きさが変化する領域を算出し、指定されたタイミングにおける前記領域が示す、前記画像の範囲を設定する。
また、以上の課題を解決するための本発明の他の一つは、撮影装置を備え、所定の眼鏡に取り付けられた、少なくとも１以上の情報処理装置を含んで構成される、プロセッサ及びメモリを備える検品支援システムであって、前記撮影装置により撮影された、前記眼鏡を装着している作業員の視点に対応する所定の部材の画像を取得する学習対象画像取得部と、前記所定の部材を特定する情報である物体ラベル及び前記部材の状態を示す情報である状態ラベルを設定すると共に前記取得した画像のうち所定範囲を設定する学習対象部材設定部と、前記取得した画像、前記設定した画像の範囲、前記設定した物体ラベル、及び前記設定した状態ラベルに基づき、部材の種類、部材の範囲、部材の状態、及び部材の画像の間の関係を学習した学習済みモデルを生成する学習部と、前記撮影装置により撮影された新たな部材の画像を取得する検品画像取得部と、前記取得した新たな部材の画像を前記学習済みモデルに入力することにより、前記新たな部材の状態を判定する検品画像判定部と、を備え、前記学習対象部材設定部は、前記取得した所定の部材の画像に基づき当該部材の形状又は色彩を認識し、所定の形状又は色彩を有する部分であると認識された当該部材の各部分を示す枠を、所定時間間隔で移動しながらそれぞれ表示し、指定入力がなされたタイミングで枠が表示されている部分に対応する、前記画像の範囲を設定する。
また、以上の課題を解決するための本発明の他の一つは、撮影装置を備え、所定の眼鏡に取り付けられた、少なくとも１以上の情報処理装置を含んで構成される、プロセッサ及びメモリを備える検品支援システムであって、前記撮影装置により撮影された、前記眼鏡を装着している作業員の視点に対応する所定の部材の画像を取得する学習対象画像取得部と、前記所定の部材を特定する情報である物体ラベル及び前記部材の状態を示す情報である状態ラベルを設定すると共に前記取得した画像のうち所定範囲を設定する学習対象部材設定部と、前記取得した画像、前記設定した画像の範囲、前記設定した物体ラベル、及び前記設定した状態ラベルに基づき、部材の種類、部材の範囲、部材の状態、及び部材の画像の間の関係を学習した学習済みモデルを生成する学習部と、前記撮影装置により撮影された新たな部材の画像を取得する検品画像取得部と、前記取得した新たな部材の画像を前記学習済みモデルに入力することにより、前記新たな部材の状態を判定する検品画像判定部と、を備え、前記学習対象部材設定部は、前記眼鏡を装着している作業員の視点を基準とする、時間的に大きさが変化する領域を算出し、指定されたタイミングにおける前記領域が示す、前記画像の範囲を設定する。
また、以上の課題を解決するための本発明の一つは、撮影装置を備え、所定の眼鏡に取り付けられた、少なくとも１以上の情報処理装置を含んで構成される、プロセッサ及びメモリを備える検品支援システムが、前記撮影装置により撮影された、前記眼鏡を装着している作業員の視点に対応する所定の部材の画像を取得する学習対象画像取得処理と、前記所定の部材を特定する情報である物体ラベル及び前記部材の状態を示す情報である状態ラベルを設定すると共に前記取得した画像のうち所定範囲を設定する学習対象部材設定処理と、前記取得した画像、前記設定した画像の範囲、前記設定した物体ラベル、及び前記設定した状態ラベルに基づき、部材の種類、部材の範囲、部材の状態、及び部材の画像の間の関係を学習した学習済みモデルを生成する学習処理と、前記撮影装置により撮影された新たな部材の画像を取得する検品画像取得処理と、前記取得した新たな部材の画像を前記学習済みモデルに入力することにより、前記新たな部材の状態を判定する検品画像判定処理と、を実行し、前記学習対象部材設定処理において、前記眼鏡を装着している作業員の視点を基準とする、時間的に大きさが変化する領域を算出し、指定されたタイミングにおける前記領域が示す、前記画像の範囲を設定する。
また、以上の課題を解決するための本発明の他の一つは、撮影装置を備え、所定の眼鏡に取り付けられた、少なくとも１以上の情報処理装置を含んで構成される、プロセッサ及びメモリを備える検品支援システムであって、前記撮影装置により撮影された、前記眼鏡を装着している作業員の視点に対応する所定の部材の画像を取得する学習対象画像取得部と、前記所定の部材を特定する情報である物体ラベル及び前記部材の状態を示す情報である状態ラベルを設定すると共に前記取得した画像のうち所定範囲を設定する学習対象部材設定部と、前記取得した画像、前記設定した画像の範囲、前記設定した物体ラベル、及び前記設定した状態ラベルに基づき、部材の種類、部材の範囲、部材の状態、及び部材の画像の間の関係を学習した学習済みモデルを生成する学習部と、前記撮影装置により撮影された新たな部材の画像を取得する検品画像取得部と、前記取得した新たな部材の画像を前記学習済みモデルに入力することにより、前記新たな部材の状態を判定する検品画像判定部と、を備え、前記学習対象部材設定部は、前記取得した所定の部材の画像に基づき当該部材の形状又は色彩を認識し、所定の形状又は色彩を有する部分であると認識された当該部材の各部分を示す枠を、所定時間間隔で移動しながらそれぞれ表示し、指定入力がなされたタイミングで枠が表示されている部分に対応する、前記画像の範囲を設定する。
また、以上の課題を解決するための本発明の他の一つは、撮影装置を備え、所定の眼鏡に取り付けられた、少なくとも１以上の情報処理装置を含んで構成される、プロセッサ及びメモリを備える検品支援システムであって、前記撮影装置により撮影された、前記眼鏡を装着している作業員の視点に対応する所定の部材の画像を取得する学習対象画像取得部と、前記所定の部材を特定する情報である物体ラベル及び前記部材の状態を示す情報である状態ラベルを設定すると共に前記取得した画像のうち所定範囲を設定する学習対象部材設定部と、前記取得した画像、前記設定した画像の範囲、前記設定した物体ラベル、及び前記設定した状態ラベルに基づき、部材の種類、部材の範囲、部材の状態、及び部材の画像の間の関係を学習した学習済みモデルを生成する学習部と、前記撮影装置により撮影された新たな部材の画像を取得する検品画像取得部と、前記取得した新たな部材の画像を前記学習済みモデルに入力することにより、前記新たな部材の状態を判定する検品画像判定部と、を備え、前記学習対象部材設定部は、前記眼鏡を装着している作業員の視点を基準とする、時間的に大きさが変化する領域を算出し、指定されたタイミングにおける前記領域が示す、前記画像の範囲を設定する。
【課題を解決するための手段】
【0008】
以上の課題を解決するための本発明の一つは、撮影装置を備え、所定の眼鏡に取り付けられた、少なくとも１以上の情報処理装置を含んで構成される、プロセッサ及びメモリを備える検品支援システムが、前記撮影装置により撮影された所定の部材の画像を取得する学習対象画像取得処理と、前記所定の部材を特定する情報である物体ラベル及び前記部材の状態を示す情報である状態ラベルを設定する学習対象部材設定処理と、前記取得した画像、前記設定した物体ラベル、及び前記設定した状態ラベルに基づき、部材の種類、部材の状態、及び部材の画像の間の関係を学習した学習済みモデルを生成する学習処理と、前
記撮影装置により撮影された新たな部材の画像を取得する検品画像取得処理と、前記取得した新たな部材の画像を前記学習済みモデルに入力することにより、前記新たな部材の状態を判定する検品画像判定処理と、を実行する。
記撮影装置により撮影された新たな部材の画像を取得する検品画像取得処理と、前記取得した新たな部材の画像を前記学習済みモデルに入力することにより、前記新たな部材の状態を判定する検品画像判定処理と、を実行する。
【発明の効果】
【0009】
本発明によれば、検品業務を正確かつ効率よく行うことができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、本実施形態に係る検品支援システム及び検品支援方法について図面を参照しつつ説明する。
図１は、本実施形態に係る検品支援システムの構成の一例を説明する図である。検品支援システム１は、検品を行う１又は複数の作業員３がそれぞれ装着する眼鏡端末１００と、１又は複数のエッジ端末２００と、ＡＩサーバ３００と、ファイルサーバ４００とを含んで構成されている。
図１は、本実施形態に係る検品支援システムの構成の一例を説明する図である。検品支援システム１は、検品を行う１又は複数の作業員３がそれぞれ装着する眼鏡端末１００と、１又は複数のエッジ端末２００と、ＡＩサーバ３００と、ファイルサーバ４００とを含んで構成されている。
【0012】
検品支援システム１は、熟練した作業員３が検品を行った検品対象の部材の画像及びその状態の情報（当該作業員３による検品結果の情報。例えば、不良品か否かといった情報や、どの部位に不良部分があるかといった情報。以下、ラベルという。）を収集し、これらに基づき深層学習（ディープラーニング）を利用した機械学習を行うことで、部材の画像とその状態との対応関係を学習する。そして、業務経験の浅い作業員３は、この学習結果を利用することで、正確かつ効率良く検品を行うことができる。
【0013】
眼鏡端末１００は、撮影装置を備え、所定の眼鏡に取り付けられた情報処理装置（いわゆるスマートグラス（smart glasses））である。眼鏡端末１００は、これを装着した作
業員３の視線を追跡し、また、作業員３の視線にある対象部材の画像（動画）を撮影する
ことができる。
業員３の視線を追跡し、また、作業員３の視線にある対象部材の画像（動画）を撮影する
ことができる。
【0014】
エッジ端末２００は、眼鏡端末１００と、ＡＩサーバ３００及びファイルサーバ４００との間の中継装置であり、眼鏡端末１００と情報の送受信を行うと共に、ＡＩサーバ３００及びファイルサーバ４００とも情報の送受信を行う情報処理装置である。
【0015】
ＡＩサーバ３００は、エッジ端末２００を介して眼鏡端末１００から送信されてきた情報に基づき、検品対象の部材についての所定の機械学習を行う人工知能（ＡＩ：Artificial Intelligence）機能を有する情報処理装置である。また、ＡＩサーバ３００は、エッ
ジ端末２００を介して眼鏡端末１００から送信されてきた検品対象の部材の画像に基づき、その部材が良品であるか又は不良品であるかと行った状態判定を行う。なお、これらの機能の詳細は後述する。
ジ端末２００を介して眼鏡端末１００から送信されてきた検品対象の部材の画像に基づき、その部材が良品であるか又は不良品であるかと行った状態判定を行う。なお、これらの機能の詳細は後述する。
【0016】
ファイルサーバ４００は、ＡＩサーバ３００が受信し又は生成した情報等（例えば、部材の画像の情報）を記憶する情報処理装置である。
【0017】
なお、眼鏡端末１００とエッジ端末２００との間は、例えば、BLUETOOTH（登録商標）
のような短距離通信の他、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network
）、インターネット、専用線等の無線通信ネットワーク５によって通信可能に接続される。
のような短距離通信の他、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network
）、インターネット、専用線等の無線通信ネットワーク５によって通信可能に接続される。
【0018】
また、エッジ端末２００、ＡＩサーバ３００、及びファイルサーバ４００の間は、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、
専用線等の通信ネットワーク７によって通信可能に接続される。
次に、各情報処理装置の構成について説明する。
専用線等の通信ネットワーク７によって通信可能に接続される。
次に、各情報処理装置の構成について説明する。
【0019】
まず、眼鏡端末１００の構成について説明する。
＜眼鏡端末１００＞
図２は、眼鏡端末１００が備える構成の一例を説明する図である。眼鏡端末１００は、ハードウェアとして、ＣＰＵ（Central Processing Unit）などの処理部１０１と、ＲＡ
Ｍ（Random Access Memory）、ＲＯＭ（Read Only Memory）等の記憶装置１０２と、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の補助記憶装置１０３と、入力装置１０４と、出力装置１０５と、エッジ端末２００と通信を行う通信装置１０６と、撮影装置１０７と、センサ１０８とを備える。
＜眼鏡端末１００＞
図２は、眼鏡端末１００が備える構成の一例を説明する図である。眼鏡端末１００は、ハードウェアとして、ＣＰＵ（Central Processing Unit）などの処理部１０１と、ＲＡ
Ｍ（Random Access Memory）、ＲＯＭ（Read Only Memory）等の記憶装置１０２と、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の補助記憶装置１０３と、入力装置１０４と、出力装置１０５と、エッジ端末２００と通信を行う通信装置１０６と、撮影装置１０７と、センサ１０８とを備える。
【0020】
入力装置１０４は、例えば、音声の入力を受け付けるマイクロフォンである。また、入力装置１０４は、眼鏡端末１００と通信可能に接続された所定の端末（コントローラ）におけるタッチパネルやボタンであってもよい。
【0021】
出力装置１０５は、眼鏡のレンズ部に画像等を表示するスクリーンであってもよいし、眼鏡端末１００と通信可能に接続された所定の端末（コントローラ）におけるスクリーンであってもよい。
【0022】
撮影装置１０７は、眼鏡の前方の所定の領域（例えば、眼鏡端末１００を装着した作業員３の前方の視界範囲）の動画又は静止画を撮影する。撮影装置１０７は、入力装置１０４に所定の入力が行われることにより、動画又は静止画の撮影を開始する。
【0023】
センサ１０８は、眼鏡端末１００を装着した作業員３の視線を追跡する装置であり、例えば赤外線センサである。
【0024】
また、眼鏡端末１００は、画像撮影部１２１、学習対象画像取得部１２３、学習対象部材設定部１２５、検品対象画像取得部１２７、情報送信部１２９、及び情報表示部１３１の各機能を備える。
【0025】
画像撮影部１２１は、撮影装置１０７による画像又は動画の撮影を行う。
【0026】
学習対象画像取得部１２３は、前記撮影装置により撮影された所定の部材（熟練した作業員３が検品する、学習対象の部材）の画像を取得する学習対象画像取得処理を実行する。
【0027】
例えば、学習対象画像取得部１２３は、前記眼鏡を装着している作業員３の視点に対応する学習対象の部材の画像を取得する。
【0028】
具体的には、例えば、学習対象画像取得部１２３は、前記眼鏡を装着している作業員３の視点を追跡し、当該視点が所定時間動いていないと判定した場合には、当該視点に対応する前記所定の部材（学習対象の部材）の画像を取得する。
【0029】
学習対象部材設定部１２５は、前記所定の部材を特定する情報である物体ラベル及び前記部材の状態を示す情報である状態ラベルを設定する学習対象部材設定処理を実行する。
【0030】
また、学習対象部材設定部１２５は、学習対象画像取得部１２３が前記取得した画像のうち所定範囲（以下、判定対象部分という）を設定する。
【0031】
例えば、学習対象部材設定部１２５は、学習対象画像取得部１２３が前記取得した所定の部材の画像に基づき当該部材の形状又は色彩を認識し、認識した形状又は色彩を有する当該部材の各部分のうち指定された部分に対応する、前記画像の範囲を設定する。なお、以下では、この設定処理を移動モードという。
【0032】
また、例えば、前記学習対象部材設定部１２５は、前記眼鏡を装着している作業員の視点を基準とする、時間的に大きさが変化する領域を算出し、指定されたタイミングにおける前記領域が示す、前記学習対象の部材の画像の範囲を設定する。なお、以下では、この設定処理をズームモードという。
【0033】
検品対象画像取得部１２７は、前記撮影装置により撮影された新たな部材（例えば、業務経験の浅い作業員３が検品しようとする部材。以下、検品対象部材という。）の画像を取得する。
【0034】
情報送信部１２９は、各画像及びラベルの情報等をエッジ端末２００に送信する。
【0035】
情報表示部１３１は、検品対象部材の検品結果の情報等を表示する。
【0036】
次に、エッジ端末２００の構成について説明する。
＜エッジ端末２００＞
図３は、エッジ端末２００が備える構成の一例を説明する図である。エッジ端末２００は、ハードウェアとして、ＣＰＵ（Central Processing Unit）などの処理部２０１と、
ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等の記憶装置２０２と、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の補助記憶装置２０３と、キーボード、タッチパネル等の入力装置２０４と、モニタ等の出力装置２０５と、他の情報処理装置と通信を行う通信装置２０６とを備える。
＜エッジ端末２００＞
図３は、エッジ端末２００が備える構成の一例を説明する図である。エッジ端末２００は、ハードウェアとして、ＣＰＵ（Central Processing Unit）などの処理部２０１と、
ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等の記憶装置２０２と、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の補助記憶装置２０３と、キーボード、タッチパネル等の入力装置２０４と、モニタ等の出力装置２０５と、他の情報処理装置と通信を行う通信装置２０６とを備える。
【0037】
また、エッジ端末２００は、情報転送部２２１、情報入力部２２２、及び情報表示部２２３の各機能を備える。情報転送部２２１は、眼鏡端末１００から受信したデータをＡＩサーバ３００又はファイルサーバ４００に転送し、また、ＡＩサーバ３００又はファイルサーバ４００から受信したデータを眼鏡端末１００に転送する。情報入力部２２２は、ユーザから、所定の情報の入力を受け付ける。情報表示部２２３は、所定の情報を表示する。
【0038】
続いて、ＡＩサーバ３００の構成について説明する。
＜ＡＩサーバ３００＞
図４は、ＡＩサーバ３００が備える構成の一例を説明する図である。ＡＩサーバ３００は、ハードウェアとして、ＣＰＵ（Central Processing Unit）などの処理部３０１と、
ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等の記憶装置３０２と、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の補助記憶装置３０３と、キーボード、タッチパネル等の入力装置３０４と、モニタ等の出力装置３０５と、他の情報処理装置と通信を行う通信装置３０６とを備える。
＜ＡＩサーバ３００＞
図４は、ＡＩサーバ３００が備える構成の一例を説明する図である。ＡＩサーバ３００は、ハードウェアとして、ＣＰＵ（Central Processing Unit）などの処理部３０１と、
ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等の記憶装置３０２と、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の補助記憶装置３０３と、キーボード、タッチパネル等の入力装置３０４と、モニタ等の出力装置３０５と、他の情報処理装置と通信を行う通信装置３０６とを備える。
【0039】
また、ＡＩサーバ３００は、情報受信部３２１、学習部３２３、検品画像判定部３２５、及び出力部３２７の各機能を備える。
【0040】
情報受信部３２１は、各眼鏡端末１００が送信してきた、当該眼鏡端末１００が取得した画像データ及びラベル等を受信する。なお、受信した情報は、ファイルサーバ４００に記憶される。この詳細は後述する。
【0041】
学習部３２３は、眼鏡端末１００の学習対象画像取得部１２３が前記取得した画像、学習対象部材設定部１２５が前記設定した物体ラベル、及び学習対象部材設定部１２５が前記設定した状態ラベルに基づき、部材の種類、部材の状態、及び部材の画像の間の関係を学習した学習済みモデル７００を生成する。
【0042】
また、前記学習部３２３は、眼鏡端末１００の学習対象画像取得部１２３が前記取得した画像、学習対象部材設定部１２５が前記設定した画像の範囲、学習対象部材設定部１２５が前記設定した物体ラベル、及び学習対象部材設定部１２５が前記設定した状態ラベルに基づき、部材の種類、部材の範囲、部材の状態、及び部材の画像の間の関係を学習した学習済みモデル７００を生成する。
【0043】
検品画像判定部３２５は、眼鏡端末１００が前記取得した新たな部材（検品対象部材）の画像を前記学習済みモデルに入力することにより、前記新たな部材の状態を判定する検品画像判定処理を実行する。
【0044】
出力部３２７は、検品画像判定部３２５が前記判定した新たな部材の状態の情報を出力する出力処理を実行する。
【0045】
続いて、ファイルサーバ４００の構成について説明する。
＜ファイルサーバ４００＞
図５は、ファイルサーバ４００が備える構成の一例を説明する図である。ファイルサーバ４００は、ハードウェアとして、ＣＰＵ（Central Processing Unit）などの処理部４
０１と、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等の記憶装置４０２と、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の補助記憶装置４０３と、他の情報処理装置と通信を行う通信装置４０６とを備える。
＜ファイルサーバ４００＞
図５は、ファイルサーバ４００が備える構成の一例を説明する図である。ファイルサーバ４００は、ハードウェアとして、ＣＰＵ（Central Processing Unit）などの処理部４
０１と、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等の記憶装置４０２と、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の補助記憶装置４０３と、他の情報処理装置と通信を行う通信装置４０６とを備える。
【0046】
また、ファイルサーバ４００は、情報送受信部４２１の機能を備える。情報送受信部４
２１は、他の情報処理装置（例えば、ＡＩサーバ３００）が送信してきたデータを受信し、また、自身が記憶しているデータを他の情報処理装置に送信する。
２１は、他の情報処理装置（例えば、ＡＩサーバ３００）が送信してきたデータを受信し、また、自身が記憶しているデータを他の情報処理装置に送信する。
【0047】
ファイルサーバ４００は、良品不良品画像データ５００、範囲指定画像データ６００、及び学習済みモデル７００を記憶している。これらのデータの詳細は後述する。
【0048】
以上に説明した各情報処理装置の機能は、各情報処理装置のハードウェアによって、もしくは、各情報処理装置の処理部が、記憶装置又は補助記憶装置に記憶されている各プログラムを読み出して実行することにより実現される。
【0049】
また、これらのプログラムは、例えば、二次記憶デバイスや不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤなどの記憶デバイス、又は、ＩＣカード、ＳＤカード、ＤＶＤなどの、情報処理装置で読み取り可能な非一時的データ記憶媒体に格納される。
【0050】
続いて、検品支援システム１が行う処理について説明する。
＜＜メニュー画面＞＞
図６は、眼鏡端末１００が表示するメニュー画面１０００の一例を示す図である。メニュー画面１０００は、学習対象部材の画像を取得して所定の機械学習を行う収集モードの実行をユーザから受け付ける収集モード開始選択欄１００２と、機械学習により生成した学習済みモデル７００に基づき、検品対象部材の状態を判定する判定モードの実行をユーザから受け付ける判定モード開始選択欄１００４とを備える。
＜＜メニュー画面＞＞
図６は、眼鏡端末１００が表示するメニュー画面１０００の一例を示す図である。メニュー画面１０００は、学習対象部材の画像を取得して所定の機械学習を行う収集モードの実行をユーザから受け付ける収集モード開始選択欄１００２と、機械学習により生成した学習済みモデル７００に基づき、検品対象部材の状態を判定する判定モードの実行をユーザから受け付ける判定モード開始選択欄１００４とを備える。
【0051】
また、メニュー画面１０００は、収集モードにおける動作についてのオプション選択欄１００６を備える。オプション選択欄１００６は、収集モードにおいて移動モードを採用する場合にユーザから選択される移動モード選択欄１００８と、収集モードにおいてズームモードを採用する場合にユーザから選択されるズームモード選択欄１０１０とを備える。
【0052】
なお、メニュー画面１０００は、眼鏡端末１００が起動した際、収集モード又は判定モードの実行が終了した後等に表示される。
【0053】
また、メニュー画面１０００は、眼鏡端末１００以外の情報処理装置、例えばエッジ端末２００に表示するようにし、メニュー画面１０００により設定された情報を眼鏡端末１００に送信するようにしてもよい。
【0054】
＜＜収集モードにおける処理＞＞
続いて、収集モードにおいて検品支援システム１が行う処理について説明する。
続いて、収集モードにおいて検品支援システム１が行う処理について説明する。
【0055】
＜情報収集処理＞
図７は、ＡＩサーバ３００が各眼鏡端末１００から部材の画像及びラベルを収集する情報収集処理の一例を示すフロー図である。この処理は、例えば、メニュー画面１０００で収集モード開始選択欄１００２が選択された場合に実行される。
図７は、ＡＩサーバ３００が各眼鏡端末１００から部材の画像及びラベルを収集する情報収集処理の一例を示すフロー図である。この処理は、例えば、メニュー画面１０００で収集モード開始選択欄１００２が選択された場合に実行される。
【0056】
まず、眼鏡端末１００は、眼鏡端末１００を装着している作業員３（例えば、検品に熟達している作業員３）から所定の入力を受け付けることにより、当該作業員３が現在視認しながら検品を行っている、その視線の先にある部材の動画の撮影を開始する（ｓ１１）。
【0057】
そして、眼鏡端末１００は、撮影中の動画から部材の画像を取得すると共にラベルを設定する処理（ラベル設定処理）を実行する（ｓ１２）。そして、眼鏡端末１００は、ｓ１
２で取得した画像及び設定したラベルを、エッジ端末２００に送信する（ｓ１３）。
２で取得した画像及び設定したラベルを、エッジ端末２００に送信する（ｓ１３）。
【0058】
なお、ラベル設定処理は、動画の撮影が終了するまで繰り返し実行される（ｓ１４、ｓ１５）。ラベル設定処理の詳細は後述する。
【0059】
エッジ端末２００は、眼鏡端末１００から画像及びラベルを受信すると、受信した画像及びラベルを、ＡＩサーバ３００に転送する（ｓ２１）。
【0060】
ＡＩサーバ３００は、エッジ端末２００から画像及びラベルを受信すると、受信した画像及びラベルと、（ファイルサーバ４００に記憶されている）現在の学習済みモデル７００とに基づき、部材の種類、部材の状態、及び部材の画像の間の関係を機械学習により学習して学習済みモデル７００を生成する学習対象部材学習処理を実行する（ｓ３１）。なお、受信した各データ及び生成した学習済みモデル７００は、ファイルサーバ４００に記憶される。
【0061】
＜ラベル設定処理＞
ここで、前記のラベル設定処理（ｓ１２）の詳細を説明する。
図８は、ラベル設定処理の詳細を説明するフロー図である。まず、眼鏡端末１００は、学習対象の部材の画像の取得の要求を待機する（ｓ１１１）。
ここで、前記のラベル設定処理（ｓ１２）の詳細を説明する。
図８は、ラベル設定処理の詳細を説明するフロー図である。まず、眼鏡端末１００は、学習対象の部材の画像の取得の要求を待機する（ｓ１１１）。
【0062】
具体的には、例えば、眼鏡端末１００は、当該眼鏡端末１００を装着している作業員３の視線を監視し、所定時間その視線が動いていない状態が継続しているか否かを判定する。また、眼鏡端末１００は、所定の音声が入力装置１０４に入力されたか否かを判定してもよい。なお、ラベル設定処理の間、眼鏡端末１００は、作業員３の視線に応じた、学習対象の部材の画像を表示していてもよい。
【0063】
画像の取得の要求がなされた場合は（ｓ１１１：ＹＥＳ）、眼鏡端末１００は、現在設定されているモード（移動モード又はズームモード）を判定する（ｓ１１２）。
【0064】
移動モードが設定されている場合は（ｓ１１２：移動モード）、後述するｓ１３２の処理が実行され、ズームモードが設定されている場合は（ｓ１１２：ズームモード）、後述するｓ１５２の処理が実行される。
【0065】
移動モードもズームモードも設定されていない場合は（ｓ１１２：それ以外）、眼鏡端末１００は、現在撮影中の部材の画像（すなわち、作業員３の視線の先にある部材の画像）を、学習対象画像として取得する（ｓ１１４）。
【0066】
また、眼鏡端末１００は、ｓ１１４で取得した画像に対する状態ラベルを設定する（ｓ１１６）。具体的には、例えば、眼鏡端末１００は、ｓ１１４で取得した画像に係る学習対象部材の状態に関する情報（例えば、その部材が良品であるか不良品であるかといった状態。なお、その部材に傷がある、汚れがある、といった不良状態を具体的に特定する情報でもよい。）の入力を、入力装置１０４を介してユーザから受け付ける。
【0067】
また、眼鏡端末１００は、物体ラベルとして、学習対象部材を特定する情報（例えば、「ねじ」）を設定する（ｓ１１８）。具体的には、例えば、眼鏡端末１００は、学習対象部材の名称（例えば、「ねじ」）の入力を、入力装置１０４を介してユーザから受け付ける。以上でラベル設定処理は終了する（ｓ１２０）。
【0068】
次に、ｓ１３２において、眼鏡端末１００は、現在撮影中の部材で特徴的な形状又は色彩を有している１又は２以上の部分を認識し、認識した各部分を示す情報をそれぞれ表示
する。
する。
【0069】
具体的には、例えば、眼鏡端末１００は、現在撮影中の部材の画像を取得し、取得した画像を対象に、形状又は色彩に関する所定の認識処理を実行し、所定の形状又は色彩を有している全ての部分（例えば、傷のある部分、急激な凹凸のある部分、汚れ又は着色のある部分、その他特徴的な形状又は色彩を有する部分）を特定する。そして、眼鏡端末１００は、眼鏡のレンズに現在投影されている又は出力装置１０５等に現在表示されている学習対象の部材の画像の上に、上記各部分を囲う撮影枠を順次、所定の時間間隔で順番に表示する。
【0070】
ここで、本処理の具体例を説明する。
図９は、眼鏡端末１００が表示する撮影枠の一例を説明する図である。同図に示すように、表示されている部材１０５０に関して、認識処理により特定された、当該部材に汚れや傷のある部分１０５２が複数存在する場合、撮影枠１０５４が、部材１０５０の各部分１０５２を所定時間間隔で移動していく。
図９は、眼鏡端末１００が表示する撮影枠の一例を説明する図である。同図に示すように、表示されている部材１０５０に関して、認識処理により特定された、当該部材に汚れや傷のある部分１０５２が複数存在する場合、撮影枠１０５４が、部材１０５０の各部分１０５２を所定時間間隔で移動していく。
【0071】
なお、認識処理は、眼鏡端末１００を含む検品支援システム１内のいずれかの情報処理装置が、ファイルサーバ４００に記憶されている学習済みモデル７００に基づき行うものであってもよいし、所定の画像処理プログラムが行ってもよい。
【0072】
図８のｓ１３４に戻り、眼鏡端末１００は、範囲指定の入力を監視する。具体的には、例えば、眼鏡端末１００は、所定の音声その他の情報が入力装置１０４に作業員３により入力されたか否かを監視する。
【0073】
なお、作業員３が範囲指定の入力をするタイミングは、例えば、表示された部分（撮影枠）が、部材における不良箇所（例えば、傷、着色等がある箇所）に対応しているタイミングである。
【0074】
範囲指定の入力がなされていない場合は（ｓ１３４：ＮＯ）、ｓ１３２の処理が繰り返され、範囲指定の入力がなされた場合は（ｓ１３４：ＹＥＳ）、眼鏡端末１００は、現在撮影中の部材の画像を学習対象部材の画像として取得する（ｓ１３６）。また、眼鏡端末１００は、範囲指定された部分を特定する情報（例えば、取得した画像の座標に関する情報）を設定する（ｓ１３８）。
【0075】
また、眼鏡端末１００は、ｓ１３６で取得した画像に対する状態ラベルを設定する（ｓ１４０）。具体的には、例えば、眼鏡端末１００は、ｓ１３６で取得した画像に係る学習対象部材における、ｓ１３８で設定した範囲の状態に関する情報（その範囲に傷がある、汚れがある、といった部材の不良状態を具体的に特定する情報。なお、その部材が単に良品であるか不良品であるかといった状態を示す情報でもよい。）の入力を、入力装置１０４を介してユーザから受け付ける。
【0076】
また、眼鏡端末１００は、ｓ１１８と同様に物体ラベルを設定する。以上でラベル設定処理は終了する（ｓ１２０）。
【0077】
次に、ズームモードである場合は（ｓ１１２：ズームモード）、眼鏡端末１００は、現在撮影中の部材（現在の作業員３の視線の先の部材）の位置を基準とし、時間と共にその大きさが変化する領域を示す情報を表示する（ｓ１５２）。
【0078】
具体的には、例えば、眼鏡端末１００は、眼鏡端末１００のレンズに現在投影されている又は出力装置１０５等に現在表示されている部材の画像の上に、作業員３の視線の先の
位置に対応する画像上の点を中心（基準点）とする、所定速度でその半径が大小を繰り返す同心円（ズーム図形）を表示する。なお、この同心円は、学習対象部材内の一部の領域を示すための図形であるので、部材の範囲を超える大きさにならないようにしてもよい。
位置に対応する画像上の点を中心（基準点）とする、所定速度でその半径が大小を繰り返す同心円（ズーム図形）を表示する。なお、この同心円は、学習対象部材内の一部の領域を示すための図形であるので、部材の範囲を超える大きさにならないようにしてもよい。
【0079】
ここで、本処理の具体例を説明する。
図１０は、眼鏡端末１００が表示するズーム図形の一例を説明する図である。同図に示すように、表示されている部材１０６０に関して、当該部材に汚れや傷のある部分１０６２が存在する場合、円状のズーム図形１０６４が、汚れや傷のある部分１０６２の中心に設定された基準点１０６６を中心に、表示される。このズーム図形１０６４の半径は大小（長短）を繰り返している。
図１０は、眼鏡端末１００が表示するズーム図形の一例を説明する図である。同図に示すように、表示されている部材１０６０に関して、当該部材に汚れや傷のある部分１０６２が存在する場合、円状のズーム図形１０６４が、汚れや傷のある部分１０６２の中心に設定された基準点１０６６を中心に、表示される。このズーム図形１０６４の半径は大小（長短）を繰り返している。
【0080】
次に、図８のｓ１５４に戻り、眼鏡端末１００は、範囲指定の入力を監視する。具体的には、例えば、眼鏡端末１００は、所定の音声が作業員３により入力装置１０４に入力されたか否かを監視する。
【0081】
なお、作業員３が範囲指定の入力をするタイミングは、例えば、表示された同心円が、部材における不良箇所（例えば、傷、着色等がある箇所）を含む大きさになったタイミングである。
【0082】
範囲指定の入力がなされていない場合は（ｓ１５４：ＮＯ）、ｓ１５４の処理が繰り返され、範囲指定の入力がなされた場合は（ｓ１５４：ＹＥＳ）、眼鏡端末１００は、現在撮影中の部材の画像を学習対象部材の画像として取得する（ｓ１５６）。また、眼鏡端末１００は、範囲指定された領域（例えば、同心円の領域）を特定する情報（例えば、取得した画像の座標に関する情報）を設定する（ｓ１５８）。
【0083】
また、眼鏡端末１００は、ｓ１３８と同様に、ｓ１５６で取得した画像に対する状態ラベルを設定する（ｓ１５８）。
【0084】
また、眼鏡端末１００は、ｓ１４０と同様に、ｓ１５６で取得した学習対象部材の画像に対する物体ラベルを設定する（ｓ１６０）。以上でラベル設定処理は終了する（ｓ１２０）。
【0085】
ここで、ラベル設定処理において設定される物体ラベル及び状態ラベルの具体例について説明する。
図１１は、物体ラベル及び状態ラベルの一例を示す図である。まず、移動モードでもズームモードでもない場合において、学習対象の部材「ねじ」が良品である場合、物体ラベルには「ねじ」が設定され、状態ラベルには「良品（正常）」が設定される（符号１１０１）。他方、学習対象の部材「ねじ」が不良品である場合、物体ラベルには「ねじ」が設定され、状態ラベルには「不良品（不良）」が設定される（符号１１０２）。
図１１は、物体ラベル及び状態ラベルの一例を示す図である。まず、移動モードでもズームモードでもない場合において、学習対象の部材「ねじ」が良品である場合、物体ラベルには「ねじ」が設定され、状態ラベルには「良品（正常）」が設定される（符号１１０１）。他方、学習対象の部材「ねじ」が不良品である場合、物体ラベルには「ねじ」が設定され、状態ラベルには「不良品（不良）」が設定される（符号１１０２）。
【0086】
また、移動モード又はズームモードである場合において、学習対象の部材が「ねじ」であり、設定された範囲１１０４に「汚れ」があるため当該部材が不良品である場合、物体ラベルには「ねじ」が設定され、状態ラベルには「汚れ」が設定される（符号１１０３）。また、設定された範囲１１０４に対応する座標の情報がラベルとして設定される。
【0087】
続いて、情報収集処理においてＡＩサーバ３００が行う学習対象部材学習処理の詳細を説明する。
＜学習対象部材学習処理＞
図１２は、学習対象部材学習処理を説明するフロー図である。まず、ＡＩサーバ３００は、エッジ端末２００を介して眼鏡端末１００から学習対象画像及びラベル（物体ラベル
、状態ラベル、及び画像の範囲の情報）を受信すると（ｓ２１１）、その学習対象画像、状態ラベル、及び物体ラベルを対応付けて、ファイルサーバ４００の良品不良品画像データ５００に記憶する（ｓ２１２）。
＜学習対象部材学習処理＞
図１２は、学習対象部材学習処理を説明するフロー図である。まず、ＡＩサーバ３００は、エッジ端末２００を介して眼鏡端末１００から学習対象画像及びラベル（物体ラベル
、状態ラベル、及び画像の範囲の情報）を受信すると（ｓ２１１）、その学習対象画像、状態ラベル、及び物体ラベルを対応付けて、ファイルサーバ４００の良品不良品画像データ５００に記憶する（ｓ２１２）。
【0088】
また、ＡＩサーバ３００は、受信した学習対象画像、状態ラベル、物体ラベル、及び画像の範囲の情報を対応付けて、ファイルサーバ４００の範囲指定画像データ６００に記憶する（ｓ２１３）。
【0089】
ここで、良品不良品画像データ５００及び範囲指定画像データ６００の具体例を説明する。
【0090】
（良品不良品画像データ５００）
図１３は、良品不良品画像データ５００の一例を示す図である。良品不良品画像データ５００は、物体ラベル５０８ごとに生成されるデータベースである。良品不良品画像データ５００は、各学習対象画像に割り当てられた識別子（通し番号等）が格納される通番項目５０１、通番項目５０１に係る学習対象画像の状態ラベルの情報（良品又は不良品）が格納されるラベル項目５０２、通番項目５０１に係る学習対象画像の画像ファイル名が格納される画像ファイル名項目５０３、画像ファイル名項目５０３に係る画像ファイルの撮影日時又は時刻が格納される画像撮影日時項目５０４の各項目を有する。
図１３は、良品不良品画像データ５００の一例を示す図である。良品不良品画像データ５００は、物体ラベル５０８ごとに生成されるデータベースである。良品不良品画像データ５００は、各学習対象画像に割り当てられた識別子（通し番号等）が格納される通番項目５０１、通番項目５０１に係る学習対象画像の状態ラベルの情報（良品又は不良品）が格納されるラベル項目５０２、通番項目５０１に係る学習対象画像の画像ファイル名が格納される画像ファイル名項目５０３、画像ファイル名項目５０３に係る画像ファイルの撮影日時又は時刻が格納される画像撮影日時項目５０４の各項目を有する。
【0091】
このように、良品不良品画像データ５００は、学習対象部材の状態のうち良品又は不良品の情報を記録したデータベースである。
【0092】
（範囲指定画像データ６００）
図１４は、範囲指定画像データ６００の一例を示す図である。範囲指定画像データ６００は、物体ラベル６０８ごとに生成されるデータベースである。範囲指定画像データ６００は、各学習対象画像に割り当てられた識別子（例えば、通し番号）が格納される通番項目６０１、通番項目６０１に係る学習対象画像の状態ラベルの情報が格納されるラベル項目６０２、通番項目６０１に係る学習対象画像の画像ファイル名が格納される画像ファイル名項目６０３、画像ファイル名項目６０３に係る画像ファイルの撮影日時又は時刻が格納される画像撮影日時項目６０４、学習対象画像のうち物体ラベルが示す領域を特定する情報（例えば、画像の座標）が格納される座標情報項目６０５の各項目を有する。
図１４は、範囲指定画像データ６００の一例を示す図である。範囲指定画像データ６００は、物体ラベル６０８ごとに生成されるデータベースである。範囲指定画像データ６００は、各学習対象画像に割り当てられた識別子（例えば、通し番号）が格納される通番項目６０１、通番項目６０１に係る学習対象画像の状態ラベルの情報が格納されるラベル項目６０２、通番項目６０１に係る学習対象画像の画像ファイル名が格納される画像ファイル名項目６０３、画像ファイル名項目６０３に係る画像ファイルの撮影日時又は時刻が格納される画像撮影日時項目６０４、学習対象画像のうち物体ラベルが示す領域を特定する情報（例えば、画像の座標）が格納される座標情報項目６０５の各項目を有する。
【0093】
このように、範囲指定画像データ６００は、移動モード又はズームモードにおいて範囲指定をした場合の、学習対象部材の状態の情報を記録したデータベースである。
【0094】
続いて、図１０のｓ２１４に示すように、ＡＩサーバ３００は、前回に、後述するｓ２１６の再学習を行った後、所定数の画像データを記憶したか否かを判定する。
【0095】
所定数の画像データを記憶していない場合は（ｓ２１４：ＮＯ）、学習対象部材学習処理は終了し（ｓ２１５）、所定数の画像データを記憶している場合は（ｓ２１４：ＹＥＳ）、ＡＩサーバ３００は、現在の良品不良品画像データ５００及び範囲指定画像データ６００に基づき、部材の画像、部材の種類（物体ラベルに対応）、部材の状態（状態ラベルに対応）、及び部材の画像の範囲の間の関係を機械学習する（例えば、深層学習を行う）ことにより、学習済みモデル７００を生成する（ｓ２１６）。以上で、学習対象部材学習処理は終了する（ｓ２１７）。
【0096】
＜＜判定モードにおける処理＞＞
次に、検品支援システム１が、判定モードにおいて行う処理について説明する。
次に、検品支援システム１が、判定モードにおいて行う処理について説明する。
【0097】
＜検品対象画像収集学習処理＞
図１５は、ＡＩサーバ３００が各眼鏡端末１００から、検品対象の部材の画像を取得する検品対象画像取得処理の一例を示すフロー図である。なお、この処理は、例えば、メニュー画面１０００で判定モード開始選択欄１００４が選択された場合に開始される。
図１５は、ＡＩサーバ３００が各眼鏡端末１００から、検品対象の部材の画像を取得する検品対象画像取得処理の一例を示すフロー図である。なお、この処理は、例えば、メニュー画面１０００で判定モード開始選択欄１００４が選択された場合に開始される。
【0098】
まず、眼鏡端末１００は、眼鏡端末１００を装着している作業員３（例えば、検品に慣れていない作業員３）から所定の入力を受け付けることにより、当該作業員３が現在視認している、その視線の先にある部材の画像を撮影する（ｓ３１１）。
【0099】
そして、眼鏡端末１００は、撮影した画像を、エッジ端末２００に送信する（ｓ３１２）。エッジ端末２００は、眼鏡端末１００から画像を受信すると、受信した画像を、ＡＩサーバ３００に転送する（ｓ３２１）。なお、眼鏡端末１００は、撮影した画像に加えて、収集モードと同様に、物体ラベルを送信してもよい。
【0100】
ＡＩサーバ３００は、エッジ端末２００から画像を受信すると、受信した画像（及び物体ラベル）を学習済みモデル７００に入力することにより、検品対象の部材の状態の判定を実行する検品対象部材判定処理を実行する（ｓ３３１）。なお、受信したデータは、ファイルサーバ４００に記憶される。
【0101】
ここで、検品対象部材判定処理の詳細を説明する。
＜検品対象部材判定処理＞
図１６は、検品対象部材判定処理の一例を説明するフロー図である。ＡＩサーバ３００は、眼鏡端末１００から受信した画像（及び物体ラベル）を、学習済みモデル７００に入力することにより、検品対象の部材の状態を判定する（ｓ４１１）。
＜検品対象部材判定処理＞
図１６は、検品対象部材判定処理の一例を説明するフロー図である。ＡＩサーバ３００は、眼鏡端末１００から受信した画像（及び物体ラベル）を、学習済みモデル７００に入力することにより、検品対象の部材の状態を判定する（ｓ４１１）。
【0102】
これにより、学習済みモデル７００は、入力した画像に係る部材の種類の情報、入力した画像に係る部材の状態の情報（良品か、不良品か、どの範囲にどのような不良（傷、汚れ等）が存在するかといった情報）を出力する。
【0103】
ＡＩサーバ３００は、ｓ４１１で出力した情報が正しいか否かを確認する（ｓ４１２）。具体的には、例えば、ＡＩサーバ３００は、ユーザから、ｓ４１１で出力した情報が正しいか否かの入力を受け付ける。また、ＡＩサーバ３００は、眼鏡端末１００に当該情報を表示させて、当該情報が正しいか否かの入力を受け付けるようにしてもよい。これにより、学習済みモデル７００の生成に用いた学習対象部材の数が少なく、学習済みモデル７００の精度が低いために明らかに適当でない学習結果が出力された場合でも、その適当でない結果を今後の学習の対象から除外することができる。
【0104】
出力した情報が正しくない場合は（ｓ４１２：ＮＯ）、検品対象部材判定処理は終了する（ｓ４１３）。他方、出力した情報が正しい場合は（ｓ４１２：ＹＥＳ）、ＡＩサーバ３００は、検品対象の部材の画像を送信してきた眼鏡端末１００に当該情報を送信し（ｓ４１４）、その眼鏡端末１００が、当該情報を表示する（ｓ５１１）。
【0105】
ＡＩサーバ３００は、ｓ４１１で受信した画像、当該画像に係る部材を特定する情報（物体ラベルに対応する情報）、及び当該画像に係る部材の良不良の情報（状態ラベルに対応する情報）を対応づけて、ファイルサーバ４００の良品不良品画像データ５００に記憶する（ｓ４１５）。
【0106】
また、ＡＩサーバ３００は、ｓ４１１で受信した画像、当該画像に係る部材を特定する情報（物体ラベルに対応する情報）、当該画像において不良がある範囲の情報（例えば、座標の情報）、及び当該範囲の状態の情報（例えば、傷、汚れ等の情報）を対応づけて、
ファイルサーバ４００の範囲指定画像データ６００に記憶する（ｓ４１６）。
ファイルサーバ４００の範囲指定画像データ６００に記憶する（ｓ４１６）。
【0107】
そして、ＡＩサーバ３００は、前回に、後述するｓ４１９の再学習を行った後、所定数の画像データを記憶したか否かを判定する（ｓ４１７）。
【0108】
所定数の画像データを記憶していない場合は（ｓ４１７：ＮＯ）、検品対象部材判定処理は終了し（ｓ４１８）、所定数の画像データを記憶した場合は（ｓ４１７：ＹＥＳ）、ＡＩサーバ３００は、収集モードのｓ２１６と同様に、良品不良品画像データ５００及び範囲指定画像データ６００の内容を機械学習する（例えば、深層学習を行う）ことにより、更新した学習済みモデル７００を生成する（ｓ４１９）。以上で、検品対象部材判定処理は終了する（ｓ４２０）。
【0109】
なお、前記のように、ＡＩサーバ３００は、ｓ４１１による判定結果を眼鏡端末１００に表示させてもよい。
＜判定結果画面＞
＜判定結果画面＞
【0110】
図１７は、眼鏡端末１００が表示する、判定対象部材の判定結果を表示した判定結果画面１２００の一例を示す図である。判定結果画面１２００には、判定対象の部材１２０２に、傷や汚れ等の部分１２０４が存在することが画像により表示される。また、判定結果画面１２００には、判定対象部材の名称１２０６、及び判定結果の詳細１２０８（例えば、傷や汚れ等の部分１２０４の内容である「汚れ」）が表示される。なお、部材における範囲の情報１２１０（例えば、座標の情報や部材の部位を示す情報）を表示してもよい。
【0111】
以上のように、本実施形態の検品支援システム１は、撮影装置１０７を備え、所定の眼鏡に取り付けられた情報処理装置（眼鏡端末１００）を含んで構成されており、撮影装置１０７により所定の部材が撮影された画像（学習対象部材の画像）を取得し、また物体ラベル及び状態ラベルを設定することで、部材の種類、部材の状態、及び部材の画像の間の関係を学習した学習済みモデル７００を生成し、さらに、撮影装置１０７により撮影された新たな部材の画像（検品対象部材の画像）を学習済みモデル７００に入力することにより、検品対象部材の状態を判定することができる。
【0112】
このように、本実施形態の検品支援システム１によれば、眼鏡端末１００を装着した熟練した作業員３により眼鏡端末１００が取得した情報に基づき学習済みモデル７００を生成し、他方で、部材を検品する他の経験の浅い作業員３は、眼鏡端末１００により撮影した部材の画像を学習済みモデル７００に入力するだけで、部材に関する情報、知識等を得ていなくても、部材の状態を判定することができる。
【0113】
すなわち、本実施形態の検品支援システム１によれば、検品業務を正確かつ効率よく行うことができる。例えば、製品の製造ラインを止めることなく最少の作業負荷で学習済みモデル７００の元になる画像及びラベルを迅速かつ大量に収集することが可能になる。これにより、従来、「人」が「目」で製品を検査していた業務において、本実施形態の検品支援システム１を適用することで、作業者不足の問題に対応できると共に、検査レベルの均一化及び製造原価の低減を実現することができる。
【0114】
以上、本発明の実施形態について説明したが、本発明の各実施例は例示したものに限るものではなく、発明の主旨を逸脱しない範囲で種々の変更が可能である。
【0115】
例えば、本実施形態は、エッジ端末２００、ＡＩサーバ３００、及びファイルサーバ４００を別々の情報処理装置として構成したが、これらの一部または全部を同一の情報処理装置としてもよい。
【0116】
また、学習や検品を行う部材は、作業員３が視認できるものであれば特に限られるものではなく、気体や液体とすることも可能である。
【0117】
また、本実施形態では、ラベルとして、物体（部材）の種類の情報、良品又は不良品、傷、着色といった状態の情報、及び撮影した画像の範囲の情報を設定したが、部材又は画像に関する他の属性の情報（例えば、作業者の情報、業務内容、撮影場所）をラベルに設定してもよい。
【0118】
以上の本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、記検品支援システムは、前記学習対象画像取得処理において、前記眼鏡を装着している作業員の視点に対応する部材の画像を取得し、前記学習対象部材設定処理において、前記取得した画像のうち所定範囲を設定し、前記学習処理において、前記取得した画像、前記設定した画像の範囲、前記設定した物体ラベル、及び前記設定した状態ラベルに基づき、部材の種類、部材の範囲、部材の状態、及び部材の画像の間の関係を学習した学習済みモデルを生成する、としてもよい。
【0119】
このように、眼鏡を装着している作業員３の視点に対応する部材の画像のうち所定範囲を設定し、この所定範囲を入力した学習済みモデルを生成することで、作業員３の視線に基づく部材の一部のみを対象とし、より厳密な学習済みモデル７００を生成することができる。
【0120】
また、前記検品支援システムは、前記学習対象部材設定処理において、前記取得した所定の部材の画像に基づき当該部材の形状又は色彩を認識し、認識した形状又は色彩を有する当該部材の各部分のうち指定された部分に対応する、前記画像の範囲を設定する、としてもよい。
【0121】
このように、学習対象の部材の画像に基づき当該部材の各部分の形状又は色彩を認識し、このうち指定された部分に対応する画像の範囲を設定する（移動モード）ことで、部材の不良部分が各所に点在している場合であっても、これらを的確に把握することができる。
【0122】
また、前記検品支援システムは、前記学習対象部材設定処理において、前記眼鏡を装着している作業員の視点を基準とする、時間的に大きさが変化する領域を算出し、指定されたタイミングにおける前記領域が示す、前記学習対象の部材の画像の範囲を設定する、としてもよい。
【0123】
このように、作業員３の視点を基準とする、時間的に大きさが変化する領域を算出し、所定のタイミングで前記領域に対応する画像の範囲を設定する（ズームモード）ことで、部材の不良が、形状や色彩に関して明確な外延を有しない場合（例えば、広範囲にわたる浅い傷）であっても、作業員３の視線に基づき、その不良部分を的確に把握することができる。
【0124】
また、前記検品支援システムは、前記学習対象画像取得処理において、前記眼鏡を装着している作業員の視点を追跡し、当該視点が所定時間動いていないと判定した場合には、当該視点に対応する前記所定の部材の画像を取得する、としてもよい。
【0125】
このように、眼鏡を装着している作業員３の視点を追跡し、その視点が所定時間動いていないと判定した場合に画像を取得することで、学習対象の部材を正確に特定することができる。
【0126】
また、前記検品支援システムは、前記判定した新たな部材の状態の情報を出力する出力処理を実行する、としてもよい。
【0127】
このように、検品対象の部材の状態の情報を出力することで、作業員３は、その部材がどのように判定されたかを容易に知ることができる。
【符号の説明】
【0128】
１ 検品支援システム、１０７ 撮影装置、１２３ 学習対象画像取得部、１２５ 学習対象部材設定部、１２７ 検品対象画像取得部、３００ ＡＩサーバ、３２３ 学習部、３２５ 検品画像判定部、７００ 学習済みモデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
