特開 2023-145959 教師データ収集装置及び教師データ収集方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023145959

(43)【公開日】2023-10-12

(54)【発明の名称】教師データ収集装置及び教師データ収集方法

(51)【国際特許分類】

   G01N 21/84 20060101AFI20231004BHJP

   G01N 21/892 20060101ALI20231004BHJP

   G06V 10/774 20220101ALI20231004BHJP

   G06T 7/00 20170101ALI20231004BHJP

   G06F 3/01 20060101ALI20231004BHJP

【ＦＩ】

G01N21/84 D

G01N21/892 B

G06V10/774

G06T7/00 610

G06F3/01 510

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022052889

(22)【出願日】2022-03-29

(71)【出願人】

【識別番号】501120122

【氏名又は名称】スチールプランテック株式会社

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】青 範夫

(72)【発明者】

【氏名】三輪 直義

【テーマコード（参考）】

2G051

5E555

5L096

【Ｆターム（参考）】

2G051AA37

2G051AB02

2G051AC11

2G051BA20

2G051CA04

2G051CB01

2G051EB05

2G051FA04

5E555AA09

5E555AA64

5E555BA37

5E555BA38

5E555BB37

5E555BB38

5E555BC14

5E555CA42

5E555CB21

5E555CC01

5E555EA27

5E555FA00

5L096BA03

5L096CA02

5L096CA24

5L096FA67

5L096FA69

5L096KA04

(57)【要約】

【課題】人工知能の教師あり学習に用いる教師データを容易に収集する。
【解決手段】人工知能の教師あり学習に用いる教師データを収集するための教師データ収集装置であって、学習対象を含む撮影範囲の画像データを生成可能に構成されたカメラ装置と、前記画像データを表示するとともに、前記撮影範囲の一部であって前記学習対象を含む範囲を示す対象範囲データを、表示された前記画像データ上での操作者の指定に基づいて生成可能に構成された表示装置と、前記カメラ装置により生成された前記画像データ及び前記対象範囲データを入力可能に、且つ前記画像データに前記対象範囲データを付加して前記画像データを記録可能に構成された記録装置と、を備えることを特徴とする教師データ収集装置である。
【選択図】図１

【特許請求の範囲】

【請求項1】

人工知能の教師あり学習に用いる教師データを収集するための教師データ収集装置であって、
学習対象を含む撮影範囲の画像データを生成可能に構成されたカメラ装置と、
前記画像データを表示するとともに、前記撮影範囲の一部であって前記学習対象を含む範囲を示す対象範囲データを、表示された前記画像データ上での操作者の指定に基づいて生成可能に構成された表示装置と、
前記カメラ装置により生成された前記画像データ及び前記対象範囲データを入力可能に、且つ前記画像データに前記対象範囲データを付加して前記画像データを記録可能に構成された記録装置と、を備えることを特徴とする教師データ収集装置。

【請求項2】

前記カメラ装置がレーザーポインタを更に備え、
前記レーザーポインタは、レーザーが前記撮影範囲内の所定の位置に照射されるよう配置されていることを特徴とする請求項１に記載の教師データ収集装置。

【請求項3】

前記表示装置が、操作者の入力に基づいて、前記学習対象の種別を示す対象種別データを更に生成可能に構成され、
前記記録装置は、前記表示装置により生成された前記対象種別データを入力可能に、且つ前記画像データに更に前記対象種別データを付加して前記画像データを記録可能に構成されていることを特徴とする請求項１又は２に記載の教師データ収集装置。

【請求項4】

前記カメラ装置を取り付ける取付部を有し、人体の頭部に装着可能に構成された頭部装着体を更に備えることを特徴とする請求項１～３のいずれか１項に記載の教師データ収集装置。

【請求項5】

音声入力装置を更に備え、
前記カメラ装置と前記表示装置とが、前記音声入力装置を介して操作者の音声により入力された指令に基づいて動作可能に構成されていることを特徴とする請求項４に記載の教師データ収集装置。

【請求項6】

前記カメラ装置が、カメラ用方位・傾斜角度センサーを有し、撮影方向を示す撮影角度データを更に生成可能に構成され、
前記記録装置が、前記カメラ装置により生成された前記撮影角度データを入力可能に、且つ前記画像データに更に前記撮影角度データを付加して前記画像データを記録可能に構成されていることを特徴とする請求項１～５のいずれか１項に記載の教師データ収集装置。

【請求項7】

照明用方位・傾斜角度センサーを有し、前記カメラ装置による撮影時の光の照射方向を示す照射角度データを生成可能に構成された、前記撮影範囲を照らすための携帯照明装置を更に備え、
前記記録装置が、前記携帯照明装置により生成された前記照射角度データを入力可能に、且つ前記画像データに更に前記照射角度データを付加して前記画像データを記録可能に構成されていることを特徴とする請求項１から６のいずれか１項に記載の教師データ収集装置。

【請求項8】

前記カメラ装置が、ＧＰＳ（Global Positioning System）装置を更に備え、前記カメラ装置の位置を示す位置情報データを生成可能に構成されており、
前記記録装置は、前記カメラ装置により生成された前記位置情報データを入力可能に、且つ前記画像データに更に前記位置情報データを付加して前記画像データを記録可能に構成されていることを特徴とする請求項１～７のいずれか１項に記載の教師データ収集装置。

【請求項9】

前記学習対象が、鉄鋼製品の表面のキズ、欠陥及び汚れのうちの少なくとも一つであることを特徴とする請求項１～８のいずれか１項に記載の教師データ収集装置。

【請求項10】

人工知能の教師あり学習に用いる教師データを収集するための教師データ収集方法であって、
カメラ装置により、学習対象を含む撮影範囲の画像データを生成することと、
表示装置に表示された前記画像データ上での指定に基づいて、前記撮影範囲の一部であって前記学習対象を含む範囲を示す対象範囲データを生成することと、
前記画像データに前記対象範囲データを付加して前記画像データを記録することと、を含むことを特徴とする教師データ収集方法。

【請求項11】

前記カメラ装置は、レーザーが前記撮影範囲内の所定の位置に照射されるよう配置されたレーザーポインタを更に備え、
前記レーザーの反射光に基づいて前記撮影範囲を設定することを更に含むことを特徴とする請求項１０に記載の教師データ収集方法。

【請求項12】

前記カメラ装置は、カメラ用方位・傾斜角度センサーを更に備え、
前記カメラ装置により撮影方向を示す撮影角度データを生成すること、
前記画像データに更に前記撮影角度データを付加して前記画像データを記録することと、を更に含むことを特徴とする請求項１０又は１１に記載の教師データ収集方法。

【請求項13】

照明用方位・傾斜角度センサーを備える携帯照明装置により、前記撮影範囲を照らすとともに、前記カメラ装置による撮影時の光の照射方向を示す照射角度データを生成することと、
前記画像データに更に前記照射角度データを付加して前記画像データを記録することと、を更に含むことを特徴とする請求項１０～１２のいずれか１項に記載の教師データ収集方法。

【請求項14】

前記学習対象が、鉄鋼製品の表面のキズ、欠陥及び汚れのうちの少なくとも一つであることを特徴とする請求項１０～１３のいずれか１項に記載の教師データ収集方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、教師データ収集装置及び教師データ収集方法に関する。

【背景技術】

【0002】

特許文献１には、鉄鋼製品等の表面のキズを検出する装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－１１２０６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

鉄鋼製品等の表面のキズ等を検出することに関連して、キズ等を判定する作業（以下、「キズ等判定作業」と呼ぶことがある）を人工知能（以下、「ＡＩ」と呼ぶことがある）に学習させることで、ＡＩによりキズ等判定作業を実行する技術が近年注目されている。

【0005】

ところで、ＡＩにキズ等判定作業を学習させるためには、ＡＩの教師あり学習に使用される教師データを収集する必要がある。これらの教師データは、キズ等を含む範囲を撮影し、撮影された画像を記録装置に記録することにより収集される。しかし、このような教師データを収集することは、作業量が多く手間がかかっていた。しかも、この手間は、画像を撮影することと、撮影後の画像から対象物を選別することとの二度手間となっていた。

【0006】

本発明は、かかる課題に鑑みてなされたものであり、その目的とするところは、人工知能の教師あり学習に用いる教師データを容易に収集することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するための主たる発明は、人工知能の教師あり学習に用いる教師データを収集するための教師データ収集装置であって、学習対象を含む撮影範囲の画像データを生成可能に構成されたカメラ装置と、前記画像データを表示するとともに、前記撮影範囲の一部であって前記学習対象を含む範囲を示す対象範囲データを、表示された前記画像データ上での操作者の指定に基づいて生成可能に構成された表示装置と、前記カメラ装置により生成された前記画像データ及び前記対象範囲データを入力可能に、且つ前記画像データに前記対象範囲データを付加して前記画像データを記録可能に構成された記録装置と、を備えることを特徴とする教師データ収集装置である。

【0008】

本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。

【発明の効果】

【0009】

本発明によれば、人工知能の教師あり学習に用いる教師データを容易に収集することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の教師データ収集装置の一実施形態の説明図である。

【図2】本実施形態の教師データ収集装置のハードウェア構成の説明図である。

【図3】本実施形態の教師データ収集装置の機能ブロック図である。

【図4】本発明の教師データ収集方法の一実施形態のフロー図である。

【図5】本実施形態の教師データ収集方法の前半の様子を示す図であり、図５Ａは、撮影範囲の確定（Ｓ００２）の様子を示す図であり、図５Ｂは、撮影（Ｓ００３）の様子を示す図である。

【図6】本実施形態の教師データ収集方法の後半の様子を示す図であり、図６Ａは、対象範囲データの生成（Ｓ００４）の様子を示す図であり、図６Ｂは、対象種別データ及び照射角度データの入力（Ｓ００４）の様子を示す図である。

【図7】検査記録の一例を示す図であり、図７Ａは、情報付加後の画像の一例を示す図であり、図７Ｂは、付加情報の一例を示す図である。

【発明を実施するための形態】

【0011】

後述する明細書及び図面の記載から、少なくとも以下の事項が明らかとなる。

【0012】

人工知能の教師あり学習に用いる教師データを収集するための教師データ収集装置であって、学習対象を含む撮影範囲の画像データを生成可能に構成されたカメラ装置と、前記画像データを表示するとともに、前記撮影範囲の一部であって前記学習対象を含む範囲を示す対象範囲データを、表示された前記画像データ上での操作者の指定に基づいて生成可能に構成された表示装置と、前記カメラ装置により生成された前記画像データ及び前記対象範囲データを入力可能に、且つ前記画像データに前記対象範囲データを付加して前記画像データを記録可能に構成された記録装置と、を備えることを特徴とする教師データ収集装置が明らかとなる。

【0013】

このような教師データ収集装置によれば、人工知能の教師あり学習に用いる教師データを容易に収集することができる。

【0014】

かかる教師データ収集装置であって、前記カメラ装置がレーザーポインタを更に備え、
前記レーザーポインタは、レーザーが前記撮影範囲内の所定の位置に照射されるよう配置されていることが望ましい。

【0015】

このような教師データ収集装置によれば、撮影範囲の所望の場所に学習対象を位置させつつ撮影をすることができる。

【0016】

かかる教師データ収集装置であって、前記表示装置が、操作者の入力に基づいて、前記学習対象の種別を示す対象種別データを更に生成可能に構成され、前記記録装置は、前記表示装置により生成された前記対象種別データを入力可能に、且つ前記画像データに更に前記対象種別データを付加して前記画像データを記録可能に構成されていることが望ましい。

【0017】

このような教師データ収集装置によれば、対象種別データを含む教師データを容易に収集することができる。

【0018】

かかる教師データ収集装置であって、前記カメラ装置を取り付ける取付部を有し、人体の頭部に装着可能に構成された頭部装着体を更に備えることが望ましい。

【0019】

このような教師データ収集装置によれば、検査員がカメラ装置を持って作業をする必要がなくなり、他の装置を両手に持って作業を行うことが可能となる。また、検査員の視線の方向とほぼ同じ撮影方向で学習対象を容易に撮影することができる。

【0020】

かかる教師データ収集装置であって、音声入力装置を更に備え、前記カメラ装置と前記表示装置とが、前記音声入力装置を介して操作者の音声により入力された指令に基づいて動作可能に構成されていることが望ましい。

【0021】

このような教師データ収集装置によれば、両手を別な作業で使用しており、手で操作できない場合であっても、カメラ装置と表示装置とを動作させることができる。

【0022】

かかる教師データ収集装置であって、前記カメラ装置が、カメラ用方位・傾斜角度センサーを有し、撮影方向を示す撮影角度データを更に生成可能に構成され、前記記録装置が、前記カメラ装置により生成された前記撮影角度データを入力可能に、且つ前記画像データに更に前記撮影角度データを付加して前記画像データを記録可能に構成されていることが望ましい。

【0023】

このような教師データ収集装置によれば、撮影角度データを含む教師データを容易に収集することができる。

【0024】

かかる教師データ収集装置であって、照明用方位・傾斜角度センサーを有し、前記カメラ装置による撮影時の光の照射方向を示す照射角度データを生成可能に構成された、前記撮影範囲を照らすための携帯照明装置を更に備え、前記記録装置が、前記携帯照明装置により生成された前記照射角度データを入力可能に、且つ前記画像データに更に前記照射角度データを付加して前記画像データを記録可能に構成されていることが望ましい。

【0025】

このような教師データ収集装置によれば、照射角度データを含む教師データを容易に収集することができる。

【0026】

かかる教師データ収集装置であって、前記カメラ装置が、ＧＰＳ（Global Positioning System）装置を更に備え、前記カメラ装置の位置を示す位置情報データを生成可能に構成されており、前記記録装置は、前記カメラ装置により生成された前記位置情報データを入力可能に、且つ前記画像データに更に前記位置情報データを付加して前記画像データを記録可能に構成されていることが望ましい。

【0027】

このような教師データ収集装置によれば、位置情報データを含む教師データを容易に収集することができる。

【0028】

かかる教師データ収集装置であって、前記学習対象が、鉄鋼製品の表面のキズ、欠陥及び汚れのうちの少なくとも一つであることが望ましい。

【0029】

このような教師データ収集装置によれば、鉄鋼製品の不具合に関する教師データを容易に収集することができる。

【0030】

人工知能の教師あり学習に用いる教師データを収集するための教師データ収集方法であって、カメラ装置により、学習対象を含む撮影範囲の画像データを生成することと、表示装置に表示された前記画像データ上での指定に基づいて、前記撮影範囲の一部であって前記学習対象を含む範囲を示す対象範囲データを生成することと、前記画像データに前記対象範囲データを付加して前記画像データを記録することと、を含むことを特徴とする教師データ収集方法が明らかとなる。

【0031】

このような教師データ収集方法によれば、人工知能の教師あり学習に用いる教師データを容易に収集することができる。

【0032】

かかる教師データ収集方法であって、前記カメラ装置は、レーザーが前記撮影範囲内の所定の位置に照射されるよう配置されたレーザーポインタを更に備え、前記レーザーの反射光に基づいて前記撮影範囲を設定することを更に含むことが望ましい。

【0033】

このような教師データ収集方法によれば、撮影範囲の所望の場所に学習対象を位置させつつ撮影をすることができる。

【0034】

かかる教師データ収集方法であって、前記カメラ装置は、カメラ用方位・傾斜角度センサーを更に備え、前記カメラ装置により撮影方向を示す撮影角度データを生成すること、前記画像データに更に前記撮影角度データを付加して前記画像データを記録することと、を更に含むことが望ましい。

【0035】

このような教師データ収集方法によれば、撮影角度データを含む教師データを容易に収集することができる。

【0036】

かかる教師データ収集方法であって、照明用方位・傾斜角度センサーを備える携帯照明装置により、前記撮影範囲を照らすとともに、前記カメラ装置による撮影時の光の照射方向を示す照射角度データを生成することと、前記画像データに更に前記照射角度データを付加して前記画像データを記録することと、を更に含むことが望ましい。

【0037】

このような教師データ収集方法によれば、照射角度データを含む教師データを容易に収集することができる。

【0038】

かかる教師データ収集方法であって、前記学習対象が、鉄鋼製品の表面のキズ、欠陥及び汚れのうちの少なくとも一つであることが望ましい。

【0039】

このような教師データ収集方法によれば、鉄鋼製品の不具合に関する教師データを容易に収集することができる。

【0040】

＝＝＝本実施形態＝＝＝
＜概要＞
図１は、本発明の教師データ収集装置の一実施形態の説明図である。

【0041】

教師データ収集装置１０は、人工知能の教師あり学習に用いる教師データを収集するための装置である。ここで、「教師あり学習」とは、人工知能が事前に与えられているデータからパターン等を認識し、新たにインプットされたデータに対しても予測を行うことを可能とする機械学習である。また、「教師データ」とは、人工知能の教師あり学習を行うために必要なデータである。すなわち、教師データとは人工知能で予測などを行うために必要なデータである。

【0042】

教師あり学習により得られた学習済みモデルによる人工知能が高い精度の予測を行うためには、相応の情報量を有する教師データが必要である。言い換えれば、人工知能の教師あり学習に用いられる教師データが多ければ多いほど、人工知能の予測の信頼性は高くなる。

【0043】

本実施形態の教師データ収集装置１０で収集する教師データは、鉄鋼製品のキズ等に関するデータである。ここで、「キズ等」とは、キズ、欠陥及び汚れのうちの少なくとも一つである。従来、キズ等判定作業は、熟練の検査員が目視により行うことがあった。したがって、鉄鋼製品のキズ等に関する教師データは、検査員がキズ等を含む範囲を撮影し、撮影された画像を記録装置に記録することにより収集することができる。しかし、このような教師データを収集する作業については、作業量自体が多く、さらに、画像を撮影することと、撮影後の画像から対象物を選別することとの二度手間となっていた。

【0044】

本実施形態の教師データ収集装置１０は、鉄鋼製品の表面のキズ等に係る多量のデータを容易に収集することができる。つまり、教師データ収集装置１０は、人工知能の教師あり学習に用いる教師データを容易に収集することができる。以下では、図１を参照しつつ、キズ等である対象１についてのキズ等判定作業を行う場面における、本実施形態の教師データ収集装置１０の構成を説明する。なお、「キズ等に係るデータ」とは、キズ等を撮影した画像データに限られず、キズ等に関連する情報（以下、「付加情報」と呼ぶことがある）も含まれる。付加情報は、例えば、キズ等の種別、大きさ等である。

【0045】

＜構成＞
教師データ収集装置１０は、カメラ装置１２と、表示装置１７と、記録装置１８とを有する。また、本実施形態の教師データ収集装置１０は、頭部装着体１９と、音声入力装置２１と、携帯照明装置２２とを更に有する。

【0046】

カメラ装置１２は、対象１を撮影するためのカメラ１３を有する装置である。なお、カメラ装置１２におけるカメラ１３は、静止画を撮影するカメラに限られず、動画を撮影するカメラ（ビデオカメラ）であっても良い。また、カメラ１３は、いわゆる３６０度カメラや、魚眼レンズ搭載カメラや、半天球カメラ等の広い撮影範囲を確保することができるカメラであっても良い。

【0047】

カメラ装置１２は、カメラ１３のほかに、レーザーポインタ１４と、カメラ用方位・傾斜角度センサー１５と、ＧＰＳ装置１６とを有する。

【0048】

レーザーポインタ１４は、レーザーを用いて対象１を指し示す装置である。本実施形態では、レーザーポインタ１４は、図１に示されるように、カメラ１３に隣接して位置している。そして、レーザーポインタ１４の指し示す場所が、カメラ１３の撮影範囲２の中心となるように設定されている。これにより、レーザーポインタ１４が対象１を指し示すようにしてカメラ１３により撮影することで、カメラ１３の撮影範囲２の中心に対象１を容易に位置させることができる。

【0049】

但し、レーザーポインタ１４の指し示す場所が、カメラ１３の撮影範囲２の中心となるように設定されていなくても良く、例えば、カメラ１３の撮影範囲２の右上隅など、任意の場所に設定されていても良い。つまり、レーザーポインタ１４のレーザーが撮影範囲２内の所定の位置に照射されるよう配置されていることにより、撮影範囲２の所望の場所に対象１を位置させつつ撮影をすることができる。

【0050】

カメラ用方位・傾斜角度センサー１５は、カメラ１３の撮影方向の方位（すなわち、水平面内の方向）や、傾斜角度（すなわち、水平面に対する角度）を計測する装置である。本実施形態では、カメラ用方位・傾斜角度センサー１５はジャイロセンサーである。カメラ用方位・傾斜角度センサー１５によりカメラ１３の撮影方向を計測することで、カメラ装置１２は、カメラ１３の撮影方向の方位や傾斜角度の情報を取得することができる。

【0051】

ＧＰＳ装置１６は、ＧＰＳ（Global Positioning System）を使用してカメラ１３の位置を計測する装置である。ＧＰＳ装置１６によりカメラ１３の位置を計測することで、カメラ装置１２は、カメラ１３の位置情報を取得することができる。

【0052】

表示装置１７は、カメラ１３で撮影した画像等を表示する装置である。本実施形態では、表示装置１７は、例えば、液晶ディスプレイ（Liquid Crystal Display, LCD）や、プラズマディスプレイ（Plasma Display Panel, PDP）や、有機ELディスプレイ（Organic Electro-Luminescence Diode, OLED）等のディスプレイである。但し、表示装置１７は、スクリーンや構造物の壁等に投影することにより画像等を表示するプロジェクタであっても良い。

【0053】

表示装置１７は、図１に示されるように、携帯照明装置２２に取り付けられているが、表示装置１７が取り付けられる場所は、これに限られない。表示装置１７は、例えば、記録装置１８に取り付けられても良いし、頭部装着体１９に取り付けられても良い。なお、表示装置１７が記録装置１８に取り付けられることで、例えば、ノートパソコンとして機能しても良い。また、表示装置１７が頭部装着体１９に取り付けられることで、例えば、ウェアラブルグラスとして機能しても良い。

【0054】

記録装置１８は、ＲＡＭ（Random Access Memory）等の主記憶装置やハードディスクドライブやＳＳＤ（Solid State Drive）等の補助記憶装置である。記録装置１８は、教師データ収集装置１０で実行されるプログラムや、カメラ装置１２等で生成されるデータを記録する。なお、記録装置１８は、図１に示されるように検査員の近傍に設置されるか、検査員に携帯される態様に限られず、不図示の通信装置により通信可能に接続されたサーバ内に設置されても良い。

【0055】

頭部装着体１９は、人体の頭部にカメラ装置１２を取り付けるための器具である。頭部装着体１９は、キズ等判定作業を行う検査員の頭部に装着可能に構成されている。本実施形態では、頭部装着体１９はヘルメットである。但し、頭部装着体１９は、ヘルメットに限られず、例えば、キャップ、バイザー、バンド等であっても良い。

【0056】

頭部装着体１９は、カメラ装置１２を取り付ける取付部２０を有している。検査員は、取付部２０を介してカメラ装置１２（カメラ１３やレーザーポインタ１４）が取り付けられた頭部装着体１９を頭部に装着する。これにより、検査員がカメラ装置１２を持って作業をする必要がなくなり、例えば携帯照明装置２２等の他の装置を両手に持って作業を行うことが可能となる。また、検査員の視線と、カメラ１３の撮影方向及びレーザーポインタ１４のレーザーの照射方向とがほぼ一致することになる。すなわち、検査員の視線の方向とほぼ同じ照射方向でレーザーポインタ１４により対象１を指し示すことができる。また、検査員の視線の方向とほぼ同じ撮影方向でカメラ１３により対象１を容易に撮影することができる。但し、カメラ装置１２以外の装置、例えば携帯照明装置２２が、取付部２０により頭部装着体１９に取り付けられても良い。

【0057】

音声入力装置２１は、教師データ収集装置１０の各装置を動作させるための指令に関する音声を入力するための装置である。本実施形態では、音声入力装置２１はマイクである。そして、カメラ装置１２と表示装置１７とは、音声入力装置２１を介して検査員の音声により入力された指令に基づいて動作可能に構成されている。

【0058】

本実施形態では、例えば、検査員が音声入力装置２１に「シャッター」と入力することにより、カメラ装置１２のカメラ１３のシャッターが作動する。つまり、検査員は、両手を別な作業で使用しており、手で操作できない場合であっても、カメラ装置１２と表示装置１７とを動作させることができる。但し、音声入力装置２１は、カメラ装置１２や表示装置１７以外の装置を動作させるための指令に関する音声を入力するための装置であっても良い。例えば、音声入力装置２１を介して、検査員が入力した音声の音声データが記録装置１８に記録されても良い。

【0059】

携帯照明装置２２は、撮影範囲２を照らすための照明４を照射する携帯照明２３を有する装置である。対象１は、検査員の視線とは別の方向から照明を当てることで、判別しやすくなることがある。このため、携帯照明２３を使用することにより、キズ等判定作業を容易に行うことができる。本実施形態では、携帯照明２３は懐中電灯である。

【0060】

携帯照明装置２２は、携帯照明２３のほかに、照明用方位・傾斜角度センサー２４を有する。照明用方位・傾斜角度センサー２４は、携帯照明２３の照射方向の方位（すなわち、水平面内の方向）や、傾斜角度（すなわち、水平面に対する角度）を計測する装置である。本実施形態では、照明用方位・傾斜角度センサー２４はジャイロセンサーである。照明用方位・傾斜角度センサー２４により携帯照明２３の照射方向を計測することで、携帯照明装置２２は、携帯照明２３の照射方向の方位や傾斜角度の情報を取得することができる。

【0061】

＜システム構成＞
本実施形態の教師データ収集装置１０は、例えばパーソナルコンピュータやサーバなどのコンピュータを含んで構成されるシステムである。そこで、以下では、図２及び図３を参照しつつ、教師データ収集装置１０のシステム構成について説明する。

【0062】

図２は、本実施形態の教師データ収集装置１０のハードウェア構成の説明図である。なお、教師データ収集装置１０は、１台のコンピュータで構成されても良いし、複数台のコンピュータで構成されても良い。

【0063】

教師データ収集装置１０（コンピュータ）は、ＣＰＵ１１と、ＣＰＵ１１と通信可能に接続された各種装置とで構成されている。なお、ＣＰＵ１１と、各種装置とは、有線又は無線（例えば、Ｗｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等）にてデータの通信が可能である。

【0064】

ＣＰＵ１１は、教師データ収集装置１０の制御を司る演算処理装置である。

【0065】

各種装置は、上述した頭部装着体１９に取り付けられたカメラ装置１２、表示装置１７、記録装置１８、音声入力装置２１及び携帯照明装置２２である。但し、各種装置には、例えば、教師データ収集装置１０以外の装置と通信するための通信装置や、入力装置（例えば、キーボードやマウス等）等の他の装置が含まれていても良い。

【0066】

図３は、本実施形態の教師データ収集装置１０の機能ブロック図である。

【0067】

教師データ収集装置１０は、カメラ装置１２、音声入力装置２１及び携帯照明装置２２からデータを受け取って処理する処理部３０を有する。そして、処理部３０は、制御部４０と、データ記録部５０とを有する。

【0068】

制御部４０は、教師データ収集装置１０が行うべき各種処理の制御を行う。制御部４０は、ＣＰＵ１１が記録装置１８に記録されている制御プログラムを実行して各種制御を行うことによって実現される。制御部４０は、画像取得部４１と、付加情報取得部４２と、付加情報表示部４３とを有する。各機能については、後述する。

【0069】

データ記録部５０は、所定のデータを記録するための記録部である。データ記録部５０に記録される各種データは、記録装置１８に保存される。なお、各種データの詳細については、後述する。

【0070】

＜教師データ収集方法のフロー＞
図４は、本発明の教師データ収集方法の一実施形態のフロー図である。図５は、本実施形態の教師データ収集方法の前半の様子を示す図である。なお、図５Ａは、撮影範囲の確定（Ｓ００２）の様子を示す図であり、図５Ｂは、撮影（Ｓ００３）の様子を示す図である。図６は、本実施形態の教師データ収集方法の後半の様子を示す図である。なお、図６Ａは、対象範囲データの生成（Ｓ００４）の様子を示す図であり、図６Ｂは、対象種別データ及び照射角度データの入力（Ｓ００４）の様子を示す図である。図７は、検査記録の一例を示す図であり、図７Ａは、情報付加後の画像の一例を示す図であり、図７Ｂは、付加情報の一例を示す図である。

【0071】

次に、上述した図１～図３を再び参照すると共に、新たに図４～図７を参照しながら、本実施形態の教師データ収集方法について説明する。なお、図４中の各手順のうち、教師データ収集装置１０が行う各処理は、記録装置１８に記録されているプログラムをＣＰＵ１１が読み出して実行することにより、実行される。

【0072】

まず、検査員は、図５Ａに示されるように、カメラ装置１２が取り付けられた頭部装着体１９、及び、音声入力装置２１を装着し、被検査物１００の表面の確認を行う（図４のＳ００１）。つまり、検査員は、被検査物１００の表面における、対象１（キズ等）の有無を判定する。

【0073】

被検査物１００の表面に対象１が有る場合、次に、検査員は、カメラ１３の撮影範囲２の確定を行う（図４のＳ００２）。本実施形態では、検査員は、カメラ１３のファインダーで確認しながら、図５Ｂに示されるように、撮影範囲２の中心に対象１が位置するよう、撮影範囲２の確定を行う。但し、カメラ１３の撮影範囲２が表示装置１７に表示される構成であっても良く、その場合は、表示装置１７で確認しながら、撮影範囲２の確定を行う。

【0074】

上述したように、検査員の頭部に装着された頭部装着体１９にカメラ装置１２（カメラ１３やレーザーポインタ１４）が取り付けられているので、検査員の視線と、カメラ１３の撮影方向及びレーザーポインタ１４のレーザーの照射方向とがほぼ一致することになる。したがって、検査員の視線の方向とほぼ同じ照射方向でレーザーポインタ１４により対象１を指し示すことができ、容易に撮影範囲２の確定を行うことができる。

【0075】

撮影範囲２の確定を行った後、検査員は、撮影範囲２における撮影を行う（図４のＳ００３）。本実施形態では、検査員は、図５Ｂに示されるように、音声入力装置２１に「シャッター」と入力することにより、カメラ装置１２のカメラ１３のシャッターが作動する。これにより、両手を別な作業で使用しており、手で操作できない場合であっても、検査員が対象１を観察した状態と同じ条件で画像を撮影することが可能である。但し、カメラ１３のシャッターのスイッチ操作を手で行っても良い。

【0076】

なお、撮影を行うことで、カメラ装置１２により、対象１を含む撮影範囲２の画像データが生成される。そして、カメラ装置１２による撮影後、画像データが記録装置１８に記録される。すなわち、図３に示される画像取得部４１が、カメラ装置１２に保存されている画像データを原画像データとしてデータ記録部５０に保存する。原画像データには、複数の静止画が含まれていても良い。

【0077】

次に、検査員は、付加情報の入力を行う（図４のＳ００４）。本実施形態では、付加情報として、対象１の対象範囲データを、表示装置１７に表示された画像上で、検査員の指定に基づいて生成することができる。ここで、「対象範囲」とは、撮影範囲２の一部であって、対象１を含む範囲である。具体的には、図６Ａに示されるように、対象範囲５は、表示装置１７において、対象１を囲う範囲として生成される。

【0078】

本実施形態では、検査員は、図６Ａに示されるように、音声入力装置２１に、例えば「１５ｍｍ」と入力することにより、対象範囲５として撮影範囲２の中心に直径１５ｍｍの円を表示させることができる。なお、音声入力装置２１に入力される値によって、枠の大きさを調整することができる。なお、対象１を囲う対象範囲５とすることで、対象範囲データを対象１の大きさの情報とすることができる。なお、対象範囲５の形状は、円に限られず、四辺形等、任意の形状であっても良い。このようにして、対象１の対象範囲データを、表示装置１７に表示された画像上で、検査員の指定に基づいて生成することができる。

【0079】

対象範囲データの生成後、対象範囲データが記録装置１８に記録される。すなわち、図３に示される付加情報取得部４２が、対象範囲データを取得し、データ記録部５０に入力する。また、原画像データに対象範囲データを付加してデータ記録部５０に保存する。そして、付加情報表示部４３が、原画像データに対象範囲データを付加した画像を、表示装置１７に表示する。

【0080】

また、本実施形態では、付加情報として、対象１の対象種別データを、表示装置１７に表示された画像上で、検査員の指定に基づいて生成することもできる。ここで、「対象種別」とは、対象１の種別であって、例えば、「キズ」「欠陥」「汚れ」「その他」等の情報である。但し、対象種別は、例えば、「通常対応」「緊急対応」等の情報であっても良い。

【0081】

本実施形態では、検査員は、図６Ｂに示されるように、音声入力装置２１に、例えば「キズ」と入力することにより、対象種別データを表示させることができる。このようにして、対象１の対象種別データを、表示装置１７に表示された画像上で、検査員の指定に基づいて生成することができる。

【0082】

対象種別データの生成後、対象種別データが記録装置１８に記録される。すなわち、図３に示される付加情報取得部４２が、対象種別データを取得し、データ記録部５０に入力する。また、原画像データに対象種別データを付加してデータ記録部５０に保存する。そして、付加情報表示部４３が、原画像データに対象種別データを付加した画像を、表示装置１７に表示する。

【0083】

なお、付加情報は、対象範囲データや対象種別データに限られない。本実施形態の教師データ収集装置１０は、付加情報として、後述するように撮影角度データや、照射角度データや、位置情報データも生成することができる。

【0084】

上述したように、カメラ装置１２は、カメラ用方位・傾斜角度センサー１５を有している。そして、カメラ用方位・傾斜角度センサー１５によりカメラ１３の撮影方向を計測することで、カメラ装置１２は、撮影方向を示す撮影角度データを更に生成することができる。

【0085】

撮影角度データの生成後、撮影角度データが記録装置１８に記録される。すなわち、図３に示される付加情報取得部４２が、撮影角度データを取得し、データ記録部５０に入力する。また、原画像データに撮影角度データを付加してデータ記録部５０に保存する。また、不図示であるが、付加情報表示部４３が、原画像データに撮影角度データを付加した画像を、表示装置１７に表示しても良い。

【0086】

また、上述したように、携帯照明装置２２は、照明用方位・傾斜角度センサー２４を有している。そして、照明用方位・傾斜角度センサー２４により携帯照明２３の照射方向を計測することで、携帯照明装置２２は、カメラ装置１２による撮影時の光の照射方向を示す照射角度データを更に生成することができる。

【0087】

照射角度データの生成後、照射角度データが記録装置１８に記録される。すなわち、図３に示される付加情報取得部４２が、照射角度データを取得し、データ記録部５０に入力する。また、原画像データに照射角度データを付加してデータ記録部５０に保存する。また、不図示であるが、付加情報表示部４３が、原画像データに照射角度データを付加した画像を、表示装置１７に表示しても良い。

【0088】

また、上述したように、カメラ装置１２は、ＧＰＳ装置１６を有している。そして、ＧＰＳ装置１６によりカメラ１３の位置を計測することで、カメラ装置１２は、カメラ装置１２の位置を示す位置情報データを更に生成することができる。

【0089】

位置情報データの生成後、位置情報データが記録装置１８に記録される。すなわち、図３に示される付加情報取得部４２が、位置情報データを取得し、データ記録部５０に入力する。また、原画像データに位置情報データを付加してデータ記録部５０に保存する。また、不図示であるが、付加情報表示部４３が、原画像データに位置情報データを付加した画像を、表示装置１７に表示しても良い。

【0090】

以上により、対象１の画像の撮影時の条件や照明の照射角度等、キズ等判定作業に必要な情報を付与することができる。

【0091】

最後に、検査員は、検査記録の生成を行う（図４のＳ００５）。検査記録では、図７Ａに示されるように、原画像に付加情報が付加された画像を表示装置１７に表示することができる。また、検査記録では、図７Ｂに示されるように、付加情報も原画像に紐づけて保存することができる。

【0092】

したがって、検査員は、キズ等を発見した場合、容易にその画像を撮影することができ、さらに画像にはキズ等判定作業に必要な情報が紐づけられた情報も容易に付与することができる。つまり、人工知能の教師あり学習に用いる教師データを容易に収集することができる。

【0093】

＝＝＝その他＝＝＝
以上、本発明を実施形態を用いて説明してきたが、本発明はこの形態の構成には限られない。本発明の範囲は添付の特許請求の範囲の記載に基づいて定まるものであり、その範囲内において実施の形態に示した構成要素の一部の省略や変形、またそれらの改良を施した構成の全てが本発明に含まれる。

【0094】

例えば、上記の実施形態では、頭部装着体１９と、音声入力装置２１と、携帯照明装置２２とを含む好ましい形態を示したが、本発明の教師データ収集装置は、これらが備えられていなくともよく、また、これらのうちのいずれか１つ又は２つが備えられていても良い。

【0095】

また、上記の実施形態では学習対象を鉄鋼製品の表面のキズ等としたが、本発明はこれに限られるものではない。本発明は、例えば、鉄スクラップを原料ヤードに受け入れる際に銅材や危険物を検知するための学習済モデルを得ることを目的として、これら鉄鋼原料の不純物や異物を学習対象とした教師データを収集するための教師データ収集装置及び教師データ収集方法にも好適に適用することができる。

【符号の説明】

【0096】

１ 対象
２ 撮影範囲
３ レーザー光
４ 照明
５ 対象範囲
１０ 教師データ収集装置
１１ ＣＰＵ
１２ カメラ装置
１３ カメラ
１４ レーザーポインタ
１５ カメラ用方位・傾斜角度センサー
１６ ＧＰＳ装置
１７ 表示装置
１８ 記録装置
１９ 頭部装着体
２０ 取付部
２１ 音声入力装置
２２ 携帯照明装置
２３ 携帯照明
２４ 照明用方位・傾斜角度センサー
３０ 処理部
４０ 制御部
４１ 画像取得部
４２ 付加情報取得部
４３ 付加情報表示部
５０ データ記録部
１００ 被検査物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】