特許 7575664 画像生成装置、良否判定装置、画像生成方法、良否判定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-22

(45)【発行日】2024-10-30

(54)【発明の名称】画像生成装置、良否判定装置、画像生成方法、良否判定方法及びプログラム

(51)【国際特許分類】

   G01J 5/48 20220101AFI20241023BHJP

   G06T 7/00 20170101ALI20241023BHJP

   G01N 21/57 20060101ALI20241023BHJP

   G01N 21/27 20060101ALI20241023BHJP

   G01N 21/84 20060101ALI20241023BHJP

   G01B 11/24 20060101ALI20241023BHJP

【ＦＩ】

G01J5/48 A

G06T7/00 350B

G06T7/00 610Z

G01N21/57

G01N21/27 Z

G01N21/84 B

G01B11/24 K

【請求項の数】 8

(21)【出願番号】P 2020179437

(22)【出願日】2020-10-27

(65)【公開番号】P2022070395

(43)【公開日】2022-05-13

【審査請求日】2023-09-12

(73)【特許権者】

【識別番号】000006714

【氏名又は名称】横浜ゴム株式会社

(74)【代理人】

【識別番号】110000154

【氏名又は名称】弁理士法人はるか国際特許事務所

(72)【発明者】

【氏名】多田 拡太郎

【審査官】小澤 瞬

(56)【参考文献】

【文献】特開２０２０－０５１９８１（ＪＰ，Ａ）

【文献】特開２０１１－２４７６３９（ＪＰ，Ａ）

【文献】特開２０１９－１８４５８９（ＪＰ，Ａ）

【文献】特開２００７－０３８７３０（ＪＰ，Ａ）

【文献】特開２００８－０８２７０９（ＪＰ，Ａ）

【文献】特開２０１９－０２７８２６（ＪＰ，Ａ）

【文献】特開２０１９－１４３９９６（ＪＰ，Ａ）

【文献】特開２０１３－０９６７４１（ＪＰ，Ａ）

【文献】米国特許出願公開第２００５／０１５５４１９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００ － Ｇ０１Ｂ １１／３０

Ｇ０１Ｊ ５／００ － Ｇ０１Ｊ ５／９０

Ｇ０１Ｎ ２１／００ － Ｇ０１Ｎ ２１／０１

Ｇ０１Ｎ ２１／１７ － Ｇ０１Ｎ ２１／６１

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０１Ｎ ２５／７２

Ｇ０６Ｔ ７／００ － Ｇ０６Ｔ ７／９０

Ｇ０６Ｖ １０／００ － Ｇ０６Ｖ ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

一方向に一定速度で移動する対象物の移動方向に沿って互いに離間して配置されている、第１の時間間隔での測定タイミングで第１の物理量を示す第１種ライン画像を順次生成する第１のラインセンサ、及び、第２の時間間隔での測定タイミングで第２の物理量を示す第２種ライン画像を順次生成する第２のラインセンサと通信可能な、学習済の機械学習モデルに入力されるマルチチャネルの入力画像を生成する画像生成装置であって、
前記第１種ライン画像を取得する第１種ライン画像取得手段と、
前記第２種ライン画像を取得する第２種ライン画像取得手段と、
前記第１の時間間隔での測定タイミング順に取得される複数の前記第１種ライン画像が該測定タイミング順に並んで配置される第１種測定結果画像を生成する手段と、
前記第２の時間間隔での測定タイミング順に取得される複数の前記第２種ライン画像が該測定タイミング順に並んで配置される第２種測定結果画像を生成する手段と、
キャリブレーション用の前記対象物を示す前記第１種測定結果画像に基づいて前記キャリブレーション用の前記対象物に係る第１領域を特定するとともに、前記キャリブレーション用の前記対象物を示す前記第２種測定結果画像に基づいて前記キャリブレーション用の前記対象物に係る第２領域を特定する手段と、
前記第１種測定結果画像における前記第１領域の位置及び前記第２種測定結果画像における前記第２領域の位置に基づいて、前記第１のラインセンサと前記第２のラインセンサとの離間間隔及び前記対象物の移動速度に基づいて決定される測定タイミング差を特定する手段と、
前記測定タイミング差に応じた、所与の画素配列に対応する、良否判定用の前記対象物を示す少なくとも１つの前記第１種ライン画像と、少なくとも１つの前記第２種ライン画像と、を選択するライン画像選択手段と、
前記画素配列に含まれる各画素に、選択された前記第１種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、選択された前記第２種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、を関連付けることで、前記マルチチャネルの入力画像を生成する入力画像生成手段と、
を含むことを特徴とする画像生成装置。

【請求項2】

選択された前記第１種ライン画像、又は、選択された前記第２種ライン画像、のうちの少なくとも一方に対して、所与のサイズ変更率によるサイズ変更を実行するサイズ変更手段、をさらに含み、
前記入力画像生成手段は、前記サイズ変更が実行された前記第１種ライン画像又は前記第２種ライン画像に基づいて、前記入力画像を生成する、
ことを特徴とする請求項１に記載の画像生成装置。

【請求項3】

前記第１の物理量、及び、前記第２の物理量は、それぞれ、温度、高さ、反射光量、凹凸、光沢、又は、色のうちの互いに異なるいずれかである、
ことを特徴とする請求項１又は２のいずれか一項に記載の画像生成装置。

【請求項4】

一方向に一定速度で移動する対象物の移動方向に沿って互いに離間して配置されている、第１の時間間隔での測定タイミングで第１の物理量を示す第１種ライン画像を順次生成する第１のラインセンサ、及び、第２の時間間隔での測定タイミングで第２の物理量を示す第２種ライン画像を順次生成する第２のラインセンサと通信可能な良否判定装置であって、
前記第１種ライン画像を取得する第１種ライン画像取得手段と、
前記第２種ライン画像を取得する第２種ライン画像取得手段と、
前記第１の時間間隔での測定タイミング順に取得される複数の前記第１種ライン画像が該測定タイミング順に並んで配置される第１種測定結果画像を生成する手段と、
前記第２の時間間隔での測定タイミング順に取得される複数の前記第２種ライン画像が該測定タイミング順に並んで配置される第２種測定結果画像を生成する手段と、
キャリブレーション用の前記対象物を示す前記第１種測定結果画像に基づいて前記キャリブレーション用の前記対象物に係る第１領域を特定するとともに、前記キャリブレーション用の前記対象物を示す前記第２種測定結果画像に基づいて前記キャリブレーション用の前記対象物に係る第２領域を特定する手段と、
前記第１種測定結果画像における前記第１領域の位置及び前記第２種測定結果画像における前記第２領域の位置に基づいて、前記第１のラインセンサと前記第２のラインセンサとの離間間隔及び前記対象物の移動速度に基づいて決定される測定タイミング差を特定する手段と、
前記測定タイミング差に応じた、所与の画素配列に対応する、良否判定用の前記対象物を示す少なくとも１つの前記第１種ライン画像と、少なくとも１つの前記第２種ライン画像と、を選択するライン画像選択手段と、
前記画素配列に含まれる各画素に、選択された前記第１種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、選択された前記第２種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、を関連付けることで、マルチチャネルの入力画像を生成する入力画像生成手段と、
前記入力画像を学習済の機械学習モデルに入力した際の当該機械学習モデルからの出力に基づいて、前記良否判定用の前記対象物の良否を判定する良否判定手段と、
を含むことを特徴とする良否判定装置。

【請求項5】

一方向に一定速度で移動する対象物の移動方向に沿って互いに離間して配置されている、第１の時間間隔での測定タイミングで第１の物理量を示す第１種ライン画像を順次生成する第１のラインセンサ、及び、第２の時間間隔での測定タイミングで第２の物理量を示す第２種ライン画像を順次生成する第２のラインセンサと通信可能な画像生成装置が、学習済の機械学習モデルに入力されるマルチチャネルの入力画像を生成する画像生成方法であって、
前記第１種ライン画像を取得するステップと、
前記第２種ライン画像を取得するステップと、
前記第１の時間間隔での測定タイミング順に取得される複数の前記第１種ライン画像が該測定タイミング順に並んで配置される第１種測定結果画像を生成するステップと、
前記第２の時間間隔での測定タイミング順に取得される複数の前記第２種ライン画像が該測定タイミング順に並んで配置される第２種測定結果画像を生成するステップと、
キャリブレーション用の前記対象物を示す前記第１種測定結果画像に基づいて前記キャリブレーション用の前記対象物に係る第１領域を特定するとともに、前記キャリブレーション用の前記対象物を示す前記第２種測定結果画像に基づいて前記キャリブレーション用の前記対象物に係る第２領域を特定するステップと、
前記第１種測定結果画像における前記第１領域の位置及び前記第２種測定結果画像における前記第２領域の位置に基づいて、前記第１のラインセンサと前記第２のラインセンサとの離間間隔及び前記対象物の移動速度に基づいて決定される測定タイミング差を特定するステップと、
前記測定タイミング差に応じた、所与の画素配列に対応する、良否判定用の前記対象物を示す少なくとも１つの前記第１種ライン画像と、少なくとも１つの前記第２種ライン画像と、を選択するステップと、
前記画素配列に含まれる各画素に、選択された前記第１種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、選択された前記第２種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、を関連付けることで、前記マルチチャネルの入力画像を生成するステップと、
を含むことを特徴とする画像生成方法。

【請求項6】

一方向に一定速度で移動する対象物の移動方向に沿って互いに離間して配置されている、第１の時間間隔での測定タイミングで第１の物理量を示す第１種ライン画像を順次生成する第１のラインセンサ、及び、第２の時間間隔での測定タイミングで第２の物理量を示す第２種ライン画像を順次生成する第２のラインセンサと通信可能な良否判定装置が実行する良否判定方法であって、
前記第１種ライン画像を取得するステップと、
前記第２種ライン画像を取得するステップと、
前記第１の時間間隔での測定タイミング順に取得される複数の前記第１種ライン画像が該測定タイミング順に並んで配置される第１種測定結果画像を生成するステップと、
前記第２の時間間隔での測定タイミング順に取得される複数の前記第２種ライン画像が該測定タイミング順に並んで配置される第２種測定結果画像を生成するステップと、
キャリブレーション用の前記対象物を示す前記第１種測定結果画像に基づいて前記キャリブレーション用の前記対象物に係る第１領域を特定するとともに、前記キャリブレーション用の前記対象物を示す前記第２種測定結果画像に基づいて前記キャリブレーション用の前記対象物に係る第２領域を特定するステップと、
前記第１種測定結果画像における前記第１領域の位置及び前記第２種測定結果画像における前記第２領域の位置に基づいて、前記第１のラインセンサと前記第２のラインセンサとの離間間隔及び前記対象物の移動速度に基づいて決定される測定タイミング差を特定するステップと、
前記測定タイミング差に応じた、所与の画素配列に対応する、良否判定用の前記対象物を示す少なくとも１つの前記第１種ライン画像と、少なくとも１つの前記第２種ライン画像と、を選択するステップと、
前記画素配列に含まれる各画素に、選択された前記第１種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、選択された前記第２種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、を関連付けることで、マルチチャネルの入力画像を生成するステップと、
前記入力画像を学習済の機械学習モデルに入力した際の当該機械学習モデルからの出力に基づいて、前記良否判定用の前記対象物の良否を判定するステップと、
を含むことを特徴とする良否判定方法。

【請求項7】

一方向に一定速度で移動する対象物の移動方向に沿って互いに離間して配置されている、第１の時間間隔での測定タイミングで第１の物理量を示す第１種ライン画像を順次生成する第１のラインセンサ、及び、第２の時間間隔での測定タイミングで第２の物理量を示す第２種ライン画像を順次生成する第２のラインセンサと通信可能な、学習済の機械学習モデルに入力されるマルチチャネルの入力画像を生成するコンピュータに、
前記第１種ライン画像を取得する手順、
前記第２種ライン画像を取得する手順、
前記第１の時間間隔での測定タイミング順に取得される複数の前記第１種ライン画像が該測定タイミング順に並んで配置される第１種測定結果画像を生成する手順、
前記第２の時間間隔での測定タイミング順に取得される複数の前記第２種ライン画像が該測定タイミング順に並んで配置される第２種測定結果画像を生成する手順、
キャリブレーション用の前記対象物を示す前記第１種測定結果画像に基づいて前記キャリブレーション用の前記対象物に係る第１領域を特定するとともに、前記キャリブレーション用の前記対象物を示す前記第２種測定結果画像に基づいて前記キャリブレーション用の前記対象物に係る第２領域を特定する手順、
前記第１種測定結果画像における前記第１領域の位置及び前記第２種測定結果画像における前記第２領域の位置に基づいて、前記第１のラインセンサと前記第２のラインセンサとの離間間隔及び前記対象物の移動速度に基づいて決定される測定タイミング差を特定する手順、
前記測定タイミング差に応じた、所与の画素配列に対応する、良否判定用の前記対象物を示す少なくとも１つの前記第１種ライン画像と、少なくとも１つの前記第２種ライン画像と、を選択する手順、
前記画素配列に含まれる各画素に、選択された前記第１種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、選択された前記第２種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、を関連付けることで、前記マルチチャネルの入力画像を生成する手順、
を実行させることを特徴とするプログラム。

【請求項8】

一方向に一定速度で移動する対象物の移動方向に沿って互いに離間して配置されている、第１の時間間隔の測定タイミングで第１の物理量を示す第１種ライン画像を順次生成する第１のラインセンサ、及び、第２の時間間隔の測定タイミングで第２の物理量を示す第２種ライン画像を順次生成する第２のラインセンサと通信可能なコンピュータに、
前記第１種ライン画像を取得する手順、
前記第２種ライン画像を取得する手順、
前記第１の時間間隔での測定タイミング順に取得される複数の前記第１種ライン画像が該測定タイミング順に並んで配置される第１種測定結果画像を生成する手順、
前記第２の時間間隔での測定タイミング順に取得される複数の前記第２種ライン画像が該測定タイミング順に並んで配置される第２種測定結果画像を生成する手順、
キャリブレーション用の前記対象物を示す前記第１種測定結果画像に基づいて前記キャリブレーション用の前記対象物に係る第１領域を特定するとともに、前記キャリブレーション用の前記対象物を示す前記第２種測定結果画像に基づいて前記キャリブレーション用の前記対象物に係る第２領域を特定する手順、
前記第１種測定結果画像における前記第１領域の位置及び前記第２種測定結果画像における前記第２領域の位置に基づいて、前記第１のラインセンサと前記第２のラインセンサとの離間間隔及び前記対象物の移動速度に基づいて決定される測定タイミング差を特定する手順、
前記測定タイミング差に応じた、所与の画素配列に対応する、良否判定用の前記対象物を示す少なくとも１つの前記第１種ライン画像と、少なくとも１つの前記第２種ライン画像と、を選択する手順、
前記画素配列に含まれる各画素に、選択された前記第１種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、選択された前記第２種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、を関連付けることで、マルチチャネルの入力画像を生成する手順、
前記入力画像を学習済の機械学習モデルに入力した際の当該機械学習モデルからの出力に基づいて、前記良否判定用の前記対象物の良否を判定する手順、
を実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成装置、良否判定装置、画像生成方法、良否判定方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、学習済の識別器を用いて、タイヤの内面に沿った位置における高さ（凹凸方向の位置）を表す画素値が各画素に関連付けられた検査画像から、タイヤの欠陥の有無を判定する欠陥検査方法が記載されている。この検査画像は、光切断法の技術を用いて、光源から照射されたスリット光をカメラで撮影した画像に基づいて生成される。

【0003】

特許文献２には、学習済のニューラルネットワークを用いて対象物の形状の特徴抽出を行うことができる情報処理システムが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－２７８２６号公報

【文献】特開２０１９－９５８２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

学習済の識別器を用いてタイヤの欠陥の有無の判定を行うにあたって、特許文献１に記載されているような高さだけでなく、温度などといった別の物理量についても各画素に関連付けられたマルチチャネルの入力画像を取得できれば、判定精度の向上が期待できる。

【0006】

しかし、カメラ等のセンサ単体からは、各画素に所望の複数の物理量が関連付けられたマルチチャネルの入力画像を取得することは困難である。

【0007】

なお、上記のことは学習済の識別器を用いたタイヤの欠陥の有無の判定だけではなく、学習済の機械学習モデルを用いた所与の対象物の良否判定の場面など、学習済の機械学習モデルにマルチチャネルの画像が入力される場面において一般的にあてはまる。

【0008】

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、学習済の機械学習モデルに入力される、各画素に所望の複数の物理量が関連付けられたマルチチャネルの入力画像を容易に生成できる画像生成装置、良否判定装置、画像生成方法、良否判定方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明に係る画像生成装置は、一方向に一定速度で移動する対象物の移動方向に沿って互いに離間して配置されている、第１の時間間隔での測定タイミングで第１の物理量を示す第１種ライン画像を順次生成する第１のラインセンサ、及び、第２の時間間隔での測定タイミングで第２の物理量を示す第２種ライン画像を順次生成する第２のラインセンサと通信可能な、学習済の機械学習モデルに入力されるマルチチャネルの入力画像を生成する画像生成装置であって、前記第１種ライン画像を取得する第１種ライン画像取得手段と、前記第２種ライン画像を取得する第２種ライン画像取得手段と、前記第１のラインセンサと前記第２のラインセンサとの離間間隔及び前記対象物の移動速度に基づいて決定される測定タイミング差に応じた、所与の画素配列に対応する、少なくとも１つの前記第１種ライン画像と、少なくとも１つの前記第２種ライン画像と、を選択するライン画像選択手段と、前記画素配列に含まれる各画素に、選択された前記第１種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、選択された前記第２種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、を関連付けることで、前記マルチチャネルの入力画像を生成する入力画像生成手段と、を含む。

【0010】

本発明の一態様では、選択された前記第１種ライン画像、又は、選択された前記第２種ライン画像、のうちの少なくとも一方に対して、所与のサイズ変更率によるサイズ変更を実行するサイズ変更手段、をさらに含み、前記入力画像生成手段は、前記サイズ変更が実行された前記第１種ライン画像又は前記第２種ライン画像に基づいて、前記入力画像を生成する。

【0011】

また、本発明の一態様では、前記第１の物理量、及び、前記第２の物理量は、それぞれ、温度、高さ、反射光量、凹凸、光沢、又は、色のうちの互いに異なるいずれかである。

【0012】

また、本発明に係る良否判定装置は、一方向に一定速度で移動する対象物の移動方向に沿って互いに離間して配置されている、第１の時間間隔での測定タイミングで第１の物理量を示す第１種ライン画像を順次生成する第１のラインセンサ、及び、第２の時間間隔での測定タイミングで第２の物理量を示す第２種ライン画像を順次生成する第２のラインセンサと通信可能な良否判定装置であって、前記第１種ライン画像を取得する第１種ライン画像取得手段と、前記第２種ライン画像を取得する第２種ライン画像取得手段と、前記第１のラインセンサと前記第２のラインセンサとの離間間隔及び前記対象物の移動速度に基づいて決定される測定タイミング差に応じた、所与の画素配列に対応する、少なくとも１つの前記第１種ライン画像と、少なくとも１つの前記第２種ライン画像と、を選択するライン画像選択手段と、前記画素配列に含まれる各画素に、選択された前記第１種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、選択された前記第２種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、を関連付けることで、マルチチャネルの入力画像を生成する入力画像生成手段と、前記入力画像を学習済の機械学習モデルに入力した際の当該機械学習モデルからの出力に基づいて、前記対象物の良否を判定する良否判定手段と、を含む。

【0013】

また、本発明に係る画像生成方法は、一方向に一定速度で移動する対象物の移動方向に沿って互いに離間して配置されている、第１の時間間隔での測定タイミングで第１の物理量を示す第１種ライン画像を順次生成する第１のラインセンサ、及び、第２の時間間隔での測定タイミングで第２の物理量を示す第２種ライン画像を順次生成する第２のラインセンサと通信可能な画像生成装置が、学習済の機械学習モデルに入力されるマルチチャネルの入力画像を生成する画像生成方法であって、前記第１種ライン画像を取得するステップと、前記第２種ライン画像を取得するステップと、前記第１のラインセンサと前記第２のラインセンサとの離間間隔及び前記対象物の移動速度に基づいて決定される測定タイミング差に応じた、所与の画素配列に対応する、少なくとも１つの前記第１種ライン画像と、少なくとも１つの前記第２種ライン画像と、を選択するステップと、前記画素配列に含まれる各画素に、選択された前記第１種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、選択された前記第２種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、を関連付けることで、前記マルチチャネルの入力画像を生成するステップと、を含む。

【0014】

また、本発明に係る良否判定方法は、一方向に一定速度で移動する対象物の移動方向に沿って互いに離間して配置されている、第１の時間間隔での測定タイミングで第１の物理量を示す第１種ライン画像を順次生成する第１のラインセンサ、及び、第２の時間間隔での測定タイミングで第２の物理量を示す第２種ライン画像を順次生成する第２のラインセンサと通信可能な良否判定装置が実行する良否判定方法であって、前記第１種ライン画像を取得するステップと、前記第２種ライン画像を取得するステップと、前記第１のラインセンサと前記第２のラインセンサとの離間間隔及び前記対象物の移動速度に基づいて決定される測定タイミング差に応じた、所与の画素配列に対応する、少なくとも１つの前記第１種ライン画像と、少なくとも１つの前記第２種ライン画像と、を選択するステップと、前記画素配列に含まれる各画素に、選択された前記第１種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、選択された前記第２種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、を関連付けることで、マルチチャネルの入力画像を生成するステップと、前記入力画像を学習済の機械学習モデルに入力した際の当該機械学習モデルからの出力に基づいて、前記対象物の良否を判定するステップと、を含む。

【0015】

また、本発明に係るプログラムは、一方向に一定速度で移動する対象物の移動方向に沿って互いに離間して配置されている、第１の時間間隔での測定タイミングで第１の物理量を示す第１種ライン画像を順次生成する第１のラインセンサ、及び、第２の時間間隔での測定タイミングで第２の物理量を示す第２種ライン画像を順次生成する第２のラインセンサと通信可能な、学習済の機械学習モデルに入力されるマルチチャネルの入力画像を生成するコンピュータに、前記第１種ライン画像を取得する手順、前記第２種ライン画像を取得する手順、前記第１のラインセンサと前記第２のラインセンサとの離間間隔及び前記対象物の移動速度に基づいて決定される測定タイミング差に応じた、所与の画素配列に対応する、少なくとも１つの前記第１種ライン画像と、少なくとも１つの前記第２種ライン画像と、を選択する手順、前記画素配列に含まれる各画素に、選択された前記第１種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、選択された前記第２種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、を関連付けることで、前記マルチチャネルの入力画像を生成する手順、を実行させる。

【0016】

また、本発明に係る別のプログラムは、一方向に一定速度で移動する対象物の移動方向に沿って互いに離間して配置されている、第１の時間間隔の測定タイミングで第１の物理量を示す第１種ライン画像を順次生成する第１のラインセンサ、及び、第２の時間間隔の測定タイミングで第２の物理量を示す第２種ライン画像を順次生成する第２のラインセンサと通信可能なコンピュータに、前記第１種ライン画像を取得する手順、前記第２種ライン画像を取得する手順、前記第１のラインセンサと前記第２のラインセンサとの離間間隔及び前記対象物の移動速度に基づいて決定される測定タイミング差に応じた、所与の画素配列に対応する、少なくとも１つの前記第１種ライン画像と、少なくとも１つの前記第２種ライン画像と、を選択する手順、前記画素配列に含まれる各画素に、選択された前記第１種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、選択された前記第２種ライン画像に含まれる、当該画素に対応付けられる画素の画素値と、を関連付けることで、マルチチャネルの入力画像を生成する手順、前記入力画像を学習済の機械学習モデルに入力した際の当該機械学習モデルからの出力に基づいて、前記対象物の良否を判定する手順、を実行させる。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態に係る良否判定システムの構成の一例を示す図である。

【図2A】対象物が搬送される様子の一例を模式的に示す図である。

【図2B】対象物が搬送される様子の一例を模式的に示す図である。

【図2C】対象物が搬送される様子の一例を模式的に示す図である。

【図2D】対象物が搬送される様子の一例を模式的に示す図である。

【図3】キャリブレーション処理において生成される、温度測定結果画像、高さ測定結果画像、及び、反射光量撮影結果画像の一例を示す図である。

【図4A】良否判定処理において生成される、温度測定結果画像、高さ測定結果画像、及び、反射光量撮影結果画像の一例を示す図である。

【図4B】良否判定処理において生成される、温度測定結果画像、高さ測定結果画像、及び、反射光量撮影結果画像の一例を示す図である。

【図4C】良否判定処理において生成される、温度測定結果画像、高さ測定結果画像、及び、反射光量撮影結果画像の一例を示す図である。

【図4D】良否判定処理において生成される、温度測定結果画像、高さ測定結果画像、及び、反射光量撮影結果画像の一例を示す図である。

【図5】本発明の一実施形態に係る情報処理装置の機能の一例を示す機能ブロック図である。

【図6】訓練データのデータ構造の一例を示す図である。

【図7】機械学習モデルの学習の一例を模式的に示す図である。

【図8】学習済の機械学習モデルを用いた良否判定の一例を模式的に示す図である。

【図9】本発明の一実施形態に係る情報処理装置で行われる学習処理の流れの一例を示すフロー図である。

【図10】本発明の一実施形態に係る良否判定システムで行われる良否判定処理の流れの一例を示すフロー図である。

【発明を実施するための形態】

【0018】

以下、本発明の一実施形態について、図面を参照しながら説明する。

【0019】

図１は、本発明の一実施形態に係る良否判定システム１の構成の一例を示す図である。本実施形態に係る良否判定システム１には、例えば、情報処理装置１０、搬送部１２、エンコーダ１４、温度ラインセンサ１６、光切断ラインセンサ１８が含まれる。

【0020】

情報処理装置１０は、例えば、パーソナルコンピュータなどのコンピュータである。図１に示すように情報処理装置１０は、例えば、プロセッサ１０ａ、記憶部１０ｂ、通信部１０ｃ、表示部１０ｄ、操作部１０ｅを含んでいる。

【0021】

プロセッサ１０ａは、例えば情報処理装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。

【0022】

記憶部１０ｂは、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１０ｂには、プロセッサ１０ａによって実行されるプログラムなどが記憶される。

【0023】

通信部１０ｃは、例えばネットワークボードなどの通信インタフェースである。本実施形態では、情報処理装置１０は、通信部１０ｃを介して、搬送部１２、温度ラインセンサ１６、及び、光切断ラインセンサ１８と、通信可能になっている。

【0024】

表示部１０ｄは、例えば液晶ディスプレイ等の表示デバイスであって、プロセッサ１０ａの指示に従って各種の画像を表示する。

【0025】

操作部１０ｅは、例えばキーボードやマウスなどといったユーザインタフェースであって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ１０ａに出力する。

【0026】

なお、情報処理装置１０は、ＤＶＤ－ＲＯＭやＢｌｕ－ｒａｙ（登録商標）ディスクなどの光ディスクを読み取る光ディスクドライブ、ＵＳＢ（Universal Serial Bus）ポートなどを含んでいてもよい。

【0027】

搬送部１２は、例えば、コンベアなどの搬送デバイスであり、図２Ａ～図２Ｄに示すようにして、本実施形態に係る良否判別の対象となる対象物２０を搬送する。本実施形態では、対象物２０は特定の一方向に一定速度で搬送される。すなわち、本実施形態では、対象物２０の搬送方向の自由度は１である。そのため、対象物２０は、一方向に一定速度で移動することとなる。

【0028】

本実施形態では例えば、図２Ａ～図２Ｄに示すように、搬送部１２は、情報処理装置１０から受け付ける信号に応じて、対象物２０を図２Ａ～図２Ｄにおける左から右に向かう方向に一定速度で搬送する。そして本実施形態では、対象物２０が、図２Ａに示されている位置から、図２Ｂ、図２Ｃに示されている位置を経て、図２Ｄに示されている位置まで搬送される。

【0029】

なお、本実施形態に係る対象物２０の一例としては、タイヤが挙げられる。

【0030】

本実施形態に係る温度ラインセンサ１６は、例えば線上の複数の位置における温度が測定可能な、赤外線ラインセンサ等のラインセンサである。

【0031】

本実施形態に係る光切断ラインセンサ１８は、例えば線上の複数の位置における高さが測定可能なセンサデバイスである。例えば、光切断ラインセンサ１８は、カメラ１８ａと、線状のスリットレーザ光を照射するレーザ光源１８ｂと、を備えている。そして、光切断ラインセンサ１８は、光切断法を用いて、カメラ１８ａによって撮影された画像内における、レーザ光源１８ｂによって照射されたレーザ光が写る位置に基づいて、線上の複数の位置における高さを測定できるようになっている。

【0032】

本実施形態では、搬送部１２によって搬送される対象物２０の上方に、複数のラインセンサ（ここでは例えば、温度ラインセンサ１６、及び、光切断ラインセンサ１８）が、対象物２０の移動方向に沿って互いに離間して配置されている。

【0033】

本実施形態では、温度ラインセンサ１６において温度センサが並んで配置されているライン方向が、対象物２０の移動方向（温度ラインセンサ１６の走査方向）と垂直となるようにして、温度ラインセンサ１６が設置される。また、本実施形態では、光切断ラインセンサ１８において光源が並んで配置されている方向が、対象物２０の移動方向（光切断ラインセンサ１８の走査方向）と垂直となるようにして、光切断ラインセンサ１８が設置される。

【0034】

そして、図２Ｂに示すように、温度ラインセンサ１６によるセンシング位置を対象物２０が通過する際に、温度ラインセンサ１６によって、対象物２０の表面温度が走査（スキャン）される。

【0035】

また、図２Ｃに示すように、光切断ラインセンサ１８によるセンシング位置を対象物２０が通過する際に、光切断ラインセンサ１８によって、対象物２０の高さ（図２Ａ～図２Ｄにおける上下方向における対象物２０の位置）が走査（スキャン）される。本実施形態に係るタイヤ等の対象物２０の表面には凹凸が形成されており、光切断ラインセンサ１８によって、この凹凸が測定されることとなる。

【0036】

また、本実施形態に係る光切断ラインセンサ１８では、対象物２０の高さに加え、カメラ１８ａによって撮影された画像内において照射されたレーザ光が写る位置の反射光量の測定も併せて行われる。反射光量の測定を併せて行うことによって、高さの測定だけでは得ることができない測定結果を得ることができる。

【0037】

本実施形態では、搬送部１２によって対象物２０が搬送された距離が、リニアエンコーダ等のエンコーダ１４によって測定される。なお、エンコーダ１４がロータリエンコーダであり、エンコーダ１４によって、搬送部１２を駆動させる駆動モータの回転角度が測定されるようにしてもよい。

【0038】

そして本実施形態では、搬送部１２によって対象物２０が所定の搬送距離だけ搬送される度に、エンコーダ１４によって生成される信号が、エンコーダ１４から、温度ラインセンサ１６、及び、光切断ラインセンサ１８に入力される。ここで例えば、当該信号が、エンコーダ１４から、信号分配器（図示せず）を経由して、温度ラインセンサ１６、及び、光切断ラインセンサ１８に入力されるようにしてもよい。

【0039】

温度ラインセンサ１６は、第１の時間間隔での測定タイミングで、温度の測定を実行し、当該測定の結果である温度を示す温度ライン画像を順次生成する。

【0040】

ここで、温度ライン画像とは、温度ラインセンサ１６による温度の１回の測定結果に基づいて生成される、当該測定結果を表す画素が一列に並ぶ画像である。温度ライン画像に含まれる各画素の画素値は、温度に対応付けられる。

【0041】

また、光切断ラインセンサ１８は、第２の時間間隔での測定タイミングで、高さ及び反射光量の測定を実行し、当該測定の結果である高さを示す高さライン画像、及び、当該測定の結果である反射光量を示す反射光量ライン画像を順次生成する。

【0042】

ここで、高さライン画像とは、光切断ラインセンサ１８による高さの１回の測定結果に基づいて生成される、当該測定結果を表す画素が一列に並ぶ画像である。高さライン画像に含まれる各画素の画素値は、高さに対応付けられる。

【0043】

また、反射光量ライン画像とは、光切断ラインセンサ１８による反射光量の１回の測定結果に基づいて生成される、当該測定結果を表す画素が一列に並ぶ画像である。反射光量ライン画像に含まれる各画素の画素値は、反射光量に対応付けられる。

【0044】

ここで例えば、温度ラインセンサ１６は、エンコーダ１４からの信号の入力に応じて、温度の測定を実行してもよい。また、光切断ラインセンサ１８は、エンコーダ１４からの信号の入力に応じて、高さ及び反射光量の測定を実行してもよい。このように本実施形態において、複数のラインセンサによる測定のタイミングは同期がとられていてもよい。そして、複数のラインセンサによる測定が同じタイミングで実行されてもよい。なお、以下の説明では、複数のラインセンサによる測定は同じタイミングで実行されることとする。

【0045】

そして、本実施形態では、対象物２０の測定結果を示す温度ライン画像、高さライン画像、及び、反射光量ライン画像に基づいて、当該対象物２０の良否判定が実行される。

【0046】

また、本実施形態では、対象物２０の良否判定を行うにあたって、キャリブレーション処理が事前に行われる。以下、キャリブレーション処理について説明する。

【0047】

キャリブレーション処理では、例えば、キャリブレーション用の物体（以下、キャリブレーション用オブジェクトと呼ぶ。）が上述の対象物２０と同様に一方向に一定速度で移動する。そして、キャリブレーション用オブジェクトの測定結果を示す複数のライン画像（ここでは例えば、複数の温度ライン画像、複数の高さライン画像、及び、複数の反射光量ライン画像）が生成される。

【0048】

そして、本実施形態では、このようにして生成されるライン画像に基づいて、測定結果画像が生成される。図３は、それぞれ、キャリブレーション用オブジェクトについての測定結果画像の一例である、温度測定結果画像３０、高さ測定結果画像３２、及び、反射光量測定結果画像３４を示す図である。

【0049】

本実施形態では例えば、温度ラインセンサ１６によって生成される温度ライン画像が複数並んで配置された温度測定結果画像３０が生成される。図３の例に示す温度測定結果画像３０では、１回の温度の測定結果を表す画素が縦一列に並ぶ温度ライン画像が、測定タイミングが早いものから順に左から右に並んで配置されている。

【0050】

また、本実施形態では例えば、光切断ラインセンサ１８によって生成される高さライン画像が複数並んで配置された高さ測定結果画像３２が生成される。図３の例に示す温度測定結果画像３０では、１回の高さの測定結果を表す画素が縦一列に並ぶ高さライン画像が、測定タイミングが早いものから順に左から右に並んで配置されている。

【0051】

また、本実施形態では例えば、光切断ラインセンサ１８によって生成される反射光量ライン画像が複数並んで配置された反射光量測定結果画像３４が生成される。図３の例に示す反射光量測定結果画像３４では、１回の反射光量の測定結果を表す画素が縦一列に並ぶ反射光量ライン画像が、測定タイミングが早いものから順に左から右に並んで配置されている。

【0052】

以下の説明では、それぞれの測定結果画像について、左上が原点であり、右方向がＸ軸正方向であり、下方向がＹ軸正方向であることとする。

【0053】

また、図３には、測定結果画像内におけるキャリブレーション用オブジェクトの測定結果に相当する領域であるキャリブレーション領域が示されている。例えば、図３には、温度測定結果画像３０内におけるキャリブレーション用オブジェクトの表面温度の測定結果に相当する領域である温度キャリブレーション領域３６が示されている。本実施形態では例えば、温度測定結果画像３０内における、所定の範囲内の画素値である画素を含む閉領域が温度キャリブレーション領域３６として特定されるようになっている。なお、公知の画像認識技術を用いて温度測定結果画像３０内における温度キャリブレーション領域３６が特定されるようにしてもよい。

【0054】

また、図３には、高さ測定結果画像３２内におけるキャリブレーション用オブジェクトの高さの測定結果に相当する領域である高さキャリブレーション領域３８が示されている。本実施形態では例えば、高さ測定結果画像３２内における、所定の範囲内の画素値である画素を含む閉領域が高さキャリブレーション領域３８として特定されるようになっている。なお、公知の画像認識技術を用いて高さ測定結果画像３２内における高さキャリブレーション領域３８が特定されるようにしてもよい。

【0055】

また、図３には、反射光量測定結果画像３４内におけるキャリブレーション用オブジェクトの反射光量の測定結果に相当する領域である反射光量キャリブレーション領域４０が示されている。本実施形態では例えば、反射光量測定結果画像３４内における、所定の範囲内の画素値である画素を含む閉領域が反射光量キャリブレーション領域４０として特定されるようになっている。なお、公知の画像認識技術を用いて反射光量測定結果画像３４内における反射光量キャリブレーション領域４０が特定されるようにしてもよい。

【0056】

本実施形態では、上述のように、搬送部１２によってキャリブレーション用オブジェクトが所定の搬送距離だけ搬送される度に温度ラインセンサ１６による測定と光切断ラインセンサ１８による測定とが同期して行われる。そのため、温度キャリブレーション領域３６、高さキャリブレーション領域３８、及び、反射光量キャリブレーション領域４０の横の画素数（幅）は、すべて同じとなる。図３の例では、この幅の画素数がｗで表現されている。

【0057】

そして、図２Ｂに示すように、温度ラインセンサ１６の下をキャリブレーション用オブジェクトが通過したタイミングからしばらくして、図２Ｃに示すように、光切断ラインセンサ１８の下を当該キャリブレーション用オブジェクトが通過する。そのため、図３に示すように、温度測定結果画像３０内における温度キャリブレーション領域３６の位置は、高さ測定結果画像３２内における高さキャリブレーション領域３８の位置よりも左となる。また、温度測定結果画像３０内における温度キャリブレーション領域３６の位置は、反射光量測定結果画像３４内における反射光量キャリブレーション領域４０の位置よりも左となる。

【0058】

そして、キャリブレーション処理では、図３の例で示されている、温度キャリブレーション領域３６の位置と、高さキャリブレーション領域３８の位置との間の左右方向のずれの画素数Ｄが、シフト量Ｄとして特定される。なお、本実施形態では、温度キャリブレーション領域３６の位置と、反射光量キャリブレーション領域４０の位置との間の左右方向のずれの画素数もＤである。

【0059】

また、温度ラインセンサ１６と光切断ラインセンサ１８の解像度の違いにより、温度キャリブレーション領域３６の縦方向の画素数は、高さキャリブレーション領域３８及び反射光量キャリブレーション領域４０の縦方向の画素数と異なっている。図３では、温度キャリブレーション領域３６の縦方向の画素数がｈで表現され、高さキャリブレーション領域３８及び反射光量キャリブレーション領域４０の縦方向の画素数がＨで表現されている。

【0060】

そして、キャリブレーション処理では、この画素数ｈ、及び、画素数Ｈに基づいて、サイズ変更率ｒが特定される。ここでは、例えば、ｈ／Ｈの値がサイズ変更率ｒとして特定される。

【0061】

そして、本実施形態では、以上のようにしてキャリブレーション処理により特定される、シフト量Ｄ、及び、サイズ変更率ｒを示すキャリブレーションデータが、記憶部１０ｂに記憶される。そして、このキャリブレーションデータを用いて、対象物２０の良否判定が実行される。このキャリブレーションデータは、複数の対象物２０のそれぞれの良否判定において共通して用いることができる。以下、良否判定処理について説明する。

【0062】

対象物２０の良否判定処理では、一方向に一定速度で移動する対象物２０の測定結果を示す複数のライン画像（ここでは例えば、複数の温度ライン画像、複数の高さライン画像、及び、複数の反射光量ライン画像）が生成される。

【0063】

そして、本実施形態では、このようにして生成されるライン画像に基づいて、測定結果画像が生成される。図４Ａは、それぞれ、対象物２０についての測定結果画像の一例である、温度測定結果画像５０、高さ測定結果画像５２、及び、反射光量測定結果画像５４を示す図である。

【0064】

また、図４Ａには、測定結果画像内における対象物２０の測定結果に相当する領域である対象物領域が示されている。例えば、図４Ａには、温度測定結果画像５０内における対象物２０の表面温度の測定結果に相当する領域である温度対象物領域５６が示されている。また、図４Ａには、高さ測定結果画像５２内における対象物２０の高さの測定結果に相当する領域である高さ対象物領域５８が示されている。また、図４Ａには、反射光量測定結果画像５４内における対象物２０の反射光量の測定結果に相当する領域である反射光量対象物領域６０が示されている。

【0065】

図３を参照して説明したように、温度対象物領域５６、高さ対象物領域５８、及び、反射光量対象物領域６０の横の画素数（幅）は、すべて同じとなる。

【0066】

そして、本実施形態では、キャリブレーションデータに基づいて、温度測定結果画像５０、高さ測定結果画像５２、及び、反射光量測定結果画像５４の位置合わせが行われる。ここでは例えば、キャリブレーションデータが示すシフト量Ｄに基づいて、高さ測定結果画像５２、及び、反射光量測定結果画像５４を左右方向にシフトさせることによる、位置合わせが行われる。ここでは例えば、高さ測定結果画像５２、及び、反射光量測定結果画像５４について、左からＤ個のライン画像を削除することによる、位置合わせが行われる。図４Ｂには、この削除が行われた後の、高さ測定結果画像５２、及び、反射光量測定結果画像５４が示されている。なお、図４Ｂには、図４Ａと同様の温度測定結果画像５０も示されている。この削除により、温度対象物領域５６、高さ対象物領域５８、及び、反射光量対象物領域６０のＸ座標値の範囲は同じになる。

【0067】

そして、本実施形態では例えば、キャリブレーションデータが示すサイズ変更率ｒに基づいて、高さ測定結果画像３２及び反射光量測定結果画像３４について、縦方向の長さがｒ倍となるようサイズ変更（ここでは、縮小）される。このサイズ変更が行われた後の状況が、図４Ｃに示されている。このことにより、温度対象物領域５６、高さ対象物領域５８、及び、反射光量対象物領域６０の縦方向の長さは同じになる。

【0068】

そして、本実施形態では例えば、図４Ｃに示されている、温度測定結果画像５０、高さ測定結果画像５２、及び、反射光量測定結果画像５４のそれぞれについて、Ｘ座標値の範囲が共通する部分が切り出される。例えば、図４Ｃに示すＸ座標値がｘ１以上ｘ２以下である部分が切り出される。このようにして切り出された温度測定結果画像５０、高さ測定結果画像５２、及び、反射光量測定結果画像５４が、図４Ｄに示されている。

【0069】

ここで例えば、いずれか１つの測定結果画像について、当該測定結果画像内における対象物領域が特定されるようにしてもよい。例えば、図４Ｃに示す、温度測定結果画像５０内における温度対象物領域５６が特定されるようにしてもよい。ここで例えば、温度測定結果画像５０内における、所定の範囲内の画素値である画素を含む閉領域が温度対象物領域５６として特定されるようにしてもよい。あるいは例えば、公知の画像認識技術を用いて温度測定結果画像５０内における温度対象物領域５６が特定されるようにしてもよい。

【0070】

本実施形態では例えば、このようにして、温度対象物領域５６の左辺のＸ座標値ｘ１、及び、右辺のＸ座標値ｘ２が特定される。

【0071】

そして温度測定結果画像５０、高さ測定結果画像５２、及び、反射光量測定結果画像５４のそれぞれから、Ｘ座標値がｘ１以上ｘ２以下である部分が切り出されるようにしてもよい。

【0072】

そして、本実施形態では、このようにして切り出された図４Ｄに示す温度測定結果画像５０、高さ測定結果画像５２、及び、反射光量測定結果画像５４に基づいて、各画素に複数の画素値が関連付けられたマルチチャネルの入力画像が生成される。ここでは例えば、各画素に、温度に対応付けられる画素値、高さに対応付けられる画素値、及び、反射光量に対応付けられる画素値が関連付けられた、マルチチャネルの入力画像が生成される。ここで例えば、縦横画素数が所定画素数である、マルチチャネルの入力画像が生成されてもよい。なお、マルチチャネルの入力画像の実装は特に問わず、例えば、当該入力画像が、各画素の画素値が複数である１つの画像であってもよいし、互いに対応付けられる画素がそれぞれ１個の画素値をもつ、互いに関連付けられた複数の画像であってもよい。

【0073】

ここで例えば、図４Ｄに示す高さ測定結果画像５２内における高さ対象物領域５８が特定されるようにしてもよい。ここで例えば、高さ測定結果画像５２内における、所定の範囲内の画素値である画素を含む閉領域が高さ対象物領域５８として特定されるようにしてもよい。あるいは例えば、公知の画像認識技術を用いて高さ測定結果画像５２内における高さ対象物領域５８が特定されるようにしてもよい。

【0074】

また例えば、図４Ｄに示す反射光量測定結果画像５４内における反射光量対象物領域６０が特定されるようにしてもよい。ここで例えば、反射光量測定結果画像５４内における、所定の範囲内の画素値である画素を含む閉領域が反射光量対象物領域６０として特定されるようになっている。あるいは例えば、公知の画像認識技術を用いて反射光量測定結果画像５４内における反射光量対象物領域６０が特定されるようにしてもよい。

【0075】

以上のようにして特定される温度対象物領域５６、高さ対象物領域５８、及び、反射光量対象物領域６０の縦横画素数はいずれも同じである。

【0076】

そして、各画素に、温度対象物領域５６に含まれる、当該画素に対応付けられる画素の画素値、高さ対象物領域５８に含まれる、当該画素に対応付けられる画素の画素値、及び、反射光量対象物領域６０に含まれる、当該画素に対応付けられる画素の画素値が関連付けられた、マルチチャネルの入力画像が生成されてもよい。

【0077】

なおここで例えば、図４Ｄに示す３つの画像について、縦方向について所定のシフト量でのシフトを行った上で座標値が同じ矩形領域を切り出して、同じ座標値の画素同士を関連付けることで、マルチチャネルの入力画像が生成されるようにしてもよい。ここで例えば、縦横画素数が上述の所定画素数となるよう、切り出された矩形領域の画像に対して変形やサイズ変更を実行することで、マルチチャネルの入力画像が生成されるようにしてもよい。

【0078】

本実施形態によれば、以上のようにすることで、各画素に所望の複数の物理量が関連付けられたマルチチャネルの入力画像を容易に生成できることとなる。

【0079】

そして本実施形態では、学習済の畳み込みニューラルネットワーク（ＣＮＮ）にこのマルチチャネルの入力画像を入力した際の出力に基づいて、対象物２０の良否が判定される。

【0080】

以下、情報処理装置１０に実装されている機能、及び、良否判定システム１で行われる処理についてさらに説明する。

【0081】

図５は、本実施形態に係る情報処理装置１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る情報処理装置１０で、図５に示す機能のすべてが実装される必要はなく、また、図５に示す機能以外の機能が実装されていても構わない。

【0082】

図５に示すように、情報処理装置１０には、機能的には例えば、機械学習モデル７０、訓練データ記憶部７２、学習部７４、キャリブレーションデータ記憶部７６、ライン画像取得部７８、ライン画像選択部８０、入力画像生成部８２、良否判定部８４、が含まれる。

【0083】

機械学習モデル７０は、プロセッサ１０ａ及び記憶部１０ｂを主として実装される。訓練データ記憶部７２、キャリブレーションデータ記憶部７６は、記憶部１０ｂを主として実装される。学習部７４、ライン画像選択部８０、入力画像生成部８２、良否判定部８４は、プロセッサ１０ａを主として実装される。ライン画像取得部７８は、通信部１０ｃを主として実装される。

【0084】

以上の機能は、コンピュータである情報処理装置１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１０ａで実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して情報処理装置１０に供給されてもよい。

【0085】

また、本実施形態に係る情報処理装置１０では、機械学習モデル７０の学習が実行される。そして、学習済の機械学習モデル７０を用いて、対象物２０の良否判定が実行される。

【0086】

以下、機械学習モデル７０の学習における情報処理装置１０の機能について説明する。

【0087】

機械学習モデル７０は、ＣＮＮ等の機械学習モデルである。なお、機械学習モデル７０がＣＮＮである必要はない。

【0088】

訓練データ記憶部７２は、本実施形態では例えば、図６にデータ構造の一例が示されている訓練データを複数記憶する。

【0089】

図６に示すように、本実施形態に係る訓練データには、例えば、訓練データＩＤ、学習入力画像、及び、教師データが含まれる。

【0090】

本実施形態では、複数の正例サンプル及び複数の負例サンプルのそれぞれについて、上述の方法と同様にして、マルチチャネルの入力画像が生成される。以下、このようにして機械学習モデル７０の学習にあたって生成される入力画像を、学習入力画像と呼ぶこととする。ここでは例えば、温度、高さ、反射光量の測定結果に基づいて、各画素に、温度に対応付けられる画素値、高さに対応付けられる画素値、及び、反射光量に対応付けられる画素値が関連付けられた、学習入力画像が生成される。本実施形態に係る学習入力画像は、それぞれ、良否判定の対象物２０の測定結果に基づいて生成される入力画像と縦横画素数が同じである。ここで上述のように縦横画素数が上述の所定画素数である学習入力画像が生成されてもよい。

【0091】

ここで、正例サンプルとは、学習済の機械学習モデル７０を用いた良否判定において良と判定されるべき対象物２０のサンプルを指す。また、負例サンプルとは、学習済の機械学習モデル７０を用いた良否判定において不良と判定されるべき対象物２０のサンプルを指す。

【0092】

そして、サンプルに対応付けられる訓練データＩＤ、当該サンプルに基づいて生成される学習入力画像、及び、当該サンプルに応じた教師データ、を含む訓練データが生成される。ここで例えば、正例サンプルに対応付けられる教師データの値として、正例であることを示すもの（例えば、１）が設定される。また、負例サンプルに対応付けられる教師データの値として、負例であることを示すもの（例えば、０）が設定される。

【0093】

そして、訓練データ記憶部７２は、以上のようにして生成される複数の正例サンプルにそれぞれ対応付けられる訓練データ、及び、複数の負例サンプルにそれぞれ対応付けられる訓練データ、を記憶する。

【0094】

なお、上述の方法は、訓練データの生成方法の一例にすぎず、訓練データ記憶部７２が、上述の方法とは異なる方法により生成された訓練データを記憶してもよい。

【0095】

学習部７４は、本実施形態では例えば、訓練データ記憶部７２に記憶されている訓練データを用いて、機械学習モデル７０の学習を実行する。

【0096】

図７に示すように、学習部７４は、例えば、訓練データに含まれる学習入力画像を、機械学習モデル７０に入力する。そして、学習部７４は、当該入力に応じた機械学習モデル７０からの出力を示す出力データを取得する。そして、学習部７４は、出力データの値と、当該訓練データに含まれる教師データの値と、の差を特定する。そして、学習部７４は、特定された差に対応付けられるロス関数の値が最小となるよう、誤差逆伝搬法により機械学習モデル７０のパラメータの値を更新する教師あり学習を実行する。

【0097】

このようにして、学習済の機械学習モデル７０が生成される。そして、上述のようにこの学習済の機械学習モデル７０を用いて、対象物２０の良否判定が実行される。

【0098】

以下、学習済の機械学習モデル７０を用いた対象物２０の良否判定における情報処理装置１０の機能について説明する。

【0099】

キャリブレーションデータ記憶部７６は、本実施形態では例えば、事前のキャリブレーション処理によって生成される、上述のキャリブレーションデータを記憶する。

【0100】

ライン画像取得部７８は、本実施形態では例えば、第１のラインセンサ（上述の例では温度ラインセンサ１６）によって生成される第１種ライン画像（上述の例では温度ライン画像）を取得する。

【0101】

また、ライン画像取得部７８は、本実施形態では例えば、第２のラインセンサ（上述の例では光切断ラインセンサ１８）によって生成される第２種ライン画像（上述の例では高さライン画像、及び、反射光量ライン画像）を取得する。

【0102】

ライン画像選択部８０は、本実施形態では例えば、入力画像に相当する所与の画素配列に対応する、少なくとも１つの第１種ライン画像と、少なくとも１つの第２種ライン画像と、を選択する。ここでは例えば、図４Ｃに示すＸ座標値の範囲がｘ１以上ｘ２以下である、温度ライン画像、高さライン画像、及び、反射光量ライン画像が選択される。

【0103】

なお、上述のように、ライン画像選択部８０が、測定結果画像を生成してもよい。そして、ライン画像選択部８０が、測定結果画像の一部である、少なくとも１つのライン画像を選択してもよい。

【0104】

ここで本実施形態では、選択されるライン画像は、第１のラインセンサと第２のラインセンサとの離間間隔、及び、対象物２０の移動速度に基づいて決定される測定タイミング差に応じたものとなっている。この測定タイミングの差は、例えば、キャリブレーションデータ記憶部７６が記憶するキャリブレーションデータが示すシフト量Ｄに相当するものである。すなわち、ライン画像選択部８０が、キャリブレーションデータ記憶部７６が記憶するキャリブレーションデータが示すシフト量Ｄに基づいて、ライン画像の選択を行ってもよい。

【0105】

なお、上述のように、キャリブレーション処理において生成される測定結果画像に基づいて、測定タイミングの差（上述の例ではシフト量Ｄ）が特定されてもよい。また、温度ラインセンサ１６と光切断ラインセンサ１８との離間間隔と、対象物２０の移動速度（搬送部１２による対象物２０の搬送速度）と、に基づいて、ユーザが計算によりシフト量Ｄを特定してもよい。

【0106】

入力画像生成部８２は、本実施形態では例えば、入力画像に相当する画素配列に含まれる各画素に、選択された第１種ライン画像に含まれる、当該画素に対応付けられる画素値と、選択された第２種ライン画像に含まれる、当該画素に対応付けられる画素値と、を関連付けることで、マルチチャネルの入力画像を生成する。ここでは例えば、入力画像に相当する画素配列に含まれる各画素に、選択された温度ライン画像に含まれる、当該画素に対応付けられる画素値と、選択された高さライン画像に含まれる、当該画素に対応付けられる画素値と、選択された反射光量ライン画像に含まれる、当該画素に対応付けられる画素値と、を関連付けることで、入力画像を生成する。

【0107】

なお、ラインセンサによって測定される物理量は、上述の、温度、高さ、反射光量には限定されない。例えば、ラインセンサによって、凹凸、光沢、又は、色が特定されてもよい。そして、入力画像に含まれる画素の画素値が示す物理量が、凹凸、光沢、又は、色であってもよい。すなわち、入力画像の画素値は、例えば、温度、高さ、反射光量、凹凸、光沢、色、などの物理量を示すこととなる。

【0108】

また、上述のように、ライン画像選択部８０が、少なくとも１つのライン画像に対して、所与のサイズ変更率（ここでは例えば、キャリブレーションデータ記憶部７６が記憶するキャリブレーションデータが示すサイズ変更率ｒ）によるサイズ変更を実行してもよい。上述の例では、複数の高さライン画像を含む高さ測定結果画像５２、及び、複数の反射光量ライン画像を含む反射光量測定結果画像５４、の縦方向の長さに対して、サイズ変更率ｒによるサイズ変更が実行されている。

【0109】

そして、入力画像生成部８２が、サイズ変更が実行されたライン画像に基づいて、入力画像を生成してもよい。

【0110】

良否判定部８４は、本実施形態では例えば、マルチチャネルの入力画像を学習済の機械学習モデル７０に入力した際の当該機械学習モデル７０からの出力に基づいて、対象物２０の良否を判定する。ここでは例えば、図８に示すように、対象物２０の物理量の測定結果に基づいて生成されるマルチチャネルの入力画像が、学習済の機械学習モデル７０に入力される。そして、当該入力に応じて機械学習モデル７０から出力される出力データの値に基づいて、当該対象物２０の良否が判定される。ここで例えば、出力データの値が所定の閾値（例えば、０．５）以上であれば、当該対象物２０は良と判定され、そうでなければ、当該対象物２０は不良と判定される。なお、良否判定部８４が、良否判定の結果をユーザに通知してもよい。

【0111】

ここで、本実施形態に係る情報処理装置１０で行われる学習処理の流れの一例を、図９に例示するフロー図を参照しながら説明する。なお本処理例では、予め、訓練データ記憶部７２に複数の訓練データが記憶されていることとする。

【0112】

まず、学習部７４が、訓練データ記憶部７２に記憶されている訓練データのうちから、Ｓ１０２に示す処理が実行されていない訓練データを１つ選択する（Ｓ１０１）。

【0113】

そして、学習部７４が、Ｓ１０１に示す処理で選択された訓練データを用いて、機械学習モデル７０の学習を実行する（Ｓ１０２）。

【0114】

そして、学習部７４が、訓練データ記憶部７２に記憶されているすべての訓練データについて、Ｓ１０２に示す処理が実行されたか否かを確認する（Ｓ１０３）。ここで、実行されていないことが確認された場合は（Ｓ１０３：Ｎ）、Ｓ１０１に示す処理に戻る。一方、実行されたことが確認された場合は（Ｓ１０３：Ｙ）、本処理例に示す処理は終了される。

【0115】

次に、本実施形態に係る良否判定システム１で行われる、学習済の機械学習モデル７０を用いた、対象物２０の良否判定処理の流れの一例を、図１０に例示するフロー図を参照しながら説明する。なお、本処理例では、事前に上述のキャリブレーション処理が実行されており、シフト量Ｄ及びサイズ変更率ｒを示すキャリブレーションデータが、キャリブレーションデータ記憶部７６に記憶されていることとする。

【0116】

対象物２０の搬送が開始されると、温度ラインセンサ１６、及び、光切断ラインセンサ１８は、エンコーダ１４からの信号の入力を待機することで、測定タイミングの到来を待機する（Ｓ２０１）。

【0117】

エンコーダ１４からの信号を受け付けることで、温度ラインセンサ１６、及び、光切断ラインセンサ１８が、測定タイミングの到来を検出すると（Ｓ２０１：Ｙ）、温度ラインセンサ１６、及び、光切断ラインセンサ１８は、測定処理を実行する（Ｓ２０２）。本処理例では、この測定処理によって、ライン画像が生成される。上述の通り、測定処理が実行されるタイミングは、温度ラインセンサ１６と光切断ラインセンサ１８とで同期がとられている。

【0118】

そして、温度ラインセンサ１６が、Ｓ２０２に示す測定処理の実行回数が所定の回数に達したか否かを確認する（Ｓ２０３）。

【0119】

測定処理の実行回数が所定の回数に達していない場合は（Ｓ２０３：Ｎ）、Ｓ２０１に示す処理に戻る。

【0120】

測定処理の実行回数が所定の回数に達した場合は（Ｓ２０３：Ｙ）、ライン画像取得部７８が、温度ラインセンサ１６、及び、光切断ラインセンサ１８から、それまでの所定の回数の測定により生成されたライン画像を取得する（Ｓ２０４）。Ｓ２０４に示す処理では、例えば、温度ラインセンサ１６が、複数の温度ライン画像を情報処理装置１０に送信してもよい。そして、情報処理装置１０のライン画像取得部７８が、送信された複数の温度ライン画像を受信してもよい。また、光切断ラインセンサ１８が、複数の高さライン画像、及び、複数の反射光量ライン画像を情報処理装置１０に送信してもよい。そして、情報処理装置１０のライン画像取得部７８が、複数の高さライン画像、及び、複数の反射光量ライン画像を受信してもよい。なお、ライン画像には、当該ライン画像の生成順序、又は、当該ライン画像の生成時刻を示すタイムスタンプが関連付けられていることとする。

【0121】

そして、ライン画像選択部８０が、Ｓ２０４に示す処理で取得されたライン画像に基づいて、測定結果画像を生成する（Ｓ２０５）。ここでは例えば、複数の温度ライン画像に基づいて、温度測定結果画像５０が生成され、複数の高さライン画像に基づいて、高さ測定結果画像５２が生成され、複数の反射光量ライン画像に基づいて、反射光量測定結果画像５４が生成される。

【0122】

そして、ライン画像選択部８０が、キャリブレーションデータ記憶部７６に記憶されているキャリブレーションデータが示すシフト量Ｄに基づいて、高さ測定結果画像５２、及び、反射光量測定結果画像５４の位置合わせを実行する（Ｓ２０６）。ここでは上述のように、高さ測定結果画像５２、及び、反射光量測定結果画像５４について、左からＤ個のライン画像を削除することによる、位置合わせが行われる。

【0123】

そして、ライン画像選択部８０が、キャリブレーションデータ記憶部７６に記憶されているキャリブレーションデータが示すサイズ変更率ｒに基づいて、高さ測定結果画像５２、及び、反射光量測定結果画像５４のサイズ変更を実行する（Ｓ２０７）。ここでは上述のように、高さ測定結果画像５２、及び、反射光量測定結果画像５４の縦方向の長さがｒ倍される。

【0124】

そして、ライン画像選択部８０が、ライン画像の選択を実行する（Ｓ２０８）。ここでは上述のように、図４Ｃに例示されている温度測定結果画像５０、高さ測定結果画像５２、及び、反射光量測定結果画像５４のそれぞれから、Ｘ座標値がｘ１以上ｘ２以下である部分を切り出すことで、ライン画像の選択が実行される。

【0125】

そして、入力画像生成部８２が、Ｓ２０８に示す処理で選択されたライン画像に基づいて、マルチチャネルの入力画像を生成する（Ｓ２０９）。

【0126】

そして、良否判定部８４が、Ｓ２０９に示す処理で生成されたマルチチャネルの入力画像を、学習済の機械学習モデル７０に入力する（Ｓ２１０）。

【0127】

そして、良否判定部８４が、Ｓ２１０に示す処理での入力に応じた機械学習モデル７０からの出力に基づいて、搬送された対象物２０の良否を判定する（Ｓ２１１）。ここでは例えば、入力画像の入力に応じて、機械学習モデル７０から出力される出力データの値に基づいて、対象物２０の良否が判定される。

【0128】

そして、本処理例に示す処理は終了される。

【0129】

なお、本発明は上述の実施形態に限定されるものではない。

【0130】

例えば、連続して搬送される複数の対象物２０のそれぞれについて、上述の処理が実行され、複数の対象物２０についての良否判定処理が連続して実行されてもよい。

【0131】

また、複数の対象物２０について連続して測定した結果を示す１つの測定結果画像に基づいて、マルチチャネルの入力画像が複数生成されてもよい。

【0132】

また、温度ラインセンサ１６と光切断ラインセンサ１８とで測定タイミングの同期がとられている必要はなく、対象物２０における測定位置が互いに対応付けられる、少なくとも１つの第１種ライン画像と、少なくとも１つの第２種ライン画像とが選択されてもよい。そしてこのようにして選択される第１種ライン画像及び第２種ライン画像に基づいて、マルチチャネルの入力画像が生成されてもよい。

【0133】

また、本実施形態においてライン画像を生成するラインセンサは２つには限定されず、互いに離間して配置された３つ以上のラインセンサのそれぞれにより生成されるライン画像に基づいて、マルチチャネルの入力画像が生成されてもよい。

【0134】

また、情報処理装置１０、温度ラインセンサ１６、光切断ラインセンサ１８の役割分担は、上述のものには限定されない。例えば、情報処理装置１０の代わりに温度ラインセンサ１６が、温度測定結果画像３０や温度測定結果画像５０を生成してもよい。また、情報処理装置１０の代わりに光切断ラインセンサ１８が、高さ測定結果画像３２や反射光量測定結果画像３４や高さ測定結果画像５２や反射光量測定結果画像５４を生成してもよい。

【0135】

また、上記の具体的な数値や文字列、並びに、図面中の具体的な数値や文字列は例示であり、これらの数値や文字列には限定されない。

【符号の説明】

【0136】

１ 良否判定システム、１０ 情報処理装置、１０ａ プロセッサ、１０ｂ 記憶部、１０ｃ 通信部、１０ｄ 表示部、１０ｅ 操作部、１２ 搬送部、１４ エンコーダ、１６ 温度ラインセンサ、１８ 光切断ラインセンサ、１８ａ カメラ、１８ｂ レーザ光源、２０ 対象物、３０ 温度測定結果画像、３２ 高さ測定結果画像、３４ 反射光量測定結果画像、３６ 温度キャリブレーション領域、３８ 高さキャリブレーション領域、４０ 反射光量キャリブレーション領域、５０ 温度測定結果画像、５２ 高さ測定結果画像、５４ 反射光量測定結果画像、５６ 温度対象物領域、５８ 高さ対象物領域、６０ 反射光量対象物領域、７０ 機械学習モデル、７２ 訓練データ記憶部、７４ 学習部、７６ キャリブレーションデータ記憶部、７８ ライン画像取得部、８０ ライン画像選択部、８２ 入力画像生成部、８４ 良否判定部。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】