特許 7519970 情報処理装置および情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-11

(45)【発行日】2024-07-22

(54)【発明の名称】情報処理装置および情報処理システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240712BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 2

(21)【出願番号】P 2021142508

(22)【出願日】2021-09-01

(65)【公開番号】P2023035559

(43)【公開日】2023-03-13

【審査請求日】2023-02-09

【前置審査】

(73)【特許権者】

【識別番号】000002967

【氏名又は名称】ダイハツ工業株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】竹内 裕喜

(72)【発明者】

【氏名】永吉 直樹

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】国際公開第２０１９／１３１７４２（ＷＯ，Ａ１）

【文献】特開２０２１－０５１７０２（ＪＰ，Ａ）

【文献】特開２０１５－０８７１４７（ＪＰ，Ａ）

【文献】特開２００８－１４５１９２（ＪＰ，Ａ）

【文献】特開２０２１－０１２１３１（ＪＰ，Ａ）

【文献】特開平０９－２５１５４４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

対象物が搬送される搬送路を撮影する撮影部で撮影された複数の画像から、前記対象物を含む前記画像である判定対象画像をパタンマッチングにより取得する取得部と、
前記判定対象画像に含まれる前記対象物の円弧形状部および前記対象物の端部の各々を含む特定領域を前記判定対象画像から抽出し、前記特定領域に含まれる前記対象物の画像領域以外の領域をマスキング処理した後の前記特定領域を、前記判定対象画像から前記対象物の異常の判定結果を出力する学習モデルへ入力し前記学習モデルからの出力として、前記判定対象画像に含まれる前記対象物の円弧形状部および前記対象物の端部の各々の異常を判定する判定部と、
を備える情報処理装置。

【請求項2】

対象物が搬送される搬送路を撮影する撮影部と、
前記撮影部で撮影された複数の画像から、前記対象物を含む前記画像である判定対象画像をパタンマッチングにより取得する取得部と、
前記判定対象画像に含まれる前記対象物の円弧形状部および前記対象物の端部の各々を含む特定領域を前記判定対象画像から抽出し、前記特定領域に含まれる前記対象物の画像領域以外の領域をマスキング処理した後の前記特定領域を、前記判定対象画像から前記対象物の異常の判定結果を出力する学習モデルへ入力し前記学習モデルからの出力として、前記判定対象画像に含まれる前記対象物の円弧形状部および前記対象物の端部の各々の異常を判定する判定部と、
を備える情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置および情報処理システムに関する。

【背景技術】

【0002】

従来、ベルトコンベア等の搬送路を搬送される対象物の異常を検出する装置が知られている。例えば、撮影された検査対象物の映像の正規化データを用いて異物を識別する装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１７４４８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、搬送速度が高速となるほど対象物の異常検出が困難となる場合があった。

【0005】

本開示が解決しようとする課題は、搬送される対象物の異常を高精度に判定することができる情報処理装置および情報処理システムを提供することである。

【課題を解決するための手段】

【0006】

本開示にかかる情報処理装置は、取得部と、判定部と、を備える。取得部は、対象物が搬送される搬送路を撮影する撮影部で撮影された複数の画像から、前記対象物を含む前記画像である判定対象画像をパタンマッチングにより取得する。判定部は、前記判定対象画像に含まれる前記対象物の円弧形状部および前記対象物の端部の各々を含む特定領域を前記判定対象画像から抽出し、前記特定領域に含まれる前記対象物の画像領域以外の領域をマスキング処理した後の前記特定領域を、前記判定対象画像から前記対象物の異常の判定結果を出力する学習モデルへ入力し前記学習モデルからの出力として、前記判定対象画像に含まれる前記対象物の円弧形状部および前記対象物の端部の各々の異常を判定する。

【発明の効果】

【0007】

本開示にかかる情報処理装置および情報処理システムによれば、搬送される対象物の異常を高精度に判定することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る情報処理システムの一例を示す模式図である。

【図2】図２は、実施形態に係る情報処理装置の一例のハードウェア構成図である。

【図3】図３は、実施形態に係る情報処理装置の一例の機能ブロック図である。

【図4A】図４Ａは、実施形態に係る動画像の一例の模式図である。

【図4B】図４Ｂは、実施形態に係る静止画像の一例の模式図である。

【図5A】図５Ａは、実施形態に係る異常判定の一例の説明図である。

【図5B】図５Ｂは、実施形態に係る特定領域の画像の一例の説明図である。

【図5C】図５Ｃは、実施形態に係るマスキング処理された特定領域の一例の模式図である。

【図6】図６は、実施形態に係る表示画面の一例の模式図である。

【図7】図７は、実施形態に係る情報処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下に添付図面を参照して、本開示に係る情報処理装置および情報処理システムの実施形態を説明する。

【0010】

図１は、本実施形態の情報処理システム１の一例を示す模式図である。情報処理システム１は、情報処理装置１０と、撮影部２０と、搬送路３０と、を備える。

【0011】

情報処理システム１は、搬送路３０を搬送される対象物の異常を判定するシステムである。

【0012】

対象物とは、異常の判定対象の物である。対象物は、搬送路３０を搬送される物であればよい。対象物は、例えば、車両等の製品、製品または建造物等を構成する部品Ｄ、果実等の食品、等である。本実施形態では、対象物が、車両を構成する部品Ｄである形態を一例として説明する。

【0013】

搬送路３０は、部品Ｄの搬送される経路である。搬送路３０は、例えば、無端状のベルト部材等で構成され、内側を円柱状の支持体３０Ａおよび支持体３０Ｂ等によって支持されている。支持体３０Ａおよび支持体３０Ｂの回転によって、支持体３０Ａおよび支持体３０Ｂによって支持された搬送路３０が回転され、搬送路３０上の部品Ｄが搬送方向に搬送される。図１には、搬送路３０上の部品Ｄが矢印Ｘ方向に搬送される形態を一例として示す。

【0014】

撮影部２０は、部品Ｄの搬送される搬送路３０を撮影する。撮影部２０は、搬送路３０上の所定の撮影範囲２２を撮影可能に配置されている。撮影範囲２２は、例えば、搬送路３０を搬送される１つの部品Ｄの全体を含む範囲となるように予め調整されている。すなわち、本実施形態では、撮影部２０は、搬送路３０を搬送される部品Ｄの全体像を撮影可能に配置されている。なお、撮影部２０は、搬送路３０を搬送される部品Ｄの少なくとも一部を撮影可能であればよい。

【0015】

撮影部２０は、撮影によって複数の画像を得る。例えば、撮影部２０は、時系列に連続する複数の画像から構成される動画像データを得る。動画像データは、撮影部２０で撮影される複数の画像の一例である。本実施形態では、撮影によって得られる複数の画像を、動画像データと称して説明する場合がある。動画像データを構成する各画像は、例えば、静止画像である。以下では、動画像データを動画像と称し、静止画像データを静止画像と称して説明する場合がある。

【0016】

本実施形態では、撮影部２０は、搬送路３０の駆動が開始されたときに、搬送路３０の動画像の撮影を開始する形態を一例として説明する。搬送路３０の駆動とは、搬送路３０の矢印Ｘ方向への搬送を意味する。

【0017】

例えば、撮影部２０は、ユーザによる撮影部２０の撮影開始ボタンの操作指示等によって撮影開始信号を受付けると、搬送路３０の動画像の撮影を開始する。ユーザは、搬送路３０の駆動が開始されると、撮影部２０の撮影開始ボタン等を操作指示すればよい。

【0018】

なお、撮影部２０は、搬送路３０の駆動を検出したときに、搬送路３０の動画像の撮影を開始してもよい。この場合、撮影部２０と搬送路３０の駆動部とを通信可能に接続した構成とし、駆動開始したときに搬送路３０が撮影開始信号を撮影部２０へ送信する構成とすればよい。

【0019】

本実施形態では、情報処理システム１は、１つの撮影部２０を備える形態を一例として説明する。撮影部２０は、搬送路３０を搬送される部品Ｄを所定の撮影方向から撮影可能な位置に配置されている。所定の撮影方向は、例えば、搬送路３０を搬送される部品Ｄを上面側から撮影可能な方向である。上面側から撮影可能な方向とは、例えば、搬送路３０における部品Ｄの搬送面に対して対向する方向側から該搬送面に向かう方向である。

【0020】

情報処理装置１０は、搬送路３０を搬送される部品Ｄの異常を判定する。

【0021】

まず、情報処理装置１０のハードウェア構成を説明する。

【0022】

図２は、情報処理装置１０のハードウェア構成図の一例である。

【0023】

情報処理装置１０は、ＣＰＵ（Central Processing Unit）１１Ａ、ＲＯＭ（Read Only Memory）１１Ｂ、ＲＡＭ（Random Access Memory）１１Ｃ、およびＩ／Ｆ１１Ｄ等がバス１１Ｅにより相互に接続され、通常のコンピュータを利用したハードウェア構成である。

【0024】

ＣＰＵ１１Ａは、本実施形態の情報処理装置１０を制御する演算装置である。ＲＯＭ１１Ｂは、ＣＰＵ１１Ａによる各種処理を実現するプログラム等を記憶する。ＲＡＭ１１Ｃは、ＣＰＵ１１Ａによる各種処理に必要なデータを記憶する。Ｉ／Ｆ１１Ｄは、データを送受信するためのインターフェースである。

【0025】

本実施形態の情報処理装置１０で実行される情報処理を実行するためのプログラムは、ＲＯＭ１１Ｂ等に予め組み込んで提供される。なお、本実施形態の情報処理装置１０で実行されるプログラムは、情報処理装置１０にインストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。

【0026】

次に、情報処理装置１０の機能的構成を説明する。

【0027】

図３は、情報処理装置１０の一例の機能ブロック図である。図３には、情報処理システム１に含まれる情報処理装置１０以外の構成も併せて示す。

【0028】

情報処理装置１０は、処理部１２と、通信部１４と、記憶部１６と、表示部１８と、を備える。処理部１２、通信部１４、記憶部１６、および表示部１８は、例えば、バス１９を介して通信可能に接続されている。

【0029】

通信部１４は、撮影部２０と通信可能に接続されている。通信部１４は、撮影部２０と通信するための通信インターフェースである。記憶部１６は、各種の情報を記憶する。本実施形態では、記憶部１６は、学習モデル１６Ａを予め記憶する。学習モデル１６Ａの詳細は後述する。

【0030】

表示部１８は、各種の情報を表示する。表示部１８は、例えば、画像を表示するディスプレイである。なお、情報処理装置１０は、音声を出力するスピーカを更に備えた構成であってもよい。

【0031】

処理部１２は、各種の情報処理を実行する。本実施形態では、処理部１２は、取得部１２Ａと、判定部１２Ｂと、出力制御部１２Ｃと、を備える。取得部１２Ａ、判定部１２Ｂ、および出力制御部１２Ｃの一部または全ては、例えば、ＣＰＵ等の処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよい。また、取得部１２Ａ、判定部１２Ｂ、および出力制御部１２Ｃの一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアにより実現してもよい。また、取得部１２Ａ、判定部１２Ｂ、および出力制御部１２Ｃの一部または全ては、ソフトウェアおよびハードウェアを併用して実現してもよい。

【0032】

取得部１２Ａ、判定部１２Ｂ、および出力制御部１２Ｃの少なくとも１つを、ネットワーク等を介して情報処理装置１０に通信可能に接続された外部の情報処理装置に搭載した構成としてもよい。また、記憶部１６に記憶されたデータの少なくとも一部を、ネットワーク等を介して情報処理装置１０に通信可能に接続された外部の情報処理装置に記憶した構成としてもよい。

【0033】

取得部１２Ａは、部品Ｄが搬送される搬送路３０を撮影する撮影部２０で撮影された動画像から、部品Ｄを含む画像を判定対象画像として取得する。部品Ｄを含む画像は、撮影部２０で撮影された複数の画像における、対象物を含む画像である判定対象画像の一例である。

【0034】

図４Ａは、撮影部２０で撮影された動画像４０の一例の模式図である。動画像４０は、時系列に連続する複数の画像４２から構成される。画像４２は、例えば、静止画像である。上述したように、撮影部２０は、搬送路３０上の所定の撮影範囲２２を撮影するように配置されている。また、例えば、撮影範囲２２は、搬送路３０を搬送される１つの部品Ｄの全体像を含む範囲となるように予め調整されている。このため、搬送路３０を搬送される部品Ｄが撮影範囲２２に至ったタイミングで撮影された画像４２には部品Ｄが含まれる。また、搬送路３０を搬送される部品Ｄが撮影範囲２２から外れた位置に存在するタイミングで撮影された画像４２には部品Ｄが含まれない。以下では、部品Ｄを含む画像４２を、判定対象画像４４と称して説明する。

【0035】

取得部１２Ａは、撮影部２０で順次撮影される画像４２を順次確認し、画像４２に部品Ｄが含まれる否かを判断する。取得部１２Ａは、部品Ｄを含む画像４２を特定した場合、該画像４２を判定対象画像４４として取得する。

【0036】

例えば、取得部１２Ａは、パタンマッチング等の画像処理技術を用いて、撮影部２０で順次撮影される画像４２に部品Ｄが含まれるか否かを判断する。そして、取得部１２Ａは、部品Ｄが含まれると判断した画像４２を判定対象画像４４として取得する。

【0037】

なお、取得部１２Ａは、部品Ｄの全体像を含む画像４２を判定対象画像４４として取得することが好ましい。この場合、例えば、パタンマッチングに用いるパタンとして、部品Ｄの全体像を表すパタン画像を予め記憶部１６に記憶すればよい。そして、取得部１２Ａは、記憶部１６に記憶された部品Ｄの全体像を表すパタン画像を用いたパタンマッチング等により、部品Ｄの全体像を含む判定対象画像４４を取得すればよい。

【0038】

図４Ｂは、判定対象画像４４の一例を示す模式図である。判定対象画像４４には、部品Ｄの画像領域４６が含まれる。

【0039】

図３に戻り説明を続ける。判定部１２Ｂは、取得部１２Ａで取得した判定対象画像４４に基づいて、部品Ｄの異常を判定する。

【0040】

部品Ｄの異常とは、部品Ｄに生じている異常を意味する。部品Ｄの異常は、例えば、部品Ｄに対する傷、割れ、汚れ、変形、または変色、等を意味する。

【0041】

判定部１２Ｂは、部品Ｄに異常が含まれるか否かを判定し、部品Ｄに異常が含まれる場合、部品Ｄを異常と判定する。判定部１２Ｂは、部品Ｄに異常が含まれない場合、部品Ｄを正常と判定する。

【0042】

判定部１２Ｂは、例えば、部品Ｄを含む判定対象画像４４に対して正常パタンまたは異常パタンを用いたパタンマッチング等の画像処理技術を用いて、部品Ｄの異常を判定する。正常パタンには、異常を含まない部品Ｄの画像を用いればよい。異常パタンには、異常を含む部品Ｄの画像を用いればよい。

【0043】

また、判定部１２Ｂは、学習モデル１６Ａを用いて判定対象画像４４から部品Ｄの異常を判定してもよい。本実施形態では、判定部１２Ｂは、学習モデル１６Ａを用いて部品Ｄの異常を判定する形態を一例として説明する。

【0044】

学習モデル１６Ａは、判定対象画像４４から部品Ｄの異常の判定結果を出力する学習モデルである。言い換えると、学習モデル１６Ａは、判定対象画像４４を入力とし、部品Ｄの異常の判定結果を出力とする学習モデルである。

【0045】

情報処理装置１０は、公知の機械学習により学習モデル１６Ａを予め学習し、記憶部１６に予め記憶すればよい。

【0046】

例えば、情報処理装置１０は、ユークリッド距離を用いたクラスタリング手法等による教師データなしの機械学習により、学習モデル１６Ａを予め学習する。例えば、情報処理装置１０は、異常を含まない部品Ｄの複数の判定対象画像４４を用いて、正常な部品Ｄの判定対象画像４４の特徴を学習することで、学習モデル１６Ａを学習する。

【0047】

また、情報処理装置１０は、教師データを用いた機械学習により予め学習モデル１６Ａを学習してもよい。教師データには、例えば、異常を含む部品Ｄの判定対象画像４４と異常を表す判定結果との対、および異常を含まない部品Ｄの判定対象画像４４と正常を表す判定結果との対、の各々の複数の対を用いればよい。また、この場合、機械学習には、例えば、ＣＮＮ（Convolutional Neural Network）等の深層学習等を用いればよい。

【0048】

なお、学習モデル１６Ａの学習は、外部の情報処理装置等で実行してもよい。この場合、情報処理装置１０は、他の情報処理装置で学習された学習モデル１６Ａを予め記憶部１６に記憶すればよい。

【0049】

なお、判定部１２Ｂは、判定対象画像４４を複数の分割領域に分割した分割領域ごとに異常を判定してもよい。この場合、判定部１２Ｂは、判定対象画像４４を複数の分割領域に分割した分割領域の各々を入力とし、分割領域ごとの異常の判定結果を出力とする学習モデル１６Ａを予め学習し、判定処理に用いればよい。

【0050】

また、判定部１２Ｂは、判定対象画像４４に含まれる部品Ｄの予め定めた形状の特定領域ごとに、異常を判定してもよい。特定領域には、部品Ｄにおける異常の発生しやすい領域、および部品Ｄにおける特に正常であることが要求される領域、等を予め定めればよい。この場合、判定部１２Ｂは、特定領域の各々を入力とし、特定領域ごとの異常の判定結果を出力とする学習モデル１６Ａを予め学習し、判定処理に用いればよい。

【0051】

図５Ａは、異常判定の一例の説明図である。図５Ａには、特定領域が、部品Ｄの円弧形状部４６Ａおよび部品Ｄの端部４６Ｂである形態を一例として示す。部品Ｄの円弧形状部４６Ａは、アーチ部、または、アーチ形状部と称される場合がある。部品Ｄの端部４６Ｂは、例えば、ボトム、またはボトム部と称される場合がある。

【0052】

判定部１２Ｂは、判定対象画像４４から、部品Ｄの円弧形状部４６Ａを含む特定領域４４Ａおよび部品Ｄの端部４６Ｂを含む特定領域４４Ｂを抽出する。判定部１２Ｂは、パタンマッチング等の画像処理技術を用いて、円弧形状部４６Ａの特定領域４４Ａおよび端部４６Ｂの特定領域４４Ｂを判定対象画像４４から抽出すればよい。

【0053】

図５Ｂは、判定対象画像４４から抽出された特定領域４４Ａおよび特定領域４４Ｂの各々の画像の一例の説明図である。特定領域４４Ａには部品Ｄの円弧形状部４６Ａが含まれ、特定領域４４Ｂには部品Ｄの端部４６Ｂが含まれる。

【0054】

判定部１２Ｂは、判定対象画像４４から抽出した特定領域４４Ａおよび特定領域４４Ｂの各々を学習モデル１６Ａへ入力することで、学習モデル１６Ａからの出力として、特定領域４４Ａに含まれる円弧形状部４６Ａおよび特定領域４４Ｂに含まれる端部４６Ｂの各々の異常の判定結果を得る。

【0055】

なお、判定部１２Ｂは、判定対象画像４４に含まれる部品Ｄの画像領域４６以外の領域をマスキング処理した判定対象画像４４に基づいて、部品Ｄの異常を判定してもよい。判定対象画像４４から抽出した特定領域４４Ａおよび特定領域４４Ｂを用いて部品Ｄの異常を判定する場合、判定部１２Ｂは、特定領域４４Ａおよび特定領域４４Ｂの各々に含まれる部品Ｄの画像領域４６以外の領域をマスキング処理した後に、部品Ｄの円弧形状部４６Ａおよび端部４６Ｂの各々の異常を判定してもよい。

【0056】

図５Ｃは、マスキング処理された特定領域４４Ａの一例の模式図である。例えば、判定部１２Ｂは、特定領域４４Ａにおける円弧形状部４６Ａ以外の領域Ｍをマスキング処理する。判定部１２Ｂは、マスキング処理された特定領域４４Ａを学習モデル１６Ａへ入力することで、円弧形状部４６Ａの異常の判定結果を得ればよい。

【0057】

判定部１２Ｂが、部品Ｄの画像領域４６以外の領域をマスキング処理した判定対象画像４４を用いて部品Ｄの異常を判定することで、より高精度で且つ高速に部品Ｄの異常を判定することができる。

【0058】

図３に戻り説明を続ける。出力制御部１２Ｃは、判定部１２Ｂによる判定結果を出力する。本実施形態では、出力制御部１２Ｃは、判定部１２Ｂによる判定結果を、表示部１８に表示する。

【0059】

図６は、判定結果の表示画面５０の一例の模式図である。

【0060】

出力制御部１２Ｃは、判定部１２Ｂによる判定結果を含む表示画面５０を表示部１８に表示する。

【0061】

表示画面５０は、例えば、判定に用いた判定対象画像４４と、判定結果５２と、を含む。図６には、判定結果５２として、部品Ｄの円弧形状部４６Ａの判定結果５２Ａと、部品Ｄの端部４６Ｂの判定結果５２Ｂと、を一例として示す。図６には、部品Ｄの円弧形状部４６Ａの判定結果５２Ａが「異常」であり、部品Ｄの端部４６Ｂの判定結果５２Ｂが「正常」であった場合を一例として示す。また、図６中、“アーチ”は、判定結果５２Ａが円弧形状部４６Ａの判定結果５２であることをユーザに提供するための文字情報の一例である。図６中、“ボトム”は、判定結果５２Ｂが部品Ｄの端部４６Ｂの判定結果５２であることをユーザに提供するための文字情報の一例である。

【0062】

なお、出力制御部１２Ｃは、判定対象画像４４に含まれる部品Ｄの円弧形状部４６Ａに対応する位置に円弧形状部４６Ａの異常の判定結果５２Ａを重畳表示し、端部４６Ｂに対応する位置に端部４６Ｂの異常の判定結果５２Ｂを重畳表示してもよい。

【0063】

また、出力制御部１２Ｃは、異常を表す判定結果５２を、正常を表す判定結果５２に比べて、よりユーザに注意を促すことの可能な表示形態で表示部１８に表示してもよい。例えば、出力制御部１２Ｃは、異常を表す判定結果５２を、赤色等の、ユーザに対してより注視を促す表示色で表示部１８に表示する。また、例えば、出力制御部１２Ｃは、正常を表す判定結果５２を、青色等の、より注視を促さない表示色で表示部１８に表示する。

【0064】

また、出力制御部１２Ｃは、部品Ｄの異常が判定された場合、異常を表す音声をスピーカから出力してもよい。また、出力制御部１２Ｃは、部品Ｄの異常が判定された場合、異常を表す情報を、ネットワーク等を介して情報処理装置１０の管理者の管理する情報処理装置等へ送信してもよい。

【0065】

次に、本実施形態の情報処理装置１０で実行する情報処理の流れの一例を説明する。

【0066】

図７は、情報処理装置１０が実行する情報処理の流れの一例を示すフローチャートである。なお、図７に示す情報処理が開始される前に、搬送路３０の駆動が開示され、撮影部２０が動画像４０の撮影を開始した状態である場面を想定して説明する。

【0067】

取得部１２Ａは、撮影部２０で撮影された画像４２に部品Ｄが含まれるか否かを判断する（ステップＳ１００）。

【0068】

画像４２に部品Ｄが含まれないと判断すると（ステップＳ１００：Ｎｏ）、後述するステップＳ１０８へ進む。画像４２に部品Ｄが含まれると判断すると（ステップＳ１００：Ｙｅｓ）、ステップＳ１０２へ進む。

【0069】

ステップＳ１０２では、取得部１２Ａは、ステップＳ１００で部品Ｄが含まれると判断された画像４２を判定対象画像４４として取得する（ステップＳ１０２）。すなわち、取得部１２Ａは、撮影部２０で撮影された動画像４０から、部品Ｄを含む画像４２を判定対象画像４４として取得する。

【0070】

判定部１２Ｂは、ステップＳ１０２で取得した判定対象画像４４に含まれる部品Ｄの異常を判定する（ステップＳ１０４）。例えば、判定部１２Ｂは、ステップＳ１０２で取得した判定対象画像４４を学習モデル１６Ａへ入力することで、該学習モデル１６Ａからの出力として部品Ｄの異常の判定結果を得る。

【0071】

出力制御部１２Ｃは、ステップＳ１０４の判定結果を表示部１８に表示する（ステップＳ１０６）。

【0072】

次に、処理部１２は、部品Ｄの異常判定処理を終了するか否かを判断する（ステップＳ１０８）。例えば、処理部１２は、異常判定処理の終了指示信号を受付けたか否かを判別することで、ステップＳ１０８の判断を行う。例えば、ユーザは、部品Ｄの異常判定処理を終了するときに、情報処理装置１０の操作部等を操作することで、異常判定処理の終了指示信号を入力する。処理部１２は、終了指示信号を受付けた場合、異常判定処理を終了すると判断すればよい。

【0073】

ステップＳ１０８で否定判断すると（ステップＳ１０８：Ｎｏ）、上記ステップＳ１００へ戻る。ステップＳ１０８で肯定判断すると（ステップＳ１０８：Ｙｅｓ）、本ルーチンを終了する。

【0074】

以上説明したように、本実施形態の情報処理装置１０は、取得部１２Ａと、判定部１２Ｂと、を備える。取得部１２Ａは、部品Ｄが搬送される搬送路３０を撮影する撮影部２０で撮影された複数の画像４２（動画像４０）から、部品Ｄを含む画像４２である判定対象画像４４を取得する。判定部１２Ｂは、判定対象画像４４に基づいて部品Ｄの異常を判定する。

【0075】

従来技術では、対象物の動画像である映像データの全てについて正規化処理等の画像処理を行った上で異常を識別していた。このため、従来技術では、対象物の搬送速度が高速となるほど、情報処理速度が追い付かない場合があり、異常検出が困難となる場合があった。

【0076】

一方、本実施形態の情報処理装置１０では、搬送路３０を撮影する撮影部２０で撮影された複数の画像４２の全てではなく、撮影された複数の画像４２に含まれる部品Ｄを含む画像４２である判定対象画像４４から部品Ｄの異常を判定する。すなわち、本実施形態の情報処理装置１０では、撮影された複数の画像４２の内、部品Ｄを含む画像４２である判定対象画像４４を選択的に取得し、部品Ｄの異常の判定に用いる。このため、本実施形態の情報処理装置１０では、搬送路３０の搬送速度に拘わらず判定対象画像４４を選択的に取得することができ、異常の判定に用いることができる。

【0077】

従って、本実施形態の情報処理装置１０は、対象物の異常を高精度に判定することができる。

【0078】

また、搬送路３０を搬送される部品Ｄの搬送間隔は、一定の間隔とは限らない。本実施形態の情報処理装置１０では、搬送路３０を撮影する撮影部２０で撮影された複数の画像４２の内、部品Ｄを含む画像４２である判定対象画像４４から部品Ｄの異常を判定する。本実施形態の情報処理装置１０は、撮影された複数の画像４２から判定対象画像４４を取得して部品Ｄの異常の判定に用いるため、部品Ｄの搬送間隔が一定の間隔ではない場合であっても、部品Ｄの異常を高精度に判定することができる。

【0079】

また、本実施形態の情報処理装置１０は、搬送路３０を撮影する撮影部２０で順次撮影される複数の画像４２の内、部品Ｄを含む画像４２である判定対象画像４４から部品Ｄの異常を判定する。すなわち、本実施形態の情報処理装置１０は、撮影部２０で順次撮影される画像４２の各々の内の部品Ｄを含む画像４２である判定対象画像４４を部品Ｄの異常の判定に用いる。このため、本実施形態の情報処理装置１０は、搬送路３０による部品Ｄの搬送と並行してリアルタイムに部品Ｄの異常を判定することができる。

【0080】

また、本実施形態の情報処理装置１０および撮影部２０は、搬送路３０とは別体として構成されている。このため、本実施形態の撮影部２０および情報処理装置１０を既存の搬送路３０に設けることで、部品Ｄの異常を高精度に判定する情報処理システム１を容易に構築することができる。また、電子回路等の専門知識のないユーザであっても、本実施形態の情報処理装置１０および撮影部２０を既存の搬送路３０に対して設置することで、部品Ｄの異常を高精度に判定する情報処理システム１を容易に構築することができる。

【0081】

また、本実施形態の情報処理装置１０の判定部１２Ｂは、判定対象画像４４から対象物の異常の判定結果を出力する学習モデル１６Ａを用いて、対象物の異常を判定する。

【0082】

判定部１２Ｂは、判定対象画像４４を学習モデル１６Ａへ入力することで、学習モデル１６Ａからの出力として部品Ｄの異常の判定結果５２を得ることができるため、上記効果に加えて、高速且つ高精度に部品Ｄの異常を判定することができる。また、判定部１２Ｂが学習モデル１６Ａを用いて部品Ｄの異常を判定するため、処理部１２の処理負荷軽減を図ることができる。

【0083】

また、判定部１２Ｂは、判定対象画像４４に含まれる部品Ｄの画像領域以外の領域をマスキング処理した判定対象画像４４に基づいて、部品Ｄの異常を判定することができる。マスキング処理した判定対象画像４４を用いることで、判定部１２Ｂは、判定対象画像４４に含まれる部品Ｄの画像領域４６を選択的に用いて異常を判定することができる。よって、本実施形態の情報処理装置１０は、処理対象のデータ量の削減を図ることが出来るため、上記効果に加えて、処理部１２の処理負荷軽減を図ることができる。また、判定対象画像４４に含まれる部品Ｄの画像領域４６を選択的に判定処理に用いることができるため、上記効果に加えて、更に高精度に部品Ｄの異常を判定することができる。

【0084】

また、判定部１２Ｂは、判定対象画像４４に含まれる部品Ｄの円弧形状部４６Ａおよび端部４６Ｂの各々の異常を判定する。部品Ｄの円弧形状部４６Ａおよび端部４６Ｂには、傷等の異常の発生確率が高い。また、部品Ｄの円弧形状部４６Ａおよび端部４６Ｂは、特に、正常であることが要求される部分である。判定部１２Ｂが、判定対象画像４４に含まれる部品Ｄの画像領域４６の内、特に、部品Ｄの円弧形状部４６Ａおよび端部４６Ｂの各々の異常を判定することで、上記効果に加えて、より高精度に部品Ｄの異常を判定することができる。

【0085】

（変形例）
上記実施形態では、情報処理システム１が１つの撮影部２０を備える形態を一例として説明した。しかし、情報処理システム１は、複数の撮影部２０を備えた構成であってもよい。この場合、複数の撮影部２０は、搬送路３０を搬送される１つの部品Ｄを互いに異なる撮影方向から撮影可能な位置に配置することが好ましい。

【0086】

情報処理システム１が、搬送路３０を搬送される部品Ｄを互いに異なる撮影方向から撮影可能な複数の撮影部２０を備えることで、１つの部品Ｄについて互いに異なる複数の撮影方向から撮影した複数種類の動画像４０が得られる。すなわち、ある撮影方向から撮影された動画像４０では死角となっていた部品Ｄの領域が、他の撮影方向から撮影された動画像４０には含まれる場合がある。

【0087】

このため、これらの複数種類の動画像４０を用いて、処理部１２が上記実施形態で説明した情報処理を行うことで、情報処理装置１０は、部品Ｄの異常をより高精度に判定することが可能となる。

【0088】

また、上記実施形態では、撮影部２０の撮影範囲２２が、搬送路３０を搬送される１つの部品Ｄの全体を含む範囲となるように予め調整されている形態を一例として説明した。しかし、撮影部２０の撮影範囲２２は、搬送路３０を搬送される部品Ｄの一部の領域を含む範囲であってもよい。この場合、例えば、撮影部２０の撮影範囲２２は、搬送路３０を搬送される部品Ｄにおける、異常を特に検出する対象の領域を少なくとも含む範囲となるように、予め調整することが好ましい。異常を特に検出する対象の領域を少なくとも含む撮影範囲２２とすることで、部品Ｄの異常をより高精度に判定することができる。

【0089】

なお、上記実施形態の情報処理装置１０で実行される上記各処理を実行するためのプログラムは、ＨＤＤに記憶されていてもよい。また、上記実施形態の情報処理装置１０で実行される上記各処理を実行するためのプログラムは、ＲＯＭ１１Ｂに予め組み込まれて提供されていてもよい。

【0090】

また、上記実施形態の情報処理装置１０で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、上記実施形態の情報処理装置１０で実行される上記処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態の情報処理装置１０で実行される上記処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。

【0091】

なお、上記には、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態およびその変形は、発明の範囲および要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0092】

１ 情報処理システム
１０ 情報処理装置
１２Ａ 取得部
１２Ｂ 判定部
１２Ｃ 出力制御部
２０ 撮影部
３０ 搬送路
Ｄ 部品

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図5C】

【図6】

【図7】