特開 2023-163317 コンピュータプログラム、および、データ処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023163317

(43)【公開日】2023-11-10

(54)【発明の名称】コンピュータプログラム、および、データ処理装置

(51)【国際特許分類】

   G06T 7/187 20170101AFI20231102BHJP

   G06T 7/00 20170101ALI20231102BHJP

【ＦＩ】

G06T7/187

G06T7/00 610

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022074148

(22)【出願日】2022-04-28

(71)【出願人】

【識別番号】000005267

【氏名又は名称】ブラザー工業株式会社

(74)【代理人】

【識別番号】110001058

【氏名又は名称】鳳国際弁理士法人

(72)【発明者】

【氏名】尾野藤 祥司

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA03

5L096CA02

5L096DA02

5L096EA02

5L096EA05

5L096EA06

5L096EA13

5L096EA35

5L096EA43

5L096EA45

5L096FA18

5L096FA59

5L096FA62

5L096FA64

5L096FA66

5L096FA70

5L096FA78

5L096GA08

5L096GA51

5L096HA11

5L096JA11

(57)【要約】      （修正有）

【課題】オブジェクトを表す適切な特定領域を決定する処理を行うコンピュータプログラム及びデータ処理装置を提供する。
【解決手段】特定領域の決定処理は、対象画像中の注目オブジェクトのためのバウンディングボックスを決定する処理Ｓ２２０、バウンディングボックスによって囲まれる第１領域を拡張することによって第２領域を決定する処理Ｓ２３０、第２領域を、背景領域と、オブジェクト領域と、を含む複数の領域に分割する処理Ｓ２４０及びオブジェクト領域を内包する領域である特定領域を決定する処理Ｓ２８０を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

コンピュータプログラムであって、
対象画像中の注目オブジェクトのためのバウンディングボックスを決定する第１決定機能と、
前記バウンディングボックスによって囲まれる第１領域を拡張することによって第２領域を決定する第２決定機能と、
前記第２領域を、背景領域と、オブジェクト領域と、を含む複数の領域に分割する分割機能と、
前記オブジェクト領域を内包する領域である特定領域を決定する第３決定機能と、
をコンピュータに実現させる、コンピュータプログラム。

【請求項2】

請求項１に記載のコンピュータプログラムであって、
前記第３決定機能は、前記複数の領域が複数のオブジェクト領域を含む場合に、前記複数のオブジェクト領域のうち、最大面積を有するオブジェクト領域、または、前記バウンディングボックスの中心に最も近いオブジェクト領域、を内包する前記特定領域を決定する、
コンピュータプログラム。

【請求項3】

請求項１または２に記載のコンピュータプログラムであって、
前記第２決定機能は、
前記第１領域を拡張することによって中間領域を決定する第１拡張機能と、
前記中間領域を拡張することによって前記第２領域を決定する第２拡張機能と、
を含み、
前記第１拡張機能は、前記中間領域のアスペクト比が前記注目オブジェクトのアスペクト比に近づくように、縦方向と横方向とのいずれかの方向に前記第１領域を拡張することによって前記中間領域を決定し、
前記第２拡張機能は、前記中間領域の輪郭の全体を外側に向かって拡張することによって前記第２領域を決定する、
コンピュータプログラム。

【請求項4】

請求項１または２に記載のコンピュータプログラムであって、
前記注目オブジェクトは、製品に設けられるラベルである、
コンピュータプログラム。

【請求項5】

請求項１または２に記載のコンピュータプログラムであって、さらに、
前記対象画像中の前記特定領域の画像を使用して、前記注目オブジェクトの外観の検査を行う検査機能をコンピュータに実現させる、コンピュータプログラム。

【請求項6】

データ処理装置であって、
対象画像中の注目オブジェクトのためのバウンディングボックスを決定する第１決定部と、
前記バウンディングボックスによって囲まれる第１領域を拡張することによって第２領域を決定する第２決定部と、
前記第２領域を、背景領域と、オブジェクト領域と、を含む複数の領域に分割する分割部と、
前記オブジェクト領域を内包する領域である特定領域を決定する第３決定部と、
を備える、データ処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、画像中のオブジェクトを表す領域を決定する技術に関する。

【背景技術】

【0002】

製品の外観検査やロボットによるオブジェクトの認識などの種々の用途のために、画像からオブジェクトを検出する技術が使用されている。オブジェクトを検出する技術としては、例えば、ＹＯＬＯｖ４と呼ばれる機械学習モデルが提案されている。ＹＯＬＯｖ４は、オブジェクトを囲む枠（バウンディングボックスと呼ばれる）と、オブジェクトの種類（クラスとも呼ばれる）と、を予測する。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Alexey Bochkovskiy, Chien-Yao Wang, Hong-Yuan Mark Liao, "YOLOv4: Optimal Speed and Accuracy of Object Detection", arXiv:2004.10934 (2020), https://arxiv.org/abs/2004.10934

【発明の概要】

【発明が解決しようとする課題】

【0004】

オブジェクトの検出は容易ではなく、オブジェクトを表す領域として不適切な領域が決定される場合がある。例えば、オブジェクトの一部がバウンディングボックスの外にはみ出る場合がある。このように、オブジェクトを表す領域の決定には、工夫の余地があった。

【0005】

本明細書は、オブジェクトを表す領域を決定する技術を開示する。

【課題を解決するための手段】

【0006】

本明細書に開示された技術は、以下の適用例として実現することが可能である。

【0007】

［適用例１］コンピュータプログラムであって、対象画像中の注目オブジェクトのためのバウンディングボックスを決定する第１決定機能と、前記バウンディングボックスによって囲まれる第１領域を拡張することによって第２領域を決定する第２決定機能と、前記第２領域を、背景領域と、オブジェクト領域と、を含む複数の領域に分割する分割機能と、前記オブジェクト領域を内包する領域である特定領域を決定する第３決定機能と、をコンピュータに実現させる、コンピュータプログラム。

【0008】

この構成によれば、注目オブジェクトを表す適切な特定領域を決定できる。

【0009】

なお、本明細書に開示の技術は、種々の態様で実現することが可能であり、例えば、データ処理方法およびデータ処理装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、等の形態で実現することができる。

【図面の簡単な説明】

【0010】

【図1】一実施例としてのデータ処理装置を示す説明図である。

【図2】データ処理の例を示すフローチャートである。

【図3】特定領域の決定処理の例を示すフローチャートである。

【図4】（Ａ）－（Ｉ）は、特定領域の決定処理で処理される画像の例を示す説明図である。

【図5】第２領域Ａ２を決定する処理の例を示すフローチャートである。

【図6】領域の分割の処理の例を示すフローチャートである。

【図7】検査処理の例を示すフローチャートである。

【図8】（Ａ）－（Ｃ）は、対象オブジェクト領域を選択する処理の別の実施例の概略図である。

【図9】（Ａ）－（Ｃ）は、中間領域Ａｍを決定する処理の別の実施例の概略図である。

【発明を実施するための形態】

【0011】

Ａ．第１実施例：
Ａ１．装置構成：
図１は、一実施例としてのデータ処理装置を示す説明図である。本実施例では、データ処理装置２００は、例えば、パーソナルコンピュータである。データ処理装置２００は、製品（例えば、複合機など）に設けられるオブジェクト（例えば、ラベル）の外観の検査のためのデータ処理を行うデータ処理装置の例である。本実施例では、複合機９００に、２枚のラベルＬＢ１、ＬＢ２が貼付されている。第１ラベルＬＢ１は、例えば、製造者名、モデル名などの複合機９００の情報を示している。第２ラベルＬＢ２は、例えば、認証マークを示している。ラベルＬＢ１、ＬＢ２のそれぞれの形状は、略矩形状である。第２ラベルＬＢ２は、第１ラベルＬＢ１の近傍に配置されている。本実施例では、第１ラベルＬＢ１の外観が検査される。

【0012】

データ処理装置２００は、プロセッサ２１０と、記憶装置２１５と、表示部２４０と、操作部２５０と、通信インタフェース２７０と、を備えている。これらの要素は、バスを介して互いに接続されている。記憶装置２１５は、揮発性記憶装置２２０と、不揮発性記憶装置２３０と、を含んでいる。

【0013】

プロセッサ２１０は、データ処理を行うように構成された装置であり、例えば、ＣＰＵである。揮発性記憶装置２２０は、例えば、ＤＲＡＭであり、不揮発性記憶装置２３０は、例えば、フラッシュメモリである。不揮発性記憶装置２３０は、プログラムＰＧと、物体検出モデルＭ１と、画像生成モデルＭ２と、を格納している。プログラムＰＧは、第１プログラム２３１と、第２プログラム２３２と、を含んでいる。本実施例では、モデルＭ１、Ｍ２は、それぞれ、プログラムモジュールである。モデルＭ１、Ｍ２は、それぞれ、いわゆる機械学習モデルである。プログラム２３１、２３２とモデルＭ１、Ｍ２との詳細については、後述する。

【0014】

表示部２４０は、液晶ディスプレイ、有機ＥＬディスプレイなどの、画像を表示するように構成された装置である。操作部２５０は、ボタン、レバー、表示部２４０上に重ねて配置されたタッチパネルなどの、ユーザによる操作を受け取るように構成された装置である。ユーザは、操作部２５０を操作することによって、種々の指示をデータ処理装置２００に入力可能である。通信インタフェース２７０は、他の装置と通信するためのインタフェースである。通信インタフェース２７０は、例えば、ＵＳＢインタフェース、有線ＬＡＮインタフェース、IEEE802.11の無線インタフェースのうちの１種以上を含む。通信インタフェース２７０には、デジタルカメラ１１０が接続される。デジタルカメラ１１０は、複合機９００の第１ラベルＬＢ１を含む部分を撮影する。

【0015】

Ａ２．データ処理：
図２は、データ処理の例を示すフローチャートである。本実施例では、データ処理は、特定領域の決定処理（Ｓ１１０）と、検査処理（Ｓ１２０）と、を含んでいる。特定領域は、デジタルカメラ１１０（図１）によって生成される撮影画像の中の注目オブジェクト（ここでは、第１ラベルＬＢ１）の画像を内包する領域である。本実施例では、第１ラベルＬＢ１が注目オブジェクトである（以下、第１ラベルＬＢ１を、注目オブジェクトＬＢ１とも呼ぶ）。第１プログラム２３１（図１）は、特定領域の決定処理のためのプログラムである。検査処理は、Ｓ１１０で決定される特定領域の画像を使用して、第１ラベルＬＢ１の外観を検査する。第２プログラム２３２は、検査処理のためのプログラムである。

【0016】

本実施例では、検査のために、複合機９００は、予め決められた位置に配置される。複合機９００のこの位置は、デジタルカメラ１１０による第１ラベルＬＢ１の撮影に適する位置である。本実施例では、複合機９００の配置は、ベルトコンベアなどの機械によって行われる。複合機９００の配置の後、データ処理の開始指示が、データ処理装置２００に入力される。本実施例では、作業者は、操作部２５０を操作することによって、データ処理の開始指示を入力する。プロセッサ２１０は、開始指示に応じて、データ処理を開始する。なお、複合機９００の配置は、作業者によって行われてよい。また、開始指示は、データ処理装置２００とは異なる他の装置によって、通信インタフェース２７０を介して、データ処理装置２００に供給されてよい。

【0017】

Ｓ１１０では、プロセッサ２１０は、第１プログラム２３１（図１）に従って、特定領域の決定処理を実行する。Ｓ２１０では、プロセッサ２１０は、撮影指示をデジタルカメラ１１０に供給する。デジタルカメラ１１０は、指示に応じて、複合機９００を撮影し、撮影画像を表すデータを生成する。プロセッサ２１０は、デジタルカメラ１１０から撮影画像のデータを取得する。

【0018】

図４（Ａ）－図４（Ｉ）は、特定領域の決定処理で処理される画像の例を示す説明図である。図４（Ａ）は、撮影画像の例を示している。図中には、撮影画像ＩＭ１の一部が示されている。撮影画像ＩＭ１は、第１ラベルＬＢ１と第２ラベルＬＢ２とを示している。図示を省略するが、撮影画像ＩＭ１は、第１方向Ｄｘに平行な２辺と、第１方向Ｄｘに垂直な第２方向Ｄｙに平行な２辺と、を有する矩形状の画像である。第１方向Ｄｘは、横方向を示し、第２方向Ｄｙは、縦方向を示している。撮影画像ＩＭ１は、第１方向Ｄｘと第２方向Ｄｙとに沿ってマトリクス状に並ぶ複数の画素のそれぞれの色値によって、表されている。色値は、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３個の成分値で表される。各成分値は、例えば、０から２５５までの２５６段階で表される。

【0019】

Ｓ２２０（図３）では、プロセッサ２１０は、撮影画像ＩＭ１の中の注目オブジェクトＬＢ１のためのバウンディングボックスを決定する。バウンディングボックスは、注目オブジェクトを囲む矩形の枠である。本実施例では、プロセッサ２１０は、撮影画像ＩＭ１のデータを物体検出モデルＭ１に入力することによって、バウンディングボックスを決定する。物体検出モデルＭ１としては、種々の物体検出モデルを採用可能である。本実施例では、物体検出モデルＭ１は、ＹＯＬＯｖ４と呼ばれる機械学習モデルである。ＹＯＬＯｖ４モデルは、バウンディングボックスと、オブジェクトの種類（クラスとも呼ばれる）と、を予測する。本実施例では、物体検出モデルＭ１は、第１ラベルＬＢ１の画像を含む画像のデータが入力される場合に、第１ラベルＬＢ１の画像を囲むバウンディングボックスを示すデータを出力するように、予め訓練される。物体検出モデルＭ１の訓練方法としては、公知の種々の方法を採用可能である。

【0020】

物体検出モデルＭ１によって受け付けられる画像サイズである第１画像サイズ（具体的には、第１方向Ｄｘの画素数と第２方向Ｄｙの画素数）は、予め決められている。プロセッサ２１０は、撮影画像ＩＭ１のデータに対する解像度変換処理、トリミング処理などの種々の画像処理を実行することによって、物体検出モデルＭ１に入力すべき第１入力画像データを生成する。撮影画像ＩＭ１中の第１ラベルＬＢ１を表し得る部分は、予め決められている。プロセッサ２１０は、第１入力画像が第１ラベルＬＢ１を表し得る部分を含むように、第１入力画像データを生成する。

【0021】

図４（Ａ）には、バウンディングボックスＢＢ１の例が示されている。バウンディングボックスＢＢ１は、第１方向Ｄｘに平行な２辺と、第２方向Ｄｙに平行な２辺と、を有する矩形状の枠である。図４（Ａ）では、第１ラベルＬＢ１の一部分（具体的には、第２方向Ｄｙ側の端部）が、バウンディングボックスＢＢ１の外にはみ出ている。このように、種々の物体検出モデルは、注目オブジェクトの一部分のみを囲むバウンディングボックスを決定し得る。

【0022】

Ｓ２３０（図３）では、プロセッサ２１０は、バウンディングボックスＢＢ１に囲まれる第１領域Ａ１を拡張することによって、第２領域Ａ２を決定する。図５は、第２領域Ａ２を決定する処理の例を示すフローチャートである。Ｓ３１０では、プロセッサ２１０は、原画像ＩＭ０の幅Ｗ０と高さＨ０とを取得する。図４（Ｂ）は、原画像ＩＭ０の例を示している。原画像ＩＭ０は、第１ラベルＬＢ１の設計画像である。本実施例では、第１ラベルＬＢ１は、第１ラベルＬＢ１の画像をシートに印刷することによって、製造される。原画像ＩＭ０は、印刷すべき第１ラベルＬＢ１の画像である。原画像ＩＭ０のデータは、版下データとも呼ばれる。版下データは、予め、不揮発性記憶装置２３０に格納されている（図示省略）。

【0023】

本実施例では、原画像ＩＭ０は、第１方向Ｄｘに平行な２辺と、第２方向Ｄｙに平行な２辺と、を有する矩形状の画像である。幅Ｗ０は、第１方向Ｄｘの大きさ（単位は、例えば、画素数）を示し、高さＨ０は、第２方向Ｄｙの大きさを示している。プロセッサ２１０は、版下データを分析することによって、幅Ｗ０と高さＨ０とを取得する。以下、幅Ｗ０を、基準幅Ｗ０とも呼び、高さＨ０を、基準高さＨ０とも呼ぶ。ここで、Ｗ０＞Ｈ０であることとする。

【0024】

Ｓ３２０（図５）では、プロセッサ２１０は、Ｓ２２０（図３）で決定されたバウンディングボックスＢＢ１を分析することによって、バウンディングボックスＢＢ１によって囲まれる第１領域Ａ１の幅Ｗ１と高さＨ１とを取得する。図４（Ａ）に示すように、幅Ｗ１は、第１方向Ｄｘの大きさを示し、高さＨ１は、第２方向Ｄｙの大きさを示している。

【0025】

Ｓ３３０（図５）では、プロセッサ２１０は、以下の第１条件が満たされるか否かを判断する。
（第１条件）Ｗ１＞Ｈ１

【0026】

図４（Ａ）の例では、高さＨ１は幅Ｗ１より小さい（Ｗ１＞Ｈ１）。この場合（Ｓ３３０：Ｙｅｓ）、Ｓ３４０で、プロセッサ２１０は、幅Ｗ１に比率Ｈ０／Ｗ０を乗算することによって、参考高さＨｍを決定する。参考高さＨｍは、第１ラベルＬＢ１の適切なアスペクト比（具体的には、第１方向Ｄｘの長さに対する第２方向Ｄｙの長さの比）で幅Ｗ１に対応付けられる高さを示している。

【0027】

Ｓ３５０では、プロセッサ２１０は、第１領域Ａ１の高さＨ１を参考高さＨｍに変更することによって、中間領域Ａｍを決定する。図４（Ｃ）は、中間領域Ａｍの例を示している。点線で示されるボックスＢＢｍは、中間領域Ａｍの輪郭を示している。図４（Ｃ）の例では、参考高さＨｍは、高さＨ１よりも大きい。従って、中間領域Ａｍは、第２方向Ｄｙに平行に拡張される。中間領域Ａｍの第２方向Ｄｙの中心位置は、第１領域Ａ１の第２方向Ｄｙの中心位置と同じである。従って、中間領域Ａｍは、第１領域Ａ１から、第２方向Ｄｙと、第２方向Ｄｙとは反対の方向と、のそれぞれに同じ量だけ拡張した領域である。なお、図４（Ｃ）に示すように、第１ラベルＬＢ１の一部分は、中間領域Ａｍの外に位置し得る（具体的には、第１ラベルＬＢ１の第２方向Ｄｙ側の端部が、中間領域Ａｍの外に位置している）。中間領域Ａｍの決定の後、プロセッサ２１０は、Ｓ３８０（図５）へ移行する。

【0028】

幅Ｗ１が高さＨ１以下である場合（Ｓ３３０：Ｎｏ）、プロセッサ２１０は、Ｓ３６０、Ｓ３７０を実行する。Ｓ３６０、Ｓ３７０は、Ｓ３４０、Ｓ３５０における第１方向Ｄｘと第２方向Ｄｙを入れ替えたものと、それぞれ同じである。

【0029】

Ｓ３６０では、プロセッサ２１０は、高さＨ１に比率Ｗ０／Ｈ０を乗算することによって、参考幅Ｗｍを決定する。参考幅Ｗｍは、第１ラベルＬＢ１の適切なアスペクト比で高さＨ１に対応付けられる幅を示している。

【0030】

Ｓ３７０では、プロセッサ２１０は、第１領域Ａ１の幅Ｗ１を参考幅Ｗｍに変更することによって、中間領域Ａｍを決定する。図示を省略するが、幅Ｗ１が参考幅Ｗｍよりも小さい場合、中間領域Ａｍは、第１方向Ｄｘに平行に拡張され得る。中間領域Ａｍの第１方向Ｄｘの中心位置は、第１領域Ａ１の第１方向Ｄｘの中心位置と同じである。中間領域Ａｍの決定の後、プロセッサ２１０は、Ｓ３８０へ移行する。

【0031】

このように、本実施例では、高さＨ１と幅Ｗ１とのうちの小さい方が参考値（参考高さＨｍ、または、参考幅Ｗｍ）に調整される。これにより、注目オブジェクトＬＢ１のアスペクト比と同じアスペクト比を有する中間領域Ａｍが、決定される。

【0032】

Ｓ３８０では、プロセッサ２１０は、中間領域Ａｍを拡張することによって、第２領域Ａ２を決定する。本実施例では、プロセッサ２１０は、中間領域Ａｍの高さと幅とのそれぞれに、係数ｋを乗じることによって、第２領域Ａ２の高さと幅とを決定する。係数ｋは、１よりも大きい実数である。係数ｋは、種々の撮影画像が処理される場合に、第２領域Ａ２が第１領域Ａ１（ひいては、注目オブジェクトＬＢ１）を内包するように、予め実験的に決められている。

【0033】

図４（Ｄ）は、第２領域Ａ２の例を示している。ボックスＢＢ２は、第２領域Ａ２の輪郭を示している。以下、バウンディングボックスＢＢ１を、第１ボックスＢＢ１とも呼び、ボックスＢＢ２を、第２ボックスＢＢ２とも呼ぶ。第２領域Ａ２の中心位置は、中間領域Ａｍの中心位置と同じである。このように、プロセッサ２１０は、中間領域Ａｍの輪郭（ここでは、ボックスＢＢｍ）の全体を外側に向かって拡張することによって第２領域Ａ２を決定する。図４（Ｄ）の例では、第２領域Ａ２は、第１ラベルＬＢ１の全体を、含んでいる。また、第２領域Ａ２は、第２ラベルＬＢ２の一部分も含んでいる。このように、第１領域Ａ１から第２領域Ａ２への拡張によって、第２領域Ａ２は、注目オブジェクトＬＢ１に加えて、他のオブジェクト（ここでは、第２ラベルＬＢ２）を含み得る。

【0034】

このように、プロセッサ２１０は、Ｓ３４０－Ｓ３５０（図５）、または、Ｓ３６０－Ｓ３７０で、バウンディングボックスＢＢ１のアスペクト比を第１ラベルＬＢ１のアスペクト比に調整することによって、中間領域Ａｍを決定する。そして、プロセッサ２１０は、Ｓ３８０で、中間領域Ａｍを第１方向Ｄｘに平行な方向と、第２方向Ｄｙに平行な方向とに、拡張することによって、第２領域Ａ２を決定する。従って、プロセッサ２１０は、注目オブジェクトＬＢ１を内包する第２領域Ａ２を決定できる。第２領域Ａ２の決定の後、プロセッサ２１０は、図５の処理、すなわち、図３のＳ２３０を終了する。

【0035】

Ｓ２４０（図３）では、プロセッサ２１０は、第２領域Ａ２を、背景領域と、オブジェクト領域と、を含む複数の領域に分割する。図６は、領域の分割の処理の例を示すフローチャートである。Ｓ４１０では、プロセッサ２１０は、撮影画像ＩＭ１の第２領域Ａ２のデータのぼかし処理を実行することによって、ぼけ画像データを生成する。ぼかし処理は、平滑化とも呼ばれる。ぼかし処理によって、ノイズが低減する。ぼかし処理は、種々の処理であってよい。本実施例では、プロセッサ２１０は、平滑化フィルタ（例えば、中央値フィルタ）を使用するフィルタ処理を実行する。

【0036】

Ｓ４２０では、プロセッサ２１０は、ぼけ画像データのグレースケール変換を実行することによって、グレー画像データを生成する。この変換によって、ＲＧＢの色値は、所定の関係式（例えば、ＲＧＢ色空間からＹＣｂＣｒ色空間のＹ値への色変換式）を用いることによって、輝度値に変換される。

【0037】

図４（Ｅ）は、グレー画像データによって表されるグレー画像の例を示している。グレー画像ＩＭ２は、第１ラベルＬＢ１と、第２ラベルＬＢ２と、を示している。グレー画像ＩＭ２では、オブジェクト（ここでは、ラベルＬＢ１、ＬＢ２）を示す部分と、背景を示す部分と、の間で、輝度値が大きく異なっている。

【0038】

Ｓ４３０（図６）では、プロセッサ２１０は、グレー画像データの閾値処理を実行することによって、二値画像データを生成する。図４（Ｆ）は、二値画像データによって示される二値画像の例を示している。二値画像ＩＭ３は、ハッチングを有する部分を示す複数の背景画素と、ハッチングのない部分を示す複数のオブジェクト画素と、で構成される。ラベルＬＢ１、ＬＢ２は、オブジェクト画素で表され、他の部分は、背景画素で表される。なお、ラベルＬＢ１、ＬＢ２の一部分は、背景画素で表され得る。閾値処理は、閾値を使用する二値化処理を含む種々の処理であってよい。本実施例では、閾値処理は、二値化処理と逆バイナリ処理とを含んでいる。二値化処理は、大きい値と小さい値とを区別する種々の方法であってよい。本実施例では、いわゆる大津の二値化が採用される。これに代えて、二値化には、予め決められた閾値が使用されてよい。逆バイナリ処理は、二値化された値を反転する処理である。

【0039】

Ｓ４４０（図６）では、プロセッサ２１０は、二値画像データのノイズ除去処理を実行することによって、処理済二値画像データを生成する。プロセッサ２１０は、処理済二値画像データによって示される処理済二値画像において、複数のオブジェクト画素で形成される連続な領域を、オブジェクト領域として採用し、複数の背景画素で形成される連続な領域を、背景領域として採用する。図４（Ｇ）は、処理済二値画像の例を示している。処理済二値画像ＩＭ４では、２個のラベルＬＢ１、ＬＢ２に対応する２個のオブジェクト領域ＯＡ１、ＯＡ２が、形成される。オブジェクト領域ＯＡ１、ＯＡ２は、背景領域ＢＡによって分離されている。ノイズ除去処理は、種々の処理であってよい。本実施例では、プロセッサ２１０は、オブジェクト領域に対して、所定回数の膨張処理を行った後に、同じ回数の収縮処理を実行する。ノイズ除去処理により、処理済二値画像ＩＭ４では、ノイズ（例えば、オブジェクト領域内の小さい背景領域）が、除去される。

【0040】

このように、プロセッサ２１０は、第２領域Ａ２を、背景領域ＢＡと、オブジェクト領域ＯＡ１、ＯＡ２と、を含む複数の領域に分割する。Ｓ４４０の後、プロセッサ２１０は、図６の処理、すなわち、図３のＳ２４０を、終了する。

【0041】

Ｓ２５０では、プロセッサ２１０は、第２領域Ａ２内のオブジェクト領域の総数が２以上であるか否かを判断する。オブジェクト領域の総数が２以上である場合（Ｓ２５０：Ｙｅｓ）、Ｓ２６０で、プロセッサ２１０は、複数のオブジェクト領域から選択条件を満たすオブジェクト領域を選択する。選択条件は、注目オブジェクトを示すオブジェクト領域を選択するための任意の条件であってよい。本実施例では、選択条件は、オブジェクト領域が最大面積を有することである（オブジェクト領域の面積は、例えば、画素数で表される）。図４（Ｇ）の例では、第１オブジェクト領域ＯＡ１の面積Ｓ（ＯＡ１）は、第２オブジェクト領域ＯＡ２の面積Ｓ（ＯＡ２）よりも大きい。従って、プロセッサ２１０は、第１オブジェクト領域ＯＡ１を選択する。第２領域Ａ２は、注目オブジェクトＬＢ１のためのバウンディングボックスＢＢ１（図４（Ａ））に基づいて、決定される。第２領域Ａ２のうちの大きな部分が、注目オブジェクトＬＢ１に重なる。従って、最大面積を有するオブジェクト領域は、注目オブジェクトＬＢ１を示す可能性が高い。以下、Ｓ２６０が実行される場合、Ｓ２６０で選択されるオブジェクト領域を、対象オブジェクト領域と呼ぶ。図４（Ｇ）の例では、第１オブジェクト領域ＯＡ１が、対象オブジェクト領域である。以下、オブジェクト領域ＯＡ１を、対象オブジェクト領域ＯＡ１とも呼ぶ。Ｓ２６０の後、プロセッサ２１０は、Ｓ２７０へ移行する。

【0042】

オブジェクト領域の総数が１である場合（Ｓ２５０：Ｎｏ）、プロセッサ２１０は、Ｓ２６０をスキップして、Ｓ２７０へ移行する。以下、Ｓ２５０の判断結果がＮｏである場合、第２領域Ａ２内の１個のオブジェクト領域を、対象オブジェクト領域と呼ぶ。

【0043】

Ｓ２７０では、プロセッサ２１０は、対象オブジェクト領域の座標を取得する。プロセッサ２１０は、取得した座標を使用して、対象オブジェクト領域を囲む矩形を決定する。図４（Ｈ）は、撮影画像ＩＭ１上の対象オブジェクト領域ＯＡ１と矩形ＢＢ３との例を示している。矩形ＢＢ３は、４個の頂点Ｐ１－Ｐ４で定められる。各頂点Ｐ１－Ｐ４の座標は、以下の通りである（括弧内には、第１方向Ｄｘの座標、第２方向Ｄｙの座標が、順に示されている）。
第１点Ｐ１（ｘｍｉｎ，ｙｍｉｎ）
第２点Ｐ２（ｘｍａｘ，ｙｍｉｎ）
第３点Ｐ３（ｘｍｉｎ，ｙｍａｘ）
第４点Ｐ４（ｘｍａｘ，ｙｍａｘ）
プロセッサ２１０は、各頂点Ｐ１－Ｐ４の座標を、対象オブジェクト領域ＯＡ１の第１方向Ｄｘの座標の最大値ｘｍａｘと最小値ｘｍｉｎと、第２方向Ｄｙの座標の最大値ｙｍａｘと最小値ｙｍｉｎと、を使用して決定する。

【0044】

これらの頂点Ｐ１－Ｐ４は、第１方向Ｄｘに平行な２辺と、第２方向Ｄｙに平行な２辺と、を有する矩形ＢＢ３を形成する。矩形ＢＢ３は、上記４辺を有する矩形のうちの対象オブジェクト領域ＯＡ１に外接する最小矩形である。以下、矩形ＢＢ３を、第３矩形ＢＢ３とも呼ぶ。第３矩形ＢＢ３に囲まれる領域Ａ３を、第３領域Ａ３とも呼ぶ。

【0045】

第１ラベルＬＢ１（図１）の撮影時、デジタルカメラ１１０に対して第１ラベルＬＢ１は斜めに傾き得る。撮影画像ＩＭ１上での第１ラベルＬＢ１の形状は、矩形に限らず、種々の形状（例えば、台形など）であり得る。対象オブジェクト領域ＯＡ１の輪郭のうち、第３矩形ＢＢ３の縁に接するのは、輪郭の一部分のみであり得る。

【0046】

Ｓ２８０（図３）では、プロセッサ２１０は、第３矩形ＢＢ３を拡張することによって、特定領域Ａ４を決定する。図４（Ｉ）は、特定領域Ａ４の例を示している。本実施例では、プロセッサ２１０は、第３矩形ＢＢ３（図４（Ｈ））の４個の頂点Ｐ１－Ｐ４のそれぞれを、外側に向かって移動させることによって、４個の拡張点Ｐ１１－Ｐ１４を決定する。拡張点Ｐ１１－Ｐ１４によって形成される矩形ＢＢ４に囲まれる領域が、特定領域Ａ４である。

【0047】

拡張点Ｐ１１－Ｐ１４の決定方法は、第３領域Ａ３の輪郭の全体を外側に向かって拡張する任意の方法であってよい。本実施例では、拡張点Ｐ１１－Ｐ１４の座標は、以下の通りである。
第１点Ｐ１１（ｘｍｉｎ－ｄｘ，ｙｍｉｎ－ｄｙ）
第２点Ｐ１２（ｘｍａｘ＋ｄｘ，ｙｍｉｎ－ｄｙ）
第３点Ｐ１３（ｘｍｉｎ－ｄｘ，ｙｍａｘ＋ｄｙ）
第４点Ｐ１４（ｘｍａｘ＋ｄｘ，ｙｍａｘ＋ｄｙ）
本実施例では、第３領域Ａ３の輪郭の全体が、第１方向Ｄｘに平行に第１拡張値ｄｘだけ拡張され、第２方向Ｄｙに平行に第２拡張値ｄｙだけ拡張される。第１拡張値ｄｘと第２拡張値ｄｙとは、それぞれ、ゼロよりも大きい値に予め決定される（例えば、１画素以上、２０画素以下）。

【0048】

このように、特定領域Ａ４は、第３領域Ａ３の輪郭を全周に亘って拡張することによって、決定される。従って、プロセッサ２１０は、対象オブジェクト領域（ひいては、注目オブジェクト）の全体を内包する特定領域Ａ４を、決定できる。

【0049】

Ｓ２９０（図３）では、プロセッサ２１０は、決定された特定領域Ａ４を示すデータを、記憶装置２１５（例えば、不揮発性記憶装置２３０）に格納する。そして、プロセッサ２１０は、図３の処理、すなわち、図２のＳ１１０を終了する。

【0050】

Ｓ１２０では、プロセッサ２１０は、第２プログラム２３２に従って、検査処理を実行する。図７は、検査処理の例を示すフローチャートである。Ｓ５１０では、プロセッサ２１０は、撮影画像のデータ（図３：Ｓ２１０）と特定領域Ａ４を示すデータ（Ｓ２９０）とを参照して、撮影画像のうちの特定領域Ａ４の画像である特定画像を取得する。図４（Ｉ）の例では、撮影画像ＩＭ１のうちの特定領域Ａ４の画像（すなわち、第１ラベルＬＢ１を示す画像）が取得される。

【0051】

Ｓ５２０（図７）では、プロセッサ２１０は、特定画像と、第１ラベルＬＢ１の基準画像と、の間の差分を取得する。本実施例では、プロセッサ２１０は、特定画像のデータを画像生成モデルＭ２（図１）に入力することによって、基準画像のデータを生成する。画像生成モデルＭ２は、種々の画像生成モデルであってよい。本実施例では、画像生成モデルＭ２は、ＶＱ－ＶＡＥ（Vector Quantized Variational Auto Encoder）と呼ばれるオートエンコーダである。画像生成モデルＭ２は、不具合（マークやロゴなどの要素の欠落、傷、など）を有する第１ラベルＬＢ１の画像データが入力される場合に、不具合の無い第１ラベルＬＢ１の画像データである基準画像データを生成するように、予め訓練される。また、画像生成モデルＭ２は、画像生成モデルＭ２によって生成される基準画像中の第１ラベルＬＢ１の配置が、画像生成モデルＭ２に入力される第２入力画像中の第１ラベルＬＢ１の配置と同じであるように、予め訓練される。画像生成モデルＭ２の訓練方法としては、公知の種々の方法を採用可能である。

【0052】

画像生成モデルＭ２によって受け付けられる画像サイズである第２画像サイズ（具体的には、第１方向Ｄｘの画素数と第２方向Ｄｙの画素数）は、予め決められている。Ｓ５１０で、プロセッサ２１０は、撮影画像ＩＭ１のデータに対する解像度変換処理、トリミング処理などの種々の画像処理を実行することによって、画像生成モデルＭ２に入力すべき第２入力画像データを取得する。プロセッサ２１０は、第２入力画像が特定領域Ａ４の画像の全体を含むように、第２入力画像データを生成する。例えば、プロセッサ２１０は、第２画像サイズによって定められる矩形領域であって特定領域Ａ４に外接する最小の矩形領域の画像を、第２入力画像として採用する。

【0053】

図４（Ｉ）に示すように、特定領域Ａ４は、注目オブジェクトＬＢ１の輪郭の全体を包含する。従って、第２入力画像内では、注目オブジェクトＬＢ１の全体が、背景（例えば、複合機９００のボディ）に囲まれている。画像生成モデルＭ２は、このような第２入力画像を使用することによって、適切な基準画像データを生成できる。仮に、注目オブジェクトＬＢ１の輪郭が第２入力画像の端に位置する場合、注目オブジェクトＬＢ１が第２入力画像の外にはみ出ているのか否かを第２入力画像から判断することは、困難である。このような第２入力画像が画像生成モデルＭ２に入力される場合、画像生成モデルＭ２は、不適切な基準画像データを生成し得る（例えば、注目オブジェクトＬＢ１の端部が適切に復元されない）。本実施例では、そのような不具合の可能性は、低減する。

【0054】

プロセッサ２１０は、画像生成モデルＭ２に入力される特定画像と、画像生成モデルＭ２によって生成される基準画像と、の間の差分画像を表す差分画像データを生成する。差分画像の各画素の色値（差分色値と呼ぶ）は、特定画像と基準画像との間の対応する画素の色値の差を示している。本実施例では、差分色値は、ＲＧＢのそれぞれの差を示している。これに代えて、差分色値は、他の色成分の差（例えば、輝度値の差）を示してよい。

【0055】

検査対象の第１ラベルＬＢ１に不具合が無い場合、差分画像の各画素の差分色値は、おおよそゼロである。検査対象の第１ラベルＬＢ１が不具合を有する場合、差分画像のうちの不具合を示す部分の複数の画素の差分色値は、大きい差分を示す。

【0056】

Ｓ５３０（図７）では、プロセッサ２１０は、検査結果を表示部２４０（図１）に表示する。本実施例では、プロセッサ２１０は、差分画像を表示部２４０に表示する。作業者は、表示される差分画像を観察することによって、第１ラベルＬＢ１が不具合を有するか否かを容易に判断できる。Ｓ５３０の後、プロセッサ２１０は、図７の処理、すなわち、図２のＳ１２０を終了する。以上により、図２のデータ処理は、終了する。

【0057】

以上のように、本実施例では、データ処理装置２００のプロセッサ２１０は、図２のＳ１１０で、特定領域Ａ４の決定処理を実行する。この決定処理は、以下の処理を含んでいる。図３のＳ２２０では、プロセッサ２１０は、撮影画像ＩＭ１（図４（Ａ））の中の注目オブジェクトＬＢ１のためのバウンディングボックスＢＢ１を決定する。撮影画像ＩＭ１は、処理対象の画像である対象画像の例である。Ｓ２３０では、プロセッサ２１０は、バウンディングボックスＢＢ１によって囲まれる第１領域Ａ１を拡張することによって第２領域Ａ２を決定する（図４（Ｄ））。Ｓ２４０では、プロセッサ２１０は、第２領域Ａ２を、背景領域と、オブジェクト領域と、を含む複数の領域に分割する。図４（Ｇ）の例では、第２領域Ａ２は、背景領域ＢＡとオブジェクト領域ＯＡ１、ＯＡ２とを含む複数の領域に、分割される。Ｓ２５０－Ｓ２８０では、プロセッサ２１０は、オブジェクト領域ＯＡ１を内包する領域である特定領域Ａ４を決定する（図４（Ｉ））。従って、図４（Ａ）の例のように、第１ラベルＬＢ１の一部がバウンディングボックスＢＢ１の外にはみ出る場合であっても、プロセッサ２１０は、注目オブジェクトＬＢ１を表すオブジェクト領域ＯＡ１を内包する特定領域Ａ４を決定できる。

【0058】

また、図４（Ｄ）の例のように、バウンディングボックスＢＢ１の拡張によって形成される第２ボックスＢＢ２は、注目オブジェクトＬＢ１とは異なる他のオブジェクト（ここでは、第２ラベルＬＢ２）を含み得る。この場合、図４（Ｇ）の例のように、第２領域Ａ２から分割される複数の領域は、複数のオブジェクト領域ＯＡ１、ＯＡ２を含み得る。この場合（図３：Ｓ２５０：Ｙｅｓ）、プロセッサ２１０は、複数のオブジェクト領域のうち、最大面積を有するオブジェクト領域を対象オブジェクト領域として選択する（Ｓ２６０）。図４（Ｇ）の例では、第１オブジェクト領域ＯＡ１が対象オブジェクト領域として選択される。プロセッサ２１０は、Ｓ２７０－Ｓ２８０で、対象オブジェクト領域ＯＡ１を内包する特定領域Ａ４を決定する。上述したように、最大面積を有するオブジェクト領域は、注目オブジェクトを示す可能性が高い。従って、図４（Ｉ）に示すように、プロセッサ２１０は、注目オブジェクトＬＢ１を表すオブジェクト領域ＯＡ１を内包する特定領域Ａ４を決定できる。

【0059】

また、図１等で説明したように、注目オブジェクトＬＢ１は、製品の例である複合機９００に設けられるラベルである。プロセッサ２１０は、ラベルを表す特定領域Ａ４を決定できる。

【0060】

また、プロセッサ２１０は、図２のＳ１２０で、検査処理を実行する。この検査処理では、図７で説明したように、プロセッサ２１０は、撮影画像ＩＭ１（図４（Ｉ））中の特定領域Ａ４の画像を使用して、注目オブジェクトＬＢ１の外観の検査を行う。具体的には、Ｓ５１０で、プロセッサ２１０は、撮影画像ＩＭ１のうちの特定領域Ａ４の画像である特定画像を取得する。Ｓ５２０では、プロセッサ２１０は、特定画像と、注目オブジェクトＬＢ１の基準画像と、の間の差分画像を表す差分画像データを生成する。差分画像は、注目オブジェクトＬＢ１の不具合部分を示している。差分画像は、検査結果の例である。このように、プロセッサ２１０は、特定領域Ａ４の画像を使用して、注目オブジェクトＬＢ１の外観の適切な検査が可能である。

【0061】

また、本実施例では、第２領域Ａ２を決定するためのＳ２３０（図３）は、図５の処理を含んでいる。Ｓ３１０－Ｓ３７０では、プロセッサ２１０は、中間領域Ａｍのアスペクト比が注目オブジェクトＬＢ１のアスペクト比に近づくように、中間領域Ａｍを決定する。ここで、プロセッサ２１０は、第１領域Ａ１の高さＨ１（すなわち、縦方向の大きさ）と幅Ｗ１（すなわち、横方向の大きさ）とのうちの小さい方を調整することによって、中間領域Ａｍを決定する。また、Ｓ３８０では、プロセッサ２１０は、中間領域Ａｍを拡張することによって第２領域Ａ２を決定する。ここで、プロセッサ２１０は、中間領域Ａｍの輪郭の全体を外側に向かって拡張することによって第２領域Ａ２を決定する。第１領域Ａ１のアスペクト比が注目オブジェクトＬＢ１のアスペクト比と異なる場合であっても、プロセッサ２１０は、注目オブジェクトＬＢ１のアスペクト比と同じアスペクト比を有する中間領域Ａｍを拡張することによって、第２領域Ａ２を決定する。以上により、注目オブジェクトＬＢ１を表すオブジェクト領域ＯＡ１が第２領域Ａ２の外にはみ出る可能性は、低減する。そして、プロセッサ２１０は、注目オブジェクトＬＢ１を表すオブジェクト領域ＯＡ１を内包する特定領域Ａ４を決定できる。

【0062】

また、物体検出モデルＭ１は、不適切なバウンディングボックスＢＢ１を決定し得る。例えば、注目オブジェクトＬＢ１（図４（Ａ））が横長である場合に、プロセッサ２１０は、物体検出モデルＭ１に従って、縦長のバウンディングボックスＢＢ１を誤って決定し得る（図示省略）。このような場合に、プロセッサ２１０は、第１領域Ａ１の高さＨ１と幅Ｗ１とのうちの小さい方である幅Ｗ１を、注目オブジェクトＬＢ１の適切なアスペクト比に従って拡張することによって、中間領域Ａｍを決定する。プロセッサ２１０は、中間領域Ａｍを拡張することによって、第２領域Ａ２を決定する。従って、注目オブジェクトＬＢ１を表すオブジェクト領域ＯＡ１が第２領域Ａ２の外にはみ出る可能性は、低減する。

【0063】

Ｂ．第２実施例：
図８（Ａ）－図８（Ｃ）は、対象オブジェクト領域を選択する処理の別の実施例の概略図である。図８（Ａ）は、対象オブジェクト領域を選択する処理の一部のフローチャートである。第１実施例との差異は、図３のＳ２６０が、図８（Ａ）のＳ２６０ａに置換される点だけである。データ処理の他の部分の処理は、第１実施例（図２、図３、図５、図６、図７）の対応する部分の処理と同じである（同じ部分については、図示と説明とを省略する）。

【0064】

本実施例では、選択条件は、オブジェクト領域がバウンディングボックスＢＢ１の中心に最も近いことである。図８（Ｂ）は、バウンディングボックスＢＢ１の中心と、オブジェクト領域ＯＡ１、ＯＡ２の中心と、の説明図である。図中には、処理済二値画像ＩＭ４が示されている。この処理済二値画像ＩＭ４は、図４（Ｇ）の処理済二値画像ＩＭ４と同じである。図中には、３個の中心Ｃｂ、Ｃｏ１、Ｃｏ２が示されている。ボックス中心Ｃｂは、バウンディングボックスＢＢ１（図４（Ａ））の中心である。第１領域中心Ｃｏ１は、第１オブジェクト領域ＯＡ１の中心である。第２領域中心Ｃｏ２は、第２オブジェクト領域ＯＡ２の中心である。各中心の座標は、以下の通りである（括弧内には、第１方向Ｄｘの座標、第２方向Ｄｙの座標が、順に示されている）。
ボックス中心Ｃｂ（ｘ０，ｙ０）
第１領域中心Ｃｏ１（ｘ１，ｙ１）
第２領域中心Ｃｏ２（ｘ２，ｙ２）

【0065】

図８（Ｃ）は、ボックス中心Ｃｂと領域中心Ｃｏ１、Ｃｏ２との間の距離Ｒ１、Ｒ２の計算式を示している。本実施例では、距離として、ユークリッド距離が採用される。また、図中には、第１距離Ｒ１と第２距離Ｒ２との間の大小関係が示されている。図８（Ｂ）に示すように、第１オブジェクト領域ＯＡ１の中心Ｃｏ１は、ボックス中心Ｃｂにより近く、第２オブジェクト領域ＯＡ２の中心Ｃｏ２は、ボックス中心Ｃｂからより遠い。すなわち、Ｒ１＜Ｒ２である。従って、プロセッサ２１０は、第１オブジェクト領域ＯＡ１を選択する。上述したように、第２領域Ａ２は、注目オブジェクトＬＢ１のためのバウンディングボックスＢＢ１（図４（Ａ））に基づいて、決定される。第２領域Ａ２のうちの大きな部分が、注目オブジェクトＬＢ１に重なる。従って、ボックス中心Ｃｂに最も近い中心を有するオブジェクト領域は、注目オブジェクトＬＢ１を示す可能性が高い。

【0066】

このように、Ｓ２６０ａでは、プロセッサ２１０は、複数のオブジェクト領域のうち、ボックス中心Ｃｂに最も近い中心を有するオブジェクト領域、すなわち、ボックス中心Ｃｂに最も近いオブジェクト領域を、対象オブジェクト領域として選択する。図８（Ｂ）の例では、第１オブジェクト領域ＯＡ１が対象オブジェクト領域として選択される。従って、プロセッサ２１０は、第１実施例と同様に、図３のＳ２７０－Ｓ２８０で、注目オブジェクトＬＢ１を表すオブジェクト領域ＯＡ１を内包する特定領域Ａ４を決定できる。

【0067】

Ｃ．第３実施例：
図９（Ａ）－図９（Ｃ）は、中間領域Ａｍを決定する処理の別の実施例の概略図である。図９（Ａ）は、中間領域Ａｍを決定する処理の一部のフローチャートである。第１実施例との差異は、図５のＳ３３０が、図９（Ａ）のＳ３３０ｂに置換される点だけである。データ処理の他の部分の処理は、第１実施例（図２、図３、図５、図６、図７）の対応する部分の処理と同じである（同じ部分については、図示と説明とを省略する）。なお、図９（Ａ）の実施例は、図８（Ａ）の実施例に適用されてもよい。

【0068】

本実施例では、プロセッサ２１０は、第１領域Ａ１の形状に拘わらずに、中間領域Ａｍのアスペクト比が注目オブジェクトＬＢ１のアスペクト比になるように第１領域Ａ１を拡張することによって、中間領域Ａｍを決定する。Ｓ３３０ｂでは、プロセッサ２１０は、以下の第２条件が満たされるか否かを判断する。
（第２条件） （Ｈ０／Ｗ０）＞（Ｈ１／Ｗ１）

【0069】

第２条件が満たされることは、注目オブジェクトＬＢ１の適切なアスペクト比（Ｈ０／Ｗ０）に対して、第１領域Ａ１（すなわち、バウンディングボックスＢＢ１）の幅Ｗ１に対する高さＨ１の比が小さいことを示している。図９（Ｂ）は、第２条件が満たされる場合のバウンディングボックスと第１領域の例を示している。図中には、注目オブジェクトＬＢ１と、バウンディングボックスＢＢ１と、バウンディングボックスＢＢ１に囲まれる第１領域Ａ１と、が示されている。図示するように、注目オブジェクトＬＢ１に対して、第１領域Ａ１の幅Ｗ１は十分であるが、第１領域Ａ１の高さＨ１は十分ではない。

【0070】

第２条件は満たされる場合（Ｓ３３０ｂ：Ｙｅｓ）、Ｓ３４０で決定される参考高さＨｍは、高さＨ１よりも大きい。Ｓ３５０では、この参考高さＨｍを使用して、中間領域Ａｍが決定される。図９（Ｂ）の下部分には、注目オブジェクトＬＢ１と中間領域Ａｍとが示されている。プロセッサ２１０は、第１領域Ａ１の高さＨ１を参考高さＨｍに拡張することによって、中間領域Ａｍを決定する。

【0071】

第１領域Ａ１の幅Ｗ１は、撮影画像ＩＭ１上の注目オブジェクトＬＢ１の幅よりも小さい場合がある。この場合も、第２条件が満たされる場合（Ｓ３３０ｂ：Ｙｅｓ）、プロセッサ２１０は、Ｓ３４０、Ｓ３５０で、第１領域Ａ１の高さＨ１を参考高さＨｍに拡張することによって、中間領域Ａｍを決定する。

【0072】

第２条件（図９（Ａ）：Ｓ３３０ｂ）が満たされないことは、注目オブジェクトＬＢ１の適切なアスペクト比（Ｈ０／Ｗ０）に対して、第１領域Ａ１（すなわち、バウンディングボックスＢＢ１）の幅Ｗ１に対する高さＨ１の比が大きいことを示している。図９（Ｃ）は、第２条件が満たされない場合のバウンディングボックスと第１領域の例を示している。図中には、注目オブジェクトＬＢ１と、バウンディングボックスＢＢ１と、バウンディングボックスＢＢ１に囲まれる第１領域Ａ１と、が示されている。図示するように、注目オブジェクトＬＢ１に対して、第１領域Ａ１の高さＨ１は十分であるが、第１領域Ａ１の幅Ｗ１は十分ではない。

【0073】

第２条件は満たされない場合（Ｓ３３０ｂ：Ｎｏ）、Ｓ３６０で決定される参考幅Ｗｍは、幅Ｗ１よりも大きい。Ｓ３７０では、この参考幅Ｗｍを使用して、中間領域Ａｍが決定される。図９（Ｃ）の下部分には、注目オブジェクトＬＢ１と中間領域Ａｍとが示されている。プロセッサ２１０は、第１領域Ａ１の幅Ｗ１を参考幅Ｗｍに拡張することによって、中間領域Ａｍを決定する。

【0074】

第１領域Ａ１の高さＨ１は、撮影画像ＩＭ１上の注目オブジェクトＬＢ１の高さよりも小さい場合がある。この場合も、第２条件が満たされない場合（Ｓ３３０ｂ：Ｎｏ）、プロセッサ２１０は、Ｓ３６０、Ｓ３７０で、第１領域Ａ１の幅Ｗ１を参考幅Ｗｍに拡張することによって、中間領域Ａｍを決定する。

【0075】

以上のように、本実施例では、第２領域Ａ２を決定するためのＳ２３０（図３）は、図５、図９（Ａ）の処理を含んでいる（図５のＳ３３０は、図９（Ａ）のＳ３３０ｂに置換される）。Ｓ３１０、Ｓ３２０、Ｓ３３０ｂ、Ｓ３４０－Ｓ３７０では、プロセッサ２１０は、第１領域Ａ１を拡張することによって中間領域Ａｍを決定する。ここで、プロセッサ２１０は、中間領域Ａｍのアスペクト比が注目オブジェクトＬＢ１のアスペクト比に近づくように、第２方向Ｄｙ（すなわち、縦方向）と第１方向Ｄｘ（すなわち、横方向）とのいずれかの方向に第１領域Ａ１を拡張することによって中間領域Ａｍを決定する。また、Ｓ３８０では、プロセッサ２１０は、中間領域Ａｍを拡張することによって第２領域Ａ２を決定する。ここで、プロセッサ２１０は、中間領域Ａｍの輪郭の全体を外側に向かって拡張することによって第２領域Ａ２を決定する。以上により、第１領域Ａ１のアスペクト比が注目オブジェクトＬＢ１のアスペクト比と異なる場合であっても、図４（Ｉ）の実施例と同様に、プロセッサ２１０は、注目オブジェクトＬＢ１を表すオブジェクト領域ＯＡ１を内包する特定領域Ａ４を決定できる。また、本実施例では、プロセッサ２１０は、第１領域Ａ１の形状に拘わらずに、第１領域Ａ１を拡張することによって、中間領域Ａｍを決定する。従って、特定領域Ａ４から注目オブジェクトＬＢ１がはみ出る可能性は、低減する。

【0076】

Ｄ．変形例：
（１）第２領域Ａ２を背景領域とオブジェクト領域とを含む複数の領域に分割する処理は、図６の処理に代えて、他の種々の処理であってよい。例えば、プロセッサ２１０は、予め決められた背景色範囲内の色を有する画素を背景画素として選択し、他の画素をオブジェクト画素として選択してよい。そして、プロセッサ２１０は、複数のオブジェクト画素が連続する領域をオブジェクト領域として選択してよい。いずれの場合も、プロセッサ２１０は、複数のオブジェクト画素が連続する１個の領域を１個のオブジェクト領域として選択してよい。

【0077】

（２）複数のオブジェクト領域から処理対象のオブジェクト領域である対象オブジェクト領域を選択する処理は、図３のＳ２６０、図８（Ａ）のＳ２６０ａに代えて、他の種々の処理であってよい。例えば、プロセッサ２１０は、バウンディングボックスＢＢ１（図８（Ｂ））のボックス中心Ｃｂを含むオブジェクト領域を対象オブジェクト領域として選択してよい。このようなオブジェクト領域も、バウンディングボックスＢＢ１のボックス中心Ｃｂに最も近いオブジェクト領域の例である。ここで、バウンディングボックスＢＢ１のボックス中心Ｃｂに代えて、第２ボックスＢＢ２の中心が使用されてよい。図８（Ａ）のＳ２６０ａにおいて、ボックス中心Ｃｂに代えて、第２ボックスＢＢ２の中心が使用されてよい。また、プロセッサ２１０は、バウンディングボックスＢＢ１に囲まれる第１領域Ａ１の面積に最も近い面積を有するオブジェクト領域を選択してよい。いずれの場合も、選択されるオブジェクト領域は、注目オブジェクトを示す可能性が高い。

【0078】

（３）中間領域Ａｍの決定処理は、図５の処理と図９（Ａ）の処理とに代えて、他の種々の処理であってよい。中間領域Ａｍのアスペクト比は、注目オブジェクトのアスペクト比からずれていてもよい。例えば、Ｓ３５０（図５、図９（Ａ））で決定される中間領域Ａｍの高さは、参考高さＨｍ（Ｓ３４０）に１とは異なる係数を乗じて得られる値であってよい。また、Ｓ３７０で決定される中間領域Ａｍの幅は、参考幅Ｗｍ（Ｓ３６０）に１とは異なる係数を乗じて得られる値であってよい。いずれの場合も、プロセッサ２１０は、第１領域Ａ１のアスペクト比と比べて、中間領域Ａｍのアスペクト比が、注目オブジェクトのアスペクト比により近くなるように、中間領域Ａｍを決定することが好ましい。

【0079】

（４）第１領域Ａ１から第２領域Ａ２を決定する処理は、図５、図９（Ａ）の処理に代えて、他の種々の処理であってよい。Ｓ３８０（図５）では、プロセッサ２１０は、中間領域Ａｍの高さと幅とのそれぞれに、係数ｋを乗じることによって、第２領域Ａ２の高さと幅とを決定する。ここで、プロセッサ２１０は、係数ｋを、調整してよい。例えば、プロセッサ２１０は、係数ｋを、中間領域Ａｍの面積が小さいほど大きい値に調整してよい。また、高さのための係数は、幅のための係数と異なってよい。

【0080】

また、プロセッサ２１０は、中間領域Ａｍを決定せずに、第１領域Ａ１から第２領域Ａ２を決定してよい。例えば、プロセッサ２１０は、第１領域Ａ１の高さＨ１に第１係数ｃ１を乗じることによって、第２領域Ａ２の高さを決定してよい。プロセッサ２１０は、第１領域Ａ１の幅Ｗ１に第２係数ｃ２を乗じることによって、第２領域Ａ２の幅を決定してよい。ここで、係数ｃ１、ｃ２は、いずれも、１よりも大きい値に予め決定されてよい。第２領域Ａ２の中心は、第１領域Ａ１の中心と同じ位置に配置されてよい。プロセッサ２１０は、係数ｃ１、ｃ２を、調整してよい。例えば、プロセッサ２１０は、第１係数ｃ１を、第１領域Ａ１の面積が小さいほど大きい値に調整してよい。プロセッサ２１０は、第２係数ｃ２を、第１領域Ａ１の面積が小さいほど大きい値に調整してよい。

【0081】

（５）第３矩形ＢＢ３（図４（Ｈ））から特定領域Ａ４（図４（Ｉ））を決定する処理は、Ｓ２８０（図３）の処理に代えて、他の種々の処理であってよい。プロセッサ２１０は、図４（Ｉ）で説明した拡張点Ｐ１１－Ｐ１４の座標の第１拡張値ｄｘと第２拡張値ｄｙを、調整してよい。例えば、プロセッサ２１０は、第１拡張値ｄｘを、対象オブジェクト領域ＯＡ１の面積が小さいほど大きい値に調整してよい。プロセッサ２１０は、第２拡張値ｄｙを、対象オブジェクト領域ＯＡ１の面積が小さいほど大きい値に調整してよい。

【0082】

また、プロセッサ２１０は、第３領域Ａ３（図４（Ｈ））の高さに第１係数ｆ１を乗じることによって、特定領域Ａ４の高さを決定してよい。プロセッサ２１０は、第３領域Ａ３の幅に第２係数ｆ２を乗じることによって、特定領域Ａ４の幅を決定してよい。ここで、係数ｆ１、ｆ２は、いずれも、１よりも大きい値に予め決定されてよい。特定領域Ａ４の中心は、第３領域Ａ３の中心と同じ位置に配置されてよい。プロセッサ２１０は、係数ｆ１、ｆ２を、調整してよい。例えば、プロセッサ２１０は、第１係数ｆ１を、第３領域Ａ３の面積が小さいほど大きい値に調整してよい。プロセッサ２１０は、第２係数ｆ２を、第３領域Ａ３の面積が小さいほど大きい値に調整してよい。

【0083】

（６）Ｓ５２０（図７）で使用される画像生成モデルＭ２は、ＶＱ－ＶＡＥに代えて、Ｓ５１０で取得される特定画像（すなわち、注目オブジェクトＬＢ１の画像）に対応する基準画像を生成する任意のモデルであってよい。基準画像は、不具合の無い注目オブジェクトＬＢ１の画像である。画像生成モデルＭ２は、例えば、ＶＡＥ（Variational Auto Encoder）などの種々のオートエンコーダであってよい。

【0084】

（７）検査処理は、図７の処理に代えて、注目オブジェクトの外観を検査する種々の処理であってよい。例えば、Ｓ５２０では、画像生成モデルＭ２によって生成される画像データに代えて、予め準備された基準画像データが使用されてよい。この場合、プロセッサ２１０は、パターンマッチングによって、Ｓ５１０で取得される特定画像の第１ラベルＬＢ１と、基準画像の第１ラベルＬＢ１と、の間の位置関係を決定してよい。プロセッサ２１０は、決定された位置関係に従って、差分画像データを生成してよい。ここで、プロセッサ２１０は、Ｓ５１０で取得される特定画像の第１ラベルＬＢ１の形状と、基準画像の第１ラベルＬＢ１の形状と、の間の差が小さくなるように、特定画像と基準画像との一方、または、両方を変形させることが好ましい。例えば、プロセッサ２１０は、特定画像の射影変換を行ってよい。プロセッサ２１０は、特定画像の第１ラベルＬＢ１の複数の特定部分（例えば、第１ラベルＬＢ１の４個の角）の配置が、基準画像の第１ラベルＬＢ１の対応する部分の配置と同じとなるように、射影変換のパラメータを決定してよい。そして、プロセッサ２１０は、変換済の特定画像を使用して差分画像を生成してよい。射影変換には、例えば、いわゆるｏｐｅｎＣＶの射影変換の関数が使用されてよい。

【0085】

また、プロセッサ２１０は、Ｓ５３０で、差分画像データを分析することによって、検査結果が合格であるか不合格で有るかを判断してよい。例えば、プロセッサ２１０は、差分色値の合計値が閾値以上である場合に、検査結果が不合格であると判断し、その合計値が閾値未満である場合に、検査結果が合格であると判断してよい。そして、プロセッサ２１０は、差分画像に代えて、合格または不合格を示す情報を、表示部２４０に表示してよい。

【0086】

また、検査処理（図７）で使用される画像生成モデルＭ２（図１）は、ａｎｏＧＡＮ（Anomaly Detection with Generative Adversarial Networks）と呼ばれるモデルであってよい。ａｎｏＧＡＮは、種々の潜在変数から不具合の無い注目オブジェクトＬＢ１の画像データを生成するように、予め訓練される。Ｓ５２０では、プロセッサ２１０は、訓練済のａｎｏＧＡＮによって生成される画像が、Ｓ５１０で取得される特定画像（すなわち、注目オブジェクトＬＢ１を示す画像）に近づくように、ａｎｏＧＡＮの潜在変数を調整する。ａｎｏＧＡＮは、不具合の無い注目オブジェクトＬＢ１の画像を適切に生成できる。従って、特定画像の注目オブジェクトＬＢ１に不具合が無い場合、調整済の潜在変数に従ってａｎｏＧＡＮによって生成される画像と、特定画像と、の間の差分は小さくなる。また、ａｎｏＧＡＮは、不具合を有する注目オブジェクトＬＢ１の画像を適切に生成できない。従って、特定画像の注目オブジェクトＬＢ１が不具合を有する場合、調整済の潜在変数に従ってａｎｏＧＡＮによって生成される画像と、特定画像と、の間の差分が大きくなる。Ｓ５２０では、プロセッサ２１０は、この差分を取得してよい。Ｓ５３０では、プロセッサ２１０は、差分が予め決められた基準よりも大きい場合に、検査結果が不合格であると判断してよい。そして、プロセッサ２１０は、合格または不合格を示す情報を、表示部２４０に表示してよい。このように、検査処理は、画像生成モデルを使用する種々の処理であってよい。

【0087】

（８）Ｓ２２０（図３）で使用される物体検出モデルＭ１は、ＹＯＬＯｖ４に代えて、ＳＳＤ（Single Shot MultiBox Detector）など、種々の物体検出モデルであってよい。

【0088】

（９）Ｓ２２０でのバウンディングボックスの決定方法は、物体検出モデルＭ１を使用する方法に代えて、注目オブジェクトの少なくとも一部分を囲むバウンディングボックスを決定する任意の方法であってよい。例えば、プロセッサ２１０は、注目オブジェクトの予め決められた基準画像を使用するパターンマッチングによって、バウンディングボックスを決定してよい。

【0089】

（１０）注目オブジェクトは、複合機９００に限らず、種々の製品に設けられるラベルであってよい。製品は、プリンタ、ミシン、工作機械、カッティングマシーン、スキャナ、スマートフォンなど、任意の製品であってよい。また、製品は、他の製品の部品であってよい。例えば、注目オブジェクトは、複合機に取り付けられる部品である排紙トレーに設けられるラベルであってよい。製品には、注目オブジェクトを含むＮ個（Ｎは１以上の整数）のラベルが設けられてよい。撮影画像が複数のラベルを表す場合であっても、上記の特定領域の決定処理は、注目オブジェクトのオブジェクト領域を内包する特定領域を決定できる。

【0090】

（１１）注目オブジェクトは、ラベルに代えて、他の任意のオブジェクトであってよい。例えば、注目オブジェクトは、立体的な銘（製造者のロゴ、製品のブランドなど）、または、塗装された模様であってよい。また、製品には、複数種類のオブジェクトが設けられてよい。

【0091】

（１２）特定領域の決定に使用される対象画像は、撮影画像に代えて、他の種々の画像であってよい。例えば、プロセッサ２１０は、スキャナによって読み取られる読取画像から、特定領域を決定してよい。

【0092】

（１３）図２のデータ処理から、Ｓ１２０は省略されてよい。この場合、プログラムＰＧ（図１）から、第２プログラム２３２は省略されてよい。特定領域を示すデータ（図３：Ｓ２９０）の用途は、注目オブジェクトの外観の検査に限らず、任意の用途であってよい。例えば、対象画像のうちの特定領域の画像を製品のマニュアルに掲載するために、特定領域を示すデータが使用されてよい。

【0093】

（１４）図１のデータ処理装置２００は、パーソナルコンピュータとは異なる種類の装置（例えば、デジタルカメラ、スキャナ、スマートフォン）であってよい。また、ネットワークを介して互いに通信可能な複数の装置（例えば、コンピュータ）が、データ処理装置によるデータ処理の機能を一部ずつ分担して、全体として、データ処理の機能を提供してもよい（これらの装置を備えるシステムがデータ処理装置に対応する）。

【0094】

上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、図３のＳ２４０の領域分割の機能を、専用のハードウェア回路によって実現してもよい。

【0095】

また、本開示の機能の一部または全部がコンピュータプログラムで実現される場合には、そのプログラムは、コンピュータ読み取り可能な記録媒体（例えば、一時的ではない記録媒体）に格納された形で提供することができる。プログラムは、提供時と同一または異なる記録媒体（コンピュータ読み取り可能な記録媒体）に格納された状態で、使用され得る。「コンピュータ読み取り可能な記録媒体」は、メモリーカードやＣＤ－ＲＯＭのような携帯型の記録媒体に限らず、各種ＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含み得る。

【0096】

上記した実施の形態は、本開示の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

【符号の説明】

【0097】

１１０…デジタルカメラ、２００…データ処理装置、２１０…プロセッサ、２１５…記憶装置、２２０…揮発性記憶装置、２３０…不揮発性記憶装置、ＰＧ…プログラム、２３１…第１プログラム、２３２…第２プログラム、２４０…表示部、２５０…操作部、２７０…通信インタフェース、９００…複合機、Ｍ１…物体検出モデル、Ｍ２…画像生成モデル、

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】