特開 2024-98839 情報処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024098839

(43)【公開日】2024-07-24

(54)【発明の名称】情報処理装置及びプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240717BHJP

【ＦＩ】

H04N23/60 500

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023002590

(22)【出願日】2023-01-11

(71)【出願人】

【識別番号】517224850

【氏名又は名称】株式会社ＲＵＴＩＬＥＡ

(74)【代理人】

【識別番号】110002871

【氏名又は名称】弁理士法人坂本国際特許商標事務所

(72)【発明者】

【氏名】矢野 貴文

(72)【発明者】

【氏名】新▲崎▼ 聖峰

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA12

5C122EA12

5C122FB03

5C122FH11

5C122FH20

5C122GD11

5C122HA88

5C122HB01

5C122HB10

(57)【要約】

【課題】 エリアカメラを用いた合成画像における歪曲収差に起因した品質の低下を抑制する。
【解決手段】 撮像対象に対してエリアカメラを相対的に移動させながら複数の撮像位置で撮像した複数の画像を取得する画像取得部と、画像取得部により取得された複数の画像をつなぎ合わせた形態の合成画像を生成する画像合成処理部とを備え、画像合成処理部は、複数の画像のそれぞれのうちの、それぞれの中心位置を含む所定画像領域だけを用いて、合成画像を生成する。複数の撮像位置は、合成画像に撮像対象全体が含まれるように設定される。
【選択図】 図１

【特許請求の範囲】

【請求項1】

撮像対象に対してエリアカメラを相対的に移動させながら複数の撮像位置で撮像した複数の画像を取得する画像取得部と、
前記画像取得部により取得された前記複数の画像をつなぎ合わせた形態の合成画像を生成する画像合成処理部とを備え、
前記画像合成処理部は、前記複数の画像のそれぞれのうちの、それぞれの中心位置を含む所定画像領域だけを用いて、前記合成画像を生成する、情報処理装置。

【請求項2】

前記複数の撮像位置は、前記合成画像に前記撮像対象全体が含まれるように設定される、請求項１に記載の情報処理装置。

【請求項3】

前記画像合成処理部により生成された前記合成画像に基づいて、前記撮像対象を検査する検査処理部を更に備える、請求項１に記載の情報処理装置。

【請求項4】

前記所定画像領域は、矩形である、請求項１に記載の情報処理装置。

【請求項5】

前記撮像対象に対して前記エリアカメラの相対的な移動方向を第１方向とし、前記エリアカメラの光軸と前記第１方向の双方に直交する方向を第２方向としたとき、前記所定画像領域の前記第１方向の幅は、前記所定画像領域の前記第２方向の幅よりも短い、請求項４に記載の情報処理装置。

【請求項6】

前記所定画像領域は、前記エリアカメラの光学系に係る歪曲収差が所定閾値以下の領域である、請求項１に記載の情報処理装置。

【請求項7】

前記撮像対象は、虫を捕捉可能なシート状の物体を含み、
前記検査処理部は、前記合成画像に基づいて、虫を検出する、請求項３に記載の情報処理装置。

【請求項8】

前記検査処理部は、機械学習されたモデルに基づいて、虫を検出し、
前記モデルは、虫の各部位のラベル付けデータに基づく機械学習により構築される、請求項７に記載の情報処理装置。

【請求項9】

１つ以上のユーザ端末、１つ以上のサーバコンピュータ、又は、これらの任意の組み合わせにより実現される、請求項１から８のうちのいずれか１項の情報処理装置。

【請求項10】

コンピュータを請求項１から８のうちのいずれか１項の情報処理装置として機能させる、コンピュータ読み取り可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置及びプログラムに関する。

【背景技術】

【0002】

光学表示パネルがライン状照明装置とエリアカメラとの間を通過している間に、エリアカメラにより、ライン状照明装置から光学表示パネルに射出されて透過された光を受光し、該光学表示パネルを移動させながら、その所定範囲を順次撮像し、撮像された複数の画像データを画像処理部に送って光学表示パネルの全体的な画像に合成し、該エリアカメラが第ｎ（ｎ≧１）回目に撮像した光学表示パネルの画像と第ｎ＋１回目に撮像した光学表示パネルの画像とが、光学表示パネルの移動方向に一部重なるようにする技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－１２１９８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した従来技術は、領域の重なりを増やすことで、欠陥検出の漏れを無くそうとする技術であるが、合成方法の如何によっては、歪曲収差に起因して、合成画像の品質が低下するおそれがある。

【0005】

そこで、本開示は、エリアカメラを用いた合成画像における歪曲収差に起因した品質の低下を抑制することを目的とする。

【課題を解決するための手段】

【0006】

１つの側面では、
撮像対象に対してエリアカメラを相対的に移動させながら複数の撮像位置で撮像した複数の画像を取得する画像取得部と、
前記画像取得部により取得された前記複数の画像をつなぎ合わせた形態の合成画像を生成する画像合成処理部とを備え、
前記画像合成処理部は、前記複数の画像のそれぞれのうちの、それぞれの中心位置を含む所定画像領域だけを用いて、前記合成画像を生成する、情報処理装置が提供される。

【発明の効果】

【0007】

本開示によれば、エリアカメラを用いた合成画像における歪曲収差に起因した品質の低下を抑制することが可能となる。

【図面の簡単な説明】

【0008】

【図1】本実施例による情報処理装置を利用した検査システムの一例を示した概略図である。

【図2】エリアカメラによる撮影の方法を示す図である。

【図3】撮像対象の形状と、エリアカメラによる撮影範囲との関係を示す図である。

【図4】情報処理装置の動作を示すフローチャートである。

【図5】撮影画像における歪を示す図である。

【図6】合成画像を例示する図である。

【図7】光学ディストーションの定義にしたがって、Ｎを算出する方法について例示する図である。

【図8】特徴量として特定される虫の各部位を示す図である。

【図9】比較的サイズの小さな合成画像を例示する図である。

【図9A】比較的サイズの大きな合成画像を例示する図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照しながら各実施例について詳細に説明する。

【0010】

図１は、本実施例による情報処理装置を利用した検査システムの一例を示した概略図、図２は、エリアカメラによる撮影の方法を示す図である。

【0011】

図１に示すように、検査システム１は、コンピュータを含んで構成される情報処理装置１０と、エリアカメラ２０と、駆動装置３０と、を含む。

【0012】

情報処理装置１０は、撮像対象５０（図２）に対してエリアカメラ２０を相対的に移動させながら複数の撮像位置で撮像した複数の画像を取得する画像取得部１１と、画像取得部１１により取得された複数の画像をつなぎ合わせた形態の合成画像を生成する画像合成処理部１２と、画像合成処理部１２により生成された合成画像に基づいて、撮像対象５０を検査する検査処理部１３と、情報処理装置１０の各部、エリアカメラ２０および駆動装置３０を制御する制御部１５と、を備える。

【0013】

情報処理装置１０は、例えば、所定のプログラムが実装された１つ以上のユーザ端末、所定のプログラムが実装された１つ以上のサーバコンピュータ、又は、これらの任意の組み合わせにより構成することができる。

【0014】

図２に示すように、Ｚ方向の光軸を有するエリアカメラ２０は、制御部１５により制御される駆動装置３０によって、図２におけるＸ方向（右方向、第１方向）に平行移動される。また、エリアカメラ２０は制御部１５による制御に従って、一定の移動幅ｄごとに撮像対象５０を撮影し、撮影された画像が、順次、画像取得部１１により取得される。

【0015】

なお、図２では、エリアカメラ２０を移動させる例を示しているが、エリアカメラ２０を固定し、撮像対象５０を移動させてもよい。

【0016】

図３は、撮像対象の形状と、エリアカメラによる撮影範囲との関係を示す図である。

【0017】

図３に示すように、撮像対象５０は、Ｘ方向の幅Ｌｘと、Ｙ方向（第２方向）の幅Ｌｙとを有する矩形形状を呈する。エリアカメラ２０による撮影範囲は、Ｘ方向における幅ｄ０を有する略矩形状の撮影領域２０Ａとして示されている。本実施例では、幅ｄ０よりも短い移動幅ｄごとにエリアカメラ２０をＸ方向に平行移動しながら、撮影をＮ回行う。そして、領域２０ＡのうちのＸ方向の移動幅ｄに相当する領域２０Ｂの画像のみを用い、これらのＮ個の領域２０Ｂの画像を画像合成処理部１２によりＸ方向につなぎ合わせ、幅Ｌｘを有する撮像対象５０全体の合成画像を生成している。図３に示すように、領域２０Ｂは、Ｘ方向における撮影領域２０Ａの中心位置を含むように設定され、Ｙ方向を長手方向とする矩形形状とされている。

【0018】

本実施例では、エリアカメラ２０による撮影画像のうち、歪曲収差の影響が少ない撮影領域２０Ａの中央部の領域２０Ｂの画像を繋ぎ合わせて合成画像を生成することにより、歪みの少ない高品質な合成画像が得られる。

【0019】

図４は、情報処理装置の動作を示すフローチャートである。図４に示す処理は、制御部１５を主体とする制御に従って実行される。

【0020】

図４のステップＳ１０２では、制御部１５は、駆動装置３０を制御して、エリアカメラ２０を初期位置に設定する。このときのエリアカメラ２０の初期位置のＸ座標を、Ｘ＝Ｘ０とする。

【0021】

ステップＳ１０４では、制御部１５は、ｋの値を１に設定する。

【0022】

ステップＳ１０６では、制御部１５は、駆動装置３０を制御して、エリアカメラ２０をＸ方向に移動幅ｄだけ移動させる。移動後のエリアカメラ２０のＸ座標は、Ｘ０＋ｋ×移動幅ｄ となる。

【0023】

ステップＳ１０８では、制御部１５は、エリアカメラ２０による撮影を行い、撮影された画像を画像取得部１１に取得させる。取得された画像は、画像取得部１１に保存される。

【0024】

ステップＳ１１０では、制御部１５は、ｋ＝Ｎか否か判断し、判断が肯定されれば処理をステップＳ１１４へ進め、判断が否定されれば処理をステップＳ１１２へ進める。

【0025】

ステップＳ１１２では、制御部１５は、ｋの値に１を加算し、処理をステップＳ１０６へ進める。

【0026】

ステップＳ１１４では、制御部１５は、画像取得部１１に保存されているＮ個の画像を画像合成処理部１２を介し画像合成する。

【0027】

ステップＳ１１６では、制御部１５は、画像合成処理部１２により得られた合成画像に対し、検査処理部１３による検査を実行させ、処理を終了する。

【0028】

次に、移動幅ｄの設定方法の一例について説明する。

【0029】

図５は、撮影画像における歪を示す図、図６は合成画像を例示する図である。

【0030】

例えば、図５に示す矩形１００をエリアカメラ２０で撮影した場合、レンズを含む光学系の歪曲収差により、その撮影画像は、糸巻型形状１０１や樽型形状１０２を示すのが一般的である。

【0031】

仮に、樽型形状１０２に相当する撮影画像をＸ方向に並べて合成すると、例えば、実際にはＸ方向に延びている直線が、図６に示す合成画像２００では波打った曲線２０１として現れる。曲線２０１の曲がりの程度は、移動幅ｄに依存し、移動幅ｄが小さいほど曲線２０１は直線に近づく。歪曲収差の影響は、合成画像における個々の撮影画像どうしの境界でも発生し、正しい画像合成の支障となる。このような歪曲収差の影響を抑制するためには、移動幅ｄを小さくする必要がある。

【0032】

図７は、光学ディストーションの定義にしたがって、Ｎを算出する方法について例示する図である。以下の方法では、樽型形状１０２の歪曲収差を有する場合に、歪みの比率を所定閾値α未満に抑制するようなＮを算出している。

【0033】

撮影画像の縦幅（Ｙ方向の幅）をｈ、横幅（Ｘ方向の幅）をｗとする。

【0034】

また、Ｙ軸とＣＯＧの角度をθ、ＯＥの長さをＨ、光学ディストーション（歪の比率）をＤとする。このとき、

【0035】

【数1】

また、以下が成立する。

【0036】

【数2】

ここで、

【0037】

【数3】

仮に、図３に示すように、撮像対象５０のＸ方向の幅Ｌｘを５００ｍｍ、エリアカメラ２０と撮像対象５０との距離を１００ｍｍ、エリアカメラ２０の垂直画角を２１．８度、エリアカメラ２０の水平画角を２９度とすると、
１１０．５７７＜Ｎ
となる。

【0038】

なお、Ｎないしｄを決める方法は任意であり、例えば、エリアカメラ２０により格子状パターンを撮影し、撮影画像に現れる実際の歪みの歪み率に基づいて、Ｎないしｄを決定してもよい。

【0039】

次に、検査処理部１３の動作について説明する。

【0040】

本実施例では、虫を捕捉するシート状の補虫紙が撮像対象５０である例を示す。検査処理部１３は、画像合成処理部１２により生成された上記の合成画像に基づいて、補虫紙上に捕捉された虫を検出する。

【0041】

図１に示すように、検査処理部１３は、機械学習された学習済みモデル４０に基づいて、虫を検出する。学習済みモデル４０は、虫の各部位のラベル付けデータに基づく機械学習により構築される。学習済みモデル４０を用いた検査処理部１３での検査に適用されるアルゴリズムとして、元来、人の顔のような１つの画像の中に多数の検出対象を認識するために開発された種のアルゴリズムを採用できる。この種のアルゴリズムは、捕虫紙に付着した虫のような１つの画像の中に多数の検出対象が存在する場合に、例えば、ＹＯＬＯ等と比較して高精度の検出ができるというメリットがある。したがって、この種のアルゴリズムは、補虫紙に多数の虫が存在する撮像対象５０に対する相性がよく、この種のアルゴリズムを用いることで、捕虫紙に付着しうる複数の各種虫を高精度に検出できる。

【0042】

図８は、特徴量として特定される虫の各部位の位置を示す図である。

【0043】

図８の例では、虫の特徴量として、頭の先を示す位置７１と、頭と胸の間を示す位置７２と、腹の先を示す位置７３とを入力している。この例では、目視で判断された虫の種類を示すラベルを、特徴量としての各位置７１～７３とともに入力し、機械学習を実行することにより学習済みモデル４０を構築している。このような学習済みモデル４０を用いることで、検査処理部１３により、虫を高精度に検出できるとともに虫の種類を高精度に判別することが可能となる。

【0044】

また、本実施例では、検査処理部１３に入力する合成画像のサイズを複数、用意している。

【0045】

図９は、比較的サイズの小さな合成画像を例示する図である。図９Ａは、比較的サイズの大きな合成画像を例示する図である。

【0046】

すなわち、大きな虫を判別するために適する比較的サイズの小さな合成画像（図９）を検査処理部１３に入力する。また、より小さな虫を判別するために適する比較的サイズの大きな合成画像（図９Ａ）を検査処理部１３に入力する。この場合、機械学習においても、サイズの異なる画像に対して、ラベリングと学習を行ってもよい。

【0047】

このように、図９および図９Ａに示すような複数段階のサイズの合成画像を検査処理部１３に入力することにより、共通のアルゴリズムを使用しつつ、大きさの異なる複数の虫を高精度に検出できる。また、大きさの異なる複数の虫の種類を高精度に判別することが可能となる。

【0048】

以上説明したように、本実施例の情報処理装置１０によれば、画像合成処理部１２は、エリアカメラ２０により撮影された複数の画像のそれぞれのうちの、それぞれの中心位置を含む所定画像領域だけを用いて、合成画像を生成している。このため、エリアカメラ２０を用いた合成画像における歪曲収差に起因した品質の低下を抑制することが可能となる。すなわち、ラインセンサで撮影された１次元の画像を繋ぎ合わせた場合と実質的に同等の、高品位な合成画像を得ることができる。また、ラインセンサを用いる場合よりも撮影回数を抑制できるとともに、汎用的なエリアカメラ２０の使用を可能とすることによりコストダウンを図ることができる。

【0049】

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。

【符号の説明】

【0050】

１０ 情報処理装置
１１ 画像取得部
１２ 画像合成処理部
１３ 検査処理部
４０ 学習済みモデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図9A】