特開 2024-133706 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024133706

(43)【公開日】2024-10-02

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240925BHJP

   G06V 10/25 20220101ALI20240925BHJP

   G06V 10/72 20220101ALI20240925BHJP

【ＦＩ】

G06T7/00 300D

G06V10/25

G06V10/72

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2024112040

(22)【出願日】2024-07-11

(62)【分割の表示】P 2023543740の分割

【原出願日】2022-07-08

(31)【優先権主張番号】P 2021139428

(32)【優先日】2021-08-27

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(71)【出願人】

【識別番号】502178001

【氏名又は名称】学校法人梅村学園

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(72)【発明者】

【氏名】大西 章介

(72)【発明者】

【氏名】橋本 学

(57)【要約】      （修正有）

【課題】画像処理装置及び画像処理方法を提供する。
【解決手段】カメラ１２、画像処理装置１０及び操作機器１３を備える対象操作システム１１において、画像処理装置１０は、メモリ１７と、通信部１６と、制御部１８と、を有する。メモリは、検出対象１４の複数の画像を含むテンプレート画像群を記憶する。通信部は、カメラ１２から照合対象を含む全体画像を取得する。制御部は、テンプレート画像群一部に基づいた代表画像を取得する。制御部は、全体画像の少なくとも一部と代表画像との類似判断を行う。
【選択図】図１

【特許請求の範囲】

【請求項1】

検出対象の複数の画像を含むテンプレート画像群を記憶するメモリと、
照合対象を含む全体画像を取得する取得部と、
前記テンプレート画像群の一部に基づいた代表画像を取得し、前記全体画像の少なくとも一部と前記代表画像との類似判断を行なう制御部と、を備える
画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記制御部は、前記全体画像内で検出された前記検出対象の画像を前記テンプレート画像群に含めるように前記メモリに格納する
画像処理装置。

【請求項3】

請求項１又は２に記載の画像処理装置において、
前記制御部は、前記テンプレート画像群に含まれる画像のうち、過去に遡った第１の時点から時系列に沿って取得された複数の画像を含む第１画像群のうち、サンプリング間隔で取得された複数の画像を含む第２画像群に基づいて前記代表画像を生成する
画像処理装置。

【請求項4】

請求項３に記載の画像処理装置において、
前記第１の時点及び前記サンプリング間隔の少なくとも一方の入力を検出する入力部を、更に備え、
前記制御部は、前記入力部が検出する入力に基づいて、前記第１の時点及び前記サンプリング間隔の少なくとも一方を決定する
画像処理装置。

【請求項5】

請求項１に記載の画像処理装置において、
前記制御部は、複数の前記全体画像に含まれる前記検出対象に対して同一又は類似する外観上の影響を与える少なくとも一つの外乱要因を決定し、前記テンプレート画像群から該外乱要因に対応する画像群を抽出し、該外乱要因に対応する画像群に基づいて前記代表画像を生成する
画像処理装置。

【請求項6】

請求項３又は４に記載の画像処理装置において、
前記制御部は、複数の前記全体画像に含まれる前記検出対象に対して同一又は類似する外観上の影響を与える少なくとも一つの外乱要因を決定し、前記第２画像群から該外乱要因に対応する画像群を抽出し、該外乱要因に対応する画像群に基づいて前記代表画像を生成する
画像処理装置。

【請求項7】

請求項５又は６に記載の画像処理装置において、
前記全体画像に含まれる前記検出対象に対する前記影響が生じる時の状況の入力を検出する入力部を、更に備え、
前記制御部は、前記外乱要因を前記テンプレート画像群の中で前記状況が関連付けられている画像に基づいて決定し、前記全体画像における前記検出対象の存在位置を検出する場合に前記存在位置の画像に前記状況を関連付けてテンプレート画像群に含める
画像処理装置。

【請求項8】

請求項１から７のいずれか１項に記載の画像処理装置において、
前記制御部は、前記代表画像を構成する複数の画素の中から、前記全体画像との比較に用いる画素を選択する
画像処理装置。

【請求項9】

請求項５から７のいずれか１項に記載の画像処理装置において、
前記制御部は、前記外乱要因に対応する画像群それぞれの同一アドレスの画素の画素値に基づく統計量を該画素の画素値に定めることにより前記代表画像を生成する
画像処理装置。

【請求項10】

請求項５から７のいずれか１項に記載の画像処理装置において、
前記制御部は、前記外乱要因に対応する画像群の中で、前記外乱要因に基づいて単一の画像を選択することにより、前記代表画像を生成する
画像処理装置。

【請求項11】

請求項５から８のいずれか１項に記載の画像処理装置において、
前記制御部は、前記全体画像に対する複数の外乱要因を決定し、前記複数の外乱要因それぞれに対応する複数の画像群を抽出し、前記複数の画像群別に複数の一次代表画像を生成し、該複数の一次代表画像それぞれの同一アドレスの画素の画素値に基づく統計量を該画素の画素値に定めることにより前記代表画像を生成する
画像処理装置。

【請求項12】

請求項５から８のいずれか１項に記載の画像処理装置において、
前記制御部は、前記全体画像に対する複数の外乱要因を決定し、前記複数の外乱要因それぞれに対応する複数の画像群を抽出し、前記複数の画像群それぞれにおいて同じアドレスの画素の画素値に基づく複数の統計量を算出し、前記複数の統計量に基づいて該画素の画素値を定めることにより前記代表画像を生成する
画像処理装置。

【請求項13】

請求項５から１２のいずれか１項に記載の画像処理装置において、
前記制御部は、前記類似判断に用いる前記全体画像の一部の寄与度を前記テンプレート画像群の少なくとも一部の統計量に基づいて算出し、該寄与度を前記類似判断に用いる
画像処理装置。

【請求項14】

請求項１３に記載の画像処理装置において、
前記制御部は、前記全体画像の一部を構成する画素別に前記寄与度を算出し、前記寄与度に基づいて該一部を構成する画素の中から前記類似判断に用いる画素を選択する
画像処理装置。

【請求項15】

請求項１３に記載の画像処理装置において、
前記制御部は、前記全体画像の一部を構成する画素別に前記寄与度を算出し、前記類似判断において前記画素別に算出された寄与度に応じた重み付けを施す
画像処理装置。

【請求項16】

請求項１３から１５のいずれか１項に記載の画像処理装置において、
前記寄与度の算出に用いる前記テンプレート画像群の少なくとも一部は、前記代表画像の生成に用いた画像群である
画像処理装置。

【請求項17】

請求項１３から１５のいずれか１項に記載の画像処理装置において、
前記寄与度の算出に用いる前記テンプレート画像群の少なくとも一部は、前記全体画像に対して決定された複数の外乱要因の中で、選択された単一の外乱要因以外の外乱要因に対応する画像群の中の少なくとも一部である
画像処理装置。

【請求項18】

検出対象の複数の画像を含むテンプレート画像群を記憶するメモリと、
照合対象を含む全体画像を取得する取得部と、
前記テンプレート画像群の一部に基づいた代表画像を取得し、前記全体画像の少なくとも一部と前記代表画像との類似判断を行なう制御部と、を備え、
前記制御部は、前記類似判断に用いる前記全体画像の一部の寄与度を前記テンプレート画像群の少なくとも一部の統計量に基づいて算出し、該寄与度を前記類似判断に用いる
画像処理装置。

【請求項19】

検出対象の複数の画像を含むテンプレート画像群を記憶することと、
照合対象を含む全体画像を取得することと、
前記テンプレート画像群の一部に基づいた代表画像を取得することと、
前記全体画像の少なくとも一部と前記代表画像との類似判断を行うことと、を備える
画像処理方法。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本出願は、２０２１年８月２７日に日本国に特許出願された特願２０２１－１３９４２８の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。

【技術分野】

【0002】

本開示は、画像処理装置及び画像処理方法に関するものである。

【背景技術】

【0003】

任意の領域内において、検出対象の位置を画像から認識することが求められている。例えば、検出対象を製造する工場において、トレイに載置された検出対象にロボットで操作することが求められる場合、検出対象の位置の認識が必要である。

【0004】

検出対象の画像をテンプレート画像として、任意の領域の画像内から検出対象の位置を検出するテンプレートマッチングが知られている。任意の領域に載置される検出対象は、太陽光の照度変化、任意の領域を撮像するカメラの位置、検出対象に対する手作業等の多様な外乱要因により、固定的なテンプレート画像から外観が変動し得る。そこで、外乱要因に対してもロバストなテンプレートマッチングを行うことが提案されている（非特許文献１～３参照）。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】斎藤正孝、橋本学、“濃度共起分析に基づく安定画素を用いた照明変動にロバストな画像照合”、情報処理学会研究報告、Ｖｏｌ．２０１２－ＣＶＩＭ―１８２、Ｎｏ．１７，２０１２

【非特許文献2】斎藤正孝、橋本学、“統計的濃度変動分析を用いた外乱画素推定に基づくロバスト画像照合”、ビジョン技術の実利用ワークショップ（ＶｉＥＷ２０１３）、ＩＳ２－ｄ８

【非特許文献3】篠原伸之、橋本学、“統計的外乱画素推定に基づく更新型テンプレートマッチング”、精密工学会誌、８３巻、１２号、ｐ．１１１７８－１１８３、２０１７

【発明の概要】

【0006】

第１の観点による画像処理装置は、
検出対象の複数の画像を含むテンプレート画像群を記憶するメモリと、
照合対象を含む全体画像を取得する取得部と、
前記テンプレート画像群の一部に基づいた代表画像を取得し、前記全体画像の少なくとも一部と前記代表画像との類似判断を行なう制御部と、を備える。

【0007】

第２の観点による画像処理装置は、
検出対象の複数の画像を含むテンプレート画像群を記憶するメモリと、
照合対象を含む全体画像を取得する取得部と、
前記テンプレート画像群の一部に基づいた代表画像を取得し、前記全体画像の少なくとも一部と前記代表画像との類似判断を行なう制御部と、を備え、
前記制御部は、前記類似判断に用いる前記全体画像の一部の寄与度を前記テンプレート画像群の少なくとも一部の統計量に基づいて算出し、該寄与度を前記類似判断に用いる

【0008】

第３の観点による画像処理方法は、
検出対象の複数の画像を含むテンプレート画像群を記憶することと、
照合対象を含む全体画像を取得することと、
前記テンプレート画像群の一部に基づいた代表画像を取得することと、
前記全体画像の少なくとも一部と前記代表画像との類似判断を行うことと、を備える。

【図面の簡単な説明】

【0009】

【図1】図１は、第１の実施形態に係る画像処理装置を備える対象操作システムの構成例を示す図である。

【図2】図１の制御部が全体画像における検出対象の存在位置を検出するために行う、代表画像と全体画像の一部の領域との類似判断を説明するための図である。

【図3】図１の制御部が寄与度を算出するための統計モデルの作成方法を説明するための図である。

【図4】図１の制御部が寄与度を算出するための別の統計モデルの作成方法を説明するための図である。

【図5】図１の制御部が寄与度を算出するための更に別の統計モデルの作成方法を説明するための図である。

【図6】図３の統計モデルに基づく寄与度の算出方法を説明するための図である。

【図7】第１の実施形態において制御部が実行する存在位置の検出処理を説明するためのフローチャートである。

【図8】第２の実施形態において制御部が実行する存在位置の検出処理を説明するための第１のフローチャートである。

【図9】第３の実施形態において制御部が実行する存在位置の検出処理を説明するための第１のフローチャートである。

【発明を実施するための形態】

【0010】

以下、本開示を適用した画像処理装置の実施形態について、図面を参照して説明する。

【0011】

図１は、第１の実施形態に係る画像処理装置１０を備える対象操作システム１１の構成例を示す。対象操作システム１１は、カメラ１２、画像処理装置１０、及び操作機器１３を備えてよい。

【0012】

対象操作システム１１は、例えば、工場等において製造物等の検出対象１４に、特定の操作を行う。検出対象１４は、例えば、トレイ１５等に載置されている。カメラ１２は、検出対象１４が載置されたトレイ１５を撮像してよい。カメラ１２は、例えば、３０ｆｐｓ等の所定のフレームレート、言換えると周期的に画像を生成してよい。画像処理装置１０は、カメラ１２が撮像した画像を用いて、検出対象１４の位置を検出してよい。操作機器１３は、画像処理装置１０が検出した位置において、検出対象１４に操作を行ってよい。操作機器１３は、例えば、ロボットであり、操作として、検出対象１４を把持してよい。

【0013】

画像処理装置１０は、通信部（取得部）１６、メモリ１７、及び制御部１８を含んで構成される。画像処理装置１０は、更に入力部１９を含んでよい。

【0014】

通信部１６は、カメラ１２から全体画像を取得する。全体画像は、画像処理装置１０により、検出対象１４の存在位置が検出される画像である。具体的には、全体画像は、照合対象となる被写体が写っている画像である。照合対象は、後述するように代表画像の検出対象と照合する対象である。通信部１６は、例えば、外部機器と通信により、情報及び指令を通信する通信インターフェースであってよい。通信部１６は、操作機器１３に全体画像における検出対象１４の存在位置を付与してよい。

【0015】

メモリ１７は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。メモリ１７は、制御部１８を機能させる多様なプログラム、および制御部２０が用いる多様な情報を記憶してよい。

【0016】

メモリ１７は、テンプレート画像群を記憶する。テンプレート画像群は、複数の検出対象画像を含む。複数の検出対象画像は、例えば、後述するように時系列に沿って取得されていてもよい。なお、複数の検出対象画像は、例えば、１つの画像から水増し処理によって生成された複数の検出対象画像を含んでいてもよい。また、複数の検出対象画像は、例えば、異なる環境下で取得された複数の検出対象画像を含んでいてもよい。なお、本実施形態は、時系列に沿って取得された複数の検出対象画像を含むテンプレート画像群を例に説明する。検出対象画像は、検出対象１４の画像である。

【0017】

また、複数の検出対象画像は、一部の複数の検出対象画像それぞれに画像処理を施した複数の加工画像が含まれていてもよい。画像処理は、制御部１８により施されてよい。画像処理は、例えば、一部の複数の検出対象画像それぞれに対してテンプレート画像群内で取得時点が当該検出対象画像に前後する複数の検出対象画像間の画素値の変化を、それぞれの検出対象画像全体に施す輝度調整処理である。又は、画像処理は、例えば、一部の複数の検出対象画像それぞれに前後する複数の検出対象画像に突発的に生じている外乱を付加する処理である。

【0018】

入力部１９は、ユーザの操作入力を検出する１つ以上のインターフェースを含んでよい。入力部１９は、例えば、物理キー、静電容量キー、及び表示装置と一体的に設けられたタッチスクリーンを含んでよい。

【0019】

制御部１８は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。制御部１８は、１つ又は複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。

【0020】

制御部１８は、テンプレート画像群から抽出した一部の画像群に基づいて、代表画像を生成する。テンプレート画像群からの一部の画像群の抽出及び代表画像の生成は、後に詳細な例を用いて説明される。制御部１８は、例えば、全体画像を取得するたびに、代表画像を生成してよい。

【0021】

図２に示すように、制御部１８は、全体画像ｗｉ以下のサイズを有する代表画像ｒｉを、全体画像ｗｉの少なくとも一部の領域に重ねた状態で、代表画像ｒｉと当該領域との類似判断を行う。類比判断を行なうことによって、全体画像ｗｉの照合対象が検出対象であるか否かを判断することができる。なお、本実施形態では、全体画像ｗｉの一部の領域に、全体画像ｗｉより小さな代表画像ｒｉを重ねている例を説明する。また、類似判断は、後に詳細な例を用いて説明される。さらに、制御部１８は、例えば照合対象が検出対象であるか否かの判断と併せて、検出対象の存在位置を検出することができる。具体的には、代表画像ｒｉに重ねる全体画像ｗｉの一部の領域を変位させ、各位置において類似判断を行うことにより、全体画像ｗｉにおける検出対象１４の存在位置を検出する。制御部１８は、全体画像ｗｉ内で検出対象１４の画像を検出できた場合、当該画像を検出対象画像としてテンプレート画像群に含めるようにメモリ１７に格納する。

【0022】

次に、本実施形態における、テンプレート画像群からの一部の画像群の抽出を説明する。制御部１８は、例えば、テンプレート画像群の中から抽出する検出対象画像の取得時期に関する時期的範囲の開始時点である第１の時点を決定してよい。第１の時点は、任意の方法で決定されてよい。第１の時点は、例えば、テンプレート画像群に含まれる画像に生じる外観上の影響の、時系列に沿った変化に基づいて決定されてよい。入力部１９が第１の時点を指定する操作入力を検出する場合、当該操作入力に該当する時点が第１の時点に決定されてよい。又は、制御部１８によるテンプレート画像群の解析に基づいて、第１の時点が決定されてよい。

【0023】

制御部１８は、例えば、テンプレート画像群に含まれる各画像の画素値の時系列の変化に基づいて、第１の時点を決定する。各画像の画素値は、例えば、当該画像を構成する特定の画素の画素値、全画像の画素値の平均値、特定の範囲の画素値の平均値等であってよい。更に詳細には、制御部１８は、例えば、時系列に沿った画素値の変化の中で最低周波成分に対応する周期の２倍以上の周期を算出し、現時点から算出された周期を遡らせた時点を第１の時点に決定する。

【0024】

制御部１８は、テンプレート画像群に含まれる画像の中で、過去に遡った第１の時点から時系列に沿って最新の時点までに取得された複数の画像を含む画像群を第１の画像群と定めてよい。制御部１８は、第１の画像群から更に画像を抽出する画像のサンプリング間隔を決定してよい。サンプリング間隔は、任意の方法で決定されてよい。サンプリング間隔は、例えば、テンプレート画像群に含まれる画像に生じる外観上の影響の、時系列に沿った変化に基づいて決定されてよい。入力部１９がサンプリング間隔を指定する操作入力を検出する場合、当該操作入力に該当する間隔がサンプリング間隔に決定されてよい。又は、制御部１８によるテンプレート画像群の解析に基づいて、サンプリング間隔が決定されてよい。

【0025】

制御部１８は、例えば、テンプレート画像群に含まれる各画像の画素値の時系列の変化に基づいて、サンプリング間隔を決定する。各画像の画素値は、第１の時点の決定と同じく、当該画像を構成する特定の画素の画素値、全画像の画素値の平均値、特定の範囲の画素値の平均値等であってよい。更に詳細には、制御部１８は、例えば、時系列に沿った画素値の変化の中で最高周波成分に対応する周期の２倍以上の周期をサンプリング間隔に決定する。

【0026】

制御部１８は、例えば、テンプレート画像群に含まれる各画像の画素値に時系列の変化が無い場合、サンプリング間隔を検出対象画像の取得周期以上の任意の間隔に決定してよい。なお、時系列が連続する画素値の差の絶対値が第１の閾値未満であることが、テンプレート画像群に含まれる各画像の画素値に時系列の変化が無いこととみなされてよい。又、制御部１８は、例えば、テンプレート画像群に含まれる各画像の画素値に時系列の変化が無い場合、第１の画像群から前述のサンプリング間隔で検出される検出対象画像の数が所定のサンプリング数を超えるように第１の時点を決定してよい。

【0027】

制御部１８は、第１の画像群のうち、第１の時点からサンプリング間隔で取得された複数の画像を含む画像群を第２の画像群と定めてよい。制御部１８は、第２の画像群から、以下に説明するように、更に画像を抽出してよい。

【0028】

制御部１８は、画像の抽出のために、現在から遡った所定の時間範囲内に、全体画像ｗｉから存在位置を検出されてテンプレート画像群に含められた検出対象画像に対する少なくとも一つの外乱要因を決定してよい。現在から遡った所定の時間範囲内に存在位置を検出されてテンプレート画像群に含まれる検出対象画像は、複数のフレームの全体画像ｗｉそれぞれに含まれる検出対象画像であってよい。複数の全体画像ｗｉにそれぞれ対応する複数の検出対象画像における外乱要因は、同一又は類似していてよい。

【0029】

外乱要因は、外観上の影響を与える要因である。外乱要因は、例えば、太陽光による照明の向き、強度等の経時変化、カメラ１２の位置の変更による受信する色の変化、検出対象１４へのラベル張りの有無又は位置の相違、照明及び検出対象１４の間における作業者又はロボットの通過による照度変化等である。

【0030】

外乱要因は、任意の方法で決定されてよい。例えば、制御部１８は、新規に取得する全体画像ｗｉにおいて、外観上の影響を生じさせる時の状況を指定する操作入力を入力部１９が検出する場合、当該状況に対応する要因を外乱要因に決定する。制御部１８は、複数の状況を指定する操作入力を検出する場合、複数の外乱要因を決定してよい。又は、制御部１８による第２の画像群の解析に基づいて、単一又は複数の外乱要因が決定されてよい。

【0031】

例えば、制御部１８は、外乱要因が反映される比較画像を生成することにより、外乱要因を決定してよい。制御部１８は、現在から遡った所定の時間範囲内の検出対象画像を用いて、比較画像を生成してよい。比較画像は、例えば、当該検出対象画像が単一である場合、検出対象画像そのものである。比較画像は、例えば、当該検出対象画像が複数である場合、複数の検出対象画像に基づいて生成されてよい。複数の検出対象画像に基づく比較画像は、例えば、複数の検出対象画像の平均化等により生成されてよい。

【0032】

制御部１８は、決定した外乱要因に対応する検出対象画像の画像群を第２の画像群から抽出してよい。制御部１８は、複数の外乱要因が決定される場合、各外乱要因それぞれに対応する検出対象画像の複数の画像群を抽出してよい。

【0033】

入力部１９が検出する操作入力に基づいて外乱要因を決定する構成において、テンプレート画像群に含まれる各検出対象画像に外観上の影響を生じさせる状況が関連付けられていることを前提として、制御部１８は、当該外乱要因に対応する状況が関連付けられている検出対象画像の画像群を第２の画像群から抽出してよい。第２の画像群の解析により外乱要因を決定する構成において、制御部１８は、第２の画像群に含まれる各検出対象画像と、比較画像との比較により、比較画像に対応する検出対象画像の画像群を抽出する。

【0034】

例えば、制御部１８は、比較画像を構成する各画素と、第２の画像群に含まれる各検出対象画像を構成する各画素との画素値の比較により、比較画像に類似すると判定される検出対象画像の画像群を抽出する。また、例えば、制御部１８は、比較画像及び第２の画像群に含まれる画像群に対してクラスタリングを行い、比較画像と同じ集団に属する検出対象画像の画像群を抽出する。また、例えば、制御部１８は、第２の画像群に含まれる全検出対象画像に外乱判定を行い、比較画像に含まれ且つ外乱と判定された画素を含む検出対象画像の画像群を抽出する。

【0035】

制御部１８は、テンプレート画像群から抽出した第２の画像群に基づいて、又は第２の画像群から更に抽出した外乱要因に対応する画像群に基づいて、代表画像ｒｉを生成してよい。制御部１８は、多様な方法により代表画像ｒｉを生成してよい。

【0036】

例えば、制御部１８は、第２の画像群に含まれる各画像間で互いに対応するアドレスの画素の画素値に基づく統計量を当該画素の画素値に定めることにより代表画像ｒｉを生成する。統計量は、例えば、平均値、最頻値、中央値等である。

【0037】

なお、互いに対応するアドレスの画素とは、図３に示すように、互いの画像間にて同一のアドレスに位置する画素のみであってよい。又は、互いに対応するアドレスの画素とは、図４に示すように、当該同一のアドレスを中心とする、例えば３×３の画素の領域に含まれる複数の画素であってよい。又は、互いに対応するアドレスの画素とは、図５に示すように、各画像を複数のグリッドに分割した区画の中で当該同一のアドレスを含む区画内の複数の画素であってよい。また、統計量には、上述した複数の加工画像が含まれた複数の検出対象画像が加味されていてもよい。

【0038】

また、例えば、制御部１８は、単一の外乱要因に対応する画像群に含まれる各画像における各画素に対して外乱判定を行うことによって代表画像ｒｉを生成してもよい。なお、ここで外乱判定が行われる全画像には当該単一の外乱要因が画素値に影響を及ぼしていると考えられる。それゆえ、当該単一の外乱要因は、外乱判定が行われる画像においては外乱とはみなされない。ここで行われる外乱判定は、決定された外乱要因に対応する画像群に含まれる各画像において突発的に生じている外乱が発生しているか否かの判定である。制御部１８は、例えば、各画像の中の互いに対応するアドレスの画素の画素値に対してヒストグラムを作成し、頻度が閾値以上である画素値を非外乱と判定する。または、制御部１８は、例えば、各画像の中の互いに対応するアドレスの画素の画素値に対してガウス分布に近似させ、確率密度が閾値以上である画素値を非外乱と判定する。または、制御部１８は、各画像の中の互いに対応するアドレスの画素の画素値に対してＫ－Ｍｅａｎｓ、混合ガウス分布等の統計モデルを用いてクラスタ分類することにより外乱を判定する。制御部１８は、非外乱と判定された画素値に基づく統計量を当該画素の画素値に定めることにより代表画像ｒｉを生成する。統計量は、例えば、平均値、最頻値、中央値等である。

【0039】

また、例えば、制御部１８は、単一の外乱要因に対応する画像群の中で、外乱要因に基づいて単一の検出対象画像を選択することにより代表画像ｒｉを生成する。制御部１８は、例えば、互いに対応するアドレスの画素の画素値に基づく統計量との画素値の差が最小である検出対象画像を代表画像ｒｉとして選択する。

【0040】

また、例えば、制御部１８は、複数の外乱要因それぞれに対応する複数の画像群を抽出する場合、複数の外乱要因の中で比較画像における最大の外乱要因を決定する。最大の外乱要因は、任意に定められてよい。最大の外乱要因は、例えば、対応する画像群に含まれる画像の数が最大である外乱要因、対応する画素の数が最大である外乱要因、又は発生時期が最近である外乱要因である。制御部１８は、決定した最大の外乱要因に対応する画像群に基づいて、非外乱と判定された画素値に基づく統計量の算出、又は画像群の中の単一の検出対象画像を選択することにより代表画像ｒｉを生成する。

【0041】

また、例えば、制御部１８は、複数の外乱要因それぞれに対応する複数の画像群を抽出する場合、当該複数の画像群別に複数の一次代表画像を生成する。一次代表画像は、上述の、単一の外乱要因に対応する画像群に基づいて生成される代表画像ｒｉと同様に生成されてよい。制御部１８は、上述の複数の検出対象画像に基づく代表画像ｒｉの生成方法における複数の検出対象画像を複数の一次代表画像を置き換えることにより、代表画像ｒｉを生成してよい。制御部１８は、例えば、複数の一次代表画像それぞれの同一のアドレスの画素の画素値に基づく統計量を当該画素値に定めることにより生成してよい。

【0042】

また、例えば、制御部１８は、複数の外乱要因それぞれに対応する複数の画像群別それぞれにおいて互いに対応するアドレスの画素の画素値に基づく複数の統計量を算出する。制御部１８は、複数の統計量に基づいて各画素の画素値を定めることにより代表画像ｒｉを生成する。制御部１８は、例えば、互いに対応するアドレスの画素に対する、複数の画像群それぞれに対応する複数の統計量の一部が共通する場合、共通する統計量を当該画素の画素値に定めてよい。複数の統計量の一部が共通するとは、統計量が一致することのみならず、統計量が所定の範囲内に含まれることを意味してよい。統計量は、例えば、平均値、最頻値、中央値等である。

【0043】

制御部１８は、前述のように、生成した代表画像ｒｉを、全体画像ｗｉの一部の領域と比較することにより類似判断を行う。制御部１８は、生成した代表画像ｒｉを構成する全画素の少なくとも一部の画素の画素値と、全体画像ｗｉの一部の領域における当該画素と同じアドレスの画素の画素値とを比較することにより類似判断を行ってよい。

【0044】

制御部１８は、生成した代表画像ｒｉを構成する全画素と、全体画像ｗｉの一部の領域における全画素とを比較してよい。

【0045】

又は、制御部１８は、生成した代表画像ｒｉを構成する複数の画素の中から、全体画像ｗｉとの比較に用いる画素を選択してよい。制御部１８は、例えば、代表画像ｒｉにおいて、エッジ、角等の特徴点を比較に用いる画素に決定してよい。

【0046】

更に、制御部１８は、代表画像ｒｉを構成する複数の画素毎または全体画像ｗｉの一部の領域を構成する複数の画素毎に算出される寄与度を用いて、類似判断を行ってよい。寄与度は、対応する画素が類似判断に寄与する度合いを示す指標である。制御部１８は、テンプレート画像群の少なくとも一部の統計量に基づいて寄与度を算出してよい。寄与度の算出に用いるテンプレート画像の少なくとも一部は、代表画像ｒｉの生成に用いた画像群であってよい。又は、寄与度の算出に用いるテンプレート画像の少なくとも一部は、全体画像ｗｉに対して決定された複数の外乱要因の中で、選択された単一の外乱要因以外の外乱要因に対応する画像群の少なくとも一部であってよい。

【0047】

制御部１８は、寄与度の算出のために、例えば、テンプレート画像群の少なくとも一部の複数の検出対象画像における各アドレスの画素に対して、当該アドレスに対応する少なくとも一つの画素の画素値のヒストグラム又はガウス分布等の統計モデルを作成する。図３に示すように、当該アドレスに対応する少なくとも一つの画素は、図３に示すように当該アドレスに位置する画素のみであってよい。又は、図４に示すように、当該アドレスに対応する少なくとも一つの画素は、当該アドレスを中心とする、例えば３×３の画素の領域に含まれる複数の画素であってよい。又は、図５に示すように、当該アドレスに対応する少なくとも一つの画素は、検出対象画像を複数のグリッドに分割した区画の中で当該アドレスを含む区画内の複数の画素であってよい。また、統計モデルには、上述した複数の加工画像が含まれた複数の検出対象画像が加味されていてもよい。

【0048】

制御部１８は、上述のように定められた比較に用いる各アドレスの画素に対応する全体画像ｗｉの一部の領域における当該アドレスの画素の画素値に、当該画素の統計モデルにおいて対応する頻度を読出す。図６に示すように、制御部１８は、頻度に応じて当該画素における寄与度を算出する。寄与度は、頻度に応じて大きくなるように算出されてよい。

【0049】

制御部１８は、寄与度に基づいて、比較に用いる画素に対応する、代表画像ｒｉを構成する複数の画素または全体画像ｗｉの一部を構成する複数画素の中から類似判断に用いる画素を選択してよい。制御部１８は、例えば、寄与度が閾値以上である画素を類似判断に用いる。又は、制御部１８は、寄与度が閾値以下である画素は、類似度による類比判断を行なわなくてもよい。具体的には、例えば、代表画像ｒｉの比較に用いる画素が、対応する統計モデルにおいて低頻度の画素値を有する場合または最頻度の画素値を中心とした一定の範囲から外れた画素値を有する場合は、類似判断を行なわなくてもよい。又は、制御部１８は、類似判断において、寄与度に応じた重み付けを施してよい。制御部１８は、例えば、代表画像ｒｉと全体画像ｗｉの一部の領域とにおける同一アドレスの画素の差分に、寄与度に応じて変化する重み付けを乗じてよい。

【0050】

制御部１８は、互いにアドレスが同一である、生成した代表画像ｒｉを構成する画素と全体画像ｗｉの一部の領域における画素との差分を合計することにより類似度を算出してよい。制御部１８は、類似度が閾値以下である全体画像ｗｉの一部の領域を検出対象１４の存在位置と判別してよい。

【0051】

又は、制御部１８は、寄与度の算出のために、作成した画素の統計モデルを用いて特定の条件を満たす場合、類似度による類比判断を行なわなくてもよい。この場合、全体画像ｗｉの一部の領域は、代表画像に非類似であると判別してもよい。特定の条件とは、当該一部の領域において比較に用いる全画素の中で、対応する統計モデルにおいて低頻度の画素値を有する画素の数が多い場合または最頻度の画素値を中心とした一定の範囲から外れた画素値を有する画素の数が多い場合である。

【0052】

なお、画素値については、例えば、各画素に対応する統計モデルにおいて、当該画素の画素値の頻度が閾値以下である場合に、当該画素値は低頻度の画素値であると判別されてよい。又、、例えば、ガウスモデルにより近似した統計モデルにおいて、当該画素の画素値の頻度が、最頻値の画素値を中心とする一定の範囲から外れた範囲に位置する場合に、当該画素値は最頻度の画素値を中心とした一定の範囲から外れた画素値であると判別されてよい。統計モデルが混合ガウスモデルに近似される場合、一定の範囲は、例えば、各ガウス分布の最頻値を中心とする±６σの範囲に設定されてよい。

【0053】

全画素の中で画素値が低頻度である画素の数が多いとは、画素値が低頻度である画素の数が閾値以下であることであってよい。又は全画素の中で画素値が低頻度である画素の数が多いとは、比較に用いる全画素に対する画素値が低頻度である画素の割合が閾値以下であることであってよい。

【0054】

制御部１８は、前述のように、全体画像ｗｉにおいて検出対象１４の存在位置を検出する場合、当該存在位置に対応する全体画像ｗｉの一部の領域の画像部分を検出対象画像としてテンプレート画像群に含めて、メモリ１７に格納する。制御部１８は、入力部１９が検出する操作入力に基づいて外乱要因を決定し且つ全体画像ｗｉにおいて検出対象１４の存在位置を検出する場合、存在位置に対応する検出対象画像に、外観上の影響を生じさせる状況を関連付けてテンプレート画像群に含めてよい。

【0055】

次に、第１の実施形態において制御部１８が実行する存在位置の検出処理について、図７のフローチャートを用いて説明する。存在位置の検出処理は、１フレームの全体画像ｗｉを取得することにより開始する。

【0056】

ステップＳ１００において、制御部１８は、取得した全体画像ｗｉにおいて、テンプレート画像群に含まれる検出対象画像と同じサイズの一部領域を、類似判断のための領域として一時的に特定する。特定後、プロセスはステップＳ１０１に進む。

【0057】

ステップＳ１０１では、制御部１８は、入力部１９における検出又はテンプレート画像群に含まれる各検出対象画像の解析に基づいて、第１の時点及びサンプリング周期を決定する。決定後、プロセスはステップＳ１０２に進む。

【0058】

ステップＳ１０２では、制御部１８は、ステップＳ１０１において決定した第１の時点及びサンプリング間隔に基づいて第２の画像群を抽出する。抽出後、プロセスはステップＳ１０３に進む。

【0059】

ステップＳ１０３では、制御部１８は、入力部１９への状況を指定する入力又は第２の画像群の解析に基づいて外乱要因を決定する。決定後、プロセスはステップＳ１０４に進む。

【0060】

ステップＳ１０４では、制御部１８は、ステップＳ１０２において抽出した第２の画像群から抽出する、ステップＳ１０３において決定した外乱要因に対応する画像群に基づいて代表画像ｒｉを生成する。代表画像ｒｉの生成後、プロセスはステップＳ１０５に進む。

【0061】

ステップＳ１０５では、制御部１８は、ステップＳ１０４において生成した代表画像ｒｉにおいて、ステップＳ１００において特定した一部領域との比較に用いる画素を選択する。画素の選択後、プロセスはステップＳ１０６に進む。

【0062】

ステップＳ１０６では、制御部１８は、テンプレート画像群の一部を抽出する。抽出後、プロセスはステップＳ１０７に進む。

【0063】

ステップＳ１０７では、制御部１８は、ステップＳ１０６において抽出した複数の検出対象画像の各画素に対する統計モデルを作成する。統計モデルの作成後、プロセスはステップＳ１０８に進む。

【0064】

ステップＳ１０８では、制御部１８は、ステップＳ１０７において作成した統計モデルを用いて、画素値が低頻度である画素の数が多いか否かを判別する。低頻度である画素の数が多くない場合、プロセスはステップＳ１０９に進む。低頻度である画素の数が多い場合、プロセスはステップＳ１１４に進む。

【0065】

ステップＳ１０９では、制御部１８は、ステップＳ１００において特定した一部領域を構成する画素の画素値に対応する頻度を、ステップＳ１０７において作成した統計モデルから読み出すことにより寄与度を算出する。寄与度の算出後、プロセスはステップＳ１１０に進む。

【0066】

ステップＳ１１０では、制御部１８は、ステップＳ１０９において算出した寄与度に基づいて、ステップＳ１００において特定した一部領域の、代表画像ｒｉとの類似度を算出する。類似度の算出後、プロセスはステップＳ１１１に進む。

【0067】

ステップＳ１１１では、制御部１８は、ステップＳ１１０において算出した類似度が閾値以下であるか否かを判別する。閾値以下である場合、プロセスはステップＳ１１２に進む。閾値以下でない場合、プロセスはステップＳ１１４に進む。

【0068】

ステップＳ１１２では、制御部１８は、ステップＳ１００において特定した一部領域を検出対象１４の存在位置と判別する。判別後、プロセスはステップＳ１１３に進む。

【0069】

ステップＳ１１３では、制御部１８は、ステップＳ１００において特定した一部領域の画像を検出対象画像として、テンプレート画像群に含めるようにメモリ１７に格納する。格納後、プロセスはステップＳ１１４に進む。

【0070】

ステップＳ１１４では、制御部１８は、全体画像ｗｉの全領域を一部領域として特定済みであるか否かを判別する。全領域を特定済みでない場合、プロセスはステップＳ１１５に進む。全領域を特定済みである場合、検出処理は終了する。

【0071】

ステップＳ１１５では、制御部１８は、ステップＳ１００において特定した一部領域から、同じサイズのまま変位させる。変位後、プロセスはステップＳ１００に戻る。

【0072】

以上のような構成の第１の実施形態の画像処理装置１０は、テンプレート画像群の一部に基づいた代表画像ｒｉを取得し、全体画像ｗｉの少なくとも一部と代表画像ｒｉとの類似判断を行う。このような構成により、画像処理装置１０は、発生頻度の高い外乱を含む検出対象画像を含めて代表画像ｒｉを生成し得る。したがって、画像処理装置１０は、全体としては外乱であっても、発生頻度の高い外乱の影響を代表画像ｒｉに含め得るので、全体画像ｗｉが当該外乱の影響を受けていても全体画像に写る被写体が検出対象１４に該当するか否かを判定し得る。その結果、画像処理装置１０は、外乱の発生頻度が高くても、比較的少ない学習用画像、言換えると画像群を用いて、検出対象１４を継続的且つロバストに検出し得る。

【0073】

また、第１の実施形態の画像処理装置１０は、全体画像ｗｉ内で検出された検出対象１４の検出対象画像をテンプレート画像群に含めるようにメモリ１７に格納する。このような構成により、画像処理装置１０は、後の検出対象１４の存在位置の検出において、全体画像ｗｉに影響を及ぼす可能性の高い外乱の傾向を代表画像ｒｉに反映させ得る。したがって、画像処理装置１０は、後の検出対象１４の存在位置の検出において、検出のロバスト性を向上し得る。

【0074】

また、第１の実施形態の画像処理装置１０は、テンプレート画像群に含まれる検出対象画像のうち、過去に遡った第１の時点から時系列に沿って取得された複数の画像を含む第１画像群のうち、サンプリング間隔で取得された複数の画像を含む第２画像群に基づいて代表画像ｒｉを生成する。このような構成により、画像処理装置１０は、全体画像ｗｉの撮像時において影響を及ぼす外乱の中で最長の発生周期に応じて第１の時点を決定することにより、全体画像ｗｉに影響を及ぼしている可能性のある外乱を、代表画像ｒｉに反映させ得る。また、画像処理装置１０は、全体画像ｗｉの撮像時において影響を及ぼす外乱の中で最短の発生周期に応じてサンプリング間隔を決定することにより、テンプレート画像群に含まれるすべての検出対象画像を用いることなく、一部の検出対象画像を用いて適切な代表画像ｒｉを生成し得る。したがって、画像処理装置１０は、代表画像ｒｉの生成のための処理の負荷を軽減し得るので、検出対象１４の存在位置の検出に係る負荷を軽減し得る。

【0075】

また、第１の実施形態の画像処理装置１０は、複数の全体画像ｗｉに含まれる検出対象１４に対して同一又は類似する外観上の影響を与える少なくとも一つの外乱要因を決定し、第２画像群から当該外乱要因に対応する画像群を抽出し、当該外乱要因に対応する画像群に基づいて代表画像ｒｉを生成する。このような構成により、画像処理装置１０は、取得した代表画像ｒｉに影響を及ぼしている可能性の高い外乱を代表画像ｒｉに反映させ得る。したがって、画像処理装置１０は、検出対象１４の検出のロバスト性を更に向上させ得る。

【0076】

また、第１の実施形態の画像処理装置１０は、検出対象１４に対して外観上の影響を生じさせる時の状況の操作入力に対して、テンプレート画像群の中で当該状況に関連付けられている検出対象画像に基づいて外乱要因を決定し、全体画像ｗｉにおける検出対象１４の存在位置を検出する場合に存在位置の画像に当該状況を関連付けてテンプレート画像群に含める。このような構成により、画像処理装置１０は、発生している外乱要因を明確に代表画像ｒｉに反映させ得る。したがって、画像処理装置１０は、検出対象１４の検出のロバスト性を更に向上させ得る。

【0077】

また、第１の実施形態の画像処理装置１０は、代表画像ｒｉを構成する複数の画素の中から全体画像ｗｉとの比較に用いる画素を選択する。このような構成により画像処理装置１０は、代表画像ｒｉを構成する全画素を用いて全体画像ｗｉの一部の領域と比較する構成に比べて、類似判断の処理の負荷を軽減し得る。

【0078】

また、第１の実施形態の画像処理装置１０は、外乱要因に対応する画像群それぞれの同一アドレスの画素の画素値に基づく統計量を画素の画素値に定めることにより代表画像ｒｉを生成する。このような構成により、画像処理装置１０は、外乱要因に対応する画像群の中で外乱とみなし得る画素値、言換えると当該画像群の中で発生頻度の低い画素値の影響を除去し得る。したがって、画像処理装置１０は、検出対象１４の検出のロバスト性を更に向上し得る。

【0079】

また、第１の実施形態の画像処理装置１０は、類似判断に用いる全体画像ｗｉの一部の寄与度をテンプレート画像群の少なくとも一部の検出対象画像の統計量に基づいて算出し、当該寄与度を類似判断に用いる。このような構成により、画像処理装置１０は、寄与度の低い画素の類似判断の結果を、類似性が高いと判別される可能性を低減し得る。したがって、画像処理装置１０は、テンプレート画像群に発生していない外乱が全体画像ｗｉに発生している場合、類似判断において当該外乱の影響を排除し得る。したがって、画像処理装置１０は、検出対象１４の検出のロバスト性を更に向上し得る。

【0080】

また、第１の実施形態の画像処理装置１０では、寄与度の算出に用いるテンプレート画像群の少なくとも一部は、代表画像ｒｉの生成に用いた画像群である。このような構成により、画像処理装置１０は、代表画像ｒｉに反映されていない外乱が全体画像ｗｉに発生している場合、類似判断において当該外乱の影響を排除し得る。したがって、画像処理装置１０は、検出対象１４の検出のロバスト性を更に向上し得る。

【0081】

また、第１の実施形態の画像処理装置１０では、寄与度の算出に用いるテンプレート画像群の少なくとも一部は、全体画像ｗｉに対して決定された複数の外乱要因の中で、選択された単一の外乱要因以外の外乱要因に対応する画像群の中の少なくとも一部である。このような構成により、画像処理装置１０は、代表画像ｒｉに反映されず且つ発生している可能性のある外乱要因が全体画像ｗｉに発生している場合、類似判断において代表画像ｒｉに反映されていない当該外乱要因の影響を排除し得る。したがって、画像処理装置１０は、検出対象１４の検出のロバスト性を更に向上し得る。

【0082】

なお、第１の実施形態では、第２の画像群から抽出する外乱要因に対応する画像群に基づいて代表画像ｒｉが生成される構成であるが、これに限られない。外乱要因に対応する画像群を特定することなく、第２の画像群から代表画像ｒｉが生成されてもよい。

【0083】

次に、本開示の第２の実施形態に係る画像処理装置について説明する。第２の実施形態では、制御部１８におけるテンプレート画像群からの画像群の抽出方法において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ構成を有する部位には同じ符号を付す。

【0084】

図１に示すように、第２の実施形態に係る画像処理装置１０は、第１の実施形態と同じく、通信部１６、メモリ１７、及び制御部１８を含んで構成される。また、第１の実施形態と同じく、画像処理装置１０は、入力部１９を含んでよい。第２の実施形態における通信部１６、メモリ１７、及び入力部１９の構成及び機能は、第１の実施形態と同じである。第２の実施形態における制御部１８の構成は、第１の実施形態と同じである。

【0085】

第２の実施形態において、制御部１８は、第１の実施形態と異なり、テンプレート画像群から第２の画像群を抽出することなく、テンプレート画像群から直接、外乱要因に対応する画像群を抽出する。第１の実施形態と同じく、現在から遡った所定の時間範囲内に存在位置を検出されてテンプレート画像群に含まれる検出対象画像は、少なくとも１フレームの全体画像ｗｉにおける検出対象画像であってよく、複数のフレームの全体画像ｗｉそれぞれにおける複数の検出対象画像であってよい。複数の検出対象画像における外乱要因は、同一又は類似していてよい。

【0086】

第２の実施形態において、制御部１８は、第１の実施形態と異なり、テンプレート画像群から抽出した外乱要因に対応する画像群に基づいて、代表画像ｒｉを生成してよい。外乱要因に対応する画像群に基づく代表画像ｒｉの生成方法は、第１の実施形態と類似してよい。

【0087】

第２の実施形態において、制御部１８は、第１の実施形態と同じく、生成した代表画像ｒｉを、全体画像ｗｉの一部の領域と比較することにより類似判断を行う。したがって、制御部１８は、生成した代表画像ｒｉを構成する全画素と、全体画像ｗｉの一部の領域における全画素とを比較してよい。又は、制御部１８は、生成した代表画像ｒｉを構成する複数の画素の中から、全体画像ｗｉとの比較に用いる画素を選択してよい。更に、制御部１８は、全体画像ｗｉの一部の領域を構成する画素毎に算出される寄与度を用いて、類似判断を行ってよい。

【0088】

次に、第２の実施形態において制御部１８が実行する存在位置の検出処理について、図８のフローチャートを用いて説明する。存在位置の検出処理は、１フレームの全体画像ｗｉを取得することにより開始する。

【0089】

ステップＳ２００において、制御部１８は、入力部１９への状況を指定する入力、又は現在から遡った所定の時間範囲内に、全体画像ｗｉから存在位置を検出されてテンプレート画像群に含められた検出対象画像の解析に基づいて外乱要因を決定する。決定後、プロセスはステップＳ２０１に進む。

【0090】

ステップＳ２０１では、制御部１８は、テンプレート画像群から、ステップＳ２００において決定した外乱要因に対応する画像群を抽出する。抽出後、プロセスはステップＳ２０２に進む。

【0091】

ステップＳ２０２からＳ２１３では、制御部１８は、第１の実施形態の検出処理におけるステップＳ１０４から１１５と類似した処理を行う。

【0092】

以上のような構成の第２の実施形態の画像処理装置１０も、テンプレート画像群から抽出した一部の画像群に基づいて代表画像ｒｉを生成し、全体画像ｗｉの一部と代表画像ｒｉとの類似判断により全体画像ｗｉにおける検出対象１４の存在位置を検出する。したがって、画像処理装置１０は、外乱の発生頻度が高くても、比較的少ない学習用画像、言換えると画像群を用いて、検出対象１４を継続的且つロバストに検出し得る。

【0093】

次に、本開示の第３の実施形態に係る画像処理装置について説明する。第３の実施形態では、制御部１８におけるテンプレート画像群からの画像群の抽出方法において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第３の実施形態について説明する。なお、第１の実施形態と同じ構成を有する部位には同じ符号を付す。

【0094】

図１に示すように、第３の実施形態に係る画像処理装置１０は、第１の実施形態と同じく、通信部１６、メモリ１７、及び制御部１８を含んで構成される。また、第１の実施形態と同じく、画像処理装置１０は、入力部１９を含んでよい。第３の実施形態における通信部１６、メモリ１７、及び入力部１９の構成及び機能は、第１の実施形態と同じである。第３の実施形態における制御部１８の構成は、第１の実施形態と同じである。

【0095】

第３の実施形態において、制御部１８は、第１の実施形態と異なり、テンプレート画像群から第２の画像群及び外乱要因に対応する画像群に限定されず、任意の画像群を抽出する。制御部１８は、抽出した画像群に基づいて、代表画像ｒｉを生成してよい。抽出した画像群に基づく代表画像ｒｉの生成方法は、第１の実施形態における第２の画像群に基づく代表画像ｒｉの生成方法に類似してよい。

【0096】

第３の実施形態において、制御部１８は、第１の実施形態と同じく、生成した代表画像ｒｉを、全体画像ｗｉの一部の領域と比較することにより類似判断を行う。したがって、制御部１８は、生成した代表画像ｒｉを構成する全画素と、全体画像ｗｉの一部の領域における全画素とを比較してよい。又は、制御部１８は、生成した代表画像ｒｉを構成する複数の画素の中から、全体画像ｗｉとの比較に用いる画素を選択してよい。なお、第３の実施形態において、制御部１８は、全体画像ｗｉの一部の領域を構成する画素毎に算出される寄与度をテンプレート画像群の少なくとも一部の統計量に基づいて算出し、当該寄与度を用いて、類似判断を行う。

【0097】

次に、第３の実施形態において制御部１８が実行する存在位置の検出処理について、図９のフローチャートを用いて説明する。存在位置の検出処理はは、１フレームの全体画像ｗｉを取得することにより開始する。

【0098】

ステップＳ３００において、制御部１８は、テンプレート画像群から、任意に定められる画像群を抽出する。抽出後、プロセスはステップＳ３０１に進む。

【0099】

ステップＳ３０１からＳ３１２では、制御部１８は、第１の実施形態の検出処理におけるステップＳ１０４から１１５と類似した処理を行う。

【0100】

以上のような構成の第３の実施形態の画像処理装置１０は、テンプレート画像群から抽出した一部の画像群に基づいて代表画像ｒｉを生成し、全体画像ｗｉの一部と当該代表画像ｒｉとの類似判断により全体画像ｗｉにおける検出対象１４の存在位置を検出する際に、類似判断に用いる全体画像ｗｉの一部の寄与度をテンプレート画像群の少なくとも一部の統計量に基づいて算出し、当該寄与度を類似判断に用いる。このような構成により画像処理装置１０は、代表画像ｒｉに反映されていない外乱が全体画像ｗｉに発生している場合、類似判断において当該外乱の影響を排除し得る。したがって、画像処理装置１０は、検出対象１４の検出のロバスト性を更に向上し得る。

【0101】

以上、画像処理装置１０の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク、又はメモリカード等）としての実施態様をとることも可能である。

【0102】

また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であってもよい。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。

【0103】

本開示に係る実施形態について説明する図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。

【0104】

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。

【0105】

本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。

【0106】

さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。

【0107】

本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１の時点は、第２の時点と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

【符号の説明】

【0108】

１０ 画像処理装置
１１ 対象操作システム
１２ カメラ
１３ 操作機器
１４ 検出対象
１５ トレイ
１６ 通信部
１７ メモリ
１８ 制御部
１９ 入力部
ｒｉ 代表画像
ｗｉ 全体画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2024-07-31

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

検出対象の複数の画像を含むテンプレート画像群に基づいた代表画像を取得し、照合対象が写るとともに前記複数の画像とは異なる全体画像を取得し、前記全体画像の少なくとも一部と前記代表画像との類似判断を行なう制御部と、を備える
画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記制御部は、前記類似判断において前記全体画像内で前記検出対象が検出された場合、検出された前記検出対象の画像を新たに前記テンプレート画像群の一部とする
画像処理装置。

【請求項3】

請求項２に記載の画像処理装置において、
新たに前記テンプレート画像群の一部となる前記検出対象の前記画像は、前記全体画像の内の一部の領域である
画像処理装置。

【請求項4】

請求項１に記載の画像処理装置において、
前記代表画像は、前記全体画像より小さいサイズを有している
画像処理装置。

【請求項5】

請求項１に記載の画像処理装置において、
前記代表画像は、前記テンプレート画像群のうち一部の画像群に基づいて取得される
画像処理装置。

【請求項6】

請求項１に記載の画像処理装置において、
前記全体画像を取得する場合、前記代表画像は取得される
画像処理装置。

【請求項7】

検出対象の複数の画像を含むテンプレート画像群に基づいた代表画像を取得することと、
照合対象が写るとともに、前記複数の画像とは異なる全体画像を取得することと、
前記全体画像の少なくとも一部と前記代表画像との類似判断を行うことと、を備える
画像処理方法。

【請求項8】

カメラと、
請求項１に記載の画像処理装置であって、前記カメラが撮像した画像を用いて検出対象の位置を検出する画像処理装置と、
前記画像処理装置が検出した位置において、前記検出対象に操作を行う操作機器と、を備える
対象操作システム。