特開 2024-178588 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024178588

(43)【公開日】2024-12-25

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241218BHJP

   G06V 10/75 20220101ALI20241218BHJP

【ＦＩ】

G06T7/00 300F

G06V10/75

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023096839

(22)【出願日】2023-06-13

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100087480

【弁理士】

【氏名又は名称】片山 修平

(72)【発明者】

【氏名】竹内 伸一

(72)【発明者】

【氏名】川上 崇穂

(72)【発明者】

【氏名】則竹 真吾

(72)【発明者】

【氏名】村上 亮

(72)【発明者】

【氏名】柳川 涼

(72)【発明者】

【氏名】桑島 豊

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA12

5L096CA24

5L096EA14

5L096EA15

5L096GA06

5L096GA51

5L096HA01

5L096JA11

5L096KA04

(57)【要約】

【課題】領域同士のペアが成立しないペア漏れを低減する画像処理装置を提供する。
【解決手段】画像処理装置は、第１図面データを第１図面データの一頁分の画像を表す第１領域から複数の第１部分領域に分割し、第２図面データを第２図面データの一頁分の画像を表す第２領域から複数の第２部分領域に分割し、第１部分領域が有する第１特徴点の第１特徴量と第２部分領域が有する第２特徴点の第２特徴量を抽出し、第１特徴点及び第２特徴点並びに機械学習を用いた特徴点マッチング手法により、第１特徴量と第２特徴量を比較し、比較結果により第１部分領域と第２部分領域のペアの成否を識別し、ペア成立の場合、第１部分領域と第２部分領域の差分を検出し、ペア不成立、かつ、ペア不成立の第１部分領域の第１特徴量と第２部分領域の第２特徴量の割合が閾値以上の場合、ペア不成立の第１部分領域への第２部分領域の移動操作を許容する、処理を実行する制御部を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

第１図面データを前記第１図面データの一頁分の画像を表す第１領域から複数の第１部分領域に分割し、第２図面データを前記第２図面データの一頁分の画像を表す第２領域から複数の第２部分領域に分割する処理と、
前記複数の第１部分領域それぞれが有する第１特徴点の第１特徴量と前記複数の第２部分領域それぞれが有する第２特徴点の第２特徴量を抽出する処理と、
前記第１特徴点と、前記第２特徴点と、機械学習を用いた所定の特徴点マッチング手法とに基づいて、前記第１特徴量と前記第２特徴量とをそれぞれ比較する処理と、
前記第１特徴量と前記第２特徴量との比較結果に基づいて、前記第１部分領域と前記第２部分領域のペアが成立するか否かを識別する処理と、
前記ペアが成立する場合、前記第１部分領域と前記第２部分領域との差分を検出する処理と、
前記ペアが成立せず、かつ、前記ペアが成立しない前記第１部分領域の前記第１特徴量と前記第２部分領域の前記第２特徴量との割合が閾値割合以上である場合、前記ペアが成立しない前記第１部分領域への前記第２部分領域の移動操作を許容する処理と、
を実行する制御部を有する画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置に関する。

【背景技術】

【0002】

差分検出対象の２つの図面データの各頁の画像間の類似度をそれぞれ算出し、類似度に基づいて差分検出を行う頁の組を特定し、頁の組が特定された２つの図面データの差分検出を行う技術が知られている。また、１つの頁内で差分検出を行いたい領域が指定された場合に、指定された領域毎に領域同士の差分検出を行う技術も知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－０４５５６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、領域同士の差分検出を行う場合、各領域が有する複数の成分同士の類似度を用いて差分検出を行う場合がある。複数の成分は、例えば画素値の平均や画素値のヒストグラムなどである。

【0005】

しかしながら、例えば領域同士の位置が大きく離れている場合、一方の領域に対する他方の領域が差分検出対象として検出されない可能性がある。この場合、領域同士のペアが成立しないペア漏れが発生する。ペア漏れが発生すると、領域同士の差分検出を行うことができないおそれがある。

【0006】

そこで、本発明では、領域同士のペアが成立しないペア漏れを低減する画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る画像処理装置は、第１図面データを前記第１図面データの一頁分の画像を表す第１領域から複数の第１部分領域に分割し、第２図面データを前記第２図面データの一頁分の画像を表す第２領域から複数の第２部分領域に分割する処理と、前記複数の第１部分領域それぞれが有する第１特徴点の第１特徴量と前記複数の第２部分領域それぞれが有する第２特徴点の第２特徴量を抽出する処理と、前記第１特徴点と、前記第２特徴点と、機械学習を用いた所定の特徴点マッチング手法とに基づいて、前記第１特徴量と前記第２特徴量とをそれぞれ比較する処理と、前記第１特徴量と前記第２特徴量との比較結果に基づいて、前記第１部分領域と前記第２部分領域のペアが成立するか否かを識別する処理と、前記ペアが成立する場合、前記第１部分領域と前記第２部分領域との差分を検出する処理と、前記ペアが成立せず、かつ、前記ペアが成立しない前記第１部分領域の前記第１特徴量と前記第２部分領域の前記第２特徴量との割合が閾値割合以上である場合、前記ペアが成立しない前記第１部分領域への前記第２部分領域の移動操作を許容する処理と、を実行する制御部を有する。

【発明の効果】

【0008】

本発明によれば、領域同士のペアが成立しないペア漏れを低減することができる。

【図面の簡単な説明】

【0009】

【図1】画像処理装置の機能構成の一例である。

【図2】制御部が実行する処理の一例を示すフローチャートである。

【図3】（ａ）は第１媒体データの一例である。（ｂ）は第２媒体データの一例である。（ｃ）は移動操作の一例である。（ｄ）は位置ずれの一例である。（ｅ）は位置合わせの一例である。（ｆ）は差異画像の一例である。

【発明を実施するための形態】

【0010】

以下、本発明を実施するための形態について図面を参照して説明する。

【0011】

まず、画像処理装置１００の機能構成について説明する。図１に示すように、画像処理装置１００は記憶部１１０と制御部１２０と入力部１３０と出力部１４０とを備えている。なお、図１では画像処理装置１００の機能の要部が示されている。

【0012】

記憶部１１０は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）といったメモリと、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）といったストレージとによって実現することができる。制御部１２０はＣＰＵ（Central Processing Unit）といったプロセッサによって実現することができる。

【0013】

入力部１３０は例えばＵＳＢ（Universal Serial Bus）ポートといった入力Ｉ／Ｆ（インタフェース）によって実現することができる。入力部１３０には入力装置１１が接続される。入力装置１１としては例えばキーボードやマウス、タッチパネルなどがある。出力部１４０は例えばディスプレイポートといった出力Ｉ／Ｆによって実現することができる。出力部１４０には表示装置１２が接続される。表示装置１２としては例えば液晶ディスプレイなどがある。記憶部１１０、制御部１２０、入力部１３０、及び出力部１４０は互いに接続されている。すなわち、画像処理装置１００は様々なハードウェアが接続されたコンピュータによって実現することができる。

【0014】

記憶部１１０には所定のプログラムが制御部１２０によって一時的に格納される。格納された所定のプログラムを制御部１２０が実行することにより、制御部１２０は画像処理装置１００が有する各種の機能を実現し、また、後述する各種の処理を実行する。なお、所定のプログラムは後述するフローチャートに応じたものとすればよい。

【0015】

ここで、記憶部１１０は、第１媒体記憶部１１１、第２媒体記憶部１１２、及び表示図面記憶部１１３を含んでいる。第１媒体記憶部１１１、第２媒体記憶部１１２、及び表示図面記憶部１１３の少なくとも１つを画像処理装置１００と異なる情報処理装置（不図示）に設けてもよい。この場合、画像処理装置１００が情報処理装置にアクセスし、第１媒体記憶部１１１や第２媒体記憶部１１２等の記憶内容を参照してもよい。

【0016】

第１媒体記憶部１１１は第１媒体データを記憶する。第１媒体データは情報伝達媒体のデータファイル又は電子ファイルである。情報伝達媒体は、例えば報告書や指示書といった文書を含んでいる。本実施形態では、図３（ａ）に示すように、第１媒体データ５０は複数のページで作成された文書であるが、単一のページで作成された文書であってもよい。第１媒体データ５０が複数のページで作成された文書である場合、各文書はそれぞれ図面データ５１，５２を含んでいる。図面データ５１，５２は例えば完成品や部品の設計図などである。図面データ５１，５２の形状は互いに相違する。図面データ５１，５２の色は互いに異なってもよいし、同じであってもよい。本実施形態では、図面データ５１，５２の色は互いに相違する。

【0017】

第２媒体記憶部１１２は第２媒体データを記憶する。第２媒体データも、第１媒体データ５０と同様に、情報伝達媒体のデータファイル又は電子ファイルである。本実施形態では、図３（ｂ）に示すように、第２媒体データ６０も複数のページで作成された文書であるが、単一のページで作成された文書であってもよい。第２媒体データ６０のページ数は第１媒体データ５０のページ数と同じであってもよいし、異なっていてもよい。第２媒体データ６０が複数のページで作成された文書である場合、各文書は図面データ６１，６２を含んでいる。図面データ６１，６２は例えば完成品や部品の設計図などを含んでいる。図面データ６１，６２の形状は互いに相違する。図面データ６１，６２の形状は図面データ５１，５２とも相違する。図面データ６１，６２の色は互いに同じであってもよいし、異なっていてもよい。本実施例では、図面データ６１，６２の色は互いに同じであり、かつ、図面データ５１の色とも同じである。

【0018】

なお、上述した第１媒体データ５０は、入力装置１１に対する操作に基づいて、第１媒体記憶部１１１に格納される。第２媒体データ６０も同様に第２媒体記憶部１１２に格納される。本実施形態では、第１媒体データ５０は第２媒体データ６０に対する比較元を表し、第２媒体データ６０は第１媒体データ５０に対する比較先又は比較対象を表している。したがって、以下では、図面データ５１，５２を比較元としてのベース図面５１，５２と呼び、図面データ６１，６２を比較先又は比較対象としての新規図面６１，６２と呼ぶ。

【0019】

表示図面記憶部１１３は表示装置１２に表示する図面の画像を記憶する。詳細は後述するが、表示図面記憶部１１３は、上述したベース図面５１に相当するベース図面画像とこのベース図面画像に対応する新規図面６１，６２のいずれか一方に相当する新規図面画像とを重ね合わせ、差異に相当する部分（すなわち差分）を異なる色で表現した図面の画像を記憶する。また、表示図面記憶部１１３は、上述したベース図面５２に相当するベース図面画像とこのベース図面画像に対応する新規図面６１，６２のいずれか他方に相当する新規図面画像とを重ね合わせ、差異に相当する部分を異なる色で表現した図面の画像も記憶する。なお、ベース図面画像は第１図面データの一例であり、新規図面画像は第２図面データの一例である。ベース図面画像及び新規図面画像はいずれも画像データである。

【0020】

図１に戻り、制御部１２０は、画像生成部１２１、画像処理部１２２、及び表示部１２３を含んでいる。

【0021】

画像生成部１２１は第１媒体記憶部１１１から第１媒体データ５０を取得し、第１媒体データ５０を画像化する。すなわち、画像生成部１２１は取得した第１媒体データ５０から第１媒体データ５０を表す第１媒体画像を生成する。第１媒体データ５０が複数のページで作成された文書であれば、第１媒体画像も複数のページ画像を含んでいる。第１媒体画像に含まれる複数のページ画像は上述したベース図面画像を含んでいる。

【0022】

同様に、画像生成部１２１は第２媒体記憶部１１２から第２媒体データ６０を取得し、第２媒体データ６０を画像化する。すなわち、画像生成部１２１は取得した第２媒体データ６０から第２媒体データ６０を表す第２媒体画像を生成する。第２媒体データ６０が複数のページで作成された文書であれば、第２媒体画像も複数のページ画像を含んでいる。第２媒体画像に含まれる複数のページ画像は上述した新規図面画像を含んでいる。

【0023】

画像処理部１２２は第１媒体画像及び第２媒体画像、並びにベース図面画像及び新規図面画像に対し様々な画像処理を実行する。画像処理部１２２の詳細は後述するが、例えば、画像処理部１２２は第１媒体画像に含まれる複数のページ画像と第２媒体画像に含まれる複数のページ画像とを対比し、互いに類似するページ画像を特定する。また、画像処理部１２２は、ページ画像を表す領域を複数の単位部分領域（以下、単に部分領域という）に分割し、機械学習を用いた公知の特徴点マッチング手法に基づいて、互いに対応する部分領域を特定する。

【0024】

例えば、図３（ａ）に示すように、画像処理部１２２は、第１媒体画像に含まれるページ画像全体を表す領域をページ単位で複数の部分領域７１，７２などに分割する。また、図３（ｂ）に示すように、画像処理部１２２は、第２媒体画像に含まれるページ画像全体を表す領域をページ単位で複数の部分領域８１，８２などに分割する。部分領域の形状は矩形であってもよいし、矩形以外の形状（例えば円形など）であってもよい。また、互いに対応する部分領域の数は同じであってもよいし、異なっていてもよい。その他、画像処理部１２２は、ベース図面画像及び新規図面画像のそれぞれをモノクローム化（具体的にはモノクロ２値化）して、ベース図面画像及び新規図面画像のそれぞれに対し異なる色を付与する。

【0025】

なお、公知の特徴点マッチング手法としては、例えば、以下の文献１，２などを参考にすることができる。
文献１：P. F. Alcantarilla, A. Bartoli, and A. J. Davison. “KAZE features”, ECCV, (2012), pp.214?227.
文献２：P. F, Alcantarilla, J. Nuevo, A.Bartoli, “Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces”, BMVC, (2013), pp.13.1-13.11.

【0026】

表示部１２３は表示図面記憶部１１３が記憶する図面の画像を取得し、取得した図面を表示装置１２に表示する。上述したように、表示図面記憶部１１３は、例えばベース図面画像と新規図面画像の差異に相当する部分を異なる色で表現した図面の画像を記憶する。このため、表示部１２３はこの図面を取得して表示する。

【0027】

次に、制御部１２０が実行する処理について説明する。

【0028】

まず、図２に示すように、画像生成部１２１は媒体データを画像化する（ステップＳ１）。より詳しくは、画像生成部１２１は第１媒体記憶部１１１から第１媒体データ５０を取得し、第１媒体画像を生成する。また、画像生成部１２１は第２媒体記憶部１１２から第２媒体データ６０を取得し、第２媒体画像を生成する。

【0029】

媒体データを画像化すると、画像処理部１２２は類似ページを特定する（ステップＳ２）。具体的には、画像処理部１２２は第１媒体画像に含まれる複数のページ画像と第２媒体画像に含まれるページ画像とをページ画像ごとに対比してページ画像同士の類似度を算出する。類似度を算出すると、画像処理部１２２は最高の類似度が算出されるページ画像同士を類似ページとして特定する。これにより、類似ページが一意に特定される。

【0030】

本実施形態であれば、例えば、文字「図１」を含むページ画像同士が類似ページとして特定される（図３（ａ）及び（ｂ）参照）。また、文字「図２」を含むページ画像と文字「図Ｚ」を含むページ画像が類似ページとして特定される（図３（ａ）及び（ｂ）参照）。

【0031】

類似ページを特定すると、画像処理部１２２は一領域を部分領域に分割する（ステップＳ３）。すなわち、画像処理部１２２は類似ページとして特定された２つのページ画像のそれぞれをページ画像全体に相当する一領域から複数の部分領域に分割する。領域分割を実行すると、類似ページとして特定された２つのページ画像間において、画像処理部１２２はマッチング処理を実行する（ステップＳ４）。マッチング処理は、抽出、比較、識別といった様々な処理を含み、上述した特徴点マッチング手法を用いて、一方のページ画像に含まれる部分領域と他方のページ画像に含まれる部分領域のペアを決定する処理である。なお、マッチング処理の詳細については後述する。

【0032】

マッチング処理を実行し終えると、画像処理部１２２は部分領域のペアが成立したか否かを判断する（ステップＳ５）。ペアが成立していない場合（ステップＳ５：ＮＯ）、画像処理部１２２は操作許容制御を実行する（ステップＳ６）。操作許容制御は、ペアが成立しない一方の部分領域への他方の部分領域の移動操作を許容する処理である。本実施形態では、画像処理部１２２は、ペアが成立しない一方の部分領域の特徴量と他方の部分領域の特徴量との割合が閾値割合以上である場合、操作許容制御を実行する。

【0033】

操作許容制御を実行した場合、例えば画像処理部１２２は所定のメッセージを表示装置１２に表示してもよい。所定のメッセージは、例えば一方の部分領域への他方の部分領域の移動操作が許容された旨を含んでいる。新旧の図面を確認する担当者がこの所定のメッセージに気付くことにより、一方の部分領域への他方の部分領域の移動操作が実施されると想定される。

【0034】

ステップＳ６の処理が終了すると、画像処理部１２２は移動操作を検出したか否かを判断する（ステップＳ７）。移動操作は、図３（ｃ）に示すように、例えば表示装置１２の画面上でポインタ（具体的にはマウスポインタ）又は手指９１で部分領域８２を指定（例えばクリック又はタップなど）し、指定した状態で部分領域８２を移動（例えばドラッグなど）する操作である。移動操作を検出しなかった場合（ステップＳ７：ＮＯ）、図２に示すように、画像処理部１２２は処理を終了する。

【0035】

一方、移動操作を検出した場合（ステップＳ７：ＹＥＳ）、画像処理部１２２は移動量を算出する（ステップＳ８）。例えば、画像処理部１２２は部分領域８２の移動操作に基づく部分領域８２の移動前の画面内水平位置と移動後の画面内水平位置との差分を水平移動量として算出する。また、画像処理部１２２は部分領域８２の移動操作に基づく部分領域８２の画面内移動前の垂直位置と移動後の画面内垂直位置との差分を垂直移動量として算出する。

【0036】

ステップＳ８の処理が終了すると、画像処理部１２２は水平移動量と垂直移動量とに基づいて、移動後の部分領域８２を表示装置１２に描画し（ステップＳ９）、移動操作が確定したか否かを判断する（ステップＳ１０）。例えば部分領域８２の指定が解除されるまで、画像処理部１２２は移動操作が確定していないと判断し（ステップＳ１０：ＮＯ）、ステップＳ８，Ｓ９の処理を繰り返す。部分領域８２の指定が解除されると、画像処理部１２２は移動操作が確定したと判断する（ステップＳ１０：ＹＥＳ）。

【0037】

移動操作が確定した場合、移動操作が上述した担当者の手作業であることにより、図３（ｄ）に示すように、ベース図面５２と部分領域８２に含まれる新規図面６１との間には位置ずれが発生することがある。すなわち、担当者がベース図面５２と新規図面６１との位置合わせを試みても、手作業であることにより、位置合わせの精度が低いことがある。

【0038】

このため、移動操作が確定した場合、画像処理部１２２は位置合わせを実行する（ステップＳ１１）。例えば、画像処理部１２２は、位置合わせとして、１ピクセル単位で部分領域８２を上下左右の少なくとも１つの方向に移動させ、ベース図面５２と新規図面６１が最も重なる位置に部分領域８２の位置を調整する。これにより、図３（ｅ）に示すように、ベース図面５２と新規図面６１の位置が整合する。

【0039】

ステップＳ１１の処理が完了すると、画像処理部１２２は部分領域同士の差分を検出する（ステップＳ１２）。例えば、画像処理部１２２はベース図面５２をモノクローム化して、緑色を単独で付与する。緑色は光の３原色の１つであり、ＲＧＢ形式の２５６階調で分類された明るさの色表現において、（Ｒ，Ｇ，Ｂ）＝（０，２５５，０）で表すことができる。２５６階調で分類された明るさにおいて、数値データ「２５５」は最も明るい明るさを表している。この処理により、ベース図面５２を緑色で表現することができる。

【0040】

次に、画像処理部１２２は新規図面６１をモノクローム化して、赤色を単独で付与する。赤色も光の３原色の１つであり、ＲＧＢ形式の色表現において、（Ｒ，Ｇ，Ｂ）＝（２５５，０，０）で表すことができる。この処理により、新規図面６１を赤色で表現することができる。なお、新規図面６１に緑色を付与し、ベース図面５２に赤色を付与してもよい。

【0041】

この処理が終了すると、画像処理部１２２はベース図面５２と新規図面６１を青色の下地に重ね合わせる。青色も光の３原色の１つであり、ＲＧＢ形式の色表現において、（Ｒ，Ｇ，Ｂ）＝（０，０，２５５）で表すことができる。ベース図面５２と新規図面６１を青色の下地に重ね合わせると、（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）となるため、白色を表現することができる。

【0042】

このように、白色で表現された背景の中で緑色のベース図面５２だけの部分は、（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）－（０，２５５，０）＝（２５５，０，２５５）となるため、ピンク色を含むマゼンタ色で表現することができる。また、白色で表現された背景の中で赤色の新規図面６１だけの部分は、（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）－（２５５，０，０）＝（０，２５５，２５５）となるため、水色を含むシアン色で表現することができる。さらに、白色で表現された背景の中で緑色のベース図面５２と赤色の新規図面６１の重畳部分は、（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）－（０，２５５，０）－（２５５，０，０）＝（０，０，２５５）となるため、青色で表現することができる。このように、画像処理部１２２は部分領域同士の差分を検出することができる。

【0043】

このような処理が終了すると、画像処理部１２２は当該図面の画像を表示図面記憶部１１３に格納する。図面の画像が表示図面記憶部１１３に格納されると、表示部１２３は図面の画像を表示装置１２に表示し（ステップＳ１３）、処理を終了する。これにより、図３（ｆ）に示すように、ベース図面５２と新規図面６１が重畳し、部分的に異なる色で表現された図面の画像が表示装置１２に出現する。

【0044】

例えば、図３（ｆ）に示すように、ベース図面５２と、新規図面６１との差異は、異なる色の差異画像Ｐ１，Ｐ２で表示装置１２に出現する。この際、ベース図面５２の一部である差異画像Ｐ１はマゼンタ色で表示され、新規図面６１の一部である差異画像Ｐ２はシアン色で表示される。そして、ベース図面５２と新規図面６１の重畳部分である重畳画像Ｐ３は青色で表示される。

【0045】

なお、ステップＳ４のマッチング処理によって、ペアが成立した場合（ステップＳ５：ＹＥＳ）、画像処理部１２２は位置合わせを実行する（ステップＳ１４）。ステップＳ１４の処理は基本的にステップＳ１１の処理と同様であるため、詳細な説明は省略する。ステップＳ１４の処理が終了すると、画像処理部１２２はステップＳ１２，Ｓ１３の処理を実行して、処理を終了する。

【0046】

このように、本実施形態に係る画像処理装置１００は、光の３原色を利用した色の差分に基づいて、ベース図面５２と新規図面６１の差異を検出することができる。このため、光の３原色を利用した色の差分に依存しないデータ処理を実施する場合に比べて、データ処理の処理量を抑えることができる。また、表示装置１２に出現する図面の画像により、新旧の図面を確認する担当者は容易に図面の差異を判別することができる。

【0047】

また、部分領域同士の位置が大きく離れていることで、部分領域同士のペアが成立しないペア漏れが発生しても、一方の部分領域への他方の部分領域の移動が許容されている。このため、担当者は移動操作により部分領域同士の位置の位置合わせを行うことができ、位置合わせの精度が低い場合には、画像処理装置１００が位置合わせを支援することができる。これにより、部分領域同士のペアが成立しないペア漏れの発生を低減することができる。

【0048】

次に、上述したマッチング処理の詳細について説明する。ステップＳ３の処理が完了すると、画像処理部１２２はマッチング処理を開始する。なお、後述する第１比較処理と第２比較処理の処理順序は変更してもよい。

【0049】

まず、画像処理部１２２は特徴量を抽出する。より詳しくは、画像処理部１２２は比較元の複数の部分領域それぞれの特徴量と比較先の複数の部分領域それぞれの特徴量とをそれぞれ第１特徴量及び第２特徴量として抽出する。例えば、比較元の部分領域のいずれかが複数の点（例えば画素や、複数の画素を要素として含む局所領域又は微小領域など）Ａ，Ｘなどを有していれば、画像処理部１２２は点Ａ，Ｘなどが有する第１特徴量を抽出する。また、比較先の部分領域のいずれかが複数の点Ｂ，Ｃ，Ｙなどを有している場合、画像処理部１２２は点Ｂ，Ｃ，Ｙなどが有する第２特徴量を抽出する。

【0050】

なお、点Ａ，Ｘなどはいずれも複数の成分（例えば明度、彩度、輝度、画素値（又はＲＧＢ値）の平均、画素値の分散、画素値のヒストグラムなど）を第１特徴量として有している。また、点Ｂ，Ｃ，Ｙなども同様に複数の成分を第２特徴量として有している。したがって、点Ａ，Ｘを第１特徴点と呼んでもよく、点Ｂ，Ｃ，Ｙを第２特徴点と呼んでもよい。例えば、点Ｘは成分ｘ_１として明度を有し、成分ｘ_２として彩度を有し、・・・、成分ｘ_ｎとして画素値のヒストグラムを有している。点Ａ，Ｂ，Ｃ，Ｙについては点Ｘと基本的に同様であるため、詳細な説明は省略する。

【0051】

次に、画像処理部１２２は第１比較処理として距離同士を比較する。より詳しくは、まず、画像処理部１２２は第１特徴量のいずれかと第１特徴量のいずれかに最も近い第２特徴量との第１距離を算出する。次に、画像処理部１２２は第１特徴量のいずれかと第１特徴量のいずれかに次に近い第２特徴量との第２距離を算出する。そして、画像処理部１２２は第１距離と第２距離とを比較する。

【0052】

例えば、画像処理部１２２は第１距離として点Ａ，Ｂ間の距離Ｌ（Ａ，Ｂ）を算出し、第２距離として点Ａ，Ｃ間の距離Ｌ（Ａ，Ｃ）を算出する。ここで、画像処理部１２２は、以下の算出式により、例えば距離Ｌ（Ｘ，Ｙ）を算出することができる。同様に、画像処理部１２２は、この算出式により、距離Ｌ（Ａ，Ｂ）や距離Ｌ（Ａ，Ｃ）なども算出することができる。距離Ｌ（Ｘ，Ｙ）により、画像処理部１２２は点Ｘの特徴量と点Ｙの特徴量の類似度を判断することができる。同様に、画像処理部１２２は、距離Ｌ（Ａ，Ｂ）や距離Ｌ（Ａ，Ｃ）により、点Ａの特徴量と点Ｂの特徴量の類似度や、点Ａの特徴量と点Ｃの特徴量の類似度を判断することができる。
＜算出式＞
距離Ｌ（Ｘ，Ｙ）＝｛（ｘ_１－ｙ_１）^２＋（ｘ_２－ｙ_２）^２＋・・・＋（ｘ_ｎ－ｙ_ｎ）^２｝｝^０．５

【0053】

距離Ｌ（Ａ，Ｂ）と距離Ｌ（Ａ，Ｃ）を算出すると、画像処理部１２２は、部分領域の要素の特異な特徴量を持つ点ペアの数を使用して、ペアを決定する部分領域の候補（以下、ペア候補という）を選定する。具体的には、画像処理部１２２は部分領域内の点の特徴量がマッチングした点ペアの数が最大となる部分領域同士をペア候補として選定する。画像処理部１２２は、２点間の距離Ｌが他の２点間の距離Ｌに比べて最小となる場合に、特徴量がマッチングしたと判断する。

【0054】

なお、特異な特徴量を持つ点ペアは、例えば点Ａと点Ａのペア候補となる最小距離の点Ｂとの距離Ｌ（Ａ，Ｂ）と、点Ａと点Ａのペア候補となる点Ｂの次に最小距離となる点Ｃとの距離Ｌ（Ａ，Ｃ）とを比較する以下の不等式を満たすことが要求される。比較元の部分領域の点Ａと比較先の部分領域の点Ｂの距離Ｌ（Ａ，Ｂ）が最短であれば、点Ａと点Ｂの特徴量が酷似する。このため、画像処理部１２２は特徴量がマッチングしたと判断することができる。所定値には、例えば０．５や０．６など、第２距離を短くする１．０未満の正の数値を閾値として設定することができる。
＜不等式＞
距離Ｌ（Ａ，Ｂ）＜所定値×距離Ｌ（Ａ，Ｃ）

【0055】

以上により、表１に示すように、画像処理部１２２は、ペアが成立する複数の部分領域（表１においてエリアと記載）＃１～＃５のペア候補を選定することができる。

【0056】

【表1】

【0057】

例えば、ベース図面の部分領域＃３に対応する部分領域の候補には新規図面の部分領域＃２及び部分領域＃３の候補が該当する。ここで、ベース図面の部分領域＃３の点と新規図面の部分領域＃２の点の特徴量がマッチングした点ペアの数は８０個である。一方、ベース図面の部分領域＃３の点と新規図面の部分領域＃３の点の特徴量がマッチングした点ペアの数は４０個である。このため、画像処理部１２２は、点ペアの数が多いベース図面の部分領域＃３と新規図面の部分領域＃２とを部分領域のペア候補として選定する。

【0058】

次に、画像処理部１２２は第２比較処理として距離総和と閾値距離を比較する。例えば、画像処理部１２２は距離Ｌが短い順に数個から十数個（例えば５個や１０個、１５個など少なくとも２個以上）の点ペアを選択し、選択した点ペアの距離Ｌの総和である距離総和と第１閾値距離を比較する。そして、画像処理部１２２は距離総和が第１閾値距離未満であることにより、ペア候補を選定する。第１閾値距離としては、例えば閾値距離「３００」や閾値距離「５００」といった数百の数値が設定される。

【0059】

一方、画像処理部１２２は選択した点ペアの距離Ｌの距離総和をその個数で割った平均距離が第２閾値距離未満であることにより、ペア候補を選定してもよい。ここで、第２閾値距離として例えば閾値距離「３０」や閾値距離「５０」といった数十の数値が設定された場合、表２に示すように、画像処理部１２２は、対応する複数の部分領域（表２においてエリアと記載）＃１～＃５のペア候補を選定することができる。例えば、ベース図面の部分領域＃３に対応する部分領域の候補には新規図面の部分領域＃２及び部分領域＃３の候補が該当する。

【0060】

【表2】

【0061】

ここで、ベース図面の部分領域＃３の点と新規図面の部分領域＃２の点の距離Ｌは平均値「１０」である。一方、ベース図面の部分領域＃３の点と新規図面の部分領域＃３の点の距離Ｌは平均値「１３」である。このため、画像処理部１２２は、距離Ｌの平均距離が短いベース図面の部分領域＃３と新規図面の部分領域＃２とを部分領域のペア候補として選定する。このように、第２比較処理では、画像処理部１２２は、部分領域の要素の特徴量の距離の短さを使用して、ペアを決定する部分領域のペア候補を選定する。

【0062】

このような処理が終了すると、画像処理部１２２は、選定した各ペア候補に基づき、部分領域同士のペアが成立するか否かを識別し、最終的に比較元の部分領域と比較先の部分領域のペアを決定する。したがって、表１及び表２に示すように、画像処理部１２２は、部分領域が成立するペアとして、例えばベース図面の部分領域＃１と新規図面の部分領域＃１のペアを決定する。

【0063】

なお、表１に示すように、画像処理部１２２は、ベース図面の部分領域＃５と新規図面の部分領域＃５をペア候補として選定するが、表２に示すように、ベース図面の部分領域＃５と新規図面の部分領域＃５をペア候補の選定から除外する。これは、ベース図面の部分領域＃５と新規図面の部分領域＃５は距離Ｌの平均距離が第２閾値距離を超えているためである。ベース図面の部分領域＃５と新規図面の部分領域＃５の位置が大きく離れていることにより、画像処理部１２２はペア候補の選定から除外してもよい。このような場合、画像処理部１２２は、ベース図面から削除され、新規図面に追加されたと判断してもよい。

【0064】

以上説明したように、マッチング処理により、画像処理部１２２は、部分領域同士のペアが成立するか否かを識別又は判別し、ペアが成立しない部分領域については、所定のメッセージにより、担当者に部分領域に対する移動操作を促す。これにより、部分領域同士のペアが成立しないペア漏れの発生を低減することができる。なお、図面の部分領域を一例として説明したが、画像処理部１２２は、文字についても図面と同様に部分領域を認定し、ペアが成立するか否かを判断してもよい。

【0065】

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0066】

５０ 第１媒体データ
５１，５２ ベース図面
６０ 第２媒体データ
６１，６２ 新規図面
７１，７２，８１，８２ 部分領域
１００ 画像処理装置
１２０ 制御部

【図1】

【図2】

【図3】