特開 2023-153638 プログラム、情報処理装置、判断方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023153638

(43)【公開日】2023-10-18

(54)【発明の名称】プログラム、情報処理装置、判断方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231011BHJP

   G06V 10/75 20220101ALI20231011BHJP

   G06F 16/532 20190101ALI20231011BHJP

【ＦＩ】

G06T7/00 300Z

G06V10/75

G06F16/532

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022063024

(22)【出願日】2022-04-05

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】坂本 健

【テーマコード（参考）】

5B175

5L096

【Ｆターム（参考）】

5B175DA02

5B175GB05

5L096BA03

5L096DA02

5L096FA69

5L096HA02

(57)【要約】      （修正有）

【課題】可変部を含む電子データの同一性を判断するウプログラム、情報処理装置及び、判断方法を提供する。
【解決手段】情報処理装置１０は、基準となる第１の画像と比較対象の第２の画像がそれぞれ有する可変部に関する情報に基づき、第１の画像と第２の画像が有する可変部の不一致箇所を検出する可変部比較部１７と、可変部比較部１７が検出した不一致箇所を出力する出力部１６、を備える。可変部比較部１７は、可変部に関する情報に基づいて、不一致箇所の検出方法を変更する。
【選択図】図４

【特許請求の範囲】

【請求項1】

情報処理装置を、
基準となる第１の画像と比較対象の第２の画像がそれぞれ有する可変部に関する情報に基づき、前記第１の画像と前記第２の画像が有する前記可変部の不一致箇所を検出する可変部比較部と、
前記可変部比較部が検出した不一致箇所を出力する出力部、として機能させ、
前記可変部比較部は、前記可変部に関する情報に基づいて、前記不一致箇所の検出方法を変更することを特徴とするプログラム。

【請求項2】

前記可変部に関する情報が、前記可変部が線形に変化する旨、変化開始時の画像、及び、変化終了時の画像を含む場合、
前記可変部比較部は、前記変化開始時の画像を前記変化終了時の画像まで変化させる途中の画像に、前記第２の画像の前記可変部が有する画像が一致するか否かを判断することを特徴とする請求項１に記載のプログラム。

【請求項3】

前記可変部比較部は、前記変化開始時の画像のＣＭＹＫの値を前記変化終了時の画像のＣＭＹＫの値まで変化させた場合に、ＣＭＹＫそれぞれの比率を画素ごとに求め、
前記第２の画像の前記可変部が有する画像のＣＭＹＫの比率と一致する変化のタイミングがあるか否かを画素ごとに判断することを特徴とする請求項２に記載のプログラム。

【請求項4】

前記可変部に関する情報が、前記可変部がパターンに基づいて変化する旨、及び、パターンを構成する全ての画像を含む場合、
前記可変部比較部は、前記第２の画像の前記可変部が有する画像と、パターンを構成する全ての画像とを比較することで、前記全ての画像の中に一致する画像があるか否かを判断することを特徴とする請求項１に記載のプログラム。

【請求項5】

前記可変部比較部は、前記パターンを構成する全ての画像のうち最も不一致の画素が少ない画像について、不一致の画素を座標に対応付けて記録することを特徴とする請求項４に記載のプログラム。

【請求項6】

前記可変部に関する情報が、前記可変部が日時である旨、及び、０～９の数字画像を含む場合、
前記可変部比較部は、前記第２の画像の前記可変部が有する画像と、０～９の数字画像とを比較することで、前記０～９の数字画像の中に一致する数字画像があるか否かを判断することを特徴とする請求項１に記載のプログラム。

【請求項7】

前記０～９の数字画像の中に一致する数字画像がある場合、
前記可変部比較部は、一致した前記数字画像が、日にち又は時刻として正しい値か否かを判断することを特徴とする請求項６に記載のプログラム。

【請求項8】

前記可変部比較部は、前記不一致箇所の座標と共に不一致である旨を記録しておき、
前記情報処理装置を、
連続した不一致箇所、一定面積内の不一致箇所の割合、及び、所定のパターンに基づいて差分の配置を検出する差分情報配置認識部と、
前記差分情報配置認識部が認識した前記差分の配置に基づいて、人間が見た場合に可視可能な差分の配置があるかないか判断する判断部、
として機能させるための請求項１～７のいずれか１項に記載のプログラム。

【請求項9】

前記出力部は、前記不一致箇所の数、及び、人間が見た場合に可視可能な差分の配置があるか否かを出力する請求項８に記載のプログラム。

【請求項10】

基準となる第１の画像と比較対象の第２の画像がそれぞれ有する可変部に関する情報に基づき、前記第１の画像と前記第２の画像が有する前記可変部の不一致箇所を検出する可変部比較部と、
前記可変部比較部が検出した不一致箇所を出力する出力部、として機能させ、
前記可変部比較部は、前記可変部に関する情報に基づいて、前記不一致箇所の検出方法を変更することを特徴とする情報処理装置。

【請求項11】

可変部比較部が、基準となる第１の画像と比較対象の第２の画像がそれぞれ有する可変部に関する情報に基づき、前記第１の画像と前記第２の画像が有する前記可変部の不一致箇所を検出するステップと、
出力部が、前記可変部比較部が検出した不一致箇所を出力するステップと、
前記可変部比較部が、前記可変部に関する情報に基づいて、前記不一致箇所の検出方法を変更するステップと、
を有することを特徴とする判断方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理装置、及び、判断方法に関する。

【背景技術】

【0002】

２つの画像が同一か否かを判断したい場合がある。例えば、高品質な印刷物が要求される商用印刷などの分野では、プリンタドライバなどの画像処理ソフトがバージョンアップされても同じ画質の印刷物が得られるかなどをユーザーが評価する場合がある。また、ユーザーが画像を圧縮するような場合も圧縮により画質が低下したとしても同一と見なしてよいか否かなどを判断したい場合がある。

【0003】

画像を比較する技術として動画配信時におけるユーザーの体感品質を評価する技術が知られている（例えば、特許文献１参照。）。特許文献１には、入力されたトランスコード後の映像の品質劣化指標と、入力されたトランスコード後の映像のビットレート及びトランスコード前の映像のビットレートとのうち、少なくとも一方を取得し、当該取得された値をもとにトランスコード後の映像のユーザー体感品質を推定する方法が開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術では、可変部を含む電子データの同一性の判断が困難であるという問題がある。例えば、Ｗｅｂページなどにアニメーションなどの可変部がある場合、比較用の静止画を出力（キャプチャ）するタイミングに依存してアニメーション部分が変化するため、同一性を判断することが困難であった。

【0005】

本発明は、上記課題に鑑み、可変部を含む電子データの同一性の判断が可能な情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題に鑑み、本発明は、情報処理装置を、基準となる第１の画像と比較対象の第２の画像がそれぞれ有する可変部に関する情報に基づき、前記第１の画像と前記第２の画像が有する前記可変部の不一致箇所を検出する可変部比較部と、前記可変部比較部が検出した不一致箇所を出力する出力部、として機能させ、前記可変部比較部は、前記可変部に関する情報に基づいて、前記不一致箇所の検出方法を変更することを特徴とする。

【発明の効果】

【0007】

可変部を含む電子データの同一性の判断が可能な情報処理装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】可変部を含む電子データが同一か否かを判断する判断方法について概略を説明する図である。

【図2】同一性判断を行う情報処理装置又は情報処理システムの一例の構成図である。

【図3】情報処理装置又はサーバのハードウェア構成図の一例である。

【図4】情報処理装置の機能をブロック状に分けて説明する機能ブロック図の一例である。

【図5】可変部比較部が有する機能を説明する機能ブロック図の一例である。

【図6】電子データが操作パネルのレイアウト画像の場合における可変部の配置例を示す図である。

【図7】電子データがＷｅｂページの場合における可変部の配置例を示す図である。

【図8】可変部情報が線形の場合の比較方法を説明する図である。

【図9】変化の途中の各画素の色が有するＣＭＹＫの比率を説明する図である。

【図10】可変部情報がパターンの場合の比較方法を説明する図である。

【図11】可変部情報が日時の場合の比較方法を説明する図である。

【図12】静止画について、差分情報生成部によるＣＭＹＫ画像の差分情報の生成方法を説明する図である。

【図13】人間の目で認識可能な大きさ以上連続している差異の検出方法を説明する図である。

【図14】一定領域内に人間の目で認識可能な割合以上存在する差異の検出方法を説明する図である。

【図15】差分情報の生成方法を説明する図である。

【図16】比較画像１，２の差分情報、及び、差分情報の拡大図の一例である。

【図17】差分の配置から配置パターンを検出する方法を説明する図である。

【図18】可変部比較部が、電子データの可変部について基本画像と比較画像２を比較する手順を示すフローチャート図の一例である。

【図19】情報処理装置が表示する不一致箇所表示画面の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明を実施するための形態の一例として、情報処理装置と情報処理装置が行う判断方法について図面を参照しながら説明する。

【0010】

＜同一性判断の概略＞
図１は、可変部を含む電子データが同一か否かを判断する判断方法について概略を説明する図である。まず、可変部には種々のものがあるが、図１ではアニメーションであるとする。アニメーションには線形に変化するものと、パターンに基づいて変化するものがある。

【0011】

図１（ａ）は、線形に変化するアニメーションを示し、図１（ｂ）はパターンに基づいて変化するアニメーションを示す。線形に変化するとは、変化開始時の色と変化終了時の色の間を補間できる変化をいう。図１（ａ）のアニメーションは、左から右に、中央部分の正方形の周囲の色が、徐々に中央部分と同じになるものである。情報処理装置は、変化の途中の周囲の色を補間により特定できる。

【0012】

したがって、情報処理装置は、異なる時刻（例えば、変化開始時と変化終了時）における２つの画像が線形に変化するという情報があれば、画素ごとに変化の途中の色を補間して、比較対象の画像と比較することができる。

【0013】

また、パターンに基づく変化とは、複数の静止画が短時間に切り替わることでアニメーションを表現する変化をいう。図１（ｂ）では４つの色が異なる正方形の静止画が示されているが、正方形であることやその数は説明の便宜上の一例に過ぎない。なお、パターンに基づく変化の一例として日時に応じた変化もある。

【0014】

情報処理装置は、４つの静止画と、パターンに基づいて変化するという情報があれば、４つの画像のそれぞれと、比較対象の画像とを総当たりで比較することができる。

【0015】

このように、本実施形態の情報処理装置は、変化する領域が線形、パターン、日時であるかに基づいて比較方法を変更するので、可変部における不一致箇所を適切に検出できる。

【0016】

なお、情報処理装置がアニメーション部分をマスクする（無視する）ことで比較する方法もあるが、この方法ではマスクした部分が同一でないことを検出できない。本実施形態では、このような不具合も抑制できる。

【0017】

＜用語について＞
本実施形態の同一とは、人間の目で認識不可能な差しかないことをいい、非同一とは人間の目で認識可能な差があることをいう。したがって、同一を類似、非同一を非類似と称してもよい。

【0018】

可変部に関する情報とは、可変部がどのように変化するかに関する情報である。本実施形態では、可変部情報という用語で説明され、線形、パターン又は日時という３つの態様がある。

【0019】

可変部とは、静止画でない部分をいう。可変部はどのような仕組みで変化が生じてもよい。可変部は、アニメーション、静止画の切り替え、映像（実写）などにより生じうる。可変部の画像を総称して動画という場合もある。

【0020】

不一致箇所とは２つの画像が一致しない箇所を言う。不一致箇所は画素単位でも画素のブロック単位でもよい。

【0021】

＜構成例＞
図２は、同一性判断を行う情報処理装置１０又は情報処理システム１００の一例の構成図である。本実施形態では、情報処理装置１０が同一性判断を行うシステム構成（図２（ａ））と、サーバ３０が同一性判断を行うシステム構成（図２（ｂ））がある。図２（ａ）のシステム構成では、情報処理装置１０は、記憶部に記憶されている２つの電子データ、及び、後述する比較に使用される情報（可変部情報（線形、パターン、日時）、基本画像及び位置情報）を取得して同一性判断を行い、判断結果をディスプレイに出力する。判断結果はメールで送信してもよいし、記憶部に記憶しておいてもよい。また、判断結果をクラウドが保存してもよい。

【0022】

情報処理装置１０は、例えば、ＰＣ（Personal Computer）、タブレット端末、ＰＤＡ、スマートフォン、などソフトウェアが動作するものであればよい。

【0023】

図２（ｂ）の情報処理システム１００では、情報処理装置１０とサーバ３０とがネットワークＮを介して通信することができる。サーバとは、主にネットワーク上で情報処理を行う装置であり、ネットワークを介して受信した要求に対し処理結果を応答する装置をいう。

【0024】

図２（ｂ）のシステム構成では、情報処理装置１０が２つ以上の画像をサーバ３０に送信する。サーバ３０は画像の同一性判断を行い、判断結果を情報処理装置１０に送信する。判断結果はメールで送信してもよいし、クラウドに保存してもよい。

【0025】

図２（ｂ）の構成では、サーバ３０はいわゆるＷｅｂサーバとして、画像データを受け付けるポータル画面の画面情報（ＨＴＭＬ、ＸＭＬ、スクリプト言語、及びＣＳＳ（cascading style sheet）等で記述されており、主にブラウザソフトが解析して表示する情報）を生成して情報処理装置１０に提供する。情報処理装置１０ではＷｅｂブラウザが動作しており、画面情報を受信してＷｅｂページを表示する。このＷｅｂページには情報処理装置１０が２つの電子データ、及び、後述する比較に使用される情報（可変部情報（線形、パターン、日時）、基本画像及び位置情報）を登録するインターフェースがあり、ユーザーはこの情報をＷｅｂページに登録してサーバ３０に送信する。

【0026】

なお、ＷｅｂページはＷｅｂアプリにより提供されてもよい。Ｗｅｂアプリとは、ブラウザ上で動作するプログラミング言語（たとえばJavaScript（登録商標））によるプログラムとＷｅｂサーバ側のプログラムが協調することによって動作し、ブラウザ上で実行されるソフトウェア又はその仕組みを言う。Ｗｅｂアプリを利用することで情報処理装置はＷｅｂページを動的に変更できる。

【0027】

＜ハードウェア構成例＞
図３は、情報処理装置１０又はサーバ３０のハードウェア構成図である。ここでは、情報処理装置１０のハードウェア構成であるとして説明する。

【0028】

図３に示されているように、情報処理装置１０は、コンピュータによって構築されており、図３に示されているように、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ(Interface)５０８、ネットワークＩ／Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、光学ドライブ５１４、メディアＩ／Ｆ５１６を備えている。

【0029】

これらのうち、ＣＰＵ５０１は、情報処理装置１０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図３に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0030】

また、キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。光学ドライブ５１４は、着脱可能な光記憶媒体５１３に対する各種データの読み出し又は書き込みを制御する。なお、光記憶媒体５１３は、ＣＤ、ＤＶＤ、Ｂｌｕ－Ｒａｙ（登録商標）等でよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

【0031】

＜機能について＞
図４は、情報処理装置１０の機能をブロック状に分けて説明する機能ブロック図の一例である。なお、図４では、特に断らない限り情報処理装置１０の機能を想定して説明するが、サーバ３０の場合は更に通信部を有するという違いがあるものの、保持する機能は情報処理装置１０と同様でよい。

【0032】

情報処理装置１０は、画像取得部１１、差分情報生成部１２、差分情報出力部１３、差分情報配置認識部１４、判断部１５、出力部１６、及び、可変部比較部１７を有している。情報処理装置１０が有するこれら各機能部は、図３に示された各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開されたプログラムに従ったＣＰＵ５０１からの命令により動作することで実現される機能又は手段である。

【0033】

画像取得部１１は、比較の対象となる２つの電子データ、及び、比較に使用される情報（可変部情報（線形、パターン、日時）、基本画像及び位置情報）を取得する。２つの電子データはそれぞれ静止画であるが、人間が見た場合に画素レベルで同じことが期待される。ユーザーは例えば同じ印刷対象をプリンタドライバやＲＩＰソフトで静止画に変換するので、画像取得部１１はその静止画をそれぞれ取得する。印刷対象は様々であるが、本実施形態では、可変部があることが想定されている。

【0034】

可変部比較部１７は、電子データのうち可変部について、不一致箇所（差分情報）を検出し、差分情報記憶部１９に保存する。詳細は後述する。

【0035】

差分情報生成部１２は、電子データのうち静止部（可変部以外）について、着目している２つの画像の差分情報を生成する。例えば、画像の解像度で定まる画素位置ごとに同じ画素（ＣＭＹＫ）があるか否かを判断して、差分情報を生成する。なお、差分情報生成部１２もち静止部を特定するため、可変部がどこかを示す位置情報を使用する。

【0036】

差分情報出力部１３は、差分情報生成部１２が生成した差分情報を差分情報記憶部１９に記憶させる。差分情報は、画像とおなじ解像度（サイズ）の２次元の情報となる。

【0037】

差分情報配置認識部１４は、差分の配置を認識する。詳細は後述するが、差分情報から、連続した差分、一定面積内の割合、及び、所定のパターンを検出する。

【0038】

判断部１５は、差分情報配置認識部１４が認識した差分の配置に基づいて、人間が見た場合に可視可能な差分の配置（人間の目で差異があると判断できる閾値よりも大きい差分の配置。閾値は、人間の目で２つの画像に差異があると判断できるか否かによって決定されている）があるかないか判断する。可視可能な差分がある場合、２つの画像は同一でないと判断し、可視可能な差分がない場合、２つの画像は同一であると判断する。すなわち、連続した差分及び一定面積内の割合について人間の目で差異があると判断できる閾値より大きいか閾値以下かを判断する。判断部１５は、所定のパターンについては検出された場合にそのまま同一でないと判断する。なお、この３つの判断基準は２つ以上のＡＮＤで採用されてもＯＲで採用されてもよい。

【0039】

出力部１６は、差分の配置、及び、領域内差分合計量を強調してディスプレイ５０６に表示したり、印刷したりする。

【0040】

次に、図５を参照して、可変部比較部１７について詳細に説明する。図５は、可変部比較部１７が有する機能を説明する機能ブロック図である。

【0041】

可変部比較部１７は、可変部情報蓄積部２１、比較画像１蓄積部２２、比較画像２蓄積部２３、及び、画像比較部２４を有している。

【0042】

比較画像１蓄積部２２は、比較画像１（第１の画像の一例）を記憶する記憶手段である。比較画像１蓄積部２２は、情報処理装置１０がアクセス可能なネットワーク上にあればよい。比較画像１は、例えば基準となるソフトウェアで出力された電子データの全体であり、例えば、バージョンアップ前のプリンタドライバやＲＩＰソフトで出力された画像である。なお、比較画像１は可変部を有する電子データのある瞬間がキャプチャされた画像である。したがって、可変部がどのような状態かは不明である。

【0043】

比較画像２蓄積部２３は、比較画像２（第２の画像の一例）を記憶している記憶手段である。比較画像２蓄積部２３は、情報処理装置１０がアクセス可能なネットワーク上にあればよい。比較画像２は、例えば新しいソフトウェアで出力された電子データの全体であり、比較画像１と同一と見なせるかどうか判断される画像（比較対象の画像）である。比較画像２は、例えば、バージョンアップ後のプリンタドライバやＲＩＰソフトで出力された画像である。なお、比較画像２は可変部を有する電子データのある瞬間がキャプチャされた画像である。したがって、可変部がどのような状態かは不明である。

【0044】

可変部情報蓄積部２１は、比較画像１の可変部がどのように変化するかについての可変部情報（線形、パターン、日時）、基本画像及び位置情報を記憶している。可変部情報は可変部がどのように変化するか（線形、パターン、日時）を示す。基本画像は、可変部情報が線形の場合は、変化開始時の画像と変化終了時の画像である。基本画像は、可変部情報がパターンの場合は、アニメーションを構成する全ての画像である。基本画像は、可変部情報が時間の場合は、０～９の数字画像である。なお、基本画像は比較画像１の可変部の元になっている。位置情報は、比較画像１における可変部の座標である。

【0045】

画像比較部２４は、可変部情報蓄積部２１が記憶する可変部情報と位置情報を用いて、比較画像１と比較画像２を比較する。画像比較部２４は、画素ごとに不一致があるか否かを判断する。なお、後述するように、画像比較部２４は基本画像と比較画像２を比較するが、基本画像は比較画像１の元となる画像なので、実質的に比較画像１と２を比較することに等しい。

【0046】

上記の差分情報配置認識部１４は、不一致箇所に基づいて差分情報の配置を認識する。これにより、可変部においても、「人間の視覚では異なると判断される」かどうかの点から２つの画像が同一と見なせるかどうか判断できる。ただし、判断部１５は完全同一かどうか判断してもよい。

【0047】

＜比較される電子データの一例＞
図６、図７を参照して、可変部を有する電子データについて説明する。図６は、電子データが操作パネルのレイアウト画像の場合における可変部の配置例を示す。操作パネルは、選択されたボタンの色が変わったり、ユーザーの操作を促すために大きさが変わったりする領域がある。また、日時が変化する場合もある。操作パネルのレイアウト画像ではこれらが可変部となり得る。

【0048】

例えば、図６では２つのボタン２０１，２０２の色が押下により他のボタンと変わっている。また、スタートボタン２０３は、ユーザーの操作を促すために少しずつ大きくなったり、小さくなったりすることを繰り返している。また、日時２０４は時間の経過と共に変化する。

【0049】

操作パネルのメーカー等であれば、操作パネルに関して、可変部情報（線形、パターン、日時）、基本画像及び位置情報は既知である。例えば、ボタン２０１，２０２の可変部情報はパターン、スタートボタン２０３の可変部情報は線形、日時２０４の可変部情報は日時である。また、操作パネルのメーカー等は、ボタン２０１，２０２、スタートボタン２０３、及び、日時２０４の基本画像を用意できる。操作パネルのメーカー等は、可変部情報（線形、パターン、日時）、基本画像及び位置情報を可変部情報蓄積部２１に保存しておく。

【0050】

図７は、電子データがＷｅｂページの場合における可変部の配置例を示す。このＷｅｂページで右上に可変部２１０が配置されている。可変部２１０はアニメーションでもよいし、映像（実写）でもよい。したがって、可変部２１０は時間と共に画像が変化する。

【0051】

Ｗｅｂページの開発者等であれば、Ｗｅｂページに関して、可変部情報（線形、パターン、日時）、基本画像及び位置情報は既知である。Ｗｅｂページの開発者等は、可変部２１０の基本画像を用意できる。Ｗｅｂページの開発者等は、可変部情報（線形、パターン、日時）、基本画像及び位置情報を可変部情報蓄積部２１に保存しておく。

【0052】

＜可変部の比較例＞
次に、図８～図１１を参照して、電子データにおける可変部の比較方法を説明する。

【0053】

＜＜可変部情報が線形の場合＞＞
まず、図８は、可変部情報が線形の場合の比較方法を説明する図である。可変部情報が線形の場合、基本画像として変化開始時と変化終了時の画像が得られる。図８（ａ）は変化開始時の画像であり、図８（ｂ）は変化終了時の画像である。図８（ａ）の点線は、変化開始時の画像の外縁を示すためのもので、実際には存在しない。図８（ａ）（ｂ）に示すように、変化開始時の画像と変化終了時の画像は同じサイズである。

【0054】

図８（ａ）では説明を容易にするため、変化開始時の画像は、着色領域２２１と白色領域２２２を有している。白色領域２２２が徐々に着色され、最終的に変化終了時の画像になる。線形に変化するとは、画素ごとに、変化開始時の画像の画素値（ＣＭＹＫ）が変化終了時の画素値に一様に変化することを言う。画素値は色に相当する。

【0055】

比較画像１、２は、図１（ａ）に示したように、変化開始時の画像が変化終了時の画像に変化する間のある瞬間にキャプチャされた画像であり、全く同じ瞬間に比較画像１、２がキャプチャされる可能性はほとんどない。しかし、各画素の色は線形に変化するという前提なので、変化の途中の各画素の色が有するＣＭＹＫの比率には規則がある。つまり、変化の途中のあるタイミングが特定された場合、変化の途中の各画素の色が有するＣＭＹＫの比率も特定される。したがって、可変部比較部１７は、比較画像２が有するＣＭＹＫの比率が、変化開始時から変化終了時までの間の任意のタイミングにおけるＣＭＹＫの比率に合致するかどうかを判断する。これにより、可変部比較部１７は、変化開始時の画像を変化終了時の画像まで変化させる途中の画像に、比較画像２の可変部が有する画像が一致するか否かを判断できる。

【0056】

図９は、変化の途中の各画素の色が有するＣＭＹＫの比率を説明する図である。図９では、説明のため、白（０，０，０，０）から緑（１００、０、１００，０）に変化する場合（白色領域２２２の変化）を説明する。図９（ａ）はＣの比率の変化を、図９（ｂ）はＭの比率の変化を、図９（ｃ）はＹの比率の変化を、図９（ｄ）はＫの比率の変化を、それぞれ示す。

【0057】

まず、白の場合、変化終了時のＣＭＹＫの比率は下式で算出される。
Ｃの比率＝０/（０＋０＋０＋０）＝０．０％
Ｍの比率＝０/（０＋０＋０＋０）＝０．０％
Ｙの比率＝０/（０＋０＋０＋０）＝０．０％
Ｋの比率＝０/（０＋０＋０＋０）＝０．０％
緑の場合、変化終了時のＣＭＹＫの比率は下式で算出される。
Ｃの比率＝１００/（１００＋０＋１００＋０）＝５０％
Ｍの比率＝０/（１００＋０＋１００＋０） ＝０％
Ｙの比率＝１００/（１００＋０＋１００＋０）＝５０％
Ｋの比率＝０/（１００＋０＋１００＋０） ＝０％
ＣＭＹＫの画素値が線形に変化するので、可変部比較部１７は、変化開始時と変化終了時のＣ同士、Ｍ同士、Ｙ同士、Ｋ同士を直線で結べばよい。

【0058】

比較画像２のある画素のＣＭＹＫの比率がそれぞれＡ％、Ｂ％、Ｃ％、Ｄ％＝Ａ：Ｂ：Ｃ：Ｄであるとする。可変部比較部１７は、例えば、ＣがＡ％を取るタイミングＴｍを図９（ａ）のＸ軸上で特定し、このタイミングにおけるＭ，Ｙ，Ｋの比率ｂ、ｃ、ｄを図９（ｂ）（ｃ）（ｄ）から取得する。可変部比較部１７は取得したＭの比率ｂがＢと一致するかどうか、取得したＹの比率ｃがＣと一致するかどうか、取得したＫの比率ｄがＤと一致するかどうか、判断する。こうすることで、可変部比較部１７は可変部の画像を比較できる。

【0059】

なお、可変部比較部１７は、ＭがＢ％を取るタイミングを図９（ｂ）のＸ軸上で特定し、このタイミングにおけるＣ，Ｙ，Ｋの比率ａ、ｃ、ｄを図９（ａ）（ｃ）（ｄ）から取得してもよい。可変部比較部１７は、ＹがＣ％を取るタイミングを図９（ｃ）のＸ軸上で特定し、このタイミングにおけるＣ，Ｍ，Ｋの比率ａ、ｂ、ｄを図９（ａ）（ｂ）（ｄ）から取得してもよい。可変部比較部１７は、ＫがＤ％を取るタイミングを図９（ｄ）のＸ軸上で特定し、このタイミングにおけるＣ，Ｍ，Ｙの比率ａ、ｂ、ｃを図９（ａ）（ｂ）（ｃ）から取得してもよい。

【0060】

このように、可変部比較部１７は、基本画像に基づいて線形に変化するＣＭＹＫの画素情報を生成することで、比較画像２が基本画像と同一かどうかを判断できる。ＣＭＹＫの比率が一致しない場合、可変部比較部１７は、座標（可変部における座標でも電子データにおける座標でもよい）に対応付けて、不一致である旨を記録し、差分情報記憶部１９に保存する。可変部比較部１７は、不一致である場合、どのくらいの違いがあるかを座標に対応付けて記録してもよい。

【0061】

＜＜可変部情報がパターンの場合＞＞
次に、図１０は、可変部情報がパターンの場合の比較方法を説明する図である。可変部情報がパターンの場合、基本画像として全パターンの画像２３２～２３５が得られる。図１０（ａ）は可変部の全パターンの画像２３２～２３５である。図では色が異なる４つの画像２３２～２３５でパターンが構成されているが、一例である。また、図１０（ａ）では、色が異なるのみであるが、形状が変化しても支障はない。

【0062】

図１０（ｂ）は、比較画像２（符号は２３１）の可変部を示す。比較画像２の可変部と全パターンの画像２３２～２３５のサイズは等しい。比較画像２の可変部は、可変部の全パターンの画像２３２～２３５のいずれかと一致することが期待される。したがって、可変部比較部１７は、比較画像２と可変部の全パターンの画像２３２～２３５とを総当たりで比較すればよい。

【0063】

なお、可変部比較部１７は、比較画像２と一致する画像が可変部の全パターンの画像２３２～２３５にあれば、その時点で比較を終了できる。比較の回数を減らすために、可変部比較部１７は、比較画像２と外接矩形や色のヒストグラムが似ている画像に絞ってから、比較してよい。

【0064】

可変部比較部１７は、比較画像２の画素ごとに、可変部のパターンの画像２３２～２３５と比較するが、一致するものは最大１つである。可変部比較部１７は、パターン内の各画像２３２～２３５について、座標に対応付けて、不一致である旨を記録する。そして、可変部比較部１７は、最も不一致の画素が少ないパターン内の画像（図では画像２３２）を特定し、座標（基本画像でも比較画像２でもよい）と不一致である旨の対応を差分情報記憶部１９に記憶する。可変部比較部１７は、不一致である場合、どのくらいの違いがあるかを座標に対応付けて記録してもよい。パターンが映像で与えられている場合、可変部比較部１７は、映像を構成する１フレームずつ比較する。

【0065】

＜＜可変部情報が日時の場合＞＞
図１１は、可変部情報が日時の場合の比較方法を説明する図である。可変部情報が日時の場合、基本画像として０～９の数字画像２４１が得られる。図１１（ａ）は０～９の数字画像２４１である。

【0066】

図１１（ｂ）は比較画像２の可変部を示す。可変部情報が日時の場合、可変部の位置情報は１つの数字の画像２４２～２４５ごとに与えられる。つまり、図１１（ｂ）では、「１」の画像２４２、「８」の画像２４３、「３」の画像２４４、「０」の画像２４５のそれぞれが１つの可変部とみなされる。したがって、可変部比較部１７は、比較画像２の各数字「１」「８」３」「０」の画像２４２～２４５と、０～９の数字画像２４１とを総当たりで比較すればよい。

【0067】

なお、可変部比較部１７は、比較画像２の各数字「１」「８」３」「０」の画像２４２～２４５と一致する画像が、０～９の数字画像２４１にあれば、その時点で比較を終了できる。

【0068】

可変部比較部１７は、各数字「１」「８」３」「０」の画像２４２～２４５の画素ごとに、０～９の数字画像２４１と比較するが、一致するものは最大１つである。可変部比較部１７は、各数字「１」「８」３」「０」の画像２４２～２４５ごとに、座標に対応付けて、不一致である旨を記録する。そして、可変部比較部１７は、最も不一致の画素が少ない数字画像を特定し、座標（基本画像でも比較画像２でもよい）と不一致である旨の対応を、差分情報記憶部１９に記憶する。可変部比較部１７は、不一致である場合、どのくらいの違いがあるかを座標に対応付けて記録してもよい。

【0069】

また、可変部比較部１７は、最も不一致の画素が少ない数字について、日にち又は時刻の正しい値に適合するかも判断するとよい。可変部比較部１７は、最も不一致の画素が少ない数字を特定できるので、これらの数字が日時又は時刻として適切かを判断する。例えば、可変部が日にちの場合、ＹＹＹＹ／ＭＭ／ＤＤのうちＹＹＹＹは２０００～２９９９、ＭＭは０１～１２、ＤＤは０１～３１が正しい値である。また、可変部が時刻の場合、ｈｈ：ｍｍのうちｈｈは００～２３、ｍｍは００～５９が正しい値である。

【0070】

可変部比較部１７は、可変部が日にち又は時刻であるという情報に基づいて、最も不一致の画素が少ない数字が、正しい値かどうかを判断し、差分情報記憶部１９に記憶する。

【0071】

＜静止画の場合の差分情報の生成＞
図１２は、静止画について、差分情報生成部１２によるＣＭＹＫ画像の差分情報の生成方法を説明する図である。図１２には比較される２つの画像の一部が拡大して表示されている。差分情報生成部１２は画像の解像度に応じて決まる画素位置（例えば、１９８０×１２８０の解像度の画像の場合、縦を１９８０に等分し、横を１２８０に等分した位置）ごとに、２つの画像に差異があるか否かを判断する。図１２ではメッシュの交点が画素位置である。

【0072】

２つの画像の同じ画素位置に同じ色の画素があれば、差異がなく、同じ色の画素がなければ差異があると判断する。差分情報生成部１２は差異がある画素位置にフラグを立てる。差分情報を画像で表すとフラグがある画素位置には点が表示される。差分情報生成部１２は、例えば、画素位置の数分のテーブルを用意して、「フラグの有無」を記録する。

【0073】

あるいは、差分情報生成部１２は、差異の大きさに応じた値を差分情報としてもよい。例えば、一方の画像データと他方の画像データのある画素位置に次のような差異があるとする。
Ａ． Ｃあり Ｋあり
Ｂ． Ｃあり Ｙあり
Ｃ． Ｃあり 何もなし
Ｄ． Ｃあり Ｍあり
この場合、Ａ＜Ｂ＜Ｃ＜Ｄの順に差異が大きいと考えられる。したがって、差分情報生成部１２は、Ａ＜Ｂ＜Ｃ＜Ｄの順に大きな値を上記テーブルに設定する。

【0074】

また、差分情報生成部１２は、個々の画像の各画素を他の画素と併合して特徴量を計算してから比較してもよい。例えば、ガウシアンフィルタなどで画素位置の周囲の画素を重み付けして、重み付けした値の差をテーブルに記録するか、又は、閾値より大きい差があれば差分がある旨（フラグ）をテーブルに記録する。

【0075】

＜差分の配置＞
以下では、人間が見た場合に可視可能な不一致の配置かどうかを判断する方法について説明する。可変部の不一致を、以下では「差分」と称している。

【0076】

差分の配置の認識について説明する。まず、
(i) 差分と判断される画素が人間の目で認識可能な大きさ以上連続している、
について説明する。

【0077】

差分情報配置認識部１４は、画素位置を順番に走査して、連続する差異を検出する。

【0078】

図１３は、人間の目で認識可能な大きさ以上連続している差異の検出方法を説明する図である。図１３（ａ）では、差分情報配置認識部１４が、画素位置を横方向に走査している。これにより、横方向に連続して人間の目で認識可能な大きさの差異１３０があれば検出できる。

【0079】

図１３（ｂ）では、差分情報配置認識部１４が、画素位置を縦方向に走査している。これにより、縦方向に連続して人間の目で認識可能な大きさの差異１３１があれば検出できる。

【0080】

図１３では、縦横それぞれの走査で矩形の差分の配置が検出される。差分情報配置認識部１４は、縦又は横にそれぞれ連続している差異の長さを検出する。なお、差分情報配置認識部１４は、斜め方向にも走査するとよい。

【0081】

そして、判断部１５は連続している差異の長さを所定の長さ（閾値）と比較して、所定の長さより長く連続している差異の画素位置にその旨を記録しておく。差分情報配置認識部１４は、例えば、画素位置の数分のテーブルを用意して、所定の長さより長く連続している差異の画素位置すべてに「差異あり」を記録する。

【0082】

これにより、情報処理装置１０の出力部１６はこれらの画素を強調して表示でき、ユーザーは一目で差分の配置を認識できる。

【0083】

なお、本実施形態では、この所定長さ（閾値）を画像に関係なく一定とすることができる。

【0084】

続いて、
(ii) 差分と判断される画素が一定領域内に人間の目で認識可能な割合以上存在する、
について説明する。

【0085】

この場合、差分情報配置認識部１４は、差分情報において画素位置を囲むウィンドウを順番に移動させ、このウィンドウ内に人間の目で認識可能な割合より大きい差異が存在するか否かを判断する。このウィンドウの大きさが一定領域に相当する。

【0086】

図１４は、一定領域内に人間の目で認識可能な割合以上存在する差異の検出方法を説明する図である。図１４では４×４画素のウィンドウ１４０が示されているが、ウィンドウ１４０の大きさは一例である。ウィンドウ１４０はウィンドウ１４０の中心にある画素位置を左上コーナーから右方向に１画素ずつ移動して、右端まで到達すると、１画素分下がって左端に戻る。このような移動を中心にある画素位置が右下コーナーに到達するまで繰り返す。

【0087】

４×４画素のウィンドウ１４０内には５×５＝２５の画素位置が含まれる。差分情報配置認識部１４は、ウィンドウ内のいくつの画素位置で差異があると判断されているかを数える。図１４では説明の便宜上、１０個の画素位置で差異があると判断されている。

【0088】

判断部１５は「１０/２５＞所定の割合」を満たすか否かを判断して、満たす場合には、画素位置の数分のテーブルにおいて、ウィンドウ内の全ての画素位置にその旨を記録しておく。これにより、情報処理装置１０の出力部１６はこの画素を強調して表示でき、ユーザーは一目で差分の配置を認識できる。

【0089】

なお、本実施形態では、この所定の割合（閾値）を画像に関係なく一定とすることができる。

【0090】

続いて、
(iii) 差分と判断される画素が指定された配置パターンで存在する、
について説明する。

【0091】

この場合、差分情報配置認識部１４は、指定された配置パターンを保持している。差分情報配置認識部１４は、差分情報に対し配置パターンでパターンマッチングを行い、配置パターンと適合する差分の配置があるか否かを判断する。

【0092】

図１５は、差分情報の生成方法を説明する図である。図１５（ａ）は比較画像１の一例を示し、図１５（ｂ）は比較画像２の一例を示す。図１５では説明のために明らかに違う比較画像１、２を示すが、実際には、比較画像１、２を見ただけでは差異が分かりにくい場合がある。

【0093】

図１６（ａ）は、図１５の比較画像１、２の差分情報を示し、図１６（ｂ）は差分情報の拡大図である。また、図１６（ｃ）は配置パターン１５０である。配置パターン１５０は人間の目が感じ取りやすい差異のパターンとして予め生成されている。図１６（ｃ）の配置パターン１５０は一例であって、帯状であったり、円形であったり、幾何学模様得などであったりしてよい。

【0094】

図１６（ｂ）の拡大図のような差分が、配置パターン１５０と一致した場合、差異があると差分情報配置認識部１４が判断すれば、差異があると人間が感じる２つの画像を検出できる。

【0095】

図１７は、差分の配置１６０から配置パターンを検出する方法を説明する図である。図１７では、説明のため、配置パターン１５０と同じパターンの差分の配置１６０を示した。差分情報配置認識部１４は、配置パターン１５０を差分情報１５１の左上コーナーから右方向に１画素ずつ移動して、右端まで到達すると、１画素分下がって左端に戻る。差分情報配置認識部１４は、このような移動を右下コーナーに到達するまで繰り返す。

【0096】

差分情報配置認識部１４は配置パターン１５０の画素と同じ位置に、差分情報において差異ありが記録されているか否かを判断し、全ての画素の位置で差異ありが記録されている場合に、配置パターン１５０が差分情報１５１から検出されたと判断する。あるいは、一定数以上（一定割合以上）の画素の位置で差異ありが記録されている場合に、配置パターン１５０が差分情報１５１から検出されたと判断する。

【0097】

図１７では、差分情報１５１の右下に配置パターン１５０と一致する差分の配置１６０があり、差分情報配置認識部１４はこの差分の配置１６０を検出することができる。

【0098】

差分情報配置認識部１４は、画素位置の数分のテーブルにおいて、配置パターン１５０と一致した画素位置にその旨を記録しておく。これにより、情報処理装置１０の出力部１６はこの画素を強調して表示でき、ユーザーは一目で差分の配置を認識できる。

【0099】

＜可変部の比較処理＞
図１８は、可変部比較部１７が、電子データの可変部について基本画像と比較画像２を比較する手順を示すフローチャート図である。図１８の処理は、電子データのうち可変部の比較が行われる際にスタートする。

【0100】

まず、可変部比較部１７は、可変部情報、基本画像、及び位置情報を可変部情報蓄積部２１から取得し、比較画像２蓄積部２３から比較画像２を取得する（Ｓ１）。

【0101】

次に、可変部比較部１７は、可変部情報が線形、パターン、又は日時のいずれであるか判断する（Ｓ２）。

【0102】

可変部情報が線形である場合、可変部比較部１７は、図１０に示したように、変化開始時と変化終了時の画像からＣＭＹＫの比率を作成する（Ｓ３）。

【0103】

そして、可変部比較部１７は、比較画像２の可変部における画像のＣＭＹＫの比率が、基本画像の変化開始時から変化終了時の任意のタイミングの比率と合致するか否かを画素ごとに記録する（Ｓ４）。

【0104】

可変部情報がパターンである場合、可変部比較部１７は、比較画像２の可変部の画像とパターンを構成する全画像を比較し、最も差異が少ない画像を特定する（Ｓ５）。

【0105】

そして、可変部比較部１７は、最も差異が少ない画像について、不一致画素を座標に対応付けて記録する（Ｓ６）。

【0106】

可変部情報が日時である場合、可変部比較部１７は、比較画像２の可変部の画像と０～９の数字画像を比較し、最も差異が少ない数字画像を特定する（Ｓ７）。なお、比較画像２は一桁分の数字に分割されている。

【0107】

そして、可変部比較部１７は、最も差異が少ない数字画像又は可変部の画像について、不一致画素を座標に対応付けて記録する（Ｓ８）。

【0108】

また、可変部比較部１７は、最も差異が少ない数字画像が日にち又は時刻の正しい値を満たすか記録する（Ｓ９）。

【0109】

＜不一致箇所の表示例＞
図１９は、情報処理装置１０が表示する不一致箇所表示画面の一例である。不一致箇所表示画面は、比較画像１欄２５１、比較画像２欄２５２、不一致箇所表示欄２５３、及び、説明欄２５４を有している。比較画像１欄２５１には比較画像１が表示され、比較画像２欄２５２には比較画像２が表示される。不一致箇所表示欄２５３には、不一致と判断された画素がマーク２５５と共に表示される。したがって、ユーザーはどこが不一致と判断されたか、及び、どのくらい不一致の画素があるかを把握しやすい。また、説明欄２５４には、不一致画素数とあいまい判断の結果が表示される。あいまい判断とは、人間が見た場合に可視可能な不一致の配置かどうかの判断結果である。したがって、ユーザーは不一致画素数及びあいまい判断の結果を参照しながら、総合的に２つの画像が不一致かどうかを判断できる。

【0110】

＜主な効果＞
以上説明したように、本実施形態の情報処理装置は、変化する領域が線形、パターン、日時であるかに基づいて比較方法を変更するので、可変部における差分を適切に検出できる。

【0111】

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【0112】

例えば、図４などの構成例は、情報処理装置１０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。情報処理装置１０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

【0113】

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（Digital Signal Processor）、FPGA（Field Programmable Gate Array）や従来の回路モジュール等のデバイスを含むものとする。

【符号の説明】

【0114】

１０ 情報処理装置
３０ サーバ
１００ 情報処理システム

【先行技術文献】

【特許文献】

【0115】

【特許文献1】特開２０１６‐４６６８５号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】