特許 6132068 情報表示処理装置及び情報表示処理装置の制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6132068

(24)【登録日】2017年4月28日

(45)【発行日】2017年5月24日

(54)【発明の名称】情報表示処理装置及び情報表示処理装置の制御プログラム

(51)【国際特許分類】

   G06F 3/048 20130101AFI20170515BHJP

   G06F 3/14 20060101ALI20170515BHJP

   G06K 19/06 20060101ALI20170515BHJP

   G06K 7/14 20060101ALI20170515BHJP

   G06K 7/10 20060101ALI20170515BHJP

   G06K 7/12 20060101ALI20170515BHJP

【ＦＩ】

   G06F3/048

   G06F3/14 330A

   G06K19/06 112

   G06K19/06 140

   G06K7/14 043

   G06K7/10 464

   G06K7/12

【請求項の数】9

【全頁数】22

(21)【出願番号】特願2016-505996(P2016-505996)

(86)(22)【出願日】2014年3月5日

(86)【国際出願番号】JP2014055598

(87)【国際公開番号】WO2015132900

(87)【国際公開日】20150911

【審査請求日】2016年4月13日

(73)【特許権者】

【識別番号】000001993

【氏名又は名称】株式会社島津製作所

(74)【代理人】

【識別番号】110001069

【氏名又は名称】特許業務法人京都国際特許事務所

(72)【発明者】

【氏名】木原 隆幸

【審査官】 岩橋 龍太郎

(56)【参考文献】

【文献】 特開２０１４−０３２５１８（ＪＰ，Ａ）

【文献】 特開２００４−１７３０４２（ＪＰ，Ａ）

【文献】 特開２０１０−０１０８３５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８−３／０４８９

Ｇ０６Ｆ ３／１４− ３／１５３

Ｇ０６Ｋ ７／００− ７／１４

Ｇ０６Ｋ １９／００−１９／１０

Ｈ０４Ｎ １／３２− １／３６

Ｈ０４Ｎ １／４２− １／４４

Ｈ０４Ｎ １９／４６７

Ｇ０１Ｎ ３０／８６

(57)【特許請求の範囲】

【請求項1】

所定の処理結果を表示部の画面上に表示する情報表示処理装置であって、
a) 自装置が保持する情報を符号化して符号画像を作成する符号化手段と、
b) 前記符号化手段が作成した前記符号画像と、該符号画像と所定の位置関係にある１の識別ヘッダとを、前記画面上に表示させる表示制御手段と、
を備えることを特徴とする情報表示処理装置。

【請求項2】

前記符号画像及び前記識別ヘッダは、ユーザの目視による判別が困難な色差を有する複数の画素からなり、
前記表示制御手段は、前記複数の画素に近い色で占められる所定の範囲内の均一色領域にて、前記符号画像及び前記識別ヘッダを表示させることを特徴とする請求項１に記載の情報表示処理装置。

【請求項3】

前記識別ヘッダは、３以上の自然数Ｎについて、行方向にＮ個連続する同一色の画素からなる第１画素群と、当該行内で前記第１画素群に隣接し、該第１画素群とは異なる色の１又は複数の画素からなる第２画素群とを含むことを特徴とする請求項１又は２に記載の情報表示処理装置。

【請求項4】

前記第２画素群は、Ｎより大きい自然数Ｍについて、行方向にＭ個連続する同一色の画素からなることを特徴とする請求項３に記載の情報表示処理装置。

【請求項5】

対象ソフトウェアに関するユーザの操作を支援するための操作支援装置であって、
a) 表示部の画面上に表示された、１の識別ヘッダを検出する識別ヘッダ検出手段と、
b) 前記識別ヘッダ検出手段が検出した前記識別ヘッダとの位置関係に基づき、前記対象ソフトウェアに関する所定の情報が符号化された符号画像を検出する符号画像検出手段と、
c) 前記符号画像検出手段が検出した前記符号画像を復号化して前記所定の情報を取得する復号化手段と、
d) 前記復号化手段が取得した前記所定の情報と紐付けられた所定の処理を実行する実行手段と、
を備えることを特徴とする操作支援装置。

【請求項6】

前記識別ヘッダ検出手段は、３以上の自然数Ｎについて、画面上の画素の値を行方向に検索し、直前の画素と色が異なる画素を検出した場合に、該検出した画素が前記識別ヘッダの第Ｎ＋１列の画素であるか否かを判定し、該判定結果が否である場合に、前記検出した画素からＮ列後方の画素より検索を再開することを特徴とする請求項５に記載の操作支援装置。

【請求項7】

前記識別ヘッダ検出手段はさらに、Ｎより大きい自然数Ｍについて、直前の画素と色が同一である画素を検出した場合に、該検出した画素からＭ列後方の画素の色が前記識別ヘッダの第Ｎ＋１列から第Ｎ＋Ｍ列の画素の色と一致するか否かを判定し、一致すると判定した場合には前記検出した画素の直後の画素より、一致しないと判定した場合には前記検出した画素からＭ−Ｎ＋１列後方の画素より、それぞれ検索を再開することを特徴とする請求項６に記載の操作支援装置。

【請求項8】

コンピュータを請求項１〜４のいずれかに記載の情報表示処理装置の各手段として機能させるための制御プログラム。

【請求項9】

コンピュータを請求項５〜７のいずれかに記載の操作支援装置の各手段として機能させるための制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ソフト的に画像を認識することを介してユーザの操作を支援するための情報表示処理装置及び操作支援装置等に関する。

【背景技術】

【0002】

昨今では、分析装置の制御や、分析の結果として得られた分析データの解析処理は、一般のコンピュータ上で動作する制御用及び解析用ソフトウェアを用いて行われる。こうしたソフトウェアの主なユーザは、実際に分析機器を使用する分析者である。

【0003】

ユーザは必ずしも当該ソフトウェアの操作に習熟しているわけではないので、開発者の観点から見て十分な機能が盛り込まれた上で当該ソフトウェアが提供されても、さらなる追加機能（例えばボタンや説明文等のＧＵＩ）の必要性が事後的に表面化することがある。また、発生し得るエラーの内容は開発段階である程度把握可能であるが、エラー発生時の対策については開発段階で十分なサポートを用意できないことがある。すなわち、ユーザは実に様々な状況下でエラーを発生させるが、発生状況が開発者の想定外であった場合、販売前に作成された説明文からユーザが適切な回復方法を見出すことが難しいことがある。このように、ソフトウェアが製品としてユーザに提供された後で、機能やサポートの追加が望まれるという状況は往々にして起こり得る。

【0004】

本発明者はこうした事情に鑑み、本体ソフトウェアとは別の操作支援プログラムをコンピュータにインストールし、該本体ソフトウェアが表示させている所定の画像を検出することで、追加のＧＵＩ等を表示させることを考案した。

【0005】

その他、画面上に表示された画像を検出することによって何らかの形でユーザの操作を支援する従来技術としては、例えば非特許文献１のように、画面を検索し、ユーザによって予め登録された画像と一致する画像を検出したときに該画像を自動的にクリックする技術が存在する。非特許文献２も同様の技術を開示しているが、こちらではパターン認識による類似画像の検出も可能である。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】山本格也,"AutoMouse",[online],平成13年3月2日,[平成26年1月24日検索],インターネット<URL:http://www.vector.co.jp/soft/win95/util/se074062.html>

【非特許文献2】小野高弘,"RocketMouse Pro v8.5",[online],平成24年4月27日,モジョソフト,[平成26年1月24日検索],インターネット<URL:http://mojosoft.biz/products/rocketmousepro/>

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、このような一致判定による画像の検索は、コンピュータの処理負荷が問題となりやすい。例えば、非特許文献１のように完全一致画像を検索する場合でも検索する画像の大きさに応じて必要な計算量が多くなる。同様に、複数の画像を同時に検索しようとすれば、一致判定において比較する画素の数が多くなるため、ＣＰＵ（Central Processing Unit）の使用率が上限に達し、本体プログラムの処理が停滞するといった問題が容易に発生し得る。画像認識を介して種々の情報を伝達するシステムにおいては、多数の情報・条件に対応するために多数の画像を同時に検索する状況が想定されるため、画像の検索に掛かる処理負荷を抑える必要がある。

【0008】

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、ソフト的な画像認識を介してユーザの操作を支援するシステムにおいて、画像の検索に掛かるコンピュータの処理負荷を軽減するための情報表示処理装置及び操作支援装置等を提供することにある。

【課題を解決するための手段】

【0009】

上記課題を解決するために成された第１発明は、所定の処理結果を表示部の画面上に表示する情報表示処理装置であって、
a) 自装置が保持する情報を符号化して符号画像を作成する符号化手段と、
b) 前記符号化手段が作成した前記符号画像と、該符号画像と所定の位置関係にある１の識別ヘッダとを、前記画面上に表示させる表示制御手段と、
を備えることを特徴とする。

【0010】

上記の構成によれば、情報表示処理装置が保持する所定の情報が符号化手段により符号画像に変換され、該符号画像は表示制御手段によって、１の識別ヘッダとともに表示部の画面上に表示される。識別ヘッダは符号画像と所定の位置関係にあることから、情報表示処理装置のユーザを支援するための操作支援プログラムは１の識別ヘッダのみ検索すれば、予め設定された位置関係に基づいて符号画像を検出することができ、該符号画像を復号化して所定の情報を得ることができる。すなわち、符号画像の検索を不要とすることができる。
識別ヘッダは、符号画像の位置を表すだけの情報を持てば良いため、一般的には符号画像が表す情報の量よりも少ない情報量を持つ。従って、符号画像そのものを検索する場合と比較して少ない計算量で、操作支援プログラムが符号画像を検出することができる。よって、画像の検索に掛かるコンピュータの処理負荷が軽減される。

【0011】

符号化手段によって符号化される情報としては、情報表示処置装置内で発生したエラーの内容や、情報表示処理装置が分析装置の制御用装置であれば分析パラメータ等を挙例することができる。

【0012】

前記符号画像及び前記識別ヘッダは、ユーザの目視による判別が困難な色差を有する複数の画素からなり、
前記表示制御手段は、前記複数の画素に近い色で占められる所定の範囲内の均一色領域にて、前記符号画像及び前記識別ヘッダを表示させることが好ましい。
この構成によれば、符号画像及び識別ヘッダが画面上で視認されにくくなるため、これらが他のオブジェクトの視認性を低下させたり、ユーザを不快にさせたりすることを防止できる。

【0013】

前記識別ヘッダは、３以上の自然数Ｎについて、行方向にＮ個連続する同一色の画素からなる第１画素群と、当該行内で前記第１画素群に隣接し、該第１画素群とは異なる色の１又は複数の画素からなる第２画素群とを含む構成としてもよい。
この構成によれば、識別ヘッダは、行方向に隣接する第１画素群と第２画素群とを含み、各群は同一色の画素によって構成され、両群間では画素の色が異なっている。さらに、第１画素群は行方向にＮ個連続する画素からなる。
従って、例えば操作支援プログラムが第１画素群から第２画素群に向かう方向に表示部の画面上を検索し、連続する２画素の色が異なる場合に、当該２画素のうち検索方向において後方の画素を第２画素群の先頭の画素と仮定してこれを検証し、検証の結果その仮定が誤りであった場合に検索位置をＮ列先に進めるようにすれば、上記仮定を誤りと判定するごとに、操作支援プログラムはＮ−１画素についての検索を省略することができる。従って、表示部の画面上の画素の色の不均一さに応じて検索を省略する画素の数が増大する。これにより、画像検索に掛かる処理負荷をさらに抑えることができる。

【0014】

前記第２画素群は、Ｎより大きい自然数Ｍについて、行方向にＭ個連続する同一色の画素からなる構成としてもよい。
この構成によれば、識別ヘッダにおいて、第１画素群は行方向にＮ個、第２画素群は行方向にＭ個連続する画素からなり、且つＮ＜Ｍである。これにより、例えば上述の操作支援プログラムがさらに、連続する２画素の色が同一である場合に、当該２画素を第２画素群の先頭の２画素又は行内においてそれらの近傍にある２画素と仮定して、当該２画素のうち後方の画素から検索位置をＭ列先に進め、進めた先の画素の色が第２画素群の色と一致する場合には元の検索位置に戻り、一致しない場合には元の検索位置からＭ−Ｎ＋１列進むようにすれば、上記仮定を誤りと判定するごとに、操作支援プログラムはＭ−Ｎ画素についての検索を省略することができる。これにより、Ｍの値を適切に設定することで画像検索に掛かる処理負荷をさらに抑えることができる。

【0015】

上記課題を解決するために成された第２発明は、対象ソフトウェアに関するユーザの操作を支援するための操作支援装置であって、
a) 表示部の画面上に表示された、１の識別ヘッダを検出する識別ヘッダ検出手段と、
b) 前記識別ヘッダ検出手段が検出した前記識別ヘッダとの位置関係に基づき、前記対象ソフトウェアに関する所定の情報が符号化された符号画像を検出する符号画像検出手段と、
c) 前記符号画像検出手段が検出した前記符号画像を復号化して前記所定の情報を取得する復号化手段と、
d) 前記復号化手段が取得した前記所定の情報と紐付けられた所定の処理を実行する実行手段と、
を備えることを特徴とする。

【0016】

上記の構成によれば、識別ヘッダ検出手段が１の識別ヘッダを検出すると、符号画像検出手段は、該識別ヘッダとの位置関係に基づき、所定の情報が符号化された符号画像を検出する。検出された符号画像は復号化手段によって復号化され、実行手段は該復号化によって得られた所定の情報と紐付けられた所定の処理を実行する。すなわち、操作支援装置は１の識別ヘッダについてのみ検索を行えばよく、符号画像の検索を不要とすることができる。
識別ヘッダは、符号画像の位置を表すだけの情報を持てば良いため、一般的には符号画像が表す情報の量よりも少ない情報量を持つ。従って、操作支援装置は符号画像そのものを検索する場合と比較して少ない計算量で符号画像を検出することができる。よって、画像の検索に掛かるコンピュータの処理負荷が軽減される。

【0017】

前記識別ヘッダ検出手段は、３以上の自然数Ｎについて、画面上の画素の値を行方向に検索し、直前の画素と色が異なる画素を検出した場合に、該検出した画素が前記識別ヘッダの第Ｎ＋１列の画素であるか否かを判定し、該判定結果が否である場合に、前記検出した画素からＮ列後方の画素より検索を再開する構成とすることができる。
この構成によれば、操作支援プログラムは、直前の画素と色が異なる画素を検出し、該検出した画素が識別ヘッダの第Ｎ＋１列の画素ではないと判定するごとに、Ｎ−１画素についての検索を省略することができる。従って、表示部の画面上の画素の色の不均一さに応じて検索を省略する画素の数が増大する。よって、対象ソフトウェアが、行方向にＮ個連続する同一色の画素からなる第１画素群と、当該行内で前記第１画素群に隣接し、該第１画素群とは異なる色の画素からなる第２画素群とを含む画像を識別ヘッダとすることで、画像検索に掛かる処理負荷をさらに抑えることができる。

【0018】

前記識別ヘッダ検出手段はさらに、Ｎより大きい自然数Ｍについて、直前の画素と色が同一である画素を検出した場合に、該検出した画素からＭ列後方の画素の色が前記識別ヘッダの第Ｎ＋１列から第Ｎ＋Ｍ列の画素の色と一致するか否かを判定し、一致すると判定した場合には前記検出した画素の直後の画素より、一致しないと判定した場合には前記検出した画素からＭ−Ｎ＋１列後方の画素より、それぞれ検索を再開する構成とすることができる。
この構成によれば、操作支援プログラムは、直前の画素と色が同一である画素を検出し、該検出した画素からＭ列後方の画素が識別ヘッダの第Ｎ＋１列から第Ｎ＋Ｍ列の画素の色と一致しないと判定するごとに、Ｍ−Ｎ画素についての検索を省略することができる。従って、表示部の画面上の画素の色の不均一さに応じて検索を省略する画素の数が増大する。よって、対象ソフトウェアが、行方向にＮ個連続する同一色の画素からなる第１画素群と、当該行内で前記第１画素群に隣接し、該第１画素群とは異なる単一の色を呈するＭ個の画素からなる第２画素群とを含む画像を識別ヘッダとし、Ｍの値を適切に設定すれば、画像検索に掛かる処理負荷をさらに抑えることができる。

【発明の効果】

【0019】

第１発明及び第２発明によれば、ソフト的な画像認識を介してユーザの操作を支援するシステムにおいて、画像の検索に掛かるコンピュータの処理負荷が軽減される。

【図面の簡単な説明】

【0020】

【図1】本発明の第１の実施形態に係る分析制御装置の概略構成を示すブロック図。

【図2】（ａ）同実施形態に係る分析制御装置による分析制御ソフトのウィンドウの画面表示例。（ｂ）（ａ）に示す領域Ａ内に表示される識別ヘッダ及び符号画像の一例。

【図3】（ａ）同実施形態に係る分析制御装置が画面上のＲＧＢ値（200, 200, 200）を有する画素で占められる所定の領域内に埋め込む識別ヘッダのＲＧＢ値の一例。（ｂ）同実施形態に係る分析制御装置が同領域内に埋め込む符号画像のＲＧＢ値と送液モードとの対応関係の一例。

【図4】同実施形態に係る分析制御装置による符号画像埋め込み処理の流れの一例を示すフローチャート。

【図5】同実施形態に係る分析制御装置による検索・操作支援処理の流れの一例を示すフローチャート。

【図6】図５に示す検索・操作支援処理の結果、送液モードに応じたＧＵＩが表示された状態を示す画面表示例。

【図7】本発明の第２の実施形態に係る分析制御装置が画面上に埋め込む識別ヘッダの一例。

【図8】同実施形態に係る分析制御装置による検索・操作支援処理の流れを示すフローチャート。

【図9】図８に示すフローチャートにおいて識別ヘッダが検出された場合の処理の流れを示すフローチャート。

【図10】同実施形態に係る分析制御装置による画像検索の説明図。

【図11】同実施形態に係る分析制御装置を用いた画像の検索に要する処理負荷の比較表。

【図12】本発明の第３の実施形態に係る分析制御装置が画面上に埋め込む識別ヘッダの一例。

【図13】同実施形態に係る分析制御装置による検索・操作支援処理の流れを示すフローチャート。

【図14】同実施形態に係る分析制御装置において、同一色の画素が連続した場合の処理の流れを示すフローチャート。

【図15】同実施形態に係る分析制御装置による画像検索の説明図。

【図16】同実施形態に係る分析制御装置を用いた画像の検索に要する処理負荷の比較表。

【発明を実施するための形態】

【0021】

以下、本発明を実施するための形態について、図面を参照しつつ詳細に説明する。以下の記載において、先に説明した図面と同一の機能を有する部材には同一の番号を付し、その説明を省略する。

【0022】

〔第１の実施形態〕
図１に、本発明の第１の実施形態に係る分析制御装置（情報表示処理装置・操作支援装置）１を示す。分析制御装置１の実態はコンピュータであり、中央演算処理装置であるＣＰＵ（Central Processing Unit）１０にメモリ１２、ＬＣＤ（Liquid Crystal Display）等から成るモニタ（表示部）１４、キーボードやマウス等から成る入力部１６、記憶部２０が互いに接続されている。このうち、上記のメモリ１２はＲＡＭ（Random Access Memory）等の揮発性記憶装置、記憶部２０はＲＯＭ（Read only Memory）・フラッシュメモリ・ＥＰＲＯＭ（Erasable Programmable ROM）・ＥＥＰＲＯＭ（登録商標）（Electrically EPROM）・ＨＤＤ（Hard Disc Drive）・ＳＳＤ（Solid State Drive）等の不揮発性記憶装置によって構成される。記憶部２０には分析制御プログラム２１、操作支援プログラム２２が設けられている。分析制御プログラム２１及び操作支援プログラム２２が備える後述の各要素は、ＣＰＵ１０がこれらのプログラムをメモリ１２に読み出して実行することで実現される機能手段である。記憶部２０にはまた、ＯＳ（Operating System）２９も記憶されている。

【0023】

分析制御装置１は、外部装置との直接的な接続や、外部装置等とのＬＡＮ（Local Area Network）などのネットワークを介した接続を司るためのインターフェース（Ｉ／Ｆ）１８を備えており、該Ｉ／Ｆ１８よりネットワークケーブルＮＷ（又は無線ＬＡＮ）を介して分析装置Ａ１に接続されている。
なお、分析データ処理装置１と接続される分析装置は複数台であっても構わない。また、分析制御装置１と分析装置Ａ１は一体の装置として構成されていても構わない。

【0024】

分析装置Ａ１は、本実施形態では液体クロマトグラフ質量分析装置（ＬＣ−ＭＳ）とする。ただし、分析装置Ａ１の実態はこれに限定されず、ガスクロマトグラフ装置（ＧＣ）や液体クロマトグラフ装置（ＬＣ）、またガスクロマトグラフ質量分析装置（ＧＣ−ＭＳ）であってもよい。分析装置Ａ１はその他の実験機器や医療機器であってもよく、コンピュータによる制御又は監視が可能な分析装置であれば測定の手法や対象は問わない。

【0025】

分析制御プログラム２１は、分析装置Ａ１による分析を制御するためのアプリケーションソフトウェアであり、各種パラメータを決定するとともに、該パラメータに従った分析の実行を分析装置Ａ１に命令する。分析制御プログラム２１はまた、分析装置Ａ１による分析結果をモニタ１４の画面上にリアルタイムで表示させる。
図１においては、分析制御プログラム２１に係るように、パラメータ決定部３１、分析実行命令部３２、分析データ記憶部３３、符号化部（符号化手段）３４、及び表示制御部（表示制御手段）３５が示されている。分析制御プログラム２１はこの他に、分析装置Ａ１による分析結果を解析する解析ソフトとしての機能を具備していてもよいが、本発明の趣旨からは外れるため図示及び説明を省略する。

【0026】

パラメータ決定部３１は、分析装置Ａ１による分析の各種パラメータを、入力部１６を解したユーザ入力に基づいて決定する。上記各種パラメータは例えば温度・圧力・ポンプの送液モード・ポンプの流速等であり、分析装置Ａ１の分析実行中に変更が可能であってもよい。
分析実行命令部３２は、パラメータ決定部３１が決定した分析パラメータを分析装置Ａ１に通知するとともに、該通知されたパラメータに従った分析の実行を分析装置Ａ１に命令する。これらの通知及び命令はＩ／Ｆ１８を介して行われる。
分析データ記憶部３３は、上記の命令に基づいて分析装置Ａ１が実行した分析の結果を分析データとして保存する記憶領域である。

【0027】

符号化部３４は、分析制御プログラム２１が保持する所定の情報を符号化して符号画像を作成するものである。上記所定の情報としては例えば、パラメータ決定部３１が決定したパラメータ、分析データ記憶部３３に保存されている分析結果、及び分析制御プログラム２１上で発生したエラーの内容等が挙げられる。上記符号画像としては、情報の内容に応じて異なるＲＧＢ値を割り当てられた１又は複数の画素を用いることもできるし、ＱＲコード（登録商標）等のように符号化・復号化アルゴリズムが既知である二値画像を用いてもよい。符号化される情報のとり得る値が数段階に限られる場合には前者を、情報が連続的な変数であったり文字列であったりして限られた範囲のＲＧＢ値のみでは表現が困難な場合には後者を採用すればよい。また、複数行に亘るＱＲコードの各行の画像を分離して１行内に連結させ、これを符号画像としてもよい。

【0028】

表示制御部３５は、モニタ１４に対し、分析制御プログラム２１によって処理された各種情報の映像信号を出力するものである。具体的には、分析制御プログラム２１が備える不図示の分析データ処理部によって所定の処理（例えばグラフ化等）を施された分析データを画像として図２（ａ）のようにモニタ１４の画面上に表示させる。図２（ａ）は、表示制御部３５がモニタ１４の画面上に表示させる分析制御プログラム２１のウィンドウ２００の一例である。さらに本実施形態の特徴として、表示制御部３５は、符号化部３４が作成した符号画像に後述の識別ヘッダを付して画面上の所定の位置（例えば同図の点線で囲まれた領域Ａ内）に表示させる。以下の記載では、識別ヘッダ及び符号画像を画面上に表示させることを「埋め込み」と称する。識別ヘッダ及び符号画像の埋め込み先は典型的には所定の背景色で占められる余白領域であり、識別ヘッダ又は符号画像が特定のオブジェクトと重畳しないようにすることが好ましい。

【0029】

ここで、本実施形態における識別ヘッダについて説明する。
識別ヘッダとは、モニタ１４の画面上で表示されている符号画像を後述の操作支援プログラム２２が検出しやすくするためのものである。すなわち、識別ヘッダは容易に検出され得る特殊な配列パターンを有し、且つ符号画像に対して規定の相対位置を有する。具体例として、図２（ｂ）に示すように単一の画素２２０を符号画像とする場合には、当該画素２２０と行方向に隣接する一端を有し且つそれぞれ異なる所定のＲＧＢ値を有する３個の連続画素２０１〜２０３を識別ヘッダ２１０とすることができる。図２（ｂ）は、図２（ａ）中の領域Ａ内の画像を拡大した図であり、該領域Ａ内に埋め込まれた識別ヘッダ２１０及び第４画素（符号画像）２２０が示されている。

【0030】

ここで、本実施形態の特徴として、識別ヘッダ及び符号画像は、画面上に埋め込まれた状態でユーザによる視認が困難な色、すなわち、表示位置にて隣接する画素との色差がユーザによる目視で認識できないほど僅かであるようなＲＧＢ値を有する。

【0031】

図３を参照して具体例を示す。識別ヘッダ２１０及び第４画素２２０は図２（ａ）に示す領域Ａ内に埋め込まれるものとし、領域Ａはその全体がウィンドウ２００の背景色（200, 200, 200）のＲＧＢ値を有する画素で占められているものとする。なお、モニタ１４はＲ・Ｇ・Ｂの各色について256階調の表現が可能である。図３（ａ）は、表示制御部３５がモニタ１４の画面上に埋め込む識別ヘッダ２１０の各画素のＲＧＢ値を示す表である。同図に示すとおり、第１画素２０１には（201, 201, 201）、第２画素２０２には（199, 199, 199）、第３画素２０３には（202, 202, 202）とのＲＧＢ値が割り当てられており、これらの値は送液モードによらず不変である。
一方、第４画素２２０は送液モードに応じて異なるＲＧＢ値が割り当てられる。図３（ｂ）は、第４画素２２０のＲＧＢ値と送液モードとの対応関係を示す表である。送液モードはアイソクラティックモード・バイナリモード・低圧グラジエント溶出モードの３種類があり、これらのモードに対し第４画素２２０のＲＧＢ値はそれぞれ（201, 200, 200）、（202, 200, 200）、（203, 200, 200）が割り当てられる。同図に示す例では送液モードに応じてＲ値のみが変化しているが、Ｇ値又はＢ値を変化させてももちろんよく、これらを組み合わせて変化させてもよい。

【0032】

上記例示したＲＧＢ値から分かるように、識別ヘッダ２１０及び第４画素２２０は、領域Ａに埋め込まれた際に隣接する画素に対してごく僅かな色差しかなく、埋め込まれた画像をユーザが目視によって認識することはほぼ不可能と言ってよい。一方、操作支援プログラム２２は画素のＲＧＢ値を参照するため、ユーザにとっては判別不可能な色差をも正確に認識して識別ヘッダ２１０を検出し、また第４画素２２０がとり得る３種類の状態のそれぞれを正確に識別することができる。従って表示制御部３５は、画面上の他のオブジェクトの視認性を低下させたり、ユーザに不快感を与えたりすることなく、符号化した情報を画面上に埋め込むことができる。符号画像としてＱＲコードを用いる場合には、該ＱＲコードを構成する画素群の色（通常は２階調）を上記と同様にユーザによる視認が困難なＲＧＢ値とすればよい。

【0033】

なお、上記の各ＲＧＢ値はあくまで一例であり、具体的な値はこれらの画素群が表示される領域に合わせて適宜設定されればよい。典型的には、分析制御プログラム２１のウィンドウ２００において大部分の余白領域を占める色に近い値に設定しておけば、表示位置の自由度が高く実用に適するであろう。また誤検出防止の観点から、識別ヘッダ２１０の各画素のＲＧＢ値は画面上で通常用いられない色の配列となるよう設定されることが好ましい。さらに、同様の観点から、識別ヘッダの画素数は３以上とすることが好ましい。

【0034】

また、ＱＲコードのような多数の画素からなる画像を符号画像とする場合には、操作支援プログラム２２が符号画像を正確に検出できるよう、識別ヘッダの直後に符号画像のサイズ情報を示す画素を予め定めた規則に基づいて付してもよい。例えば、符号画像のサイズが数段階ある場合、それぞれのサイズに異なるＲＧＢ値を割り当てる構成とすることができる。上記のサイズ情報を示す画素は符号画像の一部であってもよいし、符号画像から独立した画素であってもよい。

【0035】

再び図１を参照し、分析制御装置１の記憶部２０に設けられた操作支援プログラム２２について説明を行う。
操作支援プログラム２２は、分析制御プログラム２１上でのユーザの操作を支援するためのプログラムである。操作支援プログラム２２は、既に分析制御プログラム２１がインストールされているコンピュータに後からインストールされてもよいし、分析制御プログラム２１と同時にインストールされてもよい。
図１においては、実操作支援プログラム２２に係るように、ヘッダ検出部（識別ヘッダ検出手段）４１、符号画像検出部（符号画像検出手段）４２、復号化部（復号化手段）４３、操作支援実行部（実行手段）４４、及びデータベース（ＤＢ）４５が示されている。

【0036】

ヘッダ検出部４１は、モニタ１４の画面上に表示された識別ヘッダを検出するものである。具体的には、例えばモニタ１４の画面の左上端の画素から右方向にＲＧＢ値を走査し、識別ヘッダと一致する画像を検索する。なお、走査が右端まで達したら行を１進め、再び左端の画素から右方向へ走査を行う。

【0037】

符号画像検出部４２は、符号画像を検出する。具体的には、識別ヘッダと符号画像との予め定められた位置関係に基づき、ヘッダ検出部４１が検出した識別ヘッダの位置から符号画像の位置を求め、該求めた位置に表示されている符号画像を検出する。

【0038】

復号化部４３は、符号画像検出部４２が検出した符号画像を復号化して元の情報を取得する。具体的には、情報が符号画像のＲＧＢ値として符号化されている場合、復号化部４３は、データベース４５に格納されている、符号画像のＲＧＢ値と所定の情報とが紐付けられた符号対応テーブルを参照し、符号画像検出部４２が検出した符号画像のＲＧＢ値と紐付けられている情報を特定する。この符号対応テーブルは、例えば先に参照した図３（ｂ）に示す表のようなデータ構造を有する。また、ＱＲコード等のように符号化・復号化アルゴリズムが既知である画像を符号画像とする場合には、復号化部４３は対応する復号化アルゴリズムを用いて元の情報を取得することができる。

【0039】

操作支援実行部４４は、復号化部４３が取得した情報に基づき、所定の処理を実行するものである。上記所定の処理としては、例えば取得された情報が適用中の分析パラメータであれば、該パラメータに応じた説明コメントや所定のボタンといったＧＵＩの表示が挙げられる。また、分析制御プログラム２１への送信メッセージが既知であれば、適用中の分析パラメータに応じた分析制御プログラム２１上の設定画面を表示させることも有用である。別の例として、復号化部４３が取得した情報が発生エラーの内容を含むものであれば、該エラーからの回復手順をユーザに教示するためのコメントを表示させてもよい。これら所定の処理は、データベース４５に格納されている、所定の情報と処理とが紐付けられた操作支援処理対応テーブル（不図示）を参照することで決定される。

【0040】

データベース４５は、符号画像と所定の情報とを紐付けた符号対応テーブル、及び所定の情報と所定の処理とを紐付けた操作支援処理対応テーブルを格納している。符号対応テーブルは復号化部４３が符号画像から元の情報を復号化するために参照され、動作対応テーブルは該元の情報に基づき操作支援実行部４４が実行すべき動作を決定するために参照される。なお、復号化部４３が既知の復号化アルゴリズム（例えばＱＲコードの読み取り技術）によって符号画像の復号化を行う場合には、上記のような符号対応テーブルは必須ではない。

【0041】

〔符号画像埋め込み処理の流れ〕
ここで、フローチャートである図４、及び必要に応じて図２〜３を参照しつつ、本実施形態の分析制御プログラム２１による符号画像埋め込み処理の流れについて説明を行う。ここでは上述にて説明した図２及び図３の例を用いる。分析制御プログラム２１による符号画像埋め込み処理の開始タイミングは、パラメータ決定部３１が送液モードを決定した時点でもよいし、分析実行命令部３２が分析装置Ａ１に分析の実行を命令した時点でもよい。あるいは、一定の時間間隔ごとに符号画像埋め込み処理が繰り返し実行されてもよい。

【0042】

まず、符号化部３４が送液モードを取得する（ステップＳ１０１）。具体的には、符号化部３４は、パラメータ決定部３１が決定したパラメータ情報を取得し、複数のパラメータのうち送液モードに関するパラメータを抽出する。

【0043】

次に、符号化部３４は送液モードに応じて第４画素２２０のＲＧＢ値を決定する（ステップＳ１０２）。具体的には、図３（ｂ）に示す対応関係に基づき、送液モードに応じたＲＧＢ値を第４画素２２０に割り当てる。ここでは例として送液モードは低圧グラジエント溶出モードとし、符号化部３４は（203, 200, 200）とのＲＧＢ値を割り当てる。

【0044】

次に、表示制御部３５が識別ヘッダ２１０及び第４画素２２０を所定の位置に表示させる（ステップＳ１０３）。具体的には、表示制御部３５は、図２（ａ）に示すウィンドウ２００内の所定の位置（例えばウィンドウ２００の背景色（200, 200, 200）のＲＧＢ値を有する画素で占められる領域Ａ内）に、図２（ｂ）に示す４個の連続する画素２０１、２０２、２０３、２２０を埋め込む。このうち最初の３個の画素が識別ヘッダ２１０であり、図３（ａ）に示すとおり第１画素２０１には（201, 201, 201）、第２画素２０２には（199, 199, 199）、第３画素２０３には（202, 202, 202）のＲＧＢ値が割り当てられる。第４画素２２０のＲＧＢ値はステップＳ１０２にて決定された（203, 200, 200）である。なお、識別ヘッダ２１０及び第４画素２２０が表示される位置は領域Ａ内に限定されず、全体又は大部分のＲＧＢ値が（200, 200, 200）又はこれに近い値である領域であればよい。一般的なアプリケーションウィンドウでは余白領域の色（背景色）は均一であるから、実際には表示制御部３５はウィンドウ２００内のほぼ任意の余白領域に識別ヘッダ２１０及び第４画素２２０を埋め込むことができる。

【0045】

その後、パラメータ決定部３１によって送液モードの変更がなされれば（ステップＳ１０４でＹｅｓ）、符号画像埋め込み処理はステップＳ１０１に戻り、符号化部３４が変更後の送液モード情報を取得する。送液モードに変更がなければ（ステップＳ１０４でＮｏ）、表示制御部３５は識別ヘッダ２１０及び第４画素の埋め込み表示を維持する。別の例として、表示制御部３５はステップＳ１０３から一定時間が経過した場合に表示を解除してもよい。

【0046】

以上説明した処理により、分析制御プログラム２１は送液モードをＲＧＢ値として符号化した第４画素２２０をモニタ１４の画面上に埋め込む。このとき、第４画素２２０に識別ヘッダ２１０を付すことにより、操作支援プログラム２２が識別ヘッダ２１０を検出することで規定の位置関係に基づいて間接的に第４画素を検出可能とすることができる。さらに、識別ヘッダ２１０及び第４画素２２０を表示領域の背景色に近い色とすることで、これらがユーザに視認されにくくなり、他のオブジェクトの視認性を低下させたり、ユーザを不快にさせたりすることを防止できる。

【0047】

〔検索・操作支援処理の流れ〕
次に、フローチャートである図５、及び必要に応じて図６を参照しつつ、本実施形態の操作支援プログラム２２による検索・操作支援処理の流れについて説明を行う。ここでは、上述にて説明した符号画像埋め込み処理により、分析制御プログラム２１が識別ヘッダ２１０及び第４画素２２０を既にウィンドウ２００内に埋め込んでいるものとする。操作支援プログラム２２による検索・操作支援処理は一定の時間間隔ごとに繰り返し実行されてもよいし、ユーザの指示に応じて実行されてもよい。あるいは、分析制御プログラム２１から操作支援プログラム２２に所定のタイミング（例えばステップＳ１０３の完了時点）で検索・操作支援処理の開始命令が出力されるようにしておき、操作支援プログラム２２は該命令に応じて検索・操作支援処理を開始する構成としてもよい。

【0048】

まず、ヘッダ検出部４１が画面の左上端から行内の画素を検索する（ステップＳ２０１）。具体的には、モニタ１４の画面のキャプチャ画像について第１行左端の画素（1, 1）のＲＧＢ値を参照する。ここでの「キャプチャ画像」は、一般的なコンピュータのＯＳが備えている、画面の表示内容を複写して一時記憶領域に格納する画面キャプチャ機能を用いて得られた画像である。ヘッダ検出部４１はＯＳ２９に対しモニタ１４の画面のキャプチャを指示し、これにより得られた画像内の画素のＲＧＢ値を参照する。キャプチャ画像のサイズは幅Ｘ画素、高さＹ画素とする。

【0049】

ヘッダ検出部４１は行内を右方向に検索しながら画素のＲＧＢ値を参照し（ステップＳ２０２）、識別ヘッダ２１０と一致する画像、すなわち先頭からＲＧＢ値が（201, 201, 201）、（199, 199, 199）、（202, 202, 202）となる３個の連続する画素の有無を判定する（ステップＳ２０４）。識別ヘッダ２１０が検出されなければ（ステップＳ２０４でＮｏ）、ステップＳ２０２に戻り検索を続ける。なお、検索がキャプチャ画像の右端列まで達すれば（ステップＳ２０３でＹｅｓ）、一致判定を行わずに検索対象を次の行の左端に移し（ステップＳ２０８）、ステップＳ２０２に戻り検索を続ける。ステップＳ２０８によって検索対象行がキャプチャ画像の下端からはみ出す場合は（ステップＳ２０９でＹｅｓ）画面全体の検索が終了したことを意味するため、検索・操作支援処理は終了となる。

【0050】

検索がキャプチャ画像の右端まで達した場合（ステップＳ２０３でＹｅｓ）に識別ヘッダ２１０との一致判定を行わない理由は、画面の右端の画素が識別ヘッダ２１０の第３画素２０３であるときは第４画素２２０は画面外にはみ出しており検出が不可能なためである。符号画像が幅Ｗ画素、高さＨ画素の画像である場合には、ステップＳ２０３及びＳ２０９における判定式は例えば以下の式（１）及び式（２）となる。
x > X - W …（１）
y > Y - H + 1 …（２）
上記式（１）及び（２）は識別ヘッダ２１０の直後の画素を左上端とする符号画像を想定したものである。識別ヘッダ２１０と符号画像との位置関係が異なれば式も変わることに留意されたい。

【0051】

識別ヘッダ２１０が検出されると（ステップＳ２０４でＹｅｓ）、続いて符号画像検出部４２が第４画素２２０を検出する（ステップＳ２０５）。具体的には、識別ヘッダ２１０の第３画素２０３の直後の（図２（ｂ）に示す例では右側に隣接している）検索対象画素を第４画素２２０と認識する。

【0052】

次に、復号化部４３が第４画素２２０のＲＧＢ値から送液モードを特定する（ステップＳ２０６）。具体的には、データベース４５に格納されている符号対応テーブルを参照し、符号画像検出部４２が検出した第４画素２２０のＲＧＢ値と紐付けられている送液モードを特定する。より具体的には、上記符号対応テーブルのうち第４画素のＲＧＢ値を示すカラムのデータ値が、ステップＳ２０３にて符号画像検出部４２が検出した画素のＲＧＢ値と一致するレコードを検索し、一致したレコードにおける送液モードを示すカラムのデータ値を特定する。符号対応テーブルのデータ構造の一例として図３（ｂ）を参照すれば、「第４画素」カラムにおいてＲＧＢ値（203, 200, 200）のデータ値を有するレコードにおける「送液モード」カラムのデータ値は「低圧グラジエント溶出」であるから、復号化部４３は、送液モードは低圧グラジエント溶出モードであると特定する。

【0053】

次に、操作支援実行部４４が送液モードに応じた処理を実行する（ステップＳ２０７）。具体的には、データベース４５に格納されている、所定の情報と処理とが紐付けられた不図示の操作支援処理対応テーブルを参照し、復号化部４３が特定した送液モードと紐付けられている処理を実行する。ステップＳ２０６にて送液モードは低圧グラジエント溶出モードであると特定された。ここでは例として、グラジエントタイムプログラム設定画面を表示するよう、分析制御プログラム２１に対しメッセージを送信する。本ステップの結果としてグラジエントタイムプログラム設定画面６００が表示された状態を図６に示す。別の例として、適用中の送液モードをユーザに通知する説明文等のＧＵＩを画面上に表示してもよい。

【0054】

以上で検索・操作支援処理は終了となる。なお、分析制御プログラム２１が複数の識別ヘッダ及び符号画像を同時に埋め込み可能である場合には、ステップＳ２０７の後にステップＳ２０２に戻り検索を続ける構成とすればよい。

【0055】

以上説明した処理により、操作支援プログラム２２はモニタ１４の画面を検索して識別ヘッダ２１０を検出すると、識別ヘッダ２１０との規定の位置関係に基づいて第４画素２２０を検出する。そして、検出した第４画素のＲＧＢ値から符号化部３４が符号化した送液モードを特定し、該特定した送液モードと紐付けられた所定の処理（例えばＧＵＩの表示等）を実行することで、分析制御プログラム２１のユーザの操作を支援することができる。

【0056】

上述した符号画像埋め込み処理と検索・操作支援処理との組み合わせにより、さらに次のような効果が得られる。すなわち、例えば第４画素２２０のように１又は複数の画素のＲＧＢ値として情報が符号化されている場合、操作支援プログラム２２が符号画像を直接に検出するには、符号画像の取りうるＲＧＢ値ごとに検索対象画素との一致判定を行わなければならない。このような方法は処理負荷が大きい上に、符号画像の画素数が少ない場合には無関係の画素を符号画像として誤検出する危険性が高くなることから現実的ではない。これに対し本実施形態では、符号化される情報に対して不変の識別ヘッダ２１０によって符号画像の位置が規定されるため、操作支援プログラム２２はこの識別ヘッダ２１０を検出しさえすればよく、つまり１の画像についての検索によって高精度に符号画像を検出することができる。また、ＱＲコードを符号画像とする場合についても、複数行に亘るＱＲコードと完全に一致する画像を検索する処理よりも、識別ヘッダ２１０のような１行内の画素の連なりを検出する処理の方が計算量は少なく抑えられる。従って、本実施形態によれば画像の検索に掛かるコンピュータの処理負荷が軽減される。

【0057】

上述では説明の簡略化のため、分析制御プログラム２１が送液モードのみを第４画素２２０のＲＧＢ値として符号化し、操作支援プログラム２２がこれを復号化して所定の設定画面を表示する構成について説明を行った。応用例として、分析制御プログラム２１が送液モードと現在のポンプの流速値との両方をＱＲコードとして符号化しておき、これを復号化した操作支援プログラム２２が上記流速値を「初期濃度」として入力した状態でグラジエントタイムプログラム設定画面６００（図６参照）を表示させてもよい。

【0058】

〔第２の実施形態〕
図７〜図１１を参照して、本発明の第２の実施形態に係る分析制御装置１について説明する。本実施形態に係る分析制御装置１の機能ブロック構成は上記第１の実施形態と同様であるが、表示制御部３５が表示させる識別ヘッダの態様、及びヘッダ検出部４１による検索方法が異なる。

【0059】

図７に、本実施形態において表示制御部３５がモニタ１４の画面上に埋め込む識別ヘッダの一例を示す。識別ヘッダ７１０は、第１画素Ｐ_１から第Ｎ画素Ｐ_ＮまでのＮ個の画素（第１画素群）が全て同じＲＧＢ値を有し、第Ｎ＋１画素Ｐ_Ｎ＋１から第Ｎ＋ａ画素Ｐ_Ｎ＋ａまでのａ個の画素（第２画素群）は直前のＮ個の画素とは異なるＲＧＢ値を有する。Ｎの値は３以上とし、ａの値は１以上の任意の数である。なお、同図では識別ヘッダ７１０は１行の画素の連なりとして示されているが、複数行に亘る画像であってもよく、その先頭行において図に示すような配列を有していればよい。それぞれのＲＧＢ値の具体的な値については上記第１の実施形態における識別ヘッダ２１０の各画素と同様、埋め込み位置において隣接する画素に対する色差がごく僅かとなるよう設定される。本実施形態における符号画像埋め込み処理の流れは上記第１の実施形態と同様である（図４参照）。

【0060】

〔検索・操作支援処理の流れ〕
次に、フローチャートである図８及び図９を参照しつつ、本実施形態の操作支援プログラム２２による検索・操作支援処理の流れについて説明を行う。検索・操作支援処理が開始されるタイミングについては、上記第１の実施形態における検索・操作支援処理と同様とする。

【0061】

まず、ヘッダ検出部４１が行内の画素を検索する（ステップＳ３０１）。具体的には、モニタ１４の画面のキャプチャ画像について第１行第Ｎ列の画素（N, 1）のＲＧＢ値を参照する。キャプチャ画像のサイズは幅Ｘ画素、高さＹ画素とし、符号画像のサイズは幅Ｗ画素、高さＨ画素とする。

【0062】

ヘッダ検出部４１は行内を右方向に検索しながら画素のＲＧＢ値を参照し（ステップＳ３０２）、直前の画素からＲＧＢ値が変化したか否かを判定する（ステップＳ３０４）。この判定は、画素を１列進めるごとにメモリ領域にあるデータを比較する関数（以下、メモリ比較関数と称する）を実行し、直前の画素のデータとＲＧＢ値を比較することでなされる。同じＲＧＢ値が連続していれば（ステップ３０４でＮｏ）、ステップＳ３０２に戻り検索を続ける。なお、ステップＳ３０２の結果検索対象画素がキャプチャ画像の右端からＷ＋ａ画素手前の位置から右にはみ出す場合は（ステップＳ３０３でＹｅｓ）、ＲＧＢ値の変化の有無を判定せず検索対象を次の行の第Ｎ列に移し（ステップＳ３０８）、ステップＳ３０２に戻り検索を続ける。ステップＳ３０８によって検索対象行がキャプチャ画像の下端行からＨ−１行手前の行から下にはみ出す場合は（ステップＳ３０９でＹｅｓ）、符号画像を検出し得る画面範囲の検索が終了したことを意味するため、検索・操作支援処理は終了となる。

【0063】

ここで、ステップＳ３０４において判定するのは、検索対象画素のＲＧＢ値が直前の画素から変化したか否かのみであり、識別ヘッダ７１０の第Ｎ＋１画素ＰＮ＋１のＲＧＢと一致するか否かは判定条件に含まれないことに留意されたい。直前の画素からのＲＧＢ値の変化が検出されると（ステップＳ３０４でＹｅｓ）、続いてヘッダ検出部４１は、検索対象画素が識別ヘッダ７１０の第Ｎ＋１画素Ｐ_Ｎ＋１であるか否かを判定する（ステップＳ３０５）。具体的には、ヘッダ検出部４１は、現在の検索対象画素（x, y）を識別ヘッダ７１０の第Ｎ＋１画素Ｐ_Ｎ＋１であると仮定し、（x - N, y）から（x + a - 1, y）までのＮ＋ａ個の画素の連なりが識別ヘッダ７１０と一致するか否かを判定する。この判定は、上記Ｎ＋ａ個の連続する画素についてメモリ比較関数を実行し、これが識別ヘッダ７１０と一致するか否かを判定することでなされる。識別ヘッダ７１０が複数行に亘る画像である場合は、先頭行について一致が見られれば行を１進めて同様のメモリ比較関数を実行していく形で、識別ヘッダ７１０の全ての行について一致の判定を行う。なお、連続する複数の画素についてのメモリ比較関数は、ステップＳ３０４における単一画素単位のメモリ比較関数と処理負荷上の大きな差異はない。

【0064】

上記の処理をより概念的に換言すれば、ヘッダ検出部４１は、直前の画素からＲＧＢ値が変化した画素を識別ヘッダ７１０の第Ｎ＋１画素Ｐ_Ｎ＋１と仮定して、該仮定を検証する形で検索を行う。
すなわち、ステップＳ３０１及びＳ３０８にて第Ｎ列の画素から検索を開始する理由は、第１列から第Ｎ−１列までの画素からＲＧＢ値が変化する画素は第Ｎ＋１画素Ｐ_Ｎ＋１の候補となり得ないためである。識別ヘッダ７１０がキャプチャ画像の左端から開始すると仮定した場合、第Ｎ＋１画素Ｐ_Ｎ＋１は第Ｎ列の画素とＲＧＢ値が異なる第Ｎ＋１列の画素として検出されるので、第Ｎ−１列以前の画素との比較は不要であることが分かる。従って、第Ｎ画素ＰＮの位置として考えられる最左端の列である第Ｎ列から検索を開始することとなる。

【0065】

（x - N, y）から（x + a - 1, y）までのＮ＋ａ個の画素の連なりが識別ヘッダ７１０と一致した場合（ステップＳ３０５でＹｅｓ）、該判定結果は識別ヘッダ７１０が検出されたことを意味する。従って、検索・操作支援処理は図９に示すステップＳ４０１に移行する。
まず、符号画像検出部４２が符号画像を検出する（ステップＳ４０１）。具体的には、識別ヘッダ７１０に対して所定の相対位置にある（例えば第Ｎ＋ａ画素Ｐ_Ｎ＋ａの直後の画素を左上端とする）幅Ｗ画素、高さＨ画素の画像を符号画像と認識する。
次に、復号化部４３が符号画像を復号化して分析パラメータを特定する（ステップＳ４０２）。具体的には、データベース４５に格納されている符号対応テーブルを参照し、符号画像検出部４２が検出した符号画像と紐付けられている分析パラメータを特定する。又は、所定の復号化アルゴリズムを用いて分析パラメータを特定してもよい。本ステップの具体例の一つとして、上記第１の実施形態にて説明したステップＳ２０６が挙げられる。
次に、操作支援実行部４４が分析パラメータに応じた処理を実行する（ステップＳ４０３）。具体的には、データベース４５に格納されている、所定の情報と処理とが紐付けられた不図示の操作支援処理対応テーブルを参照し、復号化部４３が特定した分析パラメータと紐付けられている処理を実行する。本ステップの具体例の一つとして、上記第１の実施形態にて説明したステップＳ２０７が挙げられる。
ステップＳ３０５において識別ヘッダが検出された場合、検索・操作支援処理は以上で終了となる。上記第１の実施形態と同様、ステップＳ４０３の後にステップＳ３０２に戻り検索を続ける構成としてもよい。

【0066】

再び図８を参照されたい。（x - N, y）から（x + a - 1, y）までのＮ＋ａ個の画素の連なりが識別ヘッダ７１０と一致しなかった場合（ステップＳ３０５でＮｏ）、ヘッダ検出部４１は、検索対象画素をＮ−１列進め（ステップＳ３０６）、検索対象画素がキャプチャ画像の右端からＷ＋ａ画素手前の位置から右にはみ出していなければ（ステップＳ３０７でＮｏ）、ステップＳ３０２に戻り検索を続ける。ステップＳ３０６の結果検索対象画素がキャプチャ画像の右端からＷ＋ａ画素手前の位置から右にはみ出す場合は（ステップＳ３０７でＮｏ）、ステップＳ３０８に移行し、次の行の第Ｎ列の画素から検索を行う。

【0067】

ステップＳ３０６において検索対象画素をＮ−１列進める理由は、直後の画素（x + 1, y）から（x + N - 1, y）までのＮ−１個の画素は識別ヘッダ７１０の第Ｎ＋１画素Ｐ_Ｎ＋１ではあり得ないためである。図１０に具体例を示して説明する。同図ではＮ＝５、ａ＝１とした。ヘッダ検出部４１は、図中白矢印の方向に行内を検索している。いま、ステップＳ３０４において直前の画素１０００からＲＧＢ値が変化したと判定された検索対象画素１００１について、ステップＳ３０５において識別ヘッダ７１０の第Ｎ＋１画素Ｐ_Ｎ＋１ではないとの判定結果が得られた。この場合に第Ｎ＋１画素Ｐ_Ｎ＋１が検索対象画素１００１から最も近い状況は、同図に示すように検索対象画素１００１が識別ヘッダ７１０の第１画素Ｐ_１であった場合である。従って、ステップＳ３０１及びＳ３０８にて第Ｎ列の画素から検索を開始する理由と同様の理由により、現在の検索対象行における第Ｎ画素Ｐ_Ｎの位置として考えられる最左端の画素であるＮ−１列先の画素１００２から検索を再開することとなる。なお、同図には符号画像の一例として識別ヘッダ７１０の直後の画素１０２０を示してあるが、符号画像が単一の画素に限定されないことは上述のとおりである。

【0068】

以上説明した処理によれば、ヘッダ検出部４１は、行内で連続する２画素のＲＧＢ値が異なる場合に、２つのうち後方にある画素を識別ヘッダ７１０の第Ｎ＋１画素Ｐ_Ｎ＋１と仮定して該仮定を検証し、検証結果が否であれば検索対象画素をＮ列進めて検索を再開する。すなわち、第Ｎ＋１画素Ｐ_Ｎ＋１の候補とした画素が第Ｎ＋１画素Ｐ_Ｎ＋１ではなかった場合にＮ−１個の画素について検索をスキップすることができる。これにより処理負荷はさらに軽減される。なお、画面内の画素のＲＧＢ値が不均一であればスキップの機会が増え、またＮの値が大きければスキップされる画素の数が多くなり、処理効率の向上に寄与する。

【0069】

本実施形態による処理負荷の軽減率について具体的に説明する。識別ヘッダ７１０がキャプチャ画像中に検出されず、画面全体を検索する状況を想定し、検索における処理負荷増大の主要因となるメモリ比較関数の実行回数を、本実施形態を使用しない場合と使用した場合とで比較する。ここでの「本実施形態を使用しない場合」とは、上記第１の実施形態のように、画面上の画素を１つずつ検索し、識別ヘッダと完全に一致する画像を検索する手法を採る場合である。

【0070】

キャプチャ画像のサイズを幅Ｘ画素、高さＹ画素とし、識別ヘッダ７１０と符号画像との両方を含む矩形領域のサイズを幅Ｗｑ、高さＨｑ画素とする。また、キャプチャ画像上で行方向に連続する画素においてＲＧＢ値が異なる割合をＰ（％）とする。このとき、本実施形態を使用しない場合の処理負荷Ｑ１は、以下の式（３）で表される。
Q1 = (X - Wq) * (Y - Hq) …（３）
Ｗｑ及びＨｑをそれぞれ減算するのは、識別ヘッダ７１０又は符号画像が画面外にはみ出ている場合を除外するためである。
一方、本実施形態を使用した場合の処理負荷Ｑ２は、以下の式（４）で表される。
Q2 = {(100 - P) + P * 2 / N} * (X - Wq) * (Y - Hq) / 100
…（４）
上記式（３）及び（４）から分かるように、Ｐの値が０のとき、すなわちキャプチャ画像中の全画素が均一のＲＧＢ値を有するときには、本実施形態による処理負荷の軽減は発生しない。しかし実際の使用上そのような状況はまず考えられず、Ｐは２０〜９０の値をとると考えられる。

【0071】

図１１に、本実施形態を使用した場合の識別ヘッダ７１０の検索に要する処理負荷を示す。本実施形態を使用しない場合の処理負荷を１とした値を示してある。同図に示すとおり、Ｐの値が大きいほど、またＮの値が大きいほど処理負荷が軽減される。

【0072】

〔第３の実施形態〕
図１２〜図１６を参照して、本発明の第３の実施形態に係る分析制御装置１について説明する。本実施形態に係る分析制御装置１の機能ブロック構成は上記第１の実施形態と同様であるが、表示制御部３５が表示させる識別ヘッダの態様、及びヘッダ検出部４１による検索方法については上記第２の実施形態にさらなる変更が加えられている。

【0073】

図１２に、本実施形態において表示制御部３５がモニタ１４の画面上に埋め込む識別ヘッダの一例を示す。識別ヘッダ１２１０は、第１画素Ｐ_１から第Ｎ画素Ｐ_ＮまでのＮ個の画素（第１画素群）が全て同じＲＧＢ値を有し、第Ｎ＋１画素Ｐ_Ｎ＋１から第Ｎ＋Ｍ画素Ｐ_Ｎ＋ＭまでのＭ個の画素（第２画素群）は直前のＮ個の画素とは異なるＲＧＢ値（Mr, Mg, Mb）を有する。Ｎの値は３以上とし、Ｍの値はＮより大きい数とする。上記第２の実施形態と同様、識別ヘッダ１２１０は複数行に亘る画像であってもよい。本実施形態における符号画像埋め込み処理の流れは上記第１の実施形態と同様である（図４参照）。それぞれのＲＧＢ値の具体的な値については上記第１の実施形態における識別ヘッダ２１０の各画素と同様、埋め込み位置において隣接する画素との色差がごく僅かとなるよう設定される。

【0074】

ただし、上記Ｍ個の画素のＲＧＢ値（Mr, Mg, Mb）は、モニタ１４の画面上であまり使用されない値とすることが好ましい。例えば、Mr＝Mg＝Mbが成立する色はWindows（登録商標）上で使用されることが多い一方、Mr≠Mg、Mg≠Mb、Mb≠Mrが成立する色はあまり使用されないため、後者の３式を満たすようなＲＧＢ値を割り当てる。

【0075】

〔検索・操作支援処理の流れ〕
次に、フローチャートである図１３及び図１４を参照しつつ、本実施形態の操作支援プログラム２２による検索・操作支援処理の流れについて説明を行う。検索・操作支援処理が開始されるタイミングについては、上記第１の実施形態における検索・操作支援処理と同様とする。

【0076】

図１３に示すステップＳ５０１〜Ｓ５０３、Ｓ５０５〜Ｓ５０９における処理は上記第２の実施形態にて図８を参照して説明したステップＳ３０１〜Ｓ３０３、Ｓ３０５〜Ｓ３０９と同様である。ステップＳ５０３及びＳ５０７においてはａがＭに置き換えられているが、これは識別ヘッダ７１０、１２１０における第Ｎ＋１画素Ｐ_Ｎ＋１以降の画素の数の違いによるものである。その他の各ステップにおいても、ａはＭに置換されるものとする。

【0077】

ステップＳ５０４についても判定処理の内容についてはステップＳ３０４と同様である。ただし本実施形態では、直前の画素からＲＧＢ値が変化していないと判定されたとき（ステップ５０４でＮｏ）、すなわち同じ色の画素が連続しているときに、ヘッダ検出部４１はそのまま次の画素を検索するのではなく、図１４に示すステップＳ６０１に移行する。

【0078】

同色の画素が連続した場合、ヘッダ検出部４１は検索対象画素をＭ列進める（ステップＳ６０１）。そして現在の検索対象画素のＲＧＢ値が第Ｎ＋１画素Ｐ_Ｎ＋１から第Ｎ＋Ｍ画素Ｐ_Ｎ＋ＭまでのＭ個の画素と一致するか否かを判定する（ステップＳ６０２）。具体的には、ステップＳ５０４の時点での検索対象画素と（x, y）としたとき、（x + M, y）のＲＧＢ値が（Mr, Mg, Mb）であるか否かを判定する。一致する場合（ステップＳ６０２でＹｅｓ）、検索対象画素をＭ列戻し（ステップＳ６０４）、すなわち（x, y）に戻り、ステップＳ５０２に戻って検索を続ける。

【0079】

ステップＳ６０１において検索対象画素をＭ列進めた先の画素（x + M, y）のＲＧＢ値が、識別ヘッダ１２１０外で使用される可能性が低い（Mr, Mg, Mb）である場合、当該画素（x + M, y）は識別ヘッダ１２１０の上記Ｍ個の画素の１つである可能性が極めて高い。このとき、画素（x, y）の後方の近い位置に識別ヘッダ１２１０の第Ｎ＋１画素Ｐ_Ｎ＋１が存在すると考えられるため、ステップＳ６０４において検索対象画素を（x, y）に戻す。すなわち、本実施形態では、ヘッダ検出部４１は、同じＲＧＢ値を有する画素が２個連続したとき、これら２個の画素を識別ヘッダ１２１０の第１画素Ｐ_１及び第２画素Ｐ_２又はこれらの周辺の画素と仮定し、該仮定を検証する形で検索を行う。

【0080】

一方、検索対象画素のＲＧＢ値が（Mr, Mg, Mb）ではなかった場合（ステップＳ６０２でＮｏ）、ヘッダ検出部４１は検索対象画素をＮ列戻し（ステップＳ６０３）、すなわち（x + M - N, y）を検索対象画素とし、ステップＳ５０２に戻り検索を続ける。

【0081】

ステップＳ６０２の判定結果が否であるときに（x, y）の後方Ｍ−Ｎ−１個の画素を検索対象画素としない理由は、これらの画素が識別ヘッダ１２１０に含まれる画素の候補となり得ないためである。図１５に具体例を示して説明する。同図ではＮ＝３、Ｍ＝６とした。ヘッダ検出部４１は、図中白矢印の方向に行内を検索している。いま、ステップＳ５０４において直前の画素１５００とＲＧＢ値が同一であると判定された検索対象画素１５０１から６列進んだ画素１５０２について、ステップＳ６０２においてＲＧＢ値が（Mr, Mg, Mb）と一致しないとの判定結果が得られた。この場合に識別ヘッダ１２１０の上記Ｍ個の画素の先頭、すなわち第Ｎ＋１画素Ｐ_Ｎ＋１が検索対象画素１５０２から最も近い状況は、同図に示すように検索対象画素１５０２が識別ヘッダ１２１０の第Ｎ画素Ｐ_Ｎであった場合である。このとき、識別ヘッダ１２１０の直前に位置する画素は検索対象画素１５０２の３列手前の画素１５０３である。従って、検索対象画素をＮ列戻すことで画素１５０３に移動すれば、直後の画素１５０４（すなわち第１画素Ｐ_１）が画素１５０３とＲＧＢ値が異なる場合に（ステップＳ５０４でＹｅｓ）、ステップＳ５０５〜Ｓ５０６によって検索対象画素が識別ヘッダ１２１０の第Ｎ画素Ｐ_Ｎに移動し、ステップＳ５０２〜Ｓ５０５によって直後の第Ｎ＋１画素Ｐ_Ｎ＋１が検出されることとなる。なお、同図には符号画像の一例として識別ヘッダ１２１０の直後の画素１５２０を示してあるが、符号画像が単一の画素に限定されないことは上述のとおりである。

【0082】

以上説明した処理によれば、ヘッダ検出部４１は、上記第２の実施形態の構成に加えてさらに、同一のＲＧＢ値を有する画素が行内で２個連続した場合、これら２画素を識別ヘッダ１２１０の第１画素Ｐ_１及び第２画素Ｐ_２又はこれらの周辺の画素と仮定する。そして、これら２画素のうち後方にある画素から検索対象をＭ列先の画素に進め、当該画素のＲＧＢ値が識別ヘッダ１２１０の第Ｎ＋１画素Ｐ_Ｎ＋１から第Ｎ＋Ｍ画素Ｐ_Ｎ＋ＭまでのＭ個の画素のＲＧＢ値と一致するか否かを判定する。一致する場合は現在の位置からＭ−１列手前、すなわち元の位置の直後の画素に戻って検索を続け、一致しない場合は現在の位置からＮ−１列だけ手前に戻って、すなわち元の位置からＭ−Ｎ＋１列進んで検索を続ける。すなわち、上記２画素の後方において近い位置に識別ヘッダ１２１０がないと判断されれば、Ｍ−Ｎ個の画素について検索をスキップすることができる。これにより処理負荷はさらに軽減される。また、ＭとＮの差が大きければスキップされる画素の数が多くなり、処理効率の向上に寄与する。

【0083】

本実施形態による処理負荷の軽減率について具体的に説明する。比較方法については上記第の実施形態と同様であり、本実施形態を使用しない場合の処理負荷Ｑ１は式（３）で表される。一方、本実施形態を使用した場合の処理負荷Ｑ３は、以下の式（５）で表される。
Q3 = {(100 - P) * 2 / (M - N) + P * 2 / N} * (X - Wq) * (Y - Hq) / 100 …（５）

【0084】

図１６に、本実施形態を使用した場合の識別ヘッダ１２１０の検索に要する処理負荷を示す。本実施形態を使用しない場合の処理負荷を１とした値を示してある。簡便のためＭ＝２Ｎとした。この場合はＰの値によらず処理負荷の軽減率は一定となる。なお、式（４）及び（５）によれば、Ｍ＝Ｎ＋２のときＱ３はＱ２に等しいので、上記第２の実施形態からさらに軽減率を向上させるためにはＮ＋２＜Ｍとすればよい。

【0085】

ここで、識別ヘッダ１２１０の形状ごとの処理効率についていくつかの具体例を示す。例えば、幅２０画素、高さ２０画素の画像を識別ヘッダ１２１０とした場合には、本実施形態を使用しない場合の３０％程度に処理負荷が抑えられる。また、行内で連続する６０個の画素の連なりを識別ヘッダ１２１０とした場合には、処理負荷は本実施形態を使用しない場合の１０％程度に抑えられる。識別ヘッダ１２１０の幅Ｎ＋Ｍの増大に伴い処理効率は向上するが、高さの増大は処理効率の向上に寄与しない。これは、ヘッダ検出部４１による検索が行方向の走査であることによる。

【0086】

〔変形例〕
上述の各実施形態では、操作支援プログラム２２は分析制御プログラム２１とともに使用されることを前提とし、識別ヘッダの各画素のＲＧＢ値は操作支援プログラム２２にとって既知であった。しかしながら、操作支援プログラム２２が多様なソフトウェアを対象とする場合には、次のような構成とすることも有用であろう。
例えば、符号画像及び識別ヘッダに割り当てられたＲＧＢ値が既知でない場合、ヘッダ検出部４１は、ほぼ全ての画素が均一なＲＧＢ値（以下、背景色と称する）を有する所定サイズの領域中で、予め定められた色差を有する画素群を検出したときにこれを識別ヘッダとして検出してもよい。具体的には、図３に示す例であれば、背景色が（R, G, B）である所定の領域において、ＲＧＢ値が（R + 1, G, B）、（R - 1, G, B）、（R + 2, G, B）と連続する３画素を検出した場合に、これを識別ヘッダ２１０として認識する。第４画素２２０についても、背景色からの差分値に基づき情報を復号化する構成とすればよい。符号画像がＱＲコードである場合には、該ＱＲコードを構成する画素と背景色との差分を予め定めておけばよい。このように構成すれば、各画素の背景色との色差と、色差と符号化された情報との対応関係が既知であれば、様々なＵＩ（User Interface）デザインに対応してユーザの操作を支援することが可能となる。

【0087】

なお、上述した各実施形態及び変形例は本発明の例であり、本発明の趣旨の範囲で適宜に変更、修正、追加、組み合わせを行っても本願特許請求の範囲に包含されることは当然である。
例えば、上述の各実施形態においては、識別ヘッダを符号画像の左上端の直前に付する構成について説明を行ったが、符号画像の左下端の直前、若しくは右上端又は右下端の直後に識別ヘッダを付してもよい。また、複数種類の識別ヘッダがモニタ１４の画面上に同時に表示されてもよく、ヘッダ検出部４１がこれらをそれぞれ検出する構成としてもよい。

【符号の説明】

【0088】

１…分析制御装置
２１…分析制御プログラム
２２…操作支援プログラム
３４…符号化部
３５…表示制御部
４１…ヘッダ検出部
４２…符号画像検出部
４３…復号化部
４４…操作支援実行部
２１０、７１０、１２１０…識別ヘッダ
２２０…第４画素
１０２０、１５２０…符号画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】