(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024061181
(43)【公開日】2024-05-07
(54)【発明の名称】画像処理装置、画像処理方法およびプログラム
(51)【国際特許分類】
G06T 1/20 20060101AFI20240425BHJP
【FI】
G06T1/20
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022168955
(22)【出願日】2022-10-21
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】小松 幸広
【テーマコード(参考)】
5B057
【Fターム(参考)】
5B057CE10
5B057CH11
5B057CH20
(57)【要約】
【課題】処理漏れが抑制される画像処理装置を提供する。
【解決手段】画像処理装置は、並列して処理フローを実行する第1処理部および第2処理部と、第1処理部によって実行される第1処理フローおよび第2処理部によって実行される第2処理フローの各々に含まれる1以上の処理項目を設定する設定部と、を備える。第2処理フローとの連係のための第1処理項目が第1処理フローの中に設定されたことに応じて、第1処理部は、第1処理項目に従って、第2処理部に対してトリガを発行する。第2処理部は、トリガを受け付けたことに応じて、第1処理フローの実行によって得られた処理済画像に対して第2処理フローを実行する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
画像処理装置であって、
並列して処理フローを実行する第1処理部および第2処理部と、
前記第1処理部によって実行される第1処理フローおよび前記第2処理部によって実行される第2処理フローの各々に含まれる1以上の処理項目を設定する設定部と、を備え、
前記第2処理フローとの連係のための第1処理項目が前記第1処理フローの中に設定されたことに応じて、前記第1処理部は、前記第1処理項目に従って、前記第2処理部に対してトリガを発行し、
前記第2処理部は、前記トリガを受け付けたことに応じて、前記第1処理フローの実行によって得られた処理済画像に対して前記第2処理フローを実行する、画像処理装置。
【請求項2】
共有メモリをさらに備え、
前記第1処理部は、前記第1処理項目に従って、さらに前記処理済画像を前記共有メモリに格納し、
前記第1処理フローとの連係のための第2処理項目が前記第2処理フローの中に設定されたことに応じて、前記第2処理部は、前記第2処理項目に従って、前記共有メモリから前記処理済画像を読み出す、請求項1に記載の画像処理装置。
【請求項3】
前記第1処理フローは、撮像装置によって連続して撮像された複数の画像を合成することにより得られる合成画像を前記処理済画像として生成する、請求項1または2に記載の画像処理装置。
【請求項4】
前記設定部は、前記第1処理フローの中に、
撮像装置から、対象物の一部が写る部分画像を取得する第3処理項目と、
合成画像が存在しない場合に、前記部分画像を前記合成画像として生成し、前記合成画像が存在する場合に、前記合成画像に前記部分画像を合成することにより前記合成画像を更新する第4処理項目と、
前記部分画像の取得回数が規定回数に到達したという条件を満たすか否かを判定する第5処理項目と、をさらに設定し、
前記第1処理項目は、前記条件が満たされたことに応じて実行されるように設定され、
前記第1処理部は、前記第1処理項目に従って、さらに、前記合成画像を前記処理済画像として出力する、請求項1または2に記載の画像処理装置。
【請求項5】
前記第1処理フローの実行状況を示す第1画面と、前記第2処理フローの実行状況を示す第2画面とのいずれか一方または両方を提供する提供部をさらに備える、請求項1または2に記載の画像処理装置。
【請求項6】
並列して処理フローを実行する第1処理部および第2処理部を有する画像処理装置における画像処理方法であって、
前記第1処理部によって実行される第1処理フローおよび前記第2処理部によって実行される第2処理フローの各々に含まれる1以上の処理項目を設定するステップと、
前記第2処理フローとの連係のための連係処理項目が前記第1処理フローの中に設定されたことに応じて、前記第1処理部が、前記連係処理項目に従って、前記第2処理部に対してトリガを発行するステップと、
前記第2処理部が、前記トリガを受け付けたことに応じて、前記第1処理フローの実行によって得られた処理済画像に対して前記第2処理フローを実行するステップと、を備える、画像処理方法。
【請求項7】
並列して処理フローを実行する第1処理部および第2処理部を有するコンピュータに、
前記第1処理部によって実行される第1処理フローおよび前記第2処理部によって実行される第2処理フローの各々に含まれる1以上の処理項目を設定するステップと、
前記第2処理フローとの連係のための連係処理項目が前記第1処理フローの中に設定されたことに応じて、前記第1処理部が、前記連係処理項目に従って、前記第2処理部に対してトリガを発行するステップと、
前記第2処理部が、前記トリガを受け付けたことに応じて、前記第1処理フローの実行によって得られた処理済画像に対して前記第2処理フローを実行するステップと、を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
FA(Factory Automation)分野などにおいて、対象物の写る画像を用いた処理フローを実行することにより、対象物の表面の欠陥や汚れの有無の検査、大きさなどの計測、文字や図形などの認識などを行なう画像処理装置が実用化されている。このような画像処理装置では、対象物の種類および処理内容に応じて、処理フローに含まれる処理項目が設定される(例えば、特開2011-53787号公報(特許文献1)参照)。
【0003】
特開2005-274325号公報(特許文献2)には、長手方向に搬送される鋼板を経時的に異なる2以上の時刻において撮像することにより得られる複数の部分画像を合成して検査画像を作成し、検査画像を用いて鋼板の表面欠陥を検査する欠陥検査方法が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2011-53787号公報
【特許文献2】特開2005-274325号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献2に開示の欠陥検査方法を特許文献1に開示の画像処理装置を用いて行なう場合、部分画像を取得する処理項目、複数の部分画像を合成して検査画像を作成する処理項目、検査画像を用いて表面欠陥を検査する処理項目を順に実行する処理フローが設定される。このような処理フローを実行する場合、検査画像を用いて表面欠陥を検査する処理項目が実行されている間、部分画像を取得する処理項目および検査画像を作成する処理項目が実行されない。そのため、搬送中の鋼板において、処理漏れの領域(言い換えると、検査できない領域)が生じ得る。
【0006】
本開示は、上記の問題に鑑みてなされたものであり、その目的は、処理漏れが抑制される画像処理装置、画像処理方法およびプログラムを提供することである。
【課題を解決するための手段】
【0007】
本開示の一例によれば、画像処理装置は、並列して処理フローを実行する第1処理部および第2処理部と、第1処理部によって実行される第1処理フローおよび第2処理部によって実行される第2処理フローの各々に含まれる1以上の処理項目を設定する設定部と、を備える。第2処理フローとの連係のための第1処理項目が第1処理フローの中に設定されたことに応じて、第1処理部は、第1処理項目に従って、第2処理部に対してトリガを発行する。第2処理部は、トリガを受け付けたことに応じて、第1処理フローの実行によって得られた処理済画像に対して第2処理フローを実行する。
【0008】
この開示によれば、処理済画像に対して第2処理部が第2処理フローを実行している間、第1処理部は、次の第1処理フローを実行できる。これにより、処理漏れが抑制される。
【0009】
上述の開示において、画像処理装置は、共有メモリをさらに備える。第1処理部は、第1処理項目に従って、さらに処理済画像を共有メモリに格納する。第1処理フローとの連係のための第2処理項目が第2処理フローの中に設定されたことに応じて、第2処理部は、第2処理項目に従って、共有メモリから処理済画像を読み出す。
【0010】
この開示によれば、共通メモリを用いることにより、第1処理部と第2処理部との間の処理済画像の受け渡しが容易に実現される。
【0011】
上述の開示において、第1処理フローは、撮像装置によって連続して撮像された複数の画像を合成することにより得られる合成画像を処理済画像として生成する。
【0012】
あるいは、上述の開示において、設定部は、第1処理フローの中に、撮像装置から、対象物の一部が写る部分画像を取得する第3処理項目と、合成画像が存在しない場合に、部分画像を合成画像として生成し、合成画像が存在する場合に、合成画像に部分画像を合成することにより合成画像を更新する第4処理項目と、部分画像の取得回数が規定回数に到達したという条件を満たすか否かを判定する第5処理項目と、をさらに設定する。第1処理項目は、条件が満たされたことに応じて実行されるように設定される。第1処理部は、第1処理項目に従って、さらに、合成画像を処理済画像として出力する。
【0013】
撮像装置が撮像する対象物は、長尺状であり、長手方向に沿って繰り返される繰り返し単位を有するものがある。これらの開示によれば、例えば、第1処理部は、第1処理フローを実行することにより、繰り返し単位に対応する合成画像を処理済画像として生成できる。そして、第2処理部が処理済画像に対して第2処理フローを実行している間、第1処理部は、次の繰り返し単位に対応する合成画像を処理済画像として生成できる。これにより、全ての繰り返し単位に対応する合成画像が生成され、当該合成画像に対して第2処理フローが実行される。その結果、長尺状の対象物であっても、処理漏れが抑制される。
【0014】
上述の開示において、画像処理装置は、第1処理フローの実行状況を示す第1画面と、第2処理フローの実行状況を示す第2画面とのいずれか一方または両方を提供する提供部をさらに備える。
【0015】
この開示によれば、ユーザは、第1処理フローおよび第2処理フローのうちの一方の実行状況を確認したい場合、当該一方のフローに対応する画面のみを見ればよい。これにより、所望の処理項目の実行状況を確認しやすくなる。
【0016】
本開示の一例によれば、並列して処理フローを実行する第1処理部および第2処理部を有する画像処理装置における画像処理方法は、第1~第3のステップを備える。第1のステップは、第1処理部によって実行される第1処理フローおよび第2処理部によって実行される第2処理フローの各々に含まれる1以上の処理項目を設定するステップである。第2のステップは、第2処理フローとの連係のための連係処理項目が第1処理フローの中に設定されたことに応じて、第1処理部が、連係処理項目に従って、第2処理部に対してトリガを発行するステップである。第3のステップは、第2処理部が、トリガを受け付けたことに応じて、第1処理フローの実行によって得られた処理済画像に対して第2処理フローを実行するステップである。
【0017】
本開示の一例によれば、プログラムは、並列して処理フローを実行する第1処理部および第2処理部を有するコンピュータに、上記の第1~第3のステップを実行させる。これらの開示によっても、処理漏れが抑制される。
【発明の効果】
【0018】
本開示によれば、処理漏れが抑制される画像処理装置、画像処理方法およびプログラムを提供できる。
【図面の簡単な説明】
【0019】
【
図1】実施の形態に係る画像処理装置を適用した場面の一例を示す図である。
【
図2】実施の形態に係る画像処理装置を含む画像処理システムの全体構成の一例を示す図である。
【
図3】複数の部分画像から合成画像を生成する方法の一例を示す図である。
【
図4】実施の形態に係る画像処理装置のハードウェア構成を示す模式図である。
【
図5】画像処理装置の機能構成の一例を示す図である。
【
図6】処理フローの作成および編集を支援する設定画面の一例を示す図である。
【
図8】
図7に示す処理フローの実行状況を示す画面の一例を示す図である。
【
図9】第1処理フローおよび第2処理フローの実施例を示す図である。
【
図10】
図9に示す第1処理フローおよび第2処理フローに従った第1処理部および第2処理部による処理の経時変化を示す図である。
【
図11】第1処理フローの実行状況を示す画面の一例を示す図である。
【
図12】第2処理フローの実行状況を示す画面の一例を示す図である。
【
図13】変形例に係る画像処理システムの全体構成を示す図である。
【発明を実施するための形態】
【0020】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。以下で説明される各変形例は、適宜選択的に組み合わされてもよい。
【0021】
§1 適用例
図1は、実施の形態に係る画像処理装置を適用した場面の一例を示す図である。画像処理装置100は、例えば生産現場に設置され、対象物の検査、サイズの計測、文字等の認識などのための画像処理を行なう。
【0022】
図1に示されるように、画像処理装置100は、並列して処理フローを実行する第1処理部11および第2処理部12と、設定部10と、を備える。なお、第1処理部11および第2処理部12は、それぞれ「ライン0」および「ライン1」とも称される。
【0023】
設定部10は、ユーザ入力に応じて、第1処理部11によって実行される第1処理フロー21および第2処理部12によって実行される第2処理フロー22の各々に含まれる1以上の処理項目を設定する(ステップS1)。設定部10は、1以上の処理項目の実行順も設定する。
【0024】
ユーザは、対象物の種類および処理内容に応じて、予め準備された複数の処理項目の中から、第1処理フロー21および第2処理フロー22の各々に含まれる1以上の処理項目を選択するとともに、選択した1以上の処理項目の実行順序を決定すればよい。
【0025】
複数の処理項目の中には、第2処理フロー22との連係のための処理項目31と、第1処理フロー21との連係のための処理項目32と、が含まれる。
【0026】
第1処理部11は、トリガTR1を受け付けると、第1処理フロー21に設定された1以上の処理項目を設定された実行順序に従って実行する。
【0027】
処理項目31が第1処理フロー21の中に設定されたことに応じて、第1処理部11は、処理項目31に従って、第2処理部12に対してトリガTR2を発行する(ステップS2)。さらに、第1処理部11は、処理項目31に従って、第1処理フロー21の実行により得られた処理済画像を出力する。
【0028】
第2処理部12は、トリガTR2を受け付けると、第2処理フロー22に設定された1以上の処理項目を設定された実行順序に従って実行する。
【0029】
第2処理部12は、第1処理部11からトリガTR2を受け付けたことに応じて、第1処理フロー21の実行によって得られた処理済画像に対して第2処理フロー22を実行する(ステップS3)。具体的には、処理項目32が第2処理フロー22の中に設定されたことに応じて、第2処理部12は、処理項目32に従って、処理済画像を取得し、処理済画像に対して第2処理フロー22を実行する。
【0030】
本実施の形態によれば、例えば特許文献2に開示の欠陥検査方法を行なう場合、ユーザは、以下のように、第1処理フロー21および第2処理フロー22を設定すればよい。
第1処理フロー21:部分画像を取得する処理項目51と、複数の部分画像を合成して検査画像を作成する処理項目52と、処理項目31とがこの順に実行される。
第2処理フロー22:処理項目32と、検査画像を用いて表面欠陥を検査する処理項目53とがこの順に実行される。
【0031】
これにより、第1処理部11は、検査画像を作成する処理項目52の後の処理項目31に従って、第2処理部12に対してトリガTR2を発行するとともに、検査画像を処理済画像として出力する。そして、第2処理部12は、第1処理部11からトリガTR2を受け付けたことに応じて、検査画像を処理済画像として取得し、検査画像に対して処理項目53を実行する。第1処理部11と第2処理部12とは並列して処理フローを実行する。そのため、対象物のある領域の検査画像に対して第2処理部12が第2処理フロー22を実行している間、第1処理部11は、第1処理フロー21を実行し、次の領域の検査画像を作成することができる。その結果、処理漏れが抑制される。
【0032】
§2 具体例
<画像処理システムの全体構成>
図2は、実施の形態に係る画像処理装置を含む画像処理システムの全体構成の一例を示す図である。
図2に示されるように、画像処理システム1は、主要なコンポーネントとして、視覚センサとも称される画像処理装置100と、撮像装置2と、センサ3と、搬送ローラ4と、エンコーダ5と、を備える。撮像装置2、センサ3およびエンコーダ5は、画像処理装置100と通信可能に接続される。さらに、画像処理装置100には、表示装置102と入力装置104とが接続される。
【0033】
搬送ローラ4は、方向Dに延びるシート状の対象物7を当該方向Dに沿って一定速度で搬送する。
【0034】
対象物7は、例えば、樹脂多層基板、積層型電子部品の製造に使用されるセラミックシート、フラットパネルディスプレイに用いられるシート部材、おむつ用のシート部材などを含む。対象物7では、同一の構造を有する繰り返し単位7Aが方向Dに沿って繰り返される。
【0035】
撮像装置2は、固定位置に設置される。撮像装置2は、撮像装置2の視野に含まれる、対象物7の一部の領域6を撮像する。方向Dに沿った領域6の長さL1は、方向Dに沿った繰り返し単位7Aの長さL0よりも短い。撮像装置2は、一例として、レンズなどの光学系に加えて、CCD(Coupled Charged Device)やCMOS(Complementary Metal Oxide Semiconductor)センサといった、複数の画素に区画された撮像素子を含んで構成される。撮像装置2による撮像によって取得された画像(以下、「部分画像」と称する。)は、画像処理装置100へ伝送される。画像処理システム1は、撮像装置2によって撮像される領域6に対して光を照射する照明装置を備えていてもよい。
【0036】
センサ3は、対象物7において方向Dに沿って繰り返される繰り返し単位7Aの先頭を検出する。例えば、センサ3は、繰り返し単位7Aの先端付近の特徴部分を検出することにより、繰り返し単位7Aの先頭を検出する。特徴部分は、例えば、対象物7の形状、対象物7の模様、対象物7に形成されたマークなどを含む。あるいは、センサ3は、カムやエンコーダ5などを用いて、搬送機器の動作から繰り返し単位7Aの先頭を検出してもよい。センサ3は、繰り返し単位7Aの先頭を検出すると、信号SG1を画像処理装置100に出力する。
【0037】
エンコーダ5は、搬送ローラ4の回転角度を検出し、検出した回転角度を示す回転量データを画像処理装置100に出力する。
【0038】
画像処理装置100は、対象物7上の欠陥や汚れの有無の検査、対象物7の特定部分の大きさや向きなどの計測、対象物7の表面上の文字や図形などの認識といった画像処理を実行する。
【0039】
上述したように、対象物7では、同一の構造を有する繰り返し単位7Aが繰り返される。ただし、撮像装置2は、撮像装置2の視野に含まれる、繰り返し単位7Aよりも小さい領域6のみしか撮像できない。そのため、後述するように、画像処理装置100は、対象物7を搬送させながら周期的に撮像することにより得られる複数の部分画像を取得する。そして、画像処理装置100は、複数の部分画像を合成することにより、繰り返し単位7Aに対応する合成画像を生成し、合成画像を用いて画像処理を行なう。これにより、画像処理装置100は、繰り返し単位7Aごとに画像処理を行なうことができる。
【0040】
図3は、複数の部分画像から合成画像を生成する方法の一例を示す図である。
図3に示されるように、繰り返し単位7Aの先頭が検出されたタイミングにおいて、撮像装置2から1枚目の部分画像が取得される。これにより、1枚目の部分画像には、繰り返し単位7Aの先頭付近が写る。その後、領域6の長さL1だけ対象物7を搬送させるたびに撮像することにより、2枚目以降の部分画像が取得される。その結果、k枚目(kは2以上の整数)の部分画像に写る繰り返し単位7Aの一部分は、k-1枚目の部分画像に写る繰り返し単位7Aの一部分よりも方向Dの下流側に位置する。このようにして得られる複数の部分画像を方向Dに沿って連結することにより、合成画像が生成される。その結果、合成画像には、繰り返し単位7Aの全体が写る。
【0041】
<画像処理装置のハードウェア構成>
図4は、実施の形態に係る画像処理装置のハードウェア構成を示す模式図である。
図4に示されるように、画像処理装置100は、典型的には、汎用的なコンピュータアーキテクチャに従う構造を有しており、予めインストールされたプログラムをプロセッサが実行することで、後述するような各種の画像処理を実現する。
【0042】
具体的には、画像処理装置100は、CPU(Central Processing Unit)やMPU(Micro-Processing Unit)などのプロセッサ110と、RAM(Random Access Memory)112と、表示コントローラ114と、システムコントローラ116と、I/O(Input Output)コントローラ118と、ハードディスク120と、カメラインターフェイス122と、入力インターフェイス124と、通信インターフェイス126,128と、メモリカードインターフェイス130とを含む。これらの各部は、システムコントローラ116を中心として、互いにデータ通信可能に接続される。
【0043】
プロセッサ110は、第1処理部11および第2処理部12にそれぞれ対応する第1コア110Aおよび第2コア110Bを有する。プロセッサ110は、システムコントローラ116との間でプログラム(コード)などを交換して、これらを所定順序で実行することで、目的の演算処理を実現する。
【0044】
第1コア110Aおよび第2コア110Bは、互いに独立して命令を実行可能である。なお、プロセッサ110に実装されるコアの数は、2個に限られず、技術的に実現可能な範囲の複数個であればよい。
図4には、単一のプロセッサ内に複数のコアが実装されている構成(いわゆる、マルチコアプロセッサシステム)を示すが、複数のプロセッサを実装する構成(いわゆる、マルチプロセッサシステム)を採用してもよい。この場合、複数のプロセッサのうちの1つのプロセッサが第1処理部11に対応し、別のプロセッサが第2処理部12に対応する。あるいは、マルチプロセッサシステムを構成するプロセッサの一部または全部がマルチコアプロセッサシステムを採用していてもよい。このように、本実施の形態に係る画像処理装置100は、互いに独立して処理を実行可能な第1処理部11および第2処理部12を有していれば、どのようなアーキテクチャを採用してもよい。
【0045】
システムコントローラ116は、プロセッサ110、RAM112、表示コントローラ114、およびI/Oコントローラ118とそれぞれバスを介して接続されており、各部との間でデータ交換などを行うとともに、画像処理装置100全体の処理を司る。
【0046】
RAM112は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置であり、ハードディスク120から読み出されたプログラムや、撮像装置2から取得した部分画像、部分画像に対する処理結果(合成画像を含む)、およびワークデータなどを保持する。
【0047】
RAM112は、第1コア110Aおよび第2コア110Bによって共有される領域である共有メモリ112Aを有する。第1コア110Aおよび第2コア110Bは、同時に並列して共有メモリ112Aにアクセスできる。共有メモリ112Aは、後述するOS(Operating System)が提供する共有メモリ機能を用いて実装することができる。それ以外にも、OSが提供するファイル管理機能を用いることにより、ファイルを共有メモリとして実装することもできる。
【0048】
表示コントローラ114は、表示装置102と接続されており、システムコントローラ116からの内部コマンドに従って、各種の情報を表示するための信号を表示装置102へ出力する。表示装置102は、一例として、液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイや有機ELなどを含む。
【0049】
I/Oコントローラ118は、画像処理装置100に接続される記録媒体や外部機器との間のデータ交換を制御する。より具体的には、I/Oコントローラ118は、ハードディスク120と、カメラインターフェイス122と、入力インターフェイス124と、通信インターフェイス126,128と、メモリカードインターフェイス130と接続される。
【0050】
ハードディスク120は、典型的には、不揮発性の磁気記憶装置であり、プロセッサ110で実行される画像処理プログラム150に加えて、各種設定値などが格納される。このハードディスク120にインストールされる画像処理プログラム150は、メモリカード106などに格納された状態で流通する。さらに、ハードディスク120には、カメラ画像が格納される。なお、ハードディスク120に代えて、フラッシュメモリなどの半導体記憶装置やDVD-RAM(Digital Versatile Disk Random Access Memory)などの光学記憶装置を採用してもよい。
【0051】
カメラインターフェイス122は、対象物7の一部を撮像することで生成された部分画像を受け付けるために、プロセッサ110と撮像装置2との間のデータ伝送を仲介する。より具体的には、プロセッサ110からカメラインターフェイス122を介して撮像装置2に撮像指示が出力される。これにより、撮像装置2は、対象物7の一部を撮像し、カメラインターフェイス122を介して生成された部分画像をプロセッサ110に出力する。
【0052】
入力インターフェイス124は、プロセッサ110と入力装置104との間のデータ伝送を仲介する。入力装置104は、キーボード、マウス、タッチパネル、専用コンソールなどを含む。入力インターフェイス124は、ユーザが入力装置104を操作することで与えられる操作指令を受け付ける。
【0053】
通信インターフェイス126は、プロセッサ110とセンサ3との間のデータ伝送を仲介する。より具体的には、通信インターフェイス126は、センサ3から受けた信号SG1をプロセッサ110へ伝送する。
【0054】
通信インターフェイス128は、プロセッサ110とエンコーダ5との間のデータ伝送を仲介する。より具体的には、通信インターフェイス128は、エンコーダ5から受けた回転量データをプロセッサ110へ伝送する。
【0055】
通信インターフェイス126,128は、典型的には、イーサネット(登録商標)やUSB(Universal Serial Bus)などからなる。
【0056】
メモリカードインターフェイス130は、プロセッサ110と記録媒体であるメモリカード106との間のデータ伝送を仲介する。すなわち、メモリカード106には、画像処理装置100で実行される画像処理プログラム150などが格納された状態で流通し、メモリカードインターフェイス130は、このメモリカード106から画像処理プログラム150を読み出す。なお、メモリカード106は、SD(Secure Digital)などの汎用的な半導体記憶デバイスや、フレキシブルディスク(Flexible Disk)などの磁気記録媒体や、CD-ROM(Compact Disk Read Only Memory)などの光学記録媒体等からなる。
【0057】
上述のような汎用的なコンピュータアーキテクチャに従う構造を有するコンピュータを利用する場合には、本実施の形態に係る機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのOS(Operating System)がインストールされていてもよい。この場合には、本実施の形態に係る画像処理プログラム150は、OSの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の順序および/またはタイミングで呼出して処理を実行するものであってもよい。すなわち、本実施の形態に係るプログラム自体は、上記のようなモジュールを含んでおらず、OSと協働して処理が実行される場合もある。したがって、本実施の形態に係る画像処理プログラム150としては、このような一部のモジュールを含まない形態であってもよい。
【0058】
さらに、本実施の形態に係る画像処理プログラム150は、他のプログラムの一部に組み込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組み合わせられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係る画像処理プログラム150としては、このような他のプログラムに組み込まれた形態であってもよい。
【0059】
なお、代替的に、画像処理プログラム150の実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。
【0060】
<画像処理装置の機能構成>
図5は、画像処理装置の機能構成の一例を示す図である。
図5に示されるように、画像処理装置100は、設定部10と、第1処理部11と、第2処理部12と、提供部13と、を備える。第1処理部11は、
図3に示す第1コア110Aによって実現される。第2処理部12は、第2コア110Bによって実現される。設定部10は、画像処理プログラム150を実行するプロセッサ110、表示コントローラ114および入力インターフェイス124によって実現される。提供部13は、画像処理プログラム150を実行するプロセッサ110および表示コントローラ114によって実現される。
【0061】
設定部10は、処理フローの作成および編集を支援する設定画面へのユーザ入力に従って、処理フローの作成および編集を行なう。具体的には、設定部10は、処理フローに含まれる1以上の処理項目とそれらの実行順序とを設定する。さらに、設定部10は、処理フローに含まれる1以上の処理項目の各々についての処理条件も設定する。処理条件には、対応する処理項目を実行するための各種パラメータの値、および、対応する処理項目の結果の良否を判定するための判定条件が含まれる。
【0062】
設定部10は、作成した処理フローを示す処理フローデータを生成する。設定部10は、第1処理部11によって実行される第1処理フロー21と第2処理部12によって実行される第2処理フロー22とを作成した場合、第1処理フロー21を示す第1フローデータと第2処理フロー22を示す第2フローデータとを生成する。設定部10は、第1フローデータを第1処理部11に出力し、第2フローデータを第2処理部12に出力する。
【0063】
図6は、処理フローの作成および編集を支援する設定画面の一例を示す図である。設定画面300は、設定済項目表示領域302と、処理項目選択領域304と、カメラ画像表示領域306と、処理項目挿入/追加ボタン308と、実行順序入替ボタン310とを含む。設定済項目表示領域302には、現在設定されている処理フローの内容がグラフィカルに表示される。
【0064】
処理項目選択領域304には、予め作成された処理項目を示すアイコンがその名称とともに一覧表示される。
図6に示されるように、処理項目選択領域304に表示される複数の処理項目の中には、撮像装置2から画像を取得するための処理項目30と、第2処理フロー22と連係するための処理項目31と、第1処理フロー21と連係するための処理項目32とが含まれる。
【0065】
ユーザは、設定画面300の処理項目選択領域304において、目的の画像処理に必要な処理項目を選択する((1)処理項目を選択)とともに、設定済項目表示領域302において選択した処理項目を追加すべき位置(順序)を選択する(追加位置)。そして、ユーザが処理項目挿入/追加ボタン308を選択する((3)挿入/追加ボタンを押す)と、処理項目が追加される((4)処理項目が追加される)。処理項目追加後の処理設定の内容は、設定済項目表示領域302に反映される。
【0066】
ユーザは、この処理を適宜繰り返すことで目的の画像処理を実現するための処理設定を作成する。また、ユーザは、処理設定の作成中または作成完了後に、設定済項目表示領域302において処理項目を選択した上で、実行順序入替ボタン310を選択することで、実行順序を適宜変更することもできる。
【0067】
このような操作によって、ユーザは、対象物7の種類および検査内容に応じた処理フローを作成できる。
【0068】
図5に示す第1処理部11は、第1処理フロー21を実行する。第2処理部12は、第2処理フロー22を実行する。上述したように、第1処理部11および第2処理部12は、第1コア110Aおよび第2コア110Bによって実現される。そのため、第1処理部11および第2処理部12は、並列して処理フローを実行できる。
【0069】
第1処理部11は、トリガTR1を受け付けたことに応じて、第1処理フロー21を実行する。トリガTR1が発行されるタイミングは、設定部10によって設定される。第1処理部11は、第1処理フロー21に設定された1以上の処理項目を設定された実行順序に従って実行する。
【0070】
処理項目31が第1処理フロー21の中に設定されたことに応じて、第1処理部11は、処理項目31に従って、第2処理部12に対してトリガTR2を発行するとともに、第1処理フロー21の実行によって得られた処理済画像を共有メモリ112Aに格納する。
【0071】
第2処理部12は、トリガTR2を受け付けたことに応じて、第2処理フロー22を実行する。処理項目31が第1処理フロー21の中に設定された場合、トリガTR2は、第1処理部11によって発行される。処理項目31が第1処理フロー21の中に設定されない場合、トリガTR2が発行されるタイミングは、設定部10によって設定される。
【0072】
処理項目32が第2処理フロー22の中に設定されたことに応じて、第2処理部12は、処理項目32に従って、共有メモリ112Aから処理済画像を読み出す。これにより、第2処理部12は、処理済画像に対して第2処理フロー22を実行できる。
【0073】
提供部13は、第1処理フロー21の実行状況を示す第1画面と、第2処理フロー22の実行状況を示す第2画面とを提供する。具体的には、提供部13は、第1画面および第2画面を個別に生成し、生成した第1画面および第2画面を表示装置102に表示させる。なお、提供部13は、第1画面および第2画面のうち一方のみの表示指示を受けた場合、指示された画面のみを表示装置102に表示させる。
【0074】
<処理フローの参考例>
図7は、処理フローの参考例を示す図である。
図7には、処理項目31,32を含まない処理フロー20が示される。処理フロー20は、プロセッサ110が備える1つのコア(例えば、第1コア110Aまたは第2コア110B)によって実行される。
【0075】
処理フロー20は、処理項目30,33~38をこの順に実行するフローである。処理項目30は、撮像装置2から部分画像を取得する処理を定義する。処理項目33は、部分画像の位置および向きを修正する処理を定義する。例えば、処理項目33は、部分画像を180°回転させる処理を定義する。
【0076】
処理項目34は、合成画像が存在しない場合に、部分画像を合成画像として生成し、合成画像が存在する場合に、合成画像に部分画像を合成することにより合成画像を更新する処理を定義する。処理項目34は、規定個数を超える部分画像の入力を受けると画像合成動作を停止し、繰り返し単位7Aの先頭が検出されたタイミング(つまり、信号SG1を受けたタイミング)で新たな合成画像の生成を開始する。
【0077】
処理項目35は、処理フロー中の分岐のための条件(以下、「分岐条件」と称する。)を定義する。例えば、処理項目35は、部分画像の取得回数が規定回数に到達したという分岐条件を定義する。処理項目36~38は、処理項目35によって定義された分岐条件が満たされたときに実行されるように設定されている。
【0078】
処理項目36,37は、処理項目30,33~35の処理によって得られた合成画像に対するラベリング処理を定義する。ラベリング処理は、画像内の指定された色の1以上の塊を特定し、特定された1以上の塊の個数、各塊の面積、各塊の重心位置などを計測し、計測結果が判定条件を満たすか否かを判定する。処理項目36,37は、例えば、対象物7の欠陥や汚れの有無の検査のために実行される項目である。処理項目38は、処理結果の出力を定義する。
【0079】
処理フロー20は、処理項目35によって定義された分岐条件を満たさない場合、あるいは、処理項目38の後に終了する。
【0080】
処理フロー20の開始タイミングを決定するトリガTRは、例えば、以下のタイミングで発行されるように設定される。
・センサ3から信号SG1を受けた第1タイミング、
・第1タイミングからの搬送ローラ4の回転量が基準量の1~(N-1)倍のいずれかに到達した第2タイミング。
第1タイミングからの搬送ローラ4の回転量は、エンコーダ5から受ける回転量データに基づいて算出される。基準量は、方向Dに沿った領域6の長さL1だけ対象物7を搬送するために必要な搬送ローラ4の回転量に設定される。Nは、繰り返し単位7Aの長さL0を領域6の長さL1で除算したときの商(整数)である。この場合、Nは、処理項目34の規定個数および処理項目35の規定回数としても設定される。
【0081】
このようにトリガTRおよび処理項目35の規定回数が設定されることにより、プロセッサ110は、処理フロー20に従って、対象物7の繰り返し単位7Aの先頭がセンサ3によって検知されてから対象物7が長さL1のN倍だけ搬送されるまでの間、処理項目30,33,34をN回繰り返す。これにより、繰り返し単位7Aに対応する合成画像が生成される。すなわち、処理項目30,33,34は、対象物7の繰り返し単位7Aを検査するために必要な合成画像を準備するために実行される。
【0082】
処理項目30,33,34がN回繰り返されることにより、処理項目35によって定義された分岐条件が満たされる。その結果、プロセッサ110は、繰り返し単位7Aに対応する合成画像に対して、処理項目36~38を実行する。これにより、繰り返し単位7Aごとに、対象物7の欠陥や汚れの有無の検査のための処理項目36,37が実行される。
【0083】
しかしながら、処理フロー20では、処理項目36~38が実行されている間、処理項目30,33,34が実行されない。処理項目36~38が実行されている間も、搬送ローラ4によって対象物7が搬送される。そのため、対象物7のうち、処理項目36~38が実行されている間に撮像装置2の視野を通過した部分は、画像処理の対象から除外されることになる。すなわち、処理漏れが生じることになる。
【0084】
図8は、
図7に示す処理フローの実行状況を示す画面の一例を示す図である。
図8に示す画面40は、提供部13によって生成され、表示装置102に表示される。
図8に示すように、
図7に示す処理フロー20が作成された場合、画面40は、処理フロー20に含まれる処理項目30,33~38のうちの指定された処理項目の実行状況を表示する。一般に、ユーザにとって、繰り返し単位7Aを検査するために必要な合成画像を準備する処理項目30,33,34よりも、対象物7の欠陥や汚れの有無の検査のための処理項目36,37の方が重要である。そのため、ユーザは、主に、処理項目36,37の実行状況を確認することを所望する。しかしながら、処理項目36が指定されたとしても、処理項目30,33,34が実行されている間は、合成画像の生成が完了していない。そのため、
図8の上段に示されるように、処理項目30,33,34が実行されている間、「未実行状態」の処理項目36について、処理結果の数値等の実行状況が表示されない。その後、処理項目36の実行が開始された後に、
図8の下段に示されるように、処理項目36の実行状況が表示される。そのため、ユーザは、処理項目36の実行状況を十分に確認できない。
【0085】
<処理フローの実施例>
上述したように、
図7に示す処理フロー20が作成された場合、処理漏れが発生するという問題、および、ユーザにとって重要な処理項目の確認が不十分となるという問題が生じ得る。そのため、本実施の形態に係る画像処理装置100は、上述したように、第1処理フロー21と第2処理フロー22とを並列して実行する機能、および、第1処理フロー21と第2処理フロー22とを連係させる機能を有する。これにより、ユーザは、上記のような問題を解決するように、第1処理フロー21および第2処理フロー22を設定することができる。
【0086】
図9は、第1処理フローおよび第2処理フローの実施例を示す図である。
図9に示されるように、処理フロー20において合成画像を準備するための処理項目30,33~35が第1処理フロー21に設定され、処理フロー20において合成画像に対する画像処理を定義する処理項目36~38が第2処理フロー22に設定される。さらに、第1処理フロー21には、第2処理フロー22との連係のための処理項目31が処理項目35の分岐条件が満たされたときに実行されるように設定される。第2処理フロー22には、第1処理フロー21との連係のための処理項目32が冒頭に設定される。
【0087】
第1処理フロー21の開始タイミングを決定するトリガTR1は、トリガTRと同様に、上記の第1タイミングおよび第2タイミングで発行されるように設定される。
【0088】
図10は、
図9に示す第1処理フローおよび第2処理フローに従った第1処理部および第2処理部による処理の経時変化を示す図である。
【0089】
図10に示されるように、第1処理部11は、対象物7の繰り返し単位7Aの先頭がセンサ3によって検出された第1タイミングである時刻t0においてトリガTR1を受け付けると、処理項目30,33,34を実行する。これにより、撮像装置2から部分画像が取得され、合成画像が生成される。その後、第1処理部11は、時刻t0からの搬送ローラ4の回転量が基準量の1~(N-1)倍となる(N-1)回の第2タイミングにおいてトリガTR1を受け付け、処理項目30,33,34を繰り返して実行する。これにより、規定個数であるN個の部分画像が合成された合成画像が生成される。
【0090】
規定個数の部分画像の合成画像が生成された時刻t1において、第1処理部11は、処理項目35の分岐条件が満たされたと判断し、処理項目31に従って、合成画像を処理済画像として共有メモリ112Aに格納するとともに、トリガTR2を発行する。
【0091】
第2処理部12は、トリガTR2を受け付けた時刻t3において、第2処理フロー22の実行を開始する。具体的には、第2処理部12は、第2処理フロー22の1番目の処理項目32に従って、共有メモリ112Aから合成画像を読み出す。その後、第2処理部12は、処理項目36~38に従って、合成画像に対する画像処理(ラベリング処理および結果出力処理)を実行する。
【0092】
第1処理部11および第2処理部12は、並列して処理フローを実行可能である。そのため、第2処理部12が処理項目36~38を実行している間、第1処理部11は、次の繰り返し単位7Aについての合成画像の生成処理を行なうことができる。すなわち、第1処理部11は、次の繰り返し単位7Aの先頭がセンサ3によって検出された第1タイミングである時刻t2においてトリガTR1を受け付け、処理項目30,33,34を実行できる。その後、次の繰り返し単位7Aに対応する合成画像が生成された時刻t4において、第1処理部11は、処理項目31に従って、合成画像を処理済画像として共有メモリ112Aに格納するとともに、トリガTR2を発行する。その結果、次の繰り返し単位7Aに対応する合成画像についても画像処理(ラベリング処理および結果出力処理)が実行される。このように、
図9に示す第1処理フロー21および第2処理フロー22が設定されることにより、対象物7の全ての繰り返し単位7Aについて処理項目30,33~38が実行され、処理漏れが防止される。
【0093】
図11は、第1処理フローの実行状況を示す画面の一例を示す図である。
図12は、第2処理フローの実行状況を示す画面の一例を示す図である。
図11に示す画面40Aおよび
図12に示す画面40Bは、提供部13によって個別に生成され、表示装置102に表示される。
【0094】
画面40A,40Bの各々は、領域41,42と、表示欄43と、を含む。領域41には、実行中の処理項目の対象となる画像が表示される。さらに、領域41には、処理項目の実行によって得られた計測結果が表示されてもよい。例えば、画面40Bの領域41は、ラベリング処理によって検出された塊を示す枠線41aが表示されている。
【0095】
領域42には、実行対象となる処理フローが表示される。すなわち、画面40Aの領域42には、第1処理フロー21に含まれる1以上の処理項目が実行順序に従って表示される。画面40Bの領域42には、第2処理フロー22に含まれる1以上の処理項目が実行順序に従って表示される。
【0096】
表示欄43は、実行中の処理項目についての処理結果が予め設定された判定条件を満たすか否かの判定結果が示される。表示欄43に「OK」が表示されていることは、処理結果が判定条件を満たすことを示す。表示欄43に「NG」が表示されていることは、処理結果が判定条件を満たさないことを示す。
【0097】
このように、
図9に示す第1処理フロー21および第2処理フロー22が設定されることにより、第1処理フロー21の実行状況を示す画面40Aと、第2処理フロー22の実行状況を示す画面40Bとが個別に提供される。
【0098】
図8を参照して説明したように、処理項目30,33~38の全ての1つの処理フロー20にまとめた場合、注目する処理項目36,37の実行状況を十分に確認できない。これに対し、第1処理フロー21が合成画像の生成のための処理項目30,33~35を含み、第2処理フロー22が合成画像に対する画像処理を定義する処理項目36~38を含む。そのため、ユーザは、重要な処理項目(例えば、処理項目36,37)を含む処理フローに対応する画面(例えば、画面40B)のみを見ることにより、当該重要な処理項目の実行状況を確認しやすくなる。
【0099】
<変形例>
上記の説明では、画像処理システム1が1台の撮像装置2を備えるものとした。しかしながら、撮像装置2の台数は1台に限定されず、複数台であってもよい。
【0100】
図13は、変形例に係る画像処理システムの全体構成を示す図である。
図13に示されるように、変形例に係る画像処理システム1Aは、
図2に示す画像処理システム1Aと比較して、撮像装置2の代わりに撮像装置2a,2bを備える点で相違する。撮像装置2a,2bは、シート状の対象物7に平行であり、かつ、対象物7が搬送される方向Dに直交する方向に沿って並んで配置される。撮像装置2aは、撮像装置2aの視野に含まれる、対象物の一部の領域6aを撮像する。撮像装置2bは、撮像装置2bの視野に含まれる、対象物7の一部の領域6bを撮像する。領域6aと領域6bとは、方向Dに直交する方向に沿って並ぶ。
【0101】
図13に示す画像処理システム1Aでは、第1処理フロー21として、撮像装置2aから第1部分画像を取り込む処理項目と、撮像装置2bから第2部分画像を取り込む処理項目と、複数の第1部分画像と複数の第2部分画像とを合成する処理項目とが設定される。これにより、繰り返し単位7Aに対応する合成画像が生成される。変形例に係る画像処理システム1Aによれば、画像処理システム1と比較して、より高解像度の合成画像を生成することができる。
【0102】
図9に示す第1処理フロー21では、合成画像を生成する処理項目34の前に、部分画像の位置および向きを修正する処理項目33が設定される。しかしながら、第1処理フロー21は、
図9に示す例に限定されず、対象物7の種類や検査内容に応じて適宜変更され得る。例えば、処理項目34の前に、処理項目33に加えて、各種の前処理(特徴の強調やノイズ低減等)に対応する処理項目が設定されてもよい。これにより、処理項目30によって取得された部分画像に対してこれらの前処理が実行される。このように、上記の画像処理装置100を用いることにより、ユーザにとって自由度の高い処理フローを構築できる。
【0103】
§3 付記
以上のように、本実施の形態は以下のような開示を含む。
【0104】
(構成1)
画像処理装置(100)であって、
並列して処理フローを実行する第1処理部(11,110A)および第2処理部(12,110B)と、
前記第1処理部(11,110A)によって実行される第1処理フロー(21)および前記第2処理部(12,110B)によって実行される第2処理フロー(22)の各々に含まれる1以上の処理項目を設定する設定部(10,110)と、を備え、
前記第2処理フロー(22)との連係のための第1処理項目(31)が前記第1処理フロー(21)の中に設定されたことに応じて、前記第1処理部(11,110A)は、前記第1処理項目(31)に従って、前記第2処理部(12,110B)に対してトリガ(TR2)を発行し、
前記第2処理部(12,110B)は、前記トリガ(TR2)を受け付けたことに応じて、前記第1処理フロー(21)の実行によって得られた処理済画像に対して前記第2処理フロー(22)を実行する、画像処理装置(100)。
【0105】
(構成2)
共有メモリ(112A)をさらに備え、
前記第1処理部(11,110A)は、前記第1処理項目(31)に従って、さらに前記処理済画像を前記共有メモリ(112A)に格納し、
前記第1処理フロー(21)との連係のための第2処理項目(32)が前記第2処理フロー(22)の中に設定されたことに応じて、前記第2処理部(12,110B)は、前記第2処理項目(32)に従って、前記共有メモリ(112A)から前記処理済画像を読み出す、構成1に記載の画像処理装置(100)。
【0106】
(構成3)
前記第1処理フロー(21)は、撮像装置(2)によって連続して撮像された複数の画像を合成することにより得られる合成画像を前記処理済画像として生成する、構成1または2に記載の画像処理装置(100)。
【0107】
(構成4)
前記設定部(10,110)は、前記第1処理フロー(21)の中に、
撮像装置(2,2a,2b)から、対象物(7)の一部が写る部分画像を取得する第3処理項目(30)と、
合成画像が存在しない場合に、前記部分画像を前記合成画像として生成し、前記合成画像が存在する場合に、前記合成画像に前記部分画像を合成することにより前記合成画像を更新する第4処理項目(34)と、
前記部分画像の取得回数が規定回数に到達したという条件を満たすか否かを判定する第5処理項目(35)と、をさらに設定し、
前記第1処理項目(31)は、前記条件が満たされたことに応じて実行されるように設定され、
前記第1処理部(11,110A)は、前記第1処理項目(31)に従って、さらに、前記合成画像を前記処理済画像として出力する、構成1または2に記載の画像処理装置(100)。
【0108】
(構成5)
前記第1処理フロー(21)の実行状況を示す第1画面(40A)と、前記第2処理フロー(22)の実行状況を示す第2画面(40B)とのいずれか一方または両方を提供する提供部(13,110)をさらに備える、構成1から4のいずれかに記載の画像処理装置(100)。
【0109】
(構成6)
並列して処理フローを実行する第1処理部(11,110A)および第2処理部(12,110B)を有する画像処理装置(100)における画像処理方法であって、
前記第1処理部(11,110A)によって実行される第1処理フロー(21)および前記第2処理部(12,110B)によって実行される第2処理フロー(22)の各々に含まれる1以上の処理項目を設定するステップ(S1)と、
前記第2処理フロー(22)との連係のための連係処理項目(31)が前記第1処理フロー(21)の中に設定されたことに応じて、前記第1処理部(11,110A)が、前記連係処理項目(31)に従って、前記第2処理部(12,110B)に対してトリガ(TR2)を発行するステップ(S2)と、
前記第2処理部(12,110B)が、前記トリガ(TR2)を受け付けたことに応じて、前記第1処理フロー(21)の実行によって得られた処理済画像に対して前記第2処理フロー(22)を実行するステップ(S3)と、を備える、画像処理方法。
【0110】
(構成7)
並列して処理フローを実行する第1処理部(11,110A)および第2処理部(12,110B)を有するコンピュータ(100)に、
前記第1処理部(11,110A)によって実行される第1処理フロー(21)および前記第2処理部(12,110B)によって実行される第2処理フロー(22)の各々に含まれる1以上の処理項目を設定するステップ(S1)と、
前記第2処理フロー(22)との連係のための連係処理項目(31)が前記第1処理フロー(21)の中に設定されたことに応じて、前記第1処理部(11,110A)が、前記連係処理項目(31)に従って、前記第2処理部(12,110B)に対してトリガ(TR2)を発行するステップ(S2)と、
前記第2処理部(12,110B)が、前記トリガ(TR2)を受け付けたことに応じて、前記第1処理フロー(21)の実行によって得られた処理済画像に対して前記第2処理フロー(22)を実行するステップ(S3)と、を実行させる、プログラム。
【0111】
本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0112】
1 画像処理システム、2,2a,2b 撮像装置、3 センサ、4 搬送ローラ、5 エンコーダ、6,6a,6b,41,42 領域、7 対象物、7A 繰り返し単位、10 設定部、11 第1処理部、12 第2処理部、13 提供部、20 処理フロー、21 第1処理フロー、22 第2処理フロー、30~38,51~53 処理項目、40,40A,40B 画面、41a 枠線、43 表示欄、100 画像処理装置、102 表示装置、104 入力装置、106 メモリカード、110 プロセッサ、110A 第1コア、110B 第2コア、112 RAM、112A 共有メモリ、114 表示コントローラ、116 システムコントローラ、118 I/Oコントローラ、120 ハードディスク、122 カメラインターフェイス、124 入力インターフェイス、126,128 通信インターフェイス、130 メモリカードインターフェイス、150 画像処理プログラム、300 設定画面、302 設定済項目表示領域、304 処理項目選択領域、306 カメラ画像表示領域、308 挿入/追加ボタン、310 順序入替ボタン。