特許第6973570号(P6973570)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 沖電気工業株式会社の特許一覧
特許6973570画像処理装置、画像処理プログラム、及び画像処理方法
<>
  • 特許6973570-画像処理装置、画像処理プログラム、及び画像処理方法 図000002
  • 特許6973570-画像処理装置、画像処理プログラム、及び画像処理方法 図000003
  • 特許6973570-画像処理装置、画像処理プログラム、及び画像処理方法 図000004
  • 特許6973570-画像処理装置、画像処理プログラム、及び画像処理方法 図000005
  • 特許6973570-画像処理装置、画像処理プログラム、及び画像処理方法 図000006
  • 特許6973570-画像処理装置、画像処理プログラム、及び画像処理方法 図000007
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】6973570
(24)【登録日】2021年11月8日
(45)【発行日】2021年12月1日
(54)【発明の名称】画像処理装置、画像処理プログラム、及び画像処理方法
(51)【国際特許分類】
   G06T 7/246 20170101AFI20211118BHJP
【FI】
   G06T7/246
【請求項の数】12
【全頁数】12
(21)【出願番号】特願2020-106332(P2020-106332)
(22)【出願日】2020年6月19日
【審査請求日】2020年6月19日
【国等の委託研究の成果に係る記載事項】(出願人による申告)国等の委託研究の成果に係る特許出願(平成31年度総務省「インフラモニタリングにおけるインフラ3DモデルとIoTセンサ情報モデルの異分野間連携に関する研究開発と標準化」、産業技術力強化法第17条の適用を受ける特許出願)
(73)【特許権者】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100180275
【弁理士】
【氏名又は名称】吉田 倫太郎
(74)【代理人】
【識別番号】100161861
【弁理士】
【氏名又は名称】若林 裕介
(72)【発明者】
【氏名】古川 貴仁
(72)【発明者】
【氏名】迫水 和仁
(72)【発明者】
【氏名】福井 潔
【審査官】 真木 健彦
(56)【参考文献】
【文献】 特開2018−147241(JP,A)
【文献】 特開2014−121541(JP,A)
【文献】 特開2002−330966(JP,A)
【文献】 特開2019−063328(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/246
G06T 7/00
G06T 3/00
G06T 1/00
(57)【特許請求の範囲】
【請求項1】
原画像に対して注目領域を設定する際に、前記注目領域の位置を複数画像間で動的に変更する画像処理装置であって、
前記原画像が入力される画像入力部と、
センサ値が入力されるセンサ入力部と、
注目領域の単位変化量と、基準センサ値と、変化前の注目領域形状及び注目領域位置とを記憶する記憶部と、
前記センサ値と、前記基準センサ値と、前記注目領域の単位変化量とに基づき、前記原画像内における前記注目領域の移動量及び又は変形量とを算出する変化量算出部と、
前記移動量及び又は前記変形量と、前記変化前の注目領域形状及び位置とから、前記原画像に対して前記注目領域を設定する注目領域設定部と
を有することを特徴とする画像処理装置。
【請求項2】
前記基準センサ値は、前記センサ値の変化の基準値であり、
前記変化前の注目領域形状及び位置は、前記センサ値が前記基準センサ値と同値であったときの注目領域位置である基準注目領域位置と、前記センサ値が前記基準センサ値と同値であったときの注目領域形状である基準注目領域形状である
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記注目領域の単位変化量は、単位移動量であり、
記単位移動量は、前記センサ値が単位量変化したときの前記注目領域の移動量である
ことを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記注目領域の単位変化量は、単位変形量であり、
前記単位変形量は、前記センサ値が単位量変化したときの前記注目領域の変形量である
ことを特徴とする請求項1又は2に記載の画像処理装置。
【請求項5】
前記注目領域の単位変化量は、単位移動量及び単位変形量であり、
記単位移動量は、前記センサ値が単位量変化したときの前記注目領域の移動量であり、
前記単位変形量は、前記センサ値が単位量変化したときの前記注目領域の変形量である
ことを特徴とする請求項1又は2に記載の画像処理装置。
【請求項6】
前記変化量算出部及び前記注目領域設定部における前記注目領域の変形方法は、射影変換であることを特徴とする請求項4又は5に記載の画像処理装置。
【請求項7】
前記変化量算出部及び前記注目領域設定部における前記注目領域の変形方法は、基準注目領域形状の輪郭を構成する各点を移動させる方法であり、
前記記憶部が保持する前記単位変形量の個数は、前記変化前の注目領域形状の輪郭を構成する点の個数倍であり、
前記単位変形量は、点が移動する方向を加えて保持する
ことを特徴とする請求項4又は5に記載の画像処理装置。
【請求項8】
前記センサ入力部は1又は2以上のセンサ値を入力され、
前記記憶部が記憶する前記注目領域の単位変化量及び前記基準センサ値の個数は、前記センサ入力部から入力されるセンサ値の個数倍である
ことを特徴とする請求項1〜7のいずれかに記載の画像処理装置。
【請求項9】
前記センサ入力部から入力されたセンサ値の数だけ、前記注目領域を設定した注目領域設定画像を出力することを特徴とする請求項8に記載の画像処理装置。
【請求項10】
前記センサ入力部から入力されたセンサ値の数だけ単一の前記原画像に前記注目領域を設定した、単一の注目領域設定画像を出力することを特徴とする請求項8に記載の画像処理装置。
【請求項11】
原画像に対して注目領域を設定する際に、前記注目領域の位置を複数画像間で動的に変更する画像処理装置に搭載されるコンピュータを、
前記原画像が入力される画像入力部と、
センサ値が入力されるセンサ入力部と、
注目領域の単位変化量と、基準センサ値と、変化前の注目領域形状及び注目領域位置とを記憶する記憶部と、
前記センサ値と、前記基準センサ値と、前記注目領域の単位変化量とに基づき、前記原画像内における前記注目領域の移動量及び又は変形量とを算出する変化量算出部と、
前記移動量及び又は前記変形量と、前記変化前の注目領域形状及び位置とから、前記原画像に対して前記注目領域を設定する注目領域設定部と
して機能させることを特徴とする画像処理プログラム。
【請求項12】
原画像に対して注目領域を設定する際に、前記注目領域の位置を複数画像間で動的に変更する画像処理装置に使用する画像処理方法であって、
画像入力部は、前記原画像が入力され、
センサ入力部は、センサ値が入力され、
記憶部は、注目領域の単位変化量と、基準センサ値と、変化前の注目領域形状及び注目領域位置とを記憶し、
変化量算出部は、前記センサ値と、前記基準センサ値と、前記注目領域の単位変化量とに基づき、前記原画像内における前記注目領域の移動量及び又は変形量とを算出し、
注目領域設定部は、前記移動量及び又は前記変形量と、前記変化前の注目領域形状及び位置とから、前記原画像に対して前記注目領域を設定する
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理プログラム、及び画像処理方法に関する。
【背景技術】
【0002】
従来、画像処理の分野では、取得した画像に対して注目領域(ROI:Region of Interest)を設定し、該注目領域の位置を複数の画像(複数のフレーム画像)間で、動的に変更する技術が存在する。具体的に、複数のフレーム画像から特徴点を検出し、フレーム画像間における特徴点の対応付けを行うことで、フレーム画像間における注目領域の変形、移動などといった注目領域の対応関係を推定する。
【0003】
例えば、特許文献1では、胸部動態画像の複数のフレーム画像の少なくとも一つから肺野領域(注目領域)を抽出し、抽出された肺野領域における呼吸に伴う肺野の動きによって動く位置に特徴点を設定し、設定された特徴点に対応する対応点を前記特徴点が設定されたフレーム画像以外の他のフレーム画像から探索する。そして、設定された特徴点と探索された対応点の位置関係に基づいて、胸部動態画像の複数のフレーム画像間における肺野領域の各画素の対応関係を推定する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2019−63328号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来技術では、特徴点の設定、特徴量の計算を毎フレーム画像に対して行う必要があるため、計算量が膨大なものとなり、処理系にも多大な計算資源が必要となる。
【0006】
また、フレーム画像間において、前フレーム画像で存在した特徴点が消失する、次フレーム画像で新たな特徴点が出現する、特徴量が変化する、などの要因によりフレーム間の特徴点の対応付けを誤る可能性があり、その場合には注目領域の変形を適切に推定することができない可能性がある。
【0007】
そのため、複数の画像間における注目領域の対応関係に係る処理負荷を軽減し、注目領域の変形、移動等の変化を適切に推定できる画像処理装置、画像処理プログラム、及び画像処理方法が望まれている。
【課題を解決するための手段】
【0008】
第1の本発明は、原画像に対して注目領域を設定する際に、前記注目領域の位置を複数画像間で動的に変更する画像処理装置であって、(1)前記原画像が入力される画像入力部と、(2)センサ値が入力されるセンサ入力部と、(3)注目領域の単位変化量と、基準センサ値と、変化前の注目領域形状及び注目領域位置とを記憶する記憶部と、(4)前記センサ値と、前記基準センサ値と、前記注目領域の単位変化量とに基づき、前記原画像内における前記注目領域の移動量及び又は変形量とを算出する変化量算出部と、(5)前記移動量及び又は前記変形量と、前記変化前の注目領域形状及び位置とから、前記原画像に対して前記注目領域を設定する注目領域設定部とを有することを特徴とする。
【0009】
第2の本発明の画像処理プログラムは、原画像に対して注目領域を設定する際に、前記注目領域の位置を複数画像間で動的に変更する画像処理装置に搭載されるコンピュータを、(1)前記原画像が入力される画像入力部と、(2)センサ値が入力されるセンサ入力部と、(3)注目領域の単位変化量と、基準センサ値と、変化前の注目領域形状及び注目領域位置とを記憶する記憶部と、(4)前記センサ値と、前記基準センサ値と、前記注目領域の単位変化量とに基づき、前記原画像内における前記注目領域の移動量及び又は変形量とを算出する変化量算出部と、(5)前記移動量及び又は前記変形量と、前記変化前の注目領域形状及び位置とから、前記原画像に対して前記注目領域を設定する注目領域設定部として機能させることを特徴とする。
【0010】
第3の本発明は、原画像に対して注目領域を設定する際に、前記注目領域の位置を複数画像間で動的に変更する画像処理装置に使用する画像処理方法であって、(1)画像入力部は、前記原画像が入力され、(2)センサ入力部は、センサ値が入力され、(3)記憶部は、注目領域の単位変化量と、基準センサ値と、変化前の注目領域形状及び注目領域位置とを記憶し、(4)変化量算出部は、前記センサ値と、前記基準センサ値と、前記注目領域の単位変化量とに基づき、前記原画像内における前記注目領域の移動量及び又は変形量とを算出し、(5)注目領域設定部は、前記移動量及び又は前記変形量と、前記変化前の注目領域形状及び位置とから、前記原画像に対して前記注目領域を設定することを特徴とする。
【発明の効果】
【0011】
本発明によれば、複数の画像間における注目領域の対応関係に係る処理負荷を軽減し、注目領域の変形、移動等の変化を適切に推定できる。
【図面の簡単な説明】
【0012】
図1】実施形態に係る画像処理装置の機能的構成を示すブロック図である。
図2】実施形態に係る画像処理システムの全体構成を示すブロック図である。
図3】実施形態に係る画像処理装置の全体動作(ROIの設定処理)について示すフローチャートである。
図4】実施形態に係るROIの移動によって変化するROI設定画像の一例を示す説明図である。
図5】実施形態に係るROIの変形によって変化するROI設定画像の一例を示す説明図である。
図6】実施形態に係るROIの移動及び変形によって変化するROI設定画像の一例を示す説明図である。
【発明を実施するための形態】
【0013】
(A)主たる実施形態
以下、本発明による画像処理装置、画像処理プログラム、及び画像処理方法の一実施形態を、図面を参照しながら詳述する。
【0014】
(A−1)実施形態の構成
(A−1−1)全体構成
図2は、実施形態に係る画像処理システムの全体構成を示すブロック図である。
【0015】
図2において、画像処理システム100は、画像処理装置1、撮影装置2、センサ3、通信装置4、通信装置5、及び管理装置6を有する。
【0016】
画像処理装置1は、撮影対象物7を撮影装置2で撮影した画像(原画像)に対して、センサ3が出力するセンサ値によって、注目領域(ROI)を動的に移動、及び又は変形、させてこれを設定し、ROIを設定した原画像であるROI設定画像を出力する処理装置である。
【0017】
上記撮影対象物7は、例えば、人間や動物、乗り物等の種々様々な物体を対象とする。また、画像処理装置1で、設定するROIは、原画像の内、撮影対象物7の撮影されている箇所の全部でもよいし、一部分でもよい。なお、図1では、画像処理装置1は、撮影装置2から直接撮影画像を取得しているが、通信装置又はUSBメモリ等の可搬記憶媒体を介して取得してもよい。
【0018】
撮影装置2は、例えば、カメラであり、画像処理装置1に原画像を与えるものである。撮影装置2は、撮影対象物7を撮影できる位置と画角に固定されている必要がある。また、上記位置及び画角は撮影対象物7に対して少なからず余裕をもって設定されることが望ましい。「余裕をもって設定される」とは、原画像において、撮影対象物7の移動若しくは変形又はその両方が発生しても、撮影対象物7が原画像の撮影範囲内からはみ出さない程度の余白が、撮影対象物7の周囲に存在する状態で撮影される状態であることを示すものである。
【0019】
センサ3は、実世界から物理量を測定し該物理量をセンサ値に変換する機器であり、温度、湿度、加速度など種々様々な物理量を測定するセンサを適用することができる。なお、撮影装置2の撮影対象物7及びセンサ3は、密接な関係にあることが、本実施形態の効果を発揮する上では望ましい。
【0020】
「密接な関係にある」とは、センサ3が取得する物理量の変化により、撮影対象物の移動若しくは変形又はその両方が発生することを示すものである。密接な関係にあることの一例として、例えば撮影対象物7が温度の変化によって撮影装置2の光軸に対して上下左右前後方向に移動する、又は膨張や縮小などの変形をする場合には、センサ3には温度センサを適用する。
【0021】
通信装置4、5は、ROI設定画像を含む信号を授受する通信装置である。通信装置4は、画像処理装置1から取得したROI設定画像を含む信号を送信するものであり、通信装置5は、通信装置4から送信された通信信号を受信し、当該信号に含まれるROI設定画像を管理装置6に与えるものである。通信装置4、5は、有線、無線を問わず、種々様々な通信プロトコル等に従ってROI設定画像を管理装置6に伝送する。なお、ROI設定画像を管理装置6に通信装置4、5を介して伝送する代わりに、CD、DVD、USBメモリといった一般的な可搬記憶媒体などを介してROI設定画像に伝送してもよい。
【0022】
管理装置6は、通信装置5から与えられたROI設定画像を逐次記録し、種々様々な用途で利用するものである。変形例として、管理装置6が、画像処理装置1の機能を備えていてもよい。この場合、撮影装置2で撮影した原画像が通信装置4、5により管理装置6に送信されることになる。
【0023】
(A−1−2)画像処理装置1の詳細構成
図1は、実施形態に係る画像処理装置の機能的構成を示すブロック図である。
【0024】
画像処理装置1は、画像入力部11、センサ入力部12、記憶部13、変化量算出部14、ROI設定部15、及び出力部16を有する。
【0025】
画像処理装置1は、プロセッサやメモリ等を有するコンピュータにプログラム(実施形態に係る画像処理プログラム)をインストールして実現するようにしてもよいが、この場合でも、画像処理装置1は機能的には図1を用いて示すことができる。なお、画像処理装置1については一部又は全部をハードウェア的に実現するようにしてもよい。
【0026】
画像入力部11は、撮影装置2から撮影対象物7を含む撮影画像(原画像)を入力するものである。
【0027】
センサ入力部12は、センサ3から撮影対象物7(又は撮影対象物7の周辺環境)のセンシング結果(センサ値)を入力するものである。
【0028】
記憶部13は、単位移動量M、単位変形量T、基準センサ値S、基準ROI位置I、基準ROI形状Zなどを記憶するものである。単位移動量Mは、センサ値が単位量だけ変化したときの、原画像内におけるROIの移動量を示す値である。単位変形量Tは、センサ値が単位量だけ変化したときの、原画像内におけるROIの変形量を示す値である。具体的には、単位変形量Tは、基準ROI形状Zを例えば射影変換するためのパラメーターを保持する。基準ROI位置Iは、基準ROI形状Zの原画像内における初期位置である。基準センサ値Sは、ROIの移動量及び変形量が「0」となるときのセンサ値である。
【0029】
変化量算出部14は、センサ値、基準センサ値S、単位移動量M及び又は単位変形量Tに基づき、ROIの移動量及び又は変形量を算出する。変化量算出部14の詳細は動作の項で述べる。
【0030】
ROI設定部15は、変化量算出部14で算出した移動量及び又は変形量、基準ROI位置I、及び基準ROI形状Zに基づき、ROI設定画像を算出する。ROI設定部15の詳細は動作の項で述べる。
【0031】
出力部16は、ROI設定部15で生成されたROI設定画像を外部に出力するものである。
【0032】
(A−2)実施形態の動作
次に、実施形態に係る画像処理装置1による画像処理の動作を、図面を参照しながら説明する。
【0033】
(A−2−1)画像処理装置の全体的な動作
図3は、実施形態に係る画像処理装置の全体動作(ROIの設定処理)について示すフローチャートである。
【0034】
画像入力部11は、撮影装置2で撮影された原画像の入力を受け付ける(S101)。ここでの、原画像には少なくとも撮影対象物7が含まれているものとする。画像入力部11は、当該原画像をROI設定部15に与える。
【0035】
センサ入力部12は、センサ3で取得されたセンサ値の入力を受け付ける(S102)。センサ入力部12は、当該センサ値を変化量算出部14に与える。なお、上記ステップS101と、当該ステップS102とは、それぞれが実行される順番は問わず、例えば、ステップS102の後にステップS101が実行されてもよい。
【0036】
変化量算出部14は、画像入力部11を介して取得したセンサ値と、記憶部13から取得した基準センサ値S、単位移動量M及び単位変形量Tとから、ROIの移動量及び又は変形量を算出する(S103)。変化量算出部14は、算出したROIの移動量及び又は変形量をROI設定部15に与える。当該ステップS103の処理の詳細は後述する。
【0037】
ROI設定部15は、原画像に対して、変化量算出部14から取得した移動量及び又は変形量と、記憶部13から取得した基準ROI位置I及び基準ROI形状ZとからROI設定画像を算出する(S104)。ROI設定部15は、算出したROI設定画像を出力部16に与える。当該ステップS104の処理の詳細は後述する。
【0038】
出力部16は、ROI設定部15で算出されたROI設定画像を画像処理装置1の外部へ出力する(S105)。
【0039】
(A−2−2)ステップS103及びステップS104の動作の詳細
ステップS103において、変化量算出部14は、画像入力部11を介して取得したセンサ値から、記憶部13から取得した基準センサ値Sを差し引いて、差分センサ値を算出する。そして、変化量算出部14は、算出した差分センサ値と、単位移動量及び又は単位変形量とから、ROIの移動量及び又は変形量を算出する。
【0040】
ステップS104において、ROI設定部15は、基準ROI位置Iと移動量から、移動後ROI位置を算出する。同様に、ROI設定部15は、基準ROI形状Zと変形量から、変形後ROI形状を算出する。算出する際には、例えば射影変換等の手法を用いる。そして、ROI設定部15は、移動後ROI位置及び又は変形後ROI形状を用いて、原画像にROIを設定し、ROI設定画像を作成する。
【0041】
図4は、実施形態に係るROIの移動によって変化するROI設定画像の一例を示す説明図である。
【0042】
図4において、基準センサ値Sは2.0である。また、単位移動量Mは、x方向に200、y方向に100である。さらに、基準ROI形状Zは、輪郭点を4点で示しており、A(0,0)、B(0,200)、C(300,200)、D(300,0)である。基準ROI位置Iは、(300,200)である。
【0043】
図4(A)では、初期状態のROI設定画像20を示しており、センサ3の出力値(センサ値)は2.0である。そうすると、差分センサ値は、センサ値から基準センサ値Sを差し引くと、0.0となる。また、差分センサ値は、0.0なので、ROIの移動は考慮する必要は無い。
【0044】
以上より、図4(A)の変化の無いROI(ROI21)の位置は、基準ROI形状Zの各点に、基準ROI位置Iを加算した値であって、A(300,200)、B(300,400)、C(600,400)、D(600,200)である。
【0045】
一方、図4(B)では、初期状態から移動後のROI設定画像20を示しており、センサ3の出力値(センサ値)は3.0である。差分センサ値は、センサ値から基準センサ値Sを差し引くと、1.0となる。即ち、ROIの移動量は、単位移動量Mである。
【0046】
そうすると、単位移動量Mに基づき、初期状態のROI21の各点に対して、単位移動量M(200,100)を加算すると、図4(B)の移動後のROI22の座標は、A(500,300)、B(50,500)、C(800,500)、D(800,300)となる。
【0047】
図4(C)でも、初期状態から移動後のROI設定画像20を示しており、センサ3の出力値(センサ値)は1.0である。差分センサ値は、センサ値から基準センサ値Sを差し引くと、‐1.0となる。即ち、ROIの移動量は、マイナスの単位移動量Mである。
【0048】
そうすると、単位移動量Mに基づき、初期状態のROI21の各点に対して、単位移動量M(200,100)を減算すると、図4(C)の移動後のROI23の座標は、A(100,100)、B(10,200)、C(400,300)、D(400,100)となる。
【0049】
なお、図4(B)に示すように差分センサ値がプラスの場合には、ROIは初期状態から右下に移動し、一方、図4(C)に示すように差分センサ値がマイナスの場合には左上に移動している例が示されているが、あくまで一例であり、撮影対象物7(ROI)によって種々様々である。また、図4では、ROIをx、y座標で表現しているが、表現方法も一例であり、例えば、x、y、z座標で表現してもよいし、別の形式で表現してもよい。いずれにしても原画像に対して設定するROIの位置が特定できれば表現方法は限定されるものでは無い。
【0050】
図5は、実施形態に係るROIの変形によって変化するROI設定画像の一例を示す説明図である。図5では、変化量算出部14は、基準センサ値と、単位変形量T(例えば、射影変換に用いるパラメータ)とに基づき、射影変換を用いて変形量を算出する。ROI設定部15は、算出した変形量に基づき、ROI設定画像の算出を行う。図5(A)では、ROIの初期状態(ROI21)を示しており、先述の図4(A)と同様である。
【0051】
また、図5(B)、(C)では、各センサ値(差分センサ値)の出力に基づき、初期状態から変形したROI24、25を示している。なお、図5(B)、(C)では、射影変換により矩形から台形に変換した例を示しているが、あくまで一例であり、変形に応じて種々様々な形状を適用することができる。
【0052】
図6は、実施形態に係るROIの移動及び変形によって変化するROI設定画像の一例を示す説明図である。言い換えれば、図6は、先述の図4で示した移動と、図5で示した変形とが同時に発生したものである。
【0053】
図6では、変化量算出部14は、基準センサ値と、単位移動量M及び単位変形量Tとに基づき、ROIの移動量及び変形量を算出する。ROI設定部15は、算出した移動量及び変形量に基づき、ROI設定画像の算出を行う。図6(B)、(C)では、各センサ値(差分センサ値)の出力に基づき、初期状態から移動及び変形したROI26、27を示している。
【0054】
(A−3)実施形態の効果
以上のように、本実施形態によれば、以下の効果を奏する。
【0055】
画像処理装置1は、特徴点検出、特徴量抽出といった直接的な画像処理を行わず、ROIの設定を算出することができるので、処理量を低く抑えることができる。即ち、処理系に必要な計算資源が少なく抑えられる。さらに、ROIの移動量及び変形量は、センサ値から一意に決定されるため、ROIの変化前後の対応付けを誤る可能性が無い。
【0056】
(B)他の実施形態
上記実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。
【0057】
(B−1)上記実施形態では、ROIの形状を変形及びROIの位置を移動させる例を説明したが、そのいずれか一方のみを行う構成としてもよい。この場合、変形のみを行う構成の場合には、記憶部13は単位変形量T、基準センサ値S、基準ROI位置I及び基準ROI形状Zのみを記憶してもよい。また、移動のみを行う構成の場合には、記憶部13は単位移動量M、基準センサ値S、基準ROI位置I及び基準ROI形状Zのみを記憶してもよい。
【0058】
(B−2)上記実施形態では、センサ3は単一の物理量を出力する例を説明したが、複数の物理量を出力してもよい。この場合、記憶部13は複数の物理量のそれぞれに対して単位移動量M、単位変形量T及び基準センサ値Sを記憶及び出力してもよい。記憶部13が複数の物理量それぞれに対して単位移動量M及び単位変形量Tを記憶及び出力する場合、変化量算出部14は複数の物理量それぞれに対して変形量を算出してもよい。変化量算出部14が複数の物理量それぞれに対して変形量を算出する場合、算出された複数の変形量から、任意の計算方法によって一つの変形量を算出して出力してもよいし、複数の変形量をそのまま出力してもよい。変化量算出部14が複数の変形量を出力する場合、ROI設定部15は、単一の原画像に対して複数のROIを設定して単一のROI設定画像を出力してもよいし、単一の原画像をROIの数だけ複製し、各原画像に対して1つのROIを設定して複数枚のROI設定画像を出力してもよい。
【0059】
(B−3)上記実施形態では、変化量算出部14及びROI設定部15において、基準ROI形状Zの変形の手段は射影変換であると述べたが、基準ROI形状Zの輪郭を構成する各点を任意の方向に移動させることで、基準ROI形状Zの変形を行ってもよい。このとき、記憶部13に保持する単位変形量Tは、基準ROI形状Zの輪郭を構成する各点の数だけ保持することが望ましい。
【0060】
(B−4)上記実施形態では、単位移動量M及び単位変形量Tは、センサ値が単位量だけ変化したときの移動量及び変形量としたが、センサ値を入力とした関数の形としてもよい。また、センサ値と移動量、センサ値と変形量の値の組をそれぞれ任意の個数だけ保持し、ルックアップテーブルのような形としてもよい。
【符号の説明】
【0061】
1…画像処理装置、2…撮影装置、3…センサ、4…通信装置、5…通信装置、6…管理装置、7…撮影対象物、11…画像入力部、12…センサ入力部、13…記憶部、14…変化量算出部、15…ROI設定部、16…出力部、20…ROI設定画像、100…画像処理システム、S…基準センサ値、M…単位移動量、T…単位変形量、I…基準ROI位置、Z…基準ROI形状。
【要約】
【課題】 複数の画像間における注目領域の対応関係に係る処理負荷を軽減し、注目領域の変形、移動等の変化を適切に推定できる画像処理装置を提供する。
【解決手段】 本発明は、原画像に対して注目領域を設定する際に、前記注目領域の位置を複数画像間で動的に変更する画像処理装置であって、前記原画像が入力される画像入力部と、センサ値が入力されるセンサ入力部と、注目領域の単位変化量と、基準センサ値と、変化前の注目領域形状及び注目領域位置とを記憶する記憶部と、前記センサ値と、前記基準センサ値と、前記注目領域の単位変化量とに基づき、前記原画像内における前記注目領域の移動量及び又は変形量とを算出する変化量算出部と、前記移動量及び又は前記変形量と、前記変化前の注目領域形状及び位置とから、前記原画像に対して前記注目領域を設定する注目領域設定部とを有する。
【選択図】 図1
図1
図2
図3
図4
図5
図6