【実施例1】
【0010】
[システム構成]
まず、本実施例に係る画像提供システムの構成について説明する。
図1は、実施例1に係る画像提供システムの構成を示す図である。
図1に示す画像提供システム1は、互いに異なる複数の時点で同一の被写領域を含んで撮影された複数の画像の間で差分、例えば土地や建物を含む地物の変化などの固定資産の変更箇所を抽出するものである。なお、地物には、前述の通り土地や建物を含み、人為的に区画された土地範囲を指す。
【0011】
図1に示すように、画像提供システム1には、サーバ装置10と、クライアント端末30A〜30Cとが収容される。なお、
図1には、3つのクライアント端末をそれぞれ図示したが、画像提供システム1は任意の数のクライアント端末を収容できる。なお、以下では、クライアント端末30A〜30Cの各装置を区別なく総称する場合には、「クライアント端末30」と記載する場合がある。
【0012】
これらサーバ装置10及びクライアント端末30の間は、ネットワーク7を介して相互に通信可能に接続される。かかるネットワーク7には、有線または無線を問わず、インターネット(Internet)を始め、LAN(Local Area Network)やVPN(Virtual Private Network)などの任意の種類の通信網を採用できる。
【0013】
サーバ装置10は、上記の複数の画像の間で抽出された差分を提供する画像提供サービスをクライアント端末30に提供するコンピュータである。一態様としては、上記の画像提供サービスに関する画像処理を実行するWebサーバとして実装することとしてもよいし、また、上記の画像提供サービスをアウトソーシングにより提供するクラウドとして実装することもできる。他の一態様としては、パッケージソフトウェアやオンラインソフトウェアとして提供される画像処理プログラムを所望のコンピュータにプリインストール又はインストールさせることによっても実装できる。
【0014】
クライアント端末30は、上記の画像提供サービスの提供を受けるコンピュータである。かかるクライアント端末30の一態様としては、パーソナルコンピュータを始めとする固定端末の他、スマートフォンを始め、携帯電話機、PHSやPDAなどの移動体通信端末、さらには、移動体通信網に接続する能力を持たないタブレット端末などを採用できる。なお、上記のPHSは、「Personal Handyphone System」の略称であり、上記のPDAは、「Personal Digital Assistants」の略称である。
【0015】
かかるクライアント端末30は、例えば、複数世代の画像をサーバ装置10へアップロードしたり、あるいはサーバ装置10上に保存された複数世代の画像を指定したりすることによって上記の画像提供サービスを受けることができる。ここで言う「複数世代の画像」とは、互いに異なる複数の時点で同一の被写領域を含んで撮影された画像の各々を指し、かかる被写領域には、少なくとも土地や建物などの固定資産が複数含まれる。例えば、複数の固定資産を俯瞰して観察する場合には、人工衛星や航空機等によって固定資産が空中から撮影された画像であることが好ましい。これらの画像が撮影される時期には、任意の時間差があってよいが、一例として、固定資産の管理や固定資産税の算定など画像を用いる場合には、各々の画像が撮影される時間差をおよそ1年程度の間隔とすることができる。以下では、固定資産が最後に撮影された世代の画像から順に、0世代前の画像、1世代前の画像、2世代前の画像、・・・、N世代前の画像と記載する場合がある。なお、上記の0世代前の画像は、現在に最も近い時点で撮影された画像であるとも言える。
【0016】
[サーバ装置10の構成]
続いて、本実施例に係るサーバ装置10の機能的構成について説明する。
図2は、実施例1に係るサーバ装置10の機能的構成を示すブロック図である。
図2に示すように、サーバ装置10は、通信I/F(interface)部11と、画像記憶部12と、取得部13と、検出部14と、差分画像記憶部15と、抽出部16と、出力部17とを有する。なお、サーバ装置10は、
図2に示した機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入出力デバイス、音声出力デバイスや撮像デバイスなどの機能部を有することとしてもかまわない。
【0017】
このうち、通信I/F部11は、他の装置、例えばクライアント端末30との間で通信制御を行うインタフェースである。かかる通信I/F部11の一態様としては、LANカードなどのネットワークインタフェースカードを採用できる。例えば、通信I/F部11は、クライアント端末30から複数世代の画像のアップロードや複数世代の画像の指定を受け付けたり、あるいは差分の抽出結果をクライアント端末30へ送信したりする。
【0018】
画像記憶部12は、複数世代の画像を記憶する記憶部である。一態様としては、画像記憶部12には、複数世代にわたって同一の固定資産を含む被写領域が撮影された画像を予め登録しておくこともできるし、クライアント端末30からアップロードされた複数世代の画像を記憶することもできる。これら複数世代の画像のメタ情報には、一例として、画像が撮影された年月日や時刻などの時間情報を始め、画像に含まれる固定資産が属する区画を識別する識別情報、世代を識別する識別情報や画像の撮影場所を特定する情報などを含めることができる。なお、使用する画像は特定のフォーマットに限定されず、PNG(Portable Network Graphics)やGIF(Graphic Interchange Format)など任意のフォーマットの画像を記憶することができる。
【0019】
取得部13は、画像を取得する処理部である。一態様としては、取得部13は、クライアント端末30から複数世代の画像を取得することができる。他の一態様としては、取得部13は、クライアント端末30から上記の画像提供サービスの要求を受け付けた場合に、クライアント端末30から閲覧対象とする固定資産が属する区画の指定を受け付ける。その上で、取得部13は、画像記憶部12に記憶された画像のうち当該指定を受け付けた区画に対応する固定資産が撮影された画像を複数の世代にわたって読み出すことによって取得することもできる。更なる一態様としては、取得部13は、メモリカードやUSB(Universal Serial Bus)メモリなどのリムーバブルメディアから画像を取得することもできる。他の一態様としては、取得部13は、外部装置からネットワークを介して複数世代の画像を受信することによって取得することもできる。なお、
図2に示す取得部13は、画像取得部の一態様である。
【0020】
検出部14は、取得部13によって取得された複数世代の画像の間で差分を検出する処理部である。一態様としては、検出部14は、取得部13によって取得された複数世代の画像から、1の基準画像と2以上の比較画像を選択する。例えば、0世代前、1世代前、2世代前の計3世代の画像が取得された場合には、0世代前の画像を「基準画像」の一態様として選択し、1世代前の画像を「第一の比較画像」の一態様として選択し、2世代前の画像を「第一の比較画像を除く他の比較画像」の一態様として選択する。その上で、検出部14は、0世代前の画像と、その他のn世代の各画像との間で差分を検出する。例えば、1世代前の第一の比較画像に対する0世代前の基準画像の主差分を求めるとするとともに、2世代前の他の比較画像に対する0世代前の基準画像の補助差分を求める。このとき、検出部14は、2つの画像の間で差分を検出するのに先立って画像の重ね合わせを行う。その手法として2つの画像の間でテンプレートマッチング等を行う、または座標を備えた画像の場合は座標を基に重ね合わせを行う。そして、検出部14は、テンプレートマッチングの結果にしたがって一方の画像に合わせて他方の画像を水平または鉛直に移動させたり、他方の画像を回転させたりする。これによって、2つの画像の位置合わせがなされることになる。
【0021】
その後、検出部14は、位置合わせ後の画像の間で互いに対応する画素の画素値の差を算出する。そして、検出部14は、画素値の差が所定の閾値以上である画素を抽出した上で先に抽出された画素をラベリングする。かかるラベリングのポリシーの一例として、一定の範囲内の位置に存在し、かつ色情報の差が閾値の範囲内である画素範囲を一つの地物として定義し、同一のラベルを付与する。続いて、検出部14は、同一のラベルが付与された画素を合成することによってポリゴンを生成する。その上で、検出部14は、先に生成されたポリゴンのうち面積及び形状が任意指定した閾値の範囲内となるポリゴンを差分として検出する。つまり、固定資産として想定されにくい大きさ、例えば土地や建物である公算が低い極小の差分、さらには、固定資産としてあり得ない形状、例えば極細形状などのポリゴンが除外されて固定資産の変更である公算が高い差分の領域が抽出されることになる。このようにして検出された差分の部分を「差分領域」(例えば黒)とし、その他の差分がない部分を「非差分領域」(例えば白)とするような差分画像が生成される。なお、
図2に示す検出部14は、画像選択部および差分算出部の一態様である。
図2の例では、画像選択部および差分算出部をまとめて検出部とする場合を例示したが、画像選択部および差分算出部を分散して設けることとしてもかまわない。
【0022】
このように差分が検出されたとしても、必ずしも目的とする固定資産の変更による差分、例えば新築、立て替えや取り壊しであるとは限らない。例えば、カメラ、自然現象やその他の一時的な変化が差分となる場合もある。このうち、カメラの要因の一例としては、世代間で被写領域に含まれる建物に変わりがなくともカメラの画角が異なると、画像に写る建物の傾きや角度が変わることによって差分として検出される場合がある。また、自然現象の要因の一例としては、世代間で画像を撮影する時間帯が異なると太陽の位置の違いによって建物の影が発生したり、季節が異なると農地や森林などの植物の形状や色彩が変化したりすることによって差分として検出される場合がある。この他、世代間で車両の駐車、各種の工事に伴って保管された資材等によって一時的に変化が生じ、かかる一時的な変化が差分として検出される場合がある。
【0023】
差分画像記憶部15は、世代間の差分画像を記憶する記憶部である。一態様としては、差分画像記憶部15には、検出部14による差分の検出によって生成された差分画像を予め登録しておくこともできるし、クライアント端末30からアップロードされた世代間の差分画像を記憶することもできる。かかる差分画像のメタ情報には、一例として、上記のものに加え、差分が検出される元となった2つの世代を識別する識別情報などを含めることもできる。
【0024】
抽出部16は、0世代前の画像と1世代前の画像との差分と、0世代前の画像と2世代前の画像との差分とに基づいて、いずれかの差分に含まれる複数の差分箇所のうち一部の差分箇所を抽出する処理部である。
【0025】
ここで、一例として、去年から今年にかけて固定資産に変更箇所があるかどうかを確認するのを支援する観点から、1世代前の基準画像に対する0世代前の第一の比較画像の差分を主差分とし、2世代前の他の比較画像に対する0世代前の基準画像の差分を補助差分とし、主差分及び補助差分に基づいて、主差分から上記のカメラ、自然現象や一時的な変化などの差分を除去して一部の差分箇所を抽出する場合を想定する。
【0026】
このような想定の下、抽出部16は、1世代前に対する0世代前の主差分画像aと、2世代前に対する0世代前の補助差分画像bとの間で、排他的論理和となる差分を含む補助差分画像abを生成する。言い換えれば、主差分画像aと補助差分画像bが互いに重なっていない部分に絞って抽出がなされた差分を含む補助差分画像abが生成される。このため、補助差分画像abからは、主差分画像aと補助差分画像bの間で互いの画像に含まれる画素が対応する位置に存在していた差分、すなわち差分画像間で共通する位置にある差分は除去される。その上で、抽出部16は、1世代前に対する0世代前の主差分画像aから補助差分画像abを差し引く。このとき、主差分画像a上で差分がない画素から補助差分画像b上で差分がある画素が差し引かれる場合には、減算結果が負の値になることがある。このように、減算結果が負の値となる場合には、当該画素の値はゼロとするようにこの減算演算を定義し、以降では差分がないものとして扱う。
【0027】
これによって、1世代前に対する0世代前の主差分画像aから、1世代前の画像に由来するカメラ、自然現象や一時的な変化が要因となって検出されたノイズ差分が除去された補正済主差分画像Zを抽出することができる。以下では、本来の目的とする地物の変化以外に余分に抽出された差分のことを「ノイズ差分」と記載する場合がある。
図3は、差分画像の模式図の一例を示す図である。
図4は、1世代前に対する0世代前の主差分画像から除去される成分の一例を示す図である。
図3の上段には、過去から現在へ向かって順に、2世代前の画像、1世代前の画像、0世代前の画像が整列して図示されている。これらの画像の白の塗り潰しの部分は、土地や建物などの固定資産を指し、黒の塗り潰しの部分は、建物等の影や一時的な変化を指す。
【0028】
例えば、去年から今年にかけて固定資産に変更箇所があるかどうかを確認するのを支援する場合には、
図3に示すように、1世代前に対する0世代前の主差分画像aと、2世代前に対する0世代前の補助差分画像bとが生成される。これら主差分画像aおよび補助差分画像bの薄い塗りつぶしは、固定資産の変更箇所などの目的の差分を指し、濃い塗りつぶしは、カメラ、自然現象や一時的な変化が要因となるノイズ差分を指す。このように主差分画像aおよび補助差分画像bが生成された状況の下、3世代の画像を用いて、1世代前の画像に対する0世代前の画像の差分からノイズ差分を除去する場合には、次のような処理が実行される。
【0029】
すなわち、
図4に示すように、1世代前に対する0世代前の主差分画像aと、2世代前に対する0世代前の補助差分画像bとの間で、排他的論理和となる差分を含む補助差分画像abが生成される。このように、主差分画像aと補助差分画像bのxor統合が実行されると、主差分画像aと補助差分画像bの間で重複していない部分に絞って抽出がなされる。この結果、補助差分画像abには、主差分画像aのノイズ差分のうち1世代前の画像に由来するノイズ差分が残るとともに、補助差分画像bのノイズ差分のうち2世代前の画像に由来するノイズ差分が残る。
【0030】
その後、1世代前に対する0世代前の主差分画像aから、主差分画像aと補助差分画像bのxor統合がなされた補助差分画像abが差し引かれる。この結果、主差分画像aから1世代前の画像に由来するノイズ差分と、2世代前の画像に由来するノイズ差分とが差し引かれることになる。ここで、主差分画像aには、2世代前の画像に由来するノイズ差分は元から含まれていないものの、1世代前の画像に由来するノイズ差分は含まれており、かかる1世代前の画像に由来するノイズ差分が補助差分画像abによって打ち消される。したがって、1世代前に対する0世代前の主差分画像aから1世代前の画像に由来するノイズ差分が除去された補正済主差分画像Zを得ることができる。
【0031】
このように、1世代前に対する0世代前の主差分画像から1世代前の画像に由来するノイズ差分が除去できるのは、次のようなロジックを一因に含む。すなわち、一時的な変化は、3つの世代のうち1回しか現れないとみなすことができる。このため、一時的な変化が1世代前の画像に現れたとしたとき、主差分画像aで一時的な変化が現れたブロックは「1」に二値化される。そして、一時的な変化は、2世代前では現れず、1世代前に現れ、0世代前で元に戻って消滅する。それゆえ、補助差分画像bには、一時的な変化が現れておらず、そのブロックは「0」に二値化されていると推定できる。したがって、主差分画像aおよび補助差分画像bのxor統合では、一時的な変化が現れたブロックを「1」に二値化することができるので、主差分画像aから補助差分画像abが差し引かれることによって除去できる。
【0032】
また、抽出部16は、3世代の画像を用いたノイズ差分の除去に限定されず、4世代以上の画像を用いて、ノイズ差分を除去することができる。
図5は、差分画像の模式図の一例を示す図である。
図6は、1世代前に対する0世代前の主差分画像から除去される成分の一例を示す図である。
図5の上段には、過去から現在へ向かって順に、3世代前の画像、2世代前の画像、1世代前の画像、0世代前の画像が整列して図示されている。これらの画像の白の塗り潰しの部分は、土地や建物などの固定資産を指し、黒の塗り潰しの部分は、建物等の影や一時的な変化を指す。
【0033】
例えば、
図5に示すように、1世代前に対する0世代前の主差分画像aと、2世代前に対する0世代前の補助差分画像bと、3世代前に対する0世代前の補助差分画像cとが生成される。これら主差分画像a、補助差分画像bおよび補助差分画像cの薄い塗りつぶしは、固定資産の変更箇所などの目的の差分を指し、濃い塗りつぶしは、カメラ、自然現象や一時的な変化が要因となるノイズ差分を指す。このように主差分画像a、補助差分画像bおよび補助差分画像cが生成された状況の下、4世代の画像を用いて、1世代前の画像に対する0世代前の画像の差分からノイズ差分を除去する場合には、次のような処理が実行される。
【0034】
すなわち、
図6に示すように、1世代前に対する0世代前の主差分画像aと、2世代前に対する0世代前の補助差分画像bとの間で、排他的論理和となる差分を含む補助差分画像abが生成される。このように、主差分画像aと補助差分画像bのxor統合が実行されると、主差分画像aと補助差分画像bの間で重複していない部分に絞って抽出がなされる。この結果、補助差分画像abには、主差分画像aのノイズ差分のうち1世代前の画像に由来するノイズ差分が残るとともに、補助差分画像bのノイズ差分のうち2世代前の画像に由来するノイズ差分が残る。
【0035】
これに加えて、1世代前に対する0世代前の主差分画像aと、3世代前に対する0世代前の補助差分画像cとの間で、排他的論理和となる差分を含む補助差分画像acも生成される。このように、主差分画像aと補助差分画像cのxor統合が実行されると、主差分画像aと補助差分画像cの間で重複していない部分に絞って抽出がなされる。この結果、補助差分画像acには、主差分画像aのノイズ差分のうち1世代前の画像に由来するノイズ差分が残るとともに、補助差分画像cのノイズ差分のうち3世代前の画像に由来するノイズ差分が残る。
【0036】
その後、1世代前に対する0世代前の主差分画像aから、主差分画像aと補助差分画像bのxor統合がなされた補助差分画像abと、主差分画像aと補助差分画像cのxor統合がなされた補助差分画像acとが差し引かれる。この結果、主差分画像aから1世代前の画像に由来するノイズ差分と、2世代前の画像に由来するノイズ差分および3世代前の画像に由来するノイズ差分とが差し引かれることになる。ここで、主差分画像aには、2世代前の画像及び3世代前の画像に由来するノイズ差分は元から含まれていないものの、1世代前の画像に由来するノイズ差分は含まれる。かかる1世代前の画像に由来するノイズ差分が補助差分画像ab及び補助差分画像acの2つの補助差分画像によって打ち消される。これによって、3世代の画像を用いた場合と同等以上に、1世代前に対する0世代前の主差分画像aから1世代前の画像に由来するノイズ差分が除去された補正済主差分画像Zを得ることができる。なお、
図5及び
図6の例では、補助差分画像abと補助差分画像acが持つ1世代前の画像に由来するノイズ差分が同様に図示されているが、後述するように、厳密には同一ではなく、更なるノイズ差分の除去に寄与する。
【0037】
このように、抽出部16は、3世代の画像を用いたノイズ差分の除去には限定されない。すなわち、抽出部16は、1世代前に対する0世代前の主差分画像aから、補助差分画像abだけでなく、補助差分画像ac、・・・、補助差分画像an−1、補助差分画像anを差し引くことによってN世代の画像を用いたノイズ差分の除去を実現できる。なお、
図2に示す抽出部16は、差分抽出部の一態様である。
【0038】
図2の説明に戻り、出力部17は、抽出部16によって抽出された一部の差分箇所を出力する処理部である。一態様としては、出力部17は、1世代前に対する0世代前の主差分画像aから1世代前のノイズ差分が除去された補正済主差分画像Zをクライアント端末30へ出力することができる。他の一態様としては、出力部17は、クライアント端末30によって指定された宛先の情報処理装置に対し、補正済主差分画像Zを配信またはマルチキャスト配信することもできる。更なる一態様としては、出力部17は、メモリカードやUSBメモリなどのリムーバブルメディアに対し、補正済主差分画像Zを記録させることもできる。なお、
図2に示す出力部17は、差分出力部の一態様である。
【0039】
なお、上記の取得部13、検出部14、抽出部16及び出力部17は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などに画像処理プログラムを実行させることによって実現できる。また、上記の取得部13、検出部14、抽出部16及び出力部17は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによっても実現できる。
【0040】
また、上記の画像記憶部12及び差分画像記憶部15には、一例として、半導体メモリ素子や記憶装置を採用できる。例えば、半導体メモリ素子の一例としては、VRAM(Video Random Access Memory)、RAM(Random Access Memory)、ROM(Read Only Memory)やフラッシュメモリ(flash memory)などが挙げられる。また、記憶装置の一例としては、ハードディスク、光ディスクなどが挙げられる。
【0041】
[具体例1]
続いて、
図7を用いて、本実施例に係るノイズ差分の除去方法の具体例(1)を説明する。
図7は、ノイズ差分の除去方法の具体例を示す図である。
図7には、2世代前の画像、1世代前の画像および0世代前(現在)の画像の計3世代の画像を用いて、1世代前に対する0世代前の主差分画像aからノイズ差分を除去する場合を例示している。なお、
図7には、2世代前の画像、1世代前の画像および0世代前(現在)の画像に含まれる被写体が模式化された例を示しており、理解を容易にするために、9個のブロックで仕切って図示している。
【0042】
このとき、1世代前の画像に対する0世代前の画像の差分は、
図7に示すように、上段の左中右、中段の左および下段の左中右のブロックで検出される。一方、2世代前の画像に対する0世代前の画像の差分は、上段の左および中段の左右のブロックで検出される。続いて、1世代前に対する0世代前の主差分画像aと、2世代前に対する0世代前の補助差分画像bとの間で、排他的論理和となる差分を含む補助差分画像abが生成される。かかる補助差分画像abは、主差分画像aの各ブロックのうち主差分画像aだけで差分が検出されたブロック、すなわち主差分画像aだけで「1」に二値化されたブロックと、補助差分画像bの各ブロックのうち補助差分画像bだけで差分が検出されたブロック、すなわち補助差分画像bだけで「1」に二値化されたブロックとが抽出される。すなわち、
図7に示すように、上段の中右、中段の右および下段の左中右のブロックが「1」に二値化された補助差分画像abが抽出される。
【0043】
その後、1世代前に対する0世代前の主差分画像aから、主差分画像aと補助差分画像bのxor統合がなされた補助差分画像abが差し引かれる。この結果、上段の左および中段の左が目的の補正済主差分画像Zとして抽出される。このように抽出された補正済主差分画像Zでは、1世代前の画像の下段の左中右のブロックに映っていた建物の影が除去され、中段の左のブロックにあった建物が家屋からビルに建て替えされた固定資産の変更が抽出されている。このため、固定資産の管理や固定資産税の算定を行う閲覧者は、1世代前に対する0世代前の主差分画像aでは検出されていた建物の影を確認せずとも、家屋からビルに建て替えされた固定資産の変更だけを確認できる。これによって、固定資産の届け出の有無を確認したり、届け出がなければ追加徴収の課税額を算定したり、中段の左のブロックに該当する地域を実地検分の対象としたりすることができる。したがって、補正済主差分画像Zを固定資産の管理や固定資産税の算定などの用途に有効活用できる。
【0044】
[具体例2]
次に、
図8を用いて、本実施例に係るノイズ差分の除去方法の具体例(2)を説明する。
図8は、ノイズ差分の除去方法の具体例を示す図である。
図8には、3世代前の画像、2世代前の画像、1世代前の画像および0世代前(現在)の画像の計4世代の画像を用いて、1世代前に対する0世代前の主差分画像aからノイズ差分を除去する場合を例示している。なお、
図8には、3世代前の画像、2世代前の画像、1世代前の画像および0世代前(現在)の画像に含まれる被写体が模式化された例を示しており、理解を容易にするために、9個のブロックで仕切って図示している。
【0045】
このとき、1世代前の画像に対する0世代前の画像の差分は、
図8に示すように、上段の左中、中段の左中および下段の右のブロックで検出される。また、2世代前の画像に対する0世代前の画像の差分は、上段の中右、中段の左中および下段の右のブロックで検出される。さらに、3世代前の画像に対する0世代前の画像の差分は、中段の左右および下段の右のブロックで検出される。
【0046】
続いて、1世代前に対する0世代前の主差分画像aと、2世代前に対する0世代前の補助差分画像bとの間で、排他的論理和となる差分を含む補助差分画像abが生成される。かかる補助差分画像abは、主差分画像aの各ブロックのうち主差分画像aだけで差分が検出されたブロック、すなわち主差分画像aだけで「1」に二値化されたブロックと、補助差分画像bの各ブロックのうち補助差分画像bだけで差分が検出されたブロック、すなわち補助差分画像bだけで「1」に二値化されたブロックとが抽出される。すなわち、
図8に示すように、上段の左右のブロックが「1」に二値化された補助差分画像abが抽出される。
【0047】
さらに、1世代前に対する0世代前の主差分画像aと、3世代前に対する0世代前の補助差分画像cとの間で、排他的論理和となる差分を含む補助差分画像acが生成される。かかる補助差分画像acは、主差分画像aの各ブロックのうち主差分画像aだけで差分が検出されたブロック、すなわち主差分画像aだけで「1」に二値化されたブロックと、補助差分画像cの各ブロックのうち補助差分画像cだけで差分が検出されたブロック、すなわち補助差分画像cだけで「1」に二値化されたブロックとが抽出される。すなわち、
図8に示すように、上段の左中および中段の中右のブロックが「1」に二値化された補助差分画像acが抽出される。
【0048】
その上で、1世代前に対する0世代前の主差分画像aから、主差分画像aと補助差分画像bのxor統合がなされた補助差分画像abと、主差分画像aと補助差分画像cのxor統合がなされた補助差分画像acとが差し引かれる。この結果、中段の左および下段の右が目的の補正済主差分画像Zとして抽出される。この際、1世代前の画像に由来するノイズ差分のうち上段の左のブロック、すなわち車両の駐車のノイズ差分が補助差分画像abによって除去される。さらに、上段の中のブロック、すなわち車両の駐車のノイズ差分と、中段の中のブロック、すなわち建物の影のノイズ差分とが補助差分画像acによって除去される。
【0049】
このように、1世代前の画像には、上段の中のブロックで車両の駐車が映っている一方で、2世代前の画像にも、上段の中のブロックで車両の駐車が偶然に共通して映っている。さらに、1世代前の画像には、中段の中のブロックで中段の左のブロックにある建物の影が映っている一方で、2世代前の画像にも、中段の中のブロックで中段の右ブロックにある建物の影が偶然に共通して映っている。これらのノイズ差分は、3世代の画像、すなわち補助差分画像abを用いただけでは、取り除くことができないが、4世代の画像、すなわち補助差分画像acを用いた場合には、取り除くことができる。したがって、多数の世代の画像を用いれば用いるほど目的とする差分以外のノイズ差分の除去を効果的に実行できる。
【0050】
このようにして抽出された補正済主差分画像Zでは、1世代前の画像の下段の右のブロックに映っていた建物の影がノイズ差分として残るものの、これ以外に中段の左のブロックにあった建物が取り壊された固定資産の変更が抽出されている。このため、固定資産の管理や固定資産税の算定を行う閲覧者は、家屋が取り壊された固定資産の変更を効率よく確認できる。したがって、補正済主差分画像Zを固定資産の管理や固定資産税の算定などの用途に有効活用できる。
【0051】
[具体例3]
次に、
図9を用いて、本実施例に係るノイズ差分の除去方法の具体例(3)を説明する。上記の具体例2では、主差分画像aから補助差分画像ab及び補助差分画像acを差し引くにあたって補助差分画像ab及び補助差分画像acを同列に扱って減算を行う場合を例示したが、補助差分画像ab及び補助差分画像acの間で重み付けを行った上で主差分画像aからの減算を行うこともできる。
【0052】
図9は、ノイズ差分の除去方法の具体例を示す図である。
図9には、
図8と同様に、3世代前の画像、2世代前の画像、1世代前の画像および0世代前(現在)の画像の計4世代の画像を用いて、1世代前に対する0世代前の主差分画像aからノイズ差分を除去する場合を例示している。なお、
図9においても、
図8と同様に、3世代前の画像、2世代前の画像、1世代前の画像および0世代前(現在)の画像に含まれる被写体が模式化された例を示しており、理解を容易にするために、9個のブロックで仕切って図示している。
【0053】
図9の例では、
図8の例と同様にして、1世代前に対する0世代前の主差分画像aと、2世代前に対する0世代前の補助差分画像bとの間で、排他的論理和となる差分を含む補助差分画像abが生成される。これとともに、1世代前に対する0世代前の主差分画像aと、3世代前に対する0世代前の補助差分画像cとの間で、排他的論理和となる差分を含む補助差分画像acも生成される。
【0054】
ここで、1世代前に対する0世代前の主差分画像aから、主差分画像aと補助差分画像bのxor統合がなされた補助差分画像abと、主差分画像aと補助差分画像cのxor統合がなされた補助差分画像acとを差し引く場合に、補助差分画像abと補助差分画像acとの間で重み付けがなされる。
【0055】
かかる重み付けの一例としては、現在から遠い時点で撮影された画像を含む排他的論理和ほど小さい重みを付与する重み付けを採用することができる。例えば、補助差分画像abの算出には、0世代前の画像、1世代前の画像、2世代前の画像が用いられる一方で、補助差分画像acの算出には、0世代前の画像、1世代前の画像、3世代前の画像が用いられる。このように、補助差分画像abには、最古の画像として2世代前の画像が含まれるとともに、補助差分画像acには、最古の画像として3世代前の画像が含まれる。このため、補助差分画像abの方が補助差分画像acよりも0世代前の画像、すなわち今年の画像に近い画像群で排他的論理和が求められていることがわかる。この場合には、補助差分画像abに補助差分画像acよりも大きな重みが付与されるとともに、補助差分画像acに補助差分画像abよりも小さな重みが付与される。例えば、
図9の例では、一例として、補助差分画像abにおける各ブロックの画素値が0.5に重み付けされるとともに、補助差分画像acにおける各ブロックの画素値が0.3に重み付けされる態様が例示されている。
【0056】
そして、補助差分画像ab及び補助差分画像acに重み付けが行われた後に、1世代前に対する0世代前の主差分画像aから、重み付けが行われた補助差分画像abおよび補助差分画像acが差し引かれる。例えば、9つのブロックのうち上段の左のブロックの例で言えば、「主差分画像aのブロックの値「1」−(補助差分画像abのブロックの値「0.5」+補助差分画像acのブロックの値「0.3」)」という計算によって補正済主差分画像Zのブロックの値が「0.2」と求まる。この結果、上段の左、中、右、中段の左、中、右、下段の左、中、右の順に、各々のブロックの値が「0.2」、「0.7」、「0」、「1」、「0.7」、「0」、「0」、「0」、「1」と減算された補正済主差分画像Zが得られる。
【0057】
このようにして得られた補正済主差分画像Zは、例えば、各ブロックが持つ値によって表示態様、例えば色、塗りつぶしや透明度を段階的に変えて表示させることができる。また、補正済主差分画像Zの各ブロックの値と比較する閾値を設定しておき、かかる閾値未満であるブロックの値をゼロとし、当該ブロックを非差分領域として表示させることもできる。かかる閾値には、任意の値、本例では0以上1以下の値を設定することができる。例えば、補助差分画像ab及び補助差分画像acの同一のブロックで一方の補助差分画像だけ値を持つ場合に補正済主差分画像Zで差分箇所として残す観点から0.5を閾値に設定することもできる。これによって、補正済主差分画像Zの各ブロックにおいて0.5以上の値を持つブロックだけを差分領域として表示させることもできる。このように、主差分画像aから補助差分画像ab及び補助差分画像acを差し引く場合に重み付けを適用することによって、誤って目的の差分まで除去される事態を抑制できる。
【0058】
なお、上記の具体例3では、補助差分画像の重み付け方法の一例として、世代の順番の後先によって重みを付与する場合を例示したが、世代の順番以外の他の基準、あるいはこれらの組合せによって重みを付与することもできる。例えば、固定資産の変更箇所を確認する対象とする世代の基準画像、例えば0世代前の画像が撮影された年月日から各々の画像が撮影された年月日までの時間経過を算出し、その時間経過の長短によって重みを付与することもできる。一例としては、基準画像からの経過時間が短い画像ほど大きい重みを付与する一方で、基準画像からの経過時間が長いほど小さい重みを付与することができる。なお、経過時間は、時間軸を過去または未来に向かう場合にも、基準画像が撮影された年月日を起点とし、時間幅が算出される。
【0059】
[具体例4]
次に、
図10を用いて、本実施例に係るノイズ差分の除去方法の具体例(4)を説明する。上記の具体例1〜3では、模式化されたブロック単位で主差分画像からの補助差分画像の引き算を計算することによって補正済主差分画像を抽出する例について説明したが、かかる計算は、必ずしもブロック単位で実行されずともよい。そこで、本具体例4では、差分のある画素が集合する領域をブロックへ模式化せずに当該領域をそのまま差分領域範囲として引き算を実行する場合について例示する。
【0060】
図10は、ノイズ差分の除去方法の具体例を示す図である。
図10には、
図7に示した例と同様に、2世代前の画像、1世代前の画像および0世代前(現在)の画像の計3世代の画像を用いて、1世代前に対する0世代前の主差分画像aからノイズ差分を除去する場合を例示している。なお、
図10には、各々の世代間で円柱状の地物の影の映り方が異なる画像を図示している。
【0061】
このとき、1世代前の画像および0世代前の画像の間では、
図10に示すように、0世代前の画像上に存在する地物から下方向に延在する半楕円状の影と、1世代前の画像上に存在する地物から右下の斜め方向に延在する半楕円状の影とが互いに重ならない部分を差分領域範囲として含む主差分画像aが得られる。一方、2世代前の画像および0世代前の画像の間では、0世代前の画像上に存在する地物から下方向に延在する半楕円状の影と、2世代前の画像上に存在する地物から右方向に延在する半楕円状の影とが互いに重ならない部分を差分領域範囲として含む補助差分画像bが得られる。
【0062】
続いて、1世代前に対する0世代前の主差分画像aと、2世代前に対する0世代前の補助差分画像bとの間で、排他的論理和となる差分を含む補助差分画像abが生成される。これら主差分画像aおよび補助差分画像bのうち、主差分画像aには、1世代前の画像に由来する差分、すなわち地物から右下の斜め方向に延在する影が差分領域範囲として含まれる一方で、補助差分画像bには、1世代前の画像に由来する差分は含まれない。このため、主差分画像aおよび補助差分画像bの間で排他的論理和を論理演算すると、1世代前の画像に由来する差分、すなわち地物から右下の斜め方向に延在する影の部分を差分領域範囲として含んだ補助差分画像abが抽出される。
【0063】
その後、1世代前に対する0世代前の主差分画像aから、主差分画像aと補助差分画像bのxor統合がなされた補助差分画像abが差し引かれる。この結果、主差分画像aに含まれていた差分領域範囲のうち1世代前の画像に由来する差分、すなわち地物から右下の斜め方向に延在する影の部分が補助差分画像abとの間で重複し、当該影の部分が引き算によってゼロが算出される。よって、補正済主差分画像Zからは、
図7に示した例と同様に、1世代前の画像に由来するノイズ差分、すなわち地物から右下の斜め方向に延在する影の部分を除去できる。このように、主差分画像および補助差分画像の間で差分領域範囲の論理演算を実行することによって得られた補正済主差分画像Zについても、固定資産の管理や固定資産税の算定などの用途に有効活用できる。
【0064】
[処理の流れ]
図11は、実施例に係る画像処理の手順を示すフローチャートである。この画像処理は、一例として、複数世代の画像がサーバ装置10へアップロードされたり、あるいはサーバ装置10上に保存された複数世代の画像が指定されたりする場合に、処理が起動される。
【0065】
図11に示すように、取得部13によってクライアント端末30から複数世代の画像が取得されたり、画像記憶部12に記憶された複数世代の画像が読み出されると(ステップS101)、検出部14は、次のような処理を実行する。すなわち、検出部14は、ステップS101で取得された複数世代の画像のうち0世代前の画像と1世代前の画像との間で差分を検出することによって1世代前に対する0世代前の主差分画像Xを生成する(ステップS102)。
【0066】
続いて、検出部14は、2世代前以降のn世代の画像を1つ選択する(ステップS103)。そして、検出部14は、ステップS103で選択されたn世代前の画像と、0世代前の画像との間で差分を検出することによってn世代前に対する0世代前の補助差分画像Mを生成する(ステップS104)。なお、上記の「n」は、「2」以上、かつ「(ステップS101で取得された画像の世代数)−1」を上限とする整数である。
【0067】
その後、抽出部16は、ステップS102で生成された1世代前に対する0世代前の主差分画像Xと、ステップS104で生成されたn世代前に対する0世代前の補助差分画像Mとの間で、排他的論理和となる差分を含む差分画像XORを生成する(ステップS105)。
【0068】
その上で、抽出部16は、ステップS102で生成された1世代前に対する0世代前の主差分画像XからステップS105で生成された差分画像XORを差し引くことによって1世代前の画像に由来するノイズ差分が除去された補助差分画像Zを抽出する(ステップS106)。
【0069】
続いて、抽出部16は、以降の処理にてステップS106で抽出された補助差分画像ZをステップS102で生成された1世代前に対する0世代前の主差分画像Xの代わりに使用するために、当該補助差分画像Zを図示しない内部メモリに保存された主差分画像Xに上書きすることによって置換する(ステップS107)。その後、ステップS101で取得された画像の中に2世代前以降の世代の画像がなくなるまで(ステップS108No)、上記のステップS103からステップS107までの処理を繰り返し実行する。
【0070】
そして、2世代前以降の世代の画像がなくなると(ステップS108Yes)、出力部17は、内部メモリに保存された補正済主差分画像Xを所定の出力先、例えばクライアント端末30などへ出力し(ステップS109)、処理を終了する。
【0071】
なお、
図11に示したフローチャートでは、1世代前に対する0世代前の主差分画像Xを生成してから、2世代前以降の画像に対する0世代前の補助差分画像Mを生成する場合を例示したが、これらの順番は前後してもよいし、並列して実行させることとしてもかまわない。
【0072】
また、
図11に示したフローチャートでは、ステップS106で1つずつ順番に差分画像XORを差し引く場合を例示したが、2世代前以降の差分画像XORの全てをまとめて差し引くことができるのは言うまでもない。
【0073】
[実施例1の効果]
上述してきたように、本実施例に係るサーバ装置10は、互いに異なる時点で同一の被写領域が撮影された画像の間で差分を抽出する場合に、現在と1世代前の差分及び現在と2世代前の差分を用いて現在と1世代前の差分の一部を抽出する。このため、本実施例に係るサーバ装置10では、1世代前の画像に対する0世代前の画像の差分から、1世代前の画像に由来するカメラ、自然現象や一時的な変化が要因となって検出されたノイズ差分が除去された画像を抽出できる。それゆえ、本実施例に係るサーバ装置10では、目的の差分以外のノイズ差分が削減できる結果、ノイズ差分を目視によって確認する手間を抑制できる。したがって、本実施例に係るサーバ装置10によれば、目視による確認箇所を削減できる。
【実施例2】
【0074】
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【0075】
[補正済主差分画像Zの抽出の応用例]
上記の実施例1では、1世代前に対する0世代前の主差分画像aから主差分画像a及び補助差分画像bの排他的論理和となる補助差分画像abを差し引く場合を例示したが、目的の補正済主差分画像Zを抽出するのに必ずしも補助差分画像abを用いずともよい。例えば、1世代前に対する0世代前の主差分画像aと、2世代前に対する0世代前の補助差分画像bとの論理積を求めることによって目的の補正済主差分画像Zを抽出することもできる。
図12は、抽出の応用例を説明する図である。
図12に示すように、主差分画像aと補助差分画像bとの論理積をとる演算は、主差分画像aから排他的論理和となる補助差分画像abを差し引く演算と等価である。このため、主差分画像aと補助差分画像bとの論理積を求める場合にも、主差分画像aから排他的論理和となる補助差分画像abを差し引く場合と同値の目的の補正済主差分画像Zを得ることができる。
【0076】
このように、主差分画像及び補助差分画像の論理積を求めることによって次のような効果を得ることができる。例えば、上記の論理積の方式では、多段階に処理を行う場合、結果を確認しながら段階的に補正を行うこと、言い換えればノイズ差分を乗り除いていくことができる。
【0077】
[差分画像の用途]
上記の実施例1では、補正済主差分画像Zを固定資産の管理や固定資産税の算定などの用途に活用する場合を例示したが、被写領域は固定資産に関するものに限定されない。例えば、圃場を被写領域として差分を抽出することによって圃場の区画管理を行うこととしてもよいし、森林や投棄物を被写領域として差分を抽出することによって違法に伐採された森林、あるいは不法投棄の監視に適用することとしてもよい。
【0078】
[基準とする世代]
上記の実施例1では、去年から今年にかけて固定資産に変更箇所があるかどうかを確認するのを支援する観点から0世代前の画像を基準に差分画像の生成、ノイズ差分の除去を実行する場合を例示したが、他の世代の画像を基準とすることとしてもかまわない。例えば、s年前の固定資産に変更箇所があるかどうかを確認するのを支援する場合には、s年前よりも後の世代を基準に差分画像の生成、ノイズ差分の除去を実行することとしてもよい。
【0079】
また例えば、昔撮影した画像を基準として、それ以降の地物の状態の変更箇所を把握する作業を支援する場合には、該昔撮影した画像を最古画像として、該最古画像よりもn世代後(nは1以上の整数)の画像を複数利用すればよい。そして、
図11のフローに示した処理において、n世代“前”と記載されている箇所につき、n世代“後”と読み替えて処理を実行すればよい。また例えば、m世代ある画像のうち、最古でも最新でもない中間の世代Cの画像を基準にして、処理を行うこともできる。その場合には、世代Cよりも昔の世代については、世代Cを0世代前として
図11のフローに示した処理を行い、世代Cよりも後の世代については、世代Cを0世代として、
図11のフローに示した処理において、n世代“前”と記載されている箇所につき、n世代“後”と読み替えて処理を実行すればよい。
【0080】
[スタンドアローン]
上記の実施例1では、サーバ装置10がクライアント端末30へ画像提供サービスを提供するクライアントサーバシステムの例を説明したが、取得部13、検出部14、抽出部16及び出力部17を有する画像処理装置がスタンドアローンで動作することもできる。
【0081】
[分散および統合]
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部13、検出部14、抽出部16または出力部17をサーバ装置10の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部13、検出部14、抽出部16または出力部17を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のサーバ装置10の機能を実現するようにしてもよい。
【0082】
[画像処理プログラム]
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、
図13を用いて、上記の実施例と同様の機能を有する画像処理プログラムを実行するコンピュータの一例について説明する。
【0083】
図13は、実施例1及び実施例2に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。
図13に示すように、コンピュータ100は、操作部110aと、スピーカ110bと、カメラ110cと、ディスプレイ120と、通信部130とを有する。さらに、このコンピュータ100は、CPU150と、ROM160と、HDD170と、RAM180とを有する。これら110〜180の各部はバス140を介して接続される。
【0084】
HDD170には、
図13に示すように、上記の実施例1で示した取得部13、検出部14、抽出部16及び出力部17と同様の機能を発揮する画像処理プログラム170aが予め記憶される。この画像処理プログラム170aについては、
図2に示した各々の取得部13、検出部14、抽出部16及び出力部17の各構成要素と同様、適宜統合又は分離しても良い。すなわち、HDD170に格納される各データは、常に全てのデータがHDD170に格納される必要はなく、処理に必要なデータのみがHDD170に格納されれば良い。
【0085】
そして、CPU150が、画像処理プログラム170aをHDD170から読み出してRAM180に展開する。これによって、
図13に示すように、画像処理プログラム170aは、画像処理プロセス180aとして機能する。この画像処理プロセス180aは、HDD170から読み出した各種データを適宜RAM180上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、画像処理プロセス180aは、
図2に示した取得部13、検出部14、抽出部16及び出力部17にて実行される処理、例えば
図11に示す処理を含む。また、CPU150上で仮想的に実現される各処理部は、常に全ての処理部がCPU150上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。
【0086】
なお、上記の画像処理プログラム170aについては、必ずしも最初からHDD170やROM160に記憶させておく必要はない。例えば、コンピュータ100に挿入されるフレキシブルディスク、いわゆるFD、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ100がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、LAN、WANなどを介してコンピュータ100に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ100がこれらから各プログラムを取得して実行するようにしてもよい。