【新規性喪失の例外の表示】特許法第30条第2項適用 (その1)開催日 平成30年10月29日(現地時間) 集会名、開催場所 Digital Heritage 2018 3rd International Congress & Expo フォート メイソン センター(2 Marina Boulevard,San Francisco,CA)
【文献】
上椙 英之, 上椙 真之, 多仁 照廣,石造遺物デジタルアーカイブ構築のための画像解析法の開発,情報処理学会研究報告,日本,一般社団法人情報処理学会,2012年10月05日,No.2012-CH-96, Vol.6,PP.1-6
(58)【調査した分野】(Int.Cl.,DB名)
前記平滑化画像生成部は、前記平滑化処理として、平滑化フィルタ、メディアンフィルタ、およびガウシアンフィルタのいずれか一つまたはこれらの組み合わせを、前記輝度変化画像に適用して前記平滑化画像を生成する、請求項1に記載の画像処理装置。
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、3DスキャナやSfM/MVS技術を用いて三次元形状を記録する方法は、次のような欠点を抱えている。例えば、対象物の形状データの取得および解析には高価な撮像装置や高性能の計算機が必要とされる。対象物に応じてSfM/MVSの解析パラメータを調整するためには、ユーザに専門的な知識が必要とされる。計算機による解析処理にも比較的長い時間(例えば、現状では約6時間)を要しており、石碑等の文化財を調査する現場において解析結果を確認することは困難である。
【0007】
記録した三次元形状のデータを確認した結果、データに欠損がある場合や解析結果が不鮮明である場合には、調査現場において再調査が必要になる。しかしながら、例えば海外の遺跡での調査や膨大な数の悉皆調査では、現場において調査を行う機会自体が限られている。よって、3DスキャナやSfM/MVS技術を用いて三次元形状を記録する方法や特許文献1の技術は、調査現場において石碑等の拓本を取得するフィールドワークには適していない。対象物の表面に形成されている凹凸の画像(以下、拓本画像と呼ぶ)を迅速かつ簡便に取得する手法が求められている。
【0008】
本発明の目的は、迅速かつ簡便に対象物の拓本画像を生成するための画像処理装置を提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するための本発明は、例えば以下に示す態様を含む。
(項1)
対象物の表面に形成された凹凸を含む背景画像を取得する背景画像取得部と、
前記表面の少なくとも一部に斜めの光が照射された斜光画像を取得する斜光画像取得部と、
前記斜光画像の輝度値から前記背景画像の輝度値を減算することにより、前記光が照射されたことによる輝度変化を表す輝度変化画像を生成する輝度変化画像生成部と、
前記輝度変化画像に平滑化処理を適用して、平滑化画像を生成する平滑化画像生成部と、
前記平滑化画像の輝度値から前記輝度変化画像の輝度値を減算することにより、前記凹凸が強調された強調画像を生成する強調画像生成部と、
を備える、画像処理装置。
(項2)
前記平滑化画像生成部は、前記平滑化処理として、平滑化フィルタ、メディアンフィルタ、およびガウシアンフィルタのいずれか一つまたはこれらの組み合わせを、前記輝度変化画像に適用して前記平滑化画像を生成する、項1に記載の画像処理装置。
(項3)
前記強調画像生成部は、
前記平滑化画像の輝度値から、前記輝度変化画像の前記平滑化画像よりも輝度が低い部分の輝度値を減算することにより低輝度強調画像を生成し、
前記輝度変化画像の前記平滑化画像よりも輝度が高い部分の輝度値から、前記平滑化画像の輝度値を減算することにより高輝度強調画像を生成し、
前記低輝度強調画像および前記高輝度強調画像を合成して、前記強調画像を生成する、項1に記載の画像処理装置。
(項4)
前記斜光画像取得部は、前記光の照射領域が異なる複数の前記斜光画像を取得し、
前記照射領域が異なる前記斜光画像のそれぞれについて作成された複数の前記強調画像を合成する強調画像合成部をさらに備える、項1から3のいずれかに記載の画像処理装置。
(項5)
前記強調画像合成部は、前記強調画像内の前記凹凸の輝度に基づいて、複数の前記強調画像を比較明合成する、項4に記載の画像処理装置。
(項6)
対象物の表面に形成された凹凸を含む背景画像を取得する背景画像取得ステップと、
前記表面の少なくとも一部に斜めの光が照射された斜光画像を取得する斜光画像取得ステップと、
前記斜光画像の輝度値から前記背景画像の輝度値を減算することにより、前記光が照射されたことによる輝度変化を表す輝度変化画像を生成する輝度変化画像生成ステップと、
前記輝度変化画像に平滑化処理を適用して、平滑化画像を生成する平滑化画像生成ステップと、
前記平滑化画像の輝度値から前記輝度変化画像の輝度値を減算することにより、前記凹凸が強調された強調画像を生成する強調画像生成ステップと、
を含む、画像処理方法。
(項7)
項1から5に記載の画像処理装置の各部として、コンピュータを機能させるためのプログラム。
【発明の効果】
【0010】
本発明によると、迅速かつ簡便に対象物の拓本画像を生成するための画像処理装置を提供することができる。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態を、添付の図面を参照して詳細に説明する。なお、以下の説明および図面において、同じ符号は同じまたは類似の構成要素を示すこととし、よって、同じまたは類似の構成要素に関する重複した説明を省略する。
[発明の概要]
【0013】
図1は、本発明の一実施形態に係る画像処理装置の使用態様を説明するための図である。
【0014】
一実施形態に係る画像処理装置1は、対象物9の表面に形成されている凹凸8の画像(拓本画像)を生成する装置である。対象物9の表面は外部撮像装置2を用いて撮像され、撮像画像は、例えばBluetooth(登録商標)等の無線接続または有線接続により、画像処理装置1に転送される。
【0015】
画像処理装置1は、背景画像および斜光画像の2種類の撮像画像を用いて、拓本画像として、凹凸8が強調された強調画像を生成する。生成した拓本画像は、例えば画像処理装置1の表示部15に表示される。背景画像は、対象物9の表面に形成された凹凸8を含む画像である。斜光画像は、対象物9の表面の少なくとも一部に斜めの光が照射された画像である。斜めの光は光源3を用いて対象物9の表面に部分的に照射される。本実施形態では、対象物9の表面への斜めの光の照射は、画像処理装置1のユーザにより行われる。
【0016】
対象物9は、好ましくは天然素材による構造物であり、凹凸8は構造物に形成されている文字または模様である。本実施形態では、対象物9は石碑であり、画像処理装置1は、石碑9に彫刻されている文字の拓本画像として強調画像を生成する。
【0017】
外部撮像装置2は、例えばCMOSイメージセンサまたはCCDイメージセンサ等の撮像素子を備える例えば市販のデジタルカメラ等の装置で構成されている。本実施形態では、外部撮像装置2には、適切な焦点距離を有する光学レンズ4が装着され、外部撮像装置2は、三脚5により撮像位置が固定されて対象物9の全体を撮像する。他の実施形態では、動画を撮影するビデオカメラ等で外部撮像装置2を構成し、撮影した動画から対象物9の表面を含む静止画像を切り出して使用してもよい。
【0018】
光源3には、例えば市販のLED照明等の照明器具を用いることができる。好ましくは、光源3の波長は可視光域の波長である。光源3の波長は、外部撮像装置2の受光特性に応じて種々の波長を用いることができる。
[装置の構成]
【0019】
図2は、本発明の一実施形態に係る画像処理装置の機能を説明するためのブロック図である。
【0020】
一実施形態に係る画像処理装置1は、データ処理部12と、補助記憶装置13と、入力部14と、表示部15と、通信インタフェース部(通信I/F部)16とを備えている。本実施形態では、タブレット端末またはスマートフォン(以下、タブレット端末等と記載する)を用いて画像処理装置1を構成する。他の実施形態では、画像処理装置1は、外部撮像装置2に代えて撮像部11を備えることができる。撮像部11には、例えばタブレット端末等に予め設けられているCMOSイメージセンサ等の撮像素子を用いることができる。さらに他の実施形態では、画像処理装置1には例えばノートブックPC等の汎用コンピュータを用いることができる。
【0021】
本実施形態では、画像処理装置1は、ハードウェアの構成として、補助記憶装置13、入力部14、表示部15および通信I/F部16を備えている。図示していないが、画像処理装置1は、ハードウェアの構成として、データ処理を行うCPU等のプロセッサと、プロセッサがデータ処理の作業領域に使用するメモリとをさらに備えている。
【0022】
補助記憶装置13は、オペレーティングシステム(OS)、各種制御プログラム、および、プログラムによって生成されたデータなどを記憶する不揮発性の記憶装置であり、例えば、フラッシュメモリやeMMC(embedded Multi Media Card)、SSD(Solid State Drive)等によって構成される。本実施形態では、補助記憶装置13には、背景画像31、斜光画像32、輝度変化画像33、平滑化画像34、強調画像35、および画像処理プログラムPが記憶される。
【0023】
背景画像31は、対象物9の表面に形成された凹凸8を含む画像である。斜光画像32は、対象物9の表面の少なくとも一部に斜めの光を照射した時の画像である。輝度変化画像33は、対象物9の表面の少なくとも一部に斜めの光が照射されたことによる輝度変化を表す画像である。輝度変化画像33は、斜光画像32および背景画像31に基づいて生成される。平滑化画像34は、輝度変化画像33に平滑化処理を適用した画像である。強調画像35は、対象物9の表面に形成された凹凸8が強調された画像である。強調画像35は、平滑化画像34および輝度変化画像33に基づいて生成される。
【0024】
本実施形態では、背景画像31および斜光画像32は、例えば8ビット(輝度値が0〜255の合計256階調)のグレースケール画像として記憶される。輝度変化画像33、平滑化画像34、および強調画像35も8ビットのグレースケール画像として生成され、拓本画像も8ビットのグレースケール画像として生成される。
【0025】
画像処理プログラムPは、ソフトウェアによる機能ブロックである後述するデータ処理部12内の各部21〜26を実現するためのコンピュータプログラムである。画像処理プログラムPは、通信I/F部16により接続されるインターネット等のネットワークを介して画像処理装置1にインストールしてもよい。あるいは、画像処理プログラムPを記録したメモリカード等のコンピュータ読み取り可能な非一時的な有体の記録媒体を画像処理装置1に読み取らせることにより、画像処理プログラムPを画像処理装置1にインストールしてもよい。画像処理プログラムPは、例えばタブレット端末等のアプリケーションとすることができる。
【0026】
入力部14は、例えばマウスやキーボード等で構成することができ、表示部15は、例えば液晶ディスプレイおよび有機ELディスプレイ等で構成することができる。本実施形態では、入力部14および表示部15はタッチパネルとして一体化されている。
【0027】
通信I/F部16は、有線または無線のネットワークを介して、外部撮像装置2等の外部機器とのデータの送受信を行う。通信I/F部16は、Bluetooth(登録商標)、Wi-Fi(登録商標)、およびZigBee(登録商標)等の種々の無線接続または有線接続であってもよい。他の実施形態において、外部撮像装置2に代えて撮像部11を用いる場合、通信I/F部16は省略することもできる。
【0028】
本実施形態では、画像処理装置1は、ソフトウェアの構成としてデータ処理部12を備えている。データ処理部12は、プロセッサが画像処理プログラムPを実行することにより実現される機能ブロックである。
【0029】
背景画像取得部21は、対象物9の表面に形成された凹凸8を含む背景画像31を取得する。取得した背景画像31は補助記憶装置13に記憶される。本実施形態では、背景画像31は外部撮像装置2を介して取得する。取得した背景画像31が例えばRGB24ビットのフルカラーでありグレースケール画像ではない場合、背景画像取得部21は、取得した背景画像31を例えば8ビットのグレースケール画像に変換して記憶することができる。
【0030】
斜光画像取得部22は、対象物9の表面の少なくとも一部に斜めの光が照射された斜光画像32を取得する。取得した斜光画像32は補助記憶装置13に記憶される。本実施形態では、斜光画像32は外部撮像装置2を介して取得する。取得した斜光画像32が例えばRGB24ビットのフルカラーでありグレースケール画像ではない場合、斜光画像取得部22は、取得した斜光画像32を例えば8ビットのグレースケール画像に変換して記憶することができる。斜めの光は光源3を用いて対象物9の表面に部分的に照射されており、斜光画像取得部22は、光源3により対象物9の表面に照射される光の領域に応じて、光の照射領域が異なる複数の斜光画像32を取得する。
【0031】
輝度変化画像生成部23は、斜光画像32および背景画像31に基づいて、光が照射されたことによる輝度変化を表す輝度変化画像33を生成する。生成した輝度変化画像33は補助記憶装置13に記憶される。本実施形態では、輝度変化画像生成部23は、斜光画像32と背景画像31との差分により、輝度変化画像33を生成する。
【0032】
平滑化画像生成部24は、輝度変化画像33に平滑化処理を適用して、平滑化画像34を生成する。生成した平滑化画像34は補助記憶装置13に記憶される。平滑化画像生成部24は、平滑化処理として、平滑化フィルタ、メディアンフィルタ、およびガウシアンフィルタのいずれか一つまたはこれらの組み合わせを、輝度変化画像33に適用して平滑化画像34を生成する。これら3つのフィルタはいずれもローパスフィルタとして機能する。本実施形態では、平滑化画像生成部24は、輝度変化画像33に平滑化フィルタを適用して平滑化画像34を生成する。
【0033】
強調画像生成部25は、平滑化画像34および輝度変化画像33に基づいて、凹凸が強調された強調画像35を生成する。生成した強調画像35は補助記憶装置13に記憶される。本実施形態では、強調画像生成部25は、平滑化画像34と輝度変化画像33との差分により、強調画像35を生成する。
【0034】
強調画像合成部26は、照射領域が異なる斜光画像32のそれぞれについて作成された複数の強調画像35を合成する。本実施形態では、強調画像合成部26は、強調画像35内の凹凸の輝度に基づいて、複数の強調画像35を比較明合成する。強調画像合成部26は、合成した強調画像を、拓本画像として例えば表示部15に表示する。強調画像合成部26は、合成した強調画像を例えば補助記憶装置13に記憶してもよい。
[処理手順]
【0035】
図3は、本発明の一実施形態に係る画像処理装置を用いて画像処理を行う手順を説明するためのフローチャートである。
【0036】
ステップS1(背景画像取得ステップ)において、対象物9の表面に形成された凹凸8を含む背景画像31を取得する。ここで、対象物9が例えば屋外に存在する場合には、自然光が対象物9全体に概ね均等にあたる状態となっている。取得した背景画像31の一例を
図4に示す。本実施形態では、背景画像31は最初に一度だけ取得する。他の実施形態では、背景画像31は、斜光画像32を取得する度に毎回取得して、常に最新のものを上書きして利用してもよい。
【0037】
ステップS2において、対象物9の表面の少なくとも一部に斜めの光を照射する。本実施形態では、対象物9の表面への斜めの光の照射は、画像処理装置1のユーザにより行われる。ユーザは、光源3を用いて対象物9の表面に斜めの光を部分的に照射する。対象物9の表面に対する照射光の角度は、曲率半径が大きい略平面の表面の場合、好ましくは約5°〜20°の範囲である。ここで、照射光の角度とは、対象物9の表面と光源3から照射される照射光の光軸とがなす角度である。照射光の角度が増大し90°に近づくにつれ、照射光は斜光から正面光となる。
【0038】
なお、対象物9の表面に対する照射光の角度は常に一定である必要はない。対象物9の表面上の同じ照射領域であっても、異なる照射角度で対象物9の表面に斜めの光を照射することができ、それにより、後述するステップS3において、対象物9の表面上の同じ照射領域であっても、異なる斜光画像32を取得することができる。
【0039】
ステップS3(斜光画像取得ステップ)において、対象物9の表面の少なくとも一部に斜めの光が照射された斜光画像32を取得する。取得した斜光画像32の一例を
図5に示す。斜めの光が照射されることにより、斜光画像32は背景画像31と比較して全体的に輝度値が上昇していることがわかる。例示する手順の態様では、光源3は対象物9の右側(
図5の上側)から斜めの光を照射している。斜めの光は光源3を用いて対象物9の表面に部分的に照射されており、光源3により対象物9の表面に照射される光の領域に応じて、光の照射領域が異なる斜光画像32を取得することができる。
【0040】
ステップS4(輝度変化画像生成ステップ)において、斜光画像32および背景画像31に基づいて、光が照射されたことによる輝度変化を表す輝度変化画像33を生成する。生成した輝度変化画像33の一例を
図6に示す。
【0041】
本実施形態では、斜光画像32と背景画像31との差分により、輝度変化画像33を生成する。画像の差分とは、画素毎の輝度値(例えば8ビットの場合は0〜255の範囲の値)の差分であり、斜光画像32および背景画像31で対応する位置の画素について、例えば斜光画像32の輝度値から背景画像31の輝度値を減算することにより算出する。これにより、輝度変化画像33には、斜めに光が照射されたことにより明るくなった輝度値の数値の変化が抽出される。
【0042】
ステップS5(平滑化画像生成ステップ)において、輝度変化画像33に平滑化処理を適用して、平滑化画像34を生成する。生成した平滑化画像34の一例を
図7に示す。本実施形態では、輝度変化画像33に平滑化フィルタを適用して平滑化画像34を生成する。平滑化画像34は、光源3により対象物9の表面に照射された斜めの光による照射領域の形状を抽出した画像である。
【0043】
図8を参照して、平滑化画像34について説明する。
図8は、画像の或る横方向の位置に沿った輝度値の分布を示すグラフである。(A)には輝度変化画像33の輝度値の分布を示すグラフ33gを示し、(B)には平滑化画像34の輝度値の分布を示すグラフ34gを示す。なお、(A)には比較用にグラフ33gおよびグラフ34gの両方を示している。
【0044】
(A)のグラフ33gに示すように、輝度変化画像33では画像内の位置毎に輝度値が激しく変化しており、高周波の成分と低周波の成分とが混在している。グラフ33gの上下の振幅も激しく変化している。例示する手順の態様では、光源3は対象物9の右側(
図7の上側)から斜めの光を照射しており、グラフ33gの右側へ行くにつれて輝度値も上昇している。輝度値の変化は凹凸8による反射光の強度の変化を反映している。例えば凹凸8の影に相当する画像内の位置では輝度値は増加しにくく、斜めの光により凹凸8が直接照射される画像内の位置では輝度値は増加する。
【0045】
これに対し、(B)のグラフ34gに示すように、平滑化画像34では、平滑化処理の適用により画像内の位置毎の輝度値の変化は均されており、平滑化画像34には低周波の成分のみが抽出されている。グラフ34gの上下の振幅の変化も穏やかになっている。これにより、平滑化画像34には、光源3により対象物9の表面に照射された斜めの光による照射領域の形状が抽出される。
【0046】
ステップS6(強調画像生成ステップ)において、平滑化画像34および輝度変化画像33に基づいて、対象物9の表面に形成された凹凸8が強調された強調画像35を生成する。生成した強調画像35の一例を
図9に示す。
【0047】
本実施形態では、平滑化画像34と輝度変化画像33との差分により、強調画像35を生成する。画像の差分は、平滑化画像34および輝度変化画像33で対応する位置の画素について、例えば平滑化画像34の輝度値から輝度変化画像33の輝度値を減算することにより算出する。これにより、強調画像35には、凹凸8の影に対応する部分の輝度値が抽出される。
【0048】
図10を参照して、強調画像35について説明する。
図10は、強調画像を説明するための図である。(A)および(B)は、画像の或る横方向の位置に沿った輝度値の分布を示すグラフである。(A)には、輝度変化画像33および平滑化画像34の対応する画像内の位置について、輝度変化画像33の輝度値の分布を示すグラフ33g(黒色)と、平滑化画像34の輝度値の分布を示すグラフ34g(灰色)とが示されている。(B)には、強調画像35の輝度値の分布を示すグラフ35g(灰色)が示されている。(C)は輝度変化画像33の一部を拡大した図であり、(A)に示すグラフ33gは(C)中の破線LINEに沿った輝度値の分布である。同様に、(D)は強調画像35の一部を拡大した図であり、(B)に示すグラフ35gは(D)中の破線LINEに沿った輝度値の分布である。(A)〜(D)中に示す参照符号Sは、凹凸8の主な影に対応する破線LINE上の部分である。
【0049】
(A)を参照すると、グラフ33gに示すように、凹凸8の影Sに対応する部分の輝度値は概ね20未満と低く、これまでの技術では、この凹凸8の影Sに対応する部分を周囲と比較して高いコントラスト比で抽出することは達成されていない。一方で、グラフ34gに示すように、平滑化画像34では、この凹凸8の影Sに対応する部分の輝度値は、平滑化処理によりその周囲と同程度の輝度値に均されている。本発明では、平滑化画像34から、平滑化画像34の作成の元となった、高周波の成分を含む輝度変化画像33を減算することにより、強調画像35を生成する。これにより、輝度変化画像33のグラフ33gでは輝度値が概ね20未満と低く、平滑化画像34のグラフ34gとの対比では埋もれていた低い輝度値は、減算処理後の強調画像35のグラフ35gでは平滑化画像34の輝度値を基準として反転され、高い輝度値として抽出される。
【0050】
なお、(B)のグラフ35gに示すように、輝度変化画像33の画素のうち、平滑化画像34の輝度値よりも高い輝度値を有する画素については、減算処理により輝度値はゼロとして抽出される。また、そもそも照射領域外の画素の輝度値は概ねゼロであり、平滑化処理により均されても概ねゼロのままであるので、平滑化画像34から輝度変化画像33を減算しても、照射領域外の画素の輝度値は概ねゼロ(すなわち、黒色)のまま抽出される。
【0051】
図6に示す輝度変化画像33では、光源3による光が照射されていない照射領域外の輝度値と、照射領域内の凹凸8の影に対応する部分の輝度値とはいずれも低い。よって、輝度変化画像33を用いて、照射領域内に含まれている凹凸8の影の部分の画素を輝度値に基づいて抽出しようとすると、照射領域外の画素も誤って抽出される。
【0052】
これに対し、本発明では、輝度変化画像33に平滑化処理を適用して平滑化画像34を生成し、生成した平滑化画像34から輝度変化画像33を減算することにより、照射領域外の輝度値と、照射領域内に含まれている凹凸8の影の部分の輝度値とを分離することを可能にしている。
【0053】
図11は、画像間での字形の変化を比較するための図である。(A)は背景画像31であり、(B)は斜光画像32であり、(C)は輝度変化画像33であり、(D)は強調画像35である。(A)〜(D)の各画像には、文字「南無阿弥陀仏」の「陀仏」に相当する部分が示されている。(D)に示す強調画像35では、(A)〜(C)に示す各画像と比較して、凹凸8の影に対応する部分は周囲と比較して高いコントラスト比で抽出されており、文字の形も明瞭に抽出されている。
【0054】
ステップS7において、ユーザが所望する対象物9の表面の領域を全て処理する(ステップS7においてYes)まで、ステップS2から処理を繰り返し、照射領域を変更して複数の強調画像35を次々に生成する。
【0055】
ステップS8(強調画像合成ステップ)において、照射領域が異なる斜光画像32のそれぞれについて作成された複数の強調画像35を合成する。本実施形態では、強調画像35内の凹凸の輝度に基づいて、複数の強調画像35を比較明合成する。比較明合成は画像合成の手法であり、例えば星の軌跡を撮像する際に用いられている。比較明合成には種々の公知の手法を用いることができる。
【0056】
合成された複数の強調画像35は、対象物9の拓本画像として、例えば表示部15に表示される。合成された拓本画像の一例を
図12に示す。なお、ユーザが所望する対象物9の表面の領域が最初の1つ目の領域のみである場合は、本ステップにおける画像合成処理は省略され、ステップS6において生成した1枚の強調画像35がそのまま対象物9の拓本画像となる。
[効果]
【0057】
以上、本発明の一実施形態に係る画像処理装置によると、迅速かつ簡便に対象物の拓本画像を生成することができる。ユーザは専門的な知識を必要とすることなく簡便に、短時間で迅速に対象物の拓本画像を生成することができる。
【0058】
本発明によると、外部撮像装置2または撮像部11を用いて対象物9を撮像した画像を用いて、拓本画像を作成する。これにより、墨と紙を用いた従来の拓本とは異なり、対象物へ接触することなく拓本画像を生成することができ、崩壊や汚損が懸念される資料や水気を嫌う木版画等についても、拓本画像を作成することができる。
【0059】
また、本発明によると、専用の高価な機器を準備する必要はなく、市販の機器を用いて簡便かつ容易に拓本画像を生成することができる。上記した実施形態において例示するタブレット端末等、デジタルカメラおよびLED照明はいずれも市販されている機器である。拓本画像を生成する際の手順も簡便かつ容易である。例えばデジタルカメラにインターバルタイマーを設定して、対象物9を撮像した画像を所定の時間間隔で次々に取得しながら、LED照明等で対象物9に斜めの光を部分的に照射し、照射領域を次々に変更することにより、拓本画像を生成することができる。
【0060】
また、本発明によると、画像処理装置を構成するタブレット端末等、デジタルカメラおよびLED照明は携帯可能なサイズおよび重量であり、拓本画像の作成に要する時間も短時間であることから、石碑等の文化財を調査する現場において迅速に記録結果を確認することができる。記録結果を確認した結果、仮に拓本画像に欠損や不鮮明な箇所があった場合であっても、現場において欠損箇所や不鮮明な箇所について即座に強調画像を追加で生成することができる。これにより再調査のリスクも低下する。
【0061】
また、本発明は文化財調査のフィールドワークにも適している。例えばデジタルカメラに代えて、タブレット端末等に予め設けられている撮像素子を用いることにより、画像処理装置はよりいっそう簡便な構成となる。例えばタブレット端末等に本発明のプログラム(スマートフォンアプリ)をインストールすることにより、フィールドワークの参加者が所有するタブレット端末等を、本発明の画像処理装置とすることができる。これにより、フィールドワークの参加者は、専門的な知識を必要とすることなく迅速かつ簡便に、参加者の郷土に点在する石碑等の拓本画像を生成し記録することができる。また、例えば郷土に存在する石碑等の拓本画像を収集した、郷土史のデジタルデータベースを手軽に作成することができる。
[その他の形態]
【0062】
以上、本発明を特定の実施形態によって説明したが、本発明は上記した実施形態に限定されるものではない。
【0063】
上記実施形態では、対象物9は石碑であり、画像処理装置1は、石碑9に彫刻されている文字の拓本画像として強調画像35を生成しているが、画像処理装置1が生成する拓本画像はこれに限定されない。例えば、画像処理装置1は、版木を対象物9として、版木に彫刻されている模様の拓本画像を生成してもよく、洞窟を対象物9として、洞窟に彫刻されている壁画の拓本画像を生成してもよく、城壁や堀等の石垣を対象物9として、石垣の外観の拓本画像を生成してもよい。強調画像35では対象物9の凹凸8が強調されているが、強調される凹凸8は凹であっても凸であってもよい。
【0064】
上記実施形態では、対象物9は天然素材による構造物であるが、対象物9は構造物であればよく、合成樹脂等の人工素材や例えば細胞等の生体であってもよい。対象物9の寸法も、上記実施形態では数10センチメートルから数メートル程度の肉眼で目視可能な寸法であるが、外部撮像装置2および光学レンズ4の解像度(分解能)の性能に応じた、対象物9の表面に形成された凹凸8を判別可能な寸法であればよい。
【0065】
上記実施形態では、斜光画像32の輝度値から背景画像31の輝度値を減算することにより輝度変化画像33を生成しているが、画像を生成する際の減算は、補数表現を用いた加算により行ってもよい。例えば、2進数で表現されている背景画像31の輝度値の全ビットを反転してから2進数の1を加算することにより、背景画像31の輝度値を補数で表現し、斜光画像32の輝度値と、補数で表現された背景画像31の輝度値とを加算することにより、輝度変化画像33を生成することができる。これにより、画像を加算することにより輝度変化画像33を生成することができる。同様に、平滑化画像34の輝度値と、補数で表現された輝度変化画像33の輝度値とを加算することにより、強調画像35を生成することができる。
【0066】
上記実施形態では、斜光画像32の輝度値から背景画像31の輝度値を減算することにより輝度変化画像33を生成しているが、画像を生成する際の減算の順序は制限されない。例えば、背景画像31および斜光画像32の輝度値を反転させ、輝度値を反転させた背景画像31から輝度値を反転させた斜光画像32を減算することにより、輝度変化画像33を生成してもよい。これにより、輝度変化画像33を生成する際に画像を減算する順序を入れ替えることができる。同様に、輝度変化画像33および平滑化画像34の輝度値を反転させ、輝度値を反転させた輝度変化画像33から輝度値を反転させた平滑化画像34を減算することにより、強調画像35を生成してもよい。なお、輝度値の反転とは、例えば8ビットグレースケールの画像の場合、輝度値を最大階調値の255から減算した値に変換することを意味する。
【0067】
上記実施形態では、斜光画像32と背景画像31との差分により輝度変化画像33を生成しているが、輝度変化画像33を生成する処理はこれに限定されない。輝度変化画像33は、斜光画像32および背景画像31に基づいて生成すればよい。例えば、斜光画像32と背景画像31との差分により得られた画像に、さらに種々の画像処理フィルタを適用することにより、輝度変化画像33を生成してもよい。同様に、平滑化画像34と輝度変化画像33との差分により得られた画像にさらに種々の画像処理フィルタを適用することにより、強調画像35を生成してもよい。
【0068】
上記実施形態では、対象物9の背景画像31は最初に撮像された一枚を取得し、輝度変化画像33はこの最初に撮像された背景画像31を用いて生成しているが、背景画像31の取得は一枚に限定されない。例えば、画像処理装置1のユーザは、光源3と外部撮像装置2または撮像部11とを用いて、背景画像31と斜光画像32とを交互に撮像し、画像処理装置1は、取得した複数の背景画像31および複数の斜光画像32に基づいて、例えば斜光画像32と当該斜光画像32の直前に撮像された背景画像31とのペアに基づいて、輝度変化画像33を生成してもよい。輝度変化画像33を生成する際に用いる背景画像31と斜光画像32とのペアも、時間的に隣接したペアに限定されない。
【0069】
上記実施形態では、照射領域を変更して複数の強調画像35を次々に生成した後に、生成した複数の強調画像35を一括して合成しているが、強調画像35は、ステップS6において生成される度に、これまでの繰り返し処理において既に合成されている強調画像35に順次合成されてもよい。
【0070】
上記実施形態では、平滑化画像34の輝度値から輝度変化画像33の輝度値を減算することにより、凹凸8の影に対応する部分の輝度値が抽出された強調画像35(以下、低輝度強調画像と呼ぶ)を生成し、生成した複数の強調画像35同士を合成して拓本画像を生成しているが、合成する強調画像35は低輝度強調画像の一種類に限定されない。例えば、輝度変化画像33の輝度値から平滑化画像34の輝度値を減算することにより、もう一種類の強調画像として、凹凸8の明るい部分に対応する部分の輝度値が抽出された強調画像(以下、高輝度強調画像と呼ぶ)を生成し、低輝度強調画像と高輝度強調画像とを合成してもよい。低輝度強調画像と高輝度強調画像との合成により得られた複数の強調画像同士を合成して、拓本画像を生成してもよい。
【0071】
図13は、凹凸の表面に光源から斜めの光が照射されている状態を示す模式図である。凹凸8に斜めの光が照射されると、凹凸8の符号Sで示す部分は、光源からの光が十分に照射されず影となり、凹凸8の符号Lで示す部分は、光源からの光が照射されて明るくなる。
【0072】
他の実施形態に係る画像処理方法では、符号Sで示す部分が強調された低輝度強調画像と、符号Lで示す部分が強調された高輝度強調画像とを生成し、これら低輝度強調画像および高輝度強調画像を合成して、強調画像35を生成する。他の実施形態に係る画像処理装置では、強調画像生成部25は、低輝度強調画像および高輝度強調画像の二種類の強調画像を生成する。強調画像生成部25は、平滑化画像34と、輝度変化画像33の平滑化画像34よりも輝度が低い部分との差分により低輝度強調画像を生成し、輝度変化画像33の平滑化画像34よりも輝度が高い部分と、平滑化画像34との差分により高輝度強調画像を生成する。強調画像生成部25は、低輝度強調画像および高輝度強調画像を合成して、強調画像35を生成する。
【0073】
図14を参照して、二種類の強調画像について説明する。
図14は、他の実施形態に係る画像処理方法において生成する低輝度強調画像および高輝度強調画像の二種類の強調画像を説明するための図である。
【0074】
(A)〜(C)は、画像の或る横方向の位置に沿った輝度値の分布を示すグラフである。(A)には、凹凸8の影に対応する部分Sの輝度値が抽出された、低輝度強調画像の輝度値の分布を示すグラフ35g(灰色)が示されている。(B)には、凹凸8の明るい部分Lに対応する部分の輝度値が抽出された、高輝度強調画像の輝度値の分布を示すグラフ35g(黒色)が示されている。(C)は、(A)に示す低輝度強調画像のグラフ35g(灰色)と、(B)に示す高輝度強調画像のグラフ35g(黒色)とを合成したグラフである。(D)は、低輝度強調画像および高輝度強調画像を合成することにより生成された強調画像の一部を拡大した図である。なお、(A)に示すグラフ35gは、
図10(B)に示すグラフ35gと同じである。(D)に示すように、低輝度強調画像および高輝度強調画像を合成すると、凹凸8に対する斜めの光の一回の照射により、凹凸8により構成されている文字の字形の縦方向の線を抽出することができる。
【0075】
このように、他の実施形態に係る画像処理方法では、背景画像および斜光画像の同じ1つのペアから低輝度強調画像および高輝度強調画像の二種類の強調画像を生成してこれらを合成することにより、凹凸8により構成されている文字の字形の補完割合が高い強調画像35を生成することが可能となる。これにより、より少ない撮像枚数にて拓本画像を生成することが可能となる。また、この二種類の強調画像を生成してこれらを合成する態様は、例えば対象物の表面のノイズが少なく、凹凸により構成されている文字が複雑な場合に有用である。対象物の表面のノイズが少ないとは、例えば文字を構成する凹凸以外の凹凸が対象物の表面に形成されている割合が少ないことを意味する。
【0076】
上記実施形態では、画像処理装置1および外部撮像装置2はそれぞれが独立した構成であるが、画像処理装置1および外部撮像装置2は一体化されてもよい。この一体化された構成にさらに光源3を一体化させてもよい。
【0077】
上記実施形態では、対象物9の表面への斜めの光の部分的な照射は、光源3を用いてユーザにより行われているが、光源3を例えばドローン等に搭載してもよい。さらに、画像処理装置1からドローンを制御することにより照射作業を自動化してもよい。ドローンにはさらに外部撮像装置2を搭載してもよい。すなわち、光源3および外部撮像装置2のいずれか一方または両方をドローンに搭載して、画像処理装置1から照射位置および撮像位置のいずれか一方または両方を制御してもよい。
【0078】
データ処理部12の機能および補助記憶装置13内のデータ項目は、一部または全部が、通信I/F部16を介して接続されるサーバ装置(図示せず)においてクラウド化されていてもよい。例えば、輝度変化画像生成部23、平滑化画像生成部24、強調画像生成部25および強調画像合成部26がサーバ装置に設けられていてもよい。この場合、画像処理装置1は、I/F部16を介して背景画像31および斜光画像32をサーバ装置に送信する。サーバ装置の輝度変化画像生成部23、平滑化画像生成部24、強調画像生成部25および強調画像合成部26は、受信した背景画像31および斜光画像32に基づいて、輝度変化画像33、平滑化画像34および強調画像35を生成し、複数の強調画像35を合成する。サーバ装置は、合成した強調画像をI/F部16を介して画像処理装置1に送信し、画像処理装置1は、受信した合成された強調画像を表示部15に表示してもよい。
【0079】
上記実施形態では、データ処理部12を構成する各機能ブロック21〜26はソフトウェアにより実現されているが、これら各機能ブロック21〜26は、一部または全部がハードウェアとして実現されてもよい。データ処理部12を構成する各機能ブロック21〜26の処理は単一のプロセッサで処理される必要はなく、複数のプロセッサで分散して処理されてもよい。
【実施例】
【0080】
以下に本発明の実施例を示し、本発明の特徴をより明確にする。
【0081】
以下の実施例では、画像処理装置1にはMacBook Pro(登録商標)2013を用い、外部撮像装置2にはNikon(登録商標)D810を用いた。外部撮像装置2にはワイヤレストランスミッターを接続し、Wi-Fi(登録商標)により撮像画像を画像処理装置1に転送した。光源3にはペンライト型のLED照明を使用した。対象物9の表面への斜めの光の部分的な照射は、光源3を用いてユーザにより行われた。
【0082】
第1の実施例では、本発明の画像処理装置を用いた方法と従来の他の手法との間で、得られる拓本画像の精度および処理に要する時間を比較した。
【0083】
図15は、本発明の方法と従来の他の手法とを比較するための図である。(A)は従来の墨および紙を用いた紙本拓本の画像である。(B)はSfM技術により記録された三次元形状のデータから切り出した二次元画像である。(C)は本発明の画像処理装置による拓本画像である。(D)は対象物である石碑に記載されている文字の翻刻である。翻刻の出典は、海部郡誌刊行会により編纂され昭和2年に海部郡誌刊行会により発行された「海部郡誌」である。
【0084】
(A)に示す紙本拓本の作製には約30分を要した。(B)に示す二次元画像の作成に要した総作業時間は約6時間57分20秒であった。作業時間の内訳は、撮影に要した時間が約5分40秒であり、解析に要した時間が約6時間51分50秒であった。(C)に示す拓本画像は、後述する第3の実施例において作成した拓本画像であり、拓本画像の生成に要した総作業時間は4分47秒であった。
【0085】
(D)に示す文字の翻刻を基準として、(A)〜(C)に示されている拓本画像の精度について確認した。(C)に示す本発明の画像処理装置による拓本画像が最も鮮明かつ高精度に、(D)に示す翻刻文字を再現していることが確認された。また、(C)に示す本発明の画像処理装置による拓本画像が、最も迅速に生成されていることが確認された。
【0086】
第2の実施例〜第4の実施例では、種々の対象物について、拓本画像の処理に要する時間を検証した。
【0087】
図16は、第2の実施例に係る画像である。(A)は対象物の画像であり、(B)は本発明の画像処理装置による拓本画像である。
【0088】
(A)に示す対象物について、背景画像および斜光画像を交互に撮像して、背景画像および斜光画像のペアを35セット、合計70枚を撮像し、35枚の強調画像を比較明合成することにより(B)に示す拓本画像を生成した。対象物の表面への斜めの光の部分的な照射作業を含む、背景画像の撮像を開始してから拓本画像を得るまで要した総作業時間は6分19秒であった。対象物の合計70枚の画像を撮像した後に撮像画像を画像処理装置に転送して、画像処理装置による画像処理を行い、(B)に示す拓本画像を生成した。画像処理に要した時間は28秒であった。
【0089】
図17は、第3の実施例に係る画像である。(A)は対象物の画像であり、(B)は本発明の画像処理装置による拓本画像である。(C)は(B)の拓本画像を白黒反転して拡大した画像である。
【0090】
(A)に示す対象物について、1枚の背景画像および8枚の斜光画像の合計9枚を撮像し、8枚の強調画像を比較明合成することにより(B)に示す拓本画像を生成した。総作業時間は1分であった。対象物の合計9枚の画像を撮像した後に撮像画像を画像処理装置に転送して、画像処理装置による画像処理を行い、(B)に示す拓本画像を生成した。画像処理に要した時間は7秒であった。(C)に示す白黒反転した拓本画像について、OCR機能を有する市販のソフトウェアにより文字認識を行ったところ、文字の認識率は約88%であった。
【0091】
図18は、第4の実施例に係る画像である。(A)は対象物の画像であり、(B)は本発明の画像処理装置による拓本画像である。(A)に対象物として示す石碑は、徳島県美波町に存在する日本最古の津波碑といわれている。この石碑は、正平16年6月24日(西暦1361年8月3日)に発生した南海地震の津波災害による供養碑とされ、津波災害から20年後の康暦2年(1380)に建立されたため、康暦の碑と呼ばれている。
【0092】
(A)に示す対象物について、背景画像および斜光画像を交互に撮像して、背景画像および斜光画像のペアを224セット、合計448枚を撮像し、224枚の強調画像を比較明合成することにより(B)に示す拓本画像を生成した。総作業時間は4分47秒であった。第4の実施例では、平滑化処理にガウシアンフィルタを用いた。これにより、リアルタイムでの画像転送および画像処理装置でのリアルタイムでの画像処理が可能となった。
【0093】
図19は、第5の実施例に係る画像である。(A)は複数の低輝度強調画像を比較明合成することにより生成した拓本画像であり、(B)は低輝度強調画像および高輝度強調画像の合成画像を複数生成し比較明合成することにより生成した拓本画像である。
【0094】
(A)および(B)に示す拓本画像の生成には、全く同じソースデータの背景画像および斜光画像が用いられた。(A)および(B)の拓本画像を比較すると、石碑に彫刻されている文字(梵字)の字形は、(B)に示す拓本画像の方が(A)に示す拓本画像よりもより鮮明であることが確認された。
【0095】
以上、第1の実施例〜第5の実施例を通じて、本発明の画像処理装置は、迅速かつ簡便に対象物の拓本画像を生成することが可能であることが確認された。