IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 電気化学工業株式会社の特許一覧 ▶ KYOTO’S 3D STUDIO株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024083714
(43)【公開日】2024-06-24
(54)【発明の名称】情報処理システム及びプログラム
(51)【国際特許分類】
   G01B 11/25 20060101AFI20240617BHJP
【FI】
G01B11/25 Z
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022197678
(22)【出願日】2022-12-12
(71)【出願人】
【識別番号】000003296
【氏名又は名称】デンカ株式会社
(71)【出願人】
【識別番号】519358416
【氏名又は名称】KYOTO’S 3D STUDIO株式会社
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人IPX
(72)【発明者】
【氏名】栖原 健太郎
(72)【発明者】
【氏名】西村 和也
【テーマコード(参考)】
2F065
【Fターム(参考)】
2F065AA04
2F065AA25
2F065AA52
2F065AA63
2F065AA65
2F065BB02
2F065BB27
2F065CC14
2F065DD04
2F065FF11
2F065GG04
2F065HH04
2F065JJ01
2F065LL62
2F065MM16
2F065PP22
2F065QQ03
2F065QQ21
2F065QQ24
2F065QQ28
2F065QQ31
2F065QQ41
2F065UU05
(57)【要約】
【課題】輪郭が不明瞭になった造形を可視化することができる情報処理システム等を提供すること。
【解決手段】本発明の一態様によれば、情報処理システムが提供される。この情報処理システムでは、次の各ステップがなされるようにプログラムを実行可能なプロセッサを備える。プロセッサが、取得ステップでは、物体の表面から届く電磁波を検出するセンサの検出結果が示す距離を取得し、距離は、センサから起伏を有する物体の表面の各位置までの距離である。出力ステップでは、取得された距離に基づいて、表面を示す表面画像を出力し、表面画像は、表面の各位置を、起伏における当該各位置の深さに応じた態様で示し、態様は、基準となる深さより浅い位置と深い位置とで異なる。
【選択図】図1
【特許請求の範囲】
【請求項1】
情報処理システムであって、
次の各ステップがなされるようにプログラムを実行可能なプロセッサを備え、
前記プロセッサが、
取得ステップでは、物体の表面から届く電磁波を検出するセンサの検出結果が示す距離を取得し、前記距離は、前記センサから起伏を有する物体の表面の各位置までの距離であり、
出力ステップでは、取得された前記距離に基づいて、前記表面を示す表面画像を出力し、前記表面画像は、前記表面の各位置を、前記起伏における当該各位置の深さに応じた態様で示し、前記態様は、基準となる深さより浅い位置と深い位置とで異なる、情報処理システム。
【請求項2】
請求項1に記載の情報処理システムにおいて、
前記基準となる深さは、前記位置によって異なる、情報処理システム。
【請求項3】
請求項1に記載の情報処理システムにおいて、
前記基準となる深さは、前記物体の素材の欠けやすさに応じた深さである、情報処理システム。
【請求項4】
請求項1に記載の情報処理システムにおいて、
前記基準となる深さは、前記表面が加工された年代に応じた深さである、情報処理システム。
【請求項5】
請求項1に記載の情報処理システムにおいて、
前記基準となる深さは、前記起伏の最深部の深さに応じた深さである、情報処理システム。
【請求項6】
請求項1に記載の情報処理システムにおいて、
前記プロセッサが、
受付ステップでは、前記基準となる深さの入力を受け付け、
前記出力ステップでは、入力された深さを前記基準となる深さとして、前記表面画像を出力する、情報処理システム。
【請求項7】
請求項1に記載の情報処理システムにおいて、
前記取得ステップでは、前記センサの第1の配置での測定結果が示す第1の位置までの距離を取得し、前記センサの第2の配置での測定結果が示す第2の位置までの第2距離を取得し、
前記出力ステップでは、前記第1の配置では前記第2の位置からの電磁波が検出できず、前記第2の配置では前記第1の位置からの電磁波が検出できない場合に、前記第1の配置及び前記第2の配置での測定結果と、前記第1の配置及び前記第2の配置の位置関係とに基づいて、前記第1の位置を示す画素及び前記第2の位置を示す画素を配置した前記表面画像を出力する、情報処理システム。
【請求項8】
請求項1に記載の情報処理システムにおいて、
前記出力ステップでは、前記基準となる深さを変化させて繰り返し前記表面画像を出力し、
前記プロセッサが、
認識ステップでは、出力された前記表面画像に対して所定のパターンとのマッチング処理を実行し、
第2出力ステップでは、前記マッチング処理により所定の類似度以上のパターンが認識された場合、当該パターン及び前記表面画像の出力に用いられた前記基準となる深さを対応付けて出力する、情報処理システム。
【請求項9】
請求項8に記載の情報処理システムにおいて、
前記プロセッサが、
設定ステップにおいて、前記物体の表面のうち前記距離が測定される各位置の間隔を設定し、前記パターンが文字である場合、前記文字の高さ及び幅の少なくとも一方が示す一辺の長さL×係数α÷前記位置の数N(0.1≦α≦0.25、10≦N≦65)が取り得る値の範囲に前記間隔を設定する、情報処理システム。
【請求項10】
請求項9に記載の情報処理システムにおいて、
前記位置の数Nは、20≦N≦55である、情報処理システム。
【請求項11】
請求項10に記載の情報処理システムにおいて、
前記位置の数Nは、25≦N≦45である、情報処理システム。
【請求項12】
請求項1に記載の情報処理システムにおいて、
前記表面画像は、前記表面の各位置を、前記深さに応じた色を前記態様として示し、前記色は、前記基準となる深さより浅い位置又は深い位置において段階的に変化する、情報処理システム。
【請求項13】
プログラムであって、
コンピュータに、請求項1~請求項11の何れか1つに記載の情報処理システムの各ステップを実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、深い文字と浅い文字とで認識方法を異ならせる技術が開示されている。特許文献2には、立体文字の凹凸を3次元計測して物品の外表面から立体文字の高さ又は深さ方向の情報を抽出し、立体文字の高さ又は深さ方向の情報と立体文字に予め対応付けられた文字コードとを比較し、文字コードから、高さ又は深さ方向の情報に対応する事項を選択し、選択された事項を物品に形成された立体文字が表す事項として認識する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002-230482号公報
【特許文献2】特開2011-123707号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
石や岩などを彫ってできた起伏により表された文字等の造形は、時間の経過とともに風化等により削れて輪郭が不明瞭になる。特許文献1、2の技術は、そのような輪郭が不明瞭になった造形を対象としていない。
【0005】
本発明では上記事情に鑑み、輪郭が不明瞭になった造形を可視化することができる情報処理システム等を提供することとした。
【課題を解決するための手段】
【0006】
本発明の一態様によれば、情報処理システムが提供される。この情報処理システムでは、次の各ステップがなされるようにプログラムを実行可能なプロセッサを備える。プロセッサが、取得ステップでは、物体の表面から届く電磁波を検出するセンサの検出結果が示す距離を取得し、距離は、センサから起伏を有する物体の表面の各位置までの距離である。出力ステップでは、取得された距離に基づいて、表面を示す表面画像を出力し、表面画像は、表面の各位置を、起伏における当該各位置の深さに応じた態様で示し、態様は、基準となる深さより浅い位置と深い位置とで異なる。
【0007】
このような態様によれば、輪郭が不明瞭になった造形を可視化することができる。
【図面の簡単な説明】
【0008】
図1】造形可視化システム1の全体構成を示す図である。
図2】サーバ装置10のハードウェア構成を示す図である。
図3】ユーザ端末20のハードウェア構成を示す図である。
図4】スキャナ装置30のハードウェア構成を示す図である。
図5】各装置の制御部の機能構成の一例を示す図である。
図6】可視化処理の一例を示すフロー図である。
図7】測定位置の一例を示す図である。
図8】物体表面41の断面を拡大して示す図である。
図9】表示された基本表面画像の一例を示す図である。
図10】表示された表面画像の一例を示す図である。
図11】表示された表面画像の一例を示す図である。
図12】造形の変化の一例を示す図である。
図13】基準深さテーブルの一例を示す図である。
図14】基準深さテーブルの別の一例を示す図である。
図15】基準深さテーブルの別の一例を示す図である。
図16】大領域及び小領域の一例を示す図である。
図17】補正値テーブルの一例を示す図である。
図18】各装置の制御部の機能構成の別の一例を示す図である。
図19】可視化処理の別の一例を示すフロー図である。
図20】表示されたパターンリストの一例を示す図である。
図21】物体表面41の断面を拡大して示す図である。
図22】点群の一例を示す図である。
図23】各装置の制御部の機能構成の別の一例を示す図である。
図24】可視化処理の別の一例を示すフロー図である。
図25】検出される文字の高さ及び幅の一例を示す図である。
図26】可視化実験の結果の一例を示す図である。
図27】可視化実験の結果の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
【0010】
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体(Non-Transitory Computer-Readable Medium)として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現(いわゆるクラウドコンピューティング)するように提供されてもよい。
【0011】
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、0又は1で構成される2進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ(いわゆる量子ビット)によって表され、広義の回路上で通信・演算が実行されうる。
【0012】
また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。
【0013】
1.ハードウェア構成
本節では、本実施形態に係る造形可視化システムのハードウェア構成について説明する。
【0014】
図1は、造形可視化システム1の全体構成を示す図である。図1においては、造形可視化システム1が備える各装置、各装置を利用するユーザ及び各装置において処理される情報等の概要が示されている。各概要については、他の図も参照しながら随時説明する。
【0015】
造形可視化システム1は、石や木などの素材を彫って形成された文字や記号、絵などの造形を可視化するための処理(以下「可視化処理」と言う)を実行する情報処理システムである。素材に形成されたばかりの造形は容易に認識可能であるが、例えば、何百年も前に作成された寺院や神社の構造物の中には、表面が風化等の影響で削られて、彫られていた文字等の造形が容易に認識できない状態になっているものがある。造形可視化システム1は、そのような造形を認識できるようにするため、可視化処理を実行する。
【0016】
造形可視化システム1は、通信回線2と、サーバ装置10と、ユーザ端末20と、スキャナ装置30とを備える。通信回線2は、インターネット及び構内LAN(Local area network)等を含み、自回線に接続する装置同士のデータのやり取りを仲介する。通信回線2には、サーバ装置10、ユーザ端末20及びスキャナ装置30が有線又は無線で接続されている。サーバ装置10は、可視化処理に含まれる主要な処理を実行する情報処理装置である。ユーザ端末20は、可視化処理の結果を表示したり、可視化処理においてユーザの判断が必要な場合に、ユーザによる入力を受け付けたりする端末である。
【0017】
スキャナ装置30は、レーザー光やミリ波等の電磁波B1を放射して、その反射波B2を検出することで、対象物体4の物体表面41をスキャンする装置である。対象物体4は、人の手で加工された物体であり、本実施形態では、概ね直方体の形で形成された地輪と呼ばれる石造りの物体である。本実施形態では、スキャナ装置30は、対象物体4を鉛直上方からスキャンするため、装置の姿勢を空中で維持しやすい多関節アーム型の構造を採用している。なお、スキャナ装置30は、対象物体4を側方、斜め下方又は斜め上方からスキャンする場合、地上型の構造を採用してもよい。要するに、スキャナ装置30は、対象物体4をスキャンしやすい構造を有していればよい。
【0018】
物体表面41は、彫り又は浮き彫り等により加工された文字等の造形が欠けた状態となった部分を有する面である。つまり、物体表面41は、平らな面だけでなく、彫り又は風化等で欠けた部分による起伏を含んでいる。物体表面41を欠けさせた事象としては、風雨、何らかの物体との衝突又は対象物体4の内部の水分の凝固等を原因とした摩耗、欠損、ひび割れ又は剥離等が含まれる。
【0019】
物体表面41に接する仮想の平面を仮想面41SSとすると、仮想面41SSの法線方向VD1に距離L1だけ離れた測定位置からセンサ部34が測定を行う。この測定位置は、センサ部34がこの測定位置から測定を行った場合、測定されるセンサ部34から仮想面41SSまでの距離がL1となる位置である。
【0020】
図2は、サーバ装置10のハードウェア構成を示す図である。サーバ装置10は、制御部11と、記憶部12と、通信部13と、バス14とを備える。バス14は、サーバ装置10が備える各部を電気的に接続する。
【0021】
(制御部11)
制御部11は、例えば不図示の中央処理装置(Central Processing Unit:CPU)を有するプロセッサである。制御部11は、記憶部12に記憶された所定のプログラムを読み出すことによって、造形可視化システム1に係る種々の機能を実現するコンピュータである。すなわち、記憶部12に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部11によって具体的に実現されることで、制御部11に含まれる各機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、制御部11は単一であることに限定されず、機能ごとに複数の制御部11を有するように実施してもよい。またそれらの組合せであってもよい。
【0022】
(記憶部12)
記憶部12は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部11によって実行される造形可視化システム1に係る種々のプログラム等を記憶するソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。記憶部12は、制御部11によって実行される造形可視化システム1に係る種々のプログラムや変数等を記憶している。
【0023】
(通信部13)
通信部13は、サーバ装置10から種々の電気信号を外部の構成要素に送信可能に構成される。また、通信部13は、外部の構成要素からサーバ装置10への種々の電気信号を受信可能に構成される。さらに好ましくは、通信部13がネットワーク通信機能を有し、これにより通信回線2を介して、サーバ装置10と外部機器との間で種々の情報を通信可能に実施してもよい。
【0024】
図3は、ユーザ端末20のハードウェア構成を示す図である。ユーザ端末20は、制御部21と、記憶部22と、通信部23と、入力部24と、出力部25と、バス26とを備える。バス26は、ユーザ端末20が備える各部を電気的に接続する。制御部21、記憶部22及び通信部23は、図2に示す制御部11、記憶部12及び通信部13と、スペック、モデル等は異なってもよいが、同様のハードウェアである。
【0025】
(入力部24)
入力部24は、キー、ボタン、タッチスクリーン及びマウス等のうちの1以上の入力インターフェースを有し、ユーザによる入力を受け付ける。
(出力部25)
出力部25は、ディスプレイ及びスピーカ等の出力デバイスを有し、表示面に画面、画像、アイコン、テキスト等といった、ユーザが視認可能な態様で生成された視覚情報を表示し、音声を含む音を出力する。
【0026】
図4は、スキャナ装置30のハードウェア構成を示す図である。スキャナ装置30は、制御部31と、記憶部32と、通信部33と、センサ部34と、バス35とを備える。バス35は、スキャナ装置30が備える各部を電気的に接続する。制御部31、記憶部32及び通信部33は、図2に示す制御部11、記憶部12及び通信部13と、スペック、モデル等は異なってもよいが、同様のハードウェアである。
【0027】
(センサ部34)
センサ部34は、物体からの電磁波を検出することで距離を測定するセンサである。センサ部34は、放射部341及び検出部342を備える。放射部341は、制御部11によって制御され、レーザー光又はミリ波等の電磁波を放射する。放射部341が放射した電磁波が物体に到達すると、反射して反射波となり、反射波のうちの一部が検出部342に到達する。検出部342は、放射部341が放射した電磁波の反射波を検出する。
【0028】
検出部342は、検出した反射波を示す検出データを制御部11に供給する。制御部11は、供給された検出データに基づいて、反射波が向かってきた方向と、その方向にある物体までの距離とを算出する。これにより、制御部11は、例えば、図1に示す物体表面41の各位置の3次元空間上の座標を算出することができる。
【0029】
2.機能構成
本節では、本実施形態の機能構成について説明する。前述の通り、各装置の記憶部に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部によって具体的に実現されることで、制御部に含まれる各機能部が実行されうる。
【0030】
図5は、各装置の制御部の機能構成の一例を示す図である。サーバ装置10の制御部11は、サーバ表示部111と、記憶制御部112と、距離取得部113と、表面座標算出部114と、入力受付部115と、表面画像生成部116と、表面画像出力部117と、情報取得部118とを備える。ユーザ端末20の制御部21は、ユーザ表示部211と、操作受付部212とを備える。
【0031】
サーバ表示部111は、造形可視化システム1に関するシステム画面をユーザ端末20に表示させるための処理を実行する。サーバ表示部111は、例えば、HTML(Hyper Text Markup Language)ファイルの生成及び送信等の処理を行い、システム画面を示すウェブページをユーザ端末20に表示させる。なお、サーバ表示部111は、造形可視化システム1を利用するためのアプリケーションの表示用データの生成及び送信等の処理を行ってもよい。
【0032】
記憶制御部112は、記憶手段への情報の記憶、更新、削除等の処理を実行する。距離取得部113は、センサの検出結果が示す距離を取得する取得部の一例として機能する。距離取得部113は、物体の表面から届く電磁波を検出するセンサから、起伏を有する物体の表面の各位置までの距離を取得する。図1に示す対象物体4が物体の一例であり、物体表面41が物体の表面の一例であり、センサ部34がセンサの一例である。
【0033】
表面座標算出部114は、距離取得部113により取得された物体の表面の各位置までの距離に基づいて、その表面の各位置の3次元空間上の座標を算出する。入力受付部115は、物体の表面が有する起伏において基準となる深さ(以下「基準深さ」と言う)の入力を受け付ける受付部の一例として機能する。基準深さについては後ほど詳しく説明する。
【0034】
表面画像生成部116は、距離取得部113により取得された距離に基づいて、物体の表面(本実施形態では対象物体4の物体表面41)を示す表面画像を生成する。表面画像出力部117は、表面画像生成部116により生成された表面画像を出力する出力部の一例として機能する。情報取得部118は、表面画像の生成に必要な各種の情報を取得する。各種の情報の詳細は後述する。
【0035】
ユーザ表示部211は、ユーザ端末20が有する表示手段であるディスプレイへの表示を制御する。ユーザ表示部211は、例えば、サーバ表示部111から送信されてくるウェブページ又はアプリの画面を表示手段に表示させる。操作受付部212は、ユーザの操作を受け付ける。
【0036】
3.情報処理
本節では、本実施形態において、造形可視化システム1が備えるプロセッサである各制御部によって実行される情報処理について説明する。各制御部は、素材に形成された造形を可視化する可視化処理を実行する。
【0037】
図6は、可視化処理の一例を示すフロー図である。図6では、サーバ装置10が備える制御部11によって実行される可視化処理が示されている。図6に示す可視化処理は、対象物体4の物体表面41の測定がセンサ部34によって行われることを契機に開始される。まず、サーバ装置10は、S11において、距離取得部113により、センサ部34(センサの一例)から物体表面41(起伏を有する物体の表面の一例)の各位置までの距離を取得する。
【0038】
物体表面41には起伏があるため、センサ部34が1箇所にのみ配置されて測定を行った場合、放射された電磁波が届かない又は反射波が検出部342に届かない死角が発生する場合がある。そこで、センサ部34は、1箇所にのみ配置されて測定を行うのではなく、少なくとも2箇所以上に配置されて測定を行う。
【0039】
図7は、測定位置の一例を示す図である。図7では、図1に示すように物体表面41が鉛直上方を向いており、その物体表面41を鉛直上方から見たところが示されている。物体表面41は、短辺411、長辺412、短辺413及び長辺414を有する長方形の形をしている。図7の例では、センサ部34は、C1、C2、C3、C4という4つの測定位置から測定を行っている。
【0040】
測定位置C1は、短辺411の中央から図1に示す距離L1だけ離れた位置であり、測定位置C2は、長辺412の中央から距離L1だけ離れた位置である。測定位置C3は、短辺411と長辺412とが成す角から距離L1だけ離れた位置であり、測定位置C4は、短辺413と長辺414とが成す角から距離L1だけ離れた位置である。センサ部34は、物体表面41から距離L1だけ離れることで、物体表面41の全体を測定範囲(放射した電磁波が到達する範囲)として含めることができるものとする。
【0041】
センサ部34は、測定位置C1において測定方向D1を向いた配置で測定を行い、位置C2において測定方向D2を向いた配置で測定を行っている。また、センサ部34は、測定位置C3において測定方向D3を向いた配置で測定を行い、測定位置C4において測定方向D4を向いた配置で測定を行っている。測定方向D1、D2、D3、D4は、いずれも、各測定位置から物体表面41の中央C0を向く方向である。
【0042】
距離取得部113は、センサ部34から供給される検出データに基づいて、センサ部34から物体表面41の各位置までの距離を、各測定位置について取得する。ここでいう各位置とは、電磁波の反射波が反射する位置である。センサ部34は、反射波が検出部342に到達する位置については距離を測定することができるが、物体表面41の起伏によって反射波が検出部342に到達しない位置については距離を測定することができない。本実施形態では、センサ部34の配置(測定位置及び測定方向)を図7に示すようにそれぞれ異ならせることで、配置が1つの場合に比べて、上記のように距離が測定できない位置、すなわち死角、を減らすことができる。
【0043】
次に、サーバ装置10は、S12において、表面座標算出部114により、取得された物体の表面の各位置までの距離に基づいて、その表面の各位置の3次元空間上の座標を算出する。表面座標算出部114は、例えば、測定位置C2を原点とし、物体表面41の短辺411に沿った軸をX軸、長辺412に沿った軸をY軸、鉛直に沿った軸をZ軸とする3次元座標系における各位置の座標を算出する。
【0044】
次に、基準深さを決定する基準決定処理が行われる。基準決定処理は、手動モードと自動モードの2通りの方法で行われる。サーバ装置10は、S13において、手動モード及び自動モードのいずれかを選択するモード選択を受け付ける。モード選択は、ユーザの操作又は予め定められた設定に基づいて行われる。まずは、説明が分かりやすい手動モードが選択された場合の基準決定処理について説明する。
【0045】
<手動モードでの基準決定処理>
まず、サーバ装置10は、S21において、表面画像生成部116により、物体の表面を表す表面画像のうち、基準決定の基本となる基本表面画像を生成する。次に、サーバ装置10は、S22において、サーバ表示部111により、生成された基本表面画像をユーザ端末20に出力して表示させる。ここで、基本表面画像を説明する前に、物体表面41の起伏と深さ方向について説明する。
【0046】
図8は、物体表面41の断面を拡大して示す図である。図8では、物体表面41の最浅部41s1、41s2、41s3(以下それぞれを区別しない場合は「最浅部41s」と言う)に接する仮想の平面、すなわち、図1に示す仮想面41SSが二点鎖線で示されている。最浅部とは、物体表面41の起伏のうち最も高い位置、すなわち、最も浅い位置にある部分のことである。
【0047】
また、図8では、物体表面41の最深部41d1、41d2(以下それぞれを区別しない場合は「最深部41d」と言う)に接する仮想の平面である仮想面41SDも二点鎖線で示されている。最深部とは、物体表面41の起伏のうち仮想面41SSから最も離れた位置、すなわち、最も深い位置にある部分のことである。
【0048】
上述した最浅部41s及び仮想面41SSと、最深部41d及び仮想面41SDとは、S12において算出された物体表面41の各位置の3次元空間上の座標によって表される。図1で述べたように、センサ部34は仮想面41SSから距離L1だけ離れている。また、仮想面41SS及び仮想面41SDは距離L10だけ離れている。図8では、形状が分かりやすいように、距離L1に比べて距離L10を実際の縮尺に比べて大きく示している。
【0049】
仮想面41SSの法線方向VD1は最深部41d側から最浅部41s側に向かう方向である。法線方向VD1の反対向きの方向、すなわち、仮想面41SSに直交し、最浅部41s側から最深部41d側に向かう方向を深さ方向DD1とする。図8では、距離L11を基準深さとして示す仮想面STが破線で示されている。仮想面41STから最深部41d1までは距離L12だけ離れている。つまり、距離L10=距離L11(基準深さ)+距離L12となっている。以上を前提として、基本表面画像について説明する。
【0050】
図9は、表示された基本表面画像の一例を示す図である。図9では、最浅部41sを表す画素の輝度が最も高く、最浅部41sから最深部41dにかけて段階的に画素の輝度が低くなる基本表面画像G1が造形可視化システム画面H1に示されている。造形可視化システム画面H1には、段階的に変化する画素の色E1~E8を示す色画像K11と、色画像K11において最浅部41sを仮想的に示す最浅部画像KS1と、色画像K11において最深部41dを仮想的に示す最深部画像KD1とが示されている。
【0051】
色画像K11においては、色E1が最も浅い位置の色であり、色E8が最も深い位置の色を示している。最浅部画像KS1から最深部画像KD1までは、図8で述べたように距離L10だけ離れていることを表しているものとする。ユーザ端末20の操作受付部212は、最浅部画像KS1と最深部画像KD1の間の領域を指示する操作を、基準深さを入力する操作として受け付ける。操作受付部212は、指示された位置を示す操作データをサーバ装置10に送信する。
【0052】
サーバ装置10は、操作データが送信されてくると、S23において、入力受付部115により、その操作データが示す位置を基準深さとする入力を受け付ける。次に、サーバ装置10は、S31において、表面画像生成部116により、基本表面画像G1に含まれる各画素が示す物体表面41の位置の深さと、入力された基準深さとの差分(以下「深さ差分」と言う)を算出する。続いて、サーバ装置10は、S32において、表面画像生成部116により、各画素の色を、その画素が示す位置について算出された深さ差分に応じた色とする表面画像を生成する。そして、サーバ装置10は、S33において、サーバ表示部111により、生成された表面画像をユーザ端末20に出力して表示させる。
【0053】
図10は、表示された表面画像の一例を示す図である。図10では、造形可視化システム画面H1において、図9に示す色E1~E8を示す色画像K11が、基準深さ41tよりも深い位置の画素の色を示している。そして、基準深さ41tよりも浅い位置の画素の色として色F1~F8を示す色画像K12が示されている。色F1~F8も、色E1~E8と同様に、段階的に変化する色を示している。
【0054】
色E1~E8では、色E1が最も基準深さ41tに近い位置の色であり、色E8が最も深い位置の色を示している。また、色F1~F8では、色F1が最も基準深さ41tに近い位置の色であり、色F8が最も浅い位置の色を示している。また、色画像K11においては、最深部41dを仮想的に示す最深部画像KD1と、基準深さ41tを仮想的に表す基準深さ画像KT1とが示されている。色画像K12においては、基準深さ画像KT1と、最浅部41sを仮想的に示す最浅部画像KS1とが示されている。
【0055】
基準深さ画像KT1から最深部画像KD1までは距離L11だけ離れており、最浅部画像KS1から基準深さ画像KT1までは距離L12だけ離れているものとする。従って、距離L11と距離L12の合計は最浅部画像KS1から最深部画像KD1までの距離L10と等しくなる。造形可視化システム画面H1には、基準深さ41tよりも深い位置の画素が色E1~E8によって示され、基準深さ41tよりも浅い位置の画素が色F1~F8によって示された表面画像G2が表示されている。
【0056】
色E1~E8と色F1~F8とは、いずれも少しずつ色が変化するグラデーションとなっている。また、色E1~E8と色F1~F8とでは、互いの色の境界が色E1及び色F1となるが、境界が分かりやすいように、色E1及び色F1は、グラデーションにおける色の間隔よりも大きく色が離れているものとする。例えば、色E1~E8と色F1~F8とは、それぞれ色相環における10度の間隔で色が変化する場合、色E1及び色F1は、10度よりも大きな角度(20度など)だけ色相が離れている。そうすることで、基準深さ41tよりも浅い部分と深い部分との境界が分かりやすいようにしている。
【0057】
続いて、サーバ装置10は、S34において、基準深さの入力を継続するか否かを判定する。継続判定は、例えば、表面画面を視認したユーザによるユーザ端末20対する操作に基づいて行われる。サーバ装置10は、ユーザが継続する操作を行った場合は「継続する」と判定し、S23に戻って基準深さの入力を再び受け付ける。サーバ装置10は、ユーザが入力を終了する操作を行った場合は「継続しない」と判定し、図6に示す可視化処理を終了する。
【0058】
S23に戻った場合、基準深さ画像KT1を上下に移動させる操作が行われると、入力受付部115は、この操作を、基準距離を変更する入力として受け付ける。表面画像生成部116は、表面画像G2に含まれる各画素が示す物体表面41の位置の深さと、変更入力がされた基準深さとの深さ差分を算出し(S31)、各画素の色を、その画素が示す位置について算出された深さ差分に応じた色とする表面画像を生成する(S32)。サーバ表示部111は、生成された表面画像をユーザ端末20に出力して表示させる(S33)。
【0059】
図11は、表示された表面画像の一例を示す図である。図11では、図10と同様に、色画像K11により基準深さ41tよりも深い位置の画素の色が示され、色画像K12により基準深さ41tよりも浅い位置の画素の色が示されている表面画像G3が示されている。基準深さ画像KT1から最深部画像KD1までは距離L21だけ離れており、最浅部画像KS1から基準深さ画像KT1までは距離L22だけ離れているものとする(L21+L22=L10)。
【0060】
表面画像G3においては、図10に示す表面画像G2よりも基準深さ41tを深くしたことで、画像の右上側に「念」という文字TX1が浮かび上がってきている。このように基準深さ41tを変動させて適切な値にすることによって造形が可視化される仕組みについて図12を参照して説明する。
【0061】
図12は、造形の変化の一例を示す図である。図12では、物体表面41の彫り41E1が形成されている部分の断面が拡大して示されている。彫り41E1は、文字を表す線の輪郭41F1を形成している。以下では、彫り41E1により形成される輪郭41F1よりも彫りが彫られている方を内側、その反対側を外側という。図12(a)では、彫り41E1が形成された時点での輪郭41F1が示されている。
【0062】
図12(b)では、彫り41Eが形成されてから月日が経過し、物体表面41が欠けて輪郭の位置が輪郭41F2に変化している。図12(b)の状態では、輪郭41F1があった位置の深さを基準深さ41t1とすることで、輪郭41F1があった位置の内側が色画像K11による色の画素で表され、輪郭41F1があった位置の外側が色画像K12による色の画素で表される。これにより、色画像K11による色の画素と色画像K12による色の画素との境界が輪郭41F1として可視化される。
【0063】
図12(c)では、彫り41Eが形成されてからさらに月日が経過し、物体表面41がさらに欠けて輪郭の位置が輪郭41F3に変化している。図12(c)の状態でも、輪郭41F1があった位置の深さを基準深さ41t2とすることで、輪郭41F1があった位置の内側が色画像K11による色の画素で表され、輪郭41F1があった位置の外側が色画像K12による色の画素で表される。これにより、図12(b)の場合と同様に、色画像K11による色の画素と色画像K12による色の画素との境界が輪郭41F1として可視化される。
【0064】
以上のとおり、表面画像出力部117は、距離取得部113により取得された距離に基づいて、表面を示す表面画像を出力する。表面画像は、起伏を有する表面の各位置を、その起伏におけるそれらの各位置の深さに応じた態様で示す。その態様は、基準となる深さより浅い位置と深い位置とで異なる。本実施形態では、図10に示す表面画像G2及び図11に示す表面画像G3のように、基準深さ41tより浅い位置は色画像K12が示す範囲で段階的に変化する色という態様で示され、基準深さ41tより深い位置は色画像K11が示す範囲で段階的に変化する色という態様で示されている。
【0065】
図9に示す基本表面画像G1を見ても、物体表面41に形成されている造形は分からないが、図11に示すL22を基準深さ41tとすることで、「念」という文字TX1という造形が可視化される。このように、本実施形態によれば、輪郭が不明瞭になった造形を可視化することができる。
【0066】
また、図10図11に示す表面画像G2、G3は、物体表面41の各位置を、最浅部からの深さに応じた色で示す。この色は、物体表面41の各位置の表示態様の一例であり、基準となる深さより浅い位置又は深い位置(本実施形態では両方の位置)において段階的に変化する。このような色の段階的な変化(いわゆるグラデーション)があると、基準深さとは異なる深さでも色の境目ができるので、造形の輪郭が浮かび上がってくる場合がある。これにより、色の変化がない場合に比べて、基準となる深さの見当をつけやすくすることができる。
【0067】
また、入力受付部115は、基準となる深さの入力を受け付ける。そして、表面画像出力部117は、入力された深さを基準となる深さとして、表面画像を出力する。このような態様によれば、基準深さの入力を繰り返し受け付けて表面画像を出力させることができるようになり、造形が認識できるまで基準深さを変化させ続けることができる。また、その際、可視化ができそうな基準深さを人が判断して表面画像を出力させることができる。
【0068】
以上が、手動モードでの基準決定処理の説明である。次に、図6に示すS13において自動モードが選択された場合の基準決定処理を説明する。
【0069】
<自動モードでの基準決定処理>
サーバ装置10は、S11(表面距離を取得)のあと、S41において、情報取得部118により、表面画像の生成に必要な各種の情報を取得する。情報取得部118は、例えば、対象物体4の素材の種類を示す素材情報を取得する。素材の種類とは、例えば、対象物体4が石岩である場合、花崗岩、石灰岩及び堆積岩等の石岩の種類である。例えば、作業者が、対象物体4の表面を観察したりサンプルを取って検査したりすることで素材を判断し、判断した素材をサーバ装置10にユーザ端末20を介して入力することで素材情報が取得される。なお、素材の判断を、人ではなくAI(Artificial Intelligence)等が行ってもよい。
【0070】
次に、サーバ装置10は、S42において、表面画像生成部116により、情報取得部118により取得された情報に基づいて、仮の基準深さを算出する。表面画像生成部116は、素材情報が取得された場合は、例えば、素材情報と仮の基準深さの値とを対応付けた基準深さテーブルを用いて仮の基準深さを算出する。
【0071】
図13は、基準深さテーブルの一例を示す図である。図13では、「硬岩(花崗岩等)」、「中硬岩(石灰岩等)」及び「軟岩(堆積岩等)」という素材情報に、「ST1」、「ST2」及び「ST3」という値(0<ST1<ST2<ST3<L10)が仮の基準深さとして対応付けられた基準深さテーブルTB1が示されている。表面画像生成部116は、情報取得部118により取得された素材情報に基準深さテーブルTB1において対応付けられている値を仮の基準深さとして算出する。
【0072】
対象物体が岩である場合、柔らかい岩であるほど風化等によって欠けやすく、元々の輪郭があった位置が深くなりやすい。図13の例では、基準となる深さが、物体の素材の欠けやすさに応じた深さとなっている。このような態様によれば、対象物体4の素材が分かる場合に、素材が不明な場合に比べて、より適切な仮の基準深さを算出することができ、可視化を容易にすることができる。
【0073】
また、情報取得部118は、S41において、対象物体4の造形が加工された年代を示す年代情報を取得してもよい。例えば、作業者が、対象物体4の設置されていた建物の建造年を調べたりサンプルを取って周知の年代判定の検査を行ったりすることで加工された年代を判断し、判断した年代をサーバ装置10にユーザ端末20を介して入力することで年代情報が取得される。なお、年代の判断を、AI等が行ってもよい。表面画像生成部116は、年代情報が取得された場合は、S42において、例えば、年代情報と仮の基準深さの値とを対応付けた基準深さテーブルを用いて仮の基準深さを算出する。
【0074】
図14は、基準深さテーブルの別の一例を示す図である。図14では、「T1年より後」、「T2年より後でT1年以前」及び「T2年以前」という年代情報に、「ST11」、「ST12」及び「ST13」という値(0<ST11<ST12<ST13<L10)が仮の基準深さとして対応付けられた基準深さテーブルTB2が示されている。表面画像生成部116は、情報取得部118により取得された素材情報に基準深さテーブルTB2において対応付けられている値を仮の基準深さとして算出する。
【0075】
対象物体に造形が形成されてから経過した月日が長いほど風化等が進み、元々の輪郭があった位置が深くなりやすい。そこで、図14の例では、基準となる深さが、表面が加工された年代に応じた深さとなっている。これにより、対象物体4の加工された年代が分かる場合に、その年代が不明な場合に比べて、より適切な仮の基準深さを算出することができ、可視化を容易にすることができる。
【0076】
また、情報取得部118は、S41において、対象物体4の物体表面41の起伏の最深部の深さを示す深さ情報を取得してもよい。情報取得部118は、例えば、距離取得部113が取得するセンサ部34から物体表面41の各位置までの距離が示す各位置の深さのうち最も深いものを最深部の深さとして取得する。表面画像生成部116は、深さ情報が取得された場合は、S42において、例えば、深さ情報と仮の基準深さの値とを対応付けた基準深さテーブルを用いて仮の基準深さを算出する。
【0077】
図15は、基準深さテーブルの別の一例を示す図である。図15では、「D1未満」、「D1以上D2未満」及び「D2以上」という最深部の深さ情報に、「ST21」、「ST22」及び「ST23」という値(0<ST21<ST22<ST23<L10)が仮の基準深さとして対応付けられた基準深さテーブルTB3が示されている。表面画像生成部116は、情報取得部118により取得された深さ情報に基準深さテーブルTB3において対応付けられている値を仮の基準深さとして算出する。
【0078】
最深部が深いほど、輪郭を形成する部分が深くなり、その部分が風化等によって大きく欠ける可能性が高くなる。そこで、図15の例では、基準となる深さが、起伏の最深部の深さに応じた深さとなっている。これにより、基準となる深さが一律である場合に比べて、大きく欠ける可能性が高い箇所ほど基準深さを深くして輪郭があった位置の深さと基準深さとを近づけることができ、起伏の度合いが違っても可視化を容易にすることができる。
【0079】
サーバ装置10は、S42において上記のとおり仮の基準深さを算出すると、次に、S43において、表面画像生成部116により、物体表面41の位置毎に仮の基準深さを補正する。表面画像生成部116は、例えば、物体表面41において、大きな造形が形成される領域(以下「大領域」と言う)に含まれる位置の仮の基準深さが、小さな造形が形成される領域(以下「小領域」と言う)に含まれる位置の仮の基準深さよりも深くなるように補正する。
【0080】
図16は、大領域及び小領域の一例を示す図である。図16(a)では、対象物体4が元々設置されていた状態にした場合に、物体表面41のうち、鉛直上方にある一定の割合の領域を大領域R11とし、それ以外の領域を小領域R12として定めている。大領域R11は、造形として横書きの文字が形成される場合に、小領域R12に比べて、タイトルのように大きい文字が形成されやすい領域である。
【0081】
図16(b)では、対象物体4が元々設置されていた状態にした場合に、物体表面41のうち、右側にある一定の割合の領域を大領域R21とし、それ以外の領域を小領域R22として定めている。大領域R21は、造形として縦書きの文字が形成される場合に、小領域R22に比べて、タイトルのように大きい文字が形成されやすい領域である。
【0082】
表面画像生成部116は、例えば、物体表面41における位置と基準深さの補正値とを対応付けた補正値テーブルを用いて基準深さを補正する。
図17は、補正値テーブルの一例を示す図である。図17では、「大領域」及び「小領域」という位置に、「K1」及び「K2」という値(0<K1<K2)が補正値として対応付けられた補正値テーブルTB4が示されている。
【0083】
表面画像生成部116は、大領域の画素については、S42において算出した基準深さに大領域に対応付けられている補正値K1を乗じた値を基準深さとして算出する。また、表面画像生成部116は、小領域の画素については、S42において算出した基準深さに小領域に対応付けられている補正値K2を乗じた値を基準深さとして算出する。S43の補正の後は、S31(基準深さとの差分算出)以降の処理が実行される。
【0084】
これらの補正をすることで、基準となる深さが、位置によって異なるものとなる。具体的には、大領域に含まれる位置の基準深さは、少領域に含まれる位置の基準深さに比べて深くなる。タイトルのように大きい造形は、小さい造形に比べて、深く彫って形成される場合が多く、最深部が深くなりやすい。そのため、上記のとおり基準深さを補正することで、図15の例と同様に、基準となる深さが一律である場合に比べて、大きく欠ける可能性が高い箇所ほど基準深さを深くして輪郭があった位置の深さと基準深さとを近づけることができ、欠け具合が異なる位置の造形を共に可視化することができる。
【0085】
以上が自動モードでの基準決定処理である。なお、自動モードでの基準決定処理により決定された基準深さを、手動モードでの基準決定処理により微修正してより適切な基準深さ(造形が可視化される基準深さ)が決定されるようにしてもよい。このように自動モードを経由することで、最初から手動モードで基準深さを決定する場合に比べて、造形を可視化する基準深さを見つけやすくすることができる。なお、手動モードと自動モードの一方のモードの基準決定処理だけが実行されてもよい。
【0086】
また、本実施形態では、距離取得部113は、図7で述べたように、センサ(本実施形態ではセンサ部34)の第1の配置での測定結果が示す第1の位置までの距離を取得し、センサの第2の配置での測定結果が示す第2の位置までの第2距離を取得する。例えば、第1の配置が図7に示す測定位置C1への配置であり、第2の配置が図7に示す測定位置C2への配置であったとする。その場合に、第1の配置からは測定可能だが第2の配置からは死角になっていて測定できない位置が第1の位置の一例であり、第2の配置からは測定可能だが第1の配置からは死角になっていて測定できない位置が第2の位置の一例である。
【0087】
表面画像出力部117は、そのように、第1の配置では第2の位置からの電磁波が検出できず、第2の配置では第1の位置からの電磁波が検出できない場合に、第1の配置及び第2の配置での測定結果と、第1の配置及び第2の配置の位置関係とに基づいて、第1の位置を示す画素及び第2の位置を示す画素を配置した表面画像を出力する。第1の配置及び第2の配置の位置関係が分かっている場合、各配置でのセンサ部34から第1の位置までの距離と第2の位置までの距離が測定され、また、各位置のセンサ部34から見た方向も検出された反射波の方向から分かるので、第1の位置と第2の位置との位置関係も算出可能となる。
【0088】
このような態様によれば、複数の配置からそれぞれ測定された距離に基づいて、それらの配置で互いに死角になっていた位置の画素を1つの表面画像に表すことができるので、可視化された造形の死角を減らすことができる。
【0089】
<その他の実施形態>
【0090】
<画像認識技術の利用>
造形を可視化する際に、画像認識技術を利用してもよい。その場合の機能構成について図18を参照して説明する。
【0091】
図18は、各装置の制御部の機能構成の別の一例を示す図である。サーバ装置10の制御部11は、図5に示す各部に加えて、認識処理部119を備える。認識処理部119は、画像認識技術を用いた処理を実行する認識部の一例として機能する。制御部11が認識処理部119を備える場合のフローについて図19を参照して説明する。
【0092】
図19は、可視化処理の別の一例を示すフロー図である。図19の例では、図6に示すS23(基準深さの入力を受け付け)が、手動ではなく自動で行われる。例えば、入力受付部115は、最初は「0」で、その後は「LT1」、「LT2」、「LT3」、・・・(LT1<LT2<LT3)というように段階的に増えていく基準深さの自動の入力を受け付ける。続いて、S31(基準深さとの差分を算出)、S32(表面画像を生成)、S33(表面画像を出力)の動作が行われる。これにより、表面画像出力部117は、基準となる深さを変化させて繰り返し表面画像を出力する。
【0093】
次に、サーバ装置10は、S35において、認識処理部119により、造形認識処理を実行する。具体的には、認識処理部119は、表面画像出力部117により出力された表面画像に対して所定のパターンとのマッチング処理を実行する。所定のパターンとは、例えば、文字のパターンである。その場合、マッチング処理とは、いわゆるOCR(Optical Character Recognition)の処理である。なお、所定のパターンは、文字のパターンに限らず、その他の記号、紋章又は図形等のパターンであってもよい。それらの場合でも、周知のパターン認識技術を用いてマッチング処理が行われればよい。
【0094】
認識処理部119は、所定の類似度以上のパターンが認識された場合、そのパターンが認識されたと判断する。マッチング処理における類似度(一致度又は近似精度等とも言う)とは、対象となる造形とパターンとが類似する度合いであり、例えば、0%から100%までの数値で表される(完全に同一である場合は100%となる)。続いて、サーバ装置10は、S34において、基準深さの入力を継続するか否かを判定する。継続判定は、図19の例では、S35における造形認識処理の結果に基づいて行われる。
【0095】
サーバ装置10は、造形認識処理により所定のパターンが認識されなかった場合は「継続する」と判定し、S23に戻って基準深さの入力を再び受け付ける。また、サーバ装置10は、造形認識処理により所定のパターンが認識された場合は「継続しない」と判定し、S36において、認識処理部119により、認識されたパターンを出力する。
【0096】
より詳細には、認識処理部119は、マッチング処理により所定の類似度以上のパターンが認識された場合、そのパターン及び表面画像の出力に用いられた基準となる深さを対応付けて出力する第2出力部の一例として機能する。認識処理部119は、例えば、パターン及び基準深さに加え、類似度を対応付けてユーザ端末20に出力する。ユーザ端末20は、ユーザ表示部211により、出力されてきたパターン等を含むパターンリストを表示する。
【0097】
図20は、表示されたパターンリストの一例を示す図である。図20では、「文字M1」、「文字M2」及び「文字M3」等のパターンと、「90%」、「85%」及び「80%」等の類似度と、「ST31」、「ST32」及び「ST33」等の基準深さとを対応付けたパターンリストLT1が表示されている。パターンリストLT1には、以前の可視化処理により出力されたパターン等も含まれている。このようにパターン及び基準深さが対応付けて出力されることで、これらが出力されない場合に比べて、所定のパターンを示す造形を見つけやすくすることができる。
【0098】
<画素の態様>
実施形態では、表面画像は、基準深さ41tよりも深い位置の画素と浅い位置の画素のどちらも同じ8段階のグラデーションで表されたが、7段階以下で表されてもよいし、9段階以上で表されてもよい。また、基準深さ41tよりも深い位置の画素と浅い位置の画素とで段階の数を異ならせてもよい。また、図10及び図11の例では、最浅部41sを示す基準深さ画像KT1から最深部41dを示す最深部画像KD1までの距離を、目盛り間隔が線形になる線形スケールで示したが、目盛り間隔が非線形になる非線形スケール(例えば対数スケール等)で示してもよい。
【0099】
また、実施形態では、深さに応じた態様として色を異ならせていたが、これに限らない。例えば、表面画像は、彩度、明度又は模様等を深さに応じた態様として異ならせてもよい。また、表面画像は、各画素を点滅させるようにして、その点滅の間隔を深さに応じた態様として異ならせてもよい。要するに、基準深さよりも浅い位置と深い位置との境目が分かりやすくなるのであれば、どのような態様で各位置が示されてもよい。
【0100】
<深さの範囲>
図10において、画素の色は、最浅部41sから基準深さ41tまでの範囲(色画像K12により色が示される範囲)と、最深部41dから基準深さ41tまでの範囲(色画像K11により色が示される範囲)とにおいて段階的に示されている。色が段階的に示される深さの範囲は、これに限らない。
【0101】
図21は、物体表面41の断面を拡大して示す図である。図21では、センサ部34から距離L1だけ離れている仮想面41SSよりもセンサ部34から離れた仮想面41SSaと、仮想面41SSよりもセンサ部34に近い仮想面41SSbとが示されている。センサ部34及び仮想面41SSaは距離L1aだけ離れており、センサ部34及び仮想面41SSbは距離L1bだけ離れている(L1b<L1<L1a)。
【0102】
また、図21では、センサ部34から距離L1+距離L10だけ離れている仮想面41SDよりもセンサ部34に近い仮想面41SDaと、仮想面41SDよりもセンサ部34から離れた仮想面41SDbとが示されている。センサ部34及び仮想面41SDaは距離L1a+距離L10aだけ離れており、センサ部34及び仮想面41SDbは距離L1b+距離L10bだけ離れている(L10a<L10<L10b)。
【0103】
表面画像生成部116は、例えば、最浅部41sよりも深い位置を示す仮想面41SSaから基準深さ41tまでの範囲に含まれる位置を段階的に変化する色の画素で示す表面画像を生成してもよい。また、表面画像生成部116は、最深部41dよりも浅い位置を示す仮想面41SDaから基準深さ41tまでの範囲に含まれる位置を段階的に変化する色の画素で示す表面画像を生成してもよい。
【0104】
また、表面画像生成部116は、最浅部41sよりもセンサ部34に近い位置を示す仮想面41SSbから基準深さ41tまでの範囲に含まれる位置を段階的に変化する色の画素で示す表面画像を生成してもよい。また、表面画像生成部116は、最深部41dよりもセンサ部34から遠い位置を示す仮想面41SDbから基準深さ41tまでの範囲に含まれる位置を段階的に変化する色の画素で示す表面画像を生成してもよい。
【0105】
また、仮想面41SSa、仮想面41SSb、仮想面41SDa及び仮想面41SDbのセンサ部34からの距離(以下「仮想面距離」と言う)を、ユーザがユーザ端末20への操作により指定し、変更することができるようにしてもよい。また、基準深さ41tよりも深い位置の画素の色の段階数及び浅い位置の画素の色の段階数(以下「色段階数」と言う)をユーザがユーザ端末20への操作により指定し、変更することができるようにしてもよい。
【0106】
図12で述べたように物体表面41が欠けていくことで元々輪郭であった位置が最浅部よりも深くなっていくが、その欠け具合は一様とは限らない。そのため、輪郭を示す基準深さも複数通りになる場合がある。そのように輪郭を示す基準深さが複数ある場合、仮想面距離及び色段階数の変更を繰り返すことで、それらが一定の場合に比べて、異なる基準深さが示す複数の輪郭を浮かび上がらせやすくすることができる。
【0107】
また、仮想面距離は、基準深さよりも浅い方の仮想面(仮想面41SSa等)までの距離と、基準深さよりも深い方の仮想面(仮想面41SDa等)までの距離のいずれか1つの距離だけが用いられてもよい。その場合、表面画像生成部116は、例えば、基準深さよりも浅い位置の画素だけを段階的に変化する色で示す表面画像を生成し、又は、基準深さよりも深い位置の画素だけを段階的に変化する色で示す表面画像を生成する。
【0108】
この場合でも、表面画像生成部116は、物体表面41の各位置を、起伏における各位置の深さに応じた態様で示し、その態様は、基準となる深さより浅い位置と深い位置とで異なるよういなっている。そのような態様の違いにより、輪郭が不明瞭になった造形を可視化することができる。
【0109】
<点群の間隔>
センサ部34が距離を測定する物体表面41上の位置は「点群」とも呼ばれる。点群の間隔について図22を参照して説明する。
【0110】
図22は、点群の一例を示す図である。図22では、主走査方向DR1に並んだ測定点J101、J102、・・・、J112(それぞれを区別しない場合は「測定点J100」と言う)を含む主走査測定領域RJ1が示されている。各測定点J100は、主走査方向DR1に間隔P1で直線状に並んでおり、同時又は極めて短い時間範囲において測定が行われる。作業者がセンサ部34自体又はセンサ部34の向きを副走査方向DR2に移動させることで、主走査測定領域が副走査方向DR2に移動する。
【0111】
センサ部34は、一定の時間間隔で主走査測定領域における測定を行う。これにより、主走査測定領域RJ1、RJ2、RJ3、・・・、RJ10が、副走査方向DR2に間隔P2で並ぶことになる。このようにして、センサ部34から点群領域RJ100に含まれる各測定点J100までの位置の測定が行われる。ここで、間隔P1及びP2が、可変であってもよい。
【0112】
図23は、各装置の制御部の機能構成の別の一例を示す図である。サーバ装置10の制御部11は、図5に示す各部に加えて、間隔設定部120を備える。間隔設定部120は、物体表面41のうちセンサ部34からの距離が測定される各位置の間隔を設定する。制御部11が間隔設定部120を備える場合のフローについて図24を参照して説明する。
【0113】
図24は、可視化処理の別の一例を示すフロー図である。図24の例では、図19に示すS36(認識されたパターンを出力)の後も処理が継続される。ここでは、S35の造形認識処理で文字が認識されたものとする。サーバ装置10は、S51において、出力されたパターンに基づいて、可視化処理を継続するか否かを判断する。サーバ装置10は、例えば、パターンを認識した際のパターンと認識された造形との類似度(認識処理の際に算出される値)が閾値以上となった場合に継続しないと判断し、S52において、認識されたパターンを出力して例えばユーザ端末20にパターンを表示させて、可視化処理を終了する。
【0114】
ここで、閾値としては、例えば、パターンが文字である場合に、認識された文字と実際の造形が示す文字とが一定の割合(例えば8割~9割)以上一致する程度の閾値が定められることが望ましい。サーバ装置10は、上記類似度が閾値未満であった場合、可視化処理を継続すると判断する。その場合、サーバ装置10は、S53において、間隔設定部120により、認識された文字の高さ及び幅を検出する。
【0115】
図25は、検出される文字の高さ及び幅の一例を示す図である。図25では、「南」という文字TX1が示されている。文字TX1は、高さL100及び幅L200の文字である。間隔設定部120は、例えば、文字TX1の高さL100と幅L200の統計値(例えば平均値)を文字TX1の一辺の長さLとして算出する。なお、高さL100と幅L200の統計値は、他にも、中間値、最大値又は最小値等であってもよい。文字TX1の線の幅tは、一辺の長さLに係数αを乗じた値で表すことができる(t=αL)。
【0116】
そして、サーバ装置10は、S54において、間隔設定部120により、線の幅tの中に点群(測定位置)がN個(Nは自然数)含まれるように点群の間隔を設定する。具体的には、間隔設定部120は、認識処理部119により出力されたパターンが文字である場合、その文字の高さ及び幅の少なくとも一方が示す一辺の長さL×係数α÷測定位置の数Nが取り得る値の範囲に点群の間隔を設定する。
【0117】
係数α及び測定位置の数Nの値の範囲について、発明者が可視化処理の実験を行った結果を以下に示す。実験において可視化処理の対象となった造形物は、某寺院にある五輪塔の地輪である。
図26及び図27は、可視化実験の結果の一例を示す図である。図26及び図27では、「対象文字」と、「文字の条件」と、「点群間隔」と、「評価」と、「分割数」とが各実施例又は各比較例について対応付けられている。
【0118】
「対象文字」には、「念」、「佛」、「法」、「一」、「切」、「功」という漢字が示されている。「文字の条件」には係数「α」と、文字の一辺の長さ「L」(単位はmm)とが示されている。「念」、「佛」、「法」、「一」、「切」、「功」は、それぞれαが「0.14」、「0.14」、「0.15」、「0.21」、「0.17」、「0.14」であり、Lが「85.9」、「84.0」、「72.0」、「60.0」、「76.6」、「75.2」である。
【0119】
「点群間隔」には「S」(単位はmm)が示されている。「分割数」には「N」(単位は個)が示されている。N=L×α÷Sで求められる。例えば、「念」の文字でS=「0.1」の場合、N=85.9×0.14÷0.1=120となる。また、例えば、「法」の文字でS=「0.2」の場合、N=72.0×0.15÷0.2=54となる。
【0120】
「評価」には「文字認識」及び「処理の難易度」についての「容易」、「可」及び「難」という3通りの評価が示されている。文字認識については、文字認識が容易な場合を「容易」、可能な場合を「可」、困難な場合を「難」とした。また、処理の難易度は、現実的な処理が容易な場合を「容易」、可能な場合を「可」、困難な場合を「難」とした。図26及び図27に示す実験では、点群間隔Sを「0.1」、「0.2」、「0.25」、「0.3」、「0.4」、「0.6」、「0.8」、「1.0」、「1.2」、「1.4」と10通りに変化させて、それぞれの文字認識と処理の難易度の評価を行った。
【0121】
この実験では、例えば、点群間隔Sを「0.1」とした場合、どの文字も文字認識は「容易」だが処理の難易度が「難」であった(比較例1~6)。また、点群間隔Sを「0.2」とした場合、どの文字も文字認識は「容易」だが処理の難易度が「可」であった(実施例1~6)。点群間隔Sを「0.25」とした場合、どの文字も文字認識は「容易」だが、処理の難易度が「念」、「佛」、「一」、「切」が「可」で「法」、「功」が「容易」であった(実施例7~12)。
【0122】
また、点群間隔Sを「0.3」、「0.4」とした場合、どの文字も文字認識は「容易」で処理の難易度も「容易」であった(実施例13~24)。また、点群間隔Sを「0.6」、「0.8」、「1.0」とした場合、どの文字も文字認識は「可」で処理の難易度が「容易」であった(実施例25~42)。また、点群間隔Sを「1.2」とした場合、文字認識は「念」、「佛」、「一」、「切」が「可」で(実施例43,44、45,46)、「法」、「功」が「難」であり(比較例7、8)、処理の難易度はどの文字も「容易」であった。また、点群間隔Sを「1.4」とした場合、文字認識は「一」、「切」が「可」で(実施例47、48)、「念」、「佛」、「法」、「功」が「難」であり(比較例9~12)、処理の難易度はどの文字も「容易」であった。
【0123】
以上の実験結果から、可視化対象が文字である場合、係数αの範囲は、0.1以上0.25以下になることが分かった。また、以上の実験結果から、点群間隔Sが大きい場合の一部の結果において,文字認識が困難になる傾向にあることが分かった。点群間隔Sが小さい場合にデータ容量が大きくなり,現実的な処理が困難となる傾向にあることが分かった。すなわち、文字認識が可能でかつ現実的で容易な処理が可能な範囲が存在することが明らかとなった。
【0124】
分割数Nは、点群間隔Sの大きさに反比例する。分割数Nの範囲は、9以下だと文字認識が「難」になるので、10以上とすることが望ましい。点群間隔Sが0.2の場合、分割数Nは65以下となり、処理の難易度が「可」となる。また、点群間隔Sが0.1の場合、分割数Nは120前後となり、処理の難易度が「難」となる。よって、分割数Nは、65以下であることが望ましい。
【0125】
つまり、分割数Nを10以上60以下にすると、文字認識が「可」又は「容易」になりかつ処理の難易度が「可」又は「容易」になるので、可視化処理の結果として最低限必要な結果を得ることができる。分割数Nは、具体的には例えば、10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65であり、ここで例示した数値の何れか2つの間の範囲内であってもよい。
【0126】
特に、分割数Nを20以上55以下(20≦N≦55)にすると、文字認識が「容易」になりかつ処理の難易度が「可」又は「容易」になってより望ましい。さらに、分割数Nを25以上45以下(25≦N≦45)にすると、文字認識が「容易」になりかつ処理の難易度も「容易」になってより望ましい。これらの態様によれば、いずれも、分割数Nがこれらの範囲外である場合に比べて、処理の負荷の抑制と文字の解像度の向上の両立性をさらに高めることができる。
【0127】
なお、点群が多いほど線の解像度は高くなるが、物体表面の座標の算出及び表面画像の生成等の処理の負荷が大きくなり、また、細かい起伏によるノイズが増加する。そこで、点群の間隔を文字のサイズに応じて適切に変動させることで、点群の間隔を固定する場合に比べて、物体表面の座標の算出及び表面画像の生成等の処理の負荷を抑えつつ文字の解像度を高めることができる。
【0128】
また、間隔設定部120は、文字の向きが認識された場合に、文字の縦方向と横方向とで点群の間隔を異ならせてもよい。例えば、漢字の場合、縦方向の線に比べて横方向の線の方が細い箇所が多い傾向にあるので、文字の向きが認識された段階で、横方向の点群の間隔に比べて縦方向の点群の間隔を小さくすることで、物体表面の座標の算出及び表面画像の生成等の処理の負荷を抑えつつ横方向の線が見えやすいようにすることができる。
【0129】
また、以上のとおり、点群の間隔を決定する処理を繰り返すことで、点群の間隔が文字の線が見えやすいように最適化され、点群の間隔が固定されている場合に比べて、可視化された文字がより見えやすいようにすることができる。また、点群の間隔が過剰に小さくなっている場合に比べて、物体表面の座標の算出及び表面画像の生成等の処理の負荷を抑制することができる。
【0130】
<構成のバリエーション>
図1等に示す構成は一例であり、実施に不都合が無い限り、他の態様を取り得る。例えば、1台の装置は、2台以上の装置に分散されてもよいし、クラウドコンピューティングシステムに代替されてもよい。また、1台の装置の機能が2台以上の装置に分散して実現されてもよいし、2台以上の装置の機能が1台の装置により集中して実現されてもよい。また、1つの機能が行う動作を2以上の機能が分散して行ってもよいし、2以上の機能が1つの機能に統合されてもよい。要するに、造形可視化システム1の全体で必要な各機能が実現されていれば、それらの機能を実現する装置はどのような構成であってもよい。
【0131】
情報またはデータ(以下「情報等」と言う)の出力先は、他の装置、ディスプレイ、記憶部(内蔵の記憶部および外部の記憶部を含む)等であってもよい。情報等の取得には、他の装置から送信されてきた情報等を取得する態様に加え、自装置で生成された情報等を取得する態様を含む。パラメータを対応付けたテーブルは、図示したテーブルに限らず、パラメータの数を少なくしたり多くしたりしてもよい。また、テーブルを用いずに、数式または条件式等によりパラメータに応じた情報等を求めてもよい。
【0132】
上述した実施形態の態様は、図6に示す各ステップがなされるようにプログラムを実行可能なプロセッサを備える造形可視化システム1のような情報処理システム及びサーバ装置10のような情報処理装置であったが、情報処理方法であってもよい。その情報処理方法は、その情報処理システムが実行する各処理のステップを備える。また、上述した実施形態の態様は、プログラムであってもよい。そのプログラムは、コンピュータに、同様の情報処理システムの各ステップを実行させる。
【0133】
<付記>
さらに、次に記載の各態様で提供されてもよい。
【0134】
(1)情報処理システムであって、次の各ステップがなされるようにプログラムを実行可能なプロセッサを備え、前記プロセッサが、取得ステップでは、物体の表面から届く電磁波を検出するセンサの検出結果が示す距離を取得し、前記距離は、前記センサから起伏を有する物体の表面の各位置までの距離であり、出力ステップでは、取得された前記距離に基づいて、前記表面を示す表面画像を出力し、前記表面画像は、前記表面の各位置を、前記起伏における当該各位置の深さに応じた態様で示し、前記態様は、基準となる深さより浅い位置と深い位置とで異なる、情報処理システム。
【0135】
このような態様によれば、輪郭が不明瞭になった造形を可視化することができる。
【0136】
(2)上記(1)に記載の情報処理システムにおいて、前記基準となる深さは、前記位置によって異なる、情報処理システム。
【0137】
このような態様によれば、欠け具合が異なる位置の造形を共に可視化することができる。
【0138】
(3)上記(1)又は(2)に記載の情報処理システムにおいて、前記基準となる深さは、前記物体の素材の欠けやすさに応じた深さである、情報処理システム。
【0139】
このような態様によれば、物体の素材が分かる場合に可視化を容易にすることができる。
【0140】
(4)上記(1)~(3)のいずれか1つに記載の情報処理システムにおいて、前記基準となる深さは、前記表面が加工された年代に応じた深さである、情報処理システム。
【0141】
このような態様によれば、物体の加工年代が分かる場合に可視化を容易にすることができる。
【0142】
(5)上記(1)~(4)のいずれか1つに記載の情報処理システムにおいて、前記基準となる深さは、前記起伏の最深部の深さに応じた深さである、情報処理システム。
【0143】
このような態様によれば、起伏の度合いが違っても可視化を容易にすることができる。
【0144】
(6)上記(1)~(5)のいずれか1つに記載の情報処理システムにおいて、前記プロセッサが、受付ステップでは、前記基準となる深さの入力を受け付け、前記出力ステップでは、入力された深さを前記基準となる深さとして、前記表面画像を出力する、情報処理システム。
【0145】
このような態様によれば、可視化ができそうな基準となる深さを人が判断して表面画像を出力させることができる。
【0146】
(7)上記(1)~(6)のいずれか1つに記載の情報処理システムにおいて、前記取得ステップでは、前記センサの第1の配置での測定結果が示す第1の位置までの距離を取得し、前記センサの第2の配置での測定結果が示す第2の位置までの第2距離を取得し、前記出力ステップでは、前記第1の配置では前記第2の位置からの電磁波が検出できず、前記第2の配置では前記第1の位置からの電磁波が検出できない場合に、前記第1の配置及び前記第2の配置での測定結果と、前記第1の配置及び前記第2の配置の位置関係とに基づいて、前記第1の位置を示す画素及び前記第2の位置を示す画素を配置した前記表面画像を出力する、情報処理システム。
【0147】
このような態様によれば、可視化された造形の死角を減らすことができる。
【0148】
(8)上記(1)~(7)のいずれか1つに記載の情報処理システムにおいて、前記出力ステップでは、前記基準となる深さを変化させて繰り返し前記表面画像を出力し、前記プロセッサが、認識ステップでは、出力された前記表面画像に対して所定のパターンとのマッチング処理を実行し、第2出力ステップでは、前記マッチング処理により所定の類似度以上のパターンが認識された場合、当該パターン及び前記表面画像の出力に用いられた前記基準となる深さを対応付けて出力する、情報処理システム。
【0149】
このような態様によれば、所定のパターンを示す造形を見つけやすくすることができる。
【0150】
(9)上記(8)に記載の情報処理システムにおいて、前記プロセッサが、設定ステップにおいて、前記物体の表面のうち前記距離が測定される各位置の間隔を設定し、前記パターンが文字である場合、前記文字の高さ及び幅の少なくとも一方が示す一辺の長さL×係数α÷前記位置の数N(0.1≦α≦0.25、10≦N≦65)が取り得る値の範囲に前記間隔を設定する、情報処理システム。
【0151】
このような態様によれば、処理の負荷を抑えつつ文字の解像度を高めることができる。
【0152】
(10)上記(9)に記載の情報処理システムにおいて、前記位置の数Nは、20≦N≦55である、情報処理システム。
【0153】
このような態様によれば、処理の負荷の抑制と文字の解像度の向上の両立性をさらに高めることができる。
【0154】
(11)上記(10)に記載の情報処理システムにおいて、前記位置の数Nは、25≦N≦45である、情報処理システム。
【0155】
このような態様によれば、処理の負荷の抑制と文字の解像度の向上の両立性をさらに高めることができる。
【0156】
(12)上記(1)~(11)のいずれか1つに記載の情報処理システムにおいて、前記表面画像は、前記表面の各位置を、前記深さに応じた色を前記態様として示し、前記色は、前記基準となる深さより浅い位置又は深い位置において段階的に変化する、情報処理システム。
【0157】
このような態様によれば、基準となる深さの見当をつけやすくすることができる。
【0158】
(13)プログラムであって、コンピュータに、上記(1)~(11)の何れか1つに記載の情報処理システムの各ステップを実行させる、プログラム。
もちろん、この限りではない。
また、上述した実施形態及び変形例を任意に組み合わせて実施するようにしてもよい。
【0159】
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0160】
1 :造形可視化システム
2 :通信回線
4 :対象物体
10 :サーバ装置
11 :制御部
20 :ユーザ端末
21 :制御部
30 :スキャナ装置
31 :制御部
34 :センサ部
41 :物体表面
111 :サーバ表示部
112 :記憶制御部
113 :距離取得部
114 :表面座標算出部
115 :入力受付部
116 :表面画像生成部
117 :表面画像出力部
118 :情報取得部
119 :認識処理部
120 :間隔設定部
211 :ユーザ表示部
212 :操作受付部
341 :放射部
342 :検出部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27