(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-16
(45)【発行日】2024-12-24
(54)【発明の名称】データ処理装置、データ処理方法、データ処理プログラム、およびデータ処理システム
(51)【国際特許分類】
G16H 30/40 20180101AFI20241217BHJP
A61C 19/04 20060101ALI20241217BHJP
A61B 1/247 20060101ALI20241217BHJP
【FI】
G16H30/40
A61C19/04 Z
A61B1/247
(21)【出願番号】P 2021196015
(22)【出願日】2021-12-02
【審査請求日】2023-06-30
【前置審査】
(73)【特許権者】
【識別番号】000138185
【氏名又は名称】株式会社モリタ製作所
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】鍛治 亮佑
【審査官】早川 学
(56)【参考文献】
【文献】特表2014-521163(JP,A)
【文献】特表2009-523552(JP,A)
【文献】国際公開第2023/014107(WO,A1)
【文献】特開2021-058672(JP,A)
【文献】特開2021-117051(JP,A)
【文献】国際公開第2020/185527(WO,A1)
【文献】米国特許出願公開第2009/0316966(US,A1)
【文献】小倉且也ほか,複数の立体物で構成された三次元点群の切り分け手法の検討,マルチメディア,分散,協調とモバイル(DICOMO2018)シンポジウム論文集 [CD-ROM],一般社団法人情報処理学会,2018年,pp.236-246
(58)【調査した分野】(Int.Cl.,DB名)
G16H 10/00-80/00
A61C 19/04
A61B 1/247
(57)【特許請求の範囲】
【請求項1】
三次元スキャナによって取得される少なくとも
口腔内の物体の表面を示す点群の各々の位置を含む三次元データを処理するデータ処理装置であって、
前記三次元スキャナによって取得される前記三次元データが入力される入力部と、
前記入力部から入力される複数の前記三次元データのうち、所定範囲内に位置する複数の前記三次元データを用いてデータセットを生成する第1データ処理と、前記第1データ処理によって複数のデータセットを生成した場合に、
前記複数のデータセットの各々のデータ量を判定し、前記複数のデータセットのうち、データ量が最も大きいデータセットまたはデータ量が所定データ量以上のデータセットを
スキャン対象である歯列に対応する真のデータセットと
し、当該データセット以外のデータセットを前記スキャン対象でない障害物に対応する偽のデータセットとする第2データ処理とを実行するデータ処理部とを備える、データ処理装置。
【請求項2】
前記データ処理部は、所定条件が成立したときに、前記第2データ処理を実行し、
前記所定条件は、前記入力部から入力される前記三次元データのデータ量が所定量を超えること、および前記入力部から前記三次元データが入力される時間が所定時間を超えることのうち、少なくとも1つを含む、請求項1に記載のデータ処理装置。
【請求項3】
前記データ処理部は、前記三次元スキャナの位置を基準とした仮想空間において、前記入力部から入力された第1の三次元データと、前記入力部から入力された第2の三次元データとを比較することによって、前記第1の三次元データおよび前記第2の三次元データの真偽を判定する第3データ処理を実行する、請求項1または請求項2に記載のデータ処理装置。
【請求項4】
前記第3データ処理は、前記第1の三次元データと前記第2の三次元データとのうち、後から前記入力部から入力された前記三次元データを真の三次元データとする処理を含む、請求項3に記載のデータ処理装置。
【請求項5】
前記第3データ処理は、前記第1の三次元データと前記第2の三次元データとのうち、前記三次元スキャナの位置から最も遠い点の位置を含む前記三次元データを真の三次元データとする処理を含む、請求項3に記載のデータ処理装置。
【請求項6】
前記第3データ処理は、前記第1の三次元データと前記第2の三次元データとのうち、前記三次元スキャナの位置に最も近い点の位置を含む前記三次元データを偽の三次元データとする処理を含む、請求項3に記載のデータ処理装置。
【請求項7】
前記入力部から入力される前記三次元データは、前記物体の表面を示す点群の各々における色の色情報をさらに含み、
前記第3データ処理は、前記第1の三次元データと前記第2の三次元データとのうち、特定色に最も近い色の色情報を含む前記三次元データを真の三次元データとする処理を含む、請求項3~請求項6のいずれか1項に記載のデータ処理装置。
【請求項8】
前記三次元スキャナは、光軸を用いて前記三次元データを取得し、
前記仮想空間は、前記三次元スキャナの光軸を中心軸とする円柱または多角柱の形を有する、請求項3~請求項7のいずれか1項に記載のデータ処理装置。
【請求項9】
前記第3データ処理は、偽の三次元データに対して偽の指標を関連付ける処理、真の三次元データに対して真の指標を関連付ける処理、記憶部に記憶された前記偽の三次元データを削除する処理、および前記真の三次元データのみを前記記憶部に記憶させる処理のうち、少なくとも1つを含む、請求項3~請求項8のいずれか1項に記載のデータ処理装置。
【請求項10】
前記三次元スキャナは、
前記口腔内の前記物体をスキャンすることによって前記三次元データを取得する手持ち式のハンドピースである、請求項1~請求項9のいずれか1項に記載のデータ処理装置。
【請求項11】
三次元スキャナによって取得される少なくとも
口腔内の物体の表面を示す点群の各々の位置を含む三次元データをコンピュータが処理するデータ処理方法であって、
前記三次元スキャナによって取得される前記三次元データが入力されるステップと、
前記入力されるステップによって入力される複数の前記三次元データのうち、所定範囲内に位置する複数の前記三次元データを用いてデータセットを生成する第1データ処理と、前記第1データ処理によって複数のデータセットを生成した場合に、
前記複数のデータセットの各々のデータ量を判定し、前記複数のデータセットのうち、データ量が最も大きいデータセットまたはデータ量が所定データ量以上のデータセットを
スキャン対象である歯列に対応する真のデータセットと
し、当該データセット以外のデータセットを前記スキャン対象でない障害物に対応する偽のデータセットとする第2データ処理とを実行するステップとを含む、データ処理方法。
【請求項12】
三次元スキャナによって取得される少なくとも
口腔内の物体の表面を示す点群の各々の位置を含む三次元データを処理するデータ処理プログラムであって、
コンピュータに、
前記三次元スキャナによって取得される前記三次元データが入力されるステップと、
前記入力されるステップによって入力される複数の前記三次元データのうち、所定範囲内に位置する複数の前記三次元データを用いてデータセットを生成する第1データ処理と、前記第1データ処理によって複数のデータセットを生成した場合に、
前記複数のデータセットの各々のデータ量を判定し、前記複数のデータセットのうち、データ量が最も大きいデータセットまたはデータ量が所定データ量以上のデータセットを
スキャン対象である歯列に対応する真のデータセットと
し、当該データセット以外のデータセットを前記スキャン対象でない障害物に対応する偽のデータセットとする第2データ処理とを実行するステップとを実行させる、データ処理プログラム。
【請求項13】
データ処理システムであって、
口腔内の物体をスキャンすることによって少なくとも前記物体の表面を示す点群の各々の位置を含む三次元データを取得する三次元スキャナと、
前記三次元スキャナによって取得される前記三次元データを処理するデータ処理装置とを備え、
前記データ処理装置は、
前記三次元スキャナによって取得される前記三次元データが入力される入力部と、
前記入力部から入力される複数の前記三次元データのうち、所定範囲内に位置する複数の前記三次元データを用いてデータセットを生成する第1データ処理と、前記第1データ処理によって複数のデータセットを生成した場合に、
前記複数のデータセットの各々のデータ量を判定し、前記複数のデータセットのうち、データ量が最も大きいデータセットまたはデータ量が所定データ量以上のデータセットを
スキャン対象である歯列に対応する真のデータセットと
し、当該データセット以外のデータセットを前記スキャン対象でない障害物に対応する偽のデータセットとする第2データ処理とを実行するデータ処理部とを備える、データ処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、三次元スキャナによって取得される少なくとも物体の表面を示す点群の各々の位置を含む三次元データを処理する、データ処理装置、データ処理方法、データ処理プログラム、およびデータ処理システムに関する。
【背景技術】
【0002】
従来、歯科分野においては、三次元スキャナによって口腔内をスキャン(走査)することによって、歯牙などの物体の三次元データを取得する技術が公知である。三次元スキャナによるスキャン中においては、スキャン対象である歯牙などの物体と三次元スキャナとの間に、術者の指または歯科用器具、あるいは患者の舌などの障害物が入り込み、三次元スキャナがスキャン対象である物体の三次元データを適切に取得することができない場合がある。この点、特許文献1には、三次元スキャナによって取得された三次元データのうち、ユーザによって選択された三次元データを削除することを可能とする情報処理装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に開示された情報処理装置によれば、ユーザは、スキャン中に口腔内に障害物が入り込んだとしても、三次元スキャナによって取得された三次元データを修正することができる。しかしながら、ユーザは、三次元データを修正するために、三次元スキャナによって取得された三次元データの中から、削除対象の三次元データを選択しなければならず、手間が掛かっていた。
【0005】
本開示は、このような問題を解決するためになされたものであり、三次元スキャナを用いて物体の三次元データを簡単にかつ適切に取得することができる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一例に従えば、三次元スキャナによって取得される少なくとも口腔内の物体の表面を示す点群の各々の位置を含む三次元データを処理するデータ処理装置が提供される。データ処理装置は、三次元スキャナによって取得される三次元データが入力される入力部と、入力部から入力される複数の三次元データのうち、所定範囲内に位置する複数の三次元データを用いてデータセットを生成する第1データ処理と、第1データ処理によって複数のデータセットを生成した場合に、複数のデータセットの各々のデータ量を判定し、複数のデータセットのうち、データ量が最も大きいデータセットまたはデータ量が所定データ量以上のデータセットをスキャン対象である歯列に対応する真のデータセットとし、当該データセット以外のデータセットをスキャン対象でない障害物に対応する偽のデータセットとする第2データ処理とを実行するデータ処理部とを備える。
【0007】
本開示の一例に従えば、三次元スキャナによって取得される少なくとも口腔内の物体の表面を示す点群の各々の位置を含む三次元データをコンピュータが処理するデータ処理方法が提供される。データ処理方法は、三次元スキャナによって取得される三次元データが入力されるステップと、入力されるステップによって入力される複数の三次元データのうち、所定範囲内に位置する複数の三次元データを用いてデータセットを生成する第1データ処理と、第1データ処理によって複数のデータセットを生成した場合に、複数のデータセットの各々のデータ量を判定し、複数のデータセットのうち、データ量が最も大きいデータセットまたはデータ量が所定データ量以上のデータセットをスキャン対象である歯列に対応する真のデータセットとし、当該データセット以外のデータセットをスキャン対象でない障害物に対応する偽のデータセットとする第2データ処理とを実行するステップとを含む。
【0008】
本開示の一例に従えば、三次元スキャナによって取得される少なくとも口腔内の物体の表面を示す点群の各々の位置を含む三次元データを処理するデータ処理プログラムが提供される。データ処理プログラムは、コンピュータに、三次元スキャナによって取得される三次元データが入力されるステップと、入力されるステップによって入力される複数の三次元データのうち、所定範囲内に位置する複数の三次元データを用いてデータセットを生成する第1データ処理と、第1データ処理によって複数のデータセットを生成した場合に、複数のデータセットの各々のデータ量を判定し、複数のデータセットのうち、データ量が最も大きいデータセットまたはデータ量が所定データ量以上のデータセットをスキャン対象である歯列に対応する真のデータセットとし、当該データセット以外のデータセットをスキャン対象でない障害物に対応する偽のデータセットとする第2データ処理とを実行するステップとを実行させる。
【0009】
本開示の一例に従えば、データ処理システムが提供される。データ処理システムは、口腔内の物体をスキャンすることによって少なくとも物体の表面を示す点群の各々の位置を含む三次元データを取得する三次元スキャナと、三次元スキャナによって取得される三次元データを処理するデータ処理装置とを備える。データ処理装置は、三次元スキャナによって取得される三次元データが入力される入力部と、入力部から入力される複数の三次元データのうち、所定範囲内に位置する複数の三次元データを用いてデータセットを生成する第1データ処理と、第1データ処理によって複数のデータセットを生成した場合に、複数のデータセットの各々のデータ量を判定し、複数のデータセットのうち、データ量が最も大きいデータセットまたはデータ量が所定データ量以上のデータセットをスキャン対象である歯列に対応する真のデータセットとし、当該データセット以外のデータセットをスキャン対象でない障害物に対応する偽のデータセットとする第2データ処理とを実行するデータ処理部とを備える。
【発明の効果】
【0010】
本開示によれば、ユーザは、三次元スキャナを用いて物体の三次元データを簡単にかつ適切に取得することができる。
【図面の簡単な説明】
【0011】
【
図1】本実施の形態に係るデータ処理システムおよびデータ処理装置の適用例を示す図である。
【
図2】本実施の形態に係るデータ処理装置のハードウェア構成を示すブロック図である。
【
図3】本実施の形態に係る三次元スキャナの構成を示す図である。
【
図4】三次元スキャナによるスキャン方法を説明するための図である。
【
図5】三次元スキャナによるスキャンの一例を示す図である。
【
図6】本実施の形態に係るデータ処理装置の機能構成を示すブロック図である。
【
図7】本実施の形態に係るデータ処理装置のメッシュ生成処理、データセット判定処理、および画像データ生成処理の一例を示す図である。
【
図8】データセットテーブルの一例を示す図である。
【
図9】本実施の形態に係るデータ処理装置のデータ判定処理の一例を示す図である。
【
図10】本実施の形態に係るデータ処理装置のデータ判定処理の一例を示す図である。
【
図11】本実施の形態に係るデータ処理装置のデータ判定処理の一例を示す図である。
【
図12】三次元データテーブルの一例を示す図である。
【
図13】本実施の形態に係るデータ処理装置が実行する処理の一例を説明するためのフローチャートである。
【
図14】変形例に係るデータ処理装置のデータ判定処理の一例を示す図である。
【
図15】変形例に係るデータ処理装置のデータ判定処理の一例を示す図である。
【
図16】変形例に係るデータ処理装置のデータ判定処理の一例を示す図である。
【発明を実施するための形態】
【0012】
本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【0013】
[適用例]
図1を参照しながら、本実施の形態に係るデータ処理システム10およびデータ処理装置1の適用例を説明する。
図1は、本実施の形態に係るデータ処理システム10およびデータ処理装置1の適用例を示す図である。
【0014】
図1に示すように、ユーザは、三次元スキャナ2を用いて対象者の口腔内をスキャンすることによって、口腔内の物体の三次元データを取得することができる。「ユーザ」は、歯科医師などの術者、歯科助手、歯科大学の先生または生徒、歯科技工士、メーカの技術者、製造工場の作業者など、三次元スキャナ2を用いて歯牙などの物体の三次元データを取得する者であればいずれであってもよい。「対象者」は、歯科医院の患者、歯科大学における被験者など、三次元スキャナ2のスキャン対象となり得る者であればいずれであってもよい。「物体」は、対象者の口腔内にある歯牙など、三次元スキャナ2のスキャン対象となり得る物であればいずれであってもよい。なお、以下では、スキャン対象である物体を「スキャン物体」とも称する。
【0015】
データ処理システム10は、データ処理装置1と、三次元スキャナ2とを備える。データ処理装置1には、ディスプレイ3、キーボード4、およびマウス5が接続されている。
【0016】
三次元スキャナ2は、内蔵された三次元カメラによってスキャン物体の三次元データを取得する。具体的には、三次元スキャナ2は、口腔内をスキャンすることで、三次元データとして、スキャン物体の表面を示す点群の各々の位置(縦方向,横方向,高さ方向の各軸の座標)を、光学センサなどを用いて取得する。すなわち、三次元データは、スキャン物体の表面を構成する複数の点の各々の位置の位置情報(縦方向,横方向,高さ方向の各軸の座標)を含む。
【0017】
三次元スキャナ2が一度に測定できる測定範囲は限られているため、ユーザは、口腔内の歯列全体(歯列弓)の三次元データを取得したい場合、三次元スキャナ2を歯列に沿って口腔内を移動させるようにして複数回に亘って口腔内をスキャンする。
【0018】
データ処理装置1は、三次元スキャナ2によって取得された三次元データに基づき、任意の視点から見た二次元画像に対応する二次元画像データを生成し、生成した二次元画像データに対応する二次元画像をディスプレイ3に表示させることで、スキャン物体の表面を特定の方向から見た場合の二次元投影図をユーザに見せることができる。
【0019】
さらに、データ処理装置1は、三次元データを歯科技工所に出力する。歯科技工所においては、データ処理装置1から取得した三次元データに基づき、歯科技工士が補綴物などの歯牙モデルを作製する。なお、ミリングマシンおよび3Dプリンタなど、歯牙モデルを自動で製造可能な自動製造装置が歯科医院内に配置されている場合、データ処理装置1は、三次元データを自動製造装置に出力してもよい。
【0020】
[データ処理装置のハードウェア構成]
図2を参照しながら、本実施の形態に係るデータ処理装置1のハードウェア構成を説明する。
図2は、本実施の形態に係るデータ処理装置1のハードウェア構成を示すブロック図である。データ処理装置1は、たとえば、汎用コンピュータで実現されてもよいし、データ処理システム10専用のコンピュータで実現されてもよい。
【0021】
図2に示すように、データ処理装置1は、主なハードウェア要素として、演算装置11と、記憶装置12と、スキャナインターフェース13と、通信装置14と、ディスプレイインターフェース15と、周辺機器インターフェース16と、メディア読取装置17とを備える。
【0022】
演算装置11は、各種のプログラムを実行することで、各種の処理を実行する演算主体であり、コンピュータの一例である。演算装置11は、たとえば、CPU(Central Processing Unit)、FPGA(Field-Programmable Gate Array)、およびGPU(Graphics Processing Unit)などで構成される。なお、演算装置11は、CPU、FPGA、およびGPUの少なくとも1つで構成されてもよいし、CPUとFPGA、FPGAとGPU、CPUとGPU、あるいはCPU、FPGA、およびGPUの全てから構成されてもよい。また、演算装置11は、演算回路(processing circuitry)で構成されてもよい。
【0023】
記憶装置12は、演算装置11が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する揮発性の記憶領域(たとえば、ワーキングエリア)を含む。たとえば、記憶装置12は、DRAM(Dynamic Random Access Memory)またはSRAM(Static Random Access Memory)などの揮発性メモリデバイスで構成される。さらに、記憶装置12は、不揮発性の記憶領域を含む。たとえば、記憶装置12は、ROM(Read Only Memory)、ハードディスク、またはSSD(Solid State Drive)などの不揮発性メモリデバイスで構成される。
【0024】
なお、本実施の形態においては、揮発性の記憶領域と不揮発性の記憶領域とが同一の記憶装置12に含まれる例を示したが、揮発性の記憶領域と不揮発性の記憶領域とが互いに異なる記憶装置に含まれていてもよい。たとえば、演算装置11が揮発性の記憶領域を含み、記憶装置12が不揮発性の記憶領域を含んでいてもよい。データ処理装置1は、演算装置11と、記憶装置12とを含むマイクロコンピュータを備えていてもよい。
【0025】
記憶装置12は、三次元スキャナ2によって取得された三次元データ121と、データ処理プログラム122とを格納する。データ処理プログラム122は、演算装置11が三次元スキャナ2から取得した三次元データのデータ処理(後述する
図13の処理)を実行するためのプログラムである。
【0026】
スキャナインターフェース13は、三次元スキャナ2を接続するためのインターフェースであり、データ処理装置1と三次元スキャナ2との間のデータの入出力を実現する。データ処理装置1と三次元スキャナ2とは、ケーブルを用いた有線、または無線(WiFi,BlueTooth(登録商標)など)を介して接続される。
【0027】
通信装置14は、有線通信または無線通信を介して、上述した歯科技工所または自動製造装置との間でデータを送受信する。たとえば、データ処理装置1は、三次元データを、通信装置14を介して歯科技工所または自動製造装置に送信する。
【0028】
ディスプレイインターフェース15は、ディスプレイ3を接続するためのインターフェースであり、データ処理装置1とディスプレイ3との間のデータの入出力を実現する。
【0029】
周辺機器インターフェース16は、キーボード4およびマウス5などの周辺機器を接続するためのインターフェースであり、データ処理装置1と周辺機器との間のデータの入出力を実現する。
【0030】
メディア読取装置17は、記憶媒体であるリムーバブルディスク20に格納されている各種データを読み出す。たとえば、メディア読取装置17は、リムーバブルディスク20からデータ処理プログラム122を取得してもよい。
【0031】
[三次元スキャナの構成]
図3を参照しながら、本実施の形態に係る三次元スキャナ2の構成を説明する。
図3は、本実施の形態に係る三次元スキャナ2の構成を示す図である。
【0032】
図3に示すように、三次元スキャナ2は、手持ち式のハンドピースであり、ハウジング21と、ハウジング21に対して着脱可能に接続されたプローブ22と、制御装置40とを備える。
【0033】
プローブ22は、口腔内に挿入され、スキャン物体にパターンを有する光(以下、単に「パターン」とも称する。)を投影する。プローブ22は、パターンが投影されたスキャン物体からの反射光をハウジング21の内部に導く。
【0034】
三次元スキャナ2は、ハウジング21の内部に、光源23と、レンズ24と、光学センサ25と、プリズム26と、カウンタウェイト27とを備える。なお、
図3においては、説明の便宜上、レンズ24およびカウンタウェイト27が往復直線運動する方向をX軸、X軸に垂直であって
図3における紙面の上向きの軸をZ軸、X軸およびZ軸のそれぞれに垂直な軸をY軸で示す。
【0035】
光源23は、レーザー素子またはLED(Light Emitting Diode)などを含む。光源23からの光(光軸L)は、プリズム26およびレンズ24を通過し、プローブ22に設けられた反射部28によって反射されて開口部29から出力される。開口部29から出力された光は、スキャン物体に照射され、当該スキャン物体で反射される。スキャン物体で反射された光は、開口部29および反射部28を介して再びハウジング21の内部に進入し、レンズ24を通過してプリズム26に入力される。プリズム26は、物体からの光の進行方向を、光学センサ25が位置する方向(この例では、Z軸方向)に変化させる。プリズム26によって進行方向が変化した光は、光学センサ25によって検出される。
【0036】
合焦法の技術を用いて物体の三次元データを取得する場合、レンズ24と物体との間に設けられたパターン生成素子(図示せず)を通過した光が物体に投影される。レンズ24が同一直線(たとえば、X軸)上を往復直線運動すると、投影パターンの焦点位置が変化する。光学センサ25は、その変化ごとでスキャン物体からの光を検出する。
【0037】
制御装置40は、たとえば、CPU、ROM、およびRAMなどから構成され、三次元スキャナ2で行われる処理を制御する。なお、制御装置40は、FPGAまたはGPUで構成されてもよい。また、制御装置40は、CPU、FPGA、およびGPUの少なくとも1つで構成されてもよいし、CPUとFPGA、FPGAとGPU、CPUとGPU、あるいはCPU、FPGA、およびGPUの全てから構成されてもよい。また、制御装置40は、演算回路(processing circuitry)で構成されてもよい。
【0038】
制御装置40は、レンズ24の位置と、そのときの光学センサ25の検出結果とに基づいて、スキャン物体の表面を示す点群の各々の位置を算出する。このようにして三次元スキャナ2によって取得された物体の三次元データは、スキャナインターフェース13を介してデータ処理装置1に入力される。なお、制御装置40の一部または全部の機能を、データ処理装置1が備えていてもよい。たとえば、データ処理装置1の演算装置11が、制御装置40の機能を備えていてもよい。
【0039】
[三次元スキャナによるスキャンの一例]
図4および
図5を参照しながら、三次元スキャナ2によるスキャンの一例を説明する。
図4は、三次元スキャナ2によるスキャン方法を説明するための図である。
【0040】
三次元スキャナ2のスキャン範囲は、口腔内に挿入可能なプローブ22の大きさによって制限される。このため、ユーザは、プローブ22を口腔内に挿入し、プローブ22を歯列に沿って口腔内を移動させるようにして複数回に亘って口腔内をスキャンする。
【0041】
たとえば、
図4に示すように、ユーザは、口腔内でプローブ22を動かすことによって、スキャン範囲をR1,R2,R3,・・・Rnといったように順々に変えて、口腔内の様々な位置での三次元データを取得する。このようにしてユーザがプローブ22を動かしながらスキャン物体をスキャンすることにより、三次元スキャナ2は、スキャン物体の三次元データを取得することができる。なお、
図4のスキャン範囲R1~Rnでは、ユーザは、臼歯の咬合面または前歯の切歯の方向からスキャンしているが、舌側面または頬側面の方向からスキャンしてもよい。これにより、ユーザは、三次元スキャナ2を用いて、各歯牙の三次元データをより確実に取得することができる。
【0042】
図5は、三次元スキャナ2によるスキャンの一例を示す図である。三次元スキャナ2によるスキャン中においては、スキャン物体とプローブ22との間に、術者の指または歯科用器具、あるいは患者の舌などの障害物が入り込み、三次元スキャナ2がスキャン物体の三次元データを適切に取得することができない場合がある。
【0043】
たとえば、
図5(A)に示す例では、あるN回目のスキャン中において、三次元スキャナ2のスキャン範囲Rに術者(たとえば、ユーザ自身)の指が入り込んでいる。このような場合、
図5(B)に示すように、ユーザは、指などの障害物を退けた上で、その後のN+1回目のスキャンによって、もう一度同じ箇所でスキャン物体をスキャンする。
【0044】
上述した例の場合、ユーザは、N+1回目のスキャンによって取得された三次元データを真のデータとする一方で、N回目のスキャンによって取得された三次元データを偽のデータとして処理する必要がある。そこで、本実施の形態に係るデータ処理装置1は、三次元スキャナ2から入力された複数の三次元データのうち、所定範囲内に位置する複数の三次元データを分類することによってデータセットを生成し、さらに、複数のデータセットのうち、データ量が最も大きいデータセットを真のデータセットとして出力対象とするように構成されている。以下、このようなデータ処理装置1のデータセット判定処理および画像データ生成処理について具体的に説明する。
【0045】
[データ処理装置の機能構成]
図6を参照しながら、本実施の形態に係るデータ処理装置1の機能構成について説明する。
図6は、本実施の形態に係るデータ処理装置1の機能構成を示すブロック図である。
【0046】
図6に示すように、データ処理装置1は、主な機能部として、入力部1101と、データ処理部1102と、記憶部1103と、出力部1104とを備える。
【0047】
入力部1101は、スキャナインターフェース13の機能部であり、三次元スキャナ2によって取得された三次元データが入力される。
【0048】
なお、入力部1101は、通信装置14、周辺機器インターフェース16、またはメディア読取装置17の機能部であってもよい。たとえば、入力部1101が通信装置14の機能部である場合、通信装置14は、有線通信または無線通信を介して、外部装置から三次元データを取得する。なお、外部装置は、歯科医院に設置されたサーバ装置であってもよいし、歯科医院とは別の場所に設置されたクラウド型のサーバ装置であってもよい。入力部1101が周辺機器インターフェース16の機能部である場合、周辺機器インターフェース16は、キーボード4およびマウス5を用いてユーザによって入力された三次元データを取得する。入力部1101がメディア読取装置17の機能部である場合、メディア読取装置17は、リムーバブルディスク20に記憶された三次元データを取得する。
【0049】
データ処理部1102は、演算装置11の機能部である。データ処理部1102は、入力部1101から入力されて記憶部1103に蓄積して記憶された三次元データ121を用いて、三次元データの束(以下、「データセット」とも称する。)を生成するメッシュ生成処理を実行する。データ処理部1102は、データセットに対して真偽を判定するデータ判定処理を実行する。データ処理部1102は、真の三次元データとして設定された三次元データによって複数のデータセットが生成された場合に、当該複数のデータセットのうち、データ量が最も大きいデータセットを真のデータセットとするデータセット判定処理を実行する。さらに、データ処理部1102は、真のデータセットに基づいて任意の視点から見た二次元画像に対応する二次元画像データを生成する画像データ生成処理を実行する。データ処理部1102は、生成した二次元画像データを出力部1104に出力する。
【0050】
出力部1104は、ディスプレイインターフェース15の機能部であり、データ処理部1102によって生成された二次元画像データをディスプレイ3に出力する。これにより、データ処理装置1は、スキャン物体の表面形状を模した二次元画像をディスプレイ3に表示させることができる。
【0051】
なお、出力部1104は、通信装置14またはメディア読取装置17の機能部であってもよい。たとえば、出力部1104が通信装置14の機能部である場合、通信装置14は、有線通信または無線通信を介して、三次元データを歯科技工所または自動製造装置に出力する。出力部1104がメディア読取装置17の機能部である場合、メディア読取装置17は、リムーバブルディスク20に三次元データを出力する。
【0052】
[メッシュ生成処理、データセット判定処理、および画像データ生成処理]
図7を参照しながら、本実施の形態に係るデータ処理装置1のメッシュ生成処理、データセット判定処理、および画像データ生成処理について説明する。
図7は、本実施の形態に係るデータ処理装置1のメッシュ生成処理、データセット判定処理、および画像データ生成処理の一例を示す図である。
【0053】
データ処理装置1のデータ処理部1102は、メッシュ生成処理を実行することによって、データセットを生成し、データセット判定処理を実行することによって、データセットを真偽を判定し、画像データ生成処理を実行することによって、三次元データに基づいて生成された任意の視点から見た二次元画像に対応する二次元画像データを生成する。
【0054】
具体的には、データ処理装置1は、三次元スキャナ2によって取得された三次元データのうち、所定範囲内に存在する複数の三次元データ同士を結び付けることによって少なくとも1つのデータセットを生成する。
【0055】
たとえば、
図7(A)に示すように、データ処理装置1は、予め決められた範囲内に存在する3つ以上の三次元データを直線で結び付けることによって1つのメッシュを生成する。なお、この例では、データ処理装置1は、3つの三次元データを直線で結び付けることによって1つの三角形のメッシュを生成しているが、4つの三次元データを直線で結び付けることによって1つの四角形のメッシュを生成してもよいし、5つ以上三次元データを直線で結び付けることによって1つのメッシュを生成してもよい。
【0056】
データ処理装置1は、上述したようにして複数のメッシュを生成するとともに、それらを繋ぎ合わせることによってデータセットを生成する。すなわち、1つのデータセットに含まれる複数の三次元データの各々は、所定範囲内に存在する他の少なくとも1つの三次元データと結び付けられることによってメッシュを形成している。結び付けられた三次元データの数が多ければ多いほど、データセットに含まれる三次元データのデータ量(たとえば、三次元データの数)が大きくなる。
【0057】
なお、データ処理装置1は、生成したデータセットに含まれる複数の三次元データに対してデータ判定処理を実行することで、各三次元データの真偽を判定する。
【0058】
次に、データ処理装置1は、データセット判定処理によって、複数のデータセットのうち、データ量が最も大きいデータセットを真のデータセットとする。
【0059】
たとえば、データ処理装置1は、
図7(A)に示すように、歯牙部分の表面を示す複数の三次元データを用いてデータセット1を生成するとともに、指などの障害物の表面を示す複数の三次元データを用いてデータセット2を生成した場合、
図7(B)に示すように、複数のデータセット1,2のうち、データ量が最も大きいデータセット1を真のデータセットとする。
【0060】
次に、データ処理装置1は、画像データ生成処理によって、データ量が最も大きい真のデータセットに基づいて、任意の視点から見た二次元画像に対応する二次元画像データを生成する。
【0061】
上述したように、データセットは、所定範囲内に存在する複数の三次元データによって構成されるため、所定範囲外に存在する三次元データは、当該データセットに含まれない。口腔内において歯牙の表面は連続しているため、データ量が最も大きいデータセットは、歯牙の表面を示す複数の三次元データを含む可能性が高いと言える。また、スキャン中においては、術者が指で患者の唇を口腔の外側に引っ張ることがあり、その場合に術者の指が三次元スキャナ2によってスキャンされることがある。術者の指は、口腔内の外側に配置されるため、歯牙を構成する各点の三次元データの所定範囲内に、指を構成する各点の三次元データが存在しない可能性が高い。このため、データ処理装置1は、歯牙を構成する各点の三次元データを、指を構成する各点の三次元データと区別することができる。
【0062】
このように、データ処理装置1は、三次元スキャナ2によって取得された複数の三次元データを用いてデータセット1とデータセット2とを生成した場合、複数のデータセット1,2のうち、データ量が最も大きいデータセット1に基づいて、任意の視点から見た二次元画像に対応する二次元画像データを生成することで、歯牙部分の表面を示す複数の三次元データに基づき生成されたデータセット1を出力対象とすることができる。言い換えると、データ処理装置1は、障害物の表面を示す複数の三次元データに基づき生成されたデータセット2を出力対象から除外することができる。これにより、ユーザは、三次元スキャナ2によって取得された三次元データの中から、歯牙部分の表面を示す複数の三次元データを自ら選択する必要がなく、三次元スキャナ2を用いてスキャン物体の三次元データを簡単にかつ適切に取得することができる。
【0063】
[データセットテーブル]
図8を参照しながら、データセットテーブルを説明する。
図8は、データセットテーブルの一例を示す図である。データ処理装置1は、入力部1101から入力された三次元データに基づいて生成したデータセットを、
図8に示すようなテーブル形式でデータセットを記憶する。
【0064】
図8に示すように、データセットテーブルにおいては、生成したデータセットごとにデータセット種別が割り当てられている。そして、データセットテーブルは、各データセットを構成するメッシュの数を格納する。
【0065】
データ処理装置1は、メッシュ生成処理を実行することによって、データセットを生成すると、データセット種別を割り当てた上で、メッシュ数をデータセットテーブルに格納する。データ処理装置1は、生成したデータセットごとにデータセットテーブルにメッシュ数を格納することで、入力された複数の三次元データをデータセットごとに分類することができる。
【0066】
さらに、データ処理装置1は、データセットテーブルを参照することで、データ量(メッシュ数)が最も大きいデータセット(この例ではデータセット1)を選択するとともに、選択したデータセットに基づいて、任意の視点から見た二次元画像に対応する二次元画像データを生成することができる。
【0067】
[データ判定処理]
図9~
図11を参照しながら、本実施の形態に係るデータ処理装置1のデータ判定処理について説明する。
図9~
図11は、本実施の形態に係るデータ処理装置1のデータ判定処理の一例を示す図である。
【0068】
データ処理装置1のデータ処理部1102は、データ判定処理を実行することによって、三次元スキャナ2の位置を基準とした仮想空間50において、入力部1101から入力された第1の三次元データと、入力部1101から入力された第2の三次元データとを比較することによって、第1の三次元データおよび第2の三次元データの真偽を判定する。
【0069】
たとえば、
図9に示すように、三次元スキャナ2は、あるN回目のスキャンによって、スキャン物体の表面を示す複数の点のそれぞれの位置を含む複数の三次元データを取得する。
【0070】
データ処理装置1は、三次元スキャナ2から複数の三次元データが順次入力されると、入力された三次元データに含まれる各点の位置と、三次元スキャナ2の位置とに基づき、仮想空間50を生成する。
【0071】
図10を参照しながら、仮想空間50について具体的に説明する。
図10に示すように、ハウジング21内を通過した光源23からの光(光軸L)は、反射部28によって反射されて開口部29から拡散するようにして出力される。開口部29から拡散して出力された一定の光量の光がスキャン物体によって反射されて、再び開口部29を介してハウジング21の内部に進入することで、三次元データが取得されるため、開口部29から拡散して出力された複数の光が広がる範囲がスキャン範囲になる。データ処理装置1は、スキャン範囲の中に、予め決められたデータ処理範囲を設定しており、開口部29から拡散して出力された一定の光量の光のうち、データ処理範囲に含まれる光の光軸Lに基づき仮想空間50を生成する。
【0072】
具体的には、データ処理装置1は、三次元スキャナ2の光軸Lを中心軸とする円柱の形を有する仮想空間50を生成する。より具体的には、データ処理装置1は、開口部29から出力された光軸L、すなわち、三次元スキャナ2の位置と三次元スキャナ2によって検出された点の位置(以下、「検出位置」とも称する。)とを通る光軸Lを中心軸とした、予め決められた長さの直径を有する断面を有する円柱状の仮想空間50を生成する。さらに、データ処理装置1は、データ処理範囲に複数の光軸Lが含まれる場合、当該複数の光軸Lのそれぞれを中心軸とする円柱状の複数の仮想空間50を生成する。
【0073】
ここで、
図10の例では、「三次元スキャナの位置」(以下、「スキャナ位置」とも称する。)は、ハウジング21内を通過した光源23からの光軸Lが、反射部28によって反射されてから開口部29を介して出力されるまでに至る経路のうちのいずれかの位置に設定されている。なお、スキャナ位置は、データ処理装置1が検出位置との間の距離を認識することができる位置であればよく、三次元スキャナ2内のいずれの位置に設定されてもよい。
【0074】
図9に戻り、
図9(A)に示すように、データ処理装置1は、N回目のスキャンによってある検出位置Aが検出されると、
図9(B)に示すように、その検出位置Aを通る光軸Lを中心軸とする円柱状の仮想空間50を生成する。データ処理装置1は、N回目のスキャンによって取得された三次元データ(検出位置Aの位置情報を含む三次元データ)に対する仮想空間50を生成すると、仮想空間50内にN回目よりも前(たとえば、過去のN-1回目)のスキャンによって取得された三次元データが存在するか否かを判定する。なお、Nは自然数である。
【0075】
データ処理装置1は、仮想空間50内に過去に取得された三次元データが存在するか否かを判定する際、仮想空間50の生成基準となった検出位置Aに対応する点からスキャナ位置に向かう光軸L方向において、過去に取得された三次元データが存在するか否かを判定する。
【0076】
図9(B)の例では、N回目のスキャンによって取得された三次元データに対する仮想空間50内にN回目よりも前(N-1回目)のスキャンによって取得された三次元データが存在しない。このため、データ処理装置1は、検出位置Aの三次元データを真の三次元データとする。
【0077】
次に、三次元スキャナ2は、N回目の後(たとえば、N+1回目)のスキャンによって、スキャン物体の表面を示す複数の点のそれぞれの位置を含む複数の三次元データを再び取得する。
【0078】
データ処理装置1は、三次元スキャナ2から複数の三次元データが順次入力されると、入力された三次元データに含まれる位置(検出位置)を基準とした仮想空間50を生成する。
【0079】
たとえば、
図9(C)に示すように、データ処理装置1は、N+1回目のスキャンによってある点の位置Bが検出されると、
図9(D)に示すように、その検出位置Bを通る光軸Lを中心軸とする円柱状の仮想空間50を生成する。データ処理装置1は、N+1回目のスキャンによって取得された三次元データ(検出位置Bの位置情報を含む三次元データ)に対する仮想空間50を生成すると、仮想空間50内にN+1回目よりも前(たとえば、過去のN回目)のスキャンによって取得された三次元データが存在するか否かを判定する。
【0080】
データ処理装置1は、仮想空間50の生成基準となった検出位置Bに対応する点からスキャナ位置に向かう光軸L方向において、過去に取得された三次元データが存在するか否かを判定する。
【0081】
さらに、データ処理装置1は、仮想空間50内にN+1回目よりも前(N回目)のスキャンによって取得された三次元データが存在するか否かを判定する際、N+1回目の三次元データの座標の原点(基準点)と、N回目の三次元データの座標の原点(基準点)とを合わせる。たとえば、データ処理装置1は、N回目の三次元データの座標系に合わせるようにして、N+1回目の三次元データの座標を変換する。これにより、データ処理装置1は、N回目の三次元データとN+1回目の三次元データとを比較することができる。
【0082】
なお、データ処理装置1は、上述した原点(基準点)として、N回目の三次元データを取得したときのスキャナ位置を採用してもよい。つまり、データ処理装置1は、N+1回目の三次元データを取得したときのスキャナ位置の座標を、N回目の三次元データを取得したときのスキャナ位置の座標に一致させ、当該スキャナ位置を原点とした座標系において、N回目の三次元データとN+1回目の三次元データとを比較してもよい。
【0083】
図9(D)の例では、N+1回目のスキャンによって取得された三次元データに対する仮想空間50内にN回目のスキャンによって取得された三次元データが存在する。このため、データ処理装置1は、N回目の三次元データと、N+1回目の三次元データとを比較することによって、N回目の三次元データおよびN+1回目の三次元データの真偽を判定する。
【0084】
具体的には、本実施の形態に係るデータ処理装置1は、N回目の三次元データとN+1回目の三次元データとのうち、後から入力されたN+1回目の三次元データを真の三次元データとする。
【0085】
たとえば、
図11(A)~(C)に示すように、データ処理装置1は、三次元スキャナ2のN回目のスキャン(走査)によって、口腔内のある特定領域において複数の三次元データa~cが入力され、その後、
図11(D)~(F)に示すように、三次元スキャナ2のN+1回目のスキャン(走査)によって、口腔内の同じ特定領域において複数の三次元データd~fが再び入力されたとする。
【0086】
データ処理装置1は、
図11(D)に示すように、N+1回目のスキャン(走査)によって三次元データdが入力されると、三次元データdに対する仮想空間50を生成し、仮想空間50内にN+1回目よりも前(たとえば、過去のN回目)のスキャン(走査)によって入力された三次元データが存在するか否かを判定する。データ処理装置1は、N+1回目のスキャン(走査)によって入力された三次元データdに対する仮想空間50内に過去のN回目のスキャン(走査)によって入力された三次元データaが存在する場合、N回目の三次元データaと、N+1回目の三次元データdとで入力タイミングを比較し、後から入力されたN+1回目の三次元データdを真の三次元データとする。すなわち、データ処理装置1は、今回入力された三次元データdを真の三次元データとする。
【0087】
データ処理装置1は、
図11(E)に示すように、N+1回目のスキャン(走査)によって三次元データeが入力されると、三次元データeに対する仮想空間50を生成し、仮想空間50内にN+1回目よりも前(たとえば、過去のN回目)のスキャン(走査)によって入力された三次元データが存在するか否かを判定する。データ処理装置1は、N+1回目のスキャン(走査)によって入力された三次元データeに対する仮想空間50内に過去のN回目のスキャン(走査)によって入力された三次元データbが存在する場合、N回目の三次元データbと、N+1回目の三次元データeとで入力タイミングを比較し、後から入力されたN+1回目の三次元データeを真の三次元データとする。すなわち、データ処理装置1は、今回入力された三次元データeを真の三次元データとする。
【0088】
データ処理装置1は、
図11(F)に示すように、N+1回目のスキャン(走査)によって三次元データfが入力されると、三次元データfに対する仮想空間50を生成し、仮想空間50内にN+1回目よりも前(たとえば、過去のN回目)のスキャン(走査)によって入力された三次元データが存在するか否かを判定する。データ処理装置1は、N+1回目のスキャン(走査)によって入力された三次元データfに対する仮想空間50内に過去のN回目のスキャン(走査)によって入力された三次元データcが存在する場合、N回目の三次元データcとN+1回目の三次元データfとで入力タイミングを比較し、後から入力されたN+1回目の三次元データfを真の三次元データとする。すなわち、データ処理装置1は、今回入力された三次元データfを真の三次元データとする。換言すると、データ処理装置1は、仮想空間において複数の三次元データが存在する場合、最も新しくスキャンされ、かつ、入力された三次元データfを真のデータとする。
【0089】
このように、データ処理装置1の演算装置11(データ処理部1102)は、スキャナ位置を基準とした仮想空間50において、入力部1101から入力されたN回目の三次元データと、入力部1101から入力されたN+1回目の三次元データとで入力タイミングを比較し、後から入力部1101から入力されたN+1回目の三次元データを真の三次元データとする。なお、上述した例において、N回目の三次元データが「第1の三次元データ」に適用される場合、N+1回目の三次元データは「第2の三次元データ」に適用され、N回目の三次元データが「第2の三次元データ」に適用される場合、N+1回目の三次元データは「第1の三次元データ」に適用される。
【0090】
データ処理装置1は、上述したようなデータ判定処理を実行することにより、
図11(G)に示すように、後から入力部1101から入力された三次元データd~fのみを真の三次元データとして設定し、その後、真の三次元データd~fのみに基づき、任意の視点から見た二次元画像に対応する二次元画像データを生成する。あるいは、データ処理装置1は、真の三次元データd~fを記憶する。
【0091】
このように、たとえば、
図5(A)に示したように、N回目のスキャン中において、三次元スキャナ2のスキャン範囲Rに指などの障害物が入り込んでいたとしても、その後、ユーザが障害物を退けた上で、N+1回目のスキャンによって、もう一度同じ箇所でスキャン物体をスキャンすれば、データ処理装置1は、後から入力されたN+1回目の三次元データのみを真の三次元データとして設定することができる。これにより、ユーザは、三次元スキャナ2によって取得された三次元データの中から、真の三次元データを自ら選択する必要がなく、三次元スキャナ2を用いてスキャン物体の三次元データを簡単にかつ適切に取得することができる。つまり、ユーザは、ディスプレイ3において、スキャン済みの物体とともに障害物が表示された場合に、障害物を除去してから同じ位置の物体を再スキャンして、障害物が含まれない物体を表示させることで、真の三次元データが偽の三次元データを上書きして保存されたことを確認することができる。
【0092】
なお、データ処理装置1が複数の三次元データのうちの後から入力された三次元データを真の三次元データとした場合、たとえば、N回目のスキャンで口腔内に指が入り込まず、N+1回目のスキャンで口腔内に指が入り込むと、指の表面の三次元データを真の三次元データとして誤って設定してしまう可能性はある。しかしながら、ユーザは、通常、ディスプレイ3に表示された二次元画像(三次元データに基づいて生成された任意の視点から見た二次元画像)を見ながら口腔内をスキャンするため、任意の視点から見た指の二次元画像が生成されたことを認識したときに、指を取り除いた上で、もう一度同じ箇所で歯牙をスキャンすれば、データ処理装置1は、後から入力された三次元データのみを真の三次元データとして設定することができる。
【0093】
[三次元データテーブル]
図12を参照しながら、三次元データテーブルを説明する。
図12は、三次元データテーブルの一例を示す図である。データ処理装置1は、入力部1101から入力された三次元データを三次元データ121として記憶する際、
図12に示すようなテーブル形式で三次元データを記憶する。
【0094】
図12に示すように、三次元データテーブルにおいては、入力部1101から入力されたスキャン物体の表面を示す各点の三次元データごとにデータ種別が割り当てられている。そして、三次元データテーブルは、入力部1101から入力されたスキャン物体の表面を示す各点の三次元データに含まれる位置情報および色情報を格納する。位置情報は、各点の位置(縦方向,横方向,高さ方向の各軸の座標)を含む。色情報は、各点の色(たとえば、RGB値)を含む。
【0095】
三次元データテーブルは、さらに、入力部1101から入力されたスキャン物体の表面を示す各点の三次元データごとに、削除フラグが割り当てられている。削除フラグは、二次元画像データ(三次元データに基づいて生成された任意の視点から見た二次元画像に対応するデータ)を生成する際に用いられるか否かを特定するための情報を含む。たとえば、データ処理装置1は、当該二次元画像データを生成する際に用いられる三次元データに対しては削除フラグをセットせず(「0」のビットを格納する)、当該二次元画像データを生成する際に用いられない三次元データに対しては削除フラグをセットする(「1」のビットを格納する)。すなわち、データ処理装置1は、データ判定処理によって真のデータと判定した三次元データに対しては削除フラグをセットせず、データ判定処理によって偽のデータと判定した三次元データに対しては偽の指標として削除フラグをセットする。このようにして真の三次元データと判定された三次元データに対しては、上述したデータセット判定処理がさらに実行される。
【0096】
[データ処理装置1の処理フロー]
図13を参照しながら、本実施の形態に係るデータ処理装置1が実行する処理フローについて説明する。
図13は、本実施の形態に係るデータ処理装置1が実行する処理の一例を説明するためのフローチャートである。
図13に示す各ステップ(以下、「S」で示す。)は、データ処理装置1の演算装置11がデータ処理プログラム122を実行することで実現される。また、データ処理装置1は、三次元スキャナ2によるスキャンが開始された後、
図13に示すフローチャートの処理を所定周期(たとえば、数msec)で繰り返し実行する。なお、データ処理装置1は、データ処理装置1または三次元スキャナ2の電源がオフされた場合、あるいは三次元スキャナ2によるスキャンが停止された場合に、
図13に示すフローチャートの処理を終了する。
【0097】
図13に示すように、データ処理装置1は、三次元スキャナ2によってスキャンされたある点の三次元データを取得する(S1)。
【0098】
データ処理装置1は、三次元スキャナ2によって取得された三次元データを用いて少なくとも1つのメッシュを生成することで、データセットを生成する(S2)。データ処理装置1は、データ判定処理を実行することにより、三次元スキャナ2によって取得された三次元データの真偽を判定する(S3)。
【0099】
S3のデータ判定処理において、データ処理装置1は、
図9~
図11を参照しながら説明したように、S1で入力された三次元データに含まれる各点が検出された位置(検出位置)とスキャナ位置とに基づき、仮想空間50を生成する。そして、データ処理装置1は、仮想空間50内に真偽の判定対象となった三次元データを取得するよりも前のスキャンによって取得された三次元データが存在するか否かを判定する。データ処理装置1は、仮想空間50内に真偽の判定対象となった三次元データを取得するよりも前のスキャンによって取得された三次元データが存在する場合、真偽の判定対象となった三次元データを真の三次元データとする。データ処理装置1は、真の三次元データとして判定されなかった他の三次元データについて、三次元データテーブルにおいて削除フラグをセットする。
【0100】
次に、データ処理装置1は、所定条件が成立したか否かを判定する(S4)。所定条件は、入力部1101から入力される三次元データのデータ量が第1所定量(たとえば、100データ)を超えることを含む。なお、所定条件は、入力部1101から三次元データが入力される時間が所定時間を超えることを含んでいてもよい。たとえば、
図13のフローチャートの処理が開始されてからの経過時間が所定時間を超えた場合に、所定条件が成立してもよい。あるいは、繰り返し実行される
図13のフローチャートの処理において、前回の処理においてS4でYESと判断してからの経過時間が所定時間を超えた場合に、所定条件が成立してもよい。
【0101】
さらに、
図13のフローチャートの処理が開始されてからの経過時間が所定時間を超え、かつ、入力部1101から入力される三次元データのデータ量が第2所定量(たとえば、取得時間に応じて取得されるデータ量の平均)を超えた場合に、所定条件が成立してもよい。あるいは、前回の処理においてS4でYESと判断してからの経過時間が所定時間を超え、かつ、入力部1101から入力される三次元データのデータ量が第2所定量(たとえば、取得時間に応じて取得されるデータ量の平均)を超えた場合に、所定条件が成立してもよい。第2所定量を、取得時間に応じて取得されるデータ量の平均に設定した場合、入力部1101から入力される三次元データのデータ量が第2所定量を超えている場合は、指などの障害物の表面を示す三次元データが取得されている可能性があるためである。
【0102】
このように、所定条件は、入力部1101から入力される三次元データのデータ量が所定量を超えること、および入力部1101から三次元データが入力される時間が所定時間を超えることのうち、少なくとも1つを含む。
【0103】
データ処理装置1は、所定条件が成立した場合(S4でYES)、データセット判定処理を実行することにより、複数のデータセットのうち、データ量が最も大きいデータセットを真のデータセットとする(S5)。
【0104】
データ処理装置1は、所定条件が成立していない場合(S4でNO)、またはS5の後、画像データ生成処理を実行することによって、真のデータセットに基づいて、任意の視点から見た二次元画像に対応する二次元画像データを生成する(S6)。なお、S6で生成された二次元画像データは、出力部1104を介してディスプレイ3などの外部装置に出力される。
【0105】
以上のように、本実施の形態に係るデータ処理装置1は、データ判定処理を実行することによって、スキャナ位置を基準とした仮想空間50において、今回S1で取得した三次元データと、過去にS1で取得した三次元データとを比較して、今回S1で取得した三次元データと、過去にS1で取得した三次元データとの真偽を判定する。これにより、ユーザは、三次元スキャナ2によって取得された三次元データの中から、真の三次元データを自ら選択する必要がなく、三次元スキャナ2を用いてスキャン物体の三次元データを簡単にかつ適切に取得することができる。
【0106】
また、本実施の形態に係るデータ処理装置1は、メッシュ生成処理を実行することによって、今回および過去にS1で取得した複数の三次元データのうち、所定範囲内に位置する複数の三次元データを用いてデータセットを生成する。また、データ処理装置1は、データセット判定処理を実行することによって、複数のデータセットのうち、データ量が最も大きいデータセットを真のデータセットとする。さらに、データ処理装置1は、真のデータセットに基づき画像データを生成する。これにより、ユーザは、三次元スキャナ2によって取得された三次元データの中から、歯牙部分の表面を示す複数の三次元データを自ら選択する必要がなく、三次元スキャナ2を用いてスキャン物体の三次元データを簡単にかつ適切に取得することができる。
【0107】
歯科医師などのユーザは、三次元スキャナ2を用いて口腔内の物体(歯列弓など)の三次元データを取得し、取得した三次元データをデータ処理装置1に記憶させる。そして、ユーザは、データ処理装置1が記憶した三次元データをミリングマシンや3Dプリンタに出力したり、患者に対して治療箇所や患者自身の歯列の状況を説明しやすくするために、三次元データに基づいて任意の視点から見た二次元画像をディスプレイ3に表示させたりする。
【0108】
データ処理装置1は、現在、歯列弓のどこまで正しく三次元データを取得および記録できているかをユーザが分かるようにするために、正しく取得および記録できた三次元データに基づいて任意の視点から見た歯列弓の二次元画像をディスプレイ3にリアルタイムで表示させる。
【0109】
上述したような歯列弓などの口腔内の物体の三次元データを取得して記録する過程において、データ処理装置1は、メッシュ生成処理によって三次元データを用いてデータセットを生成し、データ判定処理によってデータセットに含まれる三次元データの真偽を判定して偽の三次元データに対して削除フラグをセットし、データセット判定処理によってデータセットの真偽を判定して真のデータセットに基づいて二次元画像データを生成する。データ処理装置1は、三次元データを取得して二次元画像データを生成するまでの間、偽の三次元データに対して削除フラグをセットすることに留まり、偽の三次元データを削除したり、真の三次元データのみに基づいてデータセットを再生成したりすることはなく、削除フラグをセットした偽の三次元データを用いることなく、真の三次元データさらには真のデータセットのみに基づいて二次元画像データを生成する。つまり、データ処理装置1は、偽の三次元データを記録したままだが、偽の三次元データをディスプレイ3に表示することはない。そして、データ処理装置1は、ユーザによる三次元スキャナ2を用いた一連の三次元データの取得および記録が完了したタイミング(たとえば、データ処理装置1または三次元スキャナ2の電源がオフされたタイミング、あるいは三次元スキャナ2によるスキャンが停止されたタイミング)以降で、削除フラグがセットされた偽の三次元データを記録から削除する。これにより、データ処理装置1は、
図13に示す処理フローの途中で、偽の三次元データを削除したり、真の三次元データのみに基づいてデータセットを再生成したりすることによって処理負荷がかかることを回避することができる。
【0110】
[変形例]
本開示は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本開示に適用可能な変形例について説明する。なお、以下では、変形例に係るデータ処理装置1について、本実施の形態に係るデータ処理装置1と異なる構成および機能のみを説明し、その他の構成および機能について、変形例に係るデータ処理装置1は本実施の形態に係るデータ処理装置1と同じ構成および機能を有するものとする。
【0111】
(データ判定処理)
本実施の形態に係るデータ処理装置1は、データ判定処理によって、入力された複数の三次元データのうち、後から入力された三次元データを真の三次元データとしていたが、
図14~
図16に示すように、変形例に係るデータ処理装置1は、本実施の形態に係るデータ判定処理とは異なる観点から三次元データの真偽を判定してもよい。
図14~
図16は、変形例に係るデータ処理装置1のデータ判定処理の一例を示す図である。
【0112】
変形例に係るデータ処理装置1は、データ判定処理によって、入力された複数の三次元データのうち、スキャナ位置から最も遠い点の位置を含む三次元データを真の三次元データとしてもよい。
【0113】
たとえば、
図14(A)~(C)に示すように、データ処理装置1は、三次元スキャナ2のN回目のスキャン(走査)によって、口腔内のある特定領域において複数の三次元データa~cが入力され、その後、
図14(D)~(F)に示すように、三次元スキャナ2のN+1回目のスキャン(走査)によって、口腔内の同じ特定領域において複数の三次元データd~fが再び入力されたとする。
【0114】
データ処理装置1は、
図14(D)に示すように、N+1回目のスキャン(走査)によって三次元データdが入力されると、三次元データdに対する仮想空間50を生成し、仮想空間50内にN+1回目よりも前(たとえば、過去のN回目)のスキャン(走査)によって入力された三次元データが存在するか否かを判定する。データ処理装置1は、N+1回目のスキャン(走査)によって入力された三次元データdに対する仮想空間50内に過去のN回目のスキャン(走査)によって入力された三次元データaが存在する場合、N回目の三次元データaと、N+1回目の三次元データdとでスキャン位置からの距離を比較し、スキャナ位置から最も遠い点の位置を含むN+1回目の三次元データdを真の三次元データとする。
【0115】
データ処理装置1は、
図14(E)に示すように、N+1回目のスキャン(走査)によって三次元データeが入力されると、三次元データeに対する仮想空間50を生成し、仮想空間50内にN+1回目よりも前(たとえば、過去のN回目)のスキャン(走査)によって入力された三次元データが存在するか否かを判定する。データ処理装置1は、N+1回目のスキャン(走査)によって入力された三次元データeに対する仮想空間50内に過去のN回目のスキャン(走査)によって入力された三次元データbが存在する場合、N回目の三次元データbと、N+1回目の三次元データeとでスキャン位置からの距離を比較し、スキャナ位置から最も遠い点の位置を含むN+1回目の三次元データeを真の三次元データとする。
【0116】
データ処理装置1は、
図14(F)に示すように、N+1回目のスキャン(走査)によって三次元データfが入力されると、三次元データfに対する仮想空間50を生成し、仮想空間50内にN+1回目よりも前(たとえば、過去のN回目)のスキャン(走査)によって入力された三次元データが存在するか否かを判定する。データ処理装置1は、N+1回目のスキャン(走査)によって入力された三次元データfに対する仮想空間50内に過去のN回目のスキャン(走査)によって入力された三次元データcが存在する場合、N回目の三次元データcと、N+1回目の三次元データfとでスキャン位置からの距離を比較し、スキャナ位置から最も遠い点の位置を含むN+1回目の三次元データfを真の三次元データとする。
【0117】
このように、変形例に係るデータ処理装置1の演算装置11(データ処理部1102)は、スキャナ位置を基準とした仮想空間50において、入力部1101から入力されたN回目の三次元データと、入力部1101から入力されたN+1回目の三次元データとでスキャン位置からの距離を比較し、スキャナ位置から最も遠い点の位置を含む三次元データを真の三次元データとする。なお、上述した例において、N回目の三次元データが「第1の三次元データ」に適用される場合、N+1回目の三次元データは「第2の三次元データ」に適用され、N回目の三次元データが「第2の三次元データ」に適用される場合、N+1回目の三次元データは「第1の三次元データ」に適用される。
【0118】
なお、データ処理装置1が複数の三次元データのうちのスキャナ位置から最も遠い点の位置を含む三次元データを真の三次元データとした場合、たとえば、ユーザが、先に、ある特定歯牙のユーザに近い側の側面をスキャンし、その後、同じ特定歯牙のユーザから遠い側の側面をスキャンしたときに、データ処理装置1は、特定歯牙のユーザから遠い側の側面の三次元データのみを真の三次元データとする可能性がある。しかしながら、
図7を用いて説明したように、データ処理装置1は、仮想空間50の生成基準となった検出位置に対応する点からスキャナ位置に向かう光軸L方向において、過去に取得された三次元データが存在するか否かを判定するため、上述したような問題を生じさせることはない。
【0119】
変形例に係るデータ処理装置1は、データ判定処理によって、入力された複数の三次元データのうち、スキャナ位置から最も近い点の位置を含む三次元データを偽の三次元データとしてもよい。
【0120】
たとえば、
図15(A)~(C)に示すように、データ処理装置1は、三次元スキャナ2のN回目のスキャン(走査)によって、口腔内のある特定領域において複数の三次元データa~cが入力され、その後、
図15(D)~(F)に示すように、三次元スキャナ2のN+1回目のスキャン(走査)によって、口腔内の同じ特定領域において複数の三次元データd~fが再び入力されたとする。
【0121】
データ処理装置1は、
図15(D)に示すように、N+1回目のスキャン(走査)によって三次元データdが入力されると、三次元データdに対する仮想空間50を生成し、仮想空間50内にN+1回目よりも前(たとえば、過去のN回目)のスキャン(走査)によって入力された三次元データが存在するか否かを判定する。データ処理装置1は、N+1回目のスキャン(走査)によって入力された三次元データdに対する仮想空間50内に過去のN回目のスキャン(走査)によって入力された三次元データaが存在する場合、N回目の三次元データaと、N+1回目の三次元データdとでスキャン位置からの距離を比較し、スキャナ位置から最も近い点の位置を含むN回目の三次元データaを偽の三次元データとする。言い換えると、データ処理装置1は、N+1回目の三次元データdを真の三次元データとする。
【0122】
データ処理装置1は、
図14(E)に示すように、N+1回目のスキャン(走査)によって三次元データeが入力されると、三次元データeに対する仮想空間50を生成し、仮想空間50内にN+1回目よりも前(たとえば、過去のN回目)のスキャン(走査)によって入力された三次元データが存在するか否かを判定する。データ処理装置1は、N+1回目のスキャン(走査)によって入力された三次元データeに対する仮想空間50内に過去のN回目のスキャン(走査)によって入力された三次元データbが存在する場合、N回目の三次元データbと、N+1回目の三次元データeとでスキャン位置からの距離を比較し、スキャナ位置から最も近い点の位置を含むN回目の三次元データbを偽の三次元データとする。言い換えると、データ処理装置1は、N+1回目の三次元データeを真の三次元データとする。
【0123】
データ処理装置1は、
図14(F)に示すように、N+1回目のスキャン(走査)によって三次元データfが入力されると、三次元データfに対する仮想空間50を生成し、仮想空間50内にN+1回目よりも前(たとえば、過去のN回目)のスキャン(走査)によって入力された三次元データが存在するか否かを判定する。データ処理装置1は、N+1回目のスキャン(走査)によって入力された三次元データfに対する仮想空間50内に過去のN回目のスキャン(走査)によって入力された三次元データcが存在する場合、N回目の三次元データcと、N+1回目の三次元データfとでスキャン位置からの距離を比較し、スキャナ位置から最も近い点の位置を含むN回目の三次元データcを偽の三次元データとする。言い換えると、データ処理装置1は、N+1回目の三次元データfを真の三次元データとする。
【0124】
このように、変形例に係るデータ処理装置1の演算装置11(データ処理部1102)は、スキャナ位置を基準とした仮想空間50において、入力部1101から入力されたN回目の三次元データと、入力部1101から入力されたN+1回目の三次元データとでスキャン位置からの距離を比較し、スキャナ位置から最も近い点の位置を含む三次元データを偽の三次元データとする。なお、上述した例において、N回目の三次元データが「第1の三次元データ」に適用される場合、N+1回目の三次元データは「第2の三次元データ」に適用され、N回目の三次元データが「第2の三次元データ」に適用される場合、N+1回目の三次元データは「第1の三次元データ」に適用される。
【0125】
なお、データ処理装置1が複数の三次元データのうちのスキャナ位置から最も近い点の位置を含む三次元データを偽の三次元データとした場合、たとえば、ユーザが、先に、ある特定歯牙のユーザに近い側の側面をスキャンし、その後、同じ特定歯牙のユーザから遠い側の側面をスキャンしたときに、データ処理装置1は、特定歯牙のユーザから近い側の側面の三次元データを偽の三次元データとする可能性がある。しかしながら、
図7を用いて説明したように、データ処理装置1は、仮想空間50の生成基準となった検出位置に対応する点からスキャナ位置に向かう光軸L方向において、過去に取得された三次元データが存在するか否かを判定するため、上述したような問題を生じさせることはない。
【0126】
変形例に係るデータ処理装置1は、データ判定処理によって、入力された複数の三次元データのうち、特定色に最も近い色の色情報を含む三次元データを真の三次元データとしてもよい。なお、特定色は、たとえば、歯牙の色に近い白色であってもよく、ユーザによって適宜設定され得る。また、データ処理装置1は、
図12の三次元データテーブルに格納された各三次元データの色情報を参照することで、各三次元データに対応する各点の色を特定することができる。
【0127】
たとえば、
図16(A)~(C)に示すように、データ処理装置1は、三次元スキャナ2のN回目のスキャン(走査)によって、口腔内のある特定領域において複数の三次元データa~cが入力され、その後、
図16(D)~(F)に示すように、三次元スキャナ2のN+1回目のスキャン(走査)によって、口腔内の同じ特定領域において複数の三次元データd~fが再び入力されたとする。
【0128】
データ処理装置1は、
図16(D)に示すように、N+1回目のスキャン(走査)によって三次元データdが入力されると、三次元データdに対する仮想空間50を生成し、仮想空間50内にN+1回目よりも前(たとえば、過去のN回目)のスキャン(走査)によって入力された三次元データが存在するか否かを判定する。データ処理装置1は、N+1回目のスキャン(走査)によって入力された三次元データdに対する仮想空間50内に過去のN回目のスキャン(走査)によって入力された三次元データaが存在する場合、N回目の三次元データaに含まれる色情報と、N+1回目の三次元データdに含まれる色情報とを比較し、特定色に最も近い色の色情報を含むN+1回目の三次元データdを真の三次元データとする。
【0129】
データ処理装置1は、
図16(E)に示すように、N+1回目のスキャン(走査)によって三次元データeが入力されると、三次元データeに対する仮想空間50を生成し、仮想空間50内にN+1回目よりも前(たとえば、過去のN回目)のスキャン(走査)によって入力された三次元データが存在するか否かを判定する。データ処理装置1は、N+1回目のスキャン(走査)によって入力された三次元データeに対する仮想空間50内に過去のN回目のスキャン(走査)によって入力された三次元データbが存在する場合、N回目の三次元データbに含まれる色情報と、N+1回目の三次元データeに含まれる色情報とを比較し、特定色に最も近い色の色情報を含むN+1回目の三次元データeを真の三次元データとする。
【0130】
データ処理装置1は、
図16(F)に示すように、N+1回目のスキャン(走査)によって三次元データfが入力されると、三次元データfに対する仮想空間50を生成し、仮想空間50内にN+1回目よりも前(たとえば、過去のN回目)のスキャン(走査)によって入力された三次元データが存在するか否かを判定する。データ処理装置1は、N+1回目のスキャン(走査)によって入力された三次元データfに対する仮想空間50内に過去のN回目のスキャン(走査)によって入力された三次元データcが存在する場合、N回目の三次元データcに含まれる色情報と、N+1回目の三次元データfに含まれる色情報とを比較し、特定色に最も近い色の色情報を含むN+1回目の三次元データfを真の三次元データとする。
【0131】
このように、変形例に係るデータ処理装置1の演算装置11(データ処理部1102)は、スキャナ位置を基準とした仮想空間50において、入力部1101から入力されたN回目の三次元データと、入力部1101から入力されたN+1回目の三次元データとで色情報を比較し、特定色に最も近い色の色情報を含む三次元データを真の三次元データとする。なお、上述した例において、N回目の三次元データが「第1の三次元データ」に適用される場合、N+1回目の三次元データは「第2の三次元データ」に適用され、N回目の三次元データが「第2の三次元データ」に適用される場合、N+1回目の三次元データは「第1の三次元データ」に適用される。
【0132】
なお、データ処理装置1が複数の三次元データのうちの特定色に最も近い色の色情報を含む三次元データを真の三次元データとした場合、たとえば、歯肉と指との比較など、比較的に色が近いスキャン物体については、三次元データの真偽を判定することが難しい可能性がある。しかしながら、データ処理装置1は、上述したような三次元データの検出位置同士を比較する他のデータ判定処理を組み合わせれば、色に基づき三次元データの真偽を判定することができなくても、検出位置に基づき三次元データの真偽を判定することができる。
【0133】
すなわち、同じ仮想空間にN回目の三次元データおよびN+1回目の三次元データの両方が存在する場合において、N回目の三次元データが歯牙の位置を含み、N+1回目の三次元データが指または舌の位置を含む場合であっても、N+1回目の三次元データを真のデータと判定する処理の場合(
図7を用いて説明した処理の場合)は、指または舌を含む三次元データが真のデータとして判定されてしまう。この点、
図16を用いて説明した処理の場合、N回目の三次元データが歯牙の位置を含み、N+1回目の三次元データが指または舌の位置を含む場合であっても、N回目の三次元データに含まれる色情報と、N+1回目の三次元データに含まれる色情報とを比較して、特定色に最も近い色の色情報を含むN回目の三次元データを真の三次元データとすることができる。よって、データ処理装置1は、このような処理を併用することで、指または舌を含む三次元データを真の三次元データと判定されないようにすることができる。
【0134】
(仮想空間)
本実施の形態に係るデータ処理装置1は、三次元スキャナ2の光軸Lを中心軸とする円柱の形を有する仮想空間50を生成していた。しかしながら、変形例に係るデータ処理装置1は、円柱状の仮想空間50に限らず、他の形状の仮想空間50を生成してもよい。たとえば、データ処理装置1は、三次元スキャナ2の光軸Lが中心を通る多角柱(たとえば、四角柱)の仮想空間50を生成してもよい。
【0135】
(データセットの判定)
本実施の形態に係るデータ処理装置1は、メッシュ生成処理によって、所定範囲内に位置する複数の三次元データを直線で結び付けることによってメッシュを生成し、生成したメッシュの集まりをデータセットとし、データセット判定処理によって、データセットの真偽を判定していたが、変形例に係るデータ処理装置1は、メッシュを生成することなく、データセットの真偽を判定してもよい。
【0136】
たとえば、データ処理装置1は、所定範囲内に位置する複数の三次元点群データを直線で結び付けることなく共通のデータセットに含めることによって、三次元データを分類してもよい。すなわち、所定範囲内に位置する複数の三次元点群データが、互いに結び付けられることなく(メッシュが生成されることなく)共通のデータセットに含まれることになる。そして、データ処理装置1は、複数のデータセット(三次元点群データ)のうち、データ量が最も大きいデータセット(三次元点群データ)を真のデータセット(三次元点群データ)としてもよい。
【0137】
本実施の形態に係るデータ処理装置1は、複数のデータセットのうち、データ量が最も大きいデータセットを真のデータセットとしていたが、変形例に係るデータ処理装置1は、複数のデータセットのうち、データ量が所定データ量以上のデータセットを真のデータセットとし、データ量が所定データ量以上のデータセットに基づいて、任意の視点から見た二次元画像に対応する二次元画像データを生成してもよい。
【0138】
(真偽の指標)
本実施の形態に係るデータ処理装置1は、
図12に示すように、データ判定処理によって真の三次元データとして判定しなかった三次元データに対して、偽の指標として削除フラグをセットしていた。しかしながら、変形例に係るデータ処理装置1は、データ判定処理によって真の三次元データとして判定した三次元データに対して真の指標を関連付けてもよい。
【0139】
また、本実施の形態に係るデータ処理装置1は、
図12に示すように、データ判定処理によって真の三次元データとして判定した三次元データ、および、偽の三次元データとして判定した三次元データのいずれも、記憶装置12(記憶部1103)に記憶し、削除フラグを用いて真の三次元データと偽の三次元データとを区別していた。しかしながら、変形例に係るデータ処理装置1は、一旦、取得した三次元データを記憶装置12に記憶した後に、データ判定処理によって偽の三次元データとして判定した三次元データを削除してもよい。あるいは、変形例に係るデータ処理装置1は、取得した三次元データのうち、データ判定処理によって真の三次元データとして判定した三次元データのみを記憶装置12に記憶してもよい。
【0140】
(三次元スキャナ)
本実施の形態に係る三次元スキャナ2は、ユーザがプローブ22を手で持って動かすことが可能に構成されていた。しかしながら、変形例に係る三次元スキャナ2は、ハウジング21およびプローブ22が固定されていてもよい。
【0141】
三次元スキャナ2は、スキャン物体の表面を示す各点の三次元データを光軸の反射によって取得する装置に限らない。たとえば、三次元スキャナ2は、スキャン物体の表面を示す各点の三次元データをレーザー光を用いて取得する装置であってもよい。
【0142】
また、三次元スキャナ2は、CT(Computed Tomography)スキャナまたはX線装置のように、スキャン物体の表面に限らず、スキャン物体の内部を構成する各点の位置情報を含むボクセルデータまたは体積データを取得する装置であってもよい。
【0143】
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。
【符号の説明】
【0144】
1 データ処理装置、2 三次元スキャナ、3 ディスプレイ、4 キーボード、5 マウス、10 データ処理システム、11 演算装置、12 記憶装置、13 スキャナインターフェース、14 通信装置、15 ディスプレイインターフェース、16 周辺機器インターフェース、17 メディア読取装置、20 リムーバブルディスク、21 ハウジング、22 プローブ、23 光源、24 レンズ、25 光学センサ、26 プリズム、27 カウンタウェイト、28 反射部、29 開口部、40 制御装置、50 仮想空間、121 三次元データ、122 データ処理プログラム、1101 入力部、1102 データ処理部、1103 記憶部、1104 出力部。