特開 2022-181108 情報入力装置、情報入力プログラム及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022181108

(43)【公開日】2022-12-07

(54)【発明の名称】情報入力装置、情報入力プログラム及び記憶媒体

(51)【国際特許分類】

   G06F 3/0346 20130101AFI20221130BHJP

   G06F 3/04812 20220101ALI20221130BHJP

   G06F 3/0482 20130101ALI20221130BHJP

   A61B 90/90 20160101ALI20221130BHJP

   A61C 19/00 20060101ALI20221130BHJP

【ＦＩ】

G06F3/0346 422

G06F3/0481 120

G06F3/0482

A61B90/90

A61C19/00 Z

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021087951

(22)【出願日】2021-05-25

(71)【出願人】

【識別番号】521226912

【氏名又は名称】株式会社ムロヤ

(74)【代理人】

【識別番号】100100170

【弁理士】

【氏名又は名称】前田 厚司

(72)【発明者】

【氏名】冨田 明男

【テーマコード（参考）】

4C052

5B087

5E555

【Ｆターム（参考）】

4C052AA08

4C052LL07

5B087AA07

5B087AB14

5B087AC02

5B087BC12

5B087BC13

5B087BC32

5B087DD06

5B087DE02

5B087DE03

5B087DE07

5E555AA08

5E555AA11

5E555BA22

5E555BB22

5E555BC17

5E555BE01

5E555CA42

5E555CB03

5E555CB33

5E555CB34

5E555CB42

5E555CB53

5E555CC03

5E555CC07

5E555DA01

5E555DB07

5E555DC45

5E555DC60

5E555DD06

5E555EA22

5E555FA02

5E555FA08

5E555FA09

(57)【要約】

【課題】情報の入力を簡単な動作で確実に行える情報入力装置を提供する。
【解決手段】本発明に係る情報入力装置は、ユーザの動作を撮影する撮影部２と、撮影部２で撮影された撮影画像を表示する表示部３と、特定の情報を複数の選択画像に関連付けて記憶する記憶部７と、制御部９とを備える。制御部９は、複数の選択画像１１を表示部３に表示する選択画像表示手段と、撮影画像中のユーザの特定部分６ａ、６ｂを認識する特定部分認識手段と、特定部分認識手段により認識された特定部分６ａ、６ｂの座標に追跡画像１２，１３を表示する追跡画像表示手段と、追跡画像１２、１３と選択画像１１の重なりを検出する重なり検出手段と、重なり検出手段が追跡画像１２、１３と選択画像１１の重なりを検出すると選択画像１１を確定表示する確定表示手段と、確定表示された選択画像１１に関連付けされた情報を出力する出力手段とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザの動作を撮影する撮影部と、
前記撮影部で撮影された撮影画像を表示する表示部と、
特定の情報を複数の選択画像に関連付けて記憶する記憶部と、
制御部とを備え、
前記制御部は、
前記複数の選択画像を前記表示部に表示する選択画像表示手段と、
前記撮影画像中のユーザの特定部分を認識する特定部分認識手段と、
前記特定部分認識手段により認識された前記特定部分の座標に追跡画像を表示する追跡画像表示手段と、
前記追跡画像と前記選択画像の重なりを検出する重なり検出手段と、
前記重なり検出手段が前記追跡画像と前記選択画像の重なりを検出すると前記選択画像を確定表示する確定表示手段と、
前記確定表示された前記選択画像に関連付けされた情報を出力する出力手段とを備えることを特徴とする情報入力装置。

【請求項2】

前記選択画像は、当該選択画像に関連付けされた特定の情報に対応する表示を含むことを特徴とする請求項１に記載の情報入力装置。

【請求項3】

前記ユーザの特定部分は、ユーザが所持する物体であることを特徴とする請求項１又は２に記載の情報入力装置。

【請求項4】

前記追跡画像は、前記特定部分の外形と同一又は近似する形状を有することを特徴とする請求項１から３のいずれかに記載の情報入力装置。

【請求項5】

前記特定部分認識手段が認識した特定部分の色情報を検出する色情報検出手段と、
前記色情報検出手段が検出した色情報が所定の閾値と比較して前記特定部分の座標を確定する座標確定手段とをさらに備えることを特徴とする請求項１から４のいずれかに記載の情報入力装置。

【請求項6】

前記制御部は、情報入力処理前に、前記特定部分認識手段が認識した特定部分の色情報を前記所定の閾値とする閾値設定手段を備えることを特徴とする請求項５に記載の情報入力装置。

【請求項7】

前記ユーザの特定部分は、第１特定部分と第２特定部分からなり、
前記確定表示手段は、前記第１特定部分の前記追跡画像と前記選択画像の重なりを検出すると、前記選択画像の選択状態を表示し、前記第２特定部分の前記追跡画像と前記選択画像の重なりを検出すると、前記選択画像の確定状態を表示することを特徴とする請求項１から６のいずれかに記載の情報入力装置。

【請求項8】

複数の選択画像を表示部に表示する選択画像表示手段と、
撮影画像中のユーザの特定部分を認識する特定部分認識手段と、
前記特定部分認識手段により認識された前記特定部分の座標に追跡画像を表示する追跡画像表示手段と、
前記追跡画像と前記選択画像の重なりを検出する重なり検出手段と、
前記重なり検出手段が前記追跡画像と前記選択画像の重なりを検出すると前記選択画像を確定表示する確定表示手段と、
前記確定表示された前記選択画像に関連付けされた情報を出力する出力手段として機能させるための情報入力プログラム。

【請求項9】

請求項８に記載の情報入力プログラムを記憶したコンピュータにより読取可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はパーソナルコンピュータや情報端末等に非接触で情報を入力する情報入力装置、情報入力プログラム及び記憶媒体に関する。

【背景技術】

【0002】

従来、パーソナルコンピュータや情報端末等に情報を入力する場合、キーボードやマウス等の入力機器を使用したり、タッチパネル上の特定の部分に指をタッチ操作することが行われている。ウイルスや細菌の感染を防止するには、入力機器やタッチパネルに直接接触することを避けることが望ましい。

【0003】

例えば、歯科医院では、患者の治療時に、トレイに並べられたミラー、バキューム、ピンセット、探針、エクスカベータ、充填器等の器具をディスポーザブル手袋を嵌めた手に持って患者の口腔内で使用する。手には患者の唾液や洗浄液が付着するため、コンピュータの電子カルテ等に入力する場合は、入力機器やタッチパネルに直接接触することはできないため、入力情報を音声で助手や歯科衛生士に伝えて入力してもらうことが行われている。

【0004】

特許文献１には、仮想空間内のメニュー空間を手で掴む動作を撮像し、手の動きや位置を認識して、手がいずれのメニュー空間を掴んだか判定する情報入力装置が記載されている。特許文献２には、使用者の手を撮像し、手の形状を認識して使用者が手の形状で指示した特定の操作を判別する非接触情報入力装置が記載されている。

【0005】

特許文献１や特許文献２の情報入力装置では、手で掴む動作や、手を特定の形状にする動作が必要であり、手の位置や動作速度によっては認識ができないという問題があった。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０００－７５９９１号公報

【特許文献2】特開２００５－５０１７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は前記従来の問題点に鑑みてなされたもので、情報の入力を簡単な動作で確実に行える情報入力装置、情報入力プログラム及び記憶媒体を提供することを課題とする。

【課題を解決するための手段】

【0008】

前記課題を解決するための手段として、本発明に係る情報入力装置は、
ユーザの動作を撮影する撮影部と、
前記撮影部で撮影された撮影画像を表示する表示部と、
特定の情報を複数の選択画像に関連付けて記憶する記憶部と、
制御部とを備え、
前記制御部は、
前記複数の選択画像を前記表示部に表示する選択画像表示手段と、
前記撮影画像中のユーザの特定部分を認識する特定部分認識手段と、
前記特定部分認識手段により認識された前記特定部分の座標に追跡画像を表示する追跡画像表示手段と、
前記追跡画像と前記選択画像の重なりを検出する重なり検出手段と、
前記重なり検出手段が前記追跡画像と前記選択画像の重なりを検出すると前記選択画像を確定表示する確定表示手段と、
前記確定表示された前記選択画像に関連付けされた情報を出力する出力手段とを備えることを特徴とする。

【0009】

前記選択画像は、当該選択画像に関連付けされた特定の情報に対応する表示を含むことが好ましい。

【0010】

前記ユーザの特定部分は、ユーザが所持する物体であることが好ましい。

【0011】

前記追跡画像は、前記特定部分の外形と同一又は近似する形状を有することが好ましい。

【0012】

前記特定部分認識手段が認識した特定部分の色情報を検出する色情報検出手段と、
前記色情報検出手段が検出した色情報が所定の閾値と比較して前記特定部分の座標を確定する座標確定手段とをさらに備えることが好ましい。

【0013】

前記制御部は、情報入力処理前に、前記特定部分認識手段が認識した特定部分の色情報を前記所定の閾値とする閾値設定手段を備えることが好ましい。

【0014】

前記ユーザの特定部分は、第１特定部分と第２特定部分からなり、
前記確定表示手段は、前記第１特定部分の前記追跡画像と前記選択画像の重なりを検出すると、前記選択画像の選択状態を表示し、前記第２特定部分の前記追跡画像と前記選択画像の重なりを検出すると、前記選択画像の確定状態を表示することが好ましい。

【0015】

本発明に係る情報入力プログラムは、
複数の選択画像を表示部に表示する選択画像表示手段と、
撮影画像中のユーザの特定部分を認識する特定部分認識手段と、
前記特定部分認識手段により認識された前記特定部分の座標に追跡画像を表示する追跡画像表示手段と、
前記追跡画像と前記選択画像の重なりを検出する重なり検出手段と、
前記重なり検出手段が前記追跡画像と前記選択画像の重なりを検出すると前記選択画像を確定表示する確定表示手段と、
前記確定表示された前記選択画像に関連付けされた情報を出力する出力手段として機能させるための情報入力プログラムである。

【0016】

本発明に係る情報入力プログラムを記録したコンピュータ読取可能な記録媒体は、
複数の選択画像を表示部に表示する選択画像表示手段と、
撮影画像中のユーザの特定部分を認識する特定部分認識手段と、
前記特定部分認識手段により認識された前記特定部分の座標に追跡画像を表示する追跡画像表示手段と、
前記追跡画像と前記選択画像の重なりを検出する重なり検出手段と、
前記重なり検出手段が前記追跡画像と前記選択画像の重なりを検出すると前記選択画像を確定表示する確定表示手段と、
前記確定表示された前記選択画像に関連付けされた情報を出力する出力手段として機能させるための情報入力プログラムを記録したコンピュータ読取可能な記録媒体である。

【発明の効果】

【0017】

本発明によれば、表示部に表示された選択画像に、撮影画像中のユーザの特定部分の追跡画像を重ねるだけで、選択画像に関連付けられた特定の情報が出力されるので、情報の入力を簡単な動作で確実に行えるという効果を有している。

【図面の簡単な説明】

【0018】

【図1】本発明の実施形態に係る情報入力装置のブロック図。

【図2】表示部の画像の一例を示す図。

【図3】情報入力処理のフローチャート。

【図4】図３に続く情報入力処理のフローチャート。

【図5】キャリブレーション処理のフローチャート。

【図6】ミラー柄部の直線成分の両側の近傍エリアを示す図。

【図7】情報入力処理の手順を示す図。

【図8】ミラー部のキャリブレーション処理の手順を示す図。

【図9】ミラー柄部のキャリブレーション処理の手順を示す図。

【図10】ミラー柄部のキャリブレーション処理の他の実施例の手順を示す図。

【図11】ミラー柄部のキャリブレーションエリアの説明図。

【発明を実施するための形態】

【0019】

以下、本発明の実施形態を添付図面に従って説明する。

【0020】

図１は、本発明の実施形態に係る情報入力装置１の構成を示す。情報入力装置１は、歯科医院における歯科治療ユニットのサイドテーブルに設けられ、歯科医や歯科衛生士等のユーザが患者の電子カルテにカルテ番号、歯周ポケットや歯牙動揺度、カリエス進行度の測定値、所見や、処置内容、処方内容の定型文選択入力等の必要情報を入力するのに適している。情報入力装置１は、撮像部２と、表示部３と、制御部４とを備えている。

【0021】

撮像部２は、ビデオカメラ、デジタルカメラ、一眼レフカメラ等のカメラである。撮像部２は、歯科治療ユニットのサイドテーブルに三脚で固定したり、サイドテーブルを支持するアームに取り付けたり、サイドテーブルに設置したモニターの上部に固定して、歯科医や歯科衛生士等のユーザの手元の動作、具体的にはユーザが所持する歯科器具を撮像することができるようになっている。撮像部２のＨＤＭＩ（登録商標）端子は、ケーブルによりキャプチャー装置５を介して制御部４のＵＳＢ端子に接続される。

【0022】

ユーザが所持する歯科器具としては、サイドテーブル上のバットに置かれる、ミラー、ピンセット、エキスカベータ、充填器、探針のいずれか、特に円形のミラー部６ａと直線形のミラー柄部６ｂの特徴部分を有するミラー６が好ましい。

【0023】

表示部３は、液晶ディスプレイ、有機ＥＬディスプレイで、治療又は処置中にユーザが見ることができるように、サイドテーブルの上方に設けられている。表示部３は、制御部４とケーブルで接続されている。

【0024】

制御部４は、デスクトップ型、ノートブック型のパーソナルコンピュータであり、記憶部７、メモリ８及び中央演算処理部（ＣＰＵ）９を有している。

【0025】

記憶部７は、ハードディスク（ＨＤＤ）、ＳＳＤ等であり、所定のプログラムを記憶する主記憶部７ａと、特定の情報を複数の選択画像に関連付けて記憶する選択画像記憶部７ｂとを備えている。情報入力処理等を行うプログラムは、記録媒体からコピーしたり、インターネット、クラウドからダウンロードして、主記憶部７ａに記憶する。

【0026】

選択画像としては、撮影画像中の特定部分と区別できる形状であればよく、例えば特定部分が円や直線の場合は、矩形が好ましい。特定の情報が０，１～９の数字であれば、各数字に対応させて選択画像の１０個の表示座標を記憶する。

【0027】

メモリ８は、ＲＡＭであり、カメラ画像データ、ミラー円成分座標、ミラー直線成分座標、確定データ及びキャリブレーション値をそれぞれ記憶する部分８ａ、８ｂ、８ｃ、８ｄ、８ｅを有する。

【0028】

中央演算処理部９は、主記憶部７ａから読み出したプログラムに従って所定の処理を行う。中央演算処理部９は、本発明の選択画像表示手段、特定部分認識手段、追跡画像表示手段、重なり検出手段、確定表示手段、出力手段を構成する。

【0029】

次に、情報入力装置１の動作を図３－５に示すフローチャートに沿って説明する。

【0030】

図３－５は、情報入力装置１により、歯科医、歯科衛生士等のユーザがミラー６を所持して電子カルテにカルテ番号を入力するフローの動作を示している。このフローは、メインのループ１と、ミラー部６ａの円成分の検出処理を行うループ２と、ミラー柄部６ｂの直線成分の検出処理を行うループ３を備えている。

【0031】

（情報入力処理）
情報入力処理では、０，１－９の数字からなるカルテ番号の情報をミラー６を使用して非接触で入力する。

【0032】

＜ループ１＞
ループ１は、０，１－９の数字に関連付けられた選択画像の選択と確定を行う。ステップ１で、撮像部２からカメラ画像が入力されると、ステップ２でカメラ画像を表示部３に表示する。図２は、ミラー６を所持したユーザの手が表示されている。ステップ３では、キャリブレーションモードか否かを判断する。キャリブレーションモードは、ミラー部６ａの円成分と、ミラー柄部６ｂの直線成分とを検出するときのミラー部６ａとミラー柄部６ｂのカラー値の閾値を設定するモードである。キャリブレーションモードは、ループ１の始めに１回行えばよい。このキャリブレーションモードにつては後に詳述する。

【0033】

キャリブレーションモードでなければ、ステップ４で選択画像として選択矩形１１を表示部３に表示する。図２は、１０個の選択矩形１１の画像と、これらの選択矩形１１の枠内に０から９の数字が表示されている。

【0034】

ステップ５では、カメラ画像のデータを第１メモリ８ａに出力する。第１メモリ８ａに出力されるカメラ画像データは、ループ２で使用する。

【0035】

ステップ６で、第２メモリ８ｂからミラー円成分座標が入力され、ステップ７で、カメラ画像のミラー円成分座標にミラー追跡円１２をレンダリング表示する。図２では、ミラー部６ａの画像の周りに円形の追跡円１２が表示されている。追跡円１２は、ユーザがミラー６を移動させると、これに追従して追跡円１２が移動する。

【0036】

ステップ８では、追跡円１２が選択矩形１１に重なるか否かを判断する。これは、追跡円１２の中心座標が選択矩形１１の範囲内にあるか否かに基づいて行う。

【0037】

ステップ８で、追跡円１２が選択矩形１１に重ならないと判断し、ステップ９－１で選択矩形１１が選択状態でないと判断すると、ステップ１に戻り、ステップ８で追跡円１２が選択矩形１１に重なるまで繰り返す。

【0038】

ステップ８で、追跡円１２が選択矩形１１に重なると判断し、ステップ９で、選択矩形１１が選択状態でないと判断すると、ステップ１０で重なった選択矩形１１でない他の選択矩形１１が選択状態か否かを判断する。

【0039】

ステップ１０で他の選択矩形１１が選択状態でなければ、ステップ１２で、重なった選択矩形１１に選択状態をマーキング表示し、ステップ１３に移行する。図２では、選択矩形１１の選択状態は選択矩形１１の枠が太く表示されている。

【0040】

ステップ１０で他の選択矩形１１が選択状態にあることは、ユーザが他の選択矩形１１が選択状態にあるにもかかわらず、選択状態にない選択矩形１１に追跡円１２を重ならせた場合が考えられる。このような場合、ステップ１１で当該他の選択矩形１１の選択状態のマーキングをリセットし、ステップ１２で重なった選択矩形１１に選択状態をマーキング表示し、ステップ１３に移行する。

【0041】

なお、ステップ８で、追跡円１２が選択矩形１１に重ならないと判断し、ステップ９－１で選択矩形１１が選択状態であると判断した場合、またステップ８で、追跡円１２が選択矩形１１に重なると判断し、ステップ９で、選択矩形１１が選択状態であると判断した場合、既に選択矩形１１の選択が終わっているので、ステップ１３に移行する。

【0042】

図４のステップ１３では、カメラ画像のデータを第１メモリ８ａに出力する。第１メモリ８ａに出力されるカメラ画像データは、ループ３で使用する。

【0043】

ステップ１４で、第３メモリ８ｃからミラー直線成分座標が入力され、ステップ１５で、カメラ画像のミラー直線成分座標にミラー追跡直線１３をレンダリング表示する。図２では、ミラー柄部６ｂの画像に沿って２本の直線からなる追跡直線１３が表示されている。追跡直線１３は、ユーザがミラー６を移動させると、これに追従して移動する。

【0044】

ステップ１６では、追跡直線１３が選択矩形１１に重なるか否かを判断する。これは、追跡直線１３の中心座標が選択矩形１１の範囲内にあるか否かに基づいて行う。

【0045】

ステップ１６で、追跡直線１３が選択矩形１１に重ならないと判断すると、ステップ１に戻り、ステップ１６で追跡直線１３が選択矩形１１に重なるまで繰り返す。

【0046】

ステップ１６で、追跡直線１３が選択矩形１１に重なると判断すると、ステップ１７で重なった選択矩形１１に確定状態をマーキング表示し、ステップ１８に移行する。図２では、選択矩形１１の確定状態は選択矩形１１内がハッチングで表示されている。

【0047】

ステップ１８では、確定状態にある選択矩形１１に対応する数字を確定データとして第４メモリ８ｄに出力する。第４メモリ８ｄに出力された確定データは、ステップ１９で、表示部３の確定データ表示部１４に表示される。図２では、確定データ表示部１４に、既に入力された情報として、７９１８５２が表示されている。

【0048】

確定データの表示を終えると、ステップ２０で確定状態のマーキングをリセットして、ループ１の始めのステップ１に戻り、同じステップを繰り返す。

【0049】

＜ループ２＞
図３に示すループ２は、ミラー部６ａの円成分検出処理を行う。ステップ２１で第５メモリ８ｅからキャリブレーション値が入力され、ステップ２２で第１メモリ８ａからカメラ画像データが入力される。

【0050】

ステップ２３で、カメラ画像データに基づき円成分の認識処理を行い、円成分を検出したか否かを判断する。円成分を検出しなければ、ステップ２１に戻り、円成分を検出するまで認識処理を行う。

【0051】

円成分の認識処理は、主記憶部７ａにダウンロード又はインストールした画像認識プログラムを実行する。まず、グレースケールコンバータにより、カメラ画像データを白黒画素データに変換し、カメラ画像データの各ピクセルを０～２５５の整数データに置き換える。続いて、白黒画素データにCannyエッジ検出アルゴリズムを適用して二値化し、輪郭（エッジ）を検出する。次に、ハフ（Hough）変換により円成分を検出する。

【0052】

ステップ２３で円成分を検出すると、ステップ２４で円成分検出部のＲＧＢ値（Red、Green、Blueの３個の０～２５５の整数データ）それぞれの平均値を検出し、キャリブレーション値と比較してカラーマッチングを行う。カラーマッチングしなければ、ミラー部６ａの円成分ではないので、ステップ２１に戻り、ミラー部６ａの円成分を検出するまで、カラーマッチング処理を行う。

【0053】

ステップ２４でカラーマッチングすると、ステップ２５でミラー円成分の座標値をメモリに出力して、ループ２のステップ２１に戻り、同じステップを繰り返す。これにより、ユーザが所持するミラー６の動きに追従してミラー円成分座標が時系列で更新される。

【0054】

＜ループ３＞
ループ３は、ミラー柄部６ｂの直線成分検出処理を行う。ステップ３１で第４メモリ８ｄからキャリブレーション値が入力され、ステップ３２で第１メモリ８ａからカメラ画像データが入力される。

【0055】

ステップ３３で、カメラ画像データに基づき直線成分の認識処理を行い、直線成分を検出したか否かを判断する。直線成分を検出しなければ、ステップ３１に戻り、直線成分を検出するまで認識処理を行う。

【0056】

直線成分の認識処理は、円成分の認識処理と同様に、まず、グレースケールコンバータにより、カメラ画像データを白黒画素データに変換し、カメラ画像データの各ピクセルを０～２５５の整数データに置き換える。続いて、白黒画素データにCannyエッジ検出アルゴリズムを適用して二値化し、輪郭（エッジ）を検出する。次に、ハフ（Hough）変換により直線成分を検出する。

【0057】

ステップ３３で直線成分を検出すると、ステップ３４で直線成分の両側の近傍エリアのＲＧＢ値（Red、Green、Blueの３個の０～２５５の整数データ）それぞれの平均値を検出し、当該ＲＧＢ値をキャリブレーション値と比較してカラーマッチングを行う。図６は、ミラー柄部６ｂの直線成分Ｓ１、Ｓ２のそれぞれの両側の近傍エリアＳａ、Ｓｂを示している。両側の近傍エリアのいずれもカラーマッチングしなければ、ミラー柄部６ｂの直線成分ではないので、ステップ２１に戻り、ミラー柄部６ｂの直線成分を検出するまで、カラーマッチング処理を行う。

【0058】

ステップ３４で両側の近傍エリアのうち少なくともいずれかがカラーマッチングすると、ステップ３５でミラー直線成分の座標値を第３メモリ８ｃに出力して、ループ３のステップ３１に戻り、同じステップを繰り返す。これにより、ユーザが所持するミラー６の動きに追従してミラー直線成分座標が時系列で更新される。

【0059】

図７を参照して情報入力処理の手順を説明すると、図７（ａ）は、表示部３に表示されたミラー６のカメラ画像である。図７（ｂ）では、表示部３に選択矩形１１が表示されるとともに、ミラー６のカメラ画像のミラー部６ａに追跡円１２が表示され、ミラー柄部６ｂに追跡直線１３が表示されている。ユーザがミラー６を動かすと、ミラー部６ａに追跡円１２が追従し、ミラー柄部６ｂに追跡直線１３が追従して、表示される。ユーザは、ミラー６を動かし、追跡円１２を所望の選択矩形１１に近づけて、図７（ｃ）に示すように、追跡円１２を選択矩形１１に重ねると、選択矩形１１が選択状態に変化する。続いて、ユーザがミラー６を動かし、図７（ｄ）に示すように、追跡直線１３を選択状態にある選択矩形１１に重ねると、選択矩形１１が確定状態に変化する。

【0060】

以上のように、情報入力処理では、０，１～９の数字によりカルテ番号を入力するのに、ユーザがミラー６を使用して、ミラー部６ａの追跡円１２を選択矩形１１に重ねることにより０．１～９の数字に関連付けられた選択矩形１１を選択し、ミラー柄部６ｂの追跡直線１３を選択矩形１１に重ねることにより確定することで、０，１～９の数字からなカルテ番号を入力することができる。

【0061】

（キャリブレーション処理）
図５は、キャリブレーション処理を示す。キャリブレーション処理は、ループ１の情報入力処理、ループ２の円成分検出処理、ループ３の直線成分検出処理を行う前に、カメラ画像に現れるミラー６のミラー部６ａとミラー柄部６ｂのＲＧＢカラー値の許容範囲（閾値）をキャリブレーション値として設定するものである。

【0062】

まず、ミラー部６ａのキャリブレーション処理を説明すると、ステップ４１で、表示部３にキャリブレーション選択矩形２１をレンダリング表示する。図８では、表示部３の右下にミラー部６ａのキャリブレーション選択矩形２１が表示されている。

【0063】

ステップ４２で、表示部３にキャリブレーションガイド円２２をレンダリング表示する。図８では、表示部３の中央に、キャリブレーションガイド円２２と、その中に矩形の検出部２３とが表示されている。

【0064】

ステップ４３で、カメラ画像を第１メモリ８ａに出力し、ステップ４４で第２メモリ８ｂからミラー円成分座標が入力される。ステップ４５で、ミラー追跡円１２をレンダリング表示する。図８（ａ）では、ミラー追跡円１２が太線で表示されている。

【0065】

ステップ４６で、ミラー追跡円１２がキャリブレーションガイド円２２に重なるか否かを判断する。これは、ミラー追跡円１２の中心座標がキャリブレーションガイド円２２の範囲内にあるか否かに基づいて行う。図８（ｂ）は、ミラー追跡円１２がキャリブレーションガイド円２２に重なった状態を示している。

【0066】

ステップ４６で、ミラー追跡円１２がキャリブレーションガイド円２２に重ならないと判断すると、ループ１のステップ１～３、３－１、３－２を経て、ステップ４１戻り、同じステップを繰り返す。

【0067】

ステップ４６で、ミラー追跡円１２がキャリブレーションガイド円２２に重なると判断すると、ステップ４７で、キャリブレーション開始のマーキング表示を行う。図８（ｂ）では、キャリブレーションガイド円２２の色が変化している。

【0068】

ステップ４８で、検出円の大きさを測定し、ステップ４９で検出部２３内にあるミラー部６ａの画像のカラー値を検出する。具体的には、ミラー部６ａの画像の画素を走査し、全ての画素のＲＧＢ値（Red、Green、Blueの３個の０～２５５の整数データ）それぞれの平均値を求める。ステップ５０で、キャリブレーション値を第５メモリ８ｅに出力する。キャリブレーション値は、ＲＧＢ値（Red、Green、Blueの３個の０～２５５の整数データ）それぞれの平均値を中心とする所定の範囲の閾値とする。例えば、ＲＧＢのうちＲの平均値を１００とした場合、１００±５０をＲのキャリブレーション値とする。Ｇ、Ｂについても同様に、キャリブレーション値をそれぞれ定める。

【0069】

ステップ５１で、キャリブレーション終了のマーキング表示を行う。図８（ｃ）では、キャリブレーションガイド円２２が元の色に変化している。

【0070】

ステップ５２で所定時間、ウェイティング（待機）し、ステップ５３で、キャリブレーションガイド円２２のマーキング表示をリセットしてキャリブレーション処理を終了し、ループ１のステップ１に戻る。

【0071】

次に、ミラー柄部６ｂのキャリブレーション処理を説明する。ステップ６１で、表示部３にキャリブレーション選択矩形３１をレンダリング表示する。図９では、表示部３の右下にミラー柄部６ｂのキャリブレーション選択矩形３１が表示されている。

【0072】

ステップ６２で、表示部３にキャリブレーションガイド矩形３２ａ、３２ｂをレンダリング表示する。図９では、表示部３の中央に、２つのキャリブレーションガイド矩形３２ａ、３２ｂと、その間に矩形の検出部３３とが表示されている。

【0073】

ステップ６３で、カメラ画像を第１メモリ８ａに出力し、ステップ６４で第３メモリ８ｃからミラー柄部６ｂの直線成分座標が入力される。ステップ６５で、ミラー追跡直線１３ａ、１３ｂをレンダリング表示する。図９（ａ）では、２つのミラー追跡直線１３ａ、１３ｂが太線で表示されている。

【0074】

ステップ６６で、２つのミラー追跡直線１３ａ、１３ｂのうち一方の追跡直線１３ａがキャリブレーションガイド矩形３２ａに重なるか否か、ステップ６７で他方のミラー追跡直線１３ｂがキャリブレーションガイド矩形３２ｂに重なるか否かを判断する。これは、ミラー追跡直線１３ａ、１３ｂの中心座標がガイド矩形３２ａ、３２ｂの範囲内にあるか否かに基づいて行う。図９（ｂ）は、各ミラー追跡直線１３ａ、１３ｂがキャリブレーションガイド矩形３２ａ、３２ｂに重なった状態を示している。

【0075】

ステップ６６、６７で、ミラー追跡直線１３ａ、１３ｂがキャリブレーションガイド矩形３２ａ、３２ｂに重ならないと判断すると、ループ１のステップ１～３、３－１を経て、ステップ６１戻り、同じステップを繰り返す。

【0076】

ステップ６６、６７で、ミラー追跡直線１３ａ、１３ｂがキャリブレーションガイド矩形３２ａ、３２ｂに重なると判断すると、ステップ６８で、キャリブレーション開始のマーキング表示を行う。図９（ｂ）では、キャリブレーションガイド矩形３２ａ、３２ｂの色が変化している。

【0077】

ステップ６９で検出部３３内にあるミラー柄部６ｂの画像のカラー値を検出する。具体的には、ミラー柄部６ｂの画像の画素を走査し、全ての画素のＲＧＢ値（Red、Green、Blueの３個の０～２５５の整数データ）それぞれの平均値を求める。ステップ７０で、キャリブレーション値を第５メモリ８ｅメモリに出力する。キャリブレーション値は、ＲＧＢ値（Red、Green、Blueの３個の０～２５５の整数データ）それぞれの平均値を中心とする所定の範囲の閾値とする。例えば、ＲＧＢのうちＲの平均値を１００とした場合、１００±５０をＲのキャリブレーション値とする。Ｇ、Ｂについても同様に、キャリブレーション値をそれぞれ定める。

【0078】

ステップ７１で、キャリブレーション終了のマーキング表示を行う。図９（ｃ）では、キャリブレーションガイド矩形３２ａ、３２ｂが元の色に変化している。

【0079】

ステップ７２で所定時間、ウェイティング（待機）し、ステップ７３で、キャリブレーションガイド矩形３２ａ、３２ｂのマーキング表示をリセットしてキャリブレーション処理を終了し、ループ１のステップ１に戻る。

【0080】

以上のように、キャリブレーション処理では、ミラー６のミラー部６ａとミラー柄部６ｂのカラー値を測定してキャリブレーション値として第５メモリ８ｅに記憶し、ループ２の円成分検出処理、ループ３の直線成分検出処理においてキャリブレーション値を閾値として使用するので、ミラー６の円成分と直線成分を精度よく検出することができる。

【0081】

図１０は、ミラー柄部６ｂのキャリブレーション処理の他の実施例を示す。このキャリブレーション処理では、１つのキャリブレーションガイド矩形３２を設け、２つのミラー追跡直線１３ａと１３ｂの間の四角形の領域をミラー柄部６ｂのキャリブレーションエリアかつ動的検出部６ｃとしている。

【0082】

図１１（ａ）に示すように、ミラー追跡直線１３ａの両端点、中点をそれぞれＡ１、Ｂ１、Ｃ１とし、ミラー追跡直線１３ｂの両端点、中点をそれぞれＡ２、Ｂ２、Ｃ２とし、ミラー追跡直線１３ａの両端点Ａ１、Ｂ１を通る垂線がミラー追跡直線１３ｂと交わる点をそれぞれＤ、Ｅ、ミラー追跡直線１３ａの中点Ｃ１を通る垂線がミラー追跡直線１３ｂと交わる点をＦとし、線分Ａ１Ｄ、Ｂ１Ｅ、Ｃ１Ｆ、Ａ１Ｃ１、ＦＣ２の長さをそれぞれ、ｌ、ｍ、ｎ、α、βとし、ミラー柄部６ｂの幅の閾値を最小閾値Ｔmin、最大閾値Ｔmaxとするとき、
（Ａ）ミラー追跡直線１３ａ、１３ｂがキャリブレーションガイド矩形３２内にある
（Ｂ）Ｔmin < ｌ < Ｔmax
（Ｃ）Ｔmin < ｍ < Ｔmax
（Ｄ）Ｔmin < ｎ < Ｔmax
（Ｅ）０ ≦ β＜ α
を同時に満たすとき、キャリブレーションを行うものとする。

【0083】

キャリブレーションエリア６ｃを導出するには、図１１（ｂ－１）に示すように、点Ｄが線分Ａ２Ｂ２上に無いとき、線分Ａ２Ｂ２の点Ａ２を通る垂線が線分Ａ１Ｂ１と交わる点をＧとし、図１１（ｂ－２）に示すように、点Ｅが線分Ａ２Ｂ２上に無いとき、線分Ａ２Ｂ２の点Ｂ２を通る垂線が線分Ａ１Ｂ１と交わる点をＨとして、
（１）図１１（ｃ－１）に示すように、線分Ａ１Ｂ１上に点Ｇだけが存在するとき、点Ｇ，Ｂ１，Ｅ，Ａ２を頂点する四角形の内側をキャリブレーションエリア６ｃとし、
（２）図１１（ｃ－２）に示すように、線分Ａ１Ｂ１上に点Ｈだけが存在するとき、点Ａ１，Ｈ，Ｂ２，Ｄを頂点する四角形の内側をキャリブレーションエリア６ｃとし、
（３）図１１（ｃ－３）に示すように、線分Ａ１Ｂ１上に点Ｇ、Ｈが存在するとき、点Ｇ，Ｈ，Ｂ２，Ａ２を頂点する四角形の内側をキャリブレーションエリア６ｃとし、
（４）図１１（ｃ－４）に示すように、線分Ａ１Ｂ１上に点Ｇ、Ｈが存在しないとき、点Ａ１，Ｂ１，Ｅ，Ｄを頂点する四角形の内側をキャリブレーションエリア６ｃとする。
キャリブレーションエリア６ｃは、着色して明示する。

【0084】

前記Ａ－Ｅの条件を同時に満たすと判断すると、図１０（ｂ）に示すように、キャリブレーションガイド矩形３２の色を変化させて、キャリブレーション開始のマーキング表示を行う。ここで、キャリブレーションエリアかつ動的検出部６ｃの全ての画素を走査して、ＲＧＢ値（Red、Green、Blueの３個の０～２５５の整数データ）それぞれの平均値を求め、それぞれのキャリブレーション値を出力する。次に、図１０（ｃ）に示すように、キャリブレーションガイド矩形３２を元の色に戻して、キャリブレーション終了のマーキング表示を行う。

【0085】

本発明は、以上の実施形態に限るものではなく、特許請求の範囲に記載の発明の要旨を逸脱することなく、適宜修正し変更することができる。

【0086】

例えば、前記実施形態では、ユーザが所持するミラー６の特定部分として、ミラー部６ａとミラー柄部６ｂを特定し、ミラー部６ａで選択画像１１を選択状態とし、ミラー柄部６ｂで選択画像１１を確定状態としているが、ミラー部６ａとミラー柄部６ｂのいずれか一方だけで、確定状態としてもよい。あるいは、ミラー部６ａが円で表示されたときに選択状態とし、ミラー６をひねってミラー部６ａが楕円又は直線で表示されたときに確定状態としてもよい。

【0087】

また、前記実施形態では、ユーザの特定部分として、ユーザが所持するミラー６のミラー部６ａとミラー柄部６ｂとしたが、ミラー６に限らず、他の器具としてもよいし、ユーザの指先、ユーザが装着した手袋のマーク等としてもよい。

【0088】

さらに、前記実施形態では、情報入力装置で入力する情報として、歯科用電子カルテの数字からなるカルテ番号としたが、記号やアルファベットを含む情報でもよい。この場合、記号やアルファベットに対応する選択矩形を表示部に表示する必要がある。

【符号の説明】

【0089】

１ 情報入力装置
２ 撮影部
３ 表示部
４ 制御部
５ キャプチャー装置
６ ミラー
６ａ ミラー部
６ｂ ミラー柄部
７ 記憶部
８ メモリ
９ 中央演算処理部
１１ 選択矩形
１２ 追跡円
１３ 追跡直線
１４ 確定データ表示部
２１ キャリブレーション選択矩形
２２ キャリブレーションガイド円
２３ 検出部
３１ キャリブレーション選択矩形
３２ａ、３２ｂ キャリブレーションガイド矩形
３３ 検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】