特開 2024-146620 算盤センシング装置、方法、及び珠算学習情報提示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024146620

(43)【公開日】2024-10-15

(54)【発明の名称】算盤センシング装置、方法、及び珠算学習情報提示システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241004BHJP

   G09B 19/02 20060101ALI20241004BHJP

【ＦＩ】

G06T7/00 300Z

G09B19/02 Z

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023059640

(22)【出願日】2023-03-31

(71)【出願人】

【識別番号】504143441

【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学

(74)【代理人】

【識別番号】110000822

【氏名又は名称】弁理士法人グローバル知財

(72)【発明者】

【氏名】松田 裕貴

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA02

5L096EA16

5L096HA08

(57)【要約】

【課題】ユーザの自然な算盤操作を妨げることなく、珠操作を高精度でセンシングできる算盤センシング装置、方法、及び珠算学習情報提示システムを提供する。
【解決手段】撮像手段１１、盤面検出手段１２、領域画像抽出手段１３、領域画像分類手段１４及び数字取得手段１５を備える。撮像手段１１は、ＡＲマーカ１２ａが貼付けられた算盤２０の盤面を撮影する。盤面検出手段１２は、撮像手段１１により撮像された撮像画像から、盤面を検出する。領域画像分類手段１３は、検出された盤面から、一珠、五珠、軸部の少なくとも何れかの一部を含む複数の領域画像を桁毎に抽出する。領域画像分類手段１４は、領域画像を分類する。数字取得手段１５は、領域画像の分類結果に基づき桁毎に数字を取得する。盤面検出手段１２は補正手段１６を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

算盤の盤面及び珠操作をリアルタイムにセンシングする装置であって、
前記盤面を撮影する撮像手段と、
前記撮像手段により撮像された撮像画像から、前記盤面を検出する盤面検出手段と、
検出された前記盤面から、一珠、五珠、軸部の少なくとも何れかの一部を含む複数の領域画像を桁毎に抽出する領域画像抽出手段と、
前記領域画像を分類する領域画像分類手段と、
前記領域画像の分類結果に基づき桁毎に数字を取得する数字取得手段と、
を備えることを特徴とする算盤センシング装置。

【請求項2】

前記領域画像抽出手段は、
五珠の上半分、五珠の下半分、梁部を基準とした上側軸部の一部、の少なくとも何れかを切り出すことで得られる上側領域画像と、
一珠の上半分、一珠の下半分、梁部を基準とした下側軸部の一部、の少なくとも何れかを切り出すことで得られる下側領域画像、を抽出することを特徴とする請求項１に記載の算盤センシング装置。

【請求項3】

前記上側領域画像は、当該桁の珠の位置が０を示す状態において、
五珠の上半分と、前記上側軸部、から成る２つの領域画像、
であることを特徴とする請求項２に記載の算盤センシング装置。

【請求項4】

前記上側領域画像は、当該桁の珠の位置が０を示す状態において、
五珠の上半分、五珠の下半分、又は、前記上側軸部、の何れかから成る１つの領域画像であることを特徴とする請求項２に記載の算盤センシング装置。

【請求項5】

前記下側領域画像は、当該桁の珠の位置が０を示す状態において、
前記下側軸部と、各一珠の下半分、から成る５つの領域画像であることを特徴とする請求項２に記載の算盤センシング装置。

【請求項6】

前記下側領域画像は、当該桁の珠の位置が０を示す状態において、
各一珠の上半分、から成る４つの領域画像であることを特徴とする請求項２に記載の算盤センシング装置。

【請求項7】

前記下側領域画像は、当該桁の珠の位置が０を示す状態において、
上側から１番目の一珠の下半分と、上側から３番目の一珠の下半分、から成る２つの領域画像であることを特徴とする請求項２に記載の算盤センシング装置。

【請求項8】

前記盤面検出手段は、前記算盤に施した少なくとも１つのマーカ、又は、画像認識により、前記盤面を検出し、算盤が置かれた領域を同定することを特徴とする請求項１に記載の算盤センシング装置。

【請求項9】

前記盤面検出手段は、画像の角度又は歪みを補正する補正手段を備えることを特徴とする請求項１に記載の算盤センシング装置。

【請求項10】

リアルタイムに珠算学習に関する情報を提示するシステムであって、
請求項１～９の何れかの算盤センシング装置と、
前記盤面と重畳した位置が含まれるように表示部が配置される表示手段と、
前記表示部に問題を表示する問題提示手段と、
前記算盤センシング装置により数字が取得されない桁の位置、数及び変化に基づき、入力完了を検知する入力完了検知手段と、
前記問題の解答となる数字と、前記算盤センシング装置により取得された数字、を比較して、珠の誤操作を検出する誤操作検出手段と、
前記誤操作の内容に応じて、正誤情報と、改善情報の少なくとも何れかの情報を学習情報として生成し、前記表示部に前記学習情報を表示する学習情報提示手段、
を備えることを特徴とする珠算学習情報提示システム。

【請求項11】

前記入力完了検知手段は、
前記領域画像を抽出できない桁が、前記桁より上の桁について、所定数を超えて生じた場合、
又は、
前記領域画像を抽出できない桁が、所定数を超えて消滅した場合には、
入力完了を検知することを特徴とする請求項１０に記載の珠算学習情報提示システム。

【請求項12】

前記学習情報提示手段は、前記表示部において、前記学習情報と関連する前記盤面上の桁又は珠の位置と重畳した位置に、前記学習情報を表示することを特徴とする請求項１０に記載の珠算学習情報提示システム。

【請求項13】

前記問題提示手段は、前記表示部において、前記盤面と重畳した位置が含まれず、かつ前記盤面の上側に前記問題を表示し、
提示される前記問題は、より新しい問題が前記盤面に近い位置に表示されることを特徴とする請求項１０に記載の珠算学習情報提示システム。

【請求項14】

算盤の盤面及び珠操作をリアルタイムにセンシングする方法であって、
前記盤面を撮影する撮像ステップと、
前記撮像ステップにより撮像された撮像画像から、前記盤面を検出する盤面検出ステップと、
検出された前記盤面から、一珠、五珠、軸部の少なくとも何れかの一部を含む複数の領域画像を桁毎に抽出する領域画像抽出ステップと、
前記領域画像を分類する領域画像分類ステップと、
前記領域画像の分類結果に基づき桁毎に数字を取得する数字取得ステップと、
を備えることを特徴とする算盤センシング方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、算盤（そろばん）を用いた計算、すなわち「珠算」の能力習得を支援するためのセンシング装置又は情報提示システムに関するものである。

【背景技術】

【0002】

算術力を獲得するための方法の一つとして、算盤（そろばん）を用いた計算、すなわち「珠算」が現代においても活用されている。珠算による計算は様々な方法・順序で「珠」を操作する必要があるため、習得には長期に渡る繰り返し学習を要する。一般的な学校教育・珠算教室における珠算指導では、問題への正答誤答に基づく指導が基本となっている。学習者の状況に応じて、教師により実演をすることで理解を促したり、学習者の観察に基づいてミスや苦手な珠操作を発見し指導したりする場合もあるが、基本的に全て人手に頼るほかないのが現状である。また、計算ミスや苦手な珠操作といった一種の「つまづき」には規則性・パターンがあると考えられるが、その知見は教師の中に暗黙知として蓄積され、次回の指導には生かされるものの、形式知化できていないため他者は再利用することができないことが課題となっている。

【0003】

珠の位置認識と操作手順の重畳表示を用いたそろばん学習支援システムが知られている（非特許文献１を参照）。これは、透明のテーブルの裏側に設置したＬＥＤライト・カメラを用いて「珠」を画像検出することに基づき、盤面認識を行うものである。また、プロジェクションマッピングにより珠操作方法を提示する。ＬＥＤライトは裏側から撮影する際に「珠」の形を強調するために必要とされる。
珠操作センシング技術に関しては、非特許文献１のそろばん学習支援システムでは、面が透明なテーブルを用いなければならないこと、テーブルの裏側にカメラ・ＬＥＤライトの設置をしなければいけないこと、という２つの制約があるため、実用面に問題がある。また、ＬＥＤライトの光が目に入らないようにするために、算盤を置く場所以外は黒いシートで覆われており、算盤の位置を変更できないと推察され、利便性の点でも問題がある。
また、珠算学習のための情報提示に関しては、面が透明なテーブルを用いることが必須である都合上、プロジェクションマッピングなど、上から重畳表示する方法のみに対応する。また、問題の切り替えに際しては、盤面の状態から推定しているとすると、誤った操作をした場合（システム側が入力完了とする状態と異なる場合）に次の状態に遷移しないという問題が考えられる。

【0004】

また、計算の終了後に間違った運珠を事後的に把握することができる算盤学習システムが知られている（特許文献１を参照）。これは、市販の算盤下部に、珠の配置に合わせたセンサアレイを有するデバイスを装着することで、珠操作をセンシングするものであり、誤った操作を記録し、計算終了後にＰＣ画面などに表示することで指導する。
しかしながら、特許文献１の算盤学習システムは、珠操作センシング技術に関しては、算盤への専用デバイスの装着が必須であるため、自然な算盤の操作を阻害する可能性があるという問題がある。また、珠算学習のための情報提示に関しては、結果を事後に画面に表示する方法では、一連の操作の途中に生じる誤操作を修正するのは難しいといった問題がある。

【0005】

珠の位置によって表わされる数を発音する報知手段を有する発音機能付きそろばん練習機が知られている（特許文献２を参照）。これは、算盤の珠に導電板が取り付けられており、電気的にどこが接地しているかによって盤面の状況を測定し、その内容を音声読み上げするものである。
しかしながら、特許文献２のそろばん練習機は、珠操作センシング技術に関しては、算盤そのものの改変が必要であるため、市販の算盤を使用できないという問題がある。また、珠算学習のための情報提示に関しては、ハードウェア的に数字を盤面に表示する他、音声での読み上げはあるものの、誤りの指摘を行う機能は搭載されていない。

【0006】

珠算式暗算を習得することを支援する珠算式暗算習得支援装置が知られている（特許文献３を参照）。これは、タブレット端末などの画面上に仮想的な算盤を表示して、珠部分に触れることで入力することを可能とするものである。
しかしながら、特許文献３の珠算式暗算習得支援装置は、電子的に算盤を画面上に再現し、タッチパネルでの算盤操作をすることで入力内容を取得しているが、本来の算盤操作とは大きく異なるものである。

【0007】

既存の算盤を用いて、センシングや情報提示を行う技術としては、既存のそろばんでの入力結果を画像認識し、認識した画像データを下にコンピュータ可読媒体として変換できるそろばん認識装置が知られている（特許文献４を参照）。これは、入力手段からそろばんに表示された数値の認識指示を受けると、撮像手段からのそろばん画像を取り込み、取り込んだ画像からそろばんの各桁における１珠及び５珠の認識を行い、認識結果を数値として表示するものである。
そして、特許文献４のそろばん認識装置は、珠操作センシング技術に関して、珠の色と判断される点だけを色付けた二値画像を作成し、それを元に１珠、５珠の認識を行う。しかしながら、算盤の珠は一般に天然の木材が使用されるため、色にばらつきがあることから、珠の色で判断する技術では、認識精度の点で問題がある。また、珠の色は、長期間の使用により発生した汚れや変色などによる影響や、照明の当たり方などによって、白みがかるなどの影響も受けやすいといった問題がある。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２００９－２９４２５７号公報

【特許文献2】特開２０１２－２４２８１５号公報

【特許文献3】特開２０１６－０５７３７０号公報

【特許文献4】特開２００８－１２３４２１号公報

【非特許文献】

【0009】

【非特許文献1】北川珠莉，鈴木優．珠の位置認識と操作手順の重畳表示を用いたそろばん学習支援システム．情報処理学会インタラクション2022，6D04，pp759-762，2022．

【発明の概要】

【発明が解決しようとする課題】

【0010】

かかる状況に鑑みて、本発明は、ユーザの自然な算盤操作を妨げることなく、珠操作を高精度でセンシングできる算盤センシング装置、方法、及び珠算学習情報提示システムを提供することを目的とする。

【課題を解決するための手段】

【0011】

上記課題を解決すべく、本発明の算盤センシング装置は、算盤の盤面及び珠操作をリアルタイムにセンシングする装置であって、盤面を撮影する撮像手段と、撮像手段により撮像された撮像画像から、盤面を検出する盤面検出手段と、検出された盤面から、一珠、五珠、軸部の少なくとも何れかの一部を含む複数の領域画像を桁毎に抽出する領域画像抽出手段と、領域画像を分類する領域画像分類手段と、領域画像の分類結果に基づき桁毎に数字を取得する数字取得手段とを備える。
領域画像分類手段は、機械学習により領域画像を学習した学習モデルを用いることが好ましい。学習モデルにおいては、領域画像中の各画素の色情報だけではなく、位置座標に関する情報も含まれるため、「色」だけでなく「形状」なども含めた形で画像の分類が可能となり高精度で認識できる。
なお、本明細書においてセンシングとは、撮像画像取得、盤面検出、領域画像抽出、領域画像分類及び数字取得の一連の過程を全て含む意味で用いることもある。

【0012】

本発明の算盤センシング装置において、領域画像抽出手段は、五珠の上半分、五珠の下半分、梁部を基準とした上側軸部の一部、の少なくとも何れかを切り出すことで得られる上側領域画像と、一珠の上半分、一珠の下半分、梁部を基準とした下側軸部の一部、の少なくとも何れかを切り出すことで得られる下側領域画像を抽出することが好ましい。ここで、上側軸部の一部又は下側軸部の一部とは、各軸部の内、珠に覆われず露出している部位のことを指す。
五珠側の上側領域画像と、一珠側の下側領域画像でそれぞれ領域画像を抽出することで、高精度のセンシングが可能となる。
また、一般的な算盤においては、五珠及び一珠の上下の可動範囲は、各珠の略２分の１となっている。したがって、上側又は下側領域画像として、各珠の上半分又は下半分、露出している軸部を切り出すことで、複数の小画像から容易かつ高精度で、珠の配置を分類できる。
なお、算盤の世界では、盤面の上側を“天”、下側を“地”と呼び、左方を“上”、右方を“下”と呼ぶが、本明細書では、算盤における“天”側を上側、“地”側を下側として説明する。また、桁については、左方の桁を“上の桁”、右方の桁を“下の桁”とする。

【0013】

本発明の算盤センシング装置において、上側領域画像は、当該桁の珠の位置が０を示す状態において、五珠の上半分と、上側軸部、から成る２つの領域画像、であることでもよい。上側領域画像として上下２つの画像を用いることで、五珠だけでなく軸部についても画像を抽出できるため、高精度で認識できる。

【0014】

本発明の算盤センシング装置において、上側領域画像は、当該桁の珠の位置が０を示す状態において、五珠の上半分、五珠の下半分、又は、上側軸部、の何れかから成る１つの領域画像であることでもよい。上側領域画像として１つの画像を用いることで、より少ないデータでセンシングでき、迅速な処理が可能となる。

【0015】

本発明の算盤センシング装置において、下側領域画像は、当該桁の珠の位置が０を示す状態において、下側軸部と、各一珠の下半分、から成る５つの領域画像であることでもよい。下側領域画像として５つの画像を用いることで、一珠だけでなく軸部についても画像を抽出できるため、高精度で認識できる。

【0016】

本発明の算盤センシング装置において、下側領域画像は、当該桁の珠の位置が０を示す状態において、各一珠の上半分、から成る４つの領域画像であることでもよい。下側領域画像として４つの画像を用いることで、より少ないデータでセンシングでき、迅速な処理が可能となる。

【0017】

本発明の算盤センシング装置において、下側領域画像は、当該桁の珠の位置が０を示す状態において、上側から１番目の一珠の下半分と、上側から３番目の一珠の下半分、から成る２つの領域画像であることでもよい。下側領域画像として上記の２つの画像を用いることで、一珠だけでなく軸部についても画像を抽出できるため、高精度で認識できる。また、より少ないデータでセンシングでき、迅速な処理が可能となる。

【0018】

本発明の算盤センシング装置において、盤面検出手段は、算盤に施した少なくとも１つのマーカ、又は、画像認識により、盤面を検出し、算盤が置かれた領域を同定することが好ましい。マーカを用いることで、既存の算盤に対して大きな加工を施したり、専用の固定具に取り付けたりといった必要がなく、算盤に施すだけで簡便に利用でき、かつ高精度で盤面を検出できる。また、画像認識による場合は、既存の算盤に対して加工などを施す必要がなく、より簡便に利用できる。マーカは、何らかの目印として機能するものを広く含み、ＡＲマーカが好適に用いられる。また、施すには、貼付、塗布又はその他の加工が広く含まれる。

【0019】

本発明の算盤センシング装置において、盤面検出手段は、画像の角度又は歪みを補正する補正手段を備えることが好ましい。補正手段を備えることにより、盤面の認識精度を向上できる。

【0020】

本発明の珠算学習情報提示システムは、リアルタイムに珠算学習に関する情報を提示するシステムであって、上記の何れかの算盤センシング装置と、盤面と重畳した位置が含まれるように表示部が配置される表示手段と、表示部に問題を表示する問題提示手段と、算盤センシング装置により数字が取得されない桁の位置、数及び変化に基づき、入力完了を検知する入力完了検知手段と、問題の解答となる数字と、算盤センシング装置により取得された数字、を比較して、珠の誤操作を検出する誤操作検出手段と、誤操作の内容に応じて、正誤情報と、改善情報の少なくとも何れかの情報を学習情報として生成し、表示部に学習情報を表示する学習情報提示手段を備える。
本発明の算盤センシング装置により得られた情報を学習情報提示に用いることで効果的な算盤学習が可能となる。表示手段は複数設けられてもよく、例えば、問題を表示する表示部と学習情報を表示する表示部は異なるものであってもよい。

【0021】

本発明の珠算学習情報提示システムにおいて、入力完了検知手段は、領域画像を抽出できない桁が、当該桁より上の桁について、所定数を超えて生じた場合、又は、領域画像を抽出できない桁が、所定数を超えて消滅した場合には、入力完了を検知することが好ましい。
本発明の珠算学習情報提示システムを使用する際には、撮像手段により算盤の盤面をリアルタイムに撮影するが、ユーザの手が算盤の盤面の一部を覆うことによりオクルージョン（遮蔽）が発生し、領域画像抽出手段により領域画像を抽出できない桁が生じてしまうことがある。他方、一般に算盤の珠操作では上の桁から下の桁へ操作を進めるが、１つの問題を完了し、次の問題の解答に移るタイミングで、ユーザの手の位置が右から左へと大きく変化することになる。また、解答が終了するとユーザの手が盤上から離れるといった動作が多くみられる。そこで、オクルージョンの位置の変化やオクルージョン箇所の消滅を検出することで、ユーザの手の位置が大きく変化したタイミングを捉え、入力完了を検知する。
「領域画像を抽出できない桁が、当該桁より上の桁について、所定数を超えて生じた場合」及び「領域画像を抽出できない桁が、所定数を超えて消滅した場合」における所定数は、各問題の桁数や、問題数といった問題の内容や、ユーザの手の大きさを含むユーザ情報などから決定される。

【0022】

本発明の珠算学習情報提示システムにおいて、学習情報提示手段は、表示部において、学習情報と関連する盤面上の桁又は珠の位置と重畳した位置に、学習情報を表示することが好ましい。関連する桁や珠の位置と重畳した位置に情報表示することにより、ユーザは誤操作の箇所や改善内容を直感的に認識でき、効率的な学習が可能となる。

【0023】

本発明の珠算学習情報提示システムにおいて、問題提示手段は、表示部において、盤面と重畳した位置が含まれず、かつ盤面の上側に問題を表示し、提示される問題は、より新しい問題が盤面に近い位置に表示されることが好ましい。盤面と重畳した位置が含まれないように問題が表示されることにより、表示された問題が算盤により遮蔽され視認できないといった事態を防止できる。盤面の上側に問題が表示されることにより、視認性が向上する。また、より新しい問題が盤面に近い位置に表示されることにより、ユーザは問題を容易に確認でき効率的な学習が可能となる。

【0024】

本発明の算盤センシング方法は、算盤の盤面及び珠操作をリアルタイムにセンシングする方法であって、下記各ステップを備える。
１）盤面を撮影する撮像ステップ。
２）撮像ステップにより撮像された撮像画像から、盤面を検出する盤面検出ステップ。
３）検出された盤面から、一珠、五珠、軸部の少なくとも何れかの一部を含む複数の領域画像を桁毎に抽出する領域画像抽出ステップ。
４）領域画像を分類する領域画像分類ステップ。
５）領域画像の分類結果に基づき桁毎に数字を取得する数字取得ステップ。

【発明の効果】

【0025】

本発明の算盤センシング装置、方法及び珠算学習情報提示システムによれば、ユーザの自然な算盤操作を妨げることなく、珠操作を高精度でセンシングできるといった効果がある。また、本発明の珠算学習情報提示システムによれば、ユーザが直感的に理解しやすい形で情報提示できるといった効果がある。

【図面の簡単な説明】

【0026】

【図1】実施例１の算盤センシング装置の機能ブロック図

【図2】実施例１の算盤センシング装置の構成イメージ図

【図3】ＡＲマーカ付き算盤の説明図

【図4】実施例１の算盤センシング方法の概略フロー

【図5】本発明の領域画像の抽出手法の説明図

【図6】本発明の領域画像の分類手法の説明図

【図7】実施例１の算盤センシング装置の説明図（１）

【図8】実施例１の算盤センシング装置の説明図（２）

【図9】実施例２の算盤センシング装置の説明図（１）

【図10】実施例２の算盤センシング装置の説明図（２）

【図11】実施例３の算盤センシング装置の説明図（１）

【図12】実施例３の算盤センシング装置の説明図（２）

【図13】実施例４の珠算学習情報提示システムの機能ブロック図

【図14】実施例４の珠算学習情報提示システムの構成イメージ図

【図15】実施例４の珠算学習情報提示システムの概略フロー

【図16】入力完了検知の説明図

【図17】実施例４の珠算学習情報提示システムの説明図

【図18】実施例５の珠算学習情報提示システムの説明図

【図19】実施例６の珠算学習情報提示システムの説明図

【発明を実施するための形態】

【0027】

以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。

【実施例0028】

図１は、実施例１の算盤センシング装置の機能ブロック図を示している。図１に示すように、実施例１の算盤センシング装置１は、撮像手段１１及びＰＣ１７から成り、ＰＣ１７は、盤面検出手段１２、領域画像抽出手段１３、領域画像分類手段１４及び数字取得手段１５を備える。撮像手段１１は、ＡＲマーカ１２ａが付された算盤２０の盤面を撮影する。盤面検出手段１２は、撮像手段１１により撮像された撮像画像から、盤面を検出する。領域画像分類手段１３は、検出された盤面から、一珠、五珠、軸部の少なくとも何れかの一部を含む複数の領域画像を桁毎に抽出する。領域画像分類手段１４は、領域画像を分類する。数字取得手段１５は、領域画像の分類結果に基づき桁毎に数字を取得する。盤面検出手段１２は補正手段１６を備える。

【0029】

図２は、実施例１の算盤センシング装置の構成イメージ図を示している。図２に示すように、机８上には、算盤２０、撮像手段１１及びＰＣ１７が配置され、撮像手段１１とＰＣ１７が通信ケーブル１８で接続されている。ＰＣ１７は、必ずしも机８上に配置する必要はなく、また撮像手段１１と無線で接続してもよい。

【0030】

図３は、ＡＲマーカ付き算盤の説明図であり、（１）は平面図、（２）は部位Ａの拡大イメージ図を示している。図３（１）に示す算盤２０は、珠２、軸部３、枠体２１及び梁部２２から成る公知の算盤に８つのＡＲマーカ１２ａが貼り付けられたものである。図３（２）に示すように、１つの桁４において、珠２は、１つの五珠２ａと４つの一珠（２ｂ～２ｅ）で構成される。軸部３は、五珠２ａ、梁部２２、一珠（２ｂ～２ｅ）の順に挿通され、枠体２１の枠部（２１ａ，２１ｂ）において両端が固定される。
一般に算盤には、基準となる位を定めるために定位点２２が設けられ、図３（２）に示すように、ＡＲマーカ１２ａは、定位点２２が設けられた桁の枠部（２１ａ，２１ｂ）の表面上に貼り付けられている。ＡＲマーカ１２ａの貼り付け位置は、撮像手段１１により撮像可能な位置であればよく、図３（１）に示す位置に限られない。また、ＡＲマーカ１２ａの個数は、位置や向きの検出を容易にすべく３つ以上であることが好ましいが、１つ又は２つでもよい。さらに、本実施例と異なり、ＡＲマーカを用いず画像認識により算盤２０の位置、向き及び形状を検出してもよい。

【0031】

図４は、実施例１の算盤センシング方法の概略フローを示している。図４に示すように、まず、撮像手段１１を用いて、算盤２０の盤面を撮影する（ステップＳ０１：撮像ステップ）。撮像ステップにより撮像された撮像画像から、盤面を検出する（ステップＳ０２：盤面検出ステップ）。検出された盤面から、一珠、五珠、軸部の少なくとも何れかの一部を含む複数の領域画像を桁毎に抽出する（ステップＳ０３：領域画像抽出ステップ）。学習モデルにより領域画像を分類する（ステップＳ０４：領域画像分類ステップ）。領域画像の分類結果に基づき桁毎に数字を取得する（ステップＳ０５：数字取得ステップ）。桁毎に取得した数字については、各桁について取得した数字を統合してもよいし、取得した数字をそのまま情報提示などに用いてもよい。

【0032】

（領域画像の抽出手法）
ここで本発明の領域画像の抽出手法について説明する。図５は、本発明の領域画像の抽出手法の説明図であり、算盤２０内の１つの桁４を拡大したイメージを示している。当該桁４の珠の位置は０を示す状態となっている。
撮像手段１１により算盤２０の盤面を撮影すると、図５に示すように、１つの桁４について、五珠２ａ、一珠（２ｂ～２ｅ）、上側軸部３ａ、下側軸部３ｂ、枠部（２１ａ，２１ｂ）及び梁部２２が撮像される。これらの内、本発明では各珠の上下半分と各軸部の露出部位を領域画像として抽出する。具体的には、五珠２ａの上半分に当たる部位を領域画像５ａ、五珠２ａの下半分に当たる部位を領域画像５ｂ、上側軸部３ａに当たる部位を領域画像５ｃ、下側軸部３ｂに当たる部位を領域画像５ｄ、一珠２ｂの上半分に当たる部位を領域画像５ｅ、一珠２ｂの下半分に当たる部位を領域画像５ｆ、一珠２ｃの上半分に当たる部位を領域画像５ｇ、一珠２ｃの下半分に当たる部位を領域画像５ｈ、一珠２ｄの上半分に当たる部位を領域画像５ｉ、一珠２ｄの下半分に当たる部位を領域画像５ｊ、一珠２ｅの上半分に当たる部位を領域画像５ｋ、また一珠２ｅの下半分に当たる部位を領域画像５ｌとして抽出できる。

【0033】

図５に示すように、五珠２ａの上半分の厚みＴ_１、五珠２ａの下半分の厚みＴ_２及び上側軸部３ａの厚みＴ_３は何れも略同一の厚みとなっている。また、一珠（２ｂ～２ｅ）の上半分の厚み、一珠（２ｂ～２ｅ）の下半分の厚み及び下側軸部３ｂの厚みについても、何れも略同一の厚みとなっている。なお、五珠２ａを下方に移動させた際に露出することで生じる上側軸部３ａの厚みや、一珠（２ｂ～２ｅ）を上方に移動させた際に露出することで生じる下側軸部３ｂの厚みについても同様に同じ厚みとなる。したがって、１２個の領域画像（５ａ～５ｌ）に分割して、それらの内の何れか複数の領域画像を抽出することで、珠の上半分・珠の下半分・軸部の３種類の分類画像（５０ａ～５０ｃ）に分類でき（図６参照）、高精度かつ迅速な処理が可能となる。実施例１～３では、これらの領域画像について、抽出する領域画像の種類が異なる。

【0034】

（領域画像の分類手法）
次に、本発明の領域画像の分類手法について説明する。図６は、本発明の領域画像の分類手法の説明図を示している。図６に示すように、ここではＣＮＮモデル１４０が領域画像分類手段１４として機能するが、その他の学習モデルを用いてもよいし、他の画像処理技術に基づく方法（例えば、参照画像との類似度計算）を用いてもよい。
領域画像抽出手段により桁４毎に抽出された複数の領域画像５は、ＣＮＮモデル１４０に基づき３種類の分類画像（５０ａ～５０ｃ）に分類される。数字取得手段１５は、領域画像５の分類結果に基づき桁毎に数字を取得する。ここでは数字“３”を取得している。

【0035】

図７及び８は、実施例１の算盤センシング装置の説明図であり、取得する数字につき、図７は０～４、図８は５～９となる場合を示している。また、図７（１）及び図８（１）は領域画像抽出イメージ、図７（２）及び図８（２）は領域画像分類及び数字取得イメージを示している。
図７（１）及び図８（１）に示すように、実施例１では、図５に示す領域画像（５ａ～５ｌ）の内、領域画像（５ａ，５ｃ，５ｄ，５ｆ，５ｈ，５ｊ，５ｌ）を抽出する。
桁（４ａ～４ｊ）のそれぞれについて、抽出された領域画像（５ａ，５ｃ，５ｄ，５ｆ，５ｈ，５ｊ，５ｌ）をＣＮＮモデル１４０に基づき分類した結果と、かかる分類結果に基づき取得される数字は以下の通りである。

【0036】

桁４ａは、領域画像５ａが分類画像５０ａ、領域画像（５ｆ，５ｈ，５ｊ，５ｌ）が分類画像５０ｂ、領域画像（５ｃ，５ｄ）が分類画像５０ｃに分類され、数字“０”が取得される。
桁４ｂは、領域画像（５ａ，５ｄ）が分類画像５０ａ、領域画像（５ｈ，５ｊ，５ｌ）が分類画像５０ｂ、領域画像（５ｃ，５ｆ）が分類画像５０ｃに分類され、数字“１”が取得される。
桁４ｃは、領域画像（５ａ，５ｄ，５ｆ）が分類画像５０ａ、領域画像（５ｊ，５ｌ）が分類画像５０ｂ、領域画像（５ｃ，５ｈ）が分類画像５０ｃに分類され、数字“２”が取得される。
桁４ｄは、領域画像（５ａ，５ｄ，５ｆ，５ｈ）が分類画像５０ａ、領域画像５ｌが分類画像５０ｂ、領域画像（５ｃ，５ｊ）が分類画像５０ｃに分類され、数字“３”が取得される。
桁４ｅは、領域画像（５ａ，５ｄ，５ｆ，５ｈ，５ｊ）が分類画像５０ａ、領域画像（５ｃ，５ｌ）が分類画像５０ｃに分類され、数字“４”が取得される。

【0037】

桁４ｆは、領域画像（５ｃ，５ｆ，５ｈ，５ｊ，５ｌ）が分類画像５０ｂ、領域画像（５ａ，５ｄ）が分類画像５０ｃに分類され、数字“５”が取得される。
桁４ｇは、領域画像５ｄが分類画像５０ａ、領域画像（５ｃ，５ｈ，５ｊ，５ｌ）が分類画像５０ｂ、領域画像（５ａ，５ｆ）が分類画像５０ｃに分類され、数字“６”が取得される。
桁４ｈは、領域画像（５ｄ，５ｆ）が分類画像５０ａ、領域画像（５ｃ，５ｊ，５ｌ）が分類画像５０ｂ、領域画像（５ａ，５ｈ）が分類画像５０ｃに分類され、数字“７”が取得される。
桁４ｉは、領域画像（５ｄ，５ｆ，５ｈ）が分類画像５０ａ、領域画像（５ｃ，５ｌ）が分類画像５０ｂ、領域画像（５ａ，５ｊ）が分類画像５０ｃに分類され、数字“８”が取得される。
桁４ｊは、領域画像（５ｄ，５ｆ，５ｈ，５ｊ）が分類画像５０ａ、領域画像５ｃが分類画像５０ｂ、領域画像（５ａ，５ｌ）が分類画像５０ｃに分類され、数字“９”が取得される。

【0038】

このように、実施例１の構成では７つの領域画像を用いて分類を行い、また３種類の分類画像（５０ａ～５０ｃ）に分類できるため、高精度で認識できる。

【実施例0039】

図９及び１０は、実施例２の算盤センシング装置の説明図であり、取得する数字につき、図９は０～４、図１０は５～９となる場合を示している。また、図９（１）及び図１０（１）は領域画像抽出イメージ、図９（２）及び図１０（２）は領域画像分類及び数字取得イメージを示している。
図９（１）及び図１０（１）に示すように、実施例２では、図５に示す領域画像（５ａ～５ｌ）の内、領域画像（５ｂ，５ｅ，５ｇ，５ｉ，５ｋ）を抽出する。
桁（４ａ～４ｊ）のそれぞれについて、抽出された領域画像（５ｂ，５ｅ，５ｇ，５ｉ，５ｋ）をＣＮＮモデル１４０に基づき分類した結果と、かかる分類結果に基づき取得される数字は以下の通りである。

【0040】

桁４ａは、領域画像（５ｅ，５ｇ，５ｉ，５ｋ）が分類画像５０ａ、領域画像５ｂが分類画像５０ｂに分類され、数字“０”が取得される。
桁４ｂは、領域画像（５ｇ，５ｉ，５ｋ）が分類画像５０ａ、領域画像（５ｂ，５ｅ）が分類画像５０ｂに分類され、数字“１”が取得される。
桁４ｃは、領域画像（５ｉ，５ｋ）が分類画像５０ａ、領域画像（５ｂ，５ｅ，５ｇ）が分類画像５０ｂに分類され、数字“２”が取得される。
桁４ｄは、領域画像５ｋが分類画像５０ａ、領域画像（５ｂ，５ｅ，５ｇ，５ｉ）が分類画像５０ｂに分類され、数字“３”が取得される。
桁４ｅは、領域画像（５ｂ，５ｅ，５ｇ，５ｉ，５ｋ）が全て分類画像５０ｂに分類され、数字“４”が取得される。

【0041】

桁４ｆは、領域画像（５ｂ，５ｅ，５ｇ，５ｉ，５ｋ）が全て分類画像５０ａに分類され、数字“５”が取得される。
桁４ｇは、領域画像（５ｂ，５ｇ，５ｉ，５ｋ）が分類画像５０ａ、領域画像５ｅが分類画像５０ｂに分類され、数字“６”が取得される。
桁４ｈは、領域画像（５ｂ，５ｉ，５ｋ）が分類画像５０ａ、領域画像（５ｅ，５ｇ）が分類画像５０ｂに分類され、数字“７”が取得される。
桁４ｉは、領域画像（５ｂ，５ｋ）が分類画像５０ａ、領域画像（５ｅ，５ｇ，５ｉ）が分類画像５０ｂに分類され、数字“８”が取得される。
桁４ｊは、領域画像５ｂが分類画像５０ａ、領域画像（５ｅ，５ｇ，５ｉ，５ｋ）が分類画像５０ｂに分類され、数字“９”が取得される。

【0042】

このように、実施例２の構成では５つの領域画像を用いて分類を行うため、実施例１の構成よりも少ないデータでセンシングでき、迅速な処理が可能となる。また、実施例２の構成では２種類の分類画像（５０ａ，５０ｂ）で分類され、分類画像５０ｃは利用されないが、ＣＮＮモデル１４０に基づき分類するため、「色」だけでなく「形状」なども含めた形で画像の分類が可能となり高精度で認識できる。