(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024021506
(43)【公開日】2024-02-16
(54)【発明の名称】センサ、センサの製造方法及び情報処理方法
(51)【国際特許分類】
G01C 3/06 20060101AFI20240208BHJP
H01L 31/12 20060101ALI20240208BHJP
G01B 11/00 20060101ALI20240208BHJP
G01B 11/26 20060101ALI20240208BHJP
【FI】
G01C3/06 120R
H01L31/12 E
H01L31/12 F
G01B11/00 B
G01B11/26 Z
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2022124366
(22)【出願日】2022-08-03
(71)【出願人】
【識別番号】504176911
【氏名又は名称】国立大学法人大阪大学
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人IPX
(72)【発明者】
【氏名】小山 佳祐
【テーマコード(参考)】
2F065
2F112
5F889
【Fターム(参考)】
2F065AA06
2F065AA35
2F065AA37
2F065BB13
2F065BB22
2F065BB25
2F065BB26
2F065DD03
2F065FF41
2F065GG07
2F065GG21
2F065JJ18
2F112AD03
2F112BA06
2F112BA09
2F112CA04
2F112CA12
2F112DA21
2F112DA26
2F112DA28
2F112EA03
5F889BA02
5F889BB02
5F889BC06
5F889BC25
5F889CA21
5F889FA06
(57)【要約】
【課題】よりシンプルな構造を有し且つ高精度なセンサを提供すること。
【解決手段】本発明の一態様によれば、対象物を計測するためのセンサが提供される。このセンサは、複数の発光素子と、少なくとも1つの受光素子とを備える。発光素子は、基材上において異なる位置にそれぞれ設けられる。受光素子は、基材上に設けられる。各発光素子に起因する反射光のうちの1つを主たる光として受光するとともに、主たる光以外の反射光をクロストーク光として主たる光とは区別可能に受光する。反射光は、発光素子それぞれから発光され且つ対象物からそれぞれ反射した光である。区別可能に受光された主たる光と、クロストーク光とに基づいて、センサにおける基準面と対象物とに係る空間物理量を計測する。
【選択図】
図6
【特許請求の範囲】
【請求項1】
対象物を計測するためのセンサであって、
複数の発光素子と、少なくとも1つの受光素子とを備え、
前記発光素子は、基材上において異なる位置にそれぞれ設けられ、
前記受光素子は、
前記基材上に設けられ、
各発光素子に起因する反射光のうちの1つを主たる光として受光するとともに、前記主たる光以外の反射光をクロストーク光として前記主たる光とは区別可能に受光し、ここで前記反射光は、前記発光素子それぞれから発光され且つ前記対象物からそれぞれ反射した光で、
区別可能に受光された前記主たる光と、前記クロストーク光とに基づいて、前記センサにおける基準面と前記対象物とに係る空間物理量を計測する、もの。
【請求項2】
請求項1に記載のセンサにおいて、
前記空間物理量は、前記基準面と前記対象物との距離と、前記基準面に対する前記対象物の角度とを少なくとも含む、もの。
【請求項3】
請求項2に記載のセンサにおいて、
前記距離は、50mm以下である、もの。
【請求項4】
請求項1に記載のセンサにおいて、
前記受光素子は、
前記発光素子と同数であり、前記発光素子それぞれと1対1に対応付けられ、
対応付けられた前記発光素子に起因する前記反射光を、前記主たる光として受光し、前記主たる光以外の前記反射光を前記クロストーク光として前記主たる光とは区別可能に受光するように構成される、もの。
【請求項5】
請求項4に記載のセンサにおいて、
前記受光素子と、対応付けられた前記発光素子とは、互いに隣接して受発光ブロックを形成し、
前記受発光ブロックが前記基材上に複数設けられる、もの。
【請求項6】
請求項5に記載のセンサにおいて、
前記受発光ブロックそれぞれは、環状且つ等間隔に前記基材上に配置される、もの。
【請求項7】
請求項1に記載のセンサにおいて、
前記発光素子の数は、2~4である、もの。
【請求項8】
請求項1に記載のセンサにおいて、
前記発光素子それぞれは、互いに異なるタイミングで別々に発光する、もの。
【請求項9】
請求項1に記載のセンサにおいて、
前記受光素子は、前記反射光に応じた電気物理量を発生させるように構成され、
区別可能に受光された前記主たる光と、前記クロストーク光とに基づく前記電気物理量それぞれに基づいて、前記センサにおける基準面と前記対象物とに係る空間物理量を計測する、もの。
【請求項10】
請求項9に記載のセンサにおいて、
AI入力部をさらに備え、
前記AI入力部は、前記電気物理量の値又は前記電気物理量に基づく演算値を入力パラメータとして、学習済みモデルに入力し、ここで前記学習済みモデルは、前記センサにおける基準面と前記対象物とに係る空間物理量と、前記電気物理量の値又は前記演算値との関係を予め機械学習させたモデルである、もの。
【請求項11】
請求項10に記載のセンサにおいて、
記憶部と、プロセッサとをさらに備え、
前記記憶部は、前記学習済みモデルを記憶し、
前記プロセッサは、前記電気物理量の値又は前記演算値を前記入力パラメータとして前記学習済みモデルに入力し、前記学習済みモデルからの出力結果に基づいて、前記空間物理量を計測するように構成される、もの。
【請求項12】
請求項1に記載のセンサにおいて、
前記受光素子は、広指向性を有する受光素子である、もの。
【請求項13】
センサの製造方法であって、
基材に、複数の発光素子と、少なくとも1つの受光素子とを配置するステップを含み、前記センサは、請求項1~請求項12の何れか1つに記載のセンサである、方法。
【請求項14】
情報処理方法であって、
次の各ステップを備え、
取得ステップでは、受光素子から出力された光電流を取得し、
入力処理ステップでは、前記電気物理量の値又は前記電気物理量に基づく演算値を入力パラメータとして、学習済みモデルに入力し、ここで前記学習済みモデルは、センサにおける基準面と対象物とに係る空間物理量と、前記電気物理量の値又は前記演算値との関係を予め機械学習させたモデルであり、
出力ステップでは、前記学習済みモデルに基づいて、前記空間物理量を推定的に出力する、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、センサ、センサの製造方法及び情報処理方法に関する。
【背景技術】
【0002】
特許文献1には、センサが開示されている。このセンサは、基材と、発光素子と、受光素子と、同期検波回路とを備え、発光素子は、基材上において異なる位置に複数設けられ、互いに直交する第1及び第2の変調信号を用いて発光可能に構成され、受光素子は、基材の内部に配置され、且つピンホールを介して外部光を受光するとともに光電流を発生可能に構成され、同期検波回路は、光電流のうちの特定成分の位相を検出可能に構成され、ここで特定成分とは、発光素子から照射され且つ対象物を反射した合成反射光に起因する成分で、位相は、対象物までの距離の関数で表される。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方で、特許文献1に開示される先行技術とは異なり、よりシンプルな構造で高精度な距離等の空間物理量を把握可能なセンサが求められている。
【0005】
本発明では上記事情を鑑み、よりシンプルな構造を有し且つ高精度なセンサを提供することとした。
【課題を解決するための手段】
【0006】
本発明の一態様によれば、対象物を計測するためのセンサが提供される。このセンサは、複数の発光素子と、少なくとも1つの受光素子とを備える。発光素子は、基材上において異なる位置にそれぞれ設けられる。受光素子は、基材上に設けられる。各発光素子に起因する反射光のうちの1つを主たる光として受光するとともに、主たる光以外の反射光をクロストーク光として主たる光とは区別可能に受光する。反射光は、発光素子それぞれから発光され且つ対象物からそれぞれ反射した光である。区別可能に受光された主たる光と、クロストーク光とに基づいて、センサにおける基準面と対象物とに係る空間物理量を計測する。
【0007】
本開示によれば、よりシンプルな構造を有し且つ高精度なセンサが実現される。
【図面の簡単な説明】
【0008】
【
図1】本実施形態に係るセンサ1の、主に検出部2の構成概要を示す平面図である。
【
図2】本実施形態に係るセンサ1の、主に情報処理部4の構成概要を示すブロック図である。
【
図3】センサ1におけるプロセッサ43等によって実現される機能を示すブロック図である。
【
図4】学習済みモデル5におけるニューラルネットワークの構成を示す概要図である。
【
図5】センサ1を用いた対象物Obの計測処理の流れを示すアクティビティ図である。
【
図6】各発光素子31が発光するタイミングと、受光素子32が受光する態様を示す概要図であり、
図6A、
図6B、
図6C及び
図6Dの順に発光素子31が発光する。
【
図7】変形例に係るセンサ1の構成を示す概略正面図である。
【発明を実施するための形態】
【0009】
[実施形態]
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
【0010】
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体(Non-Transitory Computer-Readable Medium)として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現(いわゆるクラウドコンピューティング)するように提供されてもよい。
【0011】
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、0又は1で構成される2進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ(いわゆる量子ビット)によって表され、広義の回路上で通信・演算が実行されうる。
【0012】
また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。
【0013】
1.ハードウェア構成
本節では、本実施形態に係るセンサ1のハードウェア構成について説明する。センサ1は、対象物Obを計測するためのセンサである。より詳細には、センサ1は、センサ1における基準面と、対象物Obとに係る空間物理量を計測可能に構成される。ここでの空間物理量は、基準面と対象物Obとの距離dと、基準面に対する対象物Obの角度θ,φ(3次元姿勢を示すパラメータ)とを少なくとも含むとよい。特に好ましくは、距離dは至近距離であり、例えば距離dは50mm以下であり、具体的には例えば、50,49,48,47,46,45,44,43,42,41,40,39,38,37,36,35,34,33,32,31,30,29,28,27,26,25,24,23,22,21,20,19,18,17,16,15,14,13,12,11,10,9,8,7,6,5,4,3,2,1,0mmであり、ここで例示した数値の何れか2つの間の範囲内であってもよい。このような態様によれば、対象物Obとの距離dと角度θ,φとを計測し、物体のピッキングや検査等様々な場面に応用することができる。また、このような態様によれば、ごく近距離に位置する対象物Obを正確に把握することができる。
【0014】
図1は、本実施形態に係るセンサ1の、主に検出部2の構成概要を示す平面図である。
図2は、本実施形態に係るセンサ1の、主に情報処理部4の構成概要を示すブロック図である。
図1及び
図2に示されるように、センサ1は、主として、検出部2と、情報処理部4とを備える。
【0015】
1.1 検出部2
まず、検出部2について説明する。
図1及び
図2に示されるように、検出部2は、基材21と、基材21上に設けられた受発光ブロック3と、情報処理部4と接続されたAI入力部22とを備える。以下、各構成要素について更に説明する。
【0016】
(基材21)
基材21は、センサ1の筐体を構成する。本実施形態では、基材21は、例えば略円形を有し、平板状に構成されているが、あくまでも一例であり、この限りではない。好ましくは、基材21は、例えば黒色で艶がなく、反射率の低い素材で形成される。また、基材21は、その上に設けられた受発光ブロック3を備える。
【0017】
(受発光ブロック3)
図1に示されるように、受発光ブロック3は、基材21上に複数設けられる。各受発光ブロック3には、発光素子31と、受光素子32とが配置され、ここでは、1つの受発光ブロック3に、1つの発光素子31と、1つの受光素子32とが配置されている。換言すると、受光素子32と、対応付けられた発光素子31とは、互いに隣接して受発光ブロック3を形成する。受発光ブロック3が基材21上に複数設けられる。
【0018】
ここで、好ましくは、発光素子31の数は、2~30であり、さらに好ましくは、2~10であり、最も好ましくは、発光素子31の数は、2~4である。具体的には例えば、発光素子31の数は、2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30個であり、ここで例示した数値の何れか2つの間の範囲内であってもよい。
【0019】
また、受発光ブロック3の数は、2以上、好ましくは3以上であるとよく、本実施形態では、4つの受発光ブロック3a,3b,3c,3dが設けられている。
図1に示されるように、さらに好ましくは、受発光ブロック3それぞれは、環状且つ等間隔に基材21上に配置される。換言すると、受発光ブロック3は、基材21に対して、対称性を有して配置される。具体的には、受発光ブロック3aに、発光素子31aと、受光素子32aとが配置され、受発光ブロック3bに、発光素子31bと、受光素子32bとが配置され、受発光ブロック3cに、発光素子31cと、受光素子32cとが配置され、受発光ブロック3dに、発光素子31dと、受光素子32dとが配置されている。このような態様によれば、複数の受光素子32に基づく光電流J(電気物理量の一例)それぞれに対称性が生じ、よりセンサ1の精度を高めることができる。換言すると、受光素子32は、発光素子31と同数であり、発光素子31それぞれと1対1に対応付けられている。このような態様によれば、複数の受光素子32に基づく光電流Jが得られるため、よりセンサ1の精度を高めることができる。なお、光電流Jについては後述する。
【0020】
図1に示されるように、発光素子31は、基材21上において異なる位置にそれぞれ設けられる。発光素子31は、拡散光を照射する素子であればよく、例えば発光ダイオード(LED)であり、好ましくは、人が視認不能であり且つ人体に無害な赤外光を発光する赤外線LEDである。もちろんこれに限定されず、発光素子31は、赤色LEDでも、緑色LEDでも、青色LEDでもよい。このような発光ダイオードである発光素子31のアノード側に、不図示の電源のプラス側を接続することによって、電流が流れて特定周波数の拡散光が対象物Obに照射される。
【0021】
図1に示されるように、受光素子32は、基材21上に設けられる。受光素子32は、受光した光を検知する素子で、これを契機として電気物理量の一例である光電流Jを発生させる。換言すると、受光素子32は、受光した光の照度に応じて光電流Jを出力可能に構成される。好ましくは、光の照度と光電流Jとの特性が、線形を有する。主な受光素子32として、例えば、光電管、光電子増倍管、半導体の内部光電効果を利用したフォトトランジスタ、フォトダイオード、アバランシェフォトダイオード、光導電セル、イメージセンサ等が挙げられる。好ましくは、受光素子32は、広指向性を有するフォトダイオードや、当該フォトダイオードと増幅器とを組み合わせたフォトトランジスタである。
【0022】
ここで、受光素子32は、同じ受発光ブロック3に所属する発光素子31から発光され且つ対象物Obを反射した反射光Lを主たる光として受光する。また、受光素子32は、隣接する受発光ブロック3に所属する発光素子31から発光され且つ対象物Obを反射した反射光Lをクロストーク光として受光する。例えば、受光素子32aは、発光素子31aに起因する反射光Lを主たる光として受光し、発光素子31b,31dに起因する反射光Lをクロストーク光としてそれぞれ受光する。以上を換言すると、受光素子32は、各発光素子31に起因する反射光Lのうちの1つを主たる光として受光するとともに、主たる光以外の反射光Lをクロストーク光として主たる光とは区別可能に受光し、反射光Lに応じた光電流J(電気物理量の一例)を発生させるように構成される。ここでの反射光Lは、発光素子31それぞれから発光され且つ対象物Obからそれぞれ反射した光である。このように、区別可能に受光された主たる光と、クロストーク光とに基づく光電流Jそれぞれに基づいて、センサ1における基準面と対象物Obとに係る空間物理量が計測される。これについては後にさらに詳述する。
【0023】
(AI入力部22)
AI入力部22は、光電流Jの値又は光電流Jに基づく演算値を入力パラメータとして、後述の情報処理部4の記憶部42に記憶された学習済みモデル5に入力する。すなわち、AI入力部22は、検出部2における各受光素子32から情報処理部4に向かう導線であってよい。受光素子32から出力された光電流Jが、AI入力部22及び後述の通信部41を介して、記憶部42に記憶された学習済みモデル5に入力される。
【0024】
1.2 情報処理部4
続いて、情報処理部4について説明する。情報処理部4は、センサ1の動作を制御するように構成される処理回路であり、例えばマイコンである。情報処理部4は、通信部41と、記憶部42と、プロセッサ43とを有し、これらの構成要素が情報処理部4の内部において通信バス40を介して電気的に接続されている。各構成要素についてさらに説明する。
【0025】
通信部41は、情報処理部4から種々の電気信号を外部の構成要素に送信可能に構成される。また、通信部41は、外部の構成要素から情報処理部4への種々の電気信号を受信可能に構成される。具体的には、通信部41は、検出部2におけるAI入力部22から出力された光電流Jを受信する。通信部41は、学習済みモデル5に基づいて推定された空間物理量を出力する。さらに好ましくは、通信部41がネットワーク通信機能を有し、これによりインターネット等のネットワークを介して、センサ1と外部機器との間で種々の情報を通信可能に実施してもよい。
【0026】
記憶部42は、前述の記載により定義される様々な情報を記憶する。これは、例えば、プロセッサ43によって実行されるセンサ1に係る種々のプログラム等を記憶するソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。記憶部42は、プロセッサ43によって実行されるセンサ1に係る種々のプログラムや変数等を記憶している。特に、本実施形態では、記憶部42は、学習済みモデル5を記憶している。
【0027】
プロセッサ43は、例えば不図示の中央処理装置(Central Processing Unit:CPU)である。プロセッサ43は、記憶部42に記憶された所定のプログラムを読み出すことによって、センサ1に係る種々の機能を実現する。すなわち、記憶部42に記憶されているソフトウェアによる情報処理が、ハードウェアの一例であるプロセッサ43によって具体的に実現されることで、プロセッサ43に含まれる各機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、プロセッサ43は単一であることに限定されず、機能ごとに複数のプロセッサ43を有するように実施してもよい。またそれらの組合せであってもよい。
【0028】
このような態様によれば、センサ1単体で別途コンピュータ等を使用することなく対象物Obの空間物理量を計測することができる。
【0029】
2.機能構成
本節では、本実施形態の機能構成について説明する。前述の通り、記憶部42に記憶されているソフトウェアによる情報処理がハードウェアの一例であるプロセッサ43によって具体的に実現されることで、プロセッサ43に含まれる各機能部が実行されうる。
【0030】
図3は、センサ1におけるプロセッサ43等によって実現される機能を示すブロック図である。具体的には、プロセッサ43は、機能部として、取得部431と、変換部432と、入力処理部433と、出力部434とを備える。
【0031】
取得部431は、取得ステップとして、通信部41を介して外部から受け付けた又は予め記憶部42に記憶された種々の情報を取得するように構成される。例えば、取得部431は、受光素子32から出力された光電流Jを取得する。
【0032】
変換部432は、変換ステップとして、取得部431が取得した種々の情報に予め定められた演算を実施して、情報を変換するように構成される。例えば、変換部432は、取得部431が取得した複数の光電流Jの値に基づく所定の演算値を、変換後の情報として演算してもよい。
【0033】
入力処理部433は、入力処理ステップとして、記憶部42に記憶された学習済みモデル5に、入力パラメータを入力するように構成される。
【0034】
出力部434は、出力ステップとして、種々の情報を出力するように構成される。具体的には、出力部434は、学習済みモデル5に基づいて推定された空間物理量、例えば、距離d及び角度θ,φを出力してもよい。
【0035】
3.学習済みモデル5の構成
本節では、記憶部42に記憶された学習済みモデル5について説明する。学習済みモデル5は、センサ1における基準面と対象物Obとに係る空間物理量と、光電流Jの値又は演算値との関係を予め機械学習させたモデルである。好ましくは、学習済みモデル5には、対象物Obの材質ごとに、光電流Jの値又は所定の演算値と、対象物Obとセンサ1の基準面との空間物理量との関係を学習させておくとよい。具体的には、鏡面反射する材質の対象物Ob、拡散反射する白い材質の対象物Ob、緑・硬質塩ビ板の対象物Ob、黄・硬質塩ビ板の対象物Ob、青・硬質塩ビ板の対象物Ob、アルミ板の対象物Ob、荒仕上げのアルミ板の対象物Ob、金網である対象物Ob、革製品である対象物Ob等が挙げられる。このような態様によれば、鏡面を有する対象物Ob、透明な対象物Ob又は、表面に凹凸を有する対象物Ob等、従来は計測が困難な対象物Obに対しても頑健に計測を行うことができる。
【0036】
図4は、学習済みモデル5におけるニューラルネットワークの構成を示す概要図である。
図4に示されるように、学習済みモデル5は、入力層51と、少なくとも1つの層からなる中間層52と、出力層53とを備える。
【0037】
入力層51には、入力信号として、各受光素子32から出力される光電流Jの値、又は光電流Jに所定の演算を施した演算値が入力される。
図4では、少なくとも8つの入力ターミナル(図中の白抜き円)が入力層51として図示されているが、あくまでも例示でありこの限りではない。
【0038】
中間層52は、ニューラルネットワークの主たる処理を行う層であり、層数は特に限定されない。各層における複数のニューロン(図中の白抜き円)が、次の層における複数のニューロンに結合されている。例えば、中間層52における1層目の1つのニューロンは、入力層51の各ターミナルから重み(荷重)付けをされて入力を受け、中間層52における2層目の各ニューロンにそれぞれ重み付けをして演算結果を送信する。続いて、中間層52における2層目の1つのニューロンは、中間層52における1層目の各ニューロンから重み付けをされて入力を受け、中間層52における3層目の各ニューロンにそれぞれ重み付けをして演算結果を送信する。このような処理が中間層52の層数に応じて順次実行される。
【0039】
出力層53は、学習済みモデル5の出力結果を出力する層であり、
図4では、2つの出力ターミナル(図中の白抜き円)が出力層53として図示されているが、あくまでも例示でありこの限りではない。好ましくは、センサ1における基準面と対象物Obとに係る空間物理量として、距離dと、角度θ,φとがそれぞれ出力される。すなわち、学習済みモデル5に関連し、情報処理部4におけるプロセッサ43は、光電流Jの値又は演算値を入力パラメータとして学習済みモデル5に入力し、学習済みモデル5からの出力結果に基づいて、空間物理量を計測するように構成されている。
【0040】
4.情報処理方法を含む計測処理の流れ
本節では、センサ1を用いた対象物Obの計測処理の流れを説明する。
図5は、センサ1を用いた対象物Obの計測処理の流れを示すアクティビティ図である。
図6は、各発光素子31が発光するタイミングと、受光素子32が受光する態様を示す概要図であり、
図6A、
図6B、
図6C及び
図6Dの順に発光素子31が発光する。以下、このアクティビティ図に沿って、計測処理の流れを説明する。
【0041】
本実施形態では、4つの受発光ブロック3を備えるセンサ1を想定し、受発光ブロック3における発光素子31それぞれは、互いに異なるタイミングで別々に発光する。このような態様によれば、各発光素子31に起因する反射光Lを容易に区別することができる。以下、「k(k=1,2,3,4)番目の発光素子31が発光する。」と表現するものとする。すなわち、発光素子31a,31b,31c,31dがそれぞれ別々のタイミングで周期的に発光する。まずは、k=1として(アクティビティA001)、1番目の発光素子31、例えば
図6Aに示されるように発光素子31aが発光する(アクティビティA002)。
【0042】
続いて、発光素子31aから発光された光が対象物Obに照射され、反射した反射光Lが、複数の受光素子32に入射する。具体的には、受光素子32aが発光素子31aに起因する反射光Lを主たる光として受光する(アクティビティA003)。なお、受光素子32aは、発光素子31aと対をなす受光素子32であり、ここでは発光素子31aと同じ受発光ブロック3aに位置している。また、受光素子32bが発光素子31aに起因する反射光Lをクロストーク光として受光する(アクティビティA004)。なお、受光素子32bは、発光素子31aが配置される受発光ブロック3aの左隣に位置する受発光ブロック3bに配置された受光素子32である。また、受光素子32dが発光素子31aに起因する反射光Lをクロストーク光として受光する(アクティビティA005)。なお、受光素子32dは、発光素子31aが配置される受発光ブロック3aの右隣に位置する受発光ブロック3dに配置された受光素子32である。そして、受光素子32a,32b,32dそれぞれから、受光した反射光Lに対応する光電流Jが出力される。その後、情報処理部4における取得部431が、各光電流Jを取得する。換言すると、受光素子32は、対応付けられた発光素子31に起因する反射光Lを、主たる光として受光し、主たる光以外の反射光Lをクロストーク光として主たる光とは区別可能に受光している。
【0043】
続いて、k<4であるから、kの値をインクリメントし(アクティビティA006)、2番目の発光素子31、例えば
図6Bに示されるように発光素子31bが発光する(アクティビティA002)。
【0044】
続いて、発光素子31bから発光された光が対象物Obに照射され、反射した反射光Lが、複数の受光素子32に入射する。具体的には、受光素子32bが発光素子31bに起因する反射光Lを主たる光として受光する(アクティビティA003)。受光素子32cが発光素子31bに起因する反射光Lをクロストーク光として受光する(アクティビティA004)。受光素子32aが発光素子31bに起因する反射光Lをクロストーク光として受光する(アクティビティA005)。そして、受光素子32b,32c,32aそれぞれから、受光した反射光Lに対応する光電流Jが出力される。その後、情報処理部4における取得部431が、各光電流Jを取得する。
【0045】
続いて、k<4であるから、kの値をインクリメントし(アクティビティA006)、3番目の発光素子31、例えば
図6Cに示されるように発光素子31cが発光する(アクティビティA002)。
【0046】
続いて、発光素子31cから発光された光が対象物Obに照射され、反射した反射光Lが、複数の受光素子32に入射する。具体的には、受光素子32cが発光素子31cに起因する反射光Lを主たる光として受光する(アクティビティA003)。受光素子32dが発光素子31cに起因する反射光Lをクロストーク光として受光する(アクティビティA004)。受光素子32bが発光素子31cに起因する反射光Lをクロストーク光として受光する(アクティビティA005)。そして、受光素子32c,32d,32bそれぞれから、受光した反射光Lに対応する光電流Jが出力される。その後、情報処理部4における取得部431が、各光電流Jを取得する。
【0047】
続いて、k<4であるから、kの値をインクリメントし(アクティビティA006)、4番目の発光素子31、例えば
図6Dに示されるように発光素子31dが発光する(アクティビティA002)。
【0048】
続いて、発光素子31dから発光された光が対象物Obに照射され、反射した反射光Lが、複数の受光素子32に入射する。具体的には、受光素子32dが発光素子31dに起因する反射光Lを主たる光として受光する(アクティビティA003)。受光素子32aが発光素子31dに起因する反射光Lをクロストーク光として受光する(アクティビティA004)。受光素子32cが発光素子31dに起因する反射光Lをクロストーク光として受光する(アクティビティA005)。そして、受光素子32d,32a,32cそれぞれから、受光した反射光Lに対応する光電流Jが出力される。その後、情報処理部4における取得部431が、各光電流Jを取得する。上述の4回の発光により、12チャネルの光電流Jが取得されたこととなる。
【0049】
今回は、k=4であるから、アクティビティA007~A009の処理が実行される。具体的には、まず、情報処理部4における取得部431が取得した各光電流Jを、変換部432が所定の演算値に変換する前処理を実行する(アクティビティA007)。所定の演算値は、各光電流Jに基づいて演算される値であれば、特に限定されない。かかる演算値のチャネル数は、光電流Jのチャネル数(一例では12)と同一でもよいし、これよりも少ないものであってもよい。
【0050】
続いて、情報処理部4における入力処理部433が、アクティビティA007で得られた各演算値を学習済みモデル5に入力パラメータとして入力する(アクティビティA008)。
【0051】
最後に、情報処理部4における出力部434が、学習済みモデル5から推定された空間物理量、ここでは距離d及び角度θ,φを、出力する(アクティビティA009)。以上の処理が、センサ1が動作している限り継続的に実行されるため、センサ1の動作周波数に応じて、逐次、距離d及び角度θ,φが計測される。1番目の発光素子31の発光から、距離d及び角度θ,φが推定的に計測されるまでの時間は、100ミリ秒以下であるとよく、好ましくは、10ミリ秒以下であり、より好ましくは、1ミリ秒以下であり、さらに好ましくは、0.7ミリ秒以下である。計測までの時間は、具体的には例えば、100,95,90,85,80,75,70,65,60,55,50,45,40,35,30,25,20,15,10,9,8,7,6,5,4,3,2,1,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1ミリ秒であり、ここで例示した数値の何れか2つの間の範囲内であってもよい。すなわち、k番目の発光素子31の発光からk+1番目の発光素子31の発光までの時間は、上記の計測時間の1/4以下であるとよい。またより一般化すると、k番目の発光素子31の発光からk+1番目の発光素子31の発光までの時間は、「1番目の発光素子31の発光から、距離d及び角度θ,φが推定的に計測されるまでの時間」を「発光素子31の個数」で割った時間以下であるとよい。
【0052】
以上をまとめると、本実施形態に係るセンサ1は、対象物Obを計測するためのセンサである。センサ1は、複数の発光素子31と、受光素子32と、AI入力部22とを備える。発光素子31は、基材21上において異なる位置にそれぞれ設けられる。受光素子32は、基材21上に設けられる。受光素子32は、各発光素子31に起因する反射光Lのうちの1つを主たる光として受光するとともに、主たる光以外の反射光Lをクロストーク光として主たる光とは区別可能に受光するように構成される。反射光Lは、発光素子31それぞれから発光され且つ対象物Obからそれぞれ反射した光である。センサ1は、区別可能に受光された主たる光と、クロストーク光とに基づいて、センサ1における基準面と対象物Obとに係る空間物理量を計測する。
【0053】
また別の観点によれば、この情報処理方法は、次の各ステップを備える。取得ステップでは、受光素子32から出力された光電流J(電気物理量の一例)を取得する。入力処理ステップでは、光電流Jの値又は光電流Jに基づく演算値を入力パラメータとして、学習済みモデル5に入力する。学習済みモデル5は、センサ1における基準面と対象物Obとに係る空間物理量と、光電流Jの値又は演算値との関係を予め機械学習させたモデルである。出力ステップでは、学習済みモデル5に基づいて、空間物理量を推定的に出力する。
【0054】
このような態様によれば、よりシンプルな構造を有し且つ高精度なセンサが実現される。特に、発光素子31aと受光素子32aとのような、対応する関係どうしの反射光Lだけを計測に用いるのではなく、従来は外乱として考えられていたクロストーク光をも計測判断の入力パラメータに用いることで、より多元的な情報を得ることができ、計測の精度を高めることができる。
【0055】
[その他]
本実施形態に係るセンサ1をさらに創意工夫してもよい。
【0056】
発光素子31と、受光素子32とは1対1に配置されなくてもよい。
図7は、変形例に係るセンサ1の構成を示す概略正面図である。変形例に係るセンサ1は、最低限の構成として、2つの発光素子31x,31yと、1つの受光素子32xとを備えている。発光素子31xから発光された光が対象物Obに反射して、反射光L1(主たる光の一例)が受光素子32xによって受光される。また、発光素子31yから発光された光が対象物Obに反射して、反射光L2(クロストーク光の一例)が受光素子32xによって受光される。このような態様のセンサ1であっても、予め機械学習させた学習済みモデル5を用いて、距離d及び角度θ(1方向の角度)を推定的に計測することができる。
【0057】
前述の実施形態では、受発光ブロック3に発光素子31及び受光素子32が1対1で含まれ、受発光ブロック3それぞれが、環状且つ等間隔に基材21上に配置される場合を例示したが、発光素子31と受光素子32とが全く規則性なく基材21に配置されていてもよい。かかる場合であっても、予め機械学習させた学習済みモデル5を用意することで、距離d及び角度θ,φを推定的に計測することができる。
【0058】
センサ1は、検出部2及び情報処理部4を含むものとして説明したが、センサ1が検出部2のみを有し、これと接続された不図示のコンピュータを用いて、計測結果が出力されるように実施してもよい。かかる場合、不図示のコンピュータに内蔵された不図示の記憶部に学習済みモデル5が記憶され、不図示のプロセッサによって、学習済みモデル5への入力処理が実行されるとよい。また、接続の態様は特に限定されず、直接導線で接続されてもよいし、センサ1が無線通信機能を備え、センサ1と不図示のコンピュータとが無線通信を介して接続されてもよい。かかる場合、複数のセンサ1に対して不図示のコンピュータ1台が対応するように実施してもよい。
【0059】
前述のセンサ1が、所定の製造方法によって製造されてもよい。かかる製造方法は、基材21に、複数の発光素子31と、少なくとも1つの受光素子32とを配置するステップを含むとよい。例えば、基材21に、発光素子31が配置され、続いて、受光素子32が配置され、続いて、受光素子32の出力と、マイコン等の情報処理部4が接続されてもよい。このような方法によれば、よりシンプルな構造を有し且つ高精度なセンサが製造される。
【0060】
前述の実施形態では、各発光素子31が別々のタイミングで発光することで、得られる光電流Jそれぞれを区別していたが、タイミングに代えて、各発光素子31を異なる周波数で点滅させることや、発光素子31が発光する光の波長を異なるものとすることで、得られる光電流Jそれぞれを区別するようにしてもよい。
【0061】
左右隣接する受光素子32だけでなく、対向する受光素子32がクロストーク光を受光するように実施してもよい。すなわち、受発光ブロック3の数に応じて、自由にクロストーク光を採用する受光素子32の位置を決定することができる。
【0062】
学習済みモデル5は、ニューラルネットワークに代えて、一次元畳み込みネットワークであってもよいし、二次元畳み込みネットワークでもよい。
【0063】
受光素子32から発生する電気物理量は、光電流Jに限定されず、例えば電圧でもよい。
【0064】
さらに、次に記載の各態様で提供されてもよい。
【0065】
(1)対象物を計測するためのセンサであって、複数の発光素子と、少なくとも1つの受光素子とを備え、前記発光素子は、基材上において異なる位置にそれぞれ設けられ、前記受光素子は、前記基材上に設けられ、各発光素子に起因する反射光のうちの1つを主たる光として受光するとともに、前記主たる光以外の反射光をクロストーク光として前記主たる光とは区別可能に受光し、ここで前記反射光は、前記発光素子それぞれから発光され且つ前記対象物からそれぞれ反射した光で、区別可能に受光された前記主たる光と、前記クロストーク光とに基づいて、前記センサにおける基準面と前記対象物とに係る空間物理量を計測する、もの。
【0066】
このような態様によれば、よりシンプルな構造を有し且つ高精度なセンサが実現される。
【0067】
(2)上記(1)に記載のセンサにおいて、前記空間物理量は、前記基準面と前記対象物との距離と、前記基準面に対する前記対象物の角度とを少なくとも含む、もの。
【0068】
このような態様によれば、対象物との距離と角度とを計測し、物体のピッキングや検査等様々な場面に応用することができる。
【0069】
(3)上記(2)に記載のセンサにおいて、前記距離は、50mm以下である、もの。
【0070】
このような態様によれば、ごく近距離に位置する対象物を正確に把握することができる。
【0071】
(4)上記(1)~(3)の何れか1つに記載のセンサにおいて、前記受光素子は、前記発光素子と同数であり、前記発光素子それぞれと1対1に対応付けられ、対応付けられた前記発光素子に起因する前記反射光を、前記主たる光として受光し、前記主たる光以外の前記反射光を前記クロストーク光として前記主たる光とは区別可能に受光するように構成される、もの。
【0072】
このような態様によれば、複数の受光素子からの光が得られるため、よりセンサの精度を高めることができる。
【0073】
(5)上記(4)に記載のセンサにおいて、前記受光素子と、対応付けられた前記発光素子とは、互いに隣接して受発光ブロックを形成し、前記受発光ブロックが前記基材上に複数設けられる、もの。
【0074】
このような態様によれば、複数の受光素子からの光が得られるため、よりセンサの精度を高めることができる。
【0075】
(6)上記(5)に記載のセンサにおいて、前記受発光ブロックそれぞれは、環状且つ等間隔に前記基材上に配置される、もの。
【0076】
このような態様によれば、複数の受光素子から得られる光に対応する物理量それぞれに対称性が生じ、よりセンサの精度を高めることができる。
【0077】
(7)上記(1)~(6)の何れか1つに記載のセンサにおいて、前記発光素子の数は、2~4である、もの。
【0078】
このような態様によれば、さらにシンプルな構造を有し且つ高精度なセンサが実現される。
【0079】
(8)上記(1)~(7)の何れか1つに記載のセンサにおいて、前記発光素子それぞれは、互いに異なるタイミングで別々に発光する、もの。
【0080】
このような態様によれば、各発光素子に起因する反射光を容易に区別することができる。
【0081】
(9)上記(1)~(8)の何れか1つに記載のセンサにおいて、前記受光素子は、前記反射光に応じた電気物理量を発生させるように構成され、区別可能に受光された前記主たる光と、前記クロストーク光とに基づく前記電気物理量それぞれに基づいて、前記センサにおける基準面と前記対象物とに係る空間物理量を計測する、もの。
【0082】
このような態様によれば、情報処理に不可欠な電気的な取り扱いが可能となり、高精度なセンサが実現される。
【0083】
(10)上記(9)に記載のセンサにおいて、AI入力部をさらに備え、前記AI入力部は、前記電気物理量の値又は前記電気物理量に基づく演算値を入力パラメータとして、学習済みモデルに入力し、ここで前記学習済みモデルは、前記センサにおける基準面と前記対象物とに係る空間物理量と、前記電気物理量の値又は前記演算値との関係を予め機械学習させたモデルである、もの。
【0084】
このような態様によれば、機械学習に基づく高精度なセンサが実現される。
【0085】
(11)上記(10)に記載のセンサにおいて、記憶部と、プロセッサとをさらに備え、前記記憶部は、前記学習済みモデルを記憶し、前記プロセッサは、前記電気物理量の値又は前記演算値を前記入力パラメータとして前記学習済みモデルに入力し、前記学習済みモデルからの出力結果に基づいて、前記空間物理量を計測するように構成される、もの。
【0086】
このような態様によれば、センサ単体で別途コンピュータ等を使用することなく対象物の空間物理量を計測することができる。
【0087】
(12)上記(1)~(11)の何れか1つに記載のセンサにおいて、前記受光素子は、広指向性を有する受光素子である、もの。
【0088】
このような態様によれば、主たる光及びクロストーク光をともに確実に受光することができ、センサとしての精度を高めることができる。
【0089】
(13)センサの製造方法であって、基材に、複数の発光素子と、少なくとも1つの受光素子とを配置するステップを含み、前記センサは、上記(1)~(12)の何れか1つに記載のセンサである、方法。
【0090】
このような方法によれば、よりシンプルな構造を有し且つ高精度なセンサが製造される。
【0091】
(14)情報処理方法であって、次の各ステップを備え、取得ステップでは、受光素子から出力された光電流を取得し、入力処理ステップでは、前記電気物理量の値又は前記電気物理量に基づく演算値を入力パラメータとして、学習済みモデルに入力し、ここで前記学習済みモデルは、センサにおける基準面と対象物とに係る空間物理量と、前記電気物理量の値又は前記演算値との関係を予め機械学習させたモデルであり、出力ステップでは、前記学習済みモデルに基づいて、前記空間物理量を推定的に出力する、方法。
【0092】
このような態様によれば、よりシンプルな構造を有し且つ高精度なセンサが実現される。
もちろん、この限りではない。
【0093】
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0094】
1 :センサ
2 :検出部
21 :基材
22 :AI入力部
3 :受発光ブロック
3a :受発光ブロック
3b :受発光ブロック
3c :受発光ブロック
3d :受発光ブロック
31 :発光素子
31a :発光素子
31b :発光素子
31c :発光素子
31d :発光素子
31x :発光素子
31y :発光素子
32 :受光素子
32a :受光素子
32b :受光素子
32c :受光素子
32d :受光素子
32x :受光素子
4 :情報処理部
40 :通信バス
41 :通信部
42 :記憶部
43 :プロセッサ
431 :取得部
432 :変換部
433 :入力処理部
434 :出力部
5 :学習済みモデル
51 :入力層
52 :中間層
53 :出力層
J :光電流
L :反射光
L1 :反射光
L2 :反射光
Ob :対象物
d :距離
θ :角度
φ :角度