特許 7571461 識別方法、画像表示方法、識別システム、画像表示システム、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-15

(45)【発行日】2024-10-23

(54)【発明の名称】識別方法、画像表示方法、識別システム、画像表示システム、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241016BHJP

【ＦＩ】

G06T7/00 C

G06T7/00 350B

【請求項の数】 10

(21)【出願番号】P 2020178717

(22)【出願日】2020-10-26

(65)【公開番号】P2022069828

(43)【公開日】2022-05-12

【審査請求日】2023-07-21

(73)【特許権者】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】100179475

【弁理士】

【氏名又は名称】仲井 智至

(74)【代理人】

【識別番号】100216253

【弁理士】

【氏名又は名称】松岡 宏紀

(74)【代理人】

【識別番号】100225901

【弁理士】

【氏名又は名称】今村 真之

(72)【発明者】

【氏名】大池 匠

(72)【発明者】

【氏名】池田 陽

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開２０１１－０６３１３１（ＪＰ，Ａ）

【文献】特開２０１５－１４３９６６（ＪＰ，Ａ）

【文献】特開２０１７－０３７４２８（ＪＰ，Ａ）

【文献】特開平０９－０２７９６９（ＪＰ，Ａ）

【文献】国際公開第２０２０／１７３１５５（ＷＯ，Ａ１）

【文献】米国特許第１０４５２９６０（ＵＳ，Ｂ１）

【文献】中国特許出願公開第１１０９３０５４７（ＣＮ，Ａ）

【文献】城殿 清澄、外２名，“高解像度レーザレーダと画像の統合による歩行者認識”，ＳＳＩＩ２０１２ 第１８回画像センシングシンポジウム 講演論文集，日本，画像センシング技術研究会，2012年06月06日，pp.1-6

【文献】John-Ross Rizzo et al.，"Sensor fusion for ecologically valid obstacle identification: Building a comprehensive assistive technology platform for the visually impaired"，2017 7th International Conference on Modeling, Simulation, and Applied Optimization (ICMSAO)，米国，IEEE，2017年04月04日，pp.1-5

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００，７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

(57)【特許請求の範囲】

【請求項1】

コンピューターにより、
識別対象物を含む被写体の第１位置からの距離を各画素の画素値が表す第１画像を取得
し、
前記第１位置又は前記第１位置とは異なる第２位置から撮像された画像であって、各画
素の画素値が前記被写体からの反射光の輝度を少なくとも表す第２画像を取得し、
前記第１画像を第１サブ画像と第２サブ画像に分割し、
前記第２画像を前記第１サブ画像に対応する第３サブ画像と前記第２サブ画像に対応す
る第４サブ画像とに分割し、
前記第３サブ画像と、前記第４サブ画像と、に基づいて前記識別対象物の種類を識別す
る一方、前記第３サブ画像と、前記第４サブ画像と、に基づく識別結果の信頼度を示す指
標値を前記第１サブ画像と、前記第２サブ画像と、に基づいて算出し、
前記第１サブ画像または前記第２サブ画像の少なくとも一方は、前記識別対象物と、物
体と、が重なって撮像された画像である、
識別方法。

【請求項2】

前記コンピューターにより、
前記識別対象物の種類を前記第３サブ画像と、前記第４サブ画像と、に基づいて識別し
た後に、前記第１サブ画像と、前記第２サブ画像と、に基づいて前記指標値を算出し、算
出された前記指標値が閾値未満である場合には前記第３サブ画像と、前記第４サブ画像と
、に基づく識別結果を無効にする、請求項１に記載の識別方法。

【請求項3】

前記コンピューターにより、
前記第１サブ画像に基づいて算出された前記指標値が閾値以上である場合には前記第３
サブ画像に基づいて前記識別対象物の種類を識別し、前記第２サブ画像に基づいて算出さ
れた前記指標値が閾値以上である場合には前記第４サブ画像に基づいて前記識別対象物の
種類を識別する、請求項１に記載の識別方法。

【請求項4】

前記コンピューターにより、
前記第１サブ画像に基づく前記指標値は前記第１サブ画像を構成する各画素の画素値の
統計量であり、前記第２サブ画像に基づく前記指標値は前記第２サブ画像を構成する各画
素の画素値の統計量である、請求項１に記載の識別方法。

【請求項5】

前記コンピューターにより、
前記物体の画像と前記物体の種類を示すラベルとを対応付けた学習データを予め学習済
であり、且つ入力された画像に写っている物体の種類を示すラベルを出力する識別器、を
用いて前記識別対象物の種類を識別する、請求項１から４のうちの何れか１項に記載の識
別方法。

【請求項6】

コンピューターにより、
識別対象物を含む被写体の第１位置からの距離を各画素の画素値が表す第１画像を取得
し、
前記第１位置又は前記第１位置とは異なる第２位置から撮像された画像であって、各画
素の画素値が前記被写体からの反射光の輝度を少なくとも表す第２画像を取得し、
前記第１画像を第１サブ画像と第２サブ画像に分割し、
前記第２画像を前記第１サブ画像に対応する第３サブ画像と前記第２サブ画像に対応す
る第４サブ画像とに分割し、
前記第３サブ画像と、前記第４サブ画像と、に基づいて前記識別対象物の種類を識別す
る一方、前記第３サブ画像と、前記第４サブ画像と、に基づく前記識別対象物の種類の識
別結果の信頼度を示す指標値を前記第１サブ画像と、前記第２サブ画像と、に基づいて算
出し、
前記第１サブ画像または前記第２サブ画像の少なくとも一方は、前記識別対象物と、物
体と、が重なって撮像された画像であり、
前記識別対象物の種類の識別結果に応じた第３画像を前記被写体に重ねて表示する、
画像表示方法。

【請求項7】

第１位置に設置され、識別対象物を含む被写体の前記第１位置からの距離を各画素の画
素値が表す第１画像を撮像する第１撮像装置と、
前記第１位置又は前記第１位置とは異なる第２位置に設置され、各画素の画素値が前記
被写体からの反射光の輝度を少なくとも表す第２画像を撮像する第２撮像装置と、
処理装置と、を備え、
前記処理装置は、
前記第１撮像装置から前記第１画像を取得すること、
前記第２撮像装置から前記第２画像を取得すること、
前記第１画像を第１サブ画像と第２サブ画像に分割すること、
前記第２画像を前記第１サブ画像に対応する第３サブ画像と前記第２サブ画像に対応す
る第４サブ画像とに分割すること、及び、
前記第３サブ画像と、前記第４サブ画像と、に基づいて前記識別対象物の種類を識別す
る一方、前記第３サブ画像と、前記第４サブ画像と、に基づく前記識別対象物の種類の識
別結果の信頼度を示す指標値を前記第１サブ画像と、前記第２サブ画像と、に基づいて算
出すること、を実行し、
前記第１サブ画像または前記第２サブ画像の少なくとも一方は、前記識別対象物と、物
体と、が重なって撮像された画像である、
識別システム。

【請求項8】

第１位置に設置され、識別対象物を含む被写体の前記第１位置からの距離を各画素の画
素値が表す第１画像を撮像する第１撮像装置と、
前記第１位置又は前記第１位置とは異なる第２位置に設置され、各画素の画素値が前記
被写体からの反射光の輝度を少なくとも表す第２画像を撮像する第２撮像装置と、
表示装置と、
処理装置と、を備え、
前記処理装置は、
前記第１撮像装置から前記第１画像を取得すること、
前記第２撮像装置から前記第２画像を取得すること、
前記第１画像を第１サブ画像と第２サブ画像に分割すること、
前記第２画像を前記第１サブ画像に対応する第３サブ画像と前記第２サブ画像に対応す
る第４サブ画像とに分割すること、
前記第３サブ画像と、前記第４サブ画像と、に基づいて前記識別対象物の種類を識別す
る一方、前記第３サブ画像と、前記第４サブ画像と、に基づく前記識別対象物の種類の識
別結果の信頼度を示す指標値を前記第１サブ画像と、前記第２サブ画像と、に基づいて算
出すること、及び、
前記識別対象物の種類の識別結果に応じた第３画像を前記識別対象物に重ねて前記表示
装置に表示させること、を実行し、
前記第１サブ画像または前記第２サブ画像の少なくとも一方は、前記識別対象物と、物
体と、が重なって撮像された画像である、
画像表示システム。

【請求項9】

コンピューターに、
識別対象物を含む被写体の第１位置からの距離を各画素の画素値が表す第１画像を取得
すること、
前記第１位置又は前記第１位置とは異なる第２位置から撮像された画像であって、各画
素の画素値が前記被写体からの反射光の輝度を少なくとも表す第２画像を取得すること、
前記第１画像を第１サブ画像と第２サブ画像に分割すること、
前記第２画像を前記第１サブ画像に対応する第３サブ画像と前記第２サブ画像に対応す
る第４サブ画像とに分割すること、及び、
前記第３サブ画像と、前記第４サブ画像と、に基づいて前記識別対象物の種類を識別す
る一方、前記第３サブ画像と、前記第４サブ画像と、に基づく前記識別対象物の種類の識
別結果の信頼度を示す指標値を前記第１サブ画像と、前記第２サブ画像と、に基づいて算
出すること、
を実行させるプログラムであり、
前記第１サブ画像または前記第２サブ画像の少なくとも一方は、前記識別対象物と、物
体と、が重なって撮像された画像である、
プログラム。

【請求項10】

コンピューターに、
識別対象物を含む被写体の第１位置からの距離を各画素の画素値が表す第１画像を取得
すること、
前記第１位置又は前記第１位置とは異なる第２位置から撮像された画像であって、各画
素の画素値が前記被写体からの反射光の輝度を少なくとも表す第２画像を取得すること、
前記第１画像を第１サブ画像と第２サブ画像に分割すること、
前記第２画像を前記第１サブ画像に対応する第３サブ画像と前記第２サブ画像に対応す
る第４サブ画像とに分割すること、
前記第３サブ画像と、前記第４サブ画像と、に基づいて前記識別対象物の種類を識別す
る一方、前記第３サブ画像と、前記第４サブ画像と、に基づく前記識別対象物の種類の識
別結果の信頼度を示す指標値を前記第１サブ画像と、前記第２サブ画像と、に基づいて算
出すること、及び、
前記識別対象物の種類の識別結果に応じた第３画像を前記識別対象物に重ねて表示する
こと、
を実行させるプログラムであり、
前記第１サブ画像または前記第２サブ画像の少なくとも一方は、前記識別対象物と、物
体と、が重なって撮像された画像である、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、識別方法、画像表示方法、識別システム、画像表示システム、及びプログラム、に関する。

【背景技術】

【0002】

カメラにより撮像された撮像画像に写っている物体の種類を識別する識別技術の一例として特許文献１に開示の技術が挙げられる。特許文献１に開示の技術では、撮像画像内に写っている物体と、データベースに保存された物体のテンプレート画像とのテンプレートマッチングにより撮像画像に写っている物体の種類が識別される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－１９１７４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示の技術では、識別対象の物体の一部に他の物体が重なって写っている場合、誤った識別結果が得られる場合がある。

【課題を解決するための手段】

【0005】

上記課題を解決するために、本開示の識別方法は、識別対象物を含む被写体の第１位置からの距離を各画素の画素値が表す第１画像を取得し、前記第１位置又は前記第１位置とは異なる第２位置から撮像された画像であって、各画素の画素値が前記被写体からの反射光の輝度を少なくとも表す第２画像を取得し、前記第２画像に基づいて前記識別対象物の種類を識別する一方、前記第２画像に基づく識別結果の信頼度を示す指標値を前記第１画像に基づいて算出する。

【0006】

また、上記課題を解決するために、本開示の画像表示方法は、識別対象物を含む被写体の第１位置からの距離を各画素の画素値が表す第１画像を取得し、前記第１位置又は前記第１位置とは異なる第２位置から撮像された画像であって、各画素の画素値が前記被写体からの反射光の輝度を少なくとも表す第２画像を取得し、前記第２画像に基づいて前記識別対象物の種類を識別する一方、前記第２画像に基づく前記識別対象物の種類の識別結果の信頼度を示す指標値を前記第１画像に基づいて算出し、前記識別対象物の種類の識別結果に応じた第３画像を前記識別対象物に重ねて表示する。

【0007】

また、上記課題を解決するために、本開示の識別システムは、第１位置に設置され、識別対象物を含む被写体の前記第１位置からの距離を各画素の画素値が表す第１画像を撮像する第１撮像装置と、前記第１位置又は前記第１位置とは異なる第２位置に設置され、各画素の画素値が前記被写体からの反射光の輝度を少なくとも表す第２画像を撮像する第２撮像装置と、処理装置と、を備え、前記処理装置は、前記第１撮像装置から前記第１画像を取得すること、前記第２撮像装置から前記第２画像を取得すること、及び、前記第２画像に基づいて前記識別対象物の種類を識別する一方、前記第２画像に基づく前記識別対象物の種類の識別結果の信頼度を示す指標値を前記第１画像に基づいて算出すること、を実行する。

【0008】

また、上記課題を解決するために、本開示の画像表示システムは、第１位置に設置され、識別対象物を含む被写体の前記第１位置からの距離を各画素の画素値が表す第１画像を撮像する第１撮像装置と、前記第１位置又は前記第１位置とは異なる第２位置に設置され、各画素の画素値が前記被写体からの反射光の輝度を少なくとも表す第２画像を撮像する第２撮像装置と、表示装置と、処理装置と、を備え、前記処理装置は、前記第１撮像装置から前記第１画像を取得すること、前記第２撮像装置から前記第２画像を取得すること、前記第２画像に基づいて前記識別対象物の種類を識別する一方、前記第２画像に基づく前記識別対象物の種類の識別結果の信頼度を示す指標値を前記第１画像に基づいて算出すること、及び、前記識別対象物の種類の識別結果に応じた第３画像を前記識別対象物に重ねて前記表示装置に表示させること、を実行する。

【0009】

また、上記課題を解決するために、本開示のプログラムは、コンピューターに、識別対象物を含む被写体の第１位置からの距離を各画素の画素値が表す第１画像を取得すること、前記第１位置又は前記第１位置とは異なる第２位置から撮像された画像であって、各画素の画素値が前記被写体からの反射光の輝度を少なくとも表す第２画像を取得すること、及び、前記第２画像に基づいて前記識別対象物の種類を識別する一方、前記第２画像に基づく前記識別対象の種類の識別結果の信頼度を示す指標値を前記第１画像に基づいて算出すること、を実行させる。

【0010】

また、上記課題を解決するために、本開示のプログラムは、コンピューターに、識別対象物を含む被写体の第１位置からの距離を各画素の画素値が表す第１画像を取得すること、前記第１位置又は前記第１位置とは異なる第２位置から撮像された画像であって、各画素の画素値が前記被写体からの反射光の輝度を少なくとも表す第２画像を取得すること、前記第２画像に基づいて前記識別対象物の種類を識別する一方、前記第２画像に基づく前記識別対象物の種類の識別結果の信頼度を示す指標値を前記第１画像に基づいて算出すること、及び、前記識別対象物の種類の識別結果に応じた第３画像を前記識別対象物に重ねて表示すること、を実行させる。

【図面の簡単な説明】

【0011】

【図1】本開示の第１実施形態に係る識別方法を実行する識別装置３０Ａを含む識別システム１Ａの構成例を示すブロック図である。

【図2】本実施形態における被写体の一例を示す図である。

【図3】距離画像の一例を示す図である。

【図4】輝度画像の一例を示す図である。

【図5】輝度画像に基づく識別結果の一例を示す図である。

【図6】距離画像に基づいて算出される統計量の一例を示す図である。

【図7】識別装置３０Ａによる識別結果の一例を示す図である。

【図8】本実施形態の識別方法の流れを示すフローチャートである。

【図9】本開示の第２実施形態に係る識別方法を実行する識別装置３０Ｂを含む識別システム１Ｂの構成例を示すブロック図である。

【図10】輝度画像に基づく識別結果の一例を示す図である。

【図11】距離画像に基づいて算出される統計量の一例を示す図である。

【図12】本実施形態の識別方法の流れを示すフローチャートである。

【図13】本開示の第３実施形態に係る画像表示方法を実行する表示制御装置４０を含む画像表示システム２の構成例を示すブロック図である。

【図14】本実施形態における被写体の一例を示す図である。

【図15】本実施形態における識別対象物である将棋の駒の移動可能なマス目の一例を示す図である。

【図16】本実施形態の識別方法の流れを示すフローチャートである。

【図17】本実施形態の動作を説明するための図である。

【図18】本実施形態の効果を示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本開示の実施形態を説明する。以下に述べる実施形態には技術的に好ましい種々の限定が付されている。しかし、本開示の実施形態は、以下に述べる形態に限られるものではない。

【0013】

１．第１実施形態
図１は、本開示の第１実施形態に係る識別方法を実行する識別装置３０Ａを含む識別システム１Ａの構成例を示すブロック図である。図１に示すように、識別システム１Ａは、識別装置３０Ａの他に、第１撮像装置１０と、第２撮像装置２０と、を含む。図１に示すように、第１撮像装置１０と、第２撮像装置２０とは、識別装置３０Ａに接続される。

【0014】

詳細については後述するが、識別装置３０Ａは、背景となる物体の上に識別対象となる物体が配置された被写体の撮像画像に基づいて、識別対象となる物体の種類を識別する。以下では、背景となる物体のことを背景物と呼ぶ。また、識別対象となる物体のことを識別対象物と呼ぶ。背景物の上に識別対象物が配置された被写体は、本開示における識別対象物を含む被写体の一例である。図２は、本実施形態における被写体の一例を示す図である。本実施形態における被写体では、背景物Ｂ１の上に識別対象物Ａ１、Ａ２及びＣ１が配置される。背景物Ｂ１は机である。識別対象物Ａ１及び識別対象物Ａ２はリンゴである。識別対象物Ｃ１は円筒状の花瓶である。

【0015】

第１撮像装置１０は、ＴｏＦカメラ、構造化光カメラ又はステレオカメラ等の距離カメラである。距離カメラとは距離画像を撮像するカメラである。距離画像とは、各画素の画素値が被写体から距離カメラの設置位置までの距離を表す画像である。第１撮像装置１０は、被写体を撮像する毎に撮像した距離画像を表す画像データを識別装置３０Ａへ出力する。以下では、距離画像を表す画像データを距離画像データと呼ぶ。

【0016】

第１撮像装置１０は、図２に示す被写体の斜め上方の位置に固定され、図２において破線で囲った範囲を所定の時間長のフレーム期間毎に撮像する。図３は、図２に示す被写体を第１撮像装置１０により撮像して得られる距離画像の一例を示す図である。図３に示すように、本実施形態における距離画像はグレイスケール画像である。本実施形態の距離画像において、第１画素についての被写体からの距離が第２画素についての被写体からの距離よりも長い場合、第１画素の画素値は第２画素の画素値よりも小さくなる。つまり、第１画素は第２画素よりも黒くなる。第１撮像装置１０の設置位置は本開示における第１位置の一例ある。図２に示す被写体を第１撮像装置１０により撮像して得られる距離画像は本開示における第１画像の一例である。

【0017】

第２撮像装置２０は、ＲＧＢカメラである。第２撮像装置２０により撮像された画像における各画素の画素値は被写体からの反射光の輝度を表す。以下では、各画素の画素値が被写体からの反射光の輝度を表す画像を輝度画像と呼ぶ。本実施形態における第２撮像装置２０はＲＧＢカメラであるが、グレーカメラ又は赤外線カメラであってもよい。第２撮像装置２０は、第１撮像装置１０の近傍の位置に固定される。第２撮像装置２０の設置位置は本開示における第１位置とは異なる第２位置の一例ある。第２撮像装置２０により撮像される輝度画像は本開示における第２画像の一例である。

【0018】

第２撮像装置２０は、第１撮像装置１０と同様に、図２に示す被写体の斜め上方から、図２において破線で囲った範囲をフレーム期間毎に撮像する。なお、本実施形態では、第２撮像装置２０による撮像タイミングと第１撮像装置１０による撮像タイミングとは同じである。第２撮像装置２０は、被写体を撮像する毎に撮像した輝度画像を表す画像データを識別装置３０Ａへ出力する。以下では、輝度画像を表す画像データを輝度画像データと呼ぶ。図４は、図２に示す被写体を第２撮像装置２０により撮像して得られる輝度画像の一例を示す図である。図４では、背景物Ｂ１、識別対象物Ａ１、Ａ２及びＣ１の各々の違いがハッチングの有無及びハッチングパターンで示されている。本実施形態では、第２撮像装置２０におけるズームと第１撮像装置１０におけるズームとは同じ値に設定される。このため、第１撮像装置１０により撮像された距離画像と第２撮像装置２０により撮像された輝度画像は、同じ撮像範囲を略同じ位置から略同じズームで撮像した画像となる。

【0019】

識別装置３０Ａは、第２撮像装置２０から出力される輝度画像データに基づいて識別対象物Ａ１、Ａ２及びＣ１の種類を識別する。また、識別装置３０Ａは、輝度画像データに基づく識別結果の信頼度を示す指標値を、第１撮像装置１０から出力される距離画像データに基づいて算出する。識別装置３０Ａは，この指標値に基づいて、輝度画像データに基づく識別結果を有効とするのか、無効とするのかを判定する。以下、本実施形態の特徴を顕著に示す識別装置３０Ａを中心に説明する。

【0020】

識別装置３０Ａは、例えばパーソナルコンピューターである。図１に示すように、識別装置３０Ａは、通信装置３００と、記憶装置３１０と、処理装置３２０と、を含む。通信装置３００には、第１撮像装置１０及び第２撮像装置２０が接続される。通信装置３００は、外部の装置とデータ通信を実行する通信インターフェースである。通信装置３００は、例えば、送受信する信号を処理するインターフェース回路を備える。通信装置３００の具体例としては、無線通信モジュール又は有線通信モジュールが挙げられる。通信装置３００が有線通信モジュールである場合、通信装置３００には、通信線を介して第１撮像装置１０及び第２撮像装置２０が接続される。第１撮像装置１０及び第２撮像装置２０と識別装置３０Ａとの接続は、無線アクセスポイント装置又はルーター等の中継装置を介さない直接接続であってもよいし、中継装置を介する間接接続であってもよい。通信装置３００が無線通信モジュールである場合、直接接続の具体例としてはアドホック接続が挙げられ、間接接続の具体例としては無線アクセスポイント装置を介するアクセスポイント接続が挙げられる。また、通信装置３００が有線通信モジュールである場合、直接接続の具体例としてはピアトゥーピア接続が挙げられ、間接接続の具体例としては有線ルーター又は有線ハブを介する接続が挙げられる。通信装置３００は、第１撮像装置１０から出力される距離画像データを受信する。また、通信装置３００は、第２撮像装置２０から出力される輝度画像データを受信する。

【0021】

記憶装置３１０は、処理装置３２０が読み取り可能な記録媒体である。記憶装置３１０は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Radom Access Memory）である。

【0022】

記憶装置３１０の不揮発性メモリーには、処理装置３２０によって実行されるプログラム３１１Ａと、識別モジュール３１２と、が記憶される。記憶装置３１０の揮発性メモリーはプログラム３１１Ａを実行する際のワークエリアとして処理装置３２０によって利用される。プログラム３１１Ａは、「アプリケーションプログラム」、「アプリケーションソフトウェア」又は「アプリ」とも称され得る。プログラム３１１Ａは、例えば、通信装置３００を介して不図示のサーバー等から取得され、その後、記憶装置３１０に記憶される。プログラム３１１Ａは、記憶装置３１０に予め記憶されてもよい。

【0023】

識別モジュール３１２は、物体の輝度画像と物体の種類を示すラベルとを対応付けた学習データを用いてディープラーニング等の機械学習により生成された畳み込みニューラルネットワークである。識別モジュール３１２は、リンゴ、花瓶及び机について学習済である。識別モジュール３１２は、入力された輝度画像に写っている物体の種類を示すラベルを出力する。識別モジュール３１２は、本開示における識別器の一例である。

【0024】

処理装置３２０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサー、即ちコンピューターを含んで構成される。処理装置３２０は、単一のコンピューターで構成されてもよいし、複数のコンピューターで構成されてもよい。処理装置３２０は、プログラム３１１Ａの実行開始を指示する操作が不図示の入力装置に対して為されたことを契機としてプログラム３１１Ａを不揮発性メモリーから揮発性メモリーに読み出し、プログラム３１１Ａの実行を開始する。プログラム３１１Ａに従って作動中の処理装置３２０は、図１に示す第１取得部３２１、第２取得部３２２、識別部３２３Ａ、算出部３２４Ａ、及び判定部３２５Ａとして機能する。図１に示す第１取得部３２１、第２取得部３２２、識別部３２３Ａ、算出部３２４Ａ、及び判定部３２５Ａは、処理装置３２０をプログラム３１１Ａに従って動作させることで実現されるソフトウェアモジュールである。

【0025】

第１取得部３２１は、通信装置３００により受信した距離画像データを取得する。第２取得部３２２は、通信装置３００により受信した輝度画像データを取得する。

【0026】

識別部３２３Ａは、第２取得部３２２により取得した輝度画像データの表す輝度画像と識別モジュール３１２とを用いて、輝度画像に写っている物体の種類を識別する。なお、識別部３２３Ａは、第２取得部３２２により取得した輝度画像データの表す輝度画像が所定の大きさの矩形となるように当該輝度画像データに矩形変換を施してもよい。識別部３２３Ａは、輝度画像データの表す輝度画像を、図５に示すように、グリッドを用いてＮ行Ｍ列の合計Ｎ×Ｍ個のサブ輝度画像に分割する。図５に示す例ではＮ＝６である。Ｎは２以上の整数であればよい。図５に示す例ではＭ＝１０である。Ｍは２以上の整数であればよい。Ｎ×Ｍ個のサブ輝度画像のうちの何れか一のサブ輝度画像は本開示における第３サブ画像の一例であり、当該一のサブ輝度画像とは異なるサブ輝度画像は本開示における第４サブ画像の一例である。

【0027】

以下では、サブ輝度画像のＮ個の行に上から下に向けて第１行、第２行…第Ｎ行と番号を付ける。サブ輝度画像のＭ個の列についても同様に左から右へ向けて第１列、第２列…第Ｍ列と番号を付ける。従って、図５に示す６×１０個の画素のうち左上隅のサブ輝度画像を１行１列目のサブ輝度画像となり、右下隅のサブ輝度画像を６行１０列目のサブ輝度画像となる。

【0028】

識別部３２３Ａは、Ｎ×Ｍ個のサブ輝度画像の各々を識別対象画像として当該識別対象画像を表す画像データを識別モジュール３１２へ入力する。識別部３２３Ａは、識別対象画像に写っている物体の種別を示すラベルを識別モジュール３１２から取得することで、当該物体の種別を識別する。図５では、Ｎ×Ｍ個のサブ輝度画像の各々について識別モジュール３１２から取得されるラベルが一文字のアルファベットで示されている。図５においてＡはリンゴを、Ｂは背景物を、Ｃは花瓶を夫々表すラベルである。図５におけるＤは、リンゴ、背景物及び花瓶の何れでもない物を示すラベルである。５行８列目のサブ輝度画像に対してラベルＤが出力されるのは、当該サブ輝度画像には識別対象物Ａ２の一部が写っているものの、識別対象物Ｃ１及び背景物Ｂ１も写っているため、識別モジュール３１２を用いた識別に失敗したからである。

【0029】

算出部３２４Ａは、識別部３２３Ａによる識別結果の信頼度を示す指標値を、第１取得部３２１により取得した距離画像データの表す距離画像に基づいて算出する。より詳細に説明すると、算出部３２４Ａは、距離画像データの表す距離画像を、グリッドを用いてＮ×Ｍ個のサブ距離画像に分割する。前述したように、第１撮像装置１０により撮像された距離画像と第２撮像装置により撮像された輝度画像とは同じ撮像範囲を略同じ位置から同じズームで撮像した画像であるから、Ｎ×Ｍ個のサブ距離画像の各々はＮ×Ｍ個のサブ輝度画像の各々に一対一に対応する。例えば、１行１列目のサブ距離画像と１行１列目のサブ輝度画像とは略同じ撮像範囲を撮像した画像となる。なお、サブ輝度画像とサブ距離画像とをより正確に対応させるため、識別部３２３Ａは、輝度画像の輪郭が所定の大きさの矩形となるように輝度画像に矩形変換を施した後にサブ輝度画像に分割し、算出部３２４Ａは距離画像に当該矩形変換を施した後にサブ距離画像に分割してもよい。距離画像を分割して得られるＮ×Ｍ個のサブ距離画像のうちの何れか一のサブ距離画像は本開示における第１サブ距離画像の一例であり、当該一のサブ距離画像とは異なるサブ距離画像は本開示における第２サブ距離画像の一例である。

【0030】

次いで、算出部３２４Ａは、Ｎ×Ｍ個のサブ距離画像の各々を算出対象画像とし、算出対象画像を構成する画素の画素値の統計量に基づいて指標値を算出する。本実施形態では、算出部３２４Ａは、算出対象画像を構成する各画素の画素値の統計量として、以下の式（１）に示す分散Ｓ^２を算出する。なお、式（１）においてＬは算出対象画像を構成する画素の総数である。Ｌは２以上の整数である。ｘ_ｉは、算出対象画像を構成するＬ個の画素におけるｉ番目の画素の画素値である。つまり、ｉは１からＬまでの整数の何れかである。ｘ_aveは算出対象画像を構成するＬ個の画素の画素値の加算平均値である。

【数1】

【0031】

図６はＮ×Ｍ個のサブ距離画像の各々について算出される統計量の一例を示す図である。図６では、Ｎ×Ｍ個のサブ距離画像の各々について算出された分散Ｓ²の値が各サブ距離画像内に示されている。なお、図６では、距離を表す階調の描画は省略されている。４行８列目、４行９列目、５行８列、及び５行９列目の各サブ距離画像についての分散Ｓ² の値が著しく大きくなっているのは、これらのサブ距離画像には複数の物体が写っており、サブ距離画像内での距離のバラつきが大きいためである。

【0032】

算出部３２４Ａは、上記統計量が大きいほど小さくなる指標値を算出する。本実施形態では、算出部３２４Ａは、上記統計量の逆数を上記指標値として算出するが、予め定められた値から上記統計量を減算して得られる値であってもよい。この指標値が、識別部３２３Ａによる識別結果の信頼度を示す理由は次の通りである。前述したように、サブ距離画像について算出される統計量が大きいということは、サブ距離画像を構成する各画素の画素値のバラつきが大きいことを意味する。サブ距離画像について算出される上記統計量が大きい場合、当該サブ距離画像には複数の物体が写っている可能性が高く、当該サブ距離画像に対応するサブ輝度画像にも複数の物体が写っている可能性が高い。複数の物体が写っているサブ輝度画像に対して識別部３２３Ａによる物体の識別を行っても、その識別結果は誤っている可能が高い。従って、サブ距離画像を構成する画素の画素値の統計量に基づいて算出される指標値は、当該サブ距離画像に対応するサブ輝度画像に対する識別部３２３Ａによる識別結果の信頼度を示す。

【0033】

判定部３２５Ａは、識別部３２３Ａによる識別結果が無効であるか否かを、算出部３２４Ａにより算出された信頼度に基づいてサブ輝度画像毎に判定する。より詳細に説明すると、判定部３２５Ａは、Ｎ×Ｍ個のサブ輝度画像の各々を判定対象画像として、判定対象画像に対応するサブ距離画像について算出部３２４Ａにより算出された指標値が閾値未満であるか否かを判定する。そして、判定部３２５Ａは、算出部３２４Ａにより算出された指標値が閾値未満である場合には、判定対象画像に基づく識別部３２３Ａの識別結果を無効にする。上記閾値の値は例えば０．５であるが、他の値であってもよい。上記閾値については適宜実験を行って好適な値を設定すればよい。本実施形態では、サブ距離画像について算出された分散Ｓ^２の逆数が指標値となるから、分散Ｓ^２が２．０以上のサブ距離画像については指標値が０．５未満となり、当該サブ距離画像に対応するサブ輝度画像に基づく識別結果は無効とされる。具体的には、図６における４行８列目、４行９列目、５行８列、及び５行９列目の各サブ距離画像に対応するサブ輝度画像に基づく識別結果は無効とされる。その結果、図７に示す識別結果が得られる。図７では識別結果を無効とされたラベルが削除されている点が図５と異なる。

【0034】

また、プログラム３１１Ａに従って作動している処理装置３２０は、本開示の第１実施形態の識別方法を実行する。図８は、この識別方法の流れを示すフローチャートである。図８に示すように、この識別方法には、第１取得処理ＳＡ１１０、第２取得処理ＳＡ１２０、識別処理ＳＡ１３０、算出処理ＳＡ１４０、及び判定処理ＳＡ１５０が含まれる。

【0035】

第１取得処理ＳＡ１１０では、処理装置３２０は第１取得部３２１として機能する。第１取得処理ＳＡ１１０では、処理装置３２０は、通信装置３００により受信した距離画像データを取得する。第１取得処理ＳＡ１１０に後続する第２取得処理ＳＡ１２０では、処理装置３２０は、第２取得部３２２として機能する。第２取得処理ＳＡ１２０では、処理装置３２０は、通信装置３００により受信した輝度画像データを取得する。

【0036】

第２取得処理ＳＡ１２０に後続する識別処理ＳＡ１３０では、処理装置３２０は、識別部３２３Ａとして機能する。識別処理ＳＡ１３０では、処理装置３２０は、第２取得部３２２により取得した輝度画像データの表す輝度画像をＮ×Ｍ個のサブ輝度画像に分割する。次いで、処理装置３２０は、Ｎ×Ｍ個のサブ輝度画像の各々を識別対象画像として識別モジュール３１２へ入力し、識別対象画像に写っている物体の種別を示すラベルを取得する。

【0037】

識別処理ＳＡ１３０に後続する算出処理ＳＡ１４０では、処理装置３２０は、算出部３２４Ａとして機能する。算出処理ＳＡ１４０では、処理装置３２０は、第１取得部３２１により取得した距離画像データの表す距離画像をＮ×Ｍ個のサブ距離画像に分割する。次いで、処理装置３２０は、Ｎ×Ｍ個のサブ距離画像の各々算出対象画像とし、算出対象画像における画素値の統計量に応じた指標値を算出する。

【0038】

算出処理ＳＡ１４０に後続する判定処理ＳＡ１５０では、処理装置３２０は、判定部３２５Ａとして機能する。判定処理ＳＡ１５０では、処理装置３２０は、Ｎ×Ｍ個のサブ輝度画像の各々を判定対象画像として、判定対象画像に対応するサブ距離画像について算出処理ＳＡ１４０にて算出した指標値が閾値未満であるか否かを判定する。そして、処理装置３２０は、算出処理ＳＡ１４０にて算出した指標値が閾値未満である場合には、判定対象画像に基づく識別部３２３Ａの識別結果を無効にする。

【0039】

本実施形態によれば、輝度画像に基づく識別対象物の識別結果の信頼度を、輝度画像とは別個の距離画像から把握できる。加えて、本実施形態では、輝度画像に基づく識別結果の信頼度を示す指標値が閾値未満である場合にはその識別結果は無効とされる。本実施形態では、距離画像における画素値の統計量に応じた指標値を用いて輝度画像に基づく識別結果の有効性が判定されるので、複数の物体が写っていることに起因する識別誤りを無効とすることができる。

【0040】

２．第２実施形態
図９は、本開示の第２実施形態に係る識別システム１Ｂの構成例を示すブロック図である。図９では、図１におけるものと同じ構成要素には同じ符号が付されている。図９と図１とを対比すれば明らかなように、識別システム１Ｂは、識別装置３０Ａに代えて識別装置３０Ｂを有する点において識別システム１Ａと異なる。識別装置３０Ｂは、識別装置３０Ａと同様に、パーソナルコンピューターである。図９と図１とを対比すれば明らかなように、識別装置３０Ｂのハードウェア構成は識別装置３０Ａのハードウェア構成と同一である。識別装置３０Ｂは、プログラム３１１Ａに代えてプログラム３１１Ｂが記憶装置３１０に記憶されている点において、識別装置３０Ａと異なる。

【0041】

識別装置３０Ｂの処理装置３２０は、プログラム３１１Ｂを実行することにより、図９に示す第１取得部３２１、第２取得部３２２、識別部３２３Ｂ、算出部３２４Ｂ、及び判定部３２５Ｂとして機能する。第１取得部３２１、第２取得部３２２、識別部３２３Ｂ、算出部３２４Ｂ、及び判定部３２５Ｂは、処理装置３２０をプログラム３１１Ｂに従って動作させることで実現されるソフトウェアモジュールである。以下、第１実施形態との相違点である識別部３２３Ｂ、算出部３２４Ｂ、及び判定部３２５Ｂを中心に説明する。

【0042】

識別部３２３Ｂは、識別部３２３Ａと同様に、第２取得部３２２により取得した輝度画像データの表す輝度画像と識別モジュール３１２とを用いて輝度画像に写っている物体の種類を識別する。なお、識別部３２３Ｂについても、輝度画像データの表す輝度画像に矩形変換を施した後に物体の種類の識別を行ってもよい。識別部３２３Ｂは、第２取得部３２２により取得した輝度画像データを識別モジュール３１２へ入力し、輝度画像に写っている識別対象物の種別を示すラベルと、注目領域を示すデータとを取得する。注目領域とは、Region Of Interestのことであり、輝度画像において当該識別対象物が占める領域のことをいう。注目領域は本開示における第１領域の一例である。図１０は、図４に示す輝度画像を表す輝度画像データを識別モジュール３１２に入力した場合の識別結果及び注目領域の特定結果の一例を示す図である。図１０に示すように、本実施形態では、識別対象物Ａ１について注目領域Ｒ１が特定され、ラベルとしてＡが取得される。また、識別対象物Ａ２については、注目領域Ｒ２が特定され、ラベルとしてＤが取得される。そして、識別対象物Ｃ１については注目領域Ｒ３が特定され、ラベルとしてＣが取得される。

【0043】

算出部３２４Ｂは、識別部３２３Ｂにより特定された注目領域に対応する距離画像の領域を算出対象画像とし、識別部３２３Ｂによる識別結果の信頼度を示す指標値を、算出対象画像における画素値の統計量に基づいて算出する。注目領域に対応する距離画像の領域は本開示における第２領域の一例である。本実施形態における指標値も、第１実施形態と同様に上記統計量の逆数である。本実施形態では、算出対象画像における画素値の統計量として前述の式（１）に示す分散Ｓ^２が用いられる。本実施形態における第１実施形態と同様に、指標値が大きいほど識別部３２３Ｂによる識別結果の信頼度が高いことを意味する。なお、算出部３２４Ｂについても、距離画像データの表す距離画像に矩形変換を施した後に指標値の算出を行ってもよい。

【0044】

図１１は、注目領域Ｒ１、Ｒ２及びＲ３の各々について、図３に示す輝度画像に基づく統計量の算出結果を示す図である。図１１に示すように、注目領域Ｒ１については分散Ｓ^２として１．５が、注目領域Ｒ２については分散Ｓ^２として６．０が、注目領域Ｒ３については分散Ｓ^２として１．０が夫々算出される。注目領域Ｒ２について算出される分散Ｓ^２が著しく大きいのは、注目領域Ｒ２には複数の物体の画像が含まれているからである。前述したように、算出部３２４Ｂは、算出対象画像における画素値の統計量の逆数を指標値として算出するため、注目領域Ｒ１については指標値として０．６７が、注目領域Ｒ２については指標値として０．１６が、注目領域Ｒ３については指標値として１．０が夫々算出される。

【0045】

判定部３２５Ｂは、識別部３２３Ｂによる識別結果が無効であるか否かを、算出部３２４Ｂにより算出された信頼度に基づいて注目領域毎に判定する。より詳細に説明すると、判定部３２５Ｂは、注目領域毎に、算出部３２４Ｂにより算出された指標値が閾値未満であるか否かを判定する。そして、判定部３２５Ｂは、算出部３２４Ｂにより算出された指標値が閾値未満である注目領域については、識別部３２３Ｂの識別結果を無効にする。本実施形態では、上記閾値の値は第１実施形態と同様に０．５である。このため、本実施形態では、注目領域Ｒ１、Ｒ２及びＲ３のうち注目領域Ｒ２についてのみ、識別結果が無効とされる。

【0046】

また、識別装置３０Ｂの処理装置３２０は、プログラム３１１Ｂに従って、本開示の第２実施形態の識別方法を実行する。図１２は、この識別方法の流れを示すフローチャートである。図１２に示すように、この識別方法には、第１取得処理ＳＡ１１０、第２取得処理ＳＡ１２０、識別処理ＳＢ１３０、算出処理ＳＢ１４０、及び判定処理ＳＢ１５０が含まれる。以下、第１実施形態における識別方法との相違点である識別処理ＳＢ１３０、算出処理ＳＢ１４０、及び判定処理ＳＢ１５０を中心に説明する。

【0047】

識別処理ＳＢ１３０では、識別装置３０Ｂの処理装置３２０は、識別部３２３Ｂとして機能する。識別処理ＳＢ１３０では、識別装置３０Ｂの処理装置３２０は、第２取得部３２２により取得した輝度画像データを識別モジュール３１２へ入力し、輝度画像に写っている識別対象物の種別を示すラベルと、注目領域を示すデータとを取得する。

【0048】

識別処理ＳＢ１３０に後続する算出処理ＳＢ１４０では、識別装置３０Ｂの処理装置３２０は、算出部３２４Ｂとして機能する。算出処理ＳＢ１４０では、識別装置３０Ｂの処理装置３２０は、識別処理ＳＢ１３０にて特定した注目領域に対応する距離画像の領域を算出対象画像とし、識別処理ＳＢ１３０における識別結果の信頼度を示す指標値を、算出対象画像における画素値の統計量に基づいて算出する。

【0049】

算出処理ＳＢ１４０に後続する判定処理ＳＢ１５０では、識別装置３０Ｂの処理装置３２０は、判定部３２５Ｂとして機能する。判定処理ＳＢ１５０では、識別装置３０Ｂの処理装置３２０は、注目領域毎に、算出処理ＳＢ１４０にて算出した指標値が閾値未満であるか否かを判定し、指標値が閾値未満である注目領域についての識別結果を無効にする。

【0050】

本実施形態によっても、輝度画像に基づく識別対象物の識別結果の信頼度を、輝度画像とは別個の距離画像から把握できる。本実施形態においても、距離画像における画素値の統計量に応じた指標値を用いて輝度画像に基づく識別結果の有効性が判定されるので、複数の物体が写っていることに起因する識別誤りを無効とすることができる。また、本実施形態によれば、注目領域についてのみ指標値が算出されるので、第１実施形態に比較して指標値の算出に要する処理負荷を低減できる。

【0051】

３．第３実施形態
図１３は、本開示の第３実施形態に係る画像表示方法を実行する表示制御装置４０を含む画像表示システム２の構成例を示すブロック図である。図１３に示すように画像表示システム２は、表示制御装置４０の他に、第１撮像装置１０と、第２撮像装置２０と、表示装置５０と、を含む。図１３に示すように、第１撮像装置１０、第２撮像装置２０、及び表示装置５０は、表示制御装置４０に接続される。以下、第１実施形態との相違点である表示装置５０及び表示制御装置４０について説明する。

【0052】

表示装置５０は、表示制御装置４０による制御の下、画像を表示する。本実施形態における表示装置５０はプロジェクターである。

【0053】

表示制御装置４０は、識別装置３０Ａ又は識別装置３０Ｂと同様にパーソナルコンピューターである。表示制御装置４０は、表示装置５０による画像の投写先となる物体の種類を第２撮像装置２０により撮像される輝度画像に基づいて識別する。そして、表示制御装置４０は、輝度画像に基づく識別結果に応じた画像を投写するように表示装置５０を制御する。つまり、本実施形態では、表示装置５０からの画像の投写先となる物体が識別対象物となる。図１４は、本実施形態における被写体を示す図である。図１４に示すように本実施形態の被写体は将棋の各駒が配置された将棋盤である。本実施形態では、将棋の９種類の駒が識別対象物であり、将棋盤が背景物である。なお、図１４では、各駒の名称が一文字で略記されている。例えば、図１４における「歩」は将棋の駒のうちの「歩兵」を意味し、「玉」は将棋の駒のうちの「玉将」を意味する。本実施形態では、識別モジュール３１２は、将棋盤、及び将棋の９種類の駒について学習済である。

【0054】

表示制御装置４０は、第１撮像装置１０により撮像される距離画像に基づいて、被写体における何れかの駒へのユーザーのタッチを検出し、タッチされた駒の種類を識別する。そして、表示制御装置４０は、ユーザーのタッチした駒が移動可能なマス目を示す画像を被写体に重ねて表示するように、表示装置５０を制御する。なお、第１撮像装置１０により撮像される距離画像は、第１及び第２実施形態と同様に、輝度画像に基づく物体の種類の識別結果の有効性の判定にも利用される。

【0055】

図１３と図１とを比較すれば明らかなように、表示制御装置４０のハードウェア構成は識別装置３０Ａのハードウェア構成と同一である。即ち、表示制御装置４０は、通信装置３００と、記憶装置３１０と、処理装置３２０と、を含む。通信装置３００には、第１撮像装置１０、第２撮像装置２０、及び表示装置５０が接続される。通信装置３００は、第１撮像装置１０から出力される距離画像データを受信する。また、通信装置３００は、第２撮像装置２０から出力される輝度画像データを受信する。また、通信装置３００は、識別対象物に投写する画像を表す画像データを表示装置５０へ出力する。

【0056】

表示制御装置４０の記憶装置３１０には、プログラム３１１Ｃと、識別モジュール３１２と、テーブル３１３とが記憶されている。以下、第１実施形態との相違点であるテーブル３１３及びプログラム３１１Ｃについて説明する。

【0057】

テーブル３１３には、将棋の駒の種類毎に、移動可能なマス目を示すデータが格納されている。例えば、「歩」については図１５に示すように前方の１マスを示すデータが、「銀」については右斜め前、前方、左斜め前、右斜め後ろ、及び左斜め後ろの各１マスを示すデータがテーブル３１３に格納されている。なお、図１５では、「歩」及び「銀」の各々の移動可能なマス目がハッチングで示されている。

【0058】

表示制御装置４０の処理装置３２０は、プログラム３１１Ｃに従って作動することにより、第１取得部３２１、第２取得部３２２、識別部３２３Ａ、算出部３２４Ｃ、判定部３２５Ａ、検出部３２６、及び表示制御部３２７として機能する。つまり、第１取得部３２１、第２取得部３２２、識別部３２３Ａ、算出部３２４Ｃ、判定部３２５Ａ、検出部３２６及び表示制御部３２７は、処理装置３２０をプログラム３１１Ｃに従って作動させることにより実現されるソフトウェアモジュールである。以下、第１実施形態との相違点である算出部３２４Ｃ、検出部３２６及び表示制御部３２７を中心に説明する。

【0059】

検出部３２６は、第１取得部３２１により取得された距離画像データに基づいて、被写体に対するユーザーの指先のタッチを検出する。より詳細に説明すると、検出部３２６は、距離画像データの表す距離画像を構成する各画素について、事前に保持した基準距離と、現在の画素値が表す距離との差分ΔＤを算出する。基準距離とは、被写体を単独で撮像して得られた距離画像における画素値の表す距離である。検出部３２６は、差分ΔＤがより大きく、かつ所定の閾値よりも小さい画素があった場合に、ユーザーのタッチがあったと判定し、当該画素の位置をタッチ位置として検出する。本実施形態では上記閾値は１ｃｍである。

【0060】

算出部３２４Ｃは、第１実施形態における算出部３２４Ａと同様に、識別部３２３Ａによる識別結果の信頼度を示す指標値を、第１取得部３２１により取得した距離画像データの表す距離画像に基づいて算出する。より詳細に説明すると、算出部３２４Ｃは、距離画像データの表す距離画像を、背景物である将棋盤のマス目に合わせて９×９個のサブ距離画像に分割する。本実施形態ではＮ＝９且つＭ＝９であり、９×９個のサブ距離画像は将棋盤の９×９個のマス目に一対一に対応する。算出部３２４Ｃは、９×９個のサブ距離画像の各々について、以下の式（２）に示す指標値Ｃを算出する。式（２）においてＧｔは算出対象画像を構成する画素の総数であり、Ｇeは算出対象画像を構成する画素のうち基準画像からの画素値の変動量が所定の閾値を超える画素の数である。つまり、算出部３２４Ｃと算出部３２４Ａとでは、指標値の計算式のみが異なる。

【数2】

同様に、識別部３２３Ａでは、輝度画像は将棋盤の９×９個のマス目に一対一に対応する９×９個のサブ輝度画像に分割され、サブ輝度画像毎に識別対象物の種類が識別される。

【0061】

表示制御部３２７は、検出部３２６により検出されたタッチ位置に対応するサブ輝度画像についての識別結果が判定部３２５Ａにより有効と判定された場合に、タッチ位置に対応する駒が移動可能なマス目をテーブル３１３を参照して特定する。そして、表示制御部３２７は、特定したマス目を示す画像データを表示装置５０に与え、当該画像データの示す画像を被写体に重ねて表示させる。

【0062】

また、表示制御装置４０の処理装置３２０は、プログラム３１１Ｃに従って、本開示の第３実施形態の画像表示方法を実行する。図１６は、この画像表示方法の流れを示すフローチャートである。図１６に示すように、この画像表示方法には、第１取得処理ＳＡ１１０、第２取得処理ＳＡ１２０、検出処理ＳＣ１２５、識別処理ＳＡ１３０、算出処理ＳＣ１４０、判定処理ＳＡ１５０、及び表示制御処理ＳＣ１６０が含まれる。

【0063】

第１取得処理ＳＡ１１０では、表示制御装置４０の処理装置３２０は第１取得部３２１として機能する。第１取得処理ＳＡ１１０では、処理装置３２０は、通信装置３００により受信した距離画像データを取得する。第１取得処理ＳＡ１１０に後続する第２取得処理ＳＡ１２０では、表示制御装置４０の処理装置３２０は、第２取得部３２２として機能する。第２取得処理ＳＡ１２０では、処理装置３２０は、通信装置３００により受信した輝度画像データを取得する。

【0064】

検出処理ＳＣ１２５では、表示制御装置４０の処理装置３２０は検出部３２６として機能する。検出処理ＳＣ１２５では、表示制御装置４０の処理装置３２０は、第１取得部３２１により取得された距離画像データの示す距離画像に基づいて、識別対象物へのユーザーのタッチ位置を検出する。以下では、図１４において１行５列目に配置される「王」、即ち「王将」を使う側のユーザーが３行７列目の「歩」を動かすために当該「歩」にタッチした場合を例にとって説明する。

【0065】

識別処理ＳＡ１３０では、表示制御装置４０の処理装置３２０は、識別部３２３Ａとして機能する。識別処理ＳＡ１３０では、表示制御装置４０の処理装置３２０は、９×９個のサブ輝度画像の各々に基づいて識別対象物の種類を識別する。図１７には、将棋盤の１行目に対応する９個のサブ輝度画像の各々に基づく識別結果が示されている。図１７に示す例では、１行６列目についての識別結果は「香」、即ち「香車」であるが、図１４に示すように実際に配置されている駒は「金」、即ち「金将」である。また、図１７に示す例では、１行７列目についての識別結果は「角」、即ち「角行」であるが、図１４に示すように実際に配置されている駒は「銀」である。また、図１７に示す例では、１行８列目についての識別結果は「飛」、即ち「飛車」であるが、図１４に示すように実際に配置されている駒は「桂」、即ち「桂馬」である。つまり、図１７に示す例では、１行６列目、１行７列目、及び１行８列目の各サブ輝度画像に基づく識別結果は誤っている。これは、３行７列目の「歩」にタッチする際にユーザーの腕が将棋盤の１行６列目、１行７列目、及び１行８列目の上を横切り、ユーザーの腕が重なった状態で撮像された輝度画像に基づいて識別対象物の識別が行われたことに起因する。

【0066】

識別処理ＳＡ１３０に後続する算出処理ＳＣ１４０では、表示制御装置４０の処理装置３２０は、算出部３２４Ｃとして機能する。算出処理ＳＣ１４０では、表示制御装置４０の処理装置３２０は、９×９個のサブ距離画像の各々に基づいて指標値を算出する。図１７には、将棋盤の１行目に対応する９個のサブ距離画像の各々に基づいて算出された指標値が示されている。図１７に示す例において、１行６列目、１行７列目、及び１行８列目の指標値が０となっているのは、これらのサブ距離画像においては、ユーザーの腕が重なった状態で撮像された影響で、全ての画素について基準画像からの画素値の変動が大きくなるからである。

【0067】

算出処理ＳＡ１４０に後続する判定処理ＳＡ１５０では、表示制御装置４０の処理装置３２０は、判定部３２５Ａとして機能する。判定処理ＳＡ１５０では、表示制御装置４０の処理装置３２０は、９×９個のサブ輝度画像の各々について、対応するサブ距離画像に基づいて算出された指標値が閾値未満であるか否かを判定し、指標値が閾値未満である場合には、識別処理ＳＡ１３０の識別結果を無効にする。図１７には、将棋盤の１行目に対応する９個のサブ輝度画像の各々についての判定結果が示されている。前述したように上記閾値は０．５であるため、図１７に示す例では、１行１列目～１行５列目及び１行９列目についての識別結果は有効と、１行６列目～１行８列目についての識別結果は無効とされる。以下では、９×９個のサブ輝度画像のうち１行６列目～１行８列目の３つのサブ輝度画像については識別結果が無効とされるものの、他の７８個のサブ輝度画像の各々に基づく識別結果は有効とされた場合について説明する。なお、タッチ位置に対応するサブ輝度画像に基づく識別結果が無効であった場合には、過去のフレーム期間において有効となった識別結果を利用すればよい。

【0068】

表示制御処理ＳＣ１６０では、表示制御装置４０の処理装置３２０は、表示制御部３２７として機能する。表示制御処理ＳＣ１６０では、処理装置３２０は、判定処理ＳＡ１５０にて有効と判定された識別結果に応じた画像を表示装置５０に表示させる。本実施形態では、ユーザーのタッチ位置として３行７列目のマス目が検出処理ＳＣ１２５で検出されている。このマス目に配置されている駒は「歩」であるから、移動可能なマス目として一つ前方のマス目、即ち４行７列目のマス目が特定される。本実施形態では、３行７列目のマス目についての識別結果は有効とされるので、４行７列目のマス目を所定の色で塗りつぶす画像を被写体に重ねて表示装置５０に表示させる。その結果、ユーザーの目には図１８に示す画像が映る。図１８に示す例では、ユーザーのタッチした駒が移動可能なマス目を示す色がハッチングで示されている。

【0069】

本実施形態によっても、輝度画像に基づく識別対象物の識別結果の信頼度を、輝度画像とは別個の距離画像から把握できる。本実施形態では、輝度画像に基づく識別対象物の識別結果の信頼度を示す指標値が閾値未満である識別結果は無効とされるので、タッチ位置に対応する駒の種別が誤って識別された場合であっても、誤った識別結果に基づいて移動可能なマス目が誤って表示されることを回避できる。

【0070】

４．変形例
各実施形態は、以下のように変更されてもよい。
（１）第１、第２及び第３施形態では、第１取得処理ＳＡ１１０に後続して第２取得処理ＳＡ１２０が実行されたが、第１取得処理ＳＡ１１０と第２取得処理ＳＡ１２０の実行順が入れ替わってもよい。また、第１実施形態における識別処理ＳＡ１３０と算出処理ＳＡ１４０の実行順が入れ替わってもよい。識別処理ＳＡ１３０に先立って算出処理ＳＡ１４０を実行する態様は、算出処理ＳＡ１４０にて算出された指標値が所定の閾値以上であるサブ輝度画像についてのみ識別処理ＳＡ１３０を実行されるように変更されてもよい。第３実施形態の画像表示方法についても同様に識別処理ＳＡ１３０に先立って算出処理ＳＣ１４０が実行されるように変更されてもよい。識別処理ＳＡ１３０に先立って算出処理ＳＣ１４０が実行される場合、算出処理ＳＣ１４０にて算出された指標値が所定の閾値以上であるサブ輝度画像についてのみ識別処理ＳＡ１３０を実行されるように変更されてもよい。

【0071】

同様に、第２実施形態における識別処理ＳＢ１３０と算出処理ＳＢ１４０の実行順が入れ替わってもよい。識別処理ＳＢ１３０に先立って算出処理ＳＢ１４０を実行する場合には、距離画像に基づいて注目領域を特定すればよい。具体的には、輝度画像にエッジ検出を施し、検出されたエッジを注目領域の輪郭線とすればよい。エッジとは画像の水平走査方向又は垂直走査方向に画素値をサンプリングしたときに画素値が急激に変化する画素のことをいう。被写体の距離画像において識別対象物に対応する画素と背景物に対応する画素とでは画素値が異なることが通常である。つまり、被写体の距離画像において識別対象物の輪郭線はエッジとなっていることが通常である。このため、被写体の距離画像からエッジを検出することで、距離画像に写っている識別対象物の輪郭線を検出することができ、この輪郭線で囲まれた領域が注目領域となる。なお、識別処理ＳＢ１３０に先立って算出処理ＳＢ１４０が実行される態様は、算出処理ＳＢ１４０にて算出された指標値が所定の閾値以上であるサブ輝度画像についてのみ識別処理ＳＢ１３０を実行されるように変更されてもよい。

【0072】

（２）識別装置３０Ａ、識別装置３０Ｂ、及び表示制御装置４０は、パーソナルコンピューターであったが、スマートフォン又はタブレット端末であってもよい。また、上記第１及び第３実施形態における統計量は分散であったが、標準偏差であってもよく、平均値、最大値、最小値、中央値、最頻出値又は四分位値であってもよい。また、算出対象画像を構成する各画素の画素値の統計量ではなく、各画素の画素値を畳み込みカーネルを用いて畳み込んだ演算値が、指標値とされてもよい。また、識別モジュール３１２は、畳み込みニューラルネットワークには限定されず、画像特徴量を用いた機械学習等、大量のデータから識別パラメーターを構成する非ルールベースの手法で構成された識別器であればよい。また、第３実施形態における表示装置５０はプロジェクターであったが、被写体に含まれる識別対象物の種類に応じた画像を被写体の画像に重ねて表示する液晶ディスプレイであってもよい。表示装置５０が液晶ディスプレイの場合、被写体の輝度画像に対して、輝度画像内に写っている識別対象物の位置及び種類に応じたコンテンツを重畳するＡＲのような使い方が可能になる。

【0073】

（３）上記各実施形態では、距離画像と輝度画像とを各々別個のカメラで撮像した。しかし、第１撮像装置１０と第２撮像装置２０とに代えて、距離画像の撮像機能と輝度画像の撮像機能とを兼ね備えた１台のカメラを用いてもよい。距離画像の撮像機能と輝度画像の撮像機能とを兼ね備えた１台のカメラを用いる場合、第２位置は第１位置と同じ位置になる。

【0074】

（４）第１実施形態における第１取得部３２１、第２取得部３２２、識別部３２３Ａ、算出部３２４Ａ、及び判定部３２５Ａはソフトウェアモジュールであったが、第１取得部３２１、第２取得部３２２、識別部３２３Ａ、算出部３２４Ａ、及び判定部３２５Ａの一部又は全部がハードウェアであってもよい。このハードウェアの一例としては、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、及びＦＰＧＡ（Field Programmable Gate Array）が挙げられる。第１取得部３２１、第２取得部３２２、識別部３２３Ａ、算出部３２４Ａ、及び判定部３２５Ａの一部又は全部がハードウェアであっても、第１実施形態と同一の効果が奏される。第２実施形態における識別部３２３Ｂ、算出部３２４Ｂ、及び判定部３２５Ｂについても同様に一部又は全部がハードウェアであってもよい。第３実施形態における算出部３２４Ｃ、検出部３２６及び表示制御部３２７についても同様に一部又は全部がハードウェアであってもよい。

【0075】

（５）第１実施形態及び第３実施形態における判定部３２５Ａ及び判定処理ＳＡ１５０と、第２実施形態における判定部３２５Ｂ及び判定処理ＳＢ１５０とは必須ではなく、省略可能である。算出部３２４Ａによりサブ輝度画像毎に算出された指標値又は算出部３２４Ｂにより注目領域毎に算出された指標値を表示装置に表示させることによっても、識別結果の信頼度をユーザーに把握させることができるからである。同様に第３実施形態における検出部３２６及び検出処理ＳＣ１２５も省略可能である。移動可能なマス目の表示を所望する駒を表示制御装置４０に指示する方法は、当該駒へのタッチには限定されず、当該駒が配置されているマス目の行数及び列数を示す数値を入力装置へ入力する態様であってもよいからである。

【0076】

（６）上述した第１実施形態では、プログラム３１１Ａが記憶装置３１０に記憶済であった。しかし、プログラム３１１Ａを単体で製造又は配布してもよい。プログラム３１１Ａの具体的な配布方法としては、フラッシュＲＯＭ（Read Only Memory）等のコンピューター読み取り可能な記録媒体に上記プログラム３１１Ａを書き込んで配布する態様、又はインターネット等の電気通信回線経由のダウンロードにより配布する態様が考えられる。第２実施形態におけるプログラム３１１Ｂ、及び第３実施形態におけるプログラム３１１Ｃについても同様である。

【0077】

５．各実施形態及び各変形例の少なくとも１つから把握される態様
本開示は、上述した各実施形態及び変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【0078】

以上に説明した課題を解決するため、本開示の識別方法の一態様は、第１取得処理ＳＡ１１０、第２取得処理ＳＡ１２０、識別処理ＳＡ１３０、及び算出処理ＳＡ１４０を含む。第１取得処理ＳＡ１１０では、机等の背景物Ｂ１の上に識別対象物である識別対象物Ａ１、Ａ２及びＣ１が配置された被写体、即ち識別対象物Ａ１、Ａ２及びＣ１を含む被写体を、第１位置に設置される第１撮像装置１０により撮像して得られる第１画像が取得される。第１撮像装置１０は距離カメラであり、第１画像は距離画像である。第１画像における各画素の画素値は、第１位置から被写体までの距離を表す。第２取得処理ＳＡ１２０では、第１位置又は第１位置とは異なる第２位置に設置される第２撮像装置２０により被写体を撮像して得られる第２画像が取得される。第２画像は輝度画像である。第２画像における各画素の画素値は被写体からの反射光の輝度を少なくとも表す。識別処理ＳＡ１３０では、第２画像に基づいて識別対象物の種類が識別される。算出処理ＳＡ１４０では、第２画像に基づく識別結果の信頼度を示す指標値が第１画像に基づいて算出される。本態様によれば、輝度画像に基づく識別対象物の識別結果の信頼度を、輝度画像とは別個の距離画像から把握できる。なお、識別処理ＳＡ１３０に代えて識別処理ＳＢ１３０を設けてもよく、算出処理ＳＡ１４０に代えて算出処理ＳＢ１４０を設けてもよい。本態様によっても、輝度画像に基づく識別対象物の識別結果の信頼度を、輝度画像とは別個の距離画像から把握できる。

【0079】

より好ましい態様の識別方法では、識別処理ＳＡ１３０に後続して算出処理ＳＡ１４０が実行されてもよい。つまり、識対象物の種類が第２画像に基づいて識別され、その後、第１画像に基づいて指標値が算出されてもよい。更に好ましい態様の識別方法は、算出された指標値が閾値未満であるか否かを判定し、閾値未満である場合には、第２画像に基づく識別結果は無効にする判定処理ＳＡ１５０を含んでもよい。

【0080】

更に好ましい態様における識別方法では、第２画像において識別対象物の画像が占める注目領域が第１画像又は第２画像に基づいて識別されてもよい。この態様においては、識別対象物の種類が注目領域の画像に基づいて識別され、第１画像において注目領域に対応する領域の画像に基づいて指標値が算出される。

【0081】

別の好ましい態様における識別方法では、第１画像は第１サブ画像と第２サブ画像とに分割される。第２画像も第１サブ画像に対応する第３サブ画像と前記第２サブ画像に対応する第４サブ画像とに分割される。本態様では、第３サブ画像と第４サブ画像の各々について識別対象物の識別が試みられ、第１サブ画像と第２サブ画像の各々に基づいて指標値が算出される。そして、第１サブ画像に基づいて算出された指標値が閾値未満である場合には第３サブ画像に基づく識別結果は無効とされる。同様に、第２サブ画像に基づいて算出された指標値が閾値未満である場合には第４サブ画像に基づく識別結果は無効とされる。

【0082】

好ましい態様における識別方法では、第１画像は第１サブ画像と第２サブ画像とに分割され、第２画像も第１サブ画像に対応する第３サブ画像と第２サブ画像に対応する第４サブ画像とに分割される。本態様では、まず、第１サブ画像と第２サブ画像の各々に基づいて指標値が算出される。そして、第１サブ画像に基づいて算出された指標値が閾値以上である場合には第３サブ画像に基づいて識別対象物の種類が識別される。第２サブ画像に基づいて算出された指標値が閾値以上である場合には第４サブ画像に基づいて識別対象物の種類が識別される。

【0083】

更に好ましい態様の識別方法では、第１サブ画像に基づく指標値は、第１サブ画像を構成する各画素の画素値の統計量である。同様に、第２サブ画像に基づく指標値は、第２サブ画像を構成する各画素の画素値の統計量である。

【0084】

識別処理ＳＡ１３０又は識別処理ＳＢ１３０では、物体の画像と物体の種類を示すラベルとを対応付けた学習データを予め学習済であり、且つ入力された画像に写っている物体の種類を示すラベルを出力する識別器を用いて、識別対象物の種類が識別されてもよい。

【0085】

また、以上に説明した課題を解決するため、本開示の画像表示方法の一態様は、前述の第１取得処理ＳＡ１１０と、第２取得処理ＳＡ１２０と、識別処理ＳＡ１３０と、算出処理ＳＣ１４０と、判定処理ＳＡ１５０と、表示制御処理ＳＣ１６０を含む。表示制御処理ＳＣ１６０では、識別対象物の種類の識別結果に応じた第３画像が被写体に重ねて表示される。

【0086】

また、以上に説明した課題を解決するため、本開示の識別システムの一態様は、第１位置に設置される第１撮像装置１０と、第１位置又は第１位置とは異なる第２位置に設置される第２撮像装置２０と、処理装置３２０と、を備える。処理装置３２０は、前述の第１取得処理ＳＡ１１０、第２取得処理ＳＡ１２０、識別処理ＳＡ１３０及び算出処理ＳＡ１４０を実行する。本態様によっても、輝度画像に基づく識別対象物の識別結果の信頼度を、輝度画像とは別個の距離画像から把握できる。なお、識別処理ＳＡ１３０を識別処理ＳＢ１３０に置き換え、且つ算出処理ＳＡ１４０を算出処理ＳＢ１４０に置き換えても同じ効果が得られる。

【0087】

また、以上に説明した課題を解決するため、本開示の画像表示システムの一態様は、第１位置に設置される第１撮像装置１０と、第１位置又は第１位置とは異なる第２位置に設置される第２撮像装置２０と、表示装置の一例である表示装置５０と、処理装置３２０と、を備える。処理装置３２０は、前述の第１取得処理ＳＡ１１０、第２取得処理ＳＡ１２０、識別処理ＳＡ１３０、算出処理ＳＣ１４０、及び表示制御処理ＳＣ１６０を実行する。本態様によれば、輝度画像に基づく識別対象物の識別結果の信頼度を、輝度画像とは別個の距離画像から把握でき、識別対象物の識別結果に応じた第３画像を被写体に重ねて表示することができる。

【0088】

また、以上に説明した課題を解決するため、本開示のプログラムの一態様は、コンピューターの一例である処理装置３２０に、前述の第１取得処理ＳＡ１１０、第２取得処理ＳＡ１２０、識別処理ＳＡ１３０及び算出処理ＳＡ１４０を実行させる。本態様によっても、輝度画像に基づく識別対象物の識別結果の信頼度を、輝度画像とは別個の距離画像から把握できる。なお、識別処理ＳＡ１３０を識別処理ＳＢ１３０に置き換え、且つ算出処理ＳＡ１４０を算出処理ＳＢ１４０に置き換えても同じ効果が得られる。また、本開示のプログラムの別の態様は、コンピューターの一例である処理装置３２０に、前述の第１取得処理ＳＡ１１０、第２取得処理ＳＡ１２０、識別処理ＳＡ１３０、算出処理ＳＣ１４０、及び表示制御処理ＳＣ１６０を実行させる。本態様によれば、輝度画像に基づく識別対象物の識別結果の信頼度を、輝度画像とは別個の距離画像から把握でき、識別対象物の識別結果に応じた第３画像を被写体に重ねて表示することができる。

【符号の説明】

【0089】

１Ａ，１Ｂ…識別システム、２…画像表示システム、１０…第１撮像装置、２０…第２撮像装置、３０Ａ、３０Ｂ…識別装置、４０…表示制御装置、５０…表示装置、３００…通信装置、３１０…記憶装置、３２０…処理装置、３２１…第１取得部、３２２…第２取得部、３２３Ａ、３２３Ｂ…識別部、３２４Ａ、３２４Ｂ、３２４Ｃ…算出部、３２５Ａ、３２５Ｂ…判定部、３２６…検出部、３２７…表示制御部、３１１Ａ、３１１Ｂ、３１１Ｃ…プログラム、３１２…識別モジュール、３１３…テーブル、Ａ１、Ａ２、Ｃ１…識別対象物、Ｂ１…背景物。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】