IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社サンラインの特許一覧 ▶ 宮原 秀一の特許一覧

<>
  • 特許-画像識別システム 図1
  • 特許-画像識別システム 図2
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-14
(45)【発行日】2023-09-25
(54)【発明の名称】画像識別システム
(51)【国際特許分類】
   G06T 1/00 20060101AFI20230915BHJP
   A01K 97/00 20060101ALI20230915BHJP
【FI】
G06T1/00 510
A01K97/00 Z
【請求項の数】 6
(21)【出願番号】P 2018230845
(22)【出願日】2018-12-10
(65)【公開番号】P2020095325
(43)【公開日】2020-06-18
【審査請求日】2021-11-08
(73)【特許権者】
【識別番号】591051966
【氏名又は名称】株式会社サンライン
(73)【特許権者】
【識別番号】308024029
【氏名又は名称】宮原 秀一
(74)【代理人】
【識別番号】100096714
【弁理士】
【氏名又は名称】本多 一郎
(74)【代理人】
【識別番号】100124121
【弁理士】
【氏名又は名称】杉本 由美子
(74)【代理人】
【識別番号】100176566
【弁理士】
【氏名又は名称】渡耒 巧
(74)【代理人】
【識別番号】100180253
【弁理士】
【氏名又は名称】大田黒 隆
(74)【代理人】
【識別番号】100169236
【弁理士】
【氏名又は名称】藤村 貴史
(72)【発明者】
【氏名】水津 啓太
(72)【発明者】
【氏名】宮原 秀一
(72)【発明者】
【氏名】川上 泰弘
【審査官】松永 隆志
(56)【参考文献】
【文献】米国特許出願公開第2017/0315384(US,A1)
【文献】特開2012-244337(JP,A)
【文献】国際公開第2009/050798(WO,A1)
【文献】特開2004-007370(JP,A)
【文献】特開2002-051222(JP,A)
【文献】特開2017-085461(JP,A)
【文献】特開2016-218547(JP,A)
【文献】特開2017-225084(JP,A)
【文献】特開2013-105746(JP,A)
【文献】特開2005-150840(JP,A)
【文献】特開2018-004808(JP,A)
【文献】国際公開第2016/185563(WO,A1)
【文献】特開2018-084509(JP,A)
【文献】国際公開第2012/039277(WO,A1)
【文献】特開2006-211525(JP,A)
【文献】第3部:ビジネス用途 あらゆる現場にMR 「ホロレンズ」が先陣切る,日経エレクトロニクス,2018年08月,第1194号,p.34~39
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00-19/20
A01K 97/00
(57)【特許請求の範囲】
【請求項1】
釣糸、浮き、釣竿、ルアーの少なくとも一つの対象物を含む画像を撮像可能な撮像装置と、
該撮像装置と接続され、色情報を含む映像データを処理する画像処理装置と、
該画像処理装置と接続され、画像を表示する、ヘッドマウントディスプレイの画像表示装置と、
を備え、
前記画像処理装置が、前記撮像装置から入力された前記映像データのうち、前記対象物が有している色としてユーザーが選択する色が含まれない領域をモノクローム化された無彩色とし、ユーザーが選択する一色以上の色が含まれる領域を、ユーザーの目に付き易い色、ユーザーの光への感受性に応じた色、色覚障害者や視覚異常者や加齢者に見ることができる、若しくは見易い色であって、前記対象物が有している色とは異なる有彩色か、又は前記モノクローム化された無彩色よりも明度が上げられた、強調された無彩色に変更する画像処理をし、該画像処理後の映像データを前記画像表示装置に出力するものである、
画像識別システム。
【請求項2】
前記画像処理が、前記ユーザーが選択する一色以上の色が含まれる領域の色の色相、明度又は彩度を変更する処理、該領域を拡大する処理、該領域を点滅させる処理、該領域に矢印記号を付加する処理の少なくとも一つの処理を含む請求項1記載の画像識別システム。
【請求項3】
前記画像処理が、ユーザーが選択する色が含まれない領域の色の明度を下げる処理を含む請求項1又は2記載の画像識別システム。
【請求項4】
前記撮像装置が、前記ヘッドマウントディスプレイに搭載されている請求項記載の画像識別システム。
【請求項5】
前記画像処理装置が、ユーザーが選択する一色以上の色が含まれる領域の距離又は移動速度を計測し、この距離又は移動速度の計測結果を前記画像表示装置に出力する処理を含む請求項1記載の画像識別システム。
【請求項6】
前記画像処理装置が、2つ以上の対象物が有している色としてユーザーが選択する色を検知したときに警告を前記画像表示装置に出力する処理を含む請求項1記載の画像識別システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像識別システムに関する。
【背景技術】
【0002】
人間が目視にて物体をするには、その物体が発光しているか、あるいは他の発光体から放射される光をその物体が反射した光、のいずれかが目に到達し、これが刺激となって脳に伝わり、脳内で光の刺激情報が高度に処理される、というプロセスを経る。このプロセス中では、目に光が到達することが欠かせないため、物体が発光している場合を除いて、暗所で物体を認識することはできず、暗所での活動には、懐中電灯や照明などの、何らかの可視光線照射システムが必須となる。
【0003】
こうした、知覚と脳の処理プロセスに着目し、夜間での物体の認知能力を高める工夫がある(特許文献1)。しかしながら、上記特許文献1に記載のシステムは、暗所でないとその効果を明確に発揮させることは難しかった。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第6202241号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
日中のような明所で物体の認知能力を高めることができれば、作業の確実性や安全性を高めることができる。
本発明は、上記の問題を有利に解決するものであり、昼間のような明所で物体の認知能力を高めることができ、ひいては作業の確実性や安全性を高めることができる画像識別システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
物体の認知能力を高めることに関し、脳内での刺激情報の処理は非常に複雑であることから、光の刺激情報が短時間に多量に押し寄せると、この処理が追いつかず、いわゆる見落とし、という現象が発生する。逆に言えば、観察に関係のない刺激情報を極力少なくした条件下であれば、非常にわずかな光刺激であっても、人間はたちどころに感知・認識することができる。
【0007】
本発明者らは、特許文献1に記載のシステム及び上記の着想を基に、昼間のような明所で物体の認知能力を高めることができるシステムを開発するために研究開発を進めた結果、特許文献1のように光線を照射することなく昼間のような明所で物体の認知能力を高めるためには、対象物と関係のない部分の明度を下げる画像処理、及び対象物そのものの明度もしくは彩度を上げる画像処理のうちの少なくとも一つの処理を行い、処理後の映像データを表示させて視覚情報として目に入力させればよいことを見いだし、本発明に至った。
【0008】
本発明の画像識別システムは、以下のものである。
[1]
対象物を含む画像を撮像可能な撮像装置と、
該撮像装置と接続され、色情報を含む映像データを処理する画像処理装置と、
該画像処理装置と接続され、画像を表示する画像表示装置と、
を備え、
前記画像処理装置が、前記撮像装置から入力された前記映像データのうち、対象物が有している色としてユーザーが選択する一色以上の色が含まれる領域をそのままの色か、所定の有彩色か、又は強調された無彩色とし、ユーザーが選択する色が含まれない領域をモノクロームとする画像処理をし、該画像処理後の映像データを前記画像表示装置に出力するものである、
画像識別システム、
[2]
前記画像処理が、ユーザーが選択する一色以上の色が含まれる領域の色の色相、明度又は彩度を変更する処理、該領域を拡大する処理、該領域を点滅させる処理、該領域に矢印記号を付加する処理の少なくとも一つの処理を含む[1]の画像識別システム、
[3]
前記画像処理が、ユーザーが選択する色が含まれない領域の色の明度を下げる処理を含む[1]又は[2]の画像識別システム、
[4]
前記画像表示装置が、ヘッドマウントディスプレイである[1]~[3]のいずれかの画像識別システム、
[5]
前記撮像装置が、前記ヘッドマウントディスプレイに搭載されている[4]の画像識別システム、
[6]
前記対象物が、釣糸、浮き、釣竿、ルアー、餌、魚の少なくとも一つである[1]~[5]のいずれかの記載の画像識別システム、
[7]
前記対象物が、工場における部品、ベルトコンベアのベルト、機械、安全靴の少なくとも一つである請求項1~5のいずれか一項に記載の画像識別システム。
[8]
前記画像処理装置が、ユーザーが選択する一色以上の色が含まれる領域の距離又は移動速度を計測し、この距離又は移動速度の計測結果を前記画像表示装置に出力する処理を含む[1]の画像識別システム、
[9]
前記画像処理装置が、2つ以上の対象物が有している色としてユーザーが選択する色を検知したときに警告を前記画像表示装置に出力する処理を含む[1]の画像識別システム。
【発明の効果】
【0009】
本発明の画像識別システムによれば、昼間のような明所で物体の認知能力を高めることができ、ひいては釣りにおける釣り竿や釣り糸等の認識能力を高めたり、作業の確実性や安全性を高めたりすることができる。
【図面の簡単な説明】
【0010】
図1】本発明の一実施形態の画像識別システムを説明するブロック図である。
図2】本発明の一実施形態の画像識別システムの模式的な斜視図である。
【発明を実施するための形態】
【0011】
本発明を端的に言えば、観察対象物以外の情報を見にくくし、さらに、必要に応じて観察対象物の情報を見えやすくした状態で、人間に与えることで、観察対象物を見つけやすく、認知しやすく、観察しやすい状態を提供するシステム、である。
以下、本発明の画像識別システムの実施形態を、図面を用いつつ、より具体的に説明する。
【0012】
(実施形態1)
図1に、本発明の画像識別システムの実施形態1のブロック図を示す。図1において、画像識別システム10は、画像処理装置11と、当該画像処理装置11に接続された撮像装置12と、当該画像処理装置11に接続された画像表示装置13と、当該画像処理装置11に接続されたユーザー選択色入力操作受け付け装置14とを備えている。画像識別システム10は、具体的に、図2に示すようなヘッドマウントディスプレイ15と当該ヘッドマウントディスプレイに組み込まれたデジタルカメラ16及びコンピュータ17と、タブレット型端末18の形態とすることができる。図2のヘッドマウントディスプレイ15は、赤外線投光装置19と、ヘッドフォン20とを更に備えている例が示されている。ヘッドフォン20は、警告音を発したり、後述する距離や速度の数値を読み上げたりすることができる装置とすることができる。また、コンピュータ17は、通信機能が内蔵されていて、ヘッドマウントディスプレイ15の外部に設けた送受信装置21や、タブレット型端末18と画像データ等を無線又は有線で通信可能になっている。
【0013】
画像処理装置11は、入力部111と、記憶部112と、演算部113と、制御部114と、出力部115とを備えている。入力部111は、撮像装置12及びユーザー選択色入力操作受け付け装置14からのデータが入力可能になっている。記憶部112は、半導体メモリや磁気ディスク等で構成され、入力部111や演算部113からのデータが読み込まれ、記憶され、必要に応じて演算部等に書き出される。また、記憶部112は、制御部114で実行されるプログラムが記憶され、読み出される。演算部113は、画像処理及び画像処理に付随する処理を行い、制御部114は、演算部113で画像処理等をするための指示を演算部113に行う。演算部113及び制御部114は、回路により構成される。出力部115は、演算部113で画像処理される前の映像データ、または画像処理後の映像データ、その他の映像データが出力可能になっていて、必要に応じて文字情報等を映像データにオーバーレイで表示可能になっている。また、出力部115は、必要に応じて警告音などの音声信号を出力可能になっている。画像処理装置11は、撮像装置12で撮像された画像を基に、仮想現実(VR)、拡張現実(AR)や複合現実(MR)を画像表示装置13で表示するための装置とすることができる。画像処理装置11は、例えば、画像表示装置13の具体例としてのヘッドマウントディスプレイに組み込まれる装置とすることができ、図2においてはコンピュータ17である。
【0014】
撮像装置12は、撮影された物から反射される光を、レンズを通して受光して電気信号に変換する撮像素子が二次元的に配列されたエリアイメージセンサを備え、カラーフィルターを通して撮像素子が受光した光を光電変換して、撮像素子の配列に対応した画素ごとに例えばRGBカラーモデルにおける256階調の数値で表される色情報を含む一画面全体のイメージ情報のデータに変換可能になっている。このエリアイメージセンサは、一画面全体の静止画像情報を所定のフレームレートで取得可能である。撮像装置12は、可視光を光電変換できるものに限られず、赤外線の波長の光を光電変換可能なものであってもよい。また、赤外線の波長の光を対象物から撮像装置が受光できるように、撮像装置12に付随して、又は撮像装置12以外の装置として、光投射装置、例えば可視光投射装置や赤外線投光装置を画像識別システム10は含むことができる。撮像装置12は、例えば、画像表示装置13の具体例としてのヘッドマウントディスプレイに取り付けられた装置とすることができ、その構成は、例えばデジタルカメラの一部又は全部を用いることができ、図2においてはデジタルカメラ16である。また、図2は、上述の赤外線投光装置19を備えている。可視光投射装置や赤外線投光装置を備えることにより、照度が足りないときの光源となって撮像の補助をするとことができる。なお、可視光投射装置や赤外線投光装置は、連続光源でもよいし、間欠光源であってもよい。間欠光にすることにより消費電力を抑えることができ、また、釣りにおける魚への影響も少なくすることが期待できる。
【0015】
画像表示装置13は、出力部115から出力された信号に基づいて一画面全体の静止画像を所定のフレームレートでカラー表示可能である。撮像装置12は、例えば、画像表示装置13の具体例としてのヘッドマウントディスプレイとすることができる。ヘッドマウントディスプレイは、透過型のヘッドマウントディスプレイを含む。画像表示装置13は、図2においてはヘッドマウントディスプレイ15である。ヘッドマウントディスプレイ15に組み込まれた撮像装置12としてのデジタルカメラ16は、ヘッドマウントディスプレイ15の画面の近傍、例えば、眼鏡タイプのヘッドマウントディスプレイにおける眼鏡の智(よろい)の位置やブリッジの位置に設けられることが好ましい。デジタルカメラ16が、ヘッドマウントディスプレイ15の画面の近傍に設けられることにより、言い換えれば、ヘッドマウントディスプレイ15が装着されたユーザーの目に近い位置に設けられることにより、ユーザーの本来の視線とのズレが小さく、位置補正の必要性がなくなる。
【0016】
ユーザー選択色入力操作受け付け装置14は、画像表示装置13又は画像表示装置13とは別個の、ユーザーが色を選択するための画像を表示可能な装置に表示された画像から、ユーザーが対象物を表示している色として当該画像に表示されている色を選択する操作を受け付けて、その色情報を画像処理装置11の入力部111に入力する装置である。また、このユーザー選択色入力操作受け付け装置14を用いて、対象物を表示している色としている色を、ユーザーが指定する任意の色に変換するために当該任意の色を選択する操作を受け付けて、その色情報を画像処理装置11の入力部111に入力するようにすることができる。ユーザー選択色入力操作受け付け装置14は、図2においてはタブレット型端末18である。
【0017】
ユーザー選択色入力操作受け付け装置14は、例えば、タッチパネル、マウス、コントローラ等のポインティングデバイス、視線入力や音声入力などの入力デバイスがあり、またRGBカラーモデルにおける例えば256階調で表される色又は色の範囲を、数値で直接入力したり、画像表示装置にオーバーレイされたスライドバーやスポイトツールで入力したりする装置とすることもできる。ユーザー選択色入力操作受け付け装置14は、例えば、画像表示装置13の具体例としてのヘッドマウントディスプレイに取り付けられた装置又はヘッドマウントディスプレイに接続された装置とすることができる。図2のタブレット型端末18は、コンピュータ17と無線で接続されている。タブレット型端末18はスマートフォンのように画像に表示し得る画面と、当該画面に重ねて設けられたタッチパネルとを有している。画面に表示された画像の色を、タッチパネルで選択することにより入力できるようになっている。タブレット型端末18とコンピュータ17との接続は無線に限られず、有線で接続されるようにしてもよい。またコンピュータ17と接続されるユーザー選択色入力操作受け付け装置14は、タブレット型に限られず、スティック型やパッド型のゲームコントローラーのようなものであってもよい。
【0018】
画像識別システム10の動作を説明する。
ユーザーが、撮像装置12により対象物を含む視域を撮像すると、撮像された映像は撮像装置12により光電変換され、一画面全体のイメージ情報を、例えば撮像素子の配列に対応した画素ごとのRGBカラーモデルにおける256階調の数値で表される色情報を含む一画面全体の静止画像データとして、その静止画像データが所定のフレームレートで記録された映像データに変換される。この静止画像データは、例えば撮像素子の配列に対応して配列されたRGBカラーモデルにおける256階調の数値データとすることができる。もっとも、数値データは256階調のものに限定されない。また、映像データは圧縮符号化されたものであってもよい。なお、撮像装置12で作成された静止画像データは画像処理装置11における画像処理や画像表示装置12における画像表示の基準となるデータであるので、撮像装置12は対象物の色を適切に数値データに変換できるものが好ましい。また画像表示装置12は十分にキャリブレーションされていることが好ましい。
【0019】
かかる映像データは、画像処理装置11に入力部111から入力され、演算部113で所定の画像処理をされるか、又は、画像処理をされることなく出力部115に送られ、出力部115に接続された画像表示装置13で動画が表示される。また、入力部111からの映像データから取り出された静止画像データは、対象物が有している色としてユーザーが選択する操作等のために、必要に応じて記憶部112に記憶される。
【0020】
演算部113における画像処理の有無は、ユーザーが選択色を入力する操作の前後で切り替えることができる。ユーザーが選択色を入力する前は、撮像装置12からの映像データに画像処理をしないで出力部115に送られる。もっとも、映像データに文字情報やアイコン等をオーバーレイして表示される画像処理をすることができる。
【0021】
ユーザーが選択色を入力する操作を受け付ける。ユーザーが選択色を入力する操作は、一例では、次のように行われる。ユーザー選択色入力操作受け付け装置14をユーザーが操作することにより,画像表示装置13又は画像表示装置13とは別個の画像表示装置に、記憶部112に記憶されていた静止画像データを表示させる。ユーザーは、画像表示装置13に表示された静止画像から、対象物が有している色を選択する。例えば画像表示装置13に表示された画像中の対象物の色がオレンジであれば、そのオレンジ色を選択する。この選択操作では静止画像データの各画素について、例えばRGBカラーモデルにおける256階調のうちの特定数値のものをピンポイントで選択するのでもよい。また、その特定数値を含む近似した色の数値範囲のものを選択するものでもよく、これによりユーザーが視覚的に対象物と判断した色の範囲を選択することができる。例えば、近似した色の数値範囲として、具体的にRGBの値でそれぞれ特定数値から±3~5%程度以内の数値の相違を、換言すれば256階調の場合は±8~13階調程度以内の階調差の色を、近似した色と見なす設定を、記憶部112に記憶させておき、この設定を記憶部112から読みだして調整することができる。また、ユーザーの入力により任意の数値範囲を調整することができるようにしてもよい。また、赤外線の撮像装置ユーザーが選択した色又は色範囲の数値データは、ユーザー選択色入力操作受け付け装置14から画像処理装置11の入力部111に入力され、記憶部112に記憶される。
【0022】
ユーザーが選択色を入力した後は、撮像装置12からの映像データのうち、対象物が有している色としてユーザーが選択する一色以上の色が含まれる領域をその対象物が有している色そのままとするか、又は所定の有彩色とするか、又は強調された無彩色とし、ユーザーが選択する色が含まれない領域をモノクロームとする画像処理をし、該画像処理後の映像データが出力部115に送られる。所定の有彩色とは、例えば対象物が有している緑色を、ユーザーの目に付き易いオレンジ色とする。これによりユーザーの認知能力を高めることができる。また、ユーザーによって光への感受性が異なる場合に、そのユーザーの光への感受性に応じた適切な明度や彩度に調整した色とすることができる。更に、色覚障害者や視覚異常者や加齢により黄色味を帯びた像が見える人のために、色覚障害者や視覚異常者や加齢者に見ることができる、又は見易い適切な色相の色にすることができる。
【0023】
この画像処理では、演算部113において、記憶部112からユーザーが選択した色又は色範囲の数値データを読み出し、入力部111から入力された映像データの各静止画像のうち、各画素が、ユーザーが選択した色又は色範囲の数値データに含まれるものがあるか否かを判定する。含まれている場合にはその画素の色の数値データを、そのまま変更しないか、又はユーザーが選択した対象物の色とは色相、明度又は彩度が異なる任意の有彩色又は強調された無彩色の数値データに置き換える。強調された無彩色とは、モノクローム化されたことによる無彩色よりも明度が上げられた無彩色のことをいう。含まれていない場合には、その画素の数値データを、色がモノクローム化された無彩色となるような数値に置き換える。色がモノクローム化された無彩色となるような数値に置き換えるための数値変換には、カラー画像をモノクローム画像にするための公知の手法を用いることができ、例えばカラー画像をグレースケールに変換するための手法や、カラー画像の彩度を下げる手法や、モノクロ二値化するための手法を用いることができる。また、色がモノクローム化された無彩色となるような数値に置き換えるための数値変換の際に、明度をより下げる処理をしてもよく、これにより、ユーザーの認識力をより高めることができる。上記の明度をより下げる処理には、画像表示装置の画面において、枠状又はピラー状の暗部を形成するようなものであってもよい。これにより、ユーザーの認識力をより高めることが期待できる。
【0024】
さらに、ユーザーが選択した対象物と同じ又は類似の色を有する別の物が静止画像内に含まれていて、画像内における当該別の物の大きさが対象物の大きさよりも小さい場合に、当該別の物は、ユーザーが観察する対象物ではないとみなして、当該別の物の色を、モノクロームとする画像処理を、必要に応じて行うことができる。このような同色または類似の色を有する別の物についての画像処理は、一例として、上記画像処理後の映像データを、演算部113に入力して、画像認識プログラムを実行して、映像データの各静止画像のうち、各画素の数値データについて、変更しないか、又はユーザーが選択した対象物の色とは色相、明度又は彩度が異なる任意の有彩色又は強調された無彩色の数値データに置き換えられたものの数を計数して、その数の大きさにより映像データの各静止画像における対象物及び別の物の大きさを求め、その大きさが、静止画像の全体の大きさ(画素数)に対して特定割合以下のものであるときに、その特定割合以下のものは別の物と判定して、その特定割合以下のもの画素の数値データを、モノクロームとする画像処理を行う。別の物と判定する基準は、静止画像の全体の大きさ(画素数)に対する特定割合以下のものに限られず、対象物の大きさに対する特定割合以下の大きさのものを別の物と判定するのでもよいし、ユーザの入力により判定するのでもよい。また、特定割合の設定については、適切な割合を予め設定して記憶部11に記憶していてもよいし、ユーザが割合を設定及び変更できるようにしてもよい。また、対象物の色に応じて設定値を変えてもよい。
かかる画像処理装置11における、物の大きさを計測する処理は、例えば、その処理を実行する公知の画像認識プログラムを記憶部11に記憶しておき、そのプログラムを記憶部11から読み出して制御部114に入力し、制御部114が、このプログラムを実行して、記憶部112から読み出された静止画像データを演算部113で処理することで行うことができる。
【0025】
上述した画像処理により、本実施形態の画像識別システム10は、出力部115から出力され、画像表示装置13で表示された映像は、ユーザーが対象物として選択した領域が、当該対象物の色又はユーザーが指定した有彩色又は強調された無彩色の領域であり、それ以外の領域がモノクロームとして例えば公知のグレースケール変換により線形の輝度の数値で表示された領域であり、いわゆるパートカラーの映像である。したがって、ユーザーは、対象物と関係のない部分の明度が下げられた映像が視覚情報として目に入力されるので、対象物の認知能力を高めることができ、昼間のような明所で物体の認知能力を高めることができ、ひいては作業の確実性や安全性を高めることができる。
【0026】
また、上述した画像処理は、対象物の色により当該対象物を特定する処理であり、公知技術であるところの、対象物の二次元的な輪郭を抽出して当該対象物を特定するような処理に比べて処理負荷が軽い。したがって、画像識別システムの小型化、低消費電力化に寄与することができるとともに、所定フレームレートで入力される複数の静止画像データを順次に処理することが容易であり、よって、対象物の動きを観察することができるので、ユーザーの認知能力を高めることができ、しかもタイムラグが少なく、実質的にリアルタイムの観察ができる。
【0027】
演算部113における画像処理は、上述した処理を基本として、派生的な処理をすることができる。例えば上述した画像処理では、撮像素子の配列に対応して配列されたRGBカラーモデルにおける256階調の数値データについて、ユーザーが選択した色又は色範囲の数値データに含まれる画素の色の数値データを、そのままの色又は任意の有彩色又は強調された無彩色の数値データに置き換えているが、ユーザーが選択した色又は色範囲の数値データに含まれる画素に対して所定の画素単位で隣接している画素についても、そのままの色又は有彩色又は強調された無彩色の数値データに置き換えるように画像処理することができる。これにより、画像処理後に画像表示装置13で表示された映像は、ユーザーが対象物として選択した領域よりも拡大された領域が、当該対象物の色又はユーザーが指定した有彩色又は強調された無彩色で表示される。したがって、例えば対象物が糸のように細い物体である場合に,その糸を現実の太さよりも太く表示させることで強調して、物体の認知能力をより高めることができる。
【0028】
また、撮像素子の配列に対応して配列されたRGBカラーモデルにおける256階調の数値データについて、ユーザーが選択した色又は色範囲の数値データに含まれる画素の色の数値データを、そのままの色又は有彩色又は強調された無彩色の数値データに置き換えた後、当該画素の領域を、経時的に点滅させる画像処理をすることができる。点滅させる画像処理は、例えば、所定のフレームレートで入力部111から演算部113に入力された映像データの静止画像におけるユーザーが選択した色又は色範囲の数値データに含まれる画素に対して、そのままの色又は有彩色又は強調された無彩色の数値データに置き換える処理と、モノクロームの数値データや黒色の数値データ(0,0,0)に置き換える処理とを所定の間隔で交互に切り替えることで実現できる。これにより、画像処理後に画像表示装置13で表示された映像は、ユーザーが対象物として選択した領域が点滅して表示される。したがって、例えば対象物が糸のように細い物体である場合に,その糸を強調して、物体の認知能力をより高めることができる。
【0029】
また、上述した撮像素子の配列に対応して配列されたRGBカラーモデルにおける256階調の数値データについて、ユーザーが選択した色又は色範囲の数値データに含まれる画素の色の数値データを、そのままの色又は有彩色又は強調された無彩色の数値データに置き換えた後、当該画素の領域に矢印記号を付加する画像処理をすることができる。
【0030】
本実施形態の画像識別システム10は、デジタル処理によりパートカラーの映像としていることにより、以下の効果を奏することが期待できる。
(1) 対象物の色として任意の色を静止画像データから抽出してパートカラー化できるので、観察したい物体の色情報及び、当該色情報が撮像するその日の天候や光の量、場所により変動し得ることに対応して、一番適切な色の光を自在に選択することができる。これに対して、アナログ的なバンドパスフィルターを用いた場合には、フィルター1枚に対して1種類の色のみが通過するので、対象物の色の数に応じて多数のフィルターを用意する必要があり、コスト的にも操作上も好ましくなかった。
(2) 実際の対象物を、より強調(太くする、点滅させる、矢印記号を付加するなど)させることができる。
(3) 逆に、対象物以外の領域、すなわち背景を、ぐっと弱調することができる。
(4) 対象物が有している色としてユーザーが選択する色として、複数の色を選択することにより、対象物以外の情報をも強調表示することができる(例えば、糸を観察したいが、それ以上に自分の足場が何処までか、を強調表示する、など)。
(5) 対象物の実際の色とは異なる色相、明度又は彩度の色で強調することもできる。
(6) 他のセンシング技術と組み合わせ、その場に適した強調の趣向を自動で変化させることができる。
【0031】
また、本実施形態の画像識別システム10は、デジタルカメラなどの撮像装置で撮影した映像を、元の画像として使うことにより、以下の効果を有している。
(7) 高感度の撮像装置や暗視用の撮像装置を用いることにより、人間の目よりも感度を高められる(ナイトビジョンなど)。
(8) 人間の目に知覚しない波長の光を光源として使うことで、他に気づかれないようにすることができる(紫外線、赤外線)。これらの波長の光源を用いる際に、対象物の表面に蛍光剤を形成させておけば、より効果に優れる。
(9) バンドパスフィルターと異なり、波長ではなく、例えばRGBの比率で色を識別するため、色の選択肢が増え、色分解能が上がる。
【0032】
本実施形態の画像識別システム10は、次のような用途が考えられる。
釣りにおける釣糸や浮き、釣竿の先端部、又はルアーを対象物としてユーザーが選択すると、昼間のような明所においても、釣糸や浮き、釣竿の先端部、ルアーの動きを強調して観察することができ、釣果の向上が期待できる。また、水中に撒く餌に、押麦のような白色の餌を視認性向上のために混合することがあり、この押麦の色をユーザーが対象物として選択することにより、潮の流れを強調して観察することができる。更に、水中の魚を対象物としてユーザーが選択することにより、魚の動きを強調して観察することができる。この水中の魚を対象物とするときには、撮像装置12が偏光フィルターを通して受光するようにすることができる。したがって、本実施形態の画像識別システム10は、釣糸認識用の画像識別システムとすることができ、また、釣竿認識用の画像識別システムとすることができ、また、ルアー認識用の画像識別システムとすることができ、また、餌認識用の画像識別システムとすることができ、また、魚認識用の画像識別システムとすることができる。
また、岸壁の色を対象物としてユーザーが選択して、岸壁に近づきすぎたら警告の画面を画像表示装置に表示するようにして、危険回避に役立たせることができる。
【0033】
また、産業では部品の組み立ての際に組み立ての順序が決まっている場合に、部品を色分けしておき、順序ごとに例えば一つ部品の取り付けを終えたらその部品の色の強調を止め、次の色の部品を強調するような画像処理を行うことで、部品の組み付けミスなどを減らすこともできる。また部品を搬送するベルトコンベアのベルトの色を選択することでベルトの動きを感知して、最も作業性の高い位置に部品を置く、身体を置く、などを支援することも考えられる。したがって、本実施形態の画像識別システム10は、部品認識用の画像識別システムとすることができる。
また、安全靴の先端に付けた色と、機械の色とを対象物としてユーザーが選択して、ユーザーが履いている安全靴が機械に近づきすぎたら警告の画面を画像表示装置に表示するようにして、危険回避に役立たせることができる。
また、作業現場の色を対象物としてユーザーが選択して、あまりにも長い時間に選択色がカメラに入力されない場合、画像処理装置の出力部から外部の送受信装置に警告信号を送信するようにして、作業者が倒れたり、作業を怠っていたりする時に外部に通知するようにすることができる。
【0034】
(実施形態2)
次に、本発明の画像識別システムの実施形態2を説明する。本実施形態の画像識別システムは、基本構成は実施形態1の画像識別システムと同じであり、図1に示したブロック図の構成を有している。したがって、図1に示したブロック図を援用して説明する。本実施形態の画像識別システムは、対象物を含む距離又は対象物の移動速度を計測し、計測結果を表示する機能を有している。
例えば距離の計測の場合には、対象物として、直線的で一定間隔で所定の色でマーキングされた物を用いて、そのマーキングされた箇所の色をユーザーが選択し、画像処理装置11が、選択された色の個数をカウントすることにより、ある位置からある位置までの実距離を計測することができる。
【0035】
距離の計測は、具体的には、ユーザーが、撮像装置12により対象物を含む視域を撮像すると、撮像された映像は撮像装置12により光電変換され、一画面全体のイメージ情報を、例えば撮像素子の配列に対応した画素ごとのRGBカラーモデルにおける256階調の数値で表される色情報を含む一画面全体の静止画像データとして、その静止画像データが所定のフレームレートで記録された映像データに変換される。この静止画像データは、例えば撮像素子の配列に対応して配列されたRGBカラーモデルにおける256階調の数値データとすることができる。もっとも、数値データは256階調のものに限定されない。また、映像データは圧縮符号化されたものであってもよい。なお、撮像装置12で作成された静止画像データは画像処理装置11における画像処理や画像表示装置12における画像表示の基準となるデータであるので、撮像装置12は対象物の色を適切に数値データに変換できるものが好ましい。また画像表示装置12は十分にキャリブレーションされていることが好ましい。
【0036】
かかる映像データは、画像処理装置11に入力部111から入力され、演算部113で所定の画像処理をされるか、又は、画像処理をされることなく出力部115に送られ、出力部115に接続された画像表示装置13で動画が表示される。また、入力部111からの映像データから取り出された静止画像データは、対象物が有している色としてユーザーが選択する操作等のために、必要に応じて記憶部112に記憶される。
【0037】
演算部113における画像処理の有無は、ユーザーが選択色を入力する操作の前後で切り替えることができる。ユーザーが選択色を入力する前は、撮像装置12からの映像データに画像処理をしないで出力部115に送られる。もっとも、映像データに文字情報やアイコン等をオーバーレイして表示される画像処理をすることができる。
【0038】
ユーザーが選択色を入力する操作を受け付ける。ユーザーが選択色を入力する操作は、一例では、次のように行われる。ユーザー選択色入力操作受け付け装置14をユーザーが操作することにより,画像表示装置13又は画像表示装置13とは別個の画像表示装置に、記憶部112に記憶されていた静止画像データを表示させる。ユーザーは、画像表示装置13に表示された静止画像から、対象物が有している色を選択する。例えば画像表示装置13に表示された画像中の対象物の色がオレンジであれば、そのオレンジ色を選択する。この選択操作では静止画像データの各画素について、例えばRGBカラーモデルにおける256階調のうちの特定数値のものをピンポイントで選択するのでもよい。また、その特定数値を含む近似した色の数値範囲のものを選択するものでもよく、これによりユーザーが視覚的に対象物と判断した色の範囲を選択することができる。例えば、近似した色の数値範囲として、具体的にRGBの値でそれぞれ特定数値から±3~5%程度以内の数値の相違を、換言すれば256階調の場合は±8~13階調程度以内の階調差の色を、近似した色と見なすことができる。ユーザーが選択した色又は色範囲の数値データは、ユーザー選択色入力操作受け付け装置14から画像処理装置11の入力部111に入力され、記憶部112に記憶される。
【0039】
ユーザーが選択色を入力した後は、撮像装置12からの映像データのうち、対象物が有している色としてユーザーが選択する一色以上の色が含まれる領域をその対象物が有している色そのままとするか、又は任意の有彩色とするか、又は強調された無彩色の色とし、ユーザーが選択する色が含まれない領域をモノクロームとする画像処理をし、該画像処理後の映像データが出力部115に送られる。任意の有彩色とは、例えば対象物が有している緑色を、ユーザーの目に付き易いオレンジ色とする。これによりユーザーの認知能力を高めることができる。
【0040】
この画像処理では、演算部113において、記憶部112からユーザーが選択した色又は色範囲の数値データを読み出し、入力部111から入力された映像データの各静止画像のうち、各画素が、ユーザーが選択した色又は色範囲の数値データに含まれるものがあるか否かを判定する。含まれている場合にはその画素の色の数値データを、そのまま変更しないか、又はユーザーが選択した対象物の色とは色相、明度又は彩度が異なる所定の有彩色又は強調された無彩色の数値データに置き換える。含まれていない場合には、その画素の数値データを、色がモノクロームとなるような数値に置き換える。色がモノクロームとなるような数値に置き換えるための数値変換には、カラー画像をモノクローム画像にするための公知の手法を用いることができ、例えばカラー画像をグレースケールに変換するための手法や、カラー画像の彩度を下げる手法や、モノクロ二値化するための手法を用いることができる。また、色がモノクロームとなるような数値に置き換えるための数値変換の際に、明度をより下げる処理をしてもよく、これにより、ユーザーの認識力をより高めることができる。
【0041】
上述の対象物が有している色としてユーザーが選択する色が含まれる領域をその対象物が有している色そのままとするか、又は任意の有彩色とするか、又は強調された無彩色とし、ユーザーが選択する色が含まれない領域をモノクロームとする画像処理後の映像データは、演算部113に再度入力され、画像認識プログラムを実行して選択された色の個数をカウントする処理を行う。かかる画像処理装置11における、選択された色の個数をカウントする処理は、例えば、その処理を実行する公知の画像認識プログラムを記憶部11に記憶しておき、そのプログラムを記憶部11から読み出して制御部114に入力し、制御部114が、このプログラムを実行して、記憶部112から読み出された静止画像データを演算部113で処理することで行うことができる。そして計測結果は、出力部115から画像表示装置13に、映像データにオーバーレイして、又は別画面として数字又は図形情報として出力される。
【0042】
例えば移動速度の計測の場合には、対象物として、直線的で一定間隔で所定の色でマーキングされた物を用いて、そのマーキングされた箇所の色をユーザーが選択し、上述の距離の計測と同様にして対象物が有している色としてユーザーが選択する色が含まれる領域をその対象物が有している色そのままとするか、又は任意の有彩色とするか、又は強調された無彩色とし、ユーザーが選択する色が含まれない領域をモノクロームとする画像処理を行い、画像処理後の映像データは、演算部113に再度入力され、画像認識プログラムを実行して選択された色の移動速度を算出する処理を行う。画像処理装置11が、ある時点のフレームの静止画像データと、その後のフレームの静止画像データとを比較して、そのフレーム間の時間で、選択された色がどれだけの距離で移動したか、又は回転運動でどれだけ回転したかを公知の画像処理により計測することにより、対象物の移動速度(回転運動における角速度を含む)を計測することができる。かかる画像処理装置11における、選択された色の個数をカウントする処理は、例えば、その処理を実行する公知のプログラムを記憶部11に記憶しておき、そのプログラムを記憶部11から読み出して制御部114に入力し、制御部114が、このプログラムを実行して、記憶部112から読み出された静止画像データを演算部113で処理することで行うことができる。そして計測結果は、出力部115から画像表示装置13に、映像データにオーバーレイして、又は別画面として数字又は図形情報として出力される。
【0043】
距離や速度の計測の機能を有する本実施形態の画像識別システムは、次のような用途が考えられる。
釣りにおいて、数十メートルごとに色が塗り分けられた糸を用いて、ユーザーが当該塗り分けられた色を選択することにより、水深や飛距離を計測し、表示することができる。また、1メートル等の等間隔に着色された糸を用いて、リールの巻き取る速度、すなわち、ルアーの泳ぐ速度を表示することができる。さらには、かかる速度の計測値に基づいて、適切な巻き取り速度から外れた場合にアラートを画面表示又は音声で出力することができる。また、目盛が着色されたスケールマーカーなどを用いて、釣り上げた魚の体長を測定することができる。
また、工場における作業物の色をユーザーが選択することにより、作業物の移動スピードが速過ぎるとか遅過ぎる場合に、外部の送受信装置に警告信号を送信することもできる。
【0044】
なお、画像表示装置13は、上述した速度や距離の数値や図形情報ばかりでなく、潮汐、風、地形、気温・水温、気圧等の様々な情報を表示できるようにしてもよい。
【0045】
(実施形態3)
次に、本発明の画像識別システムの実施形態3を説明する。本実施形態の画像識別システムは、基本構成は実施形態1の画像識別システムと同じであり、図1に示したブロック図の構成を有している。したがって、図1に示したブロック図を援用して説明する。本実施形態の画像識別システムは、対象物が有している色としてユーザーが選択する色を検知したときに警告を前記画像表示装置に出力する機能を有している。
【0046】
例えば対象物を、建物内で立ち入りが禁止される区域があり、その区域を仕切る壁に設けられて人が出入り可能な扉が特定の色に着色されている場合の、その扉とする。ユーザー又はユーザーの管理者は、その扉の色を選択する。ユーザーが、立入禁止区域に入ろうと、特定色の扉の前に来たときに、画像処理装置11が、選択された色を検知して、警告を画像表示装置13に出力する。対象物は扉に限られず、立入禁止区域の床面が特定の色に着色されたものでも、同様の警告をすることができる。なお対象物が床面の場合は、撮像装置の光軸が床面に対向するように取り付けられていることが好ましい。
【0047】
かかる画像処理装置11における、選択された色を検知する処理は、例えば、演算部113が、その色の数値データがあるか否かを判別する処理とすることができる。そして検知したときは出力部115から画像表示装置13に、映像データにオーバーレイして、又は別画面として警告を文字情報又は図形情報として出力される。また図2に示すようにヘッドマウントディスプレイ15に付随してスピーカーとしてのヘッドフォン20を有している場合には、出力部115から警告音を発することができる。
【0048】
本実施形態の画像識別装置は、立入禁止区域に入ろうとしたときの検知を単に内装の色分けだけで可能にするので、検知のために他の接触スイッチや非接触スイッチを設ける必要がない。
また本実施形態の画像識別システムは、施設のルート案内に利用することもできる。
【0049】
以上、本発明の画像識別システムを、画像表示装置がヘッドマウントディスプレイである実施形態により説明したが、画像表示装置はヘッドマウントディスプレイに限定されない。例えば、自動車の前面ガラスに投影して画像表示装置とするヘッドアップディスプレイとすることもできる。本発明は車両用の画像識別システムとして、例えば自動車の運転時に、風景などを白黒にし、標識やブレーキランプや人などの障害物の色を選択して強調表示することで、疲れにくく安全な運転が可能になる。
【符号の説明】
【0050】
10 画像識別システム
11 画像処理装置
12 撮像装置
13 画像表示装置
14 ユーザー選択色入力操作受け付け装置
111 入力部
112 記憶部
113 演算部
114 制御部
115 出力部
図1
図2