IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社オレンジテクラボの特許一覧

特開2024-27575情報処理装置、情報処理プログラム及び情報処理方法
<>
  • 特開-情報処理装置、情報処理プログラム及び情報処理方法 図1
  • 特開-情報処理装置、情報処理プログラム及び情報処理方法 図2
  • 特開-情報処理装置、情報処理プログラム及び情報処理方法 図3
  • 特開-情報処理装置、情報処理プログラム及び情報処理方法 図4
  • 特開-情報処理装置、情報処理プログラム及び情報処理方法 図5
  • 特開-情報処理装置、情報処理プログラム及び情報処理方法 図6
  • 特開-情報処理装置、情報処理プログラム及び情報処理方法 図7
  • 特開-情報処理装置、情報処理プログラム及び情報処理方法 図8
  • 特開-情報処理装置、情報処理プログラム及び情報処理方法 図9
  • 特開-情報処理装置、情報処理プログラム及び情報処理方法 図10
  • 特開-情報処理装置、情報処理プログラム及び情報処理方法 図11
  • 特開-情報処理装置、情報処理プログラム及び情報処理方法 図12
  • 特開-情報処理装置、情報処理プログラム及び情報処理方法 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024027575
(43)【公開日】2024-03-01
(54)【発明の名称】情報処理装置、情報処理プログラム及び情報処理方法
(51)【国際特許分類】
   G01D 7/00 20060101AFI20240222BHJP
   G06T 1/00 20060101ALI20240222BHJP
【FI】
G01D7/00 302Z
G06T1/00 280
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022130466
(22)【出願日】2022-08-18
(71)【出願人】
【識別番号】317016246
【氏名又は名称】株式会社オレンジテクラボ
(74)【代理人】
【識別番号】100115129
【弁理士】
【氏名又は名称】清水 昇
(72)【発明者】
【氏名】西田 健次
(72)【発明者】
【氏名】山田 敏哉
(72)【発明者】
【氏名】山下 一郎
(72)【発明者】
【氏名】宮▲崎▼ 淳
【テーマコード(参考)】
5B057
【Fターム(参考)】
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC03
5B057CD11
5B057DB02
5B057DB09
(57)【要約】
【課題】対象の変化が気付きやすくなるようにした情報処理装置を提供する。
【解決手段】情報処理装置は、受付手段によって、センサーによって対象を測定したデータを受け付け、変形手段は、前記データを強調した値に基づいて、前記対象を示す画像内の前記センサーが計測している前記対象の位置及びその周辺の画像を変形し、提示手段は、前記変形手段によって変形された画像を動画像として提示する。
【選択図】図1


【特許請求の範囲】
【請求項1】
センサーによって対象を測定したデータを受け付ける受付手段と、
前記データを強調した値に基づいて、前記対象を示す画像内の前記センサーが計測している前記対象の位置及びその周辺の画像を変形する変形手段と、
前記変形手段によって変形された画像を動画像として提示する提示手段
を有することを特徴とする情報処理装置。
【請求項2】
前記対象を示す画像は、該対象を撮影した動画像であり、
前記受付手段が受け付けるデータは、前記対象の振動を表すデータであり、
前記変形手段は、前記データの振動の変位を増幅した値で、前記センサーが取り付けられている位置及びその周辺の画像を変形し、
前記提示手段は、前記対象を撮影した動画像のフレーム間に、前記変形手段によって変形された画像を挿入することによって振動を可視化する、
請求項1に記載の情報処理装置。
【請求項3】
前記変形手段は、前記対象が剛体であるか、又は弾性体であるかによって、変形の関数を異ならせる、
請求項2に記載の情報処理装置。
【請求項4】
前記変形手段は、前記対象が固定されている固定点と前記センサーが計測している前記対象の位置との間の領域を変形する、
請求項2に記載の情報処理装置。
【請求項5】
前記センサーは複数個あり、
前記変形手段は、センサーが計測している前記対象の位置と他のセンサーが計測している前記対象の位置との間の領域を変形する、
請求項2に記載の情報処理装置。
【請求項6】
コンピュータを、
センサーによって対象を測定したデータを受け付ける受付手段と、
前記データを強調した値に基づいて、前記対象を示す画像内の前記センサーが計測している前記対象の位置及びその周辺の画像を変形する変形手段と、
前記変形手段によって変形された画像を動画像として提示する提示手段
として機能させることを特徴とする情報処理プログラム。
【請求項7】
情報処理装置が行う情報処理方法であって、
前記情報処理装置は、
センサーによって対象を測定したデータを受け付けるステップ1と、
前記データを強調した値に基づいて、前記対象を示す画像内の前記センサーが計測している前記対象の位置及びその周辺の画像を変形するステップ2と、
前記ステップ2によって変形された画像を動画像として提示するステップ3
を行うことを特徴とする情報処理方法。






【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理プログラム及び情報処理方法に関する。
【背景技術】
【0002】
微妙な動きを検出、増幅、測定するビデオ処理システムが開発されている。
【0003】
これに関連する技術として(特に基本発明として)、例えば、特許文献1には、線形に基づいたオイラーモーション変調として、少なくとも二つの画像の画素値を検討し、少なくとも二つの画像において一時的変動を増幅する方法およびシステムに関するものが開示されている。この特許文献1に記載の発明は、微妙な動きを検出、増幅、測定する画期的なビデオ処理システム少なくとも二つの画像において一時的変動を増幅する方法であって、少なくとも二つの画像の画素値を検討し、少なくとも二つの画像間の画素値の一時的な変動が特別のしきい値より下であり、画素値に信号処理を供給することを含み、また、信号処理を供給するステップは、少なくとも二つの画像間の画素値の変動を増幅し、また、信号処理は、一時的な処理であり、また、一時的な処理は、バンドパスフィルターであり、また、バンドパスフィルターは、時間に渡って周波数を分析するために構成され、また、信号処理を供給するステップは、空間的処理を含み、また、空間的処理は、ノイズを取り除く。そして、少なくとも二つの画像において示されたボディにおいて血液のフローのパターンを視覚化することが例示されている。
【0004】
また、例えば、非特許文献1には、ハイスピードカメラを設置し、モノクロ画像データを1920x1050のデフォルト解像度と120フレーム/秒の速度で取得して、機械から生じた微妙な振動を検出、増幅、測定し、その機械の動作状況がよく分かるビデオ画像を見ることができるようになることが開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】米国特許出願公開第2014/0072190号明細書
【非特許文献】
【0006】
【非特許文献1】"微妙な動きを検出、増幅、測定する画期的なビデオ処理システム"、[令和4年8月15日検索]、インターネット〈URL:https://www.flir.jp/discover/iis/machine-vision/revolutionary-video-processing-system-detects-amplifies-and-measures-subtle-motion/〉
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、センサーによって対象を測定したデータを用いて、対象を示す画像にそのデータの変化を強調した動画像を提示し、その動画像を見たユーザーは、単に対象を撮影した動画像を見た場合よりも、対象の変化が気付きやすくなるようにした情報処理装置、情報処理プログラム及び情報処理方法を提供することを目的としている。
【課題を解決するための手段】
【0008】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
発明[1]は、センサーによって対象を測定したデータを受け付ける受付手段と、前記データを強調した値に基づいて、前記対象を示す画像内の前記センサーが計測している前記対象の位置及びその周辺の画像を変形する変形手段と、前記変形手段によって変形された画像を動画像として提示する提示手段を有することを特徴とする情報処理装置である。
【0009】
発明[2]は、前記対象を示す画像は、該対象を撮影した動画像であり、前記受付手段が受け付けるデータは、前記対象の振動を表すデータであり、前記変形手段は、前記データの振動の変位を増幅した値で、前記センサーが取り付けられている位置及びその周辺の画像を変形し、前記提示手段は、前記対象を撮影した動画像のフレーム間に、前記変形手段によって変形された画像を挿入することによって振動を可視化する、発明[1]に記載の情報処理装置である。
【0010】
発明[3]の発明は、前記変形手段は、前記対象が剛体であるか、又は弾性体であるかによって、変形の関数を異ならせる、発明[2]に記載の情報処理装置である。
【0011】
発明[4]の発明は、前記変形手段は、前記対象が固定されている固定点と前記センサーが計測している前記対象の位置との間の領域を変形する、発明[2]に記載の情報処理装置である。
【0012】
発明[5]の発明は、前記センサーは複数個あり、前記変形手段は、センサーが計測している前記対象の位置と他のセンサーが計測している前記対象の位置との間の領域を変形する、発明[2]に記載の情報処理装置である。
【0013】
発明[6]の発明は、コンピュータを、センサーによって対象を測定したデータを受け付ける受付手段と、前記データを強調した値に基づいて、前記対象を示す画像内の前記センサーが計測している前記対象の位置及びその周辺の画像を変形する変形手段と、前記変形手段によって変形された画像を動画像として提示する提示手段として機能させることを特徴とする情報処理プログラムである。
【0014】
発明[7]の発明は、情報処理装置が行う情報処理方法であって、前記情報処理装置は、センサーによって対象を測定したデータを受け付けるステップ1と、前記データを強調した値に基づいて、前記対象を示す画像内の前記センサーが計測している前記対象の位置及びその周辺の画像を変形するステップ2と、前記ステップ2によって変形された画像を動画像として提示するステップ3を行うことを特徴とする情報処理方法である。
【発明の効果】
【0015】
発明[1]の情報処理装置では、その情報処理装置が提示した動画像を見たユーザーは、単に対象を撮影した動画像よりも、対象の変化が気付きやすくなる。
【0016】
発明[2]の情報処理装置では、その情報処理装置が提示した動画像を見たユーザーは、単に対象を撮影した動画像よりも、対象の振動が気付きやすくなる。
【0017】
発明[3]の情報処理装置では、対象が剛体であるか、又は弾性体であるかによって、変形の関数を異ならせることができる。
【0018】
発明[4]の情報処理装置では、対象が固定されている場合は、固定点を用いて、画像を変形することができる。
【0019】
発明[5]の情報処理装置では、複数のセンサー間の領域の画像を変形することができる。
【0020】
発明[6]の情報処理プログラムでは、その情報処理装置が提示した動画像を見たユーザーは、単に対象を撮影した動画像よりも、対象の変化が気付きやすくなる。
【0021】
発明[7]の情報処理方法では、その情報処理装置が提示した動画像を見たユーザーは、単に対象を撮影した動画像よりも、対象の変化が気付きやすくなる。
【図面の簡単な説明】
【0022】
図1】本実施の形態の構成例についての概念的なモジュール構成図である。
図2】本実施の形態を利用したシステム構成例を示す説明図である。
図3】本実施の形態による処理例を示すフローチャートである。
図4】本実施の形態による処理例を示す説明図である。
図5】動画像データのフレーム画像の例を示す説明図である。
図6】センサー位置情報テーブルのデータ構造例を示す説明図である。
図7】固定点位置情報テーブルのデータ構造例を示す説明図である。
図8】センサーデータテーブルのデータ構造例を示す説明図である。
図9】本実施の形態による処理例を示す説明図である。
図10】本実施の形態による処理例を示す説明図である。
図11】本実施の形態による処理例を示す説明図である。
図12】本実施の形態による提示例を示す説明図である。
図13】本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0023】
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(「ソフトウェア」の解釈として、コンピュータ・プログラムを含む)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(例えば、コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(例えば、データの授受、指示、データ間の参照関係、ログイン等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(「2以上の値」には、もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。また、「A、B、C」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その1つのみを選んでいる場合(例えば、Aのみ)を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(「ネットワーク」には、一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(つまり、社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。
なお、もちろんのことながら、以下に説明する実施の形態に係る物(装置等)、方法、プログラムを提供することを目的とすること、又は、その実施の形態から把握できる発明に係る物(装置等)、方法、プログラムを提供することを目的とすることを「発明が解決しようとする課題」として捉えてもよい。
【0024】
本実施の形態である情報処理装置100は、対象の変化を強調した動画像の提示処理を行う機能を有している。例えば、対象の振動を検知する場合に用いる場合は、センサデータに基づいた動き増幅と振動の可視化を行う装置である。図1の例に示すように、情報処理装置100は、画像受付モジュール110、センサー位置特定モジュール120、測定データ受付モジュール130、振動抽出モジュール140、変形処理モジュール150、可視化モジュール170を有している。
ここで対象は、物体であってもよいし、生物であってもよい。物体として、例えば、機械、その機械の構成部品等がある。生物として、人間を含む動物、植物、それらの部分(人間であれば、腕、顔等)等がある。以下の説明では、対象の例示として主にモーターを用いて説明する。また、対象は複数あってもよい。例えば、物体と生物の組み合わせ、物体Aと物体Bの組み合わせ、物体の部品Aと部品Bの組み合わせ等がある。もちろんのことながら、3つ以上の組み合わせであってもよい。
【0025】
撮影装置105は、情報処理装置100の画像受付モジュール110に接続されており、撮影装置105で撮影した対象の画像をセンサー位置特定モジュール120に渡す。撮影装置105は、動画像カメラ、又は、静止画カメラ等である。動画像を撮影する撮影装置105として、特許文献1、非特許文献1で示したハイスピードカメラを用いてもよい(撮影装置105として排除はしない)。なお、特許文献1、非特許文献1で示されている技術では、一般的なカメラは利用できない。
ハイスピードカメラは高額であり、本実施の形態を用いれば、一般的なカメラ(例えば、フレームレートが24fps~30fps程度。ハイスピードカメラよりは安価なカメラ)であっても、その一般的なカメラで撮影した動画像を見るよりも、対象の変化を動画像で感じることができるようになる。
また、対象の動きがほとんど無い場合(ただし、センサー107が検知する振動等はある)は、静止画カメラを用いてもよい。可視化モジュール170が動画像として提示する場合は、動画像のフレーム画像として、静止画カメラが撮影した静止画、変形処理モジュール150によって変形された静止画を用いればよい。
以下の説明では、撮影装置105の例示として主に動画像カメラを用いて説明する。したがって、その場合、「対象を示す画像」は、対象を撮影した動画像となる。
【0026】
センサー107は、情報処理装置100の測定データ受付モジュール130に接続されており、センサー107で計測したデータを測定データ受付モジュール130に渡す。以下の説明では、センサー107の例示として主に振動センサー(加速度センサーともいわれる)を用いて説明する。つまり、例示としてモーターの振動を計測することになる。したがって、その場合、「画像受付モジュール110が受け付けるデータ」は、対象の振動を表すデータとなる。この場合、モーターの故障予知等に用いることができる。つまり、モーターは故障が発生する前に振動が大きくなることが知られているが、情報処理装置100によって、微少な振動であっても、動画像上で確認することができるようになる。
ただし、センサー107は、振動センサーに限定されることなく、他のセンサーであってもよい。例えば、対象の機械的性質(ひずみセンサー、圧力センサー、ジャイロセンサ等)、電磁気的性質(電流センサー、磁気センサ等ー)、熱的性質(温度計等)、音響的性質(マイク等)、化学的性質(ガス濃度検知センサー等)等を計測するセンサーがある。
【0027】
画像受付モジュール110は、撮影装置105、センサー位置特定モジュール120に接続されており、撮影装置105によって撮影された対象の画像を受け付け、その画像をセンサー位置特定モジュール120、可視化モジュール170に渡す。また、図1には図示はしていないが、画像受付モジュール110は、画像受付モジュール110が撮影した画像を記憶している記憶手段から読み込んでもよい。また、画像受付モジュール110は、対象の形状を示す3Dデータを受け付けるようにしてもよい。例えば、CADデータがある。そして、3Dデータを受け付けた場合は、画像受付モジュール110は、その3Dデータから対象を示す画像を生成する。
【0028】
センサー位置特定モジュール120は、画像受付モジュール110、変形処理モジュール150、可視化モジュール170に接続されており、画像受付モジュール110から対象の画像を受け付け、その画像を変形処理モジュール150、可視化モジュール170に渡す。センサー位置特定モジュール120は、図6の例に示すセンサー位置情報テーブル600を生成する。
例えば、センサー位置情報テーブル600は予め生成されて、既に記憶手段に記憶されていてもよい。
また、画像受付モジュール110から渡された画像をユーザーに提示して、ユーザーの操作によって、センサーの位置を指定するようにしてもよい。
また、センサー107にマークが付されており、画像内からそのマークを検出するようにしてもよい。例えば、センサー107が赤く塗られており、画像内からその赤色の部分を検出するようにしてもよいし、センサー107にQRコード(登録商標)が付されており、画像内からそのQRコードを検出するようにしてもよい。例えば、QRコードには、センサーIDが記載されていてもよい。
【0029】
測定データ受付モジュール130は、センサー107、振動抽出モジュール140に接続されており、センサー107によって対象を測定したデータを受け付け、振動抽出モジュール140にそのデータを渡す。また、図1には図示はしていないが、測定データ受付モジュール130は、センサー107が計測したデータを記憶している記憶手段から読み込んでもよい。
【0030】
振動抽出モジュール140は、測定データ受付モジュール130、変形処理モジュール150に接続されており、測定データ受付モジュール130からセンサー107の計測データを受け取る。センサー107が振動センサーである場合は、加速度を受け付けることになる。その場合、振動抽出モジュール140は、その加速度を積分して速度を算出し、その速度を積分して変位を算出し、その変位を変形処理モジュール150に渡す。なお、測定データ受付モジュール130から変位を含むデータを受け付けた場合は、その変位を変形処理モジュール150に渡せばよいので、計算は不要である。なお、撮影装置105が動画像で撮影している場合は、同期をとるために、変位には日時データが付加されている。もちろんのことながら、動画像にも日時データが付加されている。
【0031】
変形処理モジュール150は、センサー位置特定モジュール120、振動抽出モジュール140、可視化モジュール170に接続されており、周波数変換モジュール155、振動増幅モジュール160を有している。変形処理モジュール150は、振動抽出モジュール140から受け付けたデータを強調した値に基づいて、対象を示す画像(例えば、動画像、静止画像、3Dデータによって生成される画像)内のセンサー107が計測している対象の位置及びその周辺の画像を変形する。
ここで「センサー107が計測している対象の位置」とは、具体的には、対象にセンサー107が取り付けられている(いわゆる接触式のセンサー)場合は、その取り付けられている位置(センサー107そのものが設置されている位置)であり、センサー107が対象から離れて設置されている(いわゆる非接触式のセンサー)場合は、そのセンサー107が検知している位置(センサー107そのものが設置されている位置ではない)をいう。前者にあっては、例えば、振動センサーの場合、その振動センサーが設置されている位置が該当する。後者にあっては、例えば、赤外放射温度計の場合は、赤外線をあてている位置(つまり、表面温度を測定している位置)が該当する。なお、以下、「センサーが計測している対象の位置」をセンサー計測位置ともいい、「センサーそのものが設置されている位置」をセンサー位置ともいう。接触式のセンサーの場合は、両者は一致し、非接触式のセンサーの場合は、その位置は異なる場所である。
また、ここで「周辺」とは、センサー107のセンサー計測位置と他のセンサー107センサー計測位置との間の領域、センサー107のセンサー計測位置と固定点との間の領域、又は、センサー107のセンサー計測位置と対象の端点までの間の領域である。なお、この「間の領域」には、2点の間にある面積を持つ領域である。また、台座にしっかり固定された点などのように、複数の固定点を仮定することができる。固定点では、振動は生じない。つまり、変位は0である。また、固定点から先は、センサー107の変位は伝わらない。具体的には、センサー107の位置から固定点までの間は、その距離に応じて変位は減少するが、さらに先(つまり、センサー107側とは反対の方向)では、変位は0とする。
また、前述の例を用いた場合、変形処理モジュール150は、データの振動の変位を増幅した値で、センサー107のセンサー計測位置(接触センサーであるので、センサー107のセンサー位置でもある)及びその周辺の画像を変形することになる。
変形処理モジュール150は、対象が剛体であるか、又は弾性体であるかによって、変形の関数を異ならせるようにしてもよい。具体的には、対象が剛体である場合は、その対象全体をセンサー107が計測した変位で対象を変形させるようにする。対象が弾性体である場合は、センサー107のセンサー計測位置からの距離に応じた関数に基づいて変位を算出し、その変位で対象を変形させる。
変形処理モジュール150は、対象が固定されている固定点とセンサー107のセンサー計測位置との間の領域を変形するようにしてもよい。
対象に複数のセンサー107がある場合は、変形処理モジュール150は、センサー107のセンサー計測位置と他のセンサー107のセンサー計測位置との間の領域を変形するようにしてもよい。対象内のある一点の変位は、周辺のセンサー107からの距離に応じた影響を総和したものである。ここで「距離に応じた影響」は、センサー107からの距離が遠くなるほど、影響が減少する(変位が少なくなる)。
【0032】
なお、対象以外の背景については、変形の対象としない。ここで背景とは、対象以外の領域であり、センサーは取り付けられていない。
「対象を示す画像」が動画像、静止画像を扱う場合は、予め対象を切り取るためのマスク画像を生成しておき、その画像から対象を示す画像を切り取って、変形の対象とすればよい。又は、逆に、予め背景を切り取るためのマスク画像を生成しておき、その画像から背景を消去した画像(対象を示す画像が残っている)を、変形の対象とすればよい。
「対象を示す画像」が3Dデータである場合は、対象を示す3Dデータのみを変形の対象とすればよい。
【0033】
周波数変換モジュール155は、振動データの周波数を変換する。具体的には、センサー107の振動センサーの8KHz~16KHzである場合、人間の目ではこの振動を感知できない。特に変位が微少である場合は、なおのことである。そのため、人間の目でも観測できる周波数(例えば、30hz~60Hz)に変換する。いわゆる時間軸上で間延びさせるようにする。また、逆に、非常にゆっくり振動する場合(例えば、数分単位)も、人間の目ではこの振動を感知できない。そのため、人間の目でも観測できる周波数(例えば、30hz~60Hz)に変換する。いわゆる早送りさせるようにする。
なお、周波数の変換係数は、情報処理装置100のユーザー(可視化モジュール170が提示している画面を見ているユーザー)が指定してもよいし、予め定められた値(既にユーザーが指定した値等)とするようにしてもよい。
具体的には、周波数変換モジュール155は、加えるフレーム数、再生速度を調整することになる。
【0034】
振動増幅モジュール160は、振動データの変位を増幅する。対象の振動が微少である場合、人間の目ではその振動を感知できない。実際、対象がモーターで、そのモーターが駆動している状態の場合、そのモーターに手で触れると振動していることがわかるが、人間の目だけではモーターは静止している(わずかな振動もない)ように見える。そこで、振動増幅モジュール160は、変位を目でも観測できる程度に増幅させる。
なお、振動の増幅係数は、情報処理装置100のユーザー(可視化モジュール170が提示している画面を見ているユーザー)が指定してもよいし、予め定められた値(既にユーザーが指定した値等)とするようにしてもよい。
振動増幅モジュール160は、撮影装置105が撮影した画像に対して、増幅した変位分の変形を行う。変形は、アフィン変換を用いる。具体的には、変位のうち、左右(X軸方向)の変位は画像の左右への移動とし、上下(Y軸方向)の変位は画像の上下への移動とし、奥行き(前後、Z軸)の変位は画像の拡大縮小である。なお、可視化モジュール170での可視化は2次元であるので、奥行きの変位を、左右又は上下の変位としてもよい。
【0035】
可視化モジュール170は、センサー位置特定モジュール120、変形処理モジュール150に接続されている。可視化モジュール170は、変形処理モジュール150によって変形された画像を動画像としてユーザーに提示する。また、可視化モジュール170は、対象を示す画像に、変形処理モジュール150によって変形された画像を合成してもよい。
また、前述の例を用いた場合、可視化モジュール170は、対象を撮影した動画像のフレーム間に、変形処理モジュール150によって変形された画像を挿入することによって振動を可視化することになる。
【0036】
特許文献1、非特許文献1で開示されている技術では、映像解析のみから、振動部分の増幅を行い、その振動部分の強調を行っていた。
しかし、この技術はハイスピードカメラが必要である。フレームレートが低いカメラでは、分解能が充分ではないため元振動が必ずしも撮影されていないため、充分な振動強調ができなかった。
そこで、本実施の形態の情報処理装置100では、センサー107を対象に取り付け、高周波の振動を検知し、その振動を可視化できる周波数に変換し、更に増幅することで、その振動が強調された動画像を生成することができる。つまり、フレームレートが低いカメラを用いても、特許文献1、非特許文献1で開示されている技術と同等の効果を有する動画像を生成することができる。また、振動の増幅、周波数変換の他に、その他の変形を行うようにしてもよい。例えば、予め定められた閾値(例えば、故障の前兆であることが明確である変位)よりも大きな変位があった場合には、振動の増幅だけでなく、その領域をその他の変形を加えるようにしてもよい。「その他の変形」として、例えば、その領域の色を変化させる(具体的には、赤く変色させる等)、メッセージの表示、メッセージの音声としての出力、故障時の異音の出力等がある。
なお、振動を例示して説明したが、対象のその他の変化を検知するセンサーを用いてもよい。例えば、体温センサーを用いて、体温の変化を動画像上で振動として示すことができる。また、振動として動画像上に表現することを説明したが、その他の変形を用いるようにしてもよい。例えば、色彩の変化を動画像上に示すようにしてもよい。具体的には、体温センサーの計測値(体温)が予め定められた値以上の温度となった場合は、その計測した領域を赤色に変化させてもよい。もちろんのことながら、これらの表現に振動の表現を組み合わせるようにしてもよい。
【0037】
図2は、本実施の形態を利用したシステム構成例を示す説明図である。
図2(a)は、スタンドアロン型のシステム構成である。
例えばモーターである対象200に振動センサーであるセンサー207が取り付けられており、そのモーターが駆動している状態の映像を動画像カメラ205が撮影している。動画像カメラ205は固定されており、例えば、監視カメラ等であってもよい。情報処理装置100は、センサー207から振動データ、動画像カメラ205から動画像データを受け取る。なお、センサー207と情報処理装置100の間、動画像カメラ205と情報処理装置100の間の通信は、USB等の有線通信であってもよいし、Wi-Fi、Bluetooth(登録商標)等の無線通信であってもよい。無線通信であることが好ましい。また、同期をとるために日時データが含まれていれば、必ずしもオンラインでなくてもよい。つまり、センサー207内で計測データを記憶し、動画像カメラ205内で動画像データを記憶しており、記録後に情報処理装置100が読み込むようにしてもよい。
ユーザーは、情報処理装置100のディスプレイを見て、対象200の振動を観測する。そして、その振動が激しくなったら、対象200の修理(又は交換)を準備する。
【0038】
図2(b)は、ネットワーク型のシステム構成である。
複数の対象200に対して各々センサー207が取り付けられ、各々動画像カメラ205で撮影されている。そして、各々のセンサー207、動画像カメラ205から計測データ、動画像データをエッジサーバー250が受け取る。
そして、各々のエッジサーバー250は、通信回線290を介して、情報処理装置100に計測データ、動画像データを送信する。
例えば、図2(b)では、3台の対象200が設置されている工場270a、2台の対象200が設置されている工場270bがあり、ユーザーは、情報処理装置100のディスプレイを見て、遠隔地にある工場270a、工場270bに設置されている対象200の振動を観測する。そして、その振動が激しくなったら、その対象200の修理(又は交換)の準備を工場270の担当者に指示する。
【0039】
図3は、本実施の形態による処理例を示すフローチャートである。
ステップS302では、撮影装置105は、対象を撮影する。振動していない状態(例えば、モーターであれば、電源を入れていない状態)を撮影することが好ましい。
ステップS304では、センサー位置特定モジュール120は、ステップS302で撮影した画像内のセンサー107の位置(センサー計測位置)を特定する。前述したように、ユーザーが画像内のセンサー107の位置を指定してもよいし、赤く塗られたセンサー107を画像処理により認識してセンサー107の位置を検出してもよい。
【0040】
ステップS306では、撮影装置105は、対象を撮影する。振動が発生している可能性がある状態の対象を撮影する。例えば、モーターであれば、電源を入れて、駆動している状態を撮影する。画像受付モジュール110は、その撮影画像を受け取る。
ステップS308では、測定データ受付モジュール130は、センサー107から計測データである振動情報を受け取る。
【0041】
ステップS310では、振動抽出モジュール140は、振動情報より変位を抽出する。前述したように、加速度から変位を算出してもよい。
ステップS312では、周波数変換モジュール155は、変位のデータを人間の目でも観測できる周波数に変換する。
ステップS314では、振動増幅モジュール160は、変位のデータを人間の目でも観測できる振幅に増幅する。
【0042】
ステップS316では、変形処理モジュール150は、ステップS314での増幅した振幅にしたがって、動画像内のフレーム画像内のセンサー計測位置とその周辺の領域を変形する。そして、ステップS312での変換した周波数にしたがった数だけ、フレーム画像を生成する。そのフレーム画像は、振幅にしたがって変形されたものである。
ステップS318では、可視化モジュール170は、変形されたフレーム画像での動画像を提示する。
ステップS320では、処理を終了するか否かを判断する。かかる判断において、YES(終了)であるとステップS399(終了)に進み、NO(終了しない)であるとステップS306に戻る。この終了の判断は、ユーザーによる終了の指示であってもよいし、対象であるモーターの動作終了(モーターの停止等)であってもよい。
【0043】
図4は、本実施の形態による処理例を示す説明図である。
図4(a)は、モーター400にセンサー407を取り付けた例を示すものである。
図4(b)は、センサー407の計測データ例を時系列で示したものである。例えば、8KHz~16KHzであり、その振動も微少であることを示している。
図4(c)は、図4(b)の例でした計測データ例の周波数を変換し、振幅を増幅された例を示すものである。例えば、周波数を30Hz~60Hzに変換し、振幅を2倍に増幅している。
図4(d)は、センサー407が取り付けられたモーター400の動画像を変形して、振動が人間の目で見えるようにした動画像データ500である。動画像データ500の内容については、図5の例を用いて説明する。
【0044】
図5は、動画像データのフレーム画像の例を示す説明図である。
動画像データ500は、フレーム画像502、フレーム画像504、・・・で構成されている。
フレーム画像502は、モーター400を撮影した画像を、その撮影時点でセンサー407が計測した振動データで変形したものである。フレーム画像590は、フレーム画像502の撮影時点の次のフレームであり、モーター400を撮影した画像を、その撮影時点でセンサー407が計測した振動データで変形したものである。フレーム画像502とフレーム画像590の間にあるフレーム画像504~フレーム画像588は、フレーム画像502(又は直前のフレーム画像)から生成したものであり、フレーム画像502とフレーム画像590の間に挿入する。
なお、周波数変換、又は、動画像の再生速度に応じては、挿入するフレーム画像がない場合もある。
【0045】
図6は、センサー位置情報テーブル600のデータ構造例を示す説明図である。
センサー位置情報テーブル600は、センサー位置特定モジュール120によって生成され、変形処理モジュール150によって画像を変形する際に用いられる。
センサー位置情報テーブル600は、センサーID欄610、空間位置欄620、画像内位置欄630を有している。これらによって、センサー107の実際の位置(3次元空間における位置)と画像内の位置(2次元における位置)の対応がとれる。
センサーID欄610は、センサーを一意に識別できる情報(センサーID)を記憶している。空間位置欄620はX欄622、Y欄624、Z欄626を有しており、それぞれセンサーの3次元における位置(X軸、Y軸、Z軸)を記憶している。そして、画像内位置欄630はX欄632、Y欄634を有しており、それぞれセンサーの画像内(2次元)における位置(X軸、Y軸)を記憶している。
【0046】
図7は、固定点位置情報テーブル700のデータ構造例を示す説明図である。
固定点位置情報テーブル700は、予め生成されており、変形処理モジュール150によって画像を変形する際に用いられる。また、センサー位置特定モジュール120で、センサーの画像内の位置を特定する際に、生成するようにしてもよい。例えば、ユーザーにセンサーの位置及び固定点の位置を指定させるようにすればよい。
固定点位置情報テーブル700は、固定点ID欄710、空間位置欄720、画像内位置欄730を有している。これらによって、対象の固定点の実際の位置(3次元空間における位置)と画像内の位置(2次元における位置)の対応がとれる。
固定点ID欄710は、固定点を一意に識別できる情報(固定点ID)を記憶している。空間位置欄720はX欄722、Y欄724、Z欄726を有しており、それぞれ固定点の3次元における位置(X軸、Y軸、Z軸)を記憶している。そして、画像内位置欄730はX欄732、Y欄734を有しており、それぞれ固定点の画像内(2次元)における位置(X軸、Y軸)を記憶している。
【0047】
図8は、センサーデータテーブル800のデータ構造例を示す説明図である。
センサーデータテーブル800は、測定データ受付モジュール130によって生成される。つまり、センサー107から受け取った計測データからセンサーデータテーブル800を生成する。
センサーデータテーブル800は、センサーID欄810、日時欄820、計測データ欄830を有している。これらによって、対象の振動データを得て、変形処理モジュール150によって増幅、周波数変換され、動画像との同期をとる。
センサーID欄810は、計測したセンサーIDを記憶している。日時欄820は、計測した日時(年、月、日、時、分、秒、秒以下、又はこれらの組み合わせであってもよい)を記憶している。計測データ欄830は、その日時に計測されたデータを記憶している。
【0048】
変形処理モジュール150が行う処理について、図9~11の例を用いて説明する。変形処理モジュール150は、周波数変換モジュール155で変換された周波数、振動増幅モジュール160で増幅された振幅にしたがって、撮影装置105が撮影した画像を変形する。
図9は、本実施の形態による処理例を示す説明図である。対象に取り付けられているセンサー907が1個の場合の例を示すものである。
図9(a)は、対象900(円柱の形状)の端にセンサー907を装着し、上下の振動950を検知した場合の例を示している。
図9(b)は、対象900aが剛体で、何も固定されてない場合は、対象900a全体が、センサー907の検知した振動952で上下に振動する。
したがって、変形処理モジュール150は、センサー907の検知した計測データを増幅した振幅で、対象900a全体が振動している画像を生成する。
【0049】
図9(c)は、対象900aが剛体で、右端の固定点990bで固定されている場合は、固定点990bを中心にセンサー907の検知した振動954で上下に振動する。
したがって、変形処理モジュール150は、センサー907の検知した計測データを増幅した振幅で、対象900aが振動している画像を生成する。具体的には、センサー907の点では増幅した振幅で振動し、固定点990aの点では振動していない(振幅0)で、センサー907と固定点990aの間の領域は、センサー907の点から遠ざかるにしたがって線形で振幅が小さくなるように画像を変形する。
【0050】
図9(d)は、対象900bが弾性体で、右端の固定点990bで固定されている場合は、固定点990bは動かず、センサー907の検知した振動956で上下にたわみながら振動する。
したがって、変形処理モジュール150は、センサー907の検知した計測データを増幅した振動で、対象900bが振動している画像を生成する。具体的には、センサー907の点では増幅した振動で振動し、固定点990bの点では振動していない(振幅0)で、センサー907と固定点990bの間の領域は、センサー907からの距離に応じた関数(例えば、ガウス関数等)で画像を変位(変形)する。
【0051】
図10は、本実施の形態による処理例を示す説明図である。対象に取り付けられているセンサー907が1個で、対象の両端が固定されている場合の例を示すものである。
図10(a)は、対象900bが弾性体で、両端(固定点990c、固定点990d)が固定されている場合を示している。
図10(b)は、図10(a)の例の状態から上下に振動960している場合は、固定点990c、固定点990dでは動かず、センサー907の検知した振動960で上下にたわみながら振動する。
したがって、変形処理モジュール150は、センサー907の検知した計測データを増幅した振幅で、対象900bが振動している画像を生成する。具体的には、センサー907の点では増幅した振幅で振動し、固定点990c、固定点990dの2点では振動していない(振幅0)で、センサー907と固定点990cの間の領域とセンサー907と固定点990dの間の領域は、センサー907からの距離に応じた関数(例えば、ガウス関数等)で画像を変位(変形)する。
【0052】
図11は、本実施の形態による処理例を示す説明図である。対象に取り付けられているセンサー907が2個(複数)の場合の例を示すものである。
図11(a)は、対象900aが剛体の例であり、その対象900aの両端にセンサー(センサー907a、センサー907b)を取り付けており、センサー907aは上下の振動1050を検知し、センサー907bは左上から右下とその逆方向への振動1052を検知した場合を示している。
図11(b)は、図11(a)の場合、変形処理モジュール150は、対象900a全体の形状は変形させずに、増幅した振幅で振動(振動1050、振動1052)しているように画像を変形する。
【0053】
図11(c)は、対象900bが弾性体の例であり、その対象900bの両端にセンサー(センサー907a、センサー907b)を取り付けており、センサー907aは上下の振動1054を検知し、センサー907bは左上から右下とその逆方向への振動1056を検知した場合を示している。
図11(d)は、図11(c)の場合、変形処理モジュール150は、センサー907aの点ではセンサー907aが計測した振動を増幅した振幅で振動し、センサー907bの点ではセンサー907bが計測した振動を増幅した振幅で振動し、センサー907aとセンサー907bの間の領域は、それぞれのセンサー(センサー907a、センサー907b)からの距離に応じた関数(例えば、ガウス関数など)で画像を変位(変形)する。
【0054】
図12は、本実施の形態による提示例を示す説明図である。
画面1200は、可視化モジュール170がディスプレイに提示するものである。
画面1200内には、動画像提示領域1210、周波数指定領域1220、振幅指定領域1230を提示する。
動画像提示領域1210には、変形処理モジュール150が生成した画像を動画像として提示する。
周波数指定領域1220は、スライドバーを用いた周波数を指定するグラフィックスインターフェイスである。この指定にしたがって、周波数変換モジュール155は、周波数を変換する。
振幅指定領域1230は、スライドバーを用いた振幅を指定するグラフィックスインターフェイスである。この指定にしたがって、振動増幅モジュール160は、振幅を増幅する変換を行う。
ユーザーは、周波数指定領域1220、振幅指定領域1230を操作して、動画像提示領域1210内の動画像において振動が感知できるようにする。なお、既に周波数、振幅を調整している場合は、周波数指定領域1220、振幅指定領域1230を表示する必要はない。
【0055】
なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図13に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部(演算部)としてプロセッサであるCPU1301を用い、記憶装置としてRAM1302、ROM1303、HD1304を用いている。HD1304として、例えばハードディスク、SSD(Solid State Drive)を用いてもよい。原時系列データ受付モジュール105、動き分析モジュール110、相関分析モジュール113、学習モジュール120等のプログラムを実行するCPU1301と、そのプログラムやデータを記憶するRAM1302と、本コンピュータを起動するためのプログラム等が格納されているROM1303と、前記モジュールの処理結果等を記憶している補助記憶装置(フラッシュ・メモリ等であってもよい)であるHD1304と、キーボード、マウス、タッチスクリーン、マイク、カメラ(動画像撮影カメラ、視線検知カメラ等を含む)等に対する利用者の操作(動作、音声、視線等を含む)に基づいてデータを受け付ける受付装置1306と、液晶ディスプレイ、有機ELディスプレイ、3次元ディスプレイ、プロジェクター、スピーカー等の出力装置1305と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース1307、そして、それらをつないでデータのやりとりをするためのバス1308により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。
【0056】
したがって、本実施の形態は、以下のように把握してもよい。
情報処理装置100は、プロセッサを備え、そのプロセッサは、発明[1]~発明[5]のいずれかにおける手段(受付手段、変形手段、提示手段)として機能する。
例えば、情報処理装置100は、プロセッサを備え、そのプロセッサは、センサーによって対象を測定したデータを受け付けるステップ1と、前記データを強調した値に基づいて、前記対象を示す画像内の前記センサーが計測している前記対象の位置及びその周辺の画像を変形するステップ2と、前記ステップ2によって変形された画像を動画像として提示するステップ3を行う。
【0057】
前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図13に示すハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図13に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図13に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器(携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む)、情報家電、ロボット等に組み込まれていてもよい。
【0058】
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD-R、DVD-RW、DVD-RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD-ROM)、CDレコーダブル(CD-R)、CDリライタブル(CD-RW)等、ブルーレイ・ディスク(Blu-ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digitalの略)メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
【符号の説明】
【0059】
100…情報処理装置
105…撮影装置
107…センサー
110…画像受付モジュール
120…センサー位置特定モジュール
130…測定データ受付モジュール
140…振動抽出モジュール
150…変形処理モジュール
155…周波数変換モジュール
160…振動増幅モジュール
170…可視化モジュール
200…対象
205…動画像カメラ
207…センサー
290…通信回線
270…工場
250…エッジサーバー






図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13