特開2019-212962(P2019-212962A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧
特開2019-212962作業支援制御装置および作業画像制御装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-212962(P2019-212962A)
(43)【公開日】2019年12月12日
(54)【発明の名称】作業支援制御装置および作業画像制御装置
(51)【国際特許分類】
   H04N 7/18 20060101AFI20191115BHJP
   A61B 34/20 20160101ALN20191115BHJP
【FI】
   H04N7/18 M
   A61B34/20
【審査請求】未請求
【請求項の数】13
【出願形態】OL
【全頁数】22
(21)【出願番号】特願2018-104890(P2018-104890)
(22)【出願日】2018年5月31日
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100074099
【弁理士】
【氏名又は名称】大菅 義之
(72)【発明者】
【氏名】岡田 圭司
(72)【発明者】
【氏名】酒井 浩次
(72)【発明者】
【氏名】長田 礼佑
(72)【発明者】
【氏名】牛尾 真梨子
【テーマコード(参考)】
5C054
【Fターム(参考)】
5C054CA04
5C054CC02
5C054CE04
5C054CE11
5C054EA05
5C054FC12
5C054FC13
5C054FD07
5C054GA01
5C054GA04
5C054GD03
5C054HA12
(57)【要約】
【課題】作業内容に対応した画像を表示することができる作業支援制御装置を提供すること。
【解決手段】撮影された作業画像を見ながら作業を行う作業者を支援する作業支援制御装置10において、前記作業画像を取得する作業画像取得部と、前記作業画像の中で検出されたツールの種類と前記ツールの動きに基づき作業内容を判定する第1作業判定部112と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
撮影された作業画像を見ながら作業を行う作業者を支援する作業支援制御装置において、
前記作業画像を取得する作業画像取得部と、
前記作業画像の中で検出されたツールの種類と前記ツールの動きに基づき作業内容を判定する作業判定部と、
を備える、
ことを特徴とする作業支援制御装置。
【請求項2】
表示部に表示された作業画像に対する前記作業者の視線を検知する視線検知部をさらに具備し、
前記作業判定部は、前記検知された視線に基づいて、作業者の画面上の注目箇所を判定する
ことを特徴とする請求項1に記載の作業支援制御装置。
【請求項3】
撮影された作業画像を見ながら作業を行う作業者を支援する作業支援制御方法において、
前記作業画像を取得する作業画像取得ステップと、
前記作業画像の中で検出されたツールの種類と前記ツールの動きに基づき作業内容を判定する作業判定ステップと、
を備える、
ことを特徴とする作業支援制御方法。
【請求項4】
表示部に表示された作業画像に対する前記作業者の視線を検知する視線検知ステップをさらに具備し、
前記作業判定ステップは、前記検知された視線に基づいて、作業者の画面上の注目箇所を判定する
ことを特徴とする請求項3に記載の作業支援制御方法。
【請求項5】
撮影された作業画像を見ながら作業を行う作業者を支援する作業画像制御装置において、
前記作業画像に基づき作業内容を判定する作業判定部と、
前記判定された作業内容に応じて、表示される前記作業画像の範囲を設定する表示範囲設定部と、を備える、
ことを特徴とする作業画像制御装置。
【請求項6】
前記表示範囲設定部は、さらに、前記設定された作業画像の範囲に基づき、前記作業画像を撮影する撮像装置に、撮影範囲の変更を指示する、
ことを特徴とする請求項5に記載の作業画像制御装置。
【請求項7】
前記表示範囲設定部は、さらに、前記設定された作業画像の範囲に基づき、前記作業画像の一部を切出して、表示部に表示される作業画像を生成する、
ことを特徴とする請求項5に記載の作業画像制御装置。
【請求項8】
前記作業判定部は、前記作業画像から作業に使用されたツールの種類を検出して、使用されたツールの種類により作業内容を判定する、
ことを特徴とする請求項5に記載の作業画像制御装置。
【請求項9】
前記作業判定部は、前記作業画像から検出されたツールの種類と、作業の各段階で使用される予定のツールの種類とを比較して、前記作業画像に対応する作業の段階を判定する、
ことを特徴とする請求項8に記載の作業画像制御装置。
【請求項10】
前記作業判定部は、表示部に表示された作業画像に対する作業者の視線に基づいて、作業者の注目箇所を判定し、
前記表示範囲設定部は、前記判定された作業者の注目箇所を、前記表示される作業画像の範囲に設定する
ことを特徴とする請求項5に記載の作業画像制御装置。
【請求項11】
前記作業判定部は、所定時間内で検知された作業者の視線を分布化し、視線分布の変化によって、前記作業者の注目箇所を判定する
ことを特徴とする請求項5に記載の作業画像制御装置。
【請求項12】
作業者の作業が撮影された画像であって、作業者が作業を進める際にモニタする作業画像の表示方法において、
前記作業画像に基づき作業内容を判定し、
前記判定された作業内容に応じて、表示される前記作業画像の範囲を設定する
ことを特徴とする作業画像の表示方法。
【請求項13】
撮影された作業画像が表示され、作業者が当該作業画像を見ながら作業を行うことを支援する作業画像制御装置において、
前記作業画像と、前記作業画像の作業内容に対応する表示される作業画像の範囲との関係を学習し、前記学習結果に基づいて、前記作業画像の作業内容に対して、推奨する表示される作業画像の範囲を推定する機械学習部を備える
ことを特徴とする作業画像制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、リアルタイムの画像を見ながら作業者が精密作業を行う医療、バイオや電子の分野に関する技術であって、特に作業中の画像の表示範囲を的確に設定する作業支援制御装置および作業画像制御装置に関する。
【背景技術】
【0002】
カメラやディスプレイの高精細化や高速通信の普及によって、リアルタイムの画像を見ながら機械操作を行う作業手法が活用されている。例えば、体内(腹腔)に観察装置を入れ、観察装置で撮影された映像をテレビモニター上に映し、テレビモニターの画像を見ながら手術が行われる腹腔鏡手術が知られている。また、バイオ技術の分野でも、顕微鏡の画像をモニタで見ながら、マニュピュレータを操作して、試料や素材を切断や剥離等加工する作業が行われる。
【0003】
このような作業画像の撮影では、様々な撮影補助が必要になる。作業画像の撮影では、作業の進行や内容に合わせて、撮影の範囲や明るさ等を適正化することが必要になるからである。撮影補助の技術としては、例えば、カメラの姿勢を検出し、検出した姿勢をガイドとして画面に表示して、画像処理精度を高める撮像装置も提案されている(特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2016−143967号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
例えば、ハンズフリーで制御できる装置が望まれる。本願発明は、上記課題に鑑み、作業内容に対応した画像を表示することができる作業支援制御装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、撮影された作業画像を見ながら作業を行う作業者を支援する作業支援制御装置は、前記作業画像を取得する作業画像取得部と、前記作業画像の中で検出されたツールの種類と前記ツールの動きに基づき作業内容を判定する作業判定部と、を備える。
【発明の効果】
【0007】
本発明によれば、作業内容に対応した画像を表示することができる作業支援制御装置を提供することができる。
【図面の簡単な説明】
【0008】
図1】作業画像制御システムの全体構成図である。
図2】作業画像制御装置の制御部及び表示範囲制御部に関するハードウェアブロック図である。
図3】表示範囲制御部の第1の構成を説明するブロック図である。
図4】表示範囲制御部の第2の構成を説明するブロック図である。
図5】作業DBの具体的なテーブルの例である。
図6A】表示範囲の変更の具体例を示す図である。
図6B】表示範囲の変更の具体例を示す図である。
図7A】表示範囲の変更の具体例を示す図である。
図7B】表示範囲の変更の具体例を示す図である。
図8A】撮像装置の操作者に画像の拡大を指示する画面の例である。
図8B】撮像装置の操作者に画像の拡大を指示する画面の例である。
図8C】撮像装置の操作者に画像を「明るく」するよう指示する画面の例である。
図9】作業画像制御処理の手順を説明するフローチャートである。
図10】第2実施形態の作業画像制御システムの全体構成図である。
図11】第2実施形態において、視線変化の判定処理の手順を説明するフローチャートである。
図12A】第2実施形態において、表示範囲が切換えられる例を示す図である。
図12B】第2実施形態において、表示範囲が切換えられる例を示す図である。
図13】第2実施形態において、表示範囲が切換えられる例を示す図である。
図14】第3実施形態の作業画像制御システムの全体構成図である。
図15】第3実施形態において、機械学習部による推論モデルの生成処理を説明するフローチャートである。
図16】第3実施形態において、推論モデル生成を図式化した図である。
図17】第3実施形態において、機械学習部による処理をモデル化した図である。
【発明を実施するための形態】
【0009】
以下、図面に従って本発明の実施形態を説明する。図1は、作業画像制御システム1の全体構成図である。
【0010】
作業画像制御システム1は、作業中の画像(以下、作業画像とも呼ぶ)をリアルタイムで表示して、作業者が作業画像を見ながら作業することを援助するシステムである。作業画像制御システム1は、外部から直接に観察できない内部部位での作業に活用される。内部部位での作業とは、例えば、医療分野、バイオテクノロジ分野、配管内の精密作業等の分野における作業である。
【0011】
作業画像制御システム1は、作業画像制御装置10、撮像装置20及び表示装置30を含む。作業画像制御装置10は、リアルタイムで表示される作業中の画像を見ながら作業を行う作業者を支援する。作業画像制御装置10は、表示装置30に表示される作業画像の範囲を制御して、作業に適した画像を表示装置30に提供する。具体的には、作業画像制御装置10は、作業内容を判定し、判定した作業内容あるいは作業箇所に応じて、表示される作業画像のサイズや方向を制御する。作業画像制御システムは、作業支援制御システムとも呼び、作業画像制御装置10を作業支援制御装置とも呼ぶ。
【0012】
また、作業画像制御装置10は、撮像装置20で取得された画像や音声等を作業の証拠(作業エビデンス)として記録する。
【0013】
作業画像制御装置10は、制御部100、画像取得部102、表示範囲制御部110、作業DB130、記録制御部140、エビデンス記録部150、通信部160、収音部165及び時計170を有する。
【0014】
制御部100は、作業画像制御装置10の全体を統括的に制御する。画像取得部102は、外部機器、例えば撮像装置20から作業画像を取得する。表示範囲制御部110は、表示される作業画像の範囲を制御する。表示範囲制御部110は、第1作業判定部112と表示範囲設定部116を有する。
【0015】
第1作業判定部112は、作業画像や音声や作業時間等に基づいて、作業内容を判定する。第1作業判定部112は、作業画像中で使用されているツール500(工具、手術器具)の種類やツール500の動きによって、作業内容を判定する。例えば、第1作業判定部112は、作業画像から画像処理によってツール500を検出して、後述する画像DB130aを参照してツールの種類を推定する。そして、第1作業判定部112は、作業画像から検出されたツール500の種類と、作業の各段階で使用される予定のツール500の種類とを比較して、作業画像に対応する作業の段階を判定する。また、第1作業判定部112は、ツール500の動きや音声等を参考にして、後述する作業内容DB130aと比較して、作業の段階を判定してもよい。第1作業判定部112は、図3でも説明する。
【0016】
表示範囲設定部116は、第1作業判定部112で判定された作業内容に応じて、表示される画像範囲を設定する。表示範囲設定部116には、第1表示範囲設定部116aと第2表示範囲設定部116bの2つの異なる方式がある。なお、表示範囲設定部116は、第1表示範囲設定部116aと第2表示範囲設定部116bのいずれか1つだけを備えていても良いし、第1表示範囲設定部116aと第2表示範囲設定部116bの両方を備え、選択的に使い分けてもよい。
【0017】
作業画像を表示せずとも、この構成は有効で、作業が正しく行われたかの作業チェックやエビデンス作成用にも利用が可能である。つまり、作業用の表示をはじめ、作業を支援するための作業支援制御装置ともいえる。表示される画像の範囲やガイドやアドバイスの表示が、作業の進行や内容に対応して、切換えられることが求められる。例えば、表示する範囲にしても、作業開始時は、作業対象の全体を確認するため広い範囲の表示が望ましく、その後細かい部位の切断時には、その部位が拡大して表示されることが望ましい。
【0018】
画像範囲の切換えのためには、カメラの画角操作あるいは表示範囲の拡大・縮小の操作が必要になる。通常、作業者は、両手を作業ツールの操作に使っているので、カメラの画角を切換えるためには、作業を中断しなければならない。表示範囲設定部116によって、作業者が作業を中断しないでも、作業の進行に応じて適切な作業画像が表示される。
【0019】
第1表示範囲設定部116aは、判定された作業内容に応じて、表示される作業画像の範囲を設定し、設定した作業画像の範囲に対応して、撮像装置20に撮影範囲(画角や方向)の変更を指示する。第1表示範囲設定部116aの詳細は、図3で説明する。
【0020】
第2表示範囲設定部116bは、判定された作業内容に応じて、表示される作業画像の範囲を設定し、設定した作業画像の範囲の画像を作業画像から切出して、表示される作業画像(表示用作業画像とも呼ぶ)を生成する。第2表示範囲設定部116bの詳細は、図4で説明する。
【0021】
作業DB130は、実施される作業に関する具体的なデータを予めまとめて蓄積したものである。作業内容が、例えば、管内の異物除去であれば、この管内の異物除去に関する過去のデータが、作業DB130に格納される。作業DB130には、画像DB130a、作業内容DB130b及び対象物情報130cが含まれる。画像DB130aは、ツール500(工具、手術器具)の画像が含まれる。作業内容DB130bは、実施される作業の内容や計画等が含まれる。対象物情報130cは、例えば、作業(検査)の対象の情報が含まれる。
【0022】
図5は、作業内容DB130bの具体的なテーブルの例である。例えば、作業内容DB130bとして、作業名、作業ステップ名、ガイド情報、検出情報(予定作業時間、使用ツール)が含まれる。作業ステップ名は、作業が複数の工程から構成される場合に、作業の各工程の名称を順番に示すものである。ガイド情報は、各作業ステップにおける作業画像のサンプルである。予定作業時間は、各作業ステップの作業で費やされる平均的な時間である。使用ツールは、各作業ステップで使用されるツール500の名称である。作業画像のサンプルやツール500の画像は、画像DB130aに記録されている。
【0023】
なお、本例では、ツールが何かという検出を前提にしているが、ツールの動き情報などもテーブルに追加してもよい。それによって、実際にどのようにツールが使われているかの情報も加味して、より正確な作業支援が可能となる。または、後述のように、この時、作業者の目の動きを検出して作業用画像のどこを見ていたかの情報なども加味したテーブルにしてもよい。
【0024】
記録制御部140は、作業画像、作業の音声、各作業ステップに費やした実作業時間等(作業エビデンス)をエビデンス記録部150に記録する。エビデンス記録部150には、画像データ150a、音声データ150b及び補助データ150cが記録される。音声認識で発話によって機械に命令もできるので、この状況で何を言ったかといった情報も図5のテーブルに反映させてもよい。
【0025】
画像データ150aには、例えば、作業画像が記録される。作業画像は、動画または静止画、動画静止画の混在のいずれでも良い。音声データ150bには、作業中の音声が記録される。音声は、作業者あるいは補助者の音声である。音声は、作業画像制御装置10、撮像装置20または表示装置30のいずれで収音された音声でもよい。補助データ150cには、各作業ステップに費やした実作業時間や作業者のコメント等が記録される。
【0026】
通信部160は、作業画像制御装置10と撮像装置20及び表示装置30間で、各種データの送受信を制御する。通信部160による通信の方式は、有線・無線いずれでも良い。収音部165は、マイクを有し、音声を収音する。時計170は、時間情報を制御部100に通知する。
【0027】
撮像装置20は、制御部200、撮像部210、撮像制御部220、デジタルズーム処理部230、通信部260及び収音部265を有する。制御部200は、例えばCPU(Central Processing Unit)によるソフトウェア処理によって、撮像装置20の全体を統括的に制御する。撮像部210は、レンズ部、レンズ駆動部及び撮像処理部等を含み、撮影画像を生成する。
【0028】
撮像制御部220は、レンズ駆動部を制御して、焦点距離、ピント位置、絞り及びシャッター速等を制御する。また、撮像制御部220は、撮像装置20に設けられた操作部からの入力操作だけでなく、作業画像制御装置10から通信部260経由での指示に応じて、焦点距離(画角)等を制御する。すなわち、撮像装置20は、作業画像制御装置10の第1表示範囲設定部116aから、撮影範囲の変更指示(拡大、縮小)を受けた場合には、撮像制御部220が撮影範囲の変更指示に対応して画角(焦点距離)を変更する。
【0029】
デジタルズーム処理部230は、画像の一部を切出して拡大画像を生成する。デジタルズーム処理部230は、作業画像制御装置10からの撮影範囲のサイズや位置の変更指示を受けた場合には、変更指示に対応して、画像の一部を切出して画像を生成する。生成された画像は、作業画像として作業画像制御装置10に送信される。
【0030】
なお、撮像装置20は、作業画像制御装置10からの変更指示に対応して、撮像制御部220による光学的なズーム処理とデジタルズーム処理部230による処理を単独で使用するか、あるいは組合わせて使用するかを選択してもよい。すなわち、レンズ部の画角を常に広角に設定しておき、デジタルズーム処理によって、撮影範囲のサイズや位置の変更を実現するようにしてもよい。この画像は、作業者確認用に用いてもよいし、遠隔の監督者が確認できるように表示してもよいし、表示せずに、証拠として記録するだけでも有用である。
【0031】
また、作業画像制御装置10は、画角とデジタルズームの切出し範囲をそれぞれ撮像装置20に直接指示してもよい。あるいは、作業画像制御装置10が、撮影範囲のサイズや位置の変更指示を撮像装置20に通知し、撮像装置20の制御部200が、対応する画角の大きさとデジタルズームの条件を算出して、撮像制御部220とデジタルズーム処理部230を制御して、撮影範囲の変更を実現してもよい。
【0032】
通信部260は、撮像装置20と作業画像制御装置10間のデータの送受信を制御する。収音部265は、マイクを内蔵し、音声を収音する。制御部200は、動画または静止画を撮影して、動画であれば音声を付帯して、作業画像として作業画像制御装置10に送信する。
【0033】
表示装置30は、制御部300、表示部310、通信部360、収音部365及びスピーカ370を有する。制御部300は、例えばCPUによるソフトウェア処理によって、表示装置30の全体を統括的に制御する。表示部310は、LCD等の表示デバイスで、作業画像を表示する。
【0034】
通信部360は、表示装置30と作業画像制御装置10間の通信を制御する。収音部365は、マイクを内蔵し、音声を収音する。スピーカ370は、動画音声等を出力する。なお、撮像装置20の通信部260と表示装置30の通信部360とが、通信接続されていてもよい。
【0035】
図2は、作業画像制御装置10の制御部100及び表示範囲制御部110に関するハードウェアブロック図である。作業画像制御装置10は、CPU180、RAM182、ROM184、通信IF186及びバス188を有する。
【0036】
CPU(Central Processing Unit)180は、ROM184から制御プログラムを読込み、読込んだ制御プログラムに従ったソフトウェア処理によって、各種制御処理を実行する。RAM182は、制御プログラムや、撮影画像等の各種データを一時的に記憶するワークエリアである。RAM182は、例えばDRAM(Dynamic Random Access Memory)である。
【0037】
ROM184は、制御プログラムや各種データ等を記憶する不揮発性の記憶部である。ROM184は、例えば、HDD(hard disk drive)やフラッシュメモリである。ROM184は、作業DB130及びエビデンス記録部150を実現する。また、ROM184には、作業者用の作業ガイドも格納される。作業ガイドについては、図9で後述する。CPU180は、RAM182、ROM184等々とバス188で接続される。通信IF186は、通信部160を実現する。
【0038】
図3は、表示範囲制御部110の第1の構成を説明するブロック図である。第1の構成は、表示範囲設定部116が第1表示範囲設定部116aの場合である。
【0039】
通信部160を経由して、作業画像取得部102によって、作業画像が取得される。第1作業判定部112は、作業画像中で使用されているツール500(工具、手術器具)の種類や作業画像中でのツール500の動きによって、作業内容を判定する。例えば、第1作業判定部112は、画像DB130aを参照して、作業画像中で使用されているツール500(工具、手術器具)の種類や作業内容を判定する。
【0040】
そして、第1表示範囲設定部116aは、判定された作業内容に応じて、表示される作業画像の範囲を設定し、撮像装置20に撮影範囲の変更を指示する。第1表示範囲設定部116aからの撮影範囲変更指示が、通信部160を経由して、撮像装置20に送信される。
【0041】
撮像装置20では、通信部260を経由して撮影範囲変更指示が受信され、制御部200に通知される。制御部200は、撮影範囲変更指示を撮像制御部220やデジタルズーム処理部230に通知する。例えば、撮像制御部220では、撮影範囲変更指示に対応して、撮像部210の画角を変更する。すなわち、撮影範囲変更指示が撮影範囲を小さくする(すなわち、一部を拡大する)指示の場合には、撮像制御部220は、撮像部210の画角を狭くするよう制御する。また、デジタルズーム処理部230であれば、撮影範囲変更指示に対応した位置や範囲の画像を切出す。
【0042】
図4は、表示範囲制御部110の第2の構成を説明するブロック図である。第2の構成は、表示範囲設定部116が第2表示範囲設定部116bの場合である。前述のように、第2表示範囲設定部116bは、判定された作業内容に応じて、表示される作業画像の範囲を設定する。そして、第2表示範囲設定部116bは、撮像装置20で撮影された画像から表示される作業画像の範囲を切出して、表示用作業画像を生成する。第2表示範囲設定部116bによる処理は、デジタルズーム処理部230による処理と同等である。作業画像制御装置10は、生成された表示用作業画像を、通信部160から表示装置30に出力する。表示装置30は、生成された表示用作業画像を表示部310に表示する。
【0043】
図6A図6B図7A図7Bは、表示範囲が変更される様子を具体的に示す図である。図6A図7Aは、検査作業中のパイプの断面図である。検査物は、内部に基盤が配置されたパイプ材である。図6Aは、パイプに穴を開けた後、撮像装置20の先端とカッター500aとプライヤ500bを内部に挿入し、内部の基盤に付着した異物をプライヤ500bでつかんだ状態を示す。
【0044】
図6Bは、図6Aの作業中の画像を示す図である。画像D1は、プライヤ500bで異物をつかんだ状態である。画像D2は、プライヤ500bでつかんだ異物を引き剥がして、カッター500aで、切除しようとする状態である。プライヤ500bで、異物をしっかりつかむまでの作業では、異物だけでなく、異物の周囲も画面内に含まれることが、望ましい。
【0045】
図7Aは、異物切除作業中のパイプの断面図である。異物切除の作業では、作業者は異物の切除位置にカッター500aを移動して、異物を切除する。この作業では、カッター500aを正確な位置で切除するため、異物の拡大画像が表示されることが、望ましい。そこで、第1作業判定部112が、画像DB130aや作業内容DB130bを参照して、プライヤ500bで異物をつかんだことを判定する(図6Bの画像D2)。すると、表示範囲設定部116は、表示される画像範囲として、画像DB130aや作業内容DB130bを参照して、「異物とカッター500a」の範囲を設定する。
【0046】
表示範囲設定部116が第1表示範囲設定部116aである場合には、設定された「異物とカッター500a」の範囲に応じて、撮像装置20に撮影範囲(画角や方向)の変更を指示する。また、表示範囲設定部116が第2表示範囲設定部116bである場合には、設定された「異物とカッター500a」の範囲に対応する範囲を撮影画像から切出して、表示用作業画像を生成する。図7Bの画像D3は、表示部310に表示される画像の例である。異物とカッター500aの先端が拡大された画像である。拡大画像は、作業時やチェック時の確認用として重要である。
【0047】
また、撮像装置20が、作業者ではなく操作者によって操作されている場合には、表示範囲設定部116は、撮像装置20の操作者に、設定した作業画像の範囲を指示してもよい。撮像装置20の操作者は、スコーピストとも呼ばれる。表示範囲設定部116は、撮像装置20の操作者に撮像装置20の操作をガイドするものとして、操作者用ガイド部116cを有する。
【0048】
図8A図8B図8Cは、操作者用ガイド部116cによる例を説明する図である。図8A図8Bは、撮像装置20の操作者に画像の拡大を指示する画面の例である。図8Aの画像D10は、作業者がプライヤ500bでつかんだ異物を引き剥がして、カッター500aで、切除しようとする状態である。図6Bの画像D2と同様な場面の画像である。
【0049】
第1作業判定部112が、この状態を判定すると、操作者用ガイド部116cは、拡大すべき範囲として、画面にガイドGを表示する。図8Aの画像D10に示すように、異物の回りに、破線のガイドGが表示される。
図8Bは、画像D10を見た操作者が、異物が拡大表示されるように、撮像装置20の方向と画角を変更した状態である。図8Aの画像D11は、図8Bの状態で撮影され、表示された画像である。画像D11では、異物が拡大されて表示される。
【0050】
また、作業画像の範囲だけでなく、撮影条件の変更を画面に指示してもよい。すなわち、第1作業判定部112が、作業内容に応じた撮影条件を判定して、操作者用ガイド部116cが、撮影条件の変更を画面に指示してもよい。図8Cの画像D12は、撮像装置20の操作者に、操作者用ガイドとして、画像を「明るく」するよう指示する画面の例である。これを見て、撮像装置20の操作者は、例えば、撮像装置20の絞りを開ける。
【0051】
操作者用ガイド部116cによれば、撮像装置20の操作者が、画面の指示に基づき、撮像装置20の撮影方向や画角を調整するので、作業者は、操作者へ指示をする必要がなく、作業に集中できる。また、撮像装置20の操作者へ口頭で指示するのが難しい作業環境でも、指示が確実に伝わる。また、撮像装置の操作者が、その作業に不慣れであっても、大きな支障なく、作業を進行させることができる。また、操作者用ガイド部116cによれば、撮像装置20や表示装置30が、作業画像制御装置10から制御されなくてもよくなる。
【0052】
図9は、作業画像制御処理の手順を説明するフローチャートである。作業画像制御装置10は、撮像装置20に対して通信設定し、ログイン設定を実行する(ステップS10)。対応して、撮像装置20も作業画像制御装置10に対して通信設定し、ログイン設定を実行する(ステップT10)。
【0053】
作業画像制御装置10の制御部100は、計時、作業画像取得、音声記録を開始する(ステップS12)。撮像装置20は、作業画像制御装置10からの撮像指示を受けて、動画像の撮像処理を行い(ステップT12)、作業画像として撮像結果(音声付動画像)を送信する(ステップT14)。
【0054】
作業画像制御装置10の画像取得部102は、撮像装置20から送信された作業画像(撮像結果)を取得する。制御部100は、取得した作業画像を表示装置30に出力し、表示装置30の表示部310に作業画像が表示される。撮像装置20は、作業画像制御装置10からの静止画撮影の指示を待つ(ステップT16)。
【0055】
第1作業判定部112は、撮影された使用ツールの種類や動作等(時間や音声が含まれてもよい)に基づいて、作業ステップを判定する(ステップS14)。制御部100は、作業ステップが判定されたかを判断する(ステップS16)。制御部100は、作業ステップが判定されていないと判断すると(ステップS16のNO)、ステップS12に戻る。
【0056】
制御部100は、作業ステップが判定されたと判断すると(ステップS16のYES)、作業ステップの判定結果を表示し、必要に応じて修正する(ステップS18)。作業者は、表示された作業ステップが間違っている場合には、訂正を入力する。
【0057】
制御部100は、時刻と作業ステップを関連づけする(ステップS20)。制御部100は、作業者から音声や視線によってアドバイスの表示要求があったかを判断する(ステップS22)。アドバイスとは、作業者への作業アドバイス(作業の手順や、使用すべきツール、検査方法等)であって、例えば、アドバイス情報はROM184に格納される。
【0058】
制御部100は、作業者から音声や視線によってアドバイス要求があったと判断すると(ステップS22のYES)、作業ステップに応じたアドバイス情報を表示する(ステップS24)。
【0059】
後述する第2実施形態で説明するように、表示装置30に視線検知用の撮像部が設けられている場合には、制御部100は、表示装置30からの通知によって、作業者から視線によってアドバイス要求の有無を判断することができる。例えば、画面に表示されたアドバイス表示アイコンに対して表示装置30が作業者の視線を検知した場合に、表示装置30は、作業画像制御装置10にアドバイス要求有の通知を送信する。制御部100は、作業者から音声や視線によってアドバイス要求がないと判断すると(ステップS22のNO)、ステップS26に進む。
【0060】
第1作業判定部112は、画面内で作業(処置)がされているかを判断する(ステップS26)。第1作業判定部112は、画面内で作業(処置)がされていないと判断する(ステップS26のNO)、ステップS34に進む。
【0061】
第1作業判定部112は、画面内で作業がされていると判断すると(ステップS26のYES)、作業が画面外に向かっているかを判定する(ステップS28)。第1作業判定部112は、作業が画面外に向かっていると判定すると(ステップS28のYES)、表示範囲設定部116は、表示される画像範囲の拡大を設定する(ステップS30)。すなわち、表示範囲設定部116が第1表示範囲設定部116aの場合には、撮像装置20に、画角を広くする(焦点距離を短くする)よう指示する。また、表示範囲設定部116が第2表示範囲設定部116bの場合には、広い範囲の表示用作業画像を生成する。
【0062】
第1作業判定部112は、作業が画面外に向かっていないと判定すると(ステップS28のNO)、表示範囲設定部116は、表示される画像範囲の縮小を設定する(ステップS32)。すなわち、表示範囲設定部116が第1表示範囲設定部116aの場合には、撮像装置20に、画角を狭める(焦点距離を長くする)よう指示する。表示範囲設定部116が第2表示範囲設定部116bの場合には、狭い範囲の表示用作業画像を生成する。
制御部100は、ステップS30あるいはステップS32で、表示範囲が変更された作業画像を表示装置30に送信し、表示範囲が変更された作業画像は表示装置30で表示される。
【0063】
制御部100は、作業者から画像取得の操作がされたかを判断する(ステップS34)。ここでの画像取得とは、作業画像として静止画像を取得することである。制御部100は、作業者から画像取得の操作がされたと判断すると(ステップS34のYES)、撮像装置20に静止画撮影の指示を送信する。制御部100は、作業者から画像取得の操作がされていないと判断すると(ステップS34のNO)、ステップS38に進む。
【0064】
撮像装置20は、静止画撮影の指示を受信すると静止画撮影を行う(ステップT16のYES)。撮像装置20は、静止画撮影を行い、撮影された静止画像を、撮影時刻と関連付けて作業画像制御装置10に送信する(ステップT18)。撮像装置20は、静止画撮影の指示を受信しないと(ステップT16のNO)、ステップT12に戻る。
【0065】
画像取得部102は、送信された静止画像(撮影時刻付き)を取得する。記録制御部140は、取得された静止画像を作業ステップ情報と共にエビデンス記録部150に記録する(ステップS36)。静止画像は、画像データ150aとして記録され、作業ステップ情報は補助データ150cとして記録される。また、静止画撮影タイミングの前後の音声も、音声データ150bとして記録されてもよい。
【0066】
制御部100は、作業が終了したかを判断する(ステップS38)。制御部100は、例えば、操作部(不図示)から終了ボタンが押下されたら、作業終了と判断する。制御部100は、作業が終了していないと判断すると(ステップS38のNO)、ステップS12に戻る。制御部100は、作業が終了したと判断すると(ステップS38のYES)、作業処理を終了する。
【0067】
[第2実施形態]
図10は、第2実施形態の作業画像制御システム1bの全体構成図である。作業画像制御システム1bでは、表示される作業画像に対する作業者の視線が検知され、作業者の注目箇所が判定されて、作業者の視線に対応して表示される作業画像の範囲を設定される。第1実施形態の作業画像制御システム1との相違点を中心に説明する。
【0068】
表示装置30には、撮像部380と視線検知部390が設けられる。撮像部380は、表示部310の上部や側部に設けられて、表示部310に対する作業者の顔、特に目を撮影する。視線検知部390は、撮像部380で撮影された画像に基づき、作業者の顔の向きや瞳の位置を分析して、表示装置30に表示される作業画像に対する、作業者の視線の位置を検知する。視線検知部390は、検知された作業画像に対する視線の位置を、通信部360経由で作業画像制御装置10に送信する。
【0069】
作業画像制御装置10には、第1作業判定部112に代えて、第2作業判定部114が設けられる。第2作業判定部114は、表示装置30で検知された作業画像に対する作業者の視線の位置を分布化し、視線位置の分布(視線位置分布とも呼ぶ)によって、作業画像の中で注目されている箇所を判定し、注目箇所が現在の作業箇所であると判定する。
【0070】
図11は、視線変化の判定処理の手順を説明するフローチャートである。なお、以下では、表示範囲設定部116は、第1表示範囲設定部116aまたは第2表示範囲設定部116bのいずれでもよい。
【0071】
視線検知部390は、作業者の黒目の位置を判定する(ステップS100)。視線検知部390は、撮像部380で撮影された作業者の顔画像を分析して、黒目の位置を判定する。視線検知部390は、判定した黒目の位置から、表示部310の画像に対する作業者の視線の位置を検知して、作業画像制御装置10に送信する。第2作業判定部114は、送信された視線の位置から、視線位置分布を判定する(ステップS102)。
【0072】
第2作業判定部114は、所定時間(例えば、10秒)での視線位置分布を作成する。第2作業判定部114は、所定時間経過したかを判断する(ステップS104)。第2作業判定部114は、所定時間経過していないと判断すると(ステップS104のNO)、ステップS102に戻る。
【0073】
第2作業判定部114は、所定時間経過したと判断すると(ステップS104のYES)、視線位置分布の変化を判定する(ステップS106)。例えば、第2作業判定部114は、前回の視線位置の分布と今回の視線位置の分布との差異を判定する。
【0074】
第2作業判定部114は、視線位置分布が狭まったかを判断する(ステップS108)。第2作業判定部114は、視線位置分布が狭まったと判断すると(ステップS108のYES)、狭まった視線位置分布が作業箇所になったと判定する。
【0075】
表示範囲設定部116は、狭まった視線位置分布を、表示される作業画像の範囲に設定する。すなわち、第1表示範囲設定部116aの場合であれば、撮像装置20に、狭まった視線位置分布に応じて、画角を狭めるよう指示する。表示装置30には、狭まった視線位置分布に対応する画像(拡大された画像)が、表示される(ステップS110)。なお、この拡大された画像は、表示装置30には表示はされずに、作業画像制御装置10でエビデンス画像として記録されるだけにしてもよい。
【0076】
第2作業判定部114は、視線位置分布が狭まっていないと判断すると(ステップS108のNO)、視線位置分布が広がったかを判断する(ステップS112)。第2作業判定部114は、視線位置分布が広がっていないと判断すると(ステップS112のNO)、表示範囲はそのまま維持される(ステップS114)。
【0077】
第2作業判定部114は、視線位置分布が広がったと判断すると(ステップS112のYES)、表示範囲設定部116は、表示される作業画像の範囲を広げる設定をする。表示装置30には、広い範囲の画像が表示される(ステップS116)。
【0078】
図12A図12B図13は、視線位置分布の変化により、表示範囲が切換えられる例を示す図である。図12A図12Bは、作業の様子を示す図である。作業者が、検査物の内部にカッター500aとプライヤ500bを差し入れて、内部の異物を取り除く作業を行っている状態である。検査物の内部には、撮像装置20のスコープ部が挿入される。表示装置30の上部に撮像部380が配置される。
【0079】
撮像装置20で撮影された検査物の内部の画像が、表示装置30の表示部310に表示される。作業者は、表示装置30の画像を見ながら、プライヤ500bで異物をつまみ、カッター500aで異物を切除する作業を行う。
【0080】
図12Aは、作業者がプライヤ500bで異物をつかむ作業をしている状態である。図13の画像D20は、図12Aの状態における、視線位置Eと視線位置分布(破線の四角枠)を示す図である。視線位置Eの各点が、検知された視線位置を示す。なお、図13に示す視線位置Eや視線位置分布は、説明用の図示であって、視線位置Eや視線位置分布は実際の画面には表示されなくてもよい。
【0081】
画像D20は、作業者がプライヤ500bを異物の位置に近づけている状態である。第2作業判定部114は、各視線位置Eから視線位置分布の図(分布1)を生成する。画像D20の状態では、作業者は、画面の各所を見ながら作業を進めるので、視線位置Eは画面全体に分布する。
【0082】
画像D21は、作業者がプライヤ500bで異物をつかんだ状態である。第2作業判定部114は、各視線位置Eから視線位置分布の図(分布2)を生成する。画像D21の状態では、作業者は、プライヤ500bと異物に集中して作業を進めるので、視線位置Eはプライヤ500bと異物の回りに集中分布することになる。
【0083】
第2作業判定部114は、分布1と分布2を判定し(ステップS102の処理)、分布1と分布2の変化を判定し(ステップS106の処理)する。そして、第2作業判定部114は、視線位置分布が狭まったと判断し(ステップS108の処理)、表示範囲設定部116は、分布2の範囲を拡大して表示する。図12Bは表示範囲が切換わった後の画面である。
【0084】
[第3実施形態]
これまでの説明では、作業判定の方式として、ツールの種類や動きを判定する方式と、作業者の視線位置分布で作業箇所を特定する方式を、それぞれ説明した。作業内容に応じて作業画像の範囲を制御する方式は、これに限るものではなく、機械学習でも可能である。第3実施形態として、機械学習によって、表示する作業画像の範囲を制御する例を説明する。
【0085】
図14は、第3実施形態の作業画像制御システム1cの全体図である。第3実施形態の作業画像制御システム1cは、第1実施形態の作業画像制御システム1の表示範囲制御部110が、機械学習部120と推論モデル122に置き換わったものである。また、推論モデル122を生成する推論モデル生成装置400が追加される。推論モデル生成装置400は、作業画像制御装置10に通信可能に接続される。推論モデル生成装置400は、例えば、PC(Personal Computer)である。機械学習部120、推論モデル122及び推論モデル生成装置400以外は、第1実施形態の作業画像制御システム1と同じである。
【0086】
推論モデル生成装置400は、過去の作業画像(学習用画像あるいは教師データ等と呼ばれる)と、この作業画像の作業内容に対応する表示される作業画像の範囲との関係を学習して推論モデル122(学習結果とも呼ばれる)を生成する。推論モデル生成装置400は、生成した推論モデル122を、作業画像制御装置10に送信する。作業画像制御装置10は、受信した推論モデル122を、例えば、ROM184に格納する。
【0087】
そして、機械学習部120は、生成された推論モデル122に基づいて、作業画像の作業内容に対して、推奨する「表示される作業画像の範囲」を推定する。そして、制御部100は、機械学習部120で推定された「表示される作業画像の範囲」に基づいて、撮像装置20に撮影範囲(画角や方向)の変更を指示する。あるいは、制御部100は、機械学習部120で推定された「表示される作業画像の範囲」を作業画像から切出して、表示用作業画像を生成する。「表示される作業画像の範囲」の推定後については、第1実施形態の表示範囲設定部116で説明した処理と同等であるので、詳細は省略する。
【0088】
なお、機械学習部120が行う機械学習は、例えばサポートベクターマシン(SVM)、クラスタリング、ニューラルネットワーク又は決定木学習など公知の技術(手法)を用いて実現される。
【0089】
図15は、推論モデル122の生成処理を説明するフローチャートである。推論モデル122は、推論モデル生成装置400によって生成される。推論モデル生成装置400は、管理者等から学習依頼があったかを判断する(ステップS200)。推論モデル生成装置400は、学習依頼がないと判断すると(ステップS200のNO)、本処理を終了する。
【0090】
推論モデル生成装置400は、学習依頼があったと判断すると(ステップS200のYES)、様々な作業画像(ツールが写り込んだものが好ましい)を学習用画像(教師データとも呼ばれる)として準備する(ステップS202)。作業画像には、それぞれ撮像パラメータとして画角データ、あるいは優先的に表示や記録がなさせる範囲の情報が付帯されている。
【0091】
推論モデル生成装置400は、用意された学習用画像の中から、必要に応じて学習対象を設定する(ステップS204)。この時、作業画像の範囲の情報を教師データに手動で入力しても良い。また、図13で説明した作業者の見ていた位置の情報などを教師データに手動で入力しても良い。あるいは、推論モデル生成装置400では、いくつかの教師データの作業画像の範囲の情報を手動で設定し、後は、作業者の見ていた位置の情報を教師データの一部として使ってもよい。
【0092】
このようにして学習された学習済みモデル(推論モデル)が、作業画像の中で検出されたツールの種類や作業者の視線に基づき作業内容を判定するので、作業中に作業者が余計な操作を行うことなく、作業者に対して表示やガイドやエビデンス取得などの作業支援を行うことが可能となる。
【0093】
また、推論モデル生成装置400では、単に画像のみならず、作業時の作業者の視線の情報を入力して推論させてもよい。また、推論モデル生成装置400では、ツールの動きを加味した学習をさせてもよい。
【0094】
推論モデル生成装置400は、学習処理を実行して、推論モデル122を生成する(ステップS206)(図16参照)。
【0095】
推論モデル生成装置400は、推論モデル122の信頼性が所定値以上であるかを判断する(ステップS208)。推論モデル生成装置400は、推論モデル122の信頼性が所定値以上であると判断すると(ステップS208のYES)、推論モデル122を作業画像制御装置10に送信する(ステップS210)。送信された推論モデル122は、作業画像制御装置10の、例えば、ROM184に格納される。
【0096】
推論モデル生成装置400は、推論モデル122の信頼性が所定値以上ではないと判断すると(ステップS208のNO)、学習用画像に別な情報を加味したり(ステップS212)、あるいは、学習対象を再設定する(ステップS214)。
【0097】
推論モデル生成装置400は、推論モデル化の生成処理の回数が所定回数以上であるかを判断する(ステップS216)。推論モデル生成装置400は、推論モデル化の生成処理の回数が所定回数以上でないと判断すると(ステップS216のNO)、ステップS206に戻り、再度、推論モデル生成を行う。
【0098】
推論モデル生成装置400は、推論モデル化の生成処理の回数が所定回数以上であると判断すると(ステップS216のYES)、これまで生成した推論モデル122の中で、最も信頼性の高い推論モデル122を作業画像制御装置10に送信する(ステップS218)。以上で、推論モデル生成処理を終了する。
【0099】
図17は、機械学習部120による処理をモデル化した図である。機械学習部120は、例えば、入力層、中間層、出力層を備える多層構造のニューラルネットワークから構成される。機械学習部120は、撮像装置20で撮影された作業画像を生成された推論モデル122に入力して、出力として、例えば、画角を取得する。
【0100】
また、機械学習部120を第2実施形態の表示範囲制御部110に適用してもよい。この場合には、推論モデル生成装置400は、推論モデル122として、作業者の視線分布の状態から作業画像の撮影画角や撮影方向を推定するモデルを生成する。機械学習部120は、生成された推論モデル122に作業者の視線分布を入力すれば、変更すべき作業画像の撮影画角や撮影方向を取得することができる。前述のように、こうしたものも合わせて学習させておけば、撮像されている画像だけを入力として重要画像範囲を推論することもできるし、撮像されている画像と作業者の目の向きを入力として重要画像範囲を推論することもできる。
【0101】
以上、作業画像制御システムによれば、作業の進行合わせて、表示される作業画像の範囲やサイズが、作業内容に適したものに自動的に切換えられるので、作業者は、撮像装置(カメラ)の操作に手を取られることなく、作業に集中することができる。
【0102】
また、第1実施形態の作業画像制御システム1によれば、ツールの種類や動きに応じて、表示される作業画像の範囲が変更されるので、作業内容に応じた範囲が表示される。また、第2実施形態の作業画像制御システム1bによれば、作業者の視線分布に応じて、表示される作業画像の範囲が変更されるので、使用ツールの変更が少ない作業でも、適切に表示範囲の変更がなされる。
【0103】
なお、作業画像制御装置の制御部100と表示範囲制御部110は、プログラムを読込んだCPUによるソフトウェア処理で実現されると説明したが、一部あるいは全部をゲートアレイ等のハードウェアで実現してもよい。
【0104】
なお、実施例中で、「部」(セクションやユニット)として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、CPUなどのプロセッサ、あるいはFPGAなどシーケンサを組み合わせて構成されてもよい。
【0105】
また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、ブルートゥース(登録商標)やWiFi、電話回線などで行えばよく、USBなどで行っても良い。専用の回路、汎用の回路や制御部を一体としてASICとして構成してもよい。
【0106】
また、レンズ駆動部などは、様々なアクチュエータと、必要に応じて移動用の連結メカニズムによって構成されており、ドライバ回路によってアクチュエータが作動する。このドライブ回路もまた、特定のプログラムに従ってマイコンやASICなどが制御する。こうした制御は各種センサやその周辺回路が出力する情報によって、詳細な補正、調整などが行われても良い。また、複数の装置、機器が連携して特定の機能を達成しているので、これらの機器の機能は、別の機器が相互に代用してもよいし、さらなる機器を追加して、必要とする機能をその機器が代用するような改良も可能である。
【0107】
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用ができることはもちろんである。
【符号の説明】
【0108】
1 作業画像制御システム
10 作業画像制御装置
20 撮像装置
30 表示装置
100 制御部
102 作業画像取得部
110 表示範囲制御部
112 第1作業判定部
114 第2作業判定部
116 表示範囲設定部
116a 第1表示範囲設定部
116b 第2表示範囲設定部
120 機械学習部
122 推論モデル
130 作業DB
140 記録制御部
150 エビデンス記録部
160 通信部
165 収音部
170 時計
180 CPU
182 RAM
184 ROM
186 通信IF
188 バス
200 制御部
210 撮像部
220 撮像制御部
230 デジタルズーム処理部
260 通信部
265 収音部
300 制御部
310 表示部
360 通信部
365 収音部
370 スピーカ
380 撮像部
390 視線検知部
400 推論モデル生成装置
500 ツール
図1
図2
図3
図4
図5
図6A
図6B
図7A
図7B
図8A
図8B
図8C
図9
図10
図11
図12A
図12B
図13
図14
図15
図16
図17