TaiLexi AI日本の判例・法令
← ホーム
審決特許庁不成立

特許庁審決 令和5年10月3日

不服2022-012600 ロボットシステム、ロボットの制御方法、機械学習装置およびモデル生成方法

結論

本件審判の請求は、成り立たない。

続きを見る ↓

この資料について AI に質問

機関
特許庁
年月日
令和5年10月3日 (2023-10-03)
事件番号
不服2022-012600
事件名
ロボットシステム、ロボットの制御方法、機械学習装置およびモデル生成方法
種類・結果
審決 不成立
掲載
—
争点・税目
拒絶査定不服審判 / 特許
分野
知的財産

結論

本件審判の請求は、成り立たない。

AI 要約AI

要旨

  • ロボットシステムの発明について、ニューラルネットワークに入力するデータを複数の物体の第1の画像情報等とした構成は、引用発明から当業者が容易に想到し得たとして、進歩性を否定した事例。
事案の概要・争点・判断などを表示

事案の概要

  • 本件は、平成27年11月30日出願(優先権主張 平成27年7月31日)の特願2015-233857号の一部を新たな特許出願とした特願2017-10506号の一部を、さらに令和2年7月14日に新たな特許出願としたものである。
  • 令和4年4月28日付けの拒絶査定に対し、令和4年8月10日に拒絶査定不服審判を請求した。令和5年5月16日付けの当審拒絶理由(進歩性)に対し、令和5年7月7日に意見書・手続補正書を提出した。
  • 本件発明(請求項1)は、ハンド部を備えるロボットと、計測器で取得された複数の物体の第1の画像情報等を含むデータを取得する観測部と、当該データを機械学習されたニューラルネットワークに入力して把持情報を決定する決定部と、制御装置とを備えるロボットシステムである。
  • 引用文献1(特開2013-52490号公報)には、バラ積みされたワークを計測するセンサと、計測特徴をニューラルネットワークに入力して把持位置姿勢等を決定するワーク取り出し装置が記載されている。

争点

  • 本件発明が引用発明に基づいて当業者が容易に発明をすることができたか否か。

判断

  • 引用発明は、センサで計測された複数のワークの画像情報から1つの物体を把持するための情報を出力する点で本件発明と一致する。どの程度の前処理を実行してニューラルネットワークに入力するかは、情報処理部の演算処理能力や求める出力情報等に応じて決定される設計事項といえる。
  • 引用文献1の段落【0009】には、複数の面領域の計測特徴を得て最も掴みやすそうなワークを優先的に掴むことが示唆されている。引用発明において、複数の面領域の計測特徴をニューラルネットワークに入力することや、前処理することなく画像情報そのものを入力することは、当業者であれば容易になし得た。
  • 本件発明の効果も引用文献1に基づき当業者が容易に予測し得たものにすぎない。請求人の主張(特徴抽出処理の最適化、情報処理部の負荷に関する主張)はいずれも首肯できない。
  • 本件発明は特許法第29条第2項により特許を受けることができず、他の請求項に係る発明について検討するまでもなく、本願は拒絶されるべきものである。

判旨(本文から引用)

  • 一般的に、どの程度の前処理を実行したうえでニューラルネットワークにいくつの情報を入力し、ニューラルネットワークからどのような情報を得たうえで最終的な出力情報を得るか(例えば、前処理の段階で把持する1つの物体の情報のみを抽出してその1つの物体に対してニューラルネットワークを適用するか、複数の物体の情報をまとめてニューラルネットワークを適用して、その結果から把持する1つの物体を決定するか、など。)は、その情報処理部の演算処理能力や求める出力情報、学習の精度等に応じて決定される、設計事項といえる。

結論

  • 本件審判の請求は、成り立たない。

AI が本文から作成した要約です。引用の際は本文をご確認ください。

当事者

請求人 ファナック株式会社(代理人 弁理士3名)/請求人 株式会社Preferred Networks(代理人 弁理士3名)

審判番号 不服2022-012600

請求人 ファナック株式会社(代理人 弁理士3名)

請求人 株式会社Preferred Networks(代理人 弁理士3名)

特願2020-120352「ロボットシステム、ロボットの制御方法、機械学習装置およびモデル生成方法」拒絶査定不服審判事件〔令和2年10月15日出願公開、特開2020-168719〕について、次のとおり審決する。

結 論

本件審判の請求は、成り立たない。

理 由

第1 出願手続の経緯

本件審判に係る出願は、平成27年11月30日(優先権主張 平成27年7月31日)に出願した特願2015-233857号の一部を、平成29年1月24日に新たな特許出願とした特願2017-10506号の一部を、さらに令和2年7月14日に新たな特許出願としたものであって、その手続の経緯は、概略、以下のとおりである。

令和2年8月6日  :手続補正書の提出

同年9月7日  :上申書・手続補正書の提出

令和3年8月3日  :手続補正書の提出

同年9月28日付け:拒絶理由の通知

同年12月6日  :意見書・手続補正書の提出

令和4年4月28日付け:拒絶査定

同年8月10日  :拒絶査定不服審判の請求

令和5年5月16日付け:当審による拒絶理由の通知

同年7月7日  :意見書・手続補正書の提出

第2 本件発明

本件の請求項1~39に係る発明は、令和5年7月7日に提出の手続補正書により補正された特許請求の範囲の請求項1~39に記載された事項により特定されるとおりのもの(以下、当該補正を「本件補正」という。)であって、本件補正後の請求項1に係る発明(以下「本件発明」という。)は、以下に記載のとおりである。

「 【請求項1】

ハンド部を備えるロボットと、

計測器で取得された複数の物体の第1の画像情報、および、前記第1の画像情報を処理することで得られた前記複数の物体の第2の画像情報の少なくともいずれかを含むデータを取得する観測部と、

前記複数の物体に関する前記データを機械学習されたニューラルネットワークに入力することにより、前記ハンド部により前記複数の物体のうちのいずれかの物体を把持するための情報を決定する決定部と、

前記決定部で決定された情報に基づいて、前記物体を把持するように前記ロボットを制御する制御装置と、を備える、

ロボットシステム。」(下線は、本件補正の際に請求人が付したものである。)

第3 当審拒絶理由

当審が、令和5年5月16日付けで通知した拒絶の理由(以下「当審拒絶理由」という。)のうち、本件補正前の請求項1に係る発明(以下「補正前発明」という。)に対する理由2(進歩性)の概要は、以下のとおりである。

補正前発明は、以下の引用文献1に記載された発明に基づいて、その出願前にその発明の属する技術の分野における通常の知識を有する者(以下「当業者」という。)が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。

引用文献1:特開2013-52490号公報

第4 引用文献1に記載された発明の認定

1 引用文献1には、以下の事項が記載されている(下線は当審にて付した。以下同じ。)。

(1)特許請求の範囲

「【請求項1】

少なくともワークの計測特徴と取り出し成否を蓄えるDBと、

バラ積みされたワークを計測するセンサと、

バラ積みされたワークを把持するハンドと、

ハンドを把持位置姿勢に移動するロボットと、

計測データから把持位置姿勢と、開閉量・把持力・動作速度のうち少なくとも1つの動作制御情報を計算する情報処理部と、

前記情報処理部の動作制御情報に従って前記ロボットへ把持動作を指令し、ハンドへ開閉動作を指令する制御部と、

を備え、

前記情報処理部が、

計測データから把持位置姿勢を計算するための計測特徴を抽出する計測特徴抽出部と、

前記DBの情報から前記計測特徴を識別する計測特徴識別部と、

前記計測特徴と前記DBの情報からワークを把持するハンドの把持位置姿勢を計算する把持動作演算部と、

前記計測特徴、把持位置姿勢、前記DBの情報からハンドの開閉に関するパラメータを計算する開閉動作演算部と、

を含み、

前記計測特徴識別部では、前記DBに蓄えられた過去の計測特徴と取り出し成否の情報をもとに、前記計測特徴識別部で抽出した計測特徴の取り出し成功率を推定し、

前記開閉動作演算部では、推定した取り出し成功率に応じて、ハンドの開閉量・把持力・動作速度のうち少なくとも1つを調整する、

ことを特徴とするワーク取り出し装置。」

(2)発明の詳細な説明

「【技術分野】

【0001】

この発明は、バラ積みされた多数のワークの中からのワークの取り出し技術に関する。

【背景技術】

【0002】

多数のワークの中からの取り出しの失敗を減らすために、計測失敗や取り出し失敗を判定し、NGワーク登録をおこない、NGワーク登録された粗位置にあるワークを取り出さないようにするというワーク取出し装置がある(例えば下記特許文献1参照)。

・・・

【発明を実施するための形態】

【0009】

この発明によるワーク取り出し装置では、過去の取り出し成否の情報をもとに、計測特徴(ワークの見え方や形状から得られる特徴情報)の掴みやすさを推定し、掴みにくそうなものは優先して掴まないが、他に掴みやすそうな計測特徴がない場合、ハンドの開閉量・把持力・動作速度の少なくとも1つを自動で調整し、より丁寧な動作に変更することで、掴みにくそうなワークを取り出すものである。

・・・

【0011】

実施の形態1.

図1は、この発明の実施の形態1によるワーク取り出し装置を示す構成図である。ワーク取り出し装置は、DB(データベース)1と、センサ2と、ハンド3と、ロボット4と、情報処理部5と、制御部6とを少なくとも備える。情報処理部5は、計測特徴抽出部51、計測特徴識別部52、把持動作演算部53、開閉動作演算部54を少なくとも含んでいる。そして例えば、供給箱8にワーク7がバラ積みにされている。

【0012】

図1の構成による動作の流れを説明する。センサ2が供給箱8にバラ積みされたワーク7を計測し、情報処理部5に計測データを伝える。情報処理部5内では、まず計測特徴抽出部51が、ワークの見え方や形状の特徴(計測特徴と呼ぶ)を計測データより抽出する。計測特徴識別部52では、DB1に蓄えられた過去の計測特徴と取り出し成否(成功か否か)の関係より、計測特徴抽出部51で抽出した計測特徴の掴みやすさを推定する。

【0013】

把持動作演算部53では、推定された計測特徴の掴みやすさに応じた方法で把持位置姿勢を計算する。また、開閉動作演算部54でも、推定された計測特徴の掴みやすさに応じた方法で開閉パラメータ(開閉量・開閉(把持)力・開閉(把持)動作速度の1つ以上を含むハンド3の開閉(把持)に関する調整パラメータを意味する)を調節する。

【0014】

情報処理部5で計算した把持位置姿勢、開閉パラメータ情報は制御部6に送られる。

把持位置姿勢情報は、制御部6でハンド3が把持位置姿勢をとるためのロボット4の動作制御情報になり、ロボット4へ把持動作として伝わる。開閉パラメータは、制御部6でハンド3がワーク7を把持するための動作制御情報になり、ハンド3に開閉動作として伝わる。制御部6からの情報に応じてロボット4、ハンド3がワークを把持する。

【0015】

次に、構成要素ごとの説明を補足する。DB1は、過去に計測したセンサ2からのワークの形状情報(計測データ)から抽出した計測特徴と、ハンド3からのその計測特徴の取り出し成否のデータの少なくとも2つを蓄積格納する。CADデータ、エッジ、点群、円、楕円、面、曲面やそのパラメータの集合、幾何関係などで表されるワーク形状情報やハンド形状情報を蓄えていてもよい。

【0016】

センサ2は供給箱8にバラ積みされたワーク7を計測するもので、ロボット4の上に設置しても、それ以外の固定ジグや可動スライダなどに設置してもよい。ワークのバラ積み状態の2次元画像や、3次元データを計測するもので、2次元の場合はカメラ、3次元の場合は例えば、二眼・多眼のステレオ方式、マルチベースラインステレオ、レーザやプロジェクタなどの投光部とカメラとを備えた空間コード化法などのアクティブ方式、照射光の返り時間から距離を測定するタイムオブフライト法、単眼でロボット動作を利用した因子分解法、Structure from Motion(あるシーンをカメラの視点を変えながら撮影した複数枚の画像からそのシーンの3次元形状とカメラの位置を同時に復元する手法、以下SFM、またはStructure and Motion(以下SAMとも呼ばれる))、モーションステレオ、視体積交差法や、合焦方式のShape from Focus(Shape from Focus法は合焦情報(フォーカスが合っているかいないかを表す情報)から物体の表面形状を求める手法)、Shape from Defocus(Shape From Focus/Defocus法:焦点を変化させて撮影した多焦点画像群からブロック単位に合焦評価値を算出し、これより距離推定を行う手法)、ライン光による光切断法等による機器を利用してもよい。

【0017】

センサ2が計測する3次元情報の形式は、点群データとしてX,Y,Z、合計3次元の位置情報を用いても、距離画像として各画素に計測対象の高さ情報を持つ画像形式を用いてもよい。計測した時点での座標系はカメラ座標系、ロボット座標系、ワーク座標系を用いてもよい。位置や距離はメートル単位、ピクセル単位で表されたものでもよい。

【0018】

ハンド3はバラ積みされたワーク7を把持して取り出す。ハンド形状としては、例えば物体を挟み把持する挟持型、面に吸い付く吸着型、物体の穴に指し込み拡げて持ち上げる拡持型などを用いてもよい。またワーク7に接触するハンド3の指(爪)や吸着部分の本数は何本でもよい。

【0019】

ロボット4はハンド3を、ワーク7を把持する位置姿勢に移動させたり、取り出し後の移動をさせる。ロボット4はスカラー型、垂直多関節型、パラレルリンク型など、なにを使ってもよい。またロボット4の自由度も、ワークを把持する動作ができれば、何自由度でもよい。ワークを取り出す動作とは、バラ積みされたワーク7をハンド3で掴み、供給箱8から取り出すまでの動作を指す。取り出し動作の後の動作は、ベルトコンベア(図示省略)等へのワーク7の移載、パレタイジング、組み付けなどをおこなってもよい。

【0020】

情報処理部5は、計測特徴抽出部51と、計測特徴識別部52と、把持動作演算部53と、開閉動作演算部54とを備えている。これはPC(Personal Computer)や、FPGA(Field-Programmable Gate Array)ボードで実現してもよい。

【0021】

計測特徴抽出部51は、センサ2で計測した計測データからワーク7の見え方や形状の特徴を抽出する。ここでは、これを計測特徴と呼ぶ。

計測特徴は、例えば、2次元センサであればワークの表面のテクスチャの空間的配置、テクスチャの複雑さ、エッジ量、エッジで囲まれた領域の面積や主軸方向、局所的なエッジの方向などを用いてもよい。

3次元センサであれば、それに加えて面の主法線方向、面の法線方向の分布、それをヒストグラム化したもの、平面度などを用いてもよい。また、周辺の複雑度をテクスチャ状態や高さ分布のバラつきなどをもとに定量化し、計測特徴としてもよい。

これら計測特徴から少なくとも1つ以上を多次元特徴ベクトルとしてDB1に蓄える。計測特徴はベクトル量子化してもよい。

【0022】

図2は計測データとして距離画像を用いたときの計測特徴抽出部51での動作を説明するための図であり、(a)はフローチャート、(b)は(a)の各ステップの対応する説明図である。距離画像からエッジ検出をすると物体の形状エッジが抽出される(ステップST1)。このエッジで区切られる領域を分割(セグメンテーション)すると(ステップST2)、ワーク7の一部の面領域を抽出することができる。ここから候補選択をおこなう(ステップST3)。候補選択は、高さ、周辺に面があるか、などの情報をもとに計算できる。図2では最も高い位置にある面を候補として抽出している。抽出した候補(セグメントS1)から、上述した領域の面積、主軸方向、面の主法線方向や面積などの情報を抽出し多次元の特徴ベクトルとし(ステップST4)、これを計測特徴としている。この方法であれば、ワーク形状情報を持たずとも面などの計測特徴が抽出できる。

【0023】

計測特徴識別部52は、過去の計測特徴とその取り出し成否(成功か否か)をもとに、抽出した計測特徴が掴みやすいかどうかを推定する。これは、新たに抽出した計測特徴が取り出し成否の2クラスのどちらに分類されるかを、多次元特徴ベクトル空間の過去の計測特徴群を使って判断するパタン識別問題として解くことができる。このとき識別器としてニューラルネットワーク、SVM(サポートベクターマシーン)、k近傍識別器、ベイズ分類を使って解いてもよい。掴みやすいかどうかを、取り出し成否のどちらに分類されたかという情報より掴みやすい、掴みにくい、の2値として表してもよい。識別器から得られる、クラス1(取り出し成)に近い度合いSpと、クラス2(取り出し否)に近い度合いSnから計算してもよい。

【0024】

SpとSnは、例えば、多次元特徴ベクトル空間における最近傍探索により、クラス1に分類される過去の計測特徴と抽出した計測特徴のユークリッド距離をSpとし、クラス2に分類される過去の計測特徴と抽出した計測特徴のユークリッド距離をSnとすることで計算できる。これは想定される最大のユークリッド距離の差で正規化してもよい。

取り出しが成功した計測特徴サンプル(Positive sample)と、取り出しが失敗した計測特徴サンプル(Negative sample)のどちらに近いかという意味で、次のような値を定義する。

【0025】

P/N=Sp/Sn    (1)

【0026】

ここでP/NはPositive Negative ratio(成功/否比)を意味する。計測特徴の掴みやすさをP/Nで定量化することができる。P/Nが高いワークは高速な処理を重視して把持動作、開閉動作を演算し、P/Nが低いワークは丁寧な動作を重視して把持動作、開閉動作を演算する。P/Nは、計測特徴をもとにすれば他の求め方をしてもよい。

【0027】

図3はP/N計算の一つの方法のイメージ図である。このとき、DB1には過去の計測特徴と、その取り出し成否をもとに、取り出し成功と取り出し失敗をそれぞれ代表する多次元特徴ベクトルを蓄えている。これは過去の計測特徴の多次元ベクトルを、取り出し成否で2クラスに分類した後、各クラスの各特徴ベクトルの平均値や中央値で代表する多次元特徴ベクトルを作ることができる。このとき、全ての特徴ベクトルを使ってもよいし、クラス内の特徴のうち、バラつきが少ない特徴に絞って、他の特徴を使わないことで計算量を削減してもよい。これらの代表する多次元特徴ベクトルの演算処理は、DB1に接続されたDB1内の情報の管理処理を行うDB管理処理部(図示省略)で行ってよいし、あるいは情報処理部5のいずれかの部で行うようにしてもよい。

・・・

【0035】

把持動作演算部53は、抽出した計測特徴から把持位置姿勢を計算する。これは、計測特徴とDB1内のワーク形状情報とのマッチング(検索)によりワークの位置姿勢を認識し、ワークに対応した把持位置姿勢を計算する方法でもよいし、さらにDB1内のハンド形状により周辺干渉を考慮してもよい。マッチングは2次元画像であればエッジ特徴のチャンファーマッチング、3次元点群であればICP(Iterative Closest Point)法などにより実現する。

【0036】

ワーク形状情報と計測データのマッチング方法は、多数のワークの取り出しに関する技術として多くの方法が提案されている。例えば、上述の特許文献2、特許文献3に処理の例がある。本構成で実現する形態であれば方法は問わない。

・・・

【0041】

把持位置姿勢の演算は上記のように、ワーク形状情報と計測データのマッチングや、ハンド形状情報と計測データのマッチングにより実現する。しかし、例えばワーク形状のマッチングをベースにすると処理時間がかかり、部品ごとに事前調整が必要である。また、ハンド形状のマッチングをベースにすると把持失敗の可能性がある、といった課題がある。

【0042】

そこで普段は速度を重視し、計測特徴とDB1内のハンド形状情報のマッチングだけで計算するが、P/Nが低い場合は把持が安定しない可能性があることから、ワーク形状情報を用いて把持位置姿勢を探索する。これにより、把持位置姿勢をより高い精度で探索することが可能になったり、ワーク形状に基づいた掴みやすい位置を掴むことができるようになる。

【0043】

また、ワーク形状を使わなくとも、普段は省略しているが、P/Nが低い場合はハンドモデルの回転とワークの形状エッジの直交度が高い(例えば所定の閾値以上)ところを優先して把持する処理を加えることができる。これにより、把持動作でワークを掴みそこねてしまうケースを減らすことができる。また、抽出したセグメント(例えば図2のS1などを意味する)の重心に近い部分を把持することで、把持後に安定せずにワークが落下する可能性を減らすことができる。このように計測特徴識別部52での掴みやすさの推定結果をもとに、処理数を増やすことで把持を成功しやすい動作をすることができる。

【0044】

開閉動作演算部54ではハンド3の開閉量・力(把持力)・速度(動作速度)などの把持パラメータを調整する。狭持形状のハンドにおいて、把持する直前の開き幅をどうするかは、周辺干渉を考慮するときに重要である。異なる開閉量でハンドが開いている状態のハンド形状情報をDB1に蓄えておき、計測特徴とその周辺の計測データと、異なるハンド開閉量のハンド形状データとをマッチングし、最も評価値が高い開閉量を選択する。ハンド形状データのマッチング方法は上述の「ハンドのマッチング方法の別の方法」として示した方法で実現する。動作速度や把持力は、タクトタイムを上げるためには基本は最大に設定しておく。しかし、取り出し成功率が低いと推定されるときは、動作速度、把持力を下げる。これにより動作が丁寧になり、ハンド3の開閉動作中にワークを弾き飛ばして取り出し失敗してしまうようなことを防止できる。

【0045】

情報処理部5内の処理の説明を続けてきたが、ここであらためて処理の全容をまとめる。図4は計測データとして距離画像を使ったときの情報処理部5の動作フローチャートである。

【0046】

計測特徴抽出部51では、距離画像からエッジ検出をすると物体の形状エッジが抽出され(ステップST1)、このエッジで区切られる領域を分割(セグメンテーション)すると(ステップST2)、ワーク7の一部の面領域を抽出することができる。ここから、高さ(距離)、周辺に面があるか否か、等の情報に基づく計算により、候補選択をおこなう(ステップST3)。例えば最も高い(センサ2から距離が短い)位置にある面を候補として選択する。抽出した候補から、上述した領域の面積、主軸方向、面の主法線方向や面積などの情報を抽出し多次元の特徴ベクトルを計算し(ステップST4)、これを計測特徴とする。

【0047】

計測特徴識別部52では、計測特徴である多次元特徴ベクトルの上述の式(1)のP/Nによる特徴ベクトル特性評価を行う(ステップST5)。P/Nが低い場合(予め定められた閾値未満の場合)には掴み難いと判断し、高い場合(予め定められた閾値以上の場合)は掴み易いと判断する(ステップST6)。

把持動作演算部53では、P/Nが低く掴み難いと判断された場合には、把持位置姿勢探索の処理を追加する。把持位置姿勢探索は通常は、上述の「ハンドのマッチング方法の別の方法」として示した方法のハンドモデルのマッチングで実現する(ステップST8)。また追加の評価処理として、ハンドモデルの回転とワークの形状エッジの直交率(度)が高いところを優先して把持する。また抽出したセグメントの重心に近い部分を把持することで、把持後の落下の可能性を減らす。また、ワークに依存した調整が許容されるシステムであれば、ワーク形状情報を使って、より高精度な把持位置姿勢探索をおこなってもよい(ステップST9)。

【0048】

このようにP/Nが低い場合、開閉動作演算部54では、ハンド3の開閉量を下げ(ステップST12)、また開閉(把持)動作速度や把持力を下げて最適化を図る(ステップST13)。これにより、把持アプローチ中にワークを弾き飛ばしたり、把持位置姿勢が不安定で把持後にワークが落下したりする取り出し失敗の発生を減らす。

【0049】

また計測特徴識別部52において、ステップST6でP/Nが高い場合は、速度を重視した処理をおこなう。そこで最初に、類似の高P/N計測特徴があるか否かを判断する(ステップST7)。ない場合には過去に取り出し成功した類似の計測特徴がないと判断する。この場合、把持動作演算部53では、速度を重視した処理をおこない、把持位置姿勢探索を行い(ステップST10)、追加の評価処理は行わない。そして開閉動作演算部54では、ハンド開閉に関しても、開閉量計算(ステップST14)のみで、開閉(把持)速度や把持力は最大に設定する(ステップST15)。

【0050】

また計測特徴識別部52のステップST7で、類似の高P/N計測特徴がある場合には、過去に取り出し成功した類似の計測特徴があると判断する。この場合、把持動作演算部53では、過去の類似計測特徴の把持位置姿勢を流用し(ステップST11)、さらに開閉動作演算部54では、過去の類似計測特徴の開閉量計算・開閉(把持)動作速度・把持力を流用することで(ステップST16)、処理を省略し、高速化する。

【0051】

以上の情報処理部5の処理により、掴みにいくワークの見え方に応じた把持位置姿勢、開閉パラメータを制御部6へ出力し、制御部6ではこれらをロボット、ハンドの動作制御情報に変換してロボット4、ハンド3の動作制御が行われ、ワーク取り出し動作を実現する。」

(3)図面

「【図1】

〔図省略〕

【図2】

〔図省略〕

【図3】

〔図省略〕

【図4】

〔図省略〕

」

2 上記1の記載事項から、以下のことが理解できる。

(1)上記1(1)の記載、同(2)の段落【0011】~【0014】、【0018】~【0019】の記載、及び、同(3)の図1~2から、引用文献1には、ハンド3を備えるロボット4によりバラ積みされたワーク7を把持するワーク取り出し装置に関する発明が記載されていることが理解できる。

(2)上記1(2)の段落【0012】、【0016】~【0017】の記載、及び、同(3)の図2(b)の最上図から、引用文献1に記載のワーク取り出し装置におけるセンサ2は、バラ積みされた複数のワーク7を計測するものであって、2次元画像、又は、3次元の位置情報及び距離画像といった3次元情報(以下総じて「画像情報A」という。)を計測するものであることがわかる。

(3)上記1(2)の段落【0021】~【0022】の記載、及び、同(3)図2から、引用文献1に記載のワーク取り出し装置における計測特徴抽出部51は、センサ2にて計測された画像情報Aから、複数のワーク7の形状エッジを抽出し(ステップST1)、エッジで区切られる領域をセグメンテーションし(ステップST2)、例えば、最も高い位置にある面領域S1を候補として抽出し(ステップST3)、及び、多次元の特徴ベクトルとして計測特徴を抽出(ステップST4)していることがわかる。

(4)上記1(2)の段落【0023】~【0026】、【0047】の記載から、引用文献1に記載のワーク取り出し装置における計測特徴識別部52は、過去の計測特徴とその取り出し成否(成功か否か)をもとにした識別器としてのニューラルネットワークを使って、抽出した計測特徴を入力として、候補として抽出した面領域S1が掴みやすいかどうかをP/Nとして推定するものであることがわかる。また、同(2)の段落【0035】、【0041】~【0043】、【0047】の記載から、引用文献1に記載のワーク取り出し装置における把持動作演算部53は、計測特徴識別部52により推定したP/Nに応じて、面領域S1に対応するワーク7の把持位置姿勢の演算を実行するものであることがわかる。さらに、同(2)の段落【0044】、【0048】の記載から、引用文献1に記載のワーク取り出し装置における開閉動作演算部54は、計測特徴識別部52により推定したP/Nに応じて、面領域S1に対応するワーク7を把持するためのハンド3の開閉量・把持力・動作速度などの把持パラメータを調整するものであることがわかる。

(5)上記1(2)の段落【0051】の記載から、引用文献1に記載のワーク取り出し装置における制御部6は、上記(4)のハンド3の開閉量・把持力・動作速度などの把持パラメータに基づいて、ワーク7を把持するようにロボット4を制御するものであることがわかる。

3 上記1~2より、引用文献1に記載された事項を本件発明に合わせて整理すると、引用文献1には、以下の発明(以下「引用発明」という。)が記載されている、といえる。

「ハンド3を備えるロボット4と、

センサ2で計測されたバラ積みされた複数のワーク7の画像情報Aを処理することで候補として抽出された面領域S1の計測特徴を抽出する計測特徴抽出部51と、

候補として抽出された面領域S1の計測特徴を、過去の計測特徴とその取り出し成否(成功か否か)をもとにした識別器としてのニューラルネットワークに入力することにより、ハンド3によりバラ積みされた複数のワーク7のうちの候補として抽出された面領域S1に対応するワーク7を把持するための把持位置姿勢及び把持パラメータを決定する計測特徴識別部52、把持動作演算部53及び開閉動作演算部54と、

計測特徴識別部52、把持動作演算部53及び開閉動作演算部54で決定された把持位置姿勢及び把持パラメータに基づいて、ワーク7を把持するようにロボット4を制御する制御部6と、を備える、

ワーク取り出し装置。」

第5 本件発明と引用発明との対比

1 本件発明と引用発明とを対比すると、以下の相当関係がある。

(1)引用発明における「ハンド3」及び「ロボット4」は、バラ積みされたワーク7を把持するものであるから、その機能・構造からみて、本件発明における「ハンド部」及び「ロボット」にそれぞれ相当する。

(2)引用発明における「センサ2」は、その作用・機能からみて、本件発明における「計測器」に相当し、以下同様に、「計測された」は「取得された」に、「バラ積みされた複数のワーク7」は「複数の物体」に、「画像情報A」は「第1の画像情報」に、「画像情報Aを処理することで候補として抽出された」は「第1の画像情報を処理することで得られた」に、それぞれ相当する。

また、引用発明における「面領域S1の計測特徴」は、画像情報Aを処理することで複数のワーク7の形状エッジで区切られる領域から候補として抽出された面領域S1の、多次元の特徴ベクトルとしての計測特徴であるから、第1の画像情報を処理することで得られた「物体の第2の画像情報を含むデータ」である限りにおいて、本件発明における「第1の画像情報、および、第1の画像情報を処理することで得られた複数の物体の第2の画像情報の少なくともいずれかを含むデータ」に相当する。

したがって、引用発明における「計測特徴抽出部51」は、画像情報Aを処理することで候補として抽出された面領域S1の計測特徴を抽出するものであるから、「第1の画像情報を処理することで得られた物体の第2の画像情報を含むデータを取得する観測部」である限りにおいて、本件発明における「観測部」に相当する。

(3)引用発明における「候補として抽出された面領域S1の計測特徴を、過去の計測特徴とその取り出し成否(成功か否か)をもとにした識別器としてのニューラルネットワークに入力すること」は、その作用・機能からみて、「物体に関するデータを機械学習されたニューラルネットワークに入力すること」である限りにおいて、本件発明における「複数の物体に関するデータを機械学習されたニューラルネットワークに入力すること」に相当する。

また、引用発明における「候補として抽出された面領域S1に対応するワーク7」並びに「把持位置姿勢及び把持パラメータ」は、本件発明における「複数の物体のうちのいずれかの物体」及び「(把持するための)情報」にそれぞれ相当する。

したがって、引用発明における「計測特徴識別部52、把持動作演算部53及び開閉動作演算部54」は、「物体に関するデータを機械学習されたニューラルネットワークに入力することにより、ハンド部により複数の物体のうちのいずれかの物体を把持するための情報を決定する決定部」である限りにおいて、本件発明における「決定部」に相当する。

(4)引用発明における「制御部6」は、計測特徴識別部52、把持動作演算部53及び開閉動作演算部54で決定された把持パラメータに基づいて、ワーク7を把持するようにロボット4を制御するものであるから、その作用・機能からみて、本件発明における「制御装置」に相当する。

また、引用発明における「ワーク取り出し装置」は、その機能・構造からみて、本件発明における「ロボットシステム」に相当する。

2 上記1から、本件発明と引用発明とは、以下の一致点で一致する。

<一致点>

「ハンド部を備えるロボットと、

計測器で取得された複数の物体の第1の画像情報を処理することで得られた前記物体の第2の画像情報を含むデータを取得する観測部と、

前記物体に関する前記データを機械学習されたニューラルネットワークに入力することにより、前記ハンド部により前記複数の物体のうちのいずれかの物体を把持するための情報を決定する決定部と、

前記決定部で決定された情報に基づいて、前記物体を把持するように前記ロボットを制御する制御装置と、を備える、

ロボットシステム。」

3 他方、本件発明と引用発明とは、以下の相違点で相違する。

<相違点>

ニューラルネットワークに入力する「物体に関するデータ」に関して、

本件発明における「データ」は、計測器で取得された「複数の物体の第1の画像情報」、および、第1の画像情報を処理することで得られた「複数の物体の第2の画像情報」の少なくともいずれかを含む「複数の物体に関する」「データ」であるのに対し、

引用発明における「計測特徴」は、センサ2(計測器)で計測された(取得された)「バラ積みされた複数のワーク7(複数の物体)の画像情報A(第1の画像情報)」そのものを含むものでなく、また、画像情報Aを処理することで候補として抽出した1つの面領域S1の「計測特徴」であって、バラ積みされた複数のワーク7に対応する複数の面領域の「計測特徴」ではない点。

第6 上記相違点に対する当審の判断

1 引用発明は、センサ2(計測器)で計測された(取得された)バラ積みされた複数のワーク7(複数の物体)の画像情報A(第1の画像情報)から、1つの物体を把持するための情報(把持位置姿勢、把持パラメータ)を出力情報とする限りにおいて、本件発明と一致するところ、一般的に、どの程度の前処理を実行したうえでニューラルネットワークにいくつの情報を入力し、ニューラルネットワークからどのような情報を得たうえで最終的な出力情報を得るか(例えば、前処理の段階で把持する1つの物体の情報のみを抽出してその1つの物体に対してニューラルネットワークを適用するか、複数の物体の情報をまとめてニューラルネットワークを適用して、その結果から把持する1つの物体を決定するか、など。)は、その情報処理部の演算処理能力や求める出力情報、学習の精度等に応じて決定される、設計事項といえる。

2 すなわち、情報処理部の演算処理能力が高い等、情報処理部の負荷を考慮せずともよいのであれば、計測器で取得された複数の物体の情報を前処理することなくそのままニューラルネットワークに入力情報を増やして入力することを試み、情報処理部の演算処理能力が低いのであれば、処理すべき情報を減らして計算負荷が小さくなるよう、把持する1つの物体を決定する前処理を行ったうえでニューラルネットワークに入力するよう試みることは、当業者にとって適宜選択すべき設計的事項である。

3 また、引用文献1の段落【0009】には、「この発明によるワーク取り出し装置では、過去の取り出し成否の情報をもとに、計測特徴(ワークの見え方や形状から得られる特徴情報)の掴みやすさを推定し、掴みにくそうなものは優先して掴まないが、他に掴みやすそうな計測特徴がない場合、ハンドの開閉量・把持力・動作速度の少なくとも1つを自動で調整し、より丁寧な動作に変更することで、掴みにくそうなワークを取り出すものである。」と記載されることからみて、引用文献1には、

(1)実施の形態から認定した、画像情報Aを処理することで候補として抽出した面領域S1の「計測特徴」を得る引用発明のみならず、

(2)複数の面領域S2~S5の「計測特徴」も得たうえで、最も掴みやすそうなワーク7を優先的に掴むようにすること

も示唆されているといえる。

4 してみると、引用発明における「計測特徴抽出部51、計測特徴識別部52、把持動作演算部53及び開閉動作演算部54」を備える情報処理部5(段落【0020】)の演算処理能力や上記3(2)の引用文献1中の示唆等を踏まえ、引用発明において、センサ2で計測されたバラ積みされた複数のワーク7の3次元情報から、候補(例えば、最も高い位置にある面領域)の多次元特徴ベクトルを抽出する前処理を行ったうえで、ニューラルネットワークに入力することに代えて、本件発明のようにセンサ2で計測されたバラ積みされた複数のワーク7の3次元情報である画像情報Aから複数のワークのエッジ抽出等の処理をした後に、「複数の面領域S1~S5」の「計測特徴」をニューラルネットワークに入力することや、前処理することなく画像情報Aそのものをニューラルネットワークに入力することを想到することは、当業者であれば容易になし得たことである。

5 そして、本件発明が奏する効果を検討しても、引用文献1に基づき、当業者が容易に予測し得たものにすぎない。

第7 請求人による主張の検討

1 意見書での主張

請求人は、令和5年7月7日に提出の意見書において、概略、以下の主張をする。

(1)本件発明は、画像情報から物体を把持するための情報を決定するために用いる特徴を抽出する処理をニューラルネットワークの枠組みの中で最適化しており、学習を通じた特徴抽出処理の最適化を行わない引用発明とは、その構成が根本的に異なる。

特に、複数の物体の画像情報には様々な情報が含まれているため、特徴抽出処理をニューラルネットワークの枠組みの中で最適化する本件発明は、例えば、特徴抽出処理を人手のみで設計する引用発明と比較して、画像情報から物体把持に適した特徴を抽出することが可能になる。

当審拒絶理由の第4ページの「(4)判断」の項目の第23行-第29行における指摘(当審注:上記第6の2)は、失当である(第2~3ページ、(4)i)、ii) )。

(2)引用文献1の段落【0027】の記載から、例えば、情報処理部の負荷に制限がなかった場合には、引用発明では、識別部において比較対象となる特徴ベクトルを増やすことになり、本件発明を想到し得ない(第3ページ、(4) iii) )。

2 意見書に対する見解

上記主張について検討する。

(1)上記1(1)についてみると、引用発明も、計測特徴を入力とする、過去の計測特徴とその取り出し成否(成功か否か)をもとにした識別器としてのニューラルネットワークを用いるものである(引用文献1の段落【0023】)ところ、引用発明において、センサ2で計測されたバラ積みされた複数のワーク7の3次元情報である画像情報Aから複数のワークのエッジ抽出等の処理をした後に、「複数の面領域S1~S5」の「計測特徴」をニューラルネットワークに入力することや、前処理することなく画像情報Aそのものをニューラルネットワークに入力することを想到することが当業者であれば容易になし得たことは、上記第6の1で説示したとおりである。

また、モデル等を人手のみで設計することに代えて、機械学習されたニューラルネットワークを広く採用しようとすることは、例示するまでもなく、本件出願の優先日前においてよく知られた技術的事項であり、また、周知の画像を入力とする深層学習を適用しようと試みることも、当業者であれば当然に着想し得た事項である。

してみると、上記第6の2の見解が失当であるとの主張には、首肯することができない。

(2)上記1(2)についてみると、情報処理部の負荷に制限がなかった場合に、計算量を削減することなく、全ての特徴量ベクトルを演算することは、当然に行い得るところ、引用文献1の段落【0027】の記載のみをもって、その点のみに演算能力が注力されるとの主張は、当を得てない。上記第6の3~4にて説示したように、例えば段落【0009】の記載に基づいて、学習制御されたニューラルネットワークの入力を「複数の面領域S1~S5」に変更することや、さらにはセンサ2で計測した画像情報Aそのものを機械学習されたニューラルネットワークの入力とすることを着想することに、何ら困難性は認められない。

したがって、上記1(2)の主張にも、首肯することができない。

第8 まとめ

以上のとおり、本件発明は、引用発明に基づいて当業者が容易に発明をすることができたものであり、特許法第29条第2項の規定により特許を受けることができないから、他の請求項に係る発明について検討するまでもなく、本願は拒絶されるべきものである。

よって、結論のとおり審決する。

令和5年10月3日

審判長 特許庁審判官 渋谷 善弘

特許庁審判官 鈴木 貴雄

特許庁審判官 大山 健

(行政事件訴訟法第46条に基づく教示)                この審決に対する訴えは、この審決の謄本の送達があった日から30日(附加期間がある場合は、その日数を附加します。)以内に、特許庁長官を被告として、提起することができます。

出典:特許庁「審決公報」(令和5年12月28日発行・号数2023-012、公報発行サイト https://www.gazette.jpo.go.jp/scciidl010 )を加工して作成(加工:TaiLexi AI)
本文は公表資料(PDF 等)から機械的に抽出・整形したもので、改行や記号に誤りを含むことがあります。正確な文言は原本でご確認ください。