異議申立番号 異議2024-700588
特許権者 エヌ・ティ・ティ・コミュニケーションズ株式会社(代理人 弁理士法人鈴榮特許綜合事務所、弁理士3名)
特許異議申立人 〔氏名省略〕
特許第7411369号発明「コミュニケーションシステム、応対端末装置およびそのプログラム」の特許異議申立事件について、次のとおり決定する。
結 論
特許第7411369号の請求項1ないし5に係る特許を維持する。
理 由
第1 手続の経緯
特許第7411369号(以下「本件特許」という。)の請求項1~5に係る特許についての出願は、令和元年10月1日に出願され、令和5年12月27日にその特許権の設定登録がされ、令和6年1月11日に特許掲載公報が発行された。その後、その特許に対し、令和6年6月20日に〔氏名省略〕(以下「申立人」という。)は、特許異議の申立てを行った。
第2 本件特許発明
本件特許の請求項1~5に係る発明(以下、それぞれ「本件特許発明1」~「本件特許発明5」という。)は、その特許請求の範囲の請求項1~5に記載された事項により特定される次のとおりのものである。
「【請求項1】
ユーザの発話音声またはテキストデータを含む問合せ情報を受け取る応対端末と、前記応対端末との間で通信が可能なオペレータ端末とを具備するコミュニケーションシステムであって、
前記オペレータ端末は、
前記応対端末から送られる前記問合せ情報を受信する問合せ情報受信部と、
受信された前記問合せ情報に含まれる前記発話音声またはテキストデータの出力に対するオペレータの応答音声およびジェスチャを検出する検出部と、
検出された前記応答音声および前記ジェスチャを表す情報を含むオペレータ応対情報を生成し、生成された前記オペレータ応対情報を前記応対端末へ送信するオペレータ応対情報生成部と
を備え、
前記応対端末は、
前記オペレータ端末から送信された前記オペレータ応対情報を受信するオペレータ応対情報受信部と、
受信された前記オペレータ応対情報に含まれる前記応答音声および前記ジェスチャをキャラクタの動きに反映させた第1のキャラクタ応対情報を生成し、生成された前記第1のキャラクタ応対情報を前記ユーザに向け出力する第1のキャラクタ応対情報生成部と、
応対モードとして、前記応対端末が自律的に応対動作を行う自律応対モードと、前記応対端末が前記オペレータ端末と協働して応対動作を行うオペレータ応対モードとを選択的に設定する設定部と、
前記自律応対モードが設定された状態では、前記問合せ情報に含まれる発話音声またはテキストデータをもとに問合せ内容を認識し、認識された問合せ内容に対応する応対情報を前記キャラクタの動きに反映させた第2のキャラクタ応対情報を生成し、生成された前記第2のキャラクタ応対情報を前記ユーザに向け出力する第2のキャラクタ応対情報生成部と、
前記オペレータ応対モードが設定された状態では、前記問合せ情報を前記オペレータ端末へ転送する転送部と
を備える、コミュニケーションシステム。
【請求項2】
前記オペレータ端末のオペレータ応対情報生成部は、検出された前記ジェスチャを二次元空間における座標値の変化として表し、この座標値の変化を表す情報を前記応答音声と共に前記オペレータ応対情報に含めて送信し、
前記応対端末の第1のキャラクタ応対情報生成部は、受信された前記オペレータ応対情報に含まれる前記座標値の変化を表す情報に基づいて前記キャラクタの動きを変化させる、
請求項1に記載のコミュニケーションシステム。
【請求項3】
前記応対端末の第1のキャラクタ応対情報生成部は、受信された前記オペレータ応対情報に含まれる送話音声の発話タイミングに同期しその発話期間に前記キャラクタの口唇部を動作させる、請求項1又は2に記載のコミュニケーションシステム。
【請求項4】
オペレータ端末との間で通信が可能であり、ユーザの問合せに対し応対動作を行う応対端末装置であって、
前記オペレータ端末から送信される、オペレータの応答音声およびジェスチャを表す情報を含むオペレータ応対情報を受信する受信部と、
受信された前記オペレータ応対情報に含まれる前記応答音声および前記ジェスチャを、キャラクタの動きに反映させた第1のキャラクタ応対情報を生成し、生成された前記第1のキャラクタ応対情報を前記ユーザに向け出力する第1のキャラクタ応対情報生成部と、
応対モードとして、前記応対端末が自律的に応対動作を行う自律応対モードと、前記応対端末が前記オペレータ端末と協働して応対動作を行うオペレータ応対モードとを選択的に設定する設定部と、
前記自律応対モードが設定された状態では、前記ユーザの発話音声またはテキストデータを含む問合せ情報をもとに問合せ内容を認識し、認識された問合せ内容に対応する応対情報を前記キャラクタの動きに反映させた第2のキャラクタ応対情報を生成し、生成された前記第2のキャラクタ応対情報を前記ユーザに向け出力する第2のキャラクタ応対情報生成部と、
前記オペレータ応対モードが設定された状態では、前記問合せ情報を前記オペレータ端末へ転送する転送部と
を具備する応対端末装置。
【請求項5】
請求項4に記載の応対端末が具備する前記各部の処理を、前記応対端末装置が備えるプロセッサに実行させるプログラム。」
第3 申立理由の概要
1 新規性欠如
申立人は、主たる証拠として以下の甲第1号証を提出し、従たる証拠として以下の甲第5号証及び甲第6号証を提出し、本件特許発明1、4~5は、甲第1号証に記載された発明であり、または、本件特許発明1、4~5は、甲第5号証及び甲第6号証に記載された技術常識を参酌した場合において、甲第1号証に記載された発明であって、請求項1、4~5に係る特許は、特許法第29条第1項第3号に該当するから、取り消されるべきものである旨主張している(以下「取消理由1-1」という。)。
さらに、申立人は、主たる証拠として以下の甲第4号証を提出し、従たる証拠として以下の甲第1号証、甲第5号証及び甲第6号証を提出し、本件特許発明1、4~5は、甲第4号証に記載された発明であり、または、本件特許発明1、4~5は、甲第1号証、甲第5号証及び甲第6号証に記載された技術常識を参酌した場合において、甲第4号証に記載された発明であって、請求項1、4~5に係る特許は、特許法第29条第1項第3号に該当するから、取り消されるべきものである旨主張している(以下「取消理由1-2」という。)。
2 進歩性欠如
申立人は、主たる証拠である甲第1号証に加えて、従たる証拠として以下の甲第2号証、甲第3号証、甲第5号証及び甲第6号証を提出し、本件特許発明1~5は、甲第1号証ないし甲第3号証に記載された発明に基づいて、または、甲第5号証及び甲第6号証に記載された技術常識を参酌した場合において、甲第1号証ないし甲第3号証に記載された発明に基づいて、当業者が容易に発明をすることができたものであって、請求項1~5に係る特許は、特許法第29条第2項に該当するから、取り消されるべきものである旨主張している(以下「取消理由2-1」という。)。
さらに、申立人は、主たる証拠である甲第4号証に加えて、従たる証拠として以下の甲第1号証ないし甲第3号証、甲第5号証及び甲第6号証を提出し、本件特許発明1~5は、甲第2号証ないし甲第4号証に記載された発明に基づいて、または、甲第1号証、甲第5号証及び甲第6号証に記載された技術常識を参酌した場合において、甲第2号証ないし甲第4号証に記載された発明に基づいて、当業者が容易に発明をすることができたものであって、請求項1~5に係る特許は、特許法第29条第2項に該当するから、取り消されるべきものである旨主張している(以下「取消理由2-2」という。)。
刊行物等(甲号証)一覧
甲第1号証:特開2001-34787号公報
甲第2号証:特開2019-149630号公報
甲第3号証:特開2006-48352号公報
甲第4号証:特開2007-190641号公報
甲第5号証:特開平11-339058号公報
甲第6号証:特開2016-38601号公報
第4 甲号証の記載、甲号証に記載された発明
1 甲第1号証
(1)甲第1号証には、以下の記載がある(下線は当審による。以下同様。)。
「【0005】
【課題を解決するための手段】この発明は、実空間内の人物を少なくとも1つの他の実空間内に分身として存在せしめる分身コミュニケーションシステムであって、必要に応じて分身をアバタとしてまたはエージェントとして切り換えるようにした、分身コミュニケーションシステムである。
【0006】
【作用】分身コミュニケーションシステムは、実空間に存在する人物(オペレータ)を少なくとも1つの他の実空間内に、たとえばスクリーン上に表示されたCG(コンピュータグラフィックス)またはロボットのような分身として存在せしめる。オペレータは、必要に応じてアバタとしてまたはエージェントとして切り換えられ、他の実空間に存在する。
【0007】なお、アバタとはオペレータ(本人)の分身であって、オペレータのそのときの実際の姿勢や挙動に応じた姿勢や挙動を表現するCGやロボットをいい、エージェントとはオペレータの分身であるが、オペレータの実際の姿勢や挙動に関係なく、たとえばコンピュータに予めプログラミングされた姿勢や挙動を表現するCGやロボットをいう。
【0008】アバタとして存在する場合には、実空間に存在するオペレータの動きや表情および音声がそのまま他の実空間に存在する分身によって再現される。一方、エージェントとして存在する場合には、オペレータの実際の動きおよび音声とは関係なく、他の実空間に存在する他の人物の反応や音声に応じて、たとえばコンピュータに予めプログラミングされた動きや表情および音声に従って分身の動きや表情および音声を生成する。したがって、この場合には、エージェントはオペレータの実際の挙動と無関係に当該他の実空間内に存在でき、そのために、さらに他の実空間にもエージェントとして存在できる。」
「【0017】
【実施例】図1を参照して、この実施例の分身コミュニケーションシステム(以下、単に「システム」という。)10は、実空間A,B,CおよびPを含む。実空間A,B,CおよびPのそれぞれに対応して、パソコン程度の処理能力を持つコンピュータ12,14,16および18が設けられる。コンピュータ12は、実空間Aに設けられたカメラ20a~20c,マイク22aおよび22b,スクリーン24およびスピーカ26に接続される。また、同様に実空間Pにつながったコンピュータ18は、カメラ28a~28c,マイク30aおよび30b,スクリーン32,スピーカ34および操作パネル42に接続される。なお、図1において、実空間BおよびCでは、カメラ等は省略してある。
【0018】また、システム10は統括コンピュータ36を含み、統括コンピュータ36は、たとえば電話回線またはネットワークなどによって、各コンピュータ12,14,16および18に接続される。つまり、各コンピュータ12,14,16および18は、統括コンピュータ36によって所定時間(この実施例では、約10秒)毎に監視されるとともに、処理を管理される。したがって、実空間A,B,CおよびPは異なる場所であってもよく、また同じ建物内の異なる部屋などであってもよい。また、実空間Pにはオペレータ38が存在し、他の実空間Aには分身としてのCG(コンピュータグラフィックス)キャラクタ38aと他の人物40aおよび40bとが存在する。
【0019】図2(A)に示すように、上記各コンピュータ12,14および16は、CPU50を含む。CPU50は、映像・音声認識回路52,映像・音声記録/再生回路54,映像・音声生成回路56および映像・音声再現回路58に接続される。また、映像・音声認識回路52は、映像・音声生成回路56に接続される。
【0020】例として、実空間Aについて説明すると、映像・音声認識回路52は、カメラ20a~20cおよびマイク22a,22bと接続される。したがって、カメラ20a~20cから出力される映像信号およびマイク22a,22bから出力される音声信号が、映像・音声認識回路52に与えられ、映像・音声認識回路52は映像信号および音声信号に基づいて実空間Aの状況を認識する。
【0021】具体的には、実空間Aに存在する人物40aおよび40bの集中度(注目度)、反応(うなづきなど)または発言(特定の言葉)などが認識される。集中度ないし注目度は、人物40aおよび40bの視線の向きを検出することによって、各人の視線の向きが同じ方向である場合には集中度(注目度)が高いと認識でき、不揃いである場合には低いと認識できる。なお、他の実空間BおよびCについても同様であり、以下においても重複する場合には、実空間BおよびCについての説明は省略する。
【0022】映像・音声記録/再生回路54もまた、カメラ20a~20cおよびマイク22a、22bと接続される。したがって、カメラ20a~20cから出力される映像信号およびマイク22a,22bから出力される音声信号が、映像・音声記録/再生回路54に与えられる。映像・音声記録/再生回路54は、映像信号および音声信号をたとえばハードディスクなどの記録媒体に記憶する。つまり、実空間Aの状況が記録される。また、CPU50の指示に従って、記録した映像信号および音声信号を再生(出力)することができる。
【0023】映像・音声生成回路56は、CPU50の指示に従って選択的に能動化され、映像・音声認識回路52の出力信号に応じて駆動される。つまり、映像・音声生成回路56は、予めプログラミングされている動作および表情に従ってスクリーン24上のCGキャラクタ38aを用いて表現するための映像信号を生成する。また、この映像・音声生成回路56は、予めプログラミングされた音声に従って音声(音響を含む)信号を生成する。生成された映像信号がスクリーン24に出力され、生成された音声信号がスピーカ26に出力される。つまり、実空間Aに存在する人物40aおよび40bの注目度、反応あるいはび音声に応じて、映像・音声生成回路56はCGキャラクタ38aを用いて、オペレータ38の仮想の動作および表情を表現し、また所望の音声をスピーカ26から出力する。したがって、オペレータ38が他の実空間Aにエージェントとして存在する場合には、映像・音声生成回路56が能動化される。
【0024】映像・音声再現回路58もまた、CPU50の指示に従って選択的に能動化される。映像・音声再現回路58には、統括コンピュータ36から出力されるオペレータ38の実際の動作,表情および音声に対応する動作等の情報の信号(情報信号)および音声信号が与えられる。したがって、映像・音声再現回路58は、情報信号に基づいて、CGキャラクタ38aを用いてオペレータ38の動作および表情を再現するための映像信号を生成する。また、映像・音声再現回路58は、統括コンピュータ36から出力された音声信号に基づいてオペレータ38の音声を再現するための音声信号(音響を含む。)を生成する。したがって、オペレータ38の動作等がスクリーン24上のCGキャラクタ38aによって再現され、再現されたオペレータ38の音声がスピーカ26から出力される。つまり、映像・音声再現回路58は、スクリーン24上のCGキャラクタ38aおよびスピーカ26を用いて、オペレータ38の実際の動作、表情および音声をそのまま再現する。したがって、オペレータ38が他の実空間Aにアバタとして存在する場合には、映像・音声再現回路58が能動化される。
【0025】また、CPU50は、カメラ20a~20cの向き等(パン,チルトおよびズーム)の制御信号を出力する。カメラ20a~20cから出力された映像信号およびマイク22a,22bから出力された音声信号が、CPU50に与えられる。この映像信号および音声信号が統括コンピュータ36を経由して、コンピュータ18に与えられる。
【0026】図2(B)に示すように、コンピュータ18はCPU60および表情・全身像姿勢推定回路62を含み、この表情・全身像姿勢推定回路62はCPU60に接続される。CPU60はまた、カメラ28a~28c,マイク30a,30bおよび操作パネル42に接続される。CPU60は、カメラ28a~28cの能動化/不能化および向き等とマイク30a,30bの能動化/不能化を制御する。つまり、CPU60は、オペレータ38が他の実空間Aにエージェントとして存在する場合には、カメラ28a~28cおよびマイク30a,30bを不能化する。一方、アバタとして存在する場合には、CPU60はカメラ28a~28cおよびマイク30a,30bを能動化し、また向き等を制御する。
【0027】また、カメラ28a~28cは表情・全身像姿勢推定回路62に接続される。したがって、撮影されたオペレータ38の映像に対応する映像信号は、表情・全身像姿勢推定回路62に与えられる。表情・全身像姿勢推定回路62は、複数の視点から撮影した複数のカラー画像、つまりカメラ28a~28cから出力された映像信号に基づいて、オペレータ38の表情および動作を推定し、推定した表情および動作に関する情報の信号(情報信号)を生成する。つまり、仮想変身すると、この情報信号がCPU60を介して統括コンピュータ36に出力され、統括コンピュータ36が他の実空間A,BまたはCに情報信号を送信する。」
「【0030】たとえば、実空間Aにおいてオペレータ38がエージェントとして存在し、会議(会話)が行われている場合には、コンピュータ12に設けられたCPU50が映像・音声生成回路56を能動化する。なお、映像・音声再現回路58は不能化される。CPU50は、映像・音声認識回路52からの出力信号(映像信号および音声信号)に基づいて映像・音声生成回56を制御する。具体的には、人物40aまたは40bが発言している場合には、CPU50は映像・音声認識回路52の出力信号に基づいて発言している人を認識し、エージェントとしてのCGキャラクタ38aの顔をその発言者(人物40aまたは40b)の方向にを向かせるように、映像・音声生成回路56を制御する。これに応じて、映像・音声生成回路56は映像信号を生成し、スクリーン24に出力する。したがって、スクリーン24上に表示されたCGキャラクタ38aの顔の向きが変えられる。
【0031】また、実空間Aにおいてオペレータ38がエージェントとして存在し、たとえば講義をする場合には、受講する人物40aおよび40bを一様に見るようにするため、CGキャラクタ38の顔の向きまたは身体の向きを一様に変えるように、CPU50は映像・音声生成回路56を制御する。これに応じて、映像・音声生成回路56は映像信号を生成し、スクリーン24に出力する。また、映像・音声生成回路56は、講義の内容に従ってオペレータ38の音声を生成し、スピーカ26に出力する。なお、講義をする場合には、予めビデオカメラなどにより記録しておいた映像信号および音声信号をスクリーン24およびスピーカ26を通して再生するようにしてもよい。」
「【0033】また、CPU50は映像・音声認識回路52の出力信号に基づいて、アバタとして存在する必要があるかどうかを判別する。つまり、上述のように、映像・音声認識回路52が人物40aおよび40bの集中度(注目度)等を検出しており、その検出結果に応じてCPU50はアバタとして存在する必要がある、つまり仮想変身する必要があることを統括コンピュータ36に知らせる。つまり、仮想変身を要請する。
【0034】具体的には、注目度に基づいて判別する場合には、映像・音声認識回路52が人物40aおよび40bの目線を検出する。そして、人物40aおよび40bの目線がCGキャラクタ38aに向けられている場合には、言い換えれば注目度が高い場合には、CPU50は仮想変身する必要があると判別する。なお、講義のように人物が複数人の場合には、CPU50はカメラ20a~20cの向き等を制御して、1人ずつ顔を撮影し、目線を検出する。そして、複数の人物のほとんどの者(たとえば、参加者の80%以上の者)が注目している場合に、CPU50は仮想変身する必要があると判別する。また、会議において人物40aまたは40bの話を聞いている場合や、講義を受講者として聞いている場合には、つまりエージェントとして存在する分身が聞き手の場合には、話者の方をほとんどの者が注目していると、話の内容が重要であるまたは話の内容が面白いと判断し、仮想変身する必要があると判別する。
【0035】また、反応に基づいて判別する場合には、映像・音声認識回路52が映像信号に基づいてたとえば人物40aおよび40bの「うなづき」を検出する。つまり、興味の度合いを検出する。したがって、CPU50は、人物40aおよび40bがともにうなづいている場合には、仮想変身する必要があると判別する。また、参加者が多数の場合には、ほとんどの者がうなづいている場合に、アバタとして存在する必要があると判別す
る。この場合には、上述の目線を検出したのと同様に、1人ずつ顔を撮影し、うなづきを検出する。そして、人物のほとんどの者(たとえば、参加者の80%以上の者)がうなづいている場合に、仮想変身の必要があると
判別する。
【0036】さらに、音声に基づいて判別する場合には、予め記憶されている特定の言葉(キーワード)で判別される。たとえば、会議(会話)では、人物40aまたは40bが“○○さん(オペレータ38の名前)は、どうお考えですか?”などのように、映像・音声認識回路52がオペレータ38の名前を認識すると、CPU50は仮想変身する必要があると判別する。また、講義では、受講者(人物40aまたは40bなど)が、“質問があります。”,“質問”または“わかりません。”などの言葉を発すると、映像・音声認識回路50は質問や疑問があることを認識する。これに応じて、CPU50は、仮想変身する必要があると判別する。なお、講義の最後であれば、エージェントが発する、つまりスピーカ26から出力される“質問はありませんか?”などの音声に対して、受講者が手を挙げた場合に、この反応に応じて質問があることを認識するようにしてもよい。
【0037】CPU50は、オペレータ38が仮想変身する必要があると判別すると、そのことを統括コンピュータ36に要請する。統括コンピュータ36はまた、上述したように、コンピュータ12~18を管理しており、実空間A~Cにおいてアバタまたはエージェントとして存在していることを認識している。つまり、統括コンピュータ36は、他の実空間Aで仮想変身する必要があると判別されると、他の実空間BおよびCにおいてエージェントとして存在している場合には、そのまま実空間Aにおいて仮想変身すると判断する。しかし、他の実空間BまたはCのいずれかにおいてアバタとして存在する場合には、統括コンピュータ36は重要度レベルに基づいていずれの実空間Aまたは実空間B,Cでアバタとして存在するかを判断する。」
「【0042】アバタとして存在する実空間Aが決定されると、実空間Aのコンピュータ12に仮想変身の指示とともに、映像・音声再現回路58を能動化する。つまり、映像・音声生成回路56から映像・音声再現回路58に切り換える。また、他のコンピュータ14および16にエージェントの指示を与える。このように、1つの実空間Aにおいてアバタとして存在する場合には、他の実空間BおよびCではエージェントとして存在する。また、統括コンピュータ36は、コンピュータ18を指示してオペレータ38に仮想変身する必要があることを知らせる。具体的には、スピーカ34を用いて、報知音を発したり、“実空間○(場所名)で呼ばれています。”などの音声を発するようにすればよい。また、他の実空間A~Cのそれぞれに対応するランプ(図示せず)などを設けておき、アバタとして存在する必要がある他の実空間A,BまたはCに対応するランプを点灯するようにしてもよい。さらに、これらは、複合的に用いてもよい。
【0043】仮想変身の指示に応じて、CPU50は映像・音声記録/再生回路54を制御して、直前の実空間Aの状況をオペレータ38に知らせる。つまり、アバタとして存在する必要性が生じたときから所定時間(たとえば、5分間)前の映像信号および音声信号を統括コンピュータ36に送信する。統括コンピュータ36は、その映像信号および音声信号をコンピュータ18に送信する。ここで、人物40aや40bに違和感や不快感を与えないようにするため、オペレータ38がアバタとして存在する必要性が生じてから、実際にアバタとして存在するまでの時間(この実施例では、約10秒)が短く設定される。したがって、CPU60は、送信された映像信号および音声信号をスクリーン32およびスピーカ34を通して高速に再生する。なお、映像・音声記憶/再生回路54が、主要な映像信号および音声信号のみを送信したり、映像信号および音声信号を間引いて送信するようにしてもよい。つまり、映像信号に付随する音声信号がある部分のみを送信するようにすればよい。このようにして、短時間でオペレータ38は直前の状況等を理解する。
【0044】続いて、CPU60の指示に従って、実空間Pのカメラ28a~28cおよびマイク30a,30bが能動化される。したがって、カメラ28a~28cから出力される映像信号に基づいて表情・全身姿勢推定回路62がオペレータ38の表情および動作に関する情報信号およびマイク30aおよび30bに入力された音声に対応する音声信号がコンピュータ18(CPU60)から統括コンピュータ36を介してコンピュータ12に送信される。送信された情報信号および音声信号は、CPU50の指示に従って映像・音声再現回路58に与えられる。したがって、オペレータ38の動きおよび表情がCGキャラクタ38aを用いて再現され、また音声がスピーカ26を通して再現される。つまり、オペレータ38は、仮想変身して実空間Aにアバタとして存在する。
【0045】そして、オペレータ38は、アバタとして存在する必要がなくなったと判断すれば、コンピュータ18を操作して、実空間Aにおいてエージェントとして存在することができる。」
図1 「
〔図省略〕
」
図2 「
〔図省略〕
」
(2)上記(1)から、甲第1号証には、次の発明(以下「甲1発明」という。)が記載されていると認められる。
「実空間内の人物を少なくとも1つの他の実空間内に分身として存在せしめる分身コミュニケーションシステムであって、
必要に応じて分身をアバタとしてまたはエージェントとして切り換えるようにした、分身コミュニケーションシステムであり、
アバタとはオペレータ(本人)の分身であって、オペレータのそのときの実際の姿勢や挙動に応じた姿勢や挙動を表現するCGをいい、
エージェントとはオペレータの分身であるが、オペレータの実際の姿勢や挙動に関係なく、たとえばコンピュータに予めプログラミングされた姿勢や挙動を表現するCGをいい、
分身コミュニケーションシステム10は、実空間A,B,CおよびPを含み、
実空間A,B,CおよびPのそれぞれに対応して、パソコン程度の処理能力を持つコンピュータ12,14,16および18が設けられ、
コンピュータ12は、実空間Aに設けられたカメラ20a~20c,マイク22aおよび22b,スクリーン24およびスピーカ26に接続され、
実空間Pにつながったコンピュータ18は、カメラ28a~28c,マイク30aおよび30b,スクリーン32,スピーカ34および操作パネル42に接続され、
システム10は統括コンピュータ36を含み、
コンピュータ12はCPU50を含み、
CPU50は、映像・音声認識回路52,映像・音声記録/再生回路54,映像・音声生成回路56および映像・音声再現回路58に接続され、
映像・音声再現回路58には、統括コンピュータ36から出力されるオペレータ38の実際の動作,表情および音声に対応する動作等の情報信号および音声信号が与えられ、
映像・音声再現回路58は、情報信号に基づいて、CGキャラクタ38aを用いてオペレータ38の動作および表情を再現するための映像信号を生成し、
映像・音声再現回路58は、統括コンピュータ36から出力された音声信号に基づいてオペレータ38の音声を再現するための音声信号を生成し、
映像・音声再現回路58は、スクリーン24上のCGキャラクタ38aおよびスピーカ26を用いて、オペレータ38の実際の動作、表情および音声をそのまま再現し、
コンピュータ18はCPU60および表情・全身像姿勢推定回路62を含み、この表情・全身像姿勢推定回路62はCPU60に接続され、
CPU60はまた、カメラ28a~28c,マイク30a,30bおよび操作パネル42に接続され、
表情・全身像姿勢推定回路62は、カメラ28a~28cから出力された映像信号に基づいて、オペレータ38の表情および動作を推定し、推定した表情および動作に関する情報信号を生成し、
仮想変身すると、情報信号がCPU60を介して統括コンピュータ36に出力され、統括コンピュータ36が他の実空間Aに情報信号を送信し、
実空間Aにおいてオペレータ38がエージェントとして存在し、会議(会話)が行われ、人物40aまたは40bが発言している場合には、CPU50は映像・音声認識回路52の出力信号に基づいて発言している人を認識し、エージェントとしてのCGキャラクタ38aの顔をその発言者(人物40aまたは40b)の方向を向かせるように、映像・音声生成回路56を制御し、
会議(会話)では、人物40aまたは40bが“○○さん(オペレータ38の名前)は、どうお考えですか?”などのように、映像・音声認識回路52がオペレータ38の名前を認識すると、CPU50は仮想変身する必要があると判別し、
CPU50は、オペレータ38が仮想変身する必要があると判別すると、そのことを統括コンピュータ36に要請し、
統括コンピュータ36は、コンピュータ12~18を管理しており、実空間A~Cにおいてアバタまたはエージェントとして存在していることを認識しており、
統括コンピュータ36は、他の実空間Aで仮想変身する必要があると判別されると、他の実空間BおよびCにおいてエージェントとして存在している場合には、そのまま実空間Aにおいて仮想変身すると判断し、
アバタとして存在する実空間Aが決定されると、実空間Aのコンピュータ12に仮想変身の指示とともに、映像・音声再現回路58を能動化し、
仮想変身の指示に応じて、CPU50は、アバタとして存在する必要性が生じたときから所定時間(たとえば、5分間)前の映像信号および音声信号を統括コンピュータ36に送信し、統括コンピュータ36は、その映像信号および音声信号をコンピュータ18に送信し、
オペレータ38の表情および動作に関する情報信号およびマイク30aおよび30bに入力された音声に対応する音声信号がコンピュータ18(CPU60)から統括コンピュータ36を介してコンピュータ12に送信され、
送信された情報信号および音声信号は、CPU50の指示に従って映像・音声再現回路58に与えられ、
オペレータ38の動きおよび表情がCGキャラクタ38aを用いて再現され、また音声がスピーカ26を通して再現される、
分身コミュニケーションシステム。」
2 甲第2号証
(1)甲第2号証には、以下の記載がある。
「【0050】
次に、キオスク端末1およびオペレータ端末2の概略構成について説明する。図4は、キオスク端末1およびオペレータ端末2の概略構成を示すブロック図である。
【0051】
キオスク端末1は、前記のように、正面モニタ12と、手元モニタ13と、正面カメラ14と、手元カメラ15と、ICカードリーダ16と、スピーカー17と、マイク18と、を備えている。また、キオスク端末1は、制御部31と、通信部32と、記憶部33と、を備えている。
【0052】
通信部32は、ネットワークを介してオペレータ端末2と通信を行う。」
「【0055】
画面制御部35は、正面モニタ12および手元モニタ13の表示画面を制御する。本実施形態では、オペレータ端末2からオペレータの正面映像を受信すると、そのオペレータの正面映像を正面モニタ12に表示する。また、オペレータ端末2からオペレータの手元映像を受信すると、そのオペレータの手元映像を手元モニタ13に表示する。
【0056】
また、オペレータ端末2からオペレータの顔の特徴情報を受信すると、アバター動画生成部36にアバターの正面動画を生成させて、そのアバターの正面動画を正面モニタ12に表示する。また、オペレータ端末2からオペレータの手の特徴情報を受信すると、アバター動画生成部36にアバターの手元動画を生成させて、そのアバターの手元動画を手元モニタ13に表示する。
【0057】
また、オペレータ端末2から字幕の文字情報を受信すると、字幕の画像を生成して、その字幕の画像をアバターの正面動画上に重畳して表示する。また、オペレータ端末2から案内情報を受信すると、案内情報を可視化した帯情報の画像を生成して、その帯情報の画像をアバターの正面動画上に重畳して表示する。
【0058】
アバター動画生成部36は、オペレータ端末2から受信した特徴情報(トラッキング情報)に基づいて、オペレータの顔の動きに合わせてアバター(キャラクタ)が動くアバターの動画を生成する(フィッティングおよびレンダリング)。本実施形態では、オペレータの顔の特徴情報に基づいて、オペレータの顔の表情をアバターで再現した正面動画を生成し、また、オペレータの手の特徴情報に基づいて、オペレータの手の動きをアバターで再現した手元動画を生成する。
【0059】
音声制御部37は、スピーカー17から出力する音声を制御する。本実施形態では、音声変換が有効であるか否かに応じて、オペレータ端末2から受信したオペレータの原音声と、音声変換部38で音声変換された音声とのいずれかをスピーカー17から出力する。
【0060】
音声変換部38は、オペレータ端末2から受信したオペレータの原音声を、アバターのキャラクタに適合した声質の音声に変換する。この音声変換には、ディープラーニングを用いた声質変換など、公知の音声変換技術を用いればよい。
【0061】
また、制御部31は、この他に、オペレータ端末2に接続する接続制御を行い、また、キオスク端末1で撮影したユーザの映像と、オペレータ端末2で撮影したオペレータの映像と、をリアルタイムで送受信する映像伝送制御などを行う。
【0062】
オペレータ端末2は、前記のように、第1モニタ22と、第2モニタ23と、正面カメラ24と、手元カメラ25と、ヘッドセット26と、を備えている。また、オペレータ端末2は、制御部41と、通信部42と、記憶部43と、を備えている。
【0063】
通信部42は、ネットワークを介してキオスク端末1と通信を行う。」
「【0068】
特徴抽出部46は、正面カメラ24で撮影したオペレータの正面映像から、オペレータの顔の特徴情報、すなわち、顔に設定された複数の特徴点の位置情報(座標)を抽出する。また、手元カメラ25で撮影したオペレータの手元映像から、オペレータの手の特徴情報、すなわち、手に設定された複数の特徴点の位置情報(座標)を抽出する。
【0069】
音声認識部47は、マイク29で収音したオペレータの音声に対して音声認識を行い、文字情報を出力する。」
「【0102】
一方、アバター表示モードである場合には、正面カメラ24で撮影したオペレータの正面映像からオペレータの顔の特徴情報を抽出して、その特徴情報をキオスク端末1に送信し、キオスク端末1において、特徴情報からアバターの正面動画を生成させて、そのアバターの正面動画を正面モニタ12に表示させる(ST103)。」
「【0112】
キオスク端末1では、まず、音声変換が有効であるか否かを判定する(ST301)。ここで、音声変換が有効である場合には(ST301でYes)、オペレータ端末2から受信したオペレータの原音声に対して音声変換を行い、音声変換された音声をスピーカー17から出力する(ST302)。
【0113】
一方、音声変換が無効である場合には(ST301でNo)、オペレータ端末2から受信したオペレータの原音声をスピーカー17から出力する(ST303)。」
図4 「
〔図省略〕
」
図6 「
〔図省略〕
」
3 甲第3号証
(1)甲第3号証には、以下の記載がある。
「【0024】
(第1の実施の形態)
図1は第1の実施の形態におけるキャラクタ映像表示機能付き電話の機能ブロック図である。図1において、送信端末装置100は、音声を入力するマイクなどの音声入力部101と、音声データを符号化して電話網120へ送信する電話送信部102とを備える。また、受信端末装置110は、電話網120から音声データを受信し、復号する電話受信部111と、復号した音声データを出力するスピーカなどの音声出力部112と、キャラクタ映像を生成する映像生成部113と、キャラクタ映像を表示する映像出力部114とを備える。送信端末装置100と受信端末装置110は電話網120にそれぞれ接続されている。図1において、受信端末装置110が、キャラクタ映像を表示する機能を有する実施の形態のキャラクタ映像表示機能付き電話である。なお、図1では送信端末装置100と受信端末装置110を異なる装置としているが、送信側の装置と受信側の装置のいずれにも送信端末装置100および受信端末装置110の機能を持たせ、お互いに相手側端末から送信された音声データに基づいてキャラクタ映像を表示することも可能である。
【0025】
図2は、映像生成部113の詳しい構成を示す図である。映像生成部113は、電話受信部111より入力された音声情報から音素を抽出する音素抽出部201と、抽出された音素に応じて映像を構成するキャラクタ画像を選択する画像選択部202とを備えている。画像選択部202により選択されるキャラクタ画像の候補は、キャラクタ画像データベース(以下、「キャラクタ画像DB」という)203に記憶されている。
【0026】
図3(a)~図3(e)は、キャラクタ画像DB203に記憶されたキャラクタ画像の例を示す図である。図3(a)は日本語の50音表の「あ」の段の音素に関連付けられた画像、図3(b)は「い」の段の音素の関連付けられた画像、図3(c)は「う」の段の音素の関連付けられた画像、図3(e)は「え」の段の音素の関連付けられた画像、図3(e)は「お」の段の音素の関連付けられた画像である。」
「【0029】
まず、送信端末装置100は、マイクなどの音声入力部101にて入力された音声データを電話送信部102に送る(S10)。電話送信部102は、音声入力部101から送られた音声データを符号化し(S12)、符号化した音声データを電話網120に送信する(S14)。ここでは、電話送信部102が音声データの符号化を行う例について説明したが、音声データの符号化は音声入力部101にて行ってもよい。
【0030】
受信端末装置110は、電話網120を通じて送信端末装置100から送信された音声データを電話受信部111にて受信する。続いて、電話受信部111は、受信した音声データを復号化する(S16)。電話受信部111は、復号した音声データを映像生成部113および音声出力部112に送る(S18、S24)。ここでは、電話受信部111にて音声データを復号化する例について説明したが、電話受信部111にて復号化を行わずに、映像生成部113および音声出力部112にて音声データを復号化してもよい。
【0031】
電話受信部111から音声データを受信した映像生成部113は、音声データに合ったキャラクタ映像を生成する(S20)。具体的には、映像生成部113の音素抽出部201は、電話受信部111より入力された音声データから音素を抽出し、抽出した音素の情報を画像選択部202に送る。画像選択部202は、抽出された音素に合ったキャラクタ画像をキャラクタ画像DB203から読み出して、キャラクタ映像を生成する。
【0032】
映像生成部113は、生成したキャラクタ映像を映像出力部114に送り(S22)、これを受けた映像出力部114は、キャラクタ映像を受信端末装置110に表示する。同時に、電話受信部111から音声データを受信した音声出力部112は、音声を出力する。以上の動作を、音声データを受信するたびに繰り返し行うことにより、キャラクタ映像を音声に同期して表示させることができる。
【0033】
本実施の形態では、電話受信部111から映像生成部113に音声データが送られ、音声データ106に含まれる音素に基づいてキャラクタ映像が生成される。そして、電話受信部111から音声出力部112に送られた音声データに基づいて、音声出力部112から音声が出力されるのに合わせてキャラクタ映像109を出力するので、音声に合わせてキャラクタの唇が動き、あたかもキャラクタがしゃべっているかのように見せることができる。」
図1 「
〔図省略〕
」
図3 「
〔図省略〕
」
4 甲第4号証
(1)甲第4号証には、以下の記載がある。
「【0005】
特許文献1の発明では、オペレータは、ロボット装置から送信される各種のセンサ情報をモニタリングして、ロボット装置の動作モードを設定するようにしてあるため、オペレータはロボット装置の状態を常に監視する必要があった。すなわち、非効率であった。
【0006】
また、特許文献2の発明では、メンテナンスロボットは、保守作業を3回繰り返し行っても完了しない場合は、コールセンタへ保守員の派遣要請を行うだけである。つまり、保守員を現場に呼び出すに過ぎず、オペレータによる遠隔操作によってコンピュータ群の異常を解決しようとするものではなかった。
【0007】
また、特許文献3および特許文献4の発明は、遠隔地に存在する人間の声や動作に合わせてロボットの頷き動作などが制御(遠隔制御)されるだけであり、必要に応じてオペレータの指示に従ってロボットを遠隔制御するものではなかった。
【0008】
それゆえに、この発明の主たる目的は、効率良くロボットを遠隔操作できる、コミュニケーションロボットを提供することである。」
「【0026】
図1を参照して、この実施例のコミュニケーションロボット10(以下、単に「ロボット」ということがある。)は、主として人間のようなコミュニケーションの対象とコミュニケーションすることを目的とした相互作用指向のもので、音声によって人間と対話することが可能である。また、音声に代えて、或いは音声とともに、身振り手振りのような身体動作を用いてコミュニケーションすることもできる。以下、この明細書において、音声および身体動作の少なくとも一方を用いたコミュニケーションの行動ないし動作をコミュニケーション行動という。
【0027】
このロボット10は、一例として、受付ロボットや道案内ロボットであり、或るイベント会場や会社の受付などの様々な場所や状況に配置され、通常は自律制御によって、受付や道案内などの役割を果たす(サービスを提供する)。しかし、ロボット10は、自律制御だけでは対応することが困難な事態になった場合、たとえば人間との会話がうまくいっていない状況になったり、より細やかな対応が求められる場面になったりした場合などには、オペレータを呼び出す。そして、ロボット10は、呼び出したオペレータによって入力された制御コマンド(遠隔操作情報)を受信し、当該制御コマンドに従うコミュニケーション行動(動作や発話)を実行する。つまり、ロボット10は、オペレータによって必要に応じて遠隔操作される。」
「【0045】
図2はロボット10の電気的な構成を示すブロック図であり、この図2を参照して、ロボット10は、全体を制御するCPU72を含む。CPU72は、マイクロコンピュータ或いはプロセサとも呼ばれ、バス74を介して、メモリ76、モータ制御ボード78、センサ入力/出力ボード80および音声入力/出力ボード82に接続される。
【0046】
メモリ76は、図示は省略するが、ROMやHDDおよびRAMを含み、ROMやHDDには、ロボット10の動作を制御する制御プログラムなどのプログラムが予め記憶される。他のプログラムとしては、各センサ28,32,42,46,48,58の出力を検出する検出プログラム、オペレータを呼び出すための呼出プログラムおよび外部コンピュータすなわちオペレータ端末204(図3参照)との間で必要なデータないしコマンドを送受信するための通信プログラムなどが該当する。また、メモリ76には、コミュニケーション行動を実行する際にスピーカ66から発生すべき音声または声の音声データ(音声合成データ)および所定の身振りを提示するための角度データなども記憶される。ただし、RAMは、ワークメモリやバッファメモリとして用いられる。
【0047】
制御プログラムとしては、ロボット10の身体動作を制御するための複数のプログラム(行動モジュールと呼ばれる。)の各々がコマンド名(制御コマンド)に対応して記憶される。たとえば、行動モジュールが示す身体動作としては、「なーに」、「わーい」、「待機」…などがある。」
「【0056】
音声入力/出力ボード82もまた、同様に、DSPで構成され、CPU72から与えられる音声合成データに従った音声または声がスピーカ66から出力される。また、マイク46からの音声入力が、音声入力/出力ボード82を介してCPU72に取り込まれる。
【0057】
また、CPU72は、バス74を介して通信LANボード94および無線通信装置96に接続される。また、通信LANボード94および無線通信装置96は、図示は省略するが、たとえば、無線LANアクセスポイントを介してLANやインターネットのようなネットワーク202(図3参照)に接続される。通信LANボード94は、DSPで構成され、CPU72から送られる送信データを無線通信装置96に与え、無線通信装置96から送信データを、ネットワーク202を介してオペレータ端末204に送信する。また、通信LANボード94は、無線通信装置96を介してオペレータ端末204からの遠隔操作情報(制御コマンド)を受信し、受信した遠隔操作情報をCPU72に与える。なお、ロボット10が移動不可能に設置されている場合には、ネットワーク202へは有線で接続されてもよい。また、ロボット10とオペレータ端末204とが無線もしくは有線により直接通信するように構成してもよい。
【0058】
また、CPU72には無線タグ読取装置98が接続される。無線タグ読取装置98は、無線タグ(RFIDタグ)から送信される識別情報の重畳された電波を、アンテナを介して受信し、電波信号を増幅し、当該電波信号から識別情報を分離し、当該識別情報を復調(デコード)してCPU72に与える。無線タグはイベント会場や会社などにいる人間に装着されており、無線タグ読取装置98は通信可能範囲内の無線タグを検出する。なお、無線タグはアクティブ型であってもよいし、無線タグ読取装置98から発信される電波に応じて駆動されるパッシブ型であってもよい。
【0059】
さらに、CPU72は、バス74を介して呼出条件データベース(呼出条件DB)100に接続される。呼出条件DB100は、オペレータを呼び出すか否かを判断するための条件(オペレータ呼出条件)を記憶したデータベースである。ここで、オペレータ呼出条件は、上述したように、トラブル(音声認識が不能など)が生じたり、より細やかな対応(コミュニケーションなど)が求められる場面になったりしたことを判断するための条件である。
【0060】
たとえば、オペレータ呼出条件は、(1)或るキーワードを検出したり、(2)人間の怒っている表情や困っている表情のような特定の表情を取得したり、(3)特定の人間を検出したり、(4)人間と長時間会話したり、(5)行く手を塞がれたり、(6)周囲にたくさんの人間が居たり、(7)オペレータ呼出ボタンが操作されたりすると、満たすと判断される。
【0061】
(1)具体的には、ロボット10は、マイク46を通して入力される人間の声(音声)を検出し、これを認識する。図示は省略するが、メモリ76には、音声認識用の辞書データが記憶されており、この辞書データを参照して、DPマッチング或いはHMM(隠れマルコフモデル)の方法により、入力された音声を認識する。ここで、たとえば、「責任者を呼んで」、「違う」、「そうじゃない」、「わからない」などの特定のキーワードを検出すると、オペレータ呼出条件を満たすと判断する。ただし、特定のキーワードは、メモリ76に予め登録される。また、特定のキーワードは単なる例示であり、限定されるべきではなく、ロボット10の適応環境などによって適宜変更(決定)される。さらに、特定のキーワードは、1つでもよく、複数であってもよい。さらに、キーワード毎に回数を設定しておき、キーワードを検出した回数が設定した回数(設定回数)になったときに、オペレータの呼出条件を満たすと判断するようにしてもよい。たとえば、「責任者を呼んで」のように、直接的にオペレータを呼び出すようなキーワードの場合には、設定回数が「1」に設定される。また、「違う」、「そうじゃない」、「わからない」などのように、間接的にオペレータを呼び出すようなキーワードの場合には、設定回数が「3」に設定される。」
「【0076】
上述したように、ロボット10は、通常は自律制御によって、人間との間で対話などのコミュニケーション行動を行い、受付や道案内などを行う。たとえば、ロボット10は、自律制御を行っている場合には、ランダムに選択された制御コマンドに従うコミュニケーション行動を実行したり、人間とのインタラクションに応じて選択された制御コマンドに従うコミュニケーション行動を実行したりする。後者の具体例としては、ロボット10は、人間に肩を触れられると、「なーに」と発話して首を傾げる。つまり、CPU72は、タッチセンサ58の出力に基づいて肩を触られていることを検出すると、「なーに」に対応する制御コマンドを選択し、これに従うコミュニケーション行動を実行する。ただし、これは単なる一例であり、限定されるべきでなく、ロボット10は様々な自律行動が可能である。
【0077】
しかし、上述したようなオペレータ呼出条件を満たす場合には、人間(ユーザ)とのコミュニケーション行動が円滑に行われていなかったり、自律制御だけでは解決することが難しい問題が生じていたりすると考えられるため、ロボット10が自律制御を行うことは妥当ではないと言える。
【0078】
これを回避するため、この実施例では、ロボット10は、オペレータ呼出条件を満たすと判断した場合には、オペレータ端末204に呼出要求を送信するようにしてある。簡単に説明すると、CPU72が、オペレータの呼出要求を、通信LANボード94および無線通信装置96を介して出力する。すると、ネットワーク202を経由して、オペレータ端末204に送信される。
【0079】
オペレータ端末204では、ロボット10からの呼出要求を受信すると、上述した制御プログラムが起動され、表示装置(図示せず)に、図4に示すような遠隔操作画面210が表示される。これによって、オペレータ端末204のオペレータは呼出要求が有る旨を知ることができる。ただし、オペレータ端末204に設けられた(接続された)スピーカから警告音を出力するようにして、オペレータに対して遠隔操作の必要性を通知することもできる。かかる場合には、制御プログラムは、オペレータが入力装置を用いて起動するようにしてもよい。そして、オペレータはロボット10の遠隔操作を開始する。
【0080】
ここで、図4に示すように、遠隔操作画面210は、表示領域212、214および216を含む。表示領域212は、たとえばロボット10の眼カメラ48で撮影した画像(ロボットカメラ画像)を表示する。表示領域214は、ロボット情報を表示する。たとえば、ロボット情報は、ロボット10の配置された場所(施設、会場、会社など)の名称(ここでは、受付や玄関)、当該ロボット10の名前(もしくは識別情報)、当該ロボット10の配置された場所の地図および当該ロボット10が対話している人間の情報(名前、年齢および重要度など)などである。また、ロボット10と人間とが会話している場合には、ロボット10はそのマイク46から入力される音声を検出して、その音声信号をオペレータ端末204に送信するようにしてもよい。このようにすれば、オペレータ端末204では、ロボット10と会話している人間の音声を再生することができ、オペレータはその内容を把握して、適切な対応をすることができるからである。なお、これらオペレータに提示される情報は一例であり、遠隔操作画面210には適宜適切な情報が表示される。
【0081】
したがって、オペレータは、表示領域212および214を見ながら、ロボット10の遠隔操作を行うことができる。表示領域216は、ロボット10を遠隔操作する場合に、当該ロボット10に送信する制御コマンドを入力するための操作パネルを表示する。操作パネルには、制御コマンドが記載された複数のアイコンないしボタン(GUI)が表示される。たとえば、移動を指示するためのボタン(前進、後退など)、コミュニケーション行動を指示するためのボタン(お辞儀、右指差しなど)および遠隔操作の終了を指示するためのボタンなどが設けられる。オペレータが、入力装置を用いて、いずれかのボタンを指示することにより、指示されたボタンに対応する所望の制御コマンドを入力することができる。そして、入力された制御コマンドが、ネットワーク202を介してロボット10に送信される。ロボット10は、オペレータ端末204から送信された制御コマンドを受信すると、当該制御コマンドに従うコミュニケーション行動を実行する。」
「【0096】
さらに、この実施例では、ロボットが発話する際には、予めメモリに記憶した音声合成データを読み出して出力するようにした。しかし、オペレータ端末にオペレータの声(音声)を入力するマイクを設け、オペレータの音声をロボットに送信して、これをロボットのスピーカから出力するようにしてもよい。かかる場合には、オペレータがロボットの会話相手と直接会話することができる。」
図1 「
〔図省略〕
」
図3 「
〔図省略〕
」
図4 「
〔図省略〕
」
(2)上記(1)から、甲第4号証には、次の発明(以下「甲4発明」という。)が記載されていると認められる。
「ロボット10は、全体を制御するCPU72を含み、
メモリ76には、ロボット10の動作を制御する制御プログラムなどのプログラムが予め記憶され、
メモリ76には、コミュニケーション行動を実行する際にスピーカ66から発生すべき音声または声の音声データ(音声合成データ)および所定の身振りを提示するための角度データが記憶され、
制御プログラムとしては、ロボット10の身体動作を制御するための複数のプログラム(行動モジュールと呼ばれる。)の各々がコマンド名(制御コマンド)に対応して記憶され、
CPU72は、バス74を介して通信LANボード94および無線通信装置96に接続され、
通信LANボード94は、CPU72から送られる送信データを無線通信装置96に与え、無線通信装置96から送信データを、ネットワーク202を介してオペレータ端末204に送信し、
通信LANボード94は、無線通信装置96を介してオペレータ端末204からの遠隔操作情報(制御コマンド)を受信し、受信した遠隔操作情報をCPU72に与え、
CPU72は、バス74を介して呼出条件データベース(呼出条件DB)100に接続され、
オペレータ呼出条件は、より細やかな対応(コミュニケーションなど)が求められる場面になったりしたことを判断するための条件であり、
ロボット10は、マイク46を通して入力される人間の声(音声)を検出し、これを認識し、
ロボット10は、通常は自律制御によって、人間との間で対話などのコミュニケーション行動を行い、受付や道案内などを行い、
ロボット10は、自律制御を行っている場合には、人間とのインタラクションに応じて選択された制御コマンドに従うコミュニケーション行動を実行し、
ロボット10は、オペレータ呼出条件を満たすと判断した場合には、オペレータ端末204に呼出要求を送信し、
オペレータ端末204では、ロボット10からの呼出要求を受信すると、表示装置に、遠隔操作画面210が表示され、
遠隔操作画面210は、表示領域212、214および216を含み、
ロボット10はそのマイク46から入力される音声を検出して、その音声信号をオペレータ端末204に送信し、
表示領域216は、ロボット10を遠隔操作する場合に、当該ロボット10に送信する制御コマンドを入力するための操作パネルを表示し、
操作パネルには、制御コマンドが記載された複数のアイコンないしボタン(GUI)が表示され、コミュニケーション行動を指示するためのボタン(お辞儀、右指差しなど)が設けられ、
オペレータが、入力装置を用いて、いずれかのボタンを指示することにより、指示されたボタンに対応する所望の制御コマンドを入力し、
入力された制御コマンドが、ネットワーク202を介してロボット10に送信され、
ロボット10は、オペレータ端末204から送信された制御コマンドを受信すると、当該制御コマンドに従うコミュニケーション行動を実行し、
オペレータ端末にオペレータの声(音声)を入力するマイクを設け、オペレータの音声をロボットに送信して、これをロボットのスピーカから出力する、
コミュニケーションロボット10。」
5 甲第5号証
(1)甲第5号証には、以下の記載がある。
「【0021】この実施例においては、業務アプリケーション8の具体例として、航空券の予約が行える航空券予約サービスを挙げて説明するが、本発明はこのアプリケーションにのみに限定されるものではなく、様々なアプリケーションに応用可能であることはいうまでもない。
【0022】まず、利用者は入力部1から業務アプリケーション8に対してコマンドを入力する。また、この例において、利用者から入力されるコマンドとしては、航空券の予約に必要な“出発地”、“到着地”、“出発日時”等の入力項目に対する入力や、予約の確認に対する応答等である。この入力部1を介して行われる利用者の入力の説明については後述する。
【0023】対話フロー記憶部3には、図2に示すように、利用者の入力コマンドに対して、システムが利用者と対話を行うための発話テキストと、その発話テキストにおけるシステムと利用者との対話の状態とを記述した対話フローが記憶されている。この例における対話の状態は、システム応答を確認(利用者への確認)、判断(情報の判断)、ガイダンス(利用者へのガイダンス表示)の3種類の例が記述されている。
【0024】次に、対話制御部2は、入力部1から入力されたコマンドに対応するシステムの応答を、対話フロー記憶部3に記憶されている対話フローを参照して決定し、また、各入力項目に対する検索などは、業務アプリケーション8からこの検索結果を受け取り出力する。これら業務アプリケーション8と対話制御部2と対話フロー記憶部3の実現には、例えば特開平9-91108号公報に記載されている対話型操作支援装置の技術を用いることができる。
【0025】対話フロー解析部4は、対話制御部2で参照された対話フローと対話制御部2で決定されたこの対話フローを参照し、現状の対話フローにおける対話の状態が、確認かそれともガイダンスであるかの判定や、対話フローが切り替わっているか、フローが失敗しているか、フローが繰り返されているか等の判定を行う。
【0026】また、対話フロー解析部4は、この判定結果と対話フローに記述されている発話テキストを動作・表情生成部51及びテキスト出力制御部54及び音声合成部55に送出する。この対話フロー解析部4の判定の例は、図3に示すように、対話の状態が確認かガイダンスか(ステップ301)、対話フローが切り替わっているかどうか(ステップ302)、対話フローが失敗しているかどうか(ステップ303)、対話フローが繰り返しているかどうか(ステップ304)等が挙げられる。
【0027】人物像生成部5は、対話フロー解析部4から送られた発話テキスト、対話の状態や対話フローが切り替わっているかどうか等の判定を入力とし、動作・表情生成部51では人物像の動作及び表情を、テキスト出力制御部54では人物像のセリフの画面への出力形式を、音声合成部55ではセリフの音声を、同期設定部56において同期を設定しながら出力する。
【0028】動作・表情生成部51は、対話フロー解析部4から送られた判定または発話テキストから人物像の動作を生成する。例えば、前記対話フロー解析部4において、対話フローの対話の状態がガイダンスであると判定された場合(ステップ301)、動作・表情生成部51の動作は、“下向きの指示”(ステップ311)であるので、この“下向きの指示”動作に相当するデータを動作データ記憶部52から呼び出し、人物像の動作を生成する。このとき、動作データ記憶部52には、図4に示すように“挨拶”や“確認”や“指示”などの動作パタンとその動作パタンに対応付けられた動作の内容が記憶されており、動作表情生成部51においては、この動作データ記憶部52に記憶されている動作の内容に応じて人物像の動作を生成する。例えば“下向きの指示”動作の場合、人差し指を伸ばし、手前のメッセージボードを示すような各関節構造の動きを記述してある。
【0029】また、テキスト出力制御部54は、対話フロー解析部4から送られた対話フローがガイダンスか確認かの判定に従って、人物像のセリフの出力形式を決定する。例えば、前記対話フロー解析部4において、対話フローがガイダンスであると判定された場合(図3のステップ301)、テキスト出力制御部54は、対話フロー解析部4から送られた発話テキストを入力として、図6の601に示すようにセリフをメッセージボード上に出力し、人物像が話し終えた後も表示を残し、利用者がじっくり内容を読むことが出来るように表示する(ステップ312)。
【0030】音声合成部55は、対話フロー解析部4から送られた発話テキストを入力として、セリフを音声合成する(ステップ324)。
【0031】同期設定部56は、動作・表情制御部51で生成される指示動作と、音声合成部で合成される音声と、テキスト出力制御部54で出力されるセリフの表示の同期をとり、動作と音声とセリフの表示の開始が同時になるように制御する。セリフが音声で読み上げられていくのと同期して、メッセージボードへの表示が行われ、セリフが読み終わった後にもメッセージボードへの表示は残しておく。ガイダンスの表示は、次のガイダンスが開始されるまで残しておく。
【0032】表示部6は動作や表情やセリフを表示し、スピーカー8は音声を出力する。」
図6 「
〔図省略〕
」
6 甲第6号証
(1)甲第6号証には、以下の記載がある。
「【0045】
<CGキャラクタ対話処理の第1実施例>
次に、本実施形態におけるCGキャラクタ対話処理の第1実施例について図を用いて説明する。図3は、CGキャラクタ対話処理の第1実施例を示す図である。図3の例では、上述したCGキャラクタ対話装置10における音声認識手段14と、応答抽出手段15と、スクリプト生成手段17と、再生手段18が示されている。図3に示す第1実施例では、CG映像生成スクリプトとしてTVMLスクリプトを用いると共に、TVMLスクリプトを解釈してリアルタイムにCG映像を生成するツールとして、再生手段18の一例であるTVMLプレイヤーを用いている。
【0046】
第1実施例では、CG映像の制御処理を行うための設定を外部ファイル化すると共に、制作者側がCG映像の生成の専門家ではなくても、簡単にCG映像の設計や変更等が行えるように、簡易な日本語又はスクリプト(テキスト)を記述する方式とする。これにより、Q&A等の応答データベースに容易に統合することができる。また、記述された日本語又はスクリプトは、CG映像の生成用スクリプトに簡単に変更できるものとし、CG映像生成用スクリプトを利用することにより、CGキャラクタの表情変更や動作(振る舞い)の変更だけでなく、小道具(小物等)や音楽の変更、カメラワークの変更等、多彩なシーンの変更を可能とする。
【0047】
そこで、第1実施例では、自然言語対話エンジンで利用するQ&Aの応答文に付随してCGキャラクタやシーン制御のためのテキスト記述を追加する。また、自然言語対話エンジンで応答文が決定され、追記したテキスト記述が読み出された後、応答文及びこのテキスト記述を用いてCG映像生成スクリプトを生成し、生成したスクリプトを用いてCG映像を生成する。
【0048】
第1実施例では、例えば図3に示すような音声情報(例えば、「名前は何ですか」)が入力された場合、音声認識手段14による音声認識により文字列情報を取得する。次に、応答抽出手段15により記憶手段13に記憶された応答データベース(図3の(a))を参照し、認識した文字列情報に対応する応答情報を抽出する。図3の例では、「名前は何ですか」の文字列に対応した質問情報(Q)として類似度が最も高い「名前は?」が抽出され、その回答(A)である「花子です。」が応答情報として抽出される。このとき、応答データベースには、単に応答情報だけでなく、CGキャラクタに表情や動作等の表現を行わせるマクロを抽出するためのマクロ抽出キーワードも含まれている。なお、マクロ抽出キーワードは、例えば括弧書きのように予め設定された記述フォーマットで他の情報と識別可能に記述されている。
【0049】
したがって、第1実施例では、このマクロ抽出キーワード(図3の例では、「(笑顔)」)も合わせて抽出し、スクリプト生成手段17により、抽出したマクロ抽出キーワードを用いて、記憶手段13等に記憶されたキーワード毎に対応付けられたマクロデータ(図3の(b))の中から、マクロ抽出キーワードに対応するスクリプト(マクロ)を抽出する。
【0050】
第1実施例では、Q&A情報だけでなく、回答部分にCG映像を生成するためのテキスト記述を含んでいる。したがって、スクリプト生成手段17は、図3(c)の1行目に示すような応答文に対応したTVMLスクリプト、及び、映像生成用のテキスト記述からマクロデータを抽出して、図3(c)の2行目に示すようなTVMLスクリプトを生成する。
【0051】
生成されたTVMLスクリプトは、TVMLプレイヤーによって解釈され、映像及び音声等が出力画面30に出力される。図3の例では、対話処理として、例えば音声出力(発話、セリフ出力)やCG映像のスーパーインポーズ表示として、応答情報である「花子です」が出力される。更に、第1実施例では、CGキャラクタ31の表情が笑顔になる。なお、第1実施例では、CGキャラクタ31に応答情報に対応する手話動作等を行わせてもよい。
【0052】
なお、TVMLスクリプトは、キャラクタの表情に限らず、キャラクタの動作や、カメラワーク、音楽の再生、小道具(小物)の表示、動き等、映像生成に関する種々の要素を制御することができる。」
図3 「
〔図省略〕
」
第5 当審の判断
1 取消理由1-1及び取消理由2-1(甲第1号証に基づく新規性欠如、進歩性欠如)について
(1) 本件特許発明4
ア 対比
本件特許発明4と甲1発明とを対比すると、次のことがいえる。
(ア)甲1発明の「コンピュータ18」は、「オペレータ38の表情および動作を推定し、推定した表情および動作に関する情報信号を生成」する「表情・全身像姿勢推定回路62」を含むものであるから、本件特許発明4の「オペレータ端末」に相当する。
(イ)甲1発明の「人物40aまたは40b」は、本件特許発明4の「ユーザ」に相当する。また、甲1発明の「“○○さん(オペレータ38の名前)は、どうお考えですか?”」との発言は、本件特許発明4の「問合せ」に相当する。したがって、甲1発明の「“○○さん(オペレータ38の名前)は、どうお考えですか?”」との発言の後に「仮想変身する必要があると判別」し、「映像・音声再現回路58を能動化し」、「オペレータ38の動きおよび表情がCGキャラクタ38aを用いて再現され」ることは、本件特許発明4の「ユーザの問合せに対し応対動作を行う」ことに相当する。
(ウ)甲1発明では、「情報信号」と「音声信号がコンピュータ18(CPU60)から統括コンピュータ36を介してコンピュータ12に送信され」ているから、「コンピュータ12」は「コンピュータ18」との間で通信が可能であるといえる。また、甲1発明の「コンピュータ12」が含む「CPU50」は「映像・音声再現回路58に接続され」ているから、上記(イ)を踏まえると、甲1発明の「コンピュータ12」は、本件特許発明4の「ユーザの問合せに対し応対動作を行う応対端末装置」に相当する。したがって、上記(ア)を踏まえると、甲1発明の「コンピュータ12」は、本件特許発明4の「オペレータ端末との間で通信が可能であり、ユーザの問合せに対し応対動作を行う応対端末装置」に相当する。
(エ)甲1発明の「オペレータ38の」「音声に対応する」「音声信号」、「オペレータ38の実際の動作,表情」「に対応する動作等の情報信号」は、本件特許発明4の「オペレータの応答音声」、「オペレータの」「ジェスチャを表す情報」に相当する。また、甲1発明では、「情報信号」と「音声信号がコンピュータ18(CPU60)から統括コンピュータ36を介してコンピュータ12に送信され」ているから、「コンピュータ12」は「情報信号」と「音声信号」を受信する受信部を当然に有するものである。したがって、上記(ア)を踏まえると、甲1発明は、本件特許発明4の「前記オペレータ端末から送信される、オペレータの応答音声およびジェスチャを表す情報を含むオペレータ応対情報を受信する受信部」に相当する構成を備えるものである。
(オ)CGキャラクタを動作させるためにはCGキャラクタの動作データが必要であることは技術常識であるから、甲1発明は、「CGキャラクタ38aを用いてオペレータ38の動作および表情を再現するための映像信号を生成」するための、CGキャラクタ38aの動作データを当然に備えるものである。したがって、甲1発明は、本件特許発明4の「第1のキャラクタ応対情報」に相当する構成を備えるものである。
(カ)上記(エ)、(オ)を踏まえると、甲1発明の「映像・音声再現回路58は、情報信号に基づいて、CGキャラクタ38aを用いてオペレータ38の動作および表情を再現するための映像信号を生成」することと、本件特許発明4の「受信された前記オペレータ応対情報に含まれる前記応答音声および前記ジェスチャを、キャラクタの動きに反映させた第1のキャラクタ応対情報を生成」することとは、「受信された前記オペレータ応対情報に含まれる前記ジェスチャを、キャラクタの動きに反映させた第1のキャラクタ応対情報を生成」する点において共通する。
(キ)上記(オ)を踏まえると、甲1発明の「映像・音声再現回路58は、情報信号に基づいて、CGキャラクタ38aを用いてオペレータ38の動作および表情を再現するための映像信号を生成」し、「オペレータ38の動きおよび表情がCGキャラクタ38aを用いて再現され、また音声がスピーカ26を通して再現される」ことは、本件特許発明4の「生成された前記第1のキャラクタ応対情報を前記ユーザに向け出力する」ことに相当する。
(ク)上記(オ)~(キ)を踏まえると、甲1発明の「映像・音声再現回路58」と、本件特許発明4の「受信された前記オペレータ応対情報に含まれる前記応答音声および前記ジェスチャを、キャラクタの動きに反映させた第1のキャラクタ応対情報を生成し、生成された前記第1のキャラクタ応対情報を前記ユーザに向け出力する第1のキャラクタ応対情報生成部」とは、「受信された前記オペレータ応対情報に含まれる前記ジェスチャを、キャラクタの動きに反映させた第1のキャラクタ応対情報を生成し、生成された前記第1のキャラクタ応対情報を前記ユーザに向け出力する第1のキャラクタ応対情報生成部」である点において共通する。
(ケ)上記(ウ)を踏まえると、甲1発明の「コンピュータ12」が含む「CPU50」が、「オペレータ38がエージェントとして存在し、会議(会話)が行われ、人物40aまたは40bが発言している場合には」「エージェントとしてのCGキャラクタ38aの顔をその発言者(人物40aまたは40b)の方向を向かせるように、映像・音声生成回路56を制御」することと、本件特許発明4の「応対端末が自律的に応対動作を行う」こととは、「応対端末が自律的に動作を行う」点において共通する。また、甲1発明では「エージェントとはオペレータの分身であるが、オペレータの実際の姿勢や挙動に関係な」いものであるから、甲1発明の「実空間Aにおいてオペレータ38がエージェントとして存在」する状態と、本件特許発明4の「前記応対端末が自律的に応対動作を行う自律応対モード」とは、「前記応対端末が自律的に動作を行う非オペレータ動作モード」である点において共通する。
(コ)上記(ア)~(ウ)を踏まえると、甲1発明の「仮想変身する必要があると判別」し、「映像・音声再現回路58を能動化し」、「情報信号」と「音声信号がコンピュータ18(CPU60)から統括コンピュータ36を介してコンピュータ12に送信され」、「オペレータ38の動きおよび表情がCGキャラクタ38aを用いて再現され」る状態は、本件特許発明4の「前記応対端末が前記オペレータ端末と協働して応対動作を行うオペレータ応対モード」に相当する。
(サ)上記(ケ)、(コ)を踏まえると、甲1発明の「実空間Aで仮想変身する必要がある」ことが「要請」され、「実空間Aにおいて仮想変身すると判断」する「統括コンピュータ36」と、本件特許発明4の「応対モードとして、前記応対端末が自律的に応対動作を行う自律応対モードと、前記応対端末が前記オペレータ端末と協働して応対動作を行うオペレータ応対モードとを選択的に設定する設定部」とは、「応対モードとして、前記応対端末が自律的に動作を行う非オペレータ動作モードと、前記応対端末が前記オペレータ端末と協働して応対動作を行うオペレータ応対モードとを選択的に設定する設定部」である点において共通する。
(シ)甲1発明では、「“○○さん(オペレータ38の名前)は、どうお考えですか?”」との発言の後に、「コンピュータ12」が含む「CPU50は、オペレータ38が仮想変身する必要があると判別すると、そのことを統括コンピュータ36に要請し」、「統括コンピュータ36は」「実空間Aにおいて仮想変身すると判断し」、「仮想変身の指示に応じて、CPU50は、アバタとして存在する必要性が生じたときから所定時間(たとえば、5分間)前の映像信号および音声信号を統括コンピュータ36に送信し、統括コンピュータ36は、その映像信号および音声信号をコンピュータ18に送信し」ているから、「“○○さん(オペレータ38の名前)は、どうお考えですか?”」との発言に関する「映像信号および音声信号」を、「コンピュータ18」に転送するための転送部を「コンピュータ12」が備えることは自明である。したがって、上記(ア)、(ウ)、(コ)を踏まえると、甲1発明は、本件特許発明4の「前記オペレータ応対モードが設定された状態では、前記問合せ情報を前記オペレータ端末へ転送する転送部」に相当する構成を備えるものである。
(ス)上記(ア)~(シ)から、本件特許発明4と甲1発明との間には、次の一致点、相違点があるといえる。
(一致点)
「オペレータ端末との間で通信が可能であり、ユーザの問合せに対し応対動作を行う応対端末装置であって、
前記オペレータ端末から送信される、オペレータの応答音声およびジェスチャを表す情報を含むオペレータ応対情報を受信する受信部と、
受信された前記オペレータ応対情報に含まれる前記ジェスチャを、キャラクタの動きに反映させた第1のキャラクタ応対情報を生成し、生成された前記第1のキャラクタ応対情報を前記ユーザに向け出力する第1のキャラクタ応対情報生成部と、
応対モードとして、前記応対端末が自律的に動作を行う非オペレータ動作モードと、前記応対端末が前記オペレータ端末と協働して応対動作を行うオペレータ応対モードとを選択的に設定する設定部と、
前記オペレータ応対モードが設定された状態では、前記問合せ情報を前記オペレータ端末へ転送する転送部と
を具備する応対端末装置。」
(相違点)
(相違点1)
本件特許発明4では、「受信された前記オペレータ応対情報に含まれる前記応答音声および前記ジェスチャを、キャラクタの動きに反映させ」ているのに対し、甲1発明では「オペレータ38の音声」が「CGキャラクタ38a」の動きに反映されているか不明である点。
(相違点2)
本件特許発明4では、非オペレータ動作モードが「応対端末が自律的に応対動作を行う自律応対モード」であり、「前記自律応対モードが設定された状態では、前記ユーザの発話音声またはテキストデータを含む問合せ情報をもとに問合せ内容を認識し、認識された問合せ内容に対応する応対情報を前記キャラクタの動きに反映させた第2のキャラクタ応対情報を生成し、生成された前記第2のキャラクタ応対情報を前記ユーザに向け出力する第2のキャラクタ応対情報生成部」を具備するのに対し、甲1発明では、非オペレータ動作モードにおいては、「エージェントとしてのCGキャラクタ38aの顔をその発言者(人物40aまたは40b)の方向を向かせる」のみであって応対を行っておらず、また、問合せ内容の認識を行っておらず、問合せ内容に対応する応対情報も生成していない点。
イ 判断
事案に鑑みて、まず、相違点2について検討する。
甲1発明では、「エージェントとしてのCGキャラクタ38aの顔をその発言者(人物40aまたは40b)の方向を向かせる」際には発言の内容を認識しておらず、また、「“○○さん(オペレータ38の名前)は、どうお考えですか?”」との発言の際には「オペレータ38の名前を認識する」ものの、「仮想変身する必要があると判別」し、「オペレータのそのときの実際の姿勢や挙動に応じた姿勢や挙動を表現する」「アバタ」が応対を行っているから、甲1発明は、応対不可な「エージェント」が表示され、応対が必要なときには「アバタ」に切り替えてオペレータが応対を行う発明であるといえる。甲第5号証、甲第6号証には自律的に応対を行うキャラクタに関する技術事項が記載されているものの、甲1発明は問合せが発生した際にはエージェントからアバタに切り替えてオペレータが応対することを前提とする発明であるから、甲1発明で問合せが発生した際にエージェントが自律的に応対を行うように構成する動機付けがあるとはいえない。
また、本件特許明細書の段落【0004】、【0005】には「従来のシステムは、エスカレーションを実行した場合に、通常では人のオペレータが直接応対するものとなっているため、オペレータの顔などがユーザに知られてしまいプライバシーが脅かされるおそれがある。また、ユーザにとっても、アバターから人のオペレータに切り替わったときの違和感から、問合せを円滑に継続できなくなることがある。」、「この発明は、上記事情に着目してなされたもので、一側面では、エスカレーションを行ったときの応対上のセキュリティおよび品質の向上を図った技術を提供しようとするものである。」との記載があるが、甲1発明は「会議(会話)」の場面で利用されるものであり、会議の構成員としてのオペレータが特定される必要があるからプライバシーに関する課題を有しておらず、さらに、「エージェント」も「アバタ」も「CG」であるから違和感に関する課題も有していない。したがって、本件特許発明4の課題の観点から見ても、甲1発明で問合せが発生した際にエージェントが自律的に応対を行うように構成する動機付けがあるとはいえない。
さらに、本件特許発明4の相違点2に係る構成は甲第2号証、甲第3号証には記載されていない。
よって、少なくとも相違点2は、実質的な相違点であるから、本件特許発明4は甲第1号証に記載された発明であるとはいえない。
また、相違点1について検討するまでもなく、本件特許発明4は、甲第1号証に記載された発明及び甲第2~3、5~6号証に記載された技術事項に基づいて当業者が容易に発明をすることができたものであるとはいえない。
(2)本件特許発明1
本件特許発明1は、本件特許発明4の「応対端末装置」に対応する「応対端末」と、「オペレータ端末」とを具備する「コミュニケーションシステム」の発明であり、上記(1)の相違点2に対応する構成を含むものであるから、本件特許発明4と同様の理由により、甲第1号証に記載された発明であるとはいえず、また、甲第1号証に記載された発明及び甲第2~3、5~6号証に記載された技術事項に基づいて当業者が容易に発明をすることができたものであるとはいえない。
(3)本件特許発明2~3
本件特許発明2~3は、本件特許発明1を減縮した発明であり、上記(1)の相違点2に対応する構成を含むものであるから、本件特許発明4と同様の理由により、甲第1号証に記載された発明であるとはいえず、また、甲第1号証に記載された発明及び甲第2~3、5~6号証に記載された技術事項に基づいて当業者が容易に発明をすることができたものであるとはいえない。
(4)本件特許発明5
本件特許発明5は、本件特許発明4に対応するプログラムの発明であり、上記(1)の相違点2に対応する構成を含むものであるから、本件特許発明4と同様の理由により、甲第1号証に記載された発明であるとはいえず、また、甲第1号証に記載された発明及び甲第2~3、5~6号証に記載された技術事項に基づいて当業者が容易に発明をすることができたものであるとはいえない。
(5)小括
したがって、取消理由1-1により、請求項1~5に係る特許を取り消すことはできず、また、取消理由2-1により、請求項1~5に係る特許を取り消すことはできない。
2 取消理由1-2及び取消理由2-2(甲第4号証に基づく新規性欠如、進歩性欠如)について
(1)本件特許発明4
ア 対比
本件特許発明4と甲4発明とを対比すると、次のことがいえる。
(ア)甲4発明の「オペレータ端末204」は、本件特許発明4の「オペレータ端末」に相当する。
(イ)甲4発明の「人間」は、本件特許発明4の「ユーザ」に相当する。また、甲4発明の「人間との間」の「対話などのコミュニケーション行動」による「道案内」は、人間による目的地に関する問合せと、それに対する応対を含むことは自明である。したがって、甲4発明の「ロボット10は」「自律制御によって、人間との間で対話などのコミュニケーション行動を行い、受付や道案内などを行」うことは、本件特許発明4の「ユーザの問合せに対し応対動作を行う」ことに相当する。
(ウ)甲4発明の「ロボット10」は、「全体を制御するCPU72を含み」、「通信LANボード94は、CPU72から送られる送信データを無線通信装置96に与え、無線通信装置96から送信データを、ネットワーク202を介してオペレータ端末204に送信し」ているから、「オペレータ端末204」と通信が可能なものである。したがって、上記(ア)、(イ)を踏まえると、甲4発明の「ロボット10」と、本件特許発明4の「オペレータ端末との間で通信が可能であり、ユーザの問合せに対し応対動作を行う応対端末装置」とは、「オペレータ端末との間で通信が可能であり、ユーザの問合せに対し応対動作を行う応対装置」である点において共通する。
(エ)上記(ア)、(ウ)を踏まえると、甲4発明の「オペレータ端末にオペレータの声(音声)を入力するマイクを設け、オペレータの音声をロボットに送信」することは、本件特許発明4の「オペレータ端末から送信される、オペレータの応答音声」を「受信する」ことに相当する。
(オ)甲4発明の「コミュニケーション行動を指示するためのボタン」によって指示される「お辞儀、右指差しなど」の「コミュニケーション行動」は、「オペレータ」が「指示」するものであるから、「オペレータ」が意図するジェスチャを表しているといえる。したがって、甲4発明の「コミュニケーション行動を指示するためのボタン」「に対応する所望の制御コマンド」は、本件特許発明4の「オペレータ」の「ジェスチャを表す情報」に相当する。
(カ)上記(オ)を踏まえると、甲4発明の「コミュニケーション行動を指示するためのボタン(お辞儀、右指差しなど)が設けられ、オペレータが、入力装置を用いて、いずれかのボタンを指示することにより、指示されたボタンに対応する所望の制御コマンドを入力し、入力された制御コマンドが、ネットワーク202を介してロボット10に送信され」ることは、本件特許発明4の「オペレータ端末から送信される、オペレータの」「ジェスチャを表す情報」を「受信する」ことに相当する。
(キ)甲4発明は「通信LANボード94」によって「遠隔操作情報(制御コマンド)を受信」しており、また、「オペレータの音声をロボットに送信」する際にも「通信LANボード94」を介することは自明である。したがって、上記(エ)、(カ)を踏まえると、甲4発明の「通信LANボード94」は、本件特許発明4の「前記オペレータ端末から送信される、オペレータの応答音声およびジェスチャを表す情報を含むオペレータ応対情報を受信する受信部」に相当する。
(ク)甲4発明の「ロボット10」と、本件特許発明4の「キャラクタ」とは、擬人化されたものである点において共通する。
(ケ)甲4発明では「制御コマンド」に対応した「行動モジュール」により「所定の身振りを提示するための角度データ」が決定されることは自明であるから、「制御コマンド」が反映された「所定の身振りを提示するための角度データ」を生成しているといえる。したがって、上記(オ)、(ク)を踏まえると、甲4発明の「コミュニケーション行動を指示するためのボタン」「に対応する所望の制御コマンド」が反映された、「ロボット10」が「所定の身振りを提示するための角度データ」と、本件特許発明4の「前記応答音声および前記ジェスチャを、キャラクタの動きに反映させた第1のキャラクタ応対情報」は、「前記ジェスチャを、擬人化されたものの動きに反映させた第1の応対情報」である点において共通する。
(コ)上記(イ)、(ケ)を踏まえると、甲4発明の「行動モジュール」が「ロボット10の身体動作を制御する」ことは、本件特許発明4の「応対情報を」「ユーザに向け出力する」ことに相当する。
(サ)上記(オ)、(ケ)、(コ)を踏まえると、甲4発明の「ロボット10は、オペレータ端末204から送信された制御コマンドを受信すると、当該制御コマンドに従うコミュニケーション行動を実行」することと、本件特許発明4の「受信された前記オペレータ応対情報に含まれる前記応答音声および前記ジェスチャを、キャラクタの動きに反映させた第1のキャラクタ応対情報を生成し、生成された前記第1のキャラクタ応対情報を前記ユーザに向け出力する」こととは、「受信された前記オペレータ応対情報に含まれる前記ジェスチャを、擬人化されたものの動きに反映させた第1の応対情報を生成し、生成された前記第1の応対情報を前記ユーザに向け出力する」点において共通する。また、甲4発明の「CPU72」は「全体を制御する」ものであるから、「応対情報生成部」としての機能を当然に有するものである。
(シ)上記(ウ)を踏まえると、甲4発明の「ロボット10は、通常は自律制御によって、人間との間で対話などのコミュニケーション行動を行い、受付や道案内などを行」う状態と、本件特許発明4の「前記応対端末が自律的に応対動作を行う自律応対モード」とは、「前記応対装置が自律的に応対動作を行う自律応対モード」である点において共通する。
(ス)上記(ア)~(ウ)を踏まえると、甲4発明の「ロボット10は、オペレータ呼出条件を満たすと判断した場合には、オペレータ端末204に呼出要求を送信し」、「オペレータ端末204から送信された制御コマンドを受信すると、当該制御コマンドに従うコミュニケーション行動を実行」する状態と、本件特許発明4の「前記応対端末が前記オペレータ端末と協働して応対動作を行うオペレータ応対モード」とは、「前記応対装置が前記オペレータ端末と協働して応対動作を行うオペレータ応対モード」である点において共通する。
(セ)上記(シ)、(ス)を踏まえると、甲4発明の「通常は自律制御によって、人間との間で対話などのコミュニケーション行動を行い、受付や道案内などを行」う状態から、「ロボット10は、オペレータ呼出条件を満たすと判断した場合には、オペレータ端末204に呼出要求を送信し」、「オペレータ端末204から送信された制御コマンドを受信すると、当該制御コマンドに従うコミュニケーション行動を実行」する状態へ変化することと、本件特許発明4の「応対モードとして、前記応対装置が自律的に応対動作を行う自律応対モードと、前記応対端末が前記オペレータ端末と協働して応対動作を行うオペレータ応対モードとを選択的に設定する」こととは、「応対モードとして、前記応対装置が自律的に応対動作を行う自律応対モードと、前記応対装置が前記オペレータ端末と協働して応対動作を行うオペレータ応対モードとを選択的に設定する」点において共通する。また、甲4発明の「CPU72」は「全体を制御する」ものであるから、「設定部」としての機能を当然に有するものである。
(ソ)甲4発明の「自律制御を行っている場合」における「人間とのインタラクションに応じて選択された制御コマンド」は、本件特許発明4の「自律応対モードが設定された状態」における「応対情報」に相当する。
(タ)甲4発明では「制御コマンド」に対応した「行動モジュール」により「所定の身振りを提示するための角度データ」が決定されることは自明であるから、「制御コマンド」が反映された「所定の身振りを提示するための角度データ」を生成しているといえる。したがって、上記(イ)、(ク)、(ソ)を踏まえると、甲4発明の「自律制御を行っている場合」における「ロボット10」が「所定の身振りを提示するための角度データ」と、本件特許発明4の「前記ユーザの発話音声またはテキストデータを含む問合せ情報をもとに問合せ内容を認識し、認識された問合せ内容に対応する応対情報を前記キャラクタの動きに反映させた第2のキャラクタ応対情報」とは、「応対情報を擬人化されたものの動きに反映させた第2の応対情報」である点において共通する。
(チ)上記(ク)、(コ)、(シ)、(タ)を踏まえると、甲4発明の「自律制御を行っている場合には、人間とのインタラクションに応じて選択された制御コマンドに従うコミュニケーション行動を実行」することと、本件特許発明4の「前記自律応対モードが設定された状態では、前記ユーザの発話音声またはテキストデータを含む問合せ情報をもとに問合せ内容を認識し、認識された問合せ内容に対応する応対情報を前記キャラクタの動きに反映させた第2のキャラクタ応対情報を生成し、生成された前記第2のキャラクタ応対情報を前記ユーザに向け出力する」こととは、「前記自律応対モードが設定された状態では、応対情報を擬人化されたものの動きに反映させた第2の応対情報を生成し、生成された前記第2の応対情報を前記ユーザに向け出力する」点において共通する。また、甲4発明の「CPU72」は「全体を制御する」ものであるから、「応対情報生成部」としての機能を当然に有するものである。
(ツ)甲4発明の「オペレータ呼出条件は、より細やかな対応(コミュニケーションなど)が求められる場面になったりしたことを判断するための条件であ」るから、甲4発明の「オペレータ端末204に呼出要求を送信」した後に「マイク46から入力される音声」が、問合せの内容を含むことは自明である。したがって、上記(ア)、(ス)を踏まえると、甲4発明の「オペレータ端末204に呼出要求を送信」した後に「表示装置に、遠隔操作画面210が表示され」、「ロボット10はそのマイク46から入力される音声を検出して、その音声信号をオペレータ端末204に送信」することは、本件特許発明の「前記オペレータ応対モードが設定された状態では、前記問合せ情報を前記オペレータ端末へ転送する」ことに相当する。また、甲4発明の「CPU72」は「全体を制御する」ものであるから、「転送部」としての機能を当然に有するものである。
(テ)上記(ア)~(ツ)から、本件特許発明4と甲4発明との間には、次の一致点、相違点があるといえる。
(一致点)
「オペレータ端末との間で通信が可能であり、ユーザの問合せに対し応対動作を行う応対装置であって、
前記オペレータ端末から送信される、オペレータの応答音声およびジェスチャを表す情報を含むオペレータ応対情報を受信する受信部と、
受信された前記オペレータ応対情報に含まれる前記ジェスチャを、擬人化されたものの動きに反映させた第1の応対情報を生成し、生成された前記第1の応対情報を前記ユーザに向け出力する第1の応対情報生成部と、
応対モードとして、前記応対装置が自律的に応対動作を行う自律応対モードと、前記応対装置が前記オペレータ端末と協働して応対動作を行うオペレータ応対モードとを選択的に設定する設定部と、
前記自律応対モードが設定された状態では、応対情報を擬人化されたものの動きに反映させた第2の応対情報を生成し、生成された前記第2の応対情報を前記ユーザに向け出力する第2の応対情報生成部と、
前記オペレータ応対モードが設定された状態では、前記問合せ情報を前記オペレータ端末へ転送する転送部と
を具備する応対装置。」
(相違点)
(相違点A)
本件特許発明4では、応対装置が「応対端末装置」であるのに対し、甲4発明では、応対装置が「ロボット10」である点。
(相違点B)
本件特許発明4では、擬人化されたものが「キャラクタ」であるのに対し、甲4発明では、擬人化されたものが「ロボット10」である点。
(相違点C)
本件特許発明4では、「受信された前記オペレータ応対情報に含まれる前記応答音声および前記ジェスチャを、キャラクタの動きに反映させ」ているのに対し、甲4発明では「オペレータの音声」が「ロボット10の動作」に反映されるか不明である点。
(相違点D)
本件特許発明4では、「前記自律応対モードが設定された状態では、前記ユーザの発話音声またはテキストデータを含む問合せ情報をもとに問合せ内容を認識し、認識された問合せ内容に対応する応対情報を前記キャラクタの動きに反映させた第2のキャラクタ応対情報を生成し、生成された前記第2のキャラクタ応対情報を前記ユーザに向け出力する」のに対し、甲4発明では、「マイク46を通して入力される人間の声(音声)を検出し、これを認識」するものの、「音声」が問合せであるか不明であり、さらに、問合せ内容と応対情報が対応しているかも不明である点。
イ 判断
事案に鑑み、まず、相違点A及びBについて検討する。
本件特許明細書の段落【0025】に「キャラクタデータ記憶部124には、キャラクタとして使用される少なくとも1種類のアバターの画像データが記憶される。アバターの画像データは、二次元CG画像データまたは三次元CG画像データにより構成される。」との記載があるとおり、本件特許発明4の「キャラクタ」は画像データを意味すると解される。
甲第4号証の段落【0008】には「この発明の主たる目的は、効率良くロボットを遠隔操作できる、コミュニケーションロボットを提供することである。」との記載があるから、甲4発明はロボットの遠隔操作を前提とする発明であるといえる。したがって、甲第1号証の段落【0007】の「アバタとはオペレータ(本人)の分身であって、オペレータのそのときの実際の姿勢や挙動に応じた姿勢や挙動を表現するCGやロボットをいい」との記載を参酌したとしても、甲4発明の「ロボット10」を、キャラクタを表示する端末装置に置き換える動機付けがあるとはいえない。
また、本件特許明細書の段落【0004】、【0005】には「従来のシステムは、エスカレーションを実行した場合に、通常では人のオペレータが直接応対するものとなっているため、オペレータの顔などがユーザに知られてしまいプライバシーが脅かされるおそれがある。また、ユーザにとっても、アバターから人のオペレータに切り替わったときの違和感から、問合せを円滑に継続できなくなることがある。」、「この発明は、上記事情に着目してなされたもので、一側面では、エスカレーションを行ったときの応対上のセキュリティおよび品質の向上を図った技術を提供しようとするものである。」との記載があるが、甲4発明は、オペレータが「ロボット10」を介してコミュニケーション行動を行うものであるからプライバシーに関する課題は有しておらず、また、「ロボット10」は「オペレータ呼出条件を満たす」前も後も継続して存在しているから違和感に関する課題も有していない。したがって、本件特許発明4の課題の観点から見ても、甲4発明の「ロボット10」を、キャラクタを表示する端末装置に置き換える動機付けがあるとはいえない。
甲第2~3、5~6号証にはキャラクタに関する技術事項が記載されているものの、上記のとおり、甲4発明の「ロボット10」を、キャラクタを表示する端末装置に置き換える動機付けがあるとはいえない。
よって、少なくとも相違点A及びBは、実質的な相違点であるから、本件特許発明4は甲第4号証に記載された発明であるとはいえない。
また、他の相違点について検討するまでもなく、本件特許発明4は、甲第4号証に記載された発明及び甲第1~3、5~6号証に記載された技術事項に基づいて当業者が容易に発明をすることができたものであるとはいえない。
(2)本件特許発明1
本件特許発明1は、本件特許発明4の「応対端末装置」に対応する「応対端末」と、「オペレータ端末」とを具備する「コミュニケーションシステム」の発明であり、上記(1)の相違点A及びBに対応する構成を含むものであるから、本件特許発明4と同様の理由により、甲第4号証に記載された発明であるとはいえず、また、甲第4号証に記載された発明及び甲第1~3、5~6号証に記載された技術事項に基づいて当業者が容易に発明をすることができたものであるとはいえない。
(3)本件特許発明2~3
本件特許発明2~3は、本件特許発明1を減縮した発明であり、上記(1)の相違点A及びBに対応する構成を含むものであるから、本件特許発明4と同様の理由により、甲第4号証に記載された発明であるとはいえず、また、甲第4号証に記載された発明及び甲第1~3、5~6号証に記載された技術事項に基づいて当業者が容易に発明をすることができたものであるとはいえない。
(4)本件特許発明5
本件特許発明5は、本件特許発明4に対応するプログラムの発明であり、上記(1)の相違点A及びBに対応する構成を含むものであるから、本件特許発明4と同様の理由により、甲第4号証に記載された発明であるとはいえず、また、甲第4号証に記載された発明及び甲第1~3、5~6号証に記載された技術事項に基づいて当業者が容易に発明をすることができたものであるとはいえない。
(5)小括
したがって、取消理由1-2により、請求項1~5に係る特許を取り消すことはできず、また、取消理由2-2により、請求項1~5に係る特許を取り消すことはできない。
第6 むすび
以上のとおり、特許異議の申立ての理由及び証拠によっては、請求項1~5に係る特許を取り消すことはできない。
また、他に請求項1~5に係る特許を取り消すべき理由を発見しない。
よって、結論のとおり決定する。
令和6年9月9日
審判長 特許庁審判官 篠塚 隆
特許庁審判官 村松 貴士
特許庁審判官 野崎 大進
出典:特許庁「審決公報」(令和6年10月25日発行・号数2024-010、公報発行サイト https://www.gazette.jpo.go.jp/scciidl010 )を加工して作成(加工:TaiLexi AI)
本文は公表資料(PDF 等)から機械的に抽出・整形したもので、改行や記号に誤りを含むことがあります。正確な文言は原本でご確認ください。