Top / VstoneMagicを使ってみる / プログラミング / 顔と名前を覚えさせてみよう

顔と名前を覚えさせてみよう †


顔認識や音声認識のを使ったブロックには、発話の中から人の名前を取得したり、検出した顔の特徴を記憶して個人を特定するものも備わっています。人の名前を呼んだり顔を覚えたりすると、より深いコミュニケーションプログラムを作ることができます。それでは、これらの機能を使ったプログラムを作成してみましょう。また、併せて本ソフトウェア及びjava言語の「変数」を使ったプログラムについても説明します。



  • ○名前を取得するメソッドを追加する

    本ページのプログラムも、新しいメソッドを追加して作成していきます。クラスウィンドウにメソッドブロックをドラッグ&ドロップし、methodNameを「getName」に変更しましょう。続いて、エクスプローラよりgetNameメソッドをメインメソッドに設定してください。

    image2_047.png



  • ○ロボットに自分の名前を聞き取らせてしゃべらせてみる

    聞き取った言葉から名前だけを認識する場合、名前の取得ブロックを使います。このブロックを使って音声認識を行うと、「私は山田太郎と言います」のような文章の中から「山田」や「太郎」と言った人名だけを認識することができます。

    それでは、ロボットに自分の名前を話しかけて復唱させてみたいと思います。まず、名前の取得ブロックをgetNameメソッドに追加・接続してください。

    image2_048.png

    名前の取得ブロックは分岐構造になっていますが、それぞれの分岐は「名前が取得できた」（上側）、「名前を取得できなかった」（下側）で固定されており、音声認識ブロックのように、各条件に認識したい文字列を設定することができません。認識した人名は speechRecogResult という変数に文字列として代入され、他の命令ブロックよりこの変数を参照する形で利用します。

    image2_049.png

    「変数」とは、何らかの情報を記録しておくための箱のようなものです。これまでのプログラムでも、顔認識における「年齢」や「笑顔の度合い」などを使いましたが、このように実行中に取得した数値を変数に記録しておくことで、後から別のブロックでその内容を参照して処理を行うことができます。

    記録できる情報には文字列や数値などがありますが、各変数には記録できる情報の種類があらかじめ決められています。例えば speechRecogResult は文字列を記録するための変数であり、数字等それ以外の情報は記録できません。

    実はこれまで多用してきた発話ブロックには、「こんにちは」等の決まった文章以外に、変数に記録した文字列を指定することができます。これを使って、名前を取得できたら発話ブロックに 変数speechRecogResult の内容をしゃべらせてみましょう。

    名前の取得ブロックの上側の分岐に発話ブロックを接続し、これまでと同じくsay_wordsをダブルクリックして設定画面を開いてください。画面を開いたら一番上、変数選択のラジオボタン([〇]マーク)をクリックしてください。クリックするとその隣のリストボックスが操作できるようになるので、右端のプルダウンボタン（[▼]マーク）をクリックしてください。

    表示されたプルダウンボタンをクリックすると、ブロックで使用できる変数が一覧表示されます。この中から speechRecogResult をクリックしてください。

    image2_050.png

    これで、発話ブロックは変数speechRecogResult に記録された情報をしゃべるようになります。名前の取得が成功すれば必ず speechRecogResult に人名が入るので、これで取得した名前を発話できます。

    プログラムを作成したら実行してみましょう。ロボットの目が水色になって音声認識を開始したら、「私は○○です」のように人名を含む文章を話しかけてみて、ロボットがその中の人名だけを返答するか確認してみてください。

    名前によっては認識しづらい場合があるので、上手く認識しない場合は「山田」など比較的一般的な名前で試してみてください。



    このように、変数を利用することで、ロボットの動作を柔軟に変化させたり、様々なブロックで同じ情報を共有したりすることができます。


  • ○変数を使って名前を文章に組み込む

    ここまでのプログラムで、名前を変数に取得してしゃべらせることには成功しましたが、speechRecogResult には名前しか記録されていないので、「あなたの名前は○○です」のような文章を発話できません。人名の発話ブロックの前後に「あなたの名前は」と「です」という発話ブロックを追加すれば文章をしゃべりますが、各発話ブロックに不自然な「間」ができてしまいます。

    きれいな発音にするためには、「あなたの名前は」と speechRecogResult と「です」の三つの文字列をくっつけて一つの文章を作る必要があります。このように、複数の情報を加算したりする場合、変数の「演算」を利用します。それでは、次の手順で、新しく変数を作り名前を含む文章を加算していきましょう。


    まず、発話させる文章を記録しておく変数を一つ作成します。変数の作成は、変数宣言ブロックを使います。変数宣言ブロックをドラッグ&ドロップし、発話ブロックの前につないでください。

    ブロックをつないだらクリックして設定項目を表示してください。変数宣言ブロックの設定項目では、変数の名前（name）・変数の型（type）・初期値（initParam）をそれぞれ設定します。

    変数の名前には、他に存在する変数と重複しない名前を付けます。ここでは「speechText」と命名してください。

    変数の型は、先に説明した「その変数が記録できる情報の種類」です。文字列を扱う型は「String」なので、typeの項目は「String」を選択してください。

    初期値は、作成する変数に最初に記憶させる内容を設定します。ここでは名前の前に来る「あなたの名前は」を(定数:String)の欄に入力してください。

    image2_051.png



    次に、変数の演算によって、 speechText に、取得した人名と語尾（「です」）を加算します。変数の演算には、演算ブロックを使用します。変数宣言ブロックの後ろに演算ブロックを追加・接続してください。

    image2_052.png


    演算ブロックは、任意の変数に値を記憶させたり、変数の現在値に対する演算を行うことができます。演算の概要は変数の型によって異なり、数値型の場合は四則演算、文字列型の場合は文字列同士の結合が可能です。

    ブロックの設定項目には、演算する変数（left）・演算方法（ccalc）・演算に使用する定数及び変数（right）があります。ここでは先ほど作成したString型の変数speechTextに、同じくString型の変数speechRecogResultを結合します。left及びrightの(変数選択)欄には、前者にspeechTextを、後者にspeechRecogResultを、それぞれ設定してください。また、ccalcは「+=」を設定してください。

    image2_053.png

    この設定により、speechText("あなたの名前は") + speechRecogResult("○○") という文字列の結合が行われます。

    最後に、変数speechTextに語尾「です。」を追加します。先程設定した演算ブロックの後ろに、もう一つ演算ブロックを追加・接続してください。

    追加したらブロックの設定を表示してください。こちらの演算も先程と同様に 変数speechText に文章を加算します。両者の違いは、加算する内容が 変数（speechRecogResult）か定数（「です」）かと言う点のみです。そのため、「left」には「speechText」、「ccalc」には「+=」をそれぞれ設定し、「right」には「定数:String」で「です。」と設定してください。

    image2_054.png

    以上の2回の演算で、変数speechTextに人名を含む文章が完成します。続いて発話ブロックのwordも「変数選択」で 変数speechTextに変更して、作成した文章が発話されるようにしましょう。

    image2_055.png

    ここまで作成したらプログラムを実行してみてください。先ほどと同じくロボットに自分の名前を話しかけ、「あなたの名前は○○です。」とロボットが返せば正しくプログラムを作成できています。

    文字列の一部しかしゃべらない場合は、演算ブロックのccalcの設定が「=」のままになっている可能性があります。また、ビルドエラーが出る場合、ccalcの設定がおかしい、または変数の初期値設定や演算ブロックのrightの項目の設定が間違っている可能性があります。


    ちなみに、変数を使わずに、発話ブロックだけで一度に2つ分の演算をすることも可能です。

    say_wordsの設定画面の「自由入力」には、javaのソースに出力する直接を記述できます。発話ブロックは、プログラムソース上ではロボットに発話させる引数にString型の引数を一つ持ったメソッドを呼び出しており、say_wordsの内容がその引数に使われます。

    java言語の仕様では、引数に演算を含む文字列を与えることが可能なので、say_wordsの設定で「自由入力」をクリックして、隣の入力欄に「"君の名前は"+speechRecogResult+"です。"」と記述すると、変数宣言や演算ブロックを使わずに、名前を含む文章を作成しつつ発話させられます。

    image2_063.png

    ただし、自由入力は便利な反面、java言語の仕様を理解していないとビルドエラーが発生するなどして、プログラムが正しく実行できなくなってしまいます。そのリスクや難しさを十分理解した上で使用してください。






  • ○ロボットに顔を覚えさせてみる

    次に、顔認識の「顔の特徴取得」の機能を利用して、自分の顔と名前をロボットに覚えさせてみましょう。今回のプログラムは、未登録の顔の場合のみ名前を聞いて登録し、既に登録済み顔の場合は登録された名前をしゃべるようにします。

    顔の特徴取得は、顔追従（検出）の最中でのみ行うことができます。まずは、過去のチュートリアルを参考に、新しいメソッドで以下のように顔追従のプログラムを作成してください。

    image2_057.png

追加したメソッドの名前はgetFaceに変更し、エクスプローラからメインメソッドに切り替えてください。

次に、顔が見つかったらその特徴検出を行う処理を作ります。顔が見つかったか？の上側の分岐（見つかった）に、ツールボックスより顔の特徴検出のブロックを追加・接続してください。

image3_012.png



次に、特徴検出ブロックの上側の分岐に「登録された顔か」ブロックを接続し、登録済みの顔かどうかの分岐を作ります。

このブロックは、顔認識の機能で見つかった顔に関する特徴を取得し、変数faceuserに代入します。また、見つかった顔がロボットに登録されている顔と一致した場合、その名前を変数GlobalVariable.facenameに代入します。

image3_013.png


「登録された顔か」のブロックは、上側の分岐が登録された（知っている）顔である場合、下側の分岐がそうでない（登録されていない）場合にそれぞれあたります。上側の分岐に発話ブロックを追加し、saywordを 変数GlobalVariable.facename に設定すれば、とりあえず名前をしゃべらせることは可能ですが、できれば名前取得で行ったように、一つ変数を作り、名前を含んだ文章を喋るようにしてみましょう。

image3_014.png



以上で登録された顔が見つかった場合の分岐は作成完了です。続いて、未登録の顔の場合に新しく名前を聞いて登録する処理を作成します。

まずは、名前を聞く処理を作成します。「登録された顔か」の下側の分岐（未登録の顔の場合）に、発話ブロック・getName()メソッドの呼び出しブロック・発話ブロックの3個のブロックを接続し、それぞれ以下のように設定してください。

image3_020.png






続いて、顔の登録部分の処理を作成します。

顔登録の注意点として、見つかった顔の認識精度が低いと登録できないという点があります。これは、精度が低い情報で顔を登録すると、別の人との間違いが多発するためであり、顔を極力正面向きで大きめに写す必要があります。

ロボットの動作環境によっては、品質の良い画像を取得しづらい場合があるため、プログラム内でループを組んで、登録できるまで顔の画像を撮り続ける構造にします。この処理は比較的規模が大きくなるため、別のメソッドに分けて作成します。

まずは新しくメソッドブロックをプログラムに追加し、名前を「getUser」にしてください。メソッドを追加したら、先ほどの名前を取得する処理の後に、getUserメソッドの呼び出しブロックを追加接続してください。

image3_021.png



それでは、getUserメソッド内に「顔が登録できるまでの特徴取得を繰り返す」という処理を作成していきましょう。

まずはforブロックを追加して繰り返し構造を作ります。forブロックは無限ループと異なり、主に回数を指定した繰り返しを行います。もし顔の特徴を取得する前に人がいなくなってしまった場合などのために、登録するまで無限に繰り返さずに、一定回数で終わるようにします。

image3_016.png


forブロックの「loop」の項目が繰り返し回数を表します。今回は繰り返し回数を50回に設定しましょう。

image3_017.png




続いて、顔の特徴取得の仕組みとして、特徴量は「顔の特徴の取得」ブロックで取得しますが、その元になる情報は「顔が見つかったか」ブロックで取得されます。そのため、この二つのブロックをforブロック内に接続してください。

image3_018.png


続いて「顔の登録」ブロックをプログラムに追加しましょう。このブロックは取得した特徴を元に顔の登録を行い、登録できたかどうかで分岐します。また、登録できなかった場合、ロボットにその原因をしゃべらせます。

image3_019.png


「顔の登録」ブロックの設定項目は以下の通りです。ここでは、登録する人の名前（usernameの項目）に、getName()メソッドで取得した名前が代入される変数speechRecogResult を設定してください。

image3_022.png



次に、顔の登録に成功した場合の処理を作成します。顔の登録ブロックの上側の分岐（登録に成功）に、発話ブロックとbreakブロックを追加し、発話ブロックで「登録したよ」としゃべらせましょう。breakブロックは、繰り返しを途中で抜けるブロックです。ここでは、指定の繰り返し回数に到達する前に繰り返しを抜けます。

image3_023.png


最後に、forブロックの終了側の前にウェイトブロックを追加し、timeを100に設定しましょう（0.1秒のウェイト）。ウェイトを入れないと非常に高速に繰り返しを行うため、適切なウェイトをここで入れる必要があります。また、顔が見つからない・顔の特徴が取得できない場合の分岐にも発話ブロックを追加し、ロボットに原因をしゃべらせましょう。

image3_024.png





以上で、顔を覚えるプログラムの完成です。getFaceメソッドをメインメソッドに変更し、プログラムを実行して動作確認してみましょう。最初は自分の顔がロボットに登録されていないため、顔と名前を登録する処理に必ず進みます。そして、一度顔を登録したら、次に顔が見つかった際に、ちゃんと登録時の名前で「○○さんだね」と発話するか確認してみましょう。

顔が傾いている（かしげ・頷き・横向き）、距離が遠い・近すぎる（見切れている）等の場合、しっかり顔が見えていないとみなされて、顔の登録に失敗します。登録に失敗すると、ロボットがその原因を発話し、またコンソールウィンドウにその原因が表示されます。以下のメッセージを参考に、登録に失敗した理由をご確認ください。

  • [Error][CRoboCamera]Out of Range Angle Yaw（顔が横を向いているみたい。まっすぐ前を見てください）
    • 顔が横を向きすぎている
  • [Error][CRoboCamera]Out of Range Angle Roll（首が傾いているみたい。まっすぐにしてください）
    • 首を傾げきすぎている
  • [Error][CRoboCamera]Out of Range Angle Pitch（顔が上や下を向いているみたい。まっすぐ前を向いてください）
    • 顔が上・下を向きすぎている
  • [Error][CRoboCamera]Out of Range Face Size（もっと近くで顔を見せてください）
    • 顔が遠すぎる
  • [Error][CRoboCamera]Maybe, I know this face.（ユーザ情報がありません）
    • 登録済みの顔の可能性があるが、精度が悪いため明確でない
  • [Error][CRoboCamera]Low FocusScore（顔が良く見えませんでした。しっかり顔を見せてください）
    • その他、画像がピンボケしているなどにより、顔がはっきり見えない

      ちなみに、覚えた顔を個別に削除する場合は登録した顔の削除ブロックを使います。この時、削除する人の名前を使うので、顔の特徴の取得や名前の取得を使って、消す人の名前をプログラムから取得しましょう。

      また、登録した顔をすべて削除する場合は、登録した顔のクリアブロックを使います。



      目次　　次のページへ>>