タブレット端末を活用した指点字の感情打点教示システムの開発(臨床工学科 松田康広教授)(2018.01.19)

臨床工学科 松田康広教授

指点字を習得した盲ろう者と習得していない健常者のコミュニケーションを支援する、打点教示システムを開発しています。言葉だけでなく、感情も伝達できるようなシステムを目指しています。

目と耳の両方が不自由な方を盲ろう者といいます。盲ろう者はいろいろなコミュニケーション手段を使用していますが、その1つに指点字があります。指点字は、盲ろう者の指を点字タイプライタのキーボードにみたてて、点字を打つことで、コミュニケーションを行います(図1、図2)。指点字には、文節末や文末を長く強く打点するといった抑揚表現があって、盲ろう者の理解を促し、音声会話に近いスピードで会話が可能となっています。また指点字を習得した盲ろう者は、打点の速さや強さを変化させることで、多様な感情表現を行っています。しかし、指点字を習得した健常者は少なく、指点字通訳者とのコミュニケーションに限定されています。
 
そこで、われわれは、指点字を習得した盲ろう者と習得していない健常者のコミュニケーションを支援する、打点教示システムを開発しています。打点教示システムは、健常者の音声を認識し、その内容を点字表記に変換、文節分かち書き化し、指点字の打点方法を教示します(図3)。健常者はその打点教示インタフェースを見ながら、盲ろう者に指点字を打点します(図4)。打点教示システムはタブレット端末で開発され、健常者が操作します。ですから盲ろう者は通常の指点字のコミュニケーションを行えばよいのです。

さらに、われわれは、健常者の音声に含まれる感情を認識し、指点字による感情表現方法の教示するシステムを目指しています。これまで、指点字通訳者の感情表現を分析し、喜び、悲しみ、怒り、平静の感情表現方法を、言葉で健常者に教示する方法を導きました。喜びは「リズムカルでテンポよく打ってください」、悲しみは「ゆっくりと、弱く打ってください」、怒りは「少し速く、強く打ってください」、平静は「一定のリズムで丁寧にゆっくりと打ってください」と、感情表現方法を教示します。それに加えて、打点の速さと強さの抑揚表現を教示するために、打点教示インタフェースの打点パターン(点字パターン)の形状を変更しました。健常者の感情をより誘起するために、背景色を変えたり、顔文字や絵文字を表示したりしました。このようにすることで、盲ろう者にとってより自然で、豊かなコミュニケーションが可能になればと思っています。

コミュニケーションで大切なのは、双方向の伝達ができることです。われわれは、盲ろう者から打点された指点字を、健常者の指に装着した加速度センサとタブレット端末を使用して認識し、音声合成で健常者に伝える、打点認識システムも開発しています。また、打点に込められた感情を認識するシステムの開発も進めています。

これまで、打点教示システムは、Windowsのタブレット端末で開発してきました。現在、Androidのタブレット端末でも開発を進めています。みなさんが使っているスマートフォンやタブレットで、気軽に盲ろう者とコミュニケーションをとれるような社会を目指して、研究を進めています。

臨床工学科 松田 康広研究室 紹介ページ

アーカイブ

2018年

11月

10月

9月

8月

7月

6月

5月

4月

3月

2月

1月

2017年

12月

11月

10月

情報公表

インターネット出願

知って得する入試情報

私立大学戦略的研究基盤形成支援事業

スーパーサイエンス専攻

就職・キャリア総合サイト

先輩たちのキャリアストーリー

進学相談会

KAIT未来塾

Kait Stop the CO2 Project

IT夢コンテスト

HEMS

KAIT Eco活動宣言!

デジタルパンフレット

KAIT工房

附属図書館

入試案内

資料請求

交通アクセス