6月17日、ITAコーパス及びそれを読み上げた3人のキャラの読唇DB(ITAコーパス マルチモーダルデータベース)が公開された。
ITAコーパス、およびイタコ姉さま、ずんだもん、めたんちゃんの読唇DB（ITAコーパス マルチモーダルデータベース）を公開しました*1https://t.co/MVVBzsidELhttps://t.co/yMGxb1E0uM
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月17日
ITAコーパスマルチモーダルデータベース。
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月17日
読唇、音声合成、ボイスチェンジャー、リップシンクなどの研究に使える「口の動き画像と声のデータ集」になります(っ´∀`c)
東北イタコ姉さま、ずんだもん、四国めたんちゃんの3人のデータになりますo(≧▽≦)ohttps://t.co/yMGxb1E0uM pic.twitter.com/8KByivvkib
高い、使いにくい、読みにくい──音声合成研究者を悩ませるハードルを解決する“台本”、明治大学らが発表https://t.co/NKN3c3V1uS pic.twitter.com/tkbvyB0JTe
— ITmedia NEWS (@itmedia_news) 2021年6月18日
ITAコーパス及び読唇DBは東北イタコ歌声データベース制作クラウドファンディングの追加ゴールとして達成されたもの。
様々な分野の研究用途への利用が期待される。
以下公式による説明ツイート
まずITAコーパスですが、著作権フリーの音声合成用収録台本になりますo(≧▽≦)o
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月17日
ITAコーパスの文章の中にいろんな音素が入っているのでこれを読むと音声合成に使えます⁽⁽ฅ₍₍⁽⁽ฅ•ω•ฅ₎₎⁾⁾ฅ₎₎
これまで、著作権フリーでかつ安心して使える音声合成用の台本がなかったので今回作らせていただきました(っ´∀`c)
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月17日
著作権フリーなので改造もOKだし、再配布もOKだし、読み上げた文章自体を販売するとかもOKですヽ(•̀ω•́ )ゝ✧
音声合成用の台本って作るの大変なので、今回みんなで使えるように作らせていただきました٩(๑＞◡＜๑)۶
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月17日
日本の音声合成界の大事な資産になると思いますヾ(❀╹◡╹)ﾉﾞ
これから、誰もが音声合成のキャラクターボイスになれる時代がきます (〃ゝ∇・)ゞ
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月17日
そんな時代に合った使いやすい権利関係にするようにがんばりましたヽ(･∀･)ﾉ
このたび、ずんだもんが女の子に変身できるようになりました(*´∀｀*)
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月17日
イタコ姉さまは既に良質のボイスロイドがあるのでTTS（しゃべる音声合成）の追加作成予定はありませんが、ずんだもん、四国めたんちゃんはせっかくデータができたのでこれをキッカケになにかしたいと思っています (〃ゝ∇・)ゞ
研究面では、口の動きがしっかりとデータとして撮られているので口の動きから音声合成を作る、といったものに使えるかと思います☆(ゝω･)v
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月17日
誰か作ってください＼(🎾ず・ω・だ🎾)／
また、同じセリフで3キャラが読み上げているのでボイスチェンジャーの研究などにも使えるかと思います*2
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月17日
これもなかなかないデータなのでぜひぜひ、研究に使っていいものできたら教えてください٩(ˊᗜˋ*)و
一緒に製品化しましょう٩(๑＞◡＜๑)۶
また、口の動きと声があるので正確なリップシンクの研究にも使えるかと思いますo(≧▽≦)o
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月17日
もちろん、TTSにも使えるデータになっているので様々な研究用途にご利用くださいませ(∩´∀`)∩
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月17日
将来的には口の動きだけで声を合成できるようになると思っています(⋈◍＞◡＜◍)。✧♡
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月17日
そうすると、自分の声が自分の耳にフィードバックされることなく好きな声を自分の耳に戻せるので気持ちの良い世界になると思っていますヾ(❀╹◡╹)ﾉﾞ
ITAコーパスに関しては明日の音学シンポジウムで @korguchi さんが発表するので研究者の方は良かったらそちらで色々聞いてくださいね(>∀<●)https://t.co/ICwM1D8eW0
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月17日
ITAコーパスの情報はこちらです(*´∀`*)
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月17日
---
分野横断的研究を加速させるコーパスをという思いを込めて，Inter-field Task Accelerating (ITA)コーパスと命名しました．
---
とのことなので、いろんな分野で使ってもらいたいです☆(ゝω･)vhttps://t.co/vhN8cSkkQ9 pic.twitter.com/U8JFohf1qM
ITAコーパスの作り方ですがこんな感じでしたヽ(•̀ω•́ )ゝ✧
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月17日
パブリックドメインの文章を欲しい音素ベースで抽出
↓
めっちゃ読みづらい文章だらけだったので、欲しい音素だけ残して文章をほぼ修正
↓
だいぶ読みやすくなったのでFIX
ITAコーパスですが、感情音声100文は「2音素連鎖をカバーした文章」になっています(〃'▽'〃)https://t.co/MVVBzsidEL pic.twitter.com/jWytrmyaaf
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月17日
ITAコーパスの朗読音声324文ですが、こちらは3音素連鎖も結構入っているものになります(>∀<●)
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月17日
こちらは読み上げのハードルが少しあがります(ж^□^ж)ﾉ
句読点を守って読んでくれれば、結構高品質の音声合成に適した収録が可能ですゞ(*ゝω･)ﾉhttps://t.co/MVVBzsidEL pic.twitter.com/DTc4wZCoqx
明日の音学シンポジウム発表に先立って，ITAコーパスの文章リストを公開しました！引用元にあるように，読唇DBも同時公開です．https://t.co/6ia9yFtfx3 https://t.co/pVVcvhzk0z
— M. Morise (忍者系研究者) (@m_morise) 2021年6月17日
論文の主著こそ私ですが，本コーパスの構築には森勢研 M2 の金井君主導で行われました．
— コルグチ (@korguchi) 2021年6月17日
そのほかにも多くの方々にご参画いただいています．https://t.co/4tnmkCEYY3 pic.twitter.com/U7x6f6qQUA
本日ITAコーパスを発表させていただきました٩(๑＞◡＜๑)۶
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月17日
パブリックドメイン、という申請もいらないし、変更もやっていいいし、自由に使える音声合成用の台本になります(っ´∀`c)https://t.co/MVVBzsidEL
音声合成の研究界隈ですが、最近では個人でソフトを作る人も増えてきてます。
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月17日
こういった「完全無料」「誰でもライセンスを気にせずに使える」音声合成の台本があると、いろいろと進歩も早くなると思います☆(ゝω･)v
すでに、ずん子のところ以外でもITAコーパスを使ってくださった事例もでてきていますので(◍•ᴗ•◍)こういった事例が増えれば増えるほど便利になって行くと思いますo(≧▽≦)o
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月17日
イタコ姉さまからITAにした結果、ITAが何の省略になるのか決めるのに四苦八苦しました(っ´∀`c) https://t.co/fvjyzYemiK
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月18日
イタコ姉さまのクラウドファンディングから生まれたので、ITAコーパス（イタコーパス）の名前を残させていただきました(∩´∀`)∩
— 東北ずん子(公式)💚AIで歌う準備中！！ (@t_zunko) 2021年6月18日
