4月21日、声優の小岩井ことりさん作詞・作曲・歌唱のデーターベースが公開される予定であることが発表された。
重要な点としては
- 小岩井ことりさんの歌声DBを使用し歌声合成システムを作りオリジナルキャラとして公開して良い
- 歌声DBに含まれる楽曲は小岩井ことりさんのオリジナル楽曲なので著作権などを気にせずその曲を収録公開して自分の歌声DBを製作できる
詳細は以下のDTMステーションの記事と一連のつぶやきを見てください。
小岩井ことりさん作詞・作曲・歌唱のDB公開で、AI歌声合成の民主化へ躍進。NEUTRINOの新キャラクタ『No.7』がリリースへ https://t.co/jiuwTVtH4c @dtmstationより
— DTMステーション (@dtmstation) April 21, 2021
小岩井ことりさん作詞・作曲・歌唱のDB公開で、AI歌声合成の民主化へ躍進。NEUTRINOの新キャラクタ『No.7』がリリースへ https://t.co/LQn4h9mxPJ @dtmstationより 記事出して頂きました（ありがとうございます）．仕込みに1年かかり何とかここまでたどり着けました．
— M. Morise (忍者系研究者) (@m_morise) April 21, 2021
このNo.7の歌唱DB，まだ音素ラベル付け作業があるので，公開にはまだかかると思います．「音源だけあれば音素ラベルは各自でも良い」って人がいれば，音源のみ先行公開しても良いかなと思っています．
— M. Morise (忍者系研究者) (@m_morise) April 21, 2021
記事が出たので，No.7の特徴を少しまとめさせて頂きます．後日，東北きりたん歌唱DBと同様に公開しますが，いくつか大きな差があります．
— M. Morise (忍者系研究者) (@m_morise) April 21, 2021
記事にもあるように，今回は小岩井様に作詞・作曲を依頼しました．この楽曲のMIDI（メロディラインのみ）も公開します．これで，歌唱DBにおける楽曲選定で著作権を気にする必要がなくなります（新たに歌を覚える必要はあります）．
— M. Morise (忍者系研究者) (@m_morise) April 21, 2021
東北きりたん歌唱DBとの大きな違いは，オリジナル楽曲なので著作権法30条の4に縛られないことです．つまり，今後この楽曲リストを歌う場合は，これまでのような縛りなくアップロードが可能になります．
— M. Morise (忍者系研究者) (@m_morise) April 21, 2021
もう1つの特徴は，今回のキャラクターは便宜上のもので，公開したデータベースを利用して歌声合成システムを作り，別キャラクタで公開しても良いということです．これはかなり珍しいと思います．
— M. Morise (忍者系研究者) (@m_morise) April 21, 2021
加えて，公開時はピッチ・タイミング補正の有無それぞれについて個別に公開します．学習に使う際に，補正の有無が結果にどう影響するかも調べることが可能ですし，独自に補正することもできます．ただし，MusicXMLと音素ラベルはタイミング・ピッチ補正のみ対応予定です．
— M. Morise (忍者系研究者) (@m_morise) April 21, 2021
歌詞については，記事にもありますが，「ヴァ行」や「つぁ」，「きぇ」などのレアモーラが最低限の数は入っています．流石に，音素バランスを整えることまではできていません．
— M. Morise (忍者系研究者) (@m_morise) April 21, 2021
今回NEUTRINOに組み込んでもらっていますが，NNSVSへの組み込みであれば色々な開発者が動かせます．合成システム部分の発展が次の課題です．
— M. Morise (忍者系研究者) (@m_morise) April 21, 2021
なお，No.7はきりたんとデュエットした際に差別化できるように，「ややクール系の歌唱」でお願いしています（かなり前にアンケートを取っていたのですが，この辺の布石でした．
— M. Morise (忍者系研究者) (@m_morise) April 21, 2021
ちなみに，歌声合成系の仕込み，まだいくつかあります．ただどれもまだ告知までは時間がかかりそうですし，途中で企画が潰れる可能性もありそうです（交渉難航中
— M. Morise (忍者系研究者) (@m_morise) April 21, 2021
No.7の楽曲関係については「知らない楽曲を50曲新たに覚える」のハードルはかなり高いとは思うんだよね．ただ，既存の楽曲のアップロードには著作権上色々制約が入ることが問題なので，著作権の問題が生じないことは長期的にはメリットが勝つと判断しています．
— M. Morise (忍者系研究者) (@m_morise) April 21, 2021
同じ楽曲のセットを使えるということは，将来的に音素ラベル付けの自動化が可能になることを示唆します．楽曲の統一規格化の次のステップは，音素ラベル付けからモデル学習までの自動化です．これができれば，UTAUとほぼ同じノリで音源化ができるようになる．
— M. Morise (忍者系研究者) (@m_morise) April 21, 2021
NEUTRINO組み込みの主な目的は，出力音のベースラインが欲しかったからです．今後歌声合成システムを作る際に「少なくともアルゴリズムがちゃんとしていれば，このくらいの音が出る」という基準が必要で，その基準に満たなければアルゴリズムの問題と言えますからね．
— M. Morise (忍者系研究者) (@m_morise) April 21, 2021
なお，No.7の名前に意味はあるのですが，細かいニュアンスをTwitterで書くのは長くなり難しいので，そのうち別の機会があれば．
— M. Morise (忍者系研究者) (@m_morise) April 21, 2021
DTMステーションに「小岩井ことりさん作詞・作曲・歌唱のDB公開で、AI歌声合成の民主化へ躍進。NEUTRINOの新キャラクタ『No.7』がリリースへ」をUPしました。このテンプレートの利用で誰の歌声でもAI化可能に！小岩井@koiwai_kotoriさんによる偉業!明大・森勢先生プロジェクト https://t.co/1XEHH1gIwV
— 藤本健@M3-2021春 F-01 (@kenfujimoto) April 21, 2021
明治大学 森勢研究室との
— 小岩井ことり (@koiwai_kotori) April 21, 2021
協同研究が発表されました！
AI歌声合成ライブラリ研究参加させて頂いております！
ついに…！
大学の研究に参加する日が来るとは…！！🌱
3ヶ月で50曲つくって歌って納品しました!!(*´▽｀*)がんばた
『No.7』の歌声を聴いてもらえる日が楽しみです！
詳しくは記事を✨ https://t.co/JYFX4X6bev
NEUTRINO No.7についてはこちら
