プロダクト

nizima LIVE 2.7 に大型アップデート!

AI アシスタント機能・音声入力のみでモデルを動かせる機能ほか

こんにちは。nizima LIVE運営事務局です。

VTuber向けトラッキングアプリ「nizima LIVE」2.7をリリースしました!

 

「nizima LIVE」 2.7新機能

AI アシスタント機能

AI アシスタント機能を追加しました!

お好きなLive2Dモデルをご利用のチャットAI(ChatGPT・Gemini・ローカルLLM等)と連携させて会話することができます。

読み上げ音声は、ずんだもん・四国めたんをはじめとするVOICEVOXシリーズ31キャラクター・全82種類から選択可能。音声入力にも対応しており、声でのやり取りも行えます。
読み上げに合わせて口元やモデル全体が動き、会話内容から推定した感情を表情に反映します。キャラクターとの対話を、より表情豊かで親しみやすい体験としてお楽しみいただけます。

応答を字幕として OBS に出力できるため、配信画面にAIアシスタントの発言内容を表示することもできます。

また、サンプルモデルとして新たに**「ずんだもん」「四国めたん」**を追加しました。(イラスト:坂本アヒル様)
AIアシスタントとしても、自分で動かすモデルとしてもご利用いただけます。

AIアシスタント機能は今後も継続的なアップデートを予定しています。
雑談配信のおしゃべり相手や、配信を盛り上げるキャラクターとしてぜひご活用ください!

使い方:
1. メインメニューの「モデル一覧」>「AIアシスタント」タブを開く
2. AIアシスタントに設定したいLive2Dモデルを選択し、「追加」をクリック
3. 初回はチャットAIのAPIキー設定や、使用する音声モデル等のダウンロードが必要になります。画面の指示に従って設定してください。
4. 設定が完了したら、AIアシスタントとのやりとりが可能になります。

※注意事項
・ご利用のチャットAI(ChatGPT・Gemini・ローカルLLM等)のAPIキーのご準備が必要となります。
・Live2DモデルのデータはチャットAIへ送信されず、学習にも利用されませんのでご安心ください。
・チャット内容・キャラクター設定などAIとの対話のための入力情報は接続先AIに送信され、各サービスの規約・設定に基づいて取り扱われます。
・AIアシスタント機能は、現在日本語版のみでのご提供となります。

詳細はマニュアルをご覧ください。

音声トラッキング機能

音声入力のみでモデルを動かせる、音声トラッキング機能を追加しました!

カメラによるトラッキングなし・音声入力のみで、モデルの目パチや口パク、顔の上下左右や全身の動きなどを自然に行えます。

実写映像の動きを使わずにモデルを動かしたいケースや、カメラの準備ができない場面などにご活用いただけます。

使い方:
1. メインメニューの「カメラ設定」>「音声トラッキング」を開く
2. 使用するマイクを選択する

時間パラメータ機能

時間パラメータ機能を追加しました!

1日を通して 0→1 へ単調に進む「時間」入力を Live2D パラメータに紐付け、時刻に連動したギミック表現を作ることができます。

例えば現実の時間に連動して景色が移り変わるような窓のアイテムなど、現実と連動した新しい表現が可能になります。
パラメータの周期は、24時間と12時間から選ぶことができます。

使い方:
1. メインメニューから「パラメータ設定」を開く
2. 「自動再生」タブを開く
3. 「時間(24時間)」「時間(12時間)」の「+」から、時間に合わせて変化させたいLive2Dパラメータを選択する

【macOS版】すべてのモデルでリップシンクを使えるように対応

macOS版で、すべてのモデルでリップシンク機能が使えるようになりました!
(これまではモーションシンク対応モデルのみ対応)

Windows版と同様に、Live2Dモデルの口をカメラ入力ではなく音声入力によって動かすことができます。口元がマイクで隠れてしまう環境や、お絵かき配信などで下を向いた時にもきれいに口を動かすことができます。

使い方:
1. メインメニューの「カメラ設定」>「リップシンク」を開く
2. 使用するマイクを選択する
3. 「口パク」、「口の横幅」とリップシンク系のパラメータが音声に合わせて動作するようになる

ショートカットへのマウスクリック割り当てが可能に

表情・モーションのショートカットにマウスの左・右・中クリック・サイドボタン(+修飾キー)を割り当てられるようになりました!

モデル側に対応するモーションを組み込んでショートカットを設定すれば、さまざまな演出が可能です。
例えば、ペンタブでイラストを描いている際にクリックに合わせて表情やモーションを再生し、実際に絵を描いているように演出できます。アクションゲームやFPSでは、マウスクリックにあわせて銃や盾を構える・武器を振るといった動きも表現可能です。

使い方:
1. メインメニューの「表情・モーション」>ショートカットを設定したい表情またはモーションを「▼」で展開する、または「オプション」>「ショートカット (モデル)」の「表情」「モーション」欄を選ぶ
2. 入力欄をクリックしてフォーカスを当てる
3. 割り当てたいマウスボタン(左・右・中・サイドボタン)を押すと記録される

Googleアカウントでのログインに対応

Googleアカウントでのログインができるようになりました!

これまでメールアドレスとパスワードの入力が必要だったログインが、普段お使いのGoogleアカウントで簡単に行えるようになりました。

すでにご登録済みの方も、アカウント設定(https://account.nizima.com/settings)からGoogleアカウントを連携することで、次回以降「Googleで続ける」だけでログインできます。

この他、下記のアップデートを行いました。

・新規エフェクト(「ミラーボール」「コミック」「ピクセルアート」)を追加
・選択中のアイテムを画面の縦幅/横幅に合わせて配置するメニューを追加
・表情・モーション編集で、上書き時に右クリックドラッグでキー値へ吸着できるように変更
・パラメータ設定の入力値プレビューをドラッグして値を直接確認できるように変更
・Webカメラの顔検出ぎりぎりの距離でのブレを軽減
・Webカメラトラッキングのパフォーマンスを改善
・その他軽微な修正

nizima LIVEはこれからもみなさんの配信活動を応援できるよう順次機能をアップデートしていきます。

▼nizima LIVE(Windows版/macOS版)のダウンロード/アップデートはこちら!
https://nizimalive.com/download/

▼nizima LIVE TRACKER(iOS)のダウンロード/アップデートはこちら!
https://apps.apple.com/jp/app/nizima-live-tracker/id1563679978?mt=8


『nizima LIVE公式Discordサーバー』運用中!

ユーザー同士の交流や、nizima LIVEへのご要望、バグ報告、質問等気軽に行えるnizima LIVE公式のDiscordサーバーを運用しております。ぜひご参加ください!

▼nizima LIVE公式Discordサーバーへのご参加はこちら(無料)
https://discord.live2d.app