HeartMuLa入門 — 日本語対応・無料のAI音楽生成をローカルPCで動かす方法

はじめに — Sunoのローカル版が登場した

テキストから音楽を生成するAIサービスといえばSunoやUdioが有名ですが、これらは月額課金制のクラウドサービスです。生成回数に制限があり、データはすべてクラウドに送信されます。

2026年1月、北京大学を中心とした研究チームがHeartMuLaをオープンソースで公開しました。歌詞とスタイルタグを入力するだけでボーカル付きの楽曲をローカルPCで生成でき、日本語・英語・中国語・韓国語・スペイン語に対応しています。ライセンスはApache 2.0で、完全無料・商用利用OKです。

この記事では、HeartMuLaの仕組み・必要スペック・インストール方法・使い方を解説します。

HeartMuLaとは

何ができるのか

• 歌詞＋スタイルタグ → ボーカル付き楽曲を自動生成（最大6分）
• 日本語の歌詞を入力すれば、日本語で歌ってくれる
• リファレンス音源を指定して、スタイルを模倣させることも可能
• すべてローカルで処理。クラウドへのデータ送信なし

Sunoとの比較

音質ではSunoに一歩譲る部分もありますが、無料・無制限・ローカル完結という点で大きなアドバンテージがあります。特に日本語の歌詞の発音精度は非常に高く、英語と遜色ないレベルと評価されています。

モデル構成

HeartMuLaは単一のモデルではなく、複数のモデルが連携して動作します。

最新版（2026年1月23日リリース）のHeartMuLa-RL-oss-3B-20260123とHeartCodec-oss-20260123の組み合わせが現時点で最高品質です。

必要なPCスペック

デフォルトモードではHeartMuLa（約3Bパラメータ）とHeartCodecの両方をGPUに常駐させるため、VRAM 10〜12GB程度が必要です。VRAM 8GBのGPUでは--lazy_load trueオプションを使い、モデルを都度読み込み・解放することで動作可能です。

参考値として、RTX 5090では約2分30秒の楽曲を約99秒で生成できたという報告があります。

Windows / Mac どちらで動かすべきか

「ローカルAI＝NVIDIA GPU（Windows）一択」というイメージがありますが、HeartMuLaはMacでも動きます。ただし現状では差があります。

Macユーザーへの結論

Apple Siliconの統合メモリはHeartMuLaでもしっかり活きます。MLX版（heartlib-mlx）を使えばPyTorch MPS比で約2倍高速に動作し、Web UIやライブラリ管理機能も付いています。

• 24GBのMac: 約3〜4分の楽曲を生成可能
• 32GB以上のMac: 5分以上の楽曲も生成可能
• 16GBのMac: 短い曲なら動く可能性があるが厳しい

速度面ではNVIDIA GPU搭載Windowsが有利ですが、「NVIDIA GPUを持っていないがMacのメモリは大きい」という人にとって、HeartMuLaはローカル音楽生成を始める現実的な選択肢です。

インストール方法

HeartMuLaのインストール方法は大きく3通りあります。

方法A: Python（CLI）で直接実行【Windows / Linux】

Step 1: 事前準備（Windowsの場合）

Windowsでは以下を先にインストールしておく必要があります。

1. NVIDIA GPU ドライバー: NVIDIA公式サイトから最新版をインストール
2. CUDA Toolkit 12.1以上: NVIDIA CUDA Downloadsからインストール
3. Git: git-scm.comからインストール
4. Miniconda: conda公式サイトからインストール（Python環境管理用）

インストール後、スタートメニューから「Anaconda Prompt」を開いて以降のコマンドを実行します。

Step 2: リポジトリのクローンとインストール

# 仮想環境を作成（推奨）
conda create -n heartmula python=3.10
conda activate heartmula

# リポジトリをクローン
git clone https://github.com/HeartMuLa/heartlib.git
cd heartlib

# インストール
pip install -e .

Linuxの場合はターミナルでそのまま実行できます。Windowsの場合はAnaconda Prompt上で実行してください。

Step 3: モデルのダウンロード

HuggingFaceから推奨モデルをダウンロードします。

# HeartMuLa本体（強化学習版・推奨）
huggingface-cli download --local-dir './ckpt/HeartMuLa-oss-3B' \
  'HeartMuLa/HeartMuLa-RL-oss-3B-20260123'

# HeartCodec（オーディオコーデック）
huggingface-cli download --local-dir './ckpt/HeartCodec-oss' \
  'HeartMuLa/HeartCodec-oss-20260123'

# HeartTranscriptor（歌詞書き起こし・任意）
huggingface-cli download --local-dir './ckpt/HeartTranscriptor-oss' \
  'HeartMuLa/HeartTranscriptor-oss'

合計で約20GB程度のダウンロードになります。

Step 4: 楽曲を生成する

python ./examples/run_music_generation.py \
  --model_path=./ckpt \
  --version="3B"

実行すると対話形式で歌詞とタグの入力を求められます。

生成パラメータ

VRAM 8GBのGPUで動かす場合

python ./examples/run_music_generation.py \
  --model_path=./ckpt \
  --version="3B" \
  --lazy_load true

--lazy_load true を指定すると、HeartMuLaとHeartCodecを同時にGPUに乗せず、必要なときだけロード→使用後にアンロードします。速度は落ちますが、VRAM 8GBでも動作します。

GPU 2枚で分散する場合

python ./examples/run_music_generation.py \
  --model_path=./ckpt \
  --version="3B" \
  --mula_device cuda:0 \
  --codec_device cuda:1

方法B: ComfyUIから実行

画像生成ツールとして人気のComfyUIに、HeartMuLa用のカスタムノードが公開されています。GUIで直感的に操作できるため、コマンドラインが苦手な人にはこちらがおすすめです。

Step 1: ComfyUIのインストール

ComfyUIをまだ使っていない場合は、公式リポジトリからインストールしてください。

Step 2: HeartMuLaノードの追加

cd ComfyUI/custom_nodes
git clone https://github.com/filliptm/ComfyUI_FL-HeartMuLa.git

Step 3: ワークフローの構築

ComfyUIを起動し、以下のノードを接続します。

1. HeartMuLa Music Generatorノードを配置
2. 歌詞（Lyrics）とスタイルタグ（Tags）を入力
3. Preview Audioノードに接続
4. 「Queue Prompt」で生成開始

ComfyUI版は複雑なワークフロー（例: ローカルLLMで歌詞を自動生成→HeartMuLaで楽曲生成→音声分離）を視覚的に構築できるのが強みです。ComfyUIのHeartMuLaノードではApple Silicon（MPS）にも対応しています。

方法C: MLX版【Mac専用・Apple Silicon最速】

Apple Silicon Macで最速にHeartMuLaを動かすなら、MLX（Apple独自のML フレームワーク）に最適化されたheartlib-mlxがおすすめです。PyTorch MPS版と比べて約2倍高速に動作します。

Step 1: インストール

# uv（高速パッケージマネージャー）を使う方法（推奨）
curl -LsSf https://astral.sh/uv/install.sh | sh
git clone https://github.com/Acelogic/heartlib-mlx.git
cd heartlib-mlx
uv sync

# 従来の pip を使う方法
git clone https://github.com/Acelogic/heartlib-mlx.git
cd heartlib-mlx
pip install -e .

Step 2: モデルのダウンロードと変換

# HuggingFaceからモデルをダウンロード
huggingface-cli download HeartMuLa/HeartMuLa-oss-3B --local-dir ckpt/HeartMuLa-oss-3B
huggingface-cli download HeartMuLa/HeartCodec-oss --local-dir ckpt/HeartCodec-oss

# MLX形式に変換
python -m heartlib_mlx.utils.convert --src ./ckpt --dst ./ckpt-mlx

Step 3: Web UIで楽曲生成

python -m heartlib_mlx.app

ブラウザが自動的に開き、ダークテーマのWeb UIが表示されます。歌詞とタグを入力して「Generate」を押すだけで楽曲が生成されます。

MLX版の追加機能

• Web UI: ブラウザベースのモダンなインターフェース。CLIを使わずに操作可能
• ライブラリ管理: 生成した楽曲の一覧表示・検索・再生
• AI カバーアート自動生成: 曲ごとにアルバムアートを自動生成（MFLUX経由）
• リアルタイム進捗表示: 生成中のキャンセルにも対応

MLX版の速度比較（PyTorch MPS vs MLX）

歌詞とタグの書き方

歌詞の構造

歌詞はセクションマーク付きで入力します。

[Verse]
朝の光が窓を照らして
新しい一日が始まる
コーヒーの香りに包まれながら
静かに目を覚ます

[Chorus]
走り出せ 今すぐに
風を切って 空を見上げて
明日はきっと 輝いている
この胸の鼓動を信じて

[Verse]
街の雑踏の中を歩いて
すれ違う人たちの笑顔
小さな幸せ集めながら
一歩ずつ進んでいく

[Chorus]
走り出せ 今すぐに
風を切って 空を見上げて
明日はきっと 輝いている
この胸の鼓動を信じて

使えるセクションマーク

スタイルタグの書き方

カンマ区切り、スペースなしで指定します。

pop,japanese,female,piano,bright,energetic

タグの例:

タグを細かく指定するほど、意図に近い楽曲が生成されやすくなります。強化学習版（RL）ではタグへの追従性がさらに向上しています。

生成のコツ

• まずは短い曲から試す: --max_audio_length_ms 120000（2分）で試して、良い結果が出たら長くする
• 同じ入力でも結果が変わる: 温度やtop-kのランダム性があるため、気に入るまで何度か生成するのが前提
• RL版を使う: 通常の3B版よりRL（強化学習）版の方がタグへの忠実度と音質が高い
• 日本語歌詞は自然に書く: 機械翻訳ではなく、自然な日本語で書いた方が発音が良い
• ローカルLLMで歌詞を生成させる: Ollama等でテーマを与えて歌詞を書かせ、HeartMuLaに渡すワークフローも有効

活用アイデア

まとめ

「音楽生成AIのLLM」という呼び方が正確かどうかはさておき、HeartMuLaはまさにLLM（大規模言語モデル）のアーキテクチャを音楽生成に応用したモデルです。テキスト生成AIが「次のトークン」を予測するように、HeartMuLaは「次の音楽トークン」を予測して楽曲を組み立てていきます。

Sunoに月額課金する前に、まずはHeartMuLaをローカルで試してみる価値は十分にあります。特に日本語の品質の高さは一度体験してみてください。

ローカルLLMの全体像はローカルLLM完全ガイド、必要なGPUスペックの考え方も同記事を参考にしてください。