2026-09-11 【音色评估】项目拆解（一）：前置调研与全局认知

2.1.1 采样与量化#

声音是连续的模拟信号，计算机处理需要先数字化，分为两步：

• 采样（Sampling）：按固定时间间隔测量声压值，单位时间采样次数称为采样率 sr，单位 Hz。 本项目统一使用 16 kHz 采样率（app.py 中 librosa.load(temp_path, sr=16000)）。根据奈奎斯特定理：f_max = sr / 2，16 kHz 采样最高可表示 8 kHz 频率，覆盖人声主要能量范围（基频、共振峰、摩擦音主要集中在 8 kHz 以内），在保证效果的同时节省算力。
• 量化（Quantization）：将连续的声压幅度离散化为整数。本项目使用 16 bit 量化，取值范围 -32768 ~ 32767，是语音领域的标准精度。

2.1.2 PCM 与 WAV 文件结构#

• PCM（脉冲编码调制）：最朴素的数字音频存储格式，直接按顺序存每个采样点的幅度值。
• WAV：最常见的无损音频容器，格式为 RIFF 头 + fmt 块 + data 块，前 44 字节为文件头，后面紧跟 PCM 采样数据。

本项目前端 main.js 中 audioBufferToWavBlob() 函数手写了完整的 44 字节 WAV 头，关键字段如下：

2.1.3 容器与编码的区别（项目核心坑点）#

这是前端录音后端报错的根源，必须分清：

• 容器（Container）：WAV、WebM、MP4、OGG 等，相当于“盒子”，负责装音频轨道与元数据；
• 编码（Codec）：PCM、Opus、AAC、MP3 等，是真正的音频压缩/还原算法。

浏览器 MediaRecorder 录制的默认格式是 WebM 容器 + Opus 编码，而后端 soundfile 库不识别 WebM 容器，librosa 回退到 audioread 又需要服务器安装 ffmpeg，极易报错。

项目解决方案：在浏览器端用 Web Audio API 将音频解码成 PCM，再重新封装为标准 WAV 上传，后端只需处理 WAV/PCM，彻底绕开 ffmpeg 依赖。

2.2.1 基频 F0 与谐波#

• 基频 F0：声带每秒振动的次数，决定声音的音高。男声约 80-180 Hz，女声约 160-300 Hz。
• 谐波：基频的整数倍频率（2F0、3F0、4F0…）。谐波的幅度包络是决定音色的核心：低频谐波能量强→声音浑厚；高频谐波能量强→声音尖亮。

2.2.2 共振峰 Formant#

声道（咽腔、口腔、鼻腔）相当于一个共鸣腔，某些频率会被放大，在频谱包络上形成峰值，称为共振峰。

• F1（第一共振峰）：对应舌位高低，频率越低舌位越高；
• F2（第二共振峰）：对应舌位前后，频率越高舌位越靠前；
• F3（第三共振峰）：对应唇形圆展。

本项目 get_fre.py 使用 parselmouth 库的 Burg 算法提取共振峰，线上部署版未使用该特征，仅作为科研参考。

2.2.3 谐噪比 HNR#

谐噪比（Harmonics-to-Noise Ratio, HNR）：谐波能量与噪声能量的比值，反映嗓音的“干净/沙哑”程度。

• 声带闭合充分→谐波能量强→HNR 高→听感“实”；
• 气声多、声带闭合不充分→噪声能量高→HNR 低→听感“虚”。

项目中“虚实”维度并没有直接计算 HNR，而是用中高频段的能量分布作为 HNR 的代理特征（proxy），这是工程上的简化实现。

步骤1：STFT 短时傅里叶变换#

声音是非平稳信号，全局 FFT 只能得到整段平均频谱，丢失时间信息。短时傅里叶变换（STFT） 将音频切成很多短帧，每帧内近似平稳，逐帧做 FFT，得到「时间 × 频率」的二维频谱图。

数学公式：

项目对应参数（speechprocess.py → get_energy_pro）：

• n_fft = 2048：每帧长度，对应频率分辨率 ≈ 16000 / 2048 ≈ 7.8 Hz；
• hop_length = 512：帧移（相邻两帧的间隔），对应时间分辨率 ≈ 512 / 16000 = 32 ms；
• 窗函数：默认 Hann 窗，减小截断造成的频谱泄漏；
• 输出形状：(1025, 帧数)，其中 1025 = n_fft/2 + 1。

步骤2：能量谱与能量占比#

• 幅度谱：对 STFT 复数结果取绝对值 |X[m,k]|；
• 能量谱：幅度谱的平方 |X[m,k]|²；
• 总能量：所有频点所有帧的能量之和；
• 能量占比：每个频点的能量 ÷ 总能量。

✅核心设计：使用能量占比而非绝对能量。绝对能量随录音音量、麦克风距离、增益大小剧烈变化，而能量占比只反映频谱的“形状”，与整体音量无关，这才是音色的本质。

步骤3：梅尔刻度与 12 频段划分#

人耳对频率的感知是对数式的：低频分辨力强，高频分辨力弱。梅尔刻度（Mel Scale） 就是符合人耳听觉特性的非线性频率刻度。

梅尔转换公式：

项目中三个维度的 12 个频段，都是在对应频率范围内按梅尔刻度等间隔划分，再换算回 Hz 的：

• 厚薄：0 - 1350 Hz 等梅尔切 12 份，重点覆盖基频与低次谐波；
• 虚实：50 - 4280 Hz 等梅尔切 12 份，覆盖谐波与噪声分布；
• 明暗：0 - 4280 Hz 等梅尔切 12 份，覆盖全频段高频占比。

验证：明暗维度 0-4280 Hz 的梅尔总量约为 2211 Mel，2211 / 12 ≈ 184.3 Mel，对应第一段边界约 124 Hz，与代码完全吻合。

步骤4：三个综合特征#

除 12 段频段占比外，项目还计算 3 个全局特征，拼成 15 维特征向量：

1. 总能量：整段音频的能量总和，做数值缩放后加入特征；
2. 低频/高频比（LF/HF）：以 1000 Hz 为分界，低频能量和 ÷ 高频能量和。比值越大声音越厚/闷，越小越亮/薄；
3. 谱质心（Spectral Centroid）：频谱的“重心”，即能量加权平均频率。 $$C=\sum_k p_k f_k$$ 谱质心越高，代表能量越偏高频，声音越明亮。

步骤5：Fisher 线性判别（权重学习）#

有了高维特征，怎么把它变成一个能区分等级的一维分数？答案是 Fisher 线性判别。

核心思想：找一个投影方向（权重向量 w），把高维特征投影到一维上，使得类间距离最大、类内散度最小。

Fisher 准则（两类）：

其中 μ 是类均值，σ² 是类内方差。最大化 J(w) 得到的 w* 就是最优判别方向。

项目实现（frenquence_check/torchmodel.py → FisherLoss）： 将 Fisher 准则取倒数作为损失函数，用 PyTorch 训练一层线性网络，迭代优化得到最优权重。

1
class FisherLoss(nn.Module):
2
    def forward(self, outputs, labels):
3
        mu0, mu1 = outputs[mask0].mean(), outputs[mask1].mean()
4
        var0, var1 = outputs[mask0].var(unbiased=False), outputs[mask1].var(unbiased=False)
5
        return (var0 + var1) / ((mu1 - mu0).pow(2) + 1e-6)

为什么用 PyTorch 训练而不直接解特征值？因为最终要得到和线上部署完全一致的、固定列数的一组权重，一层线性网络的权重正好可以直接抄到部署代码里。

步骤6：边界标定与线性映射#

得到一维原始分数后，两步处理为最终的 0-100 分：

1. 网格搜索最优边界：在两级样本的分数分布中逐点扫描阈值，统计分类正确率，取正确率最高的阈值作为等级分界点；
2. 线性映射到 0-100：将原始分数的分布区间，通过线性变换缩放到 0-100 分。 $$a = \frac{100}{max - min}, \quad b = -min \times a$$ 最终得到三个常量 [a, b, 中心分]，对应部署代码中的 bands_change。

每个维度有两套权重与边界：一套区分 1-2 级，一套区分 2-3 级。因为两个分界是不同的判别问题，各自学一套更精准。

步骤1：fbank 梅尔滤波器组特征#

深度学习侧的输入不是 STFT 能量谱，而是 Kaldi 风格的 log-mel fbank 特征（torchaudio.compliance.kaldi.fbank）。

处理流程：

1. 对每帧做 FFT 得到功率谱；
2. 通过 128 个三角形梅尔滤波器聚合，得到 128 维梅尔能量；
3. 取对数得到 log-mel 能量（fbank）。

关键参数（html/inference.py）：

1
torchaudio.compliance.kaldi.fbank(
2
    waveform, htk_compat=True, sample_frequency=16000,
3
    use_energy=False, window_type='hanning',
4
    num_mel_bins=128, dither=0.0, frame_shift=10
5
)

• frame_shift=10：每帧 10 ms，即 100 帧/秒；
• num_mel_bins=128：128 个梅尔频带；
• dither=0.0：关闭抖动噪声，推理时保证结果确定。

输入长度：target_length=1024 帧，对应 1024 × 10 ms = 10.24 秒，是语音领域常用的 10 秒片段标准。

步骤2：特征归一化#

训练时对 fbank 做固定标准化：

1
fbank = (fbank - mean) / (std * 2)
2
# AudioSet 统计值：mean = -4.2677393, std = 4.5689974

• 减均值除标准差：让输入分布稳定，加速模型收敛；
• 这两个常数是 AudioSet 大规模数据集上的全局统计值，推理时必须使用相同的常数，否则输入分布偏移会导致精度崩塌；
• ×2 是 AudioMAE/AST 的惯例，相当于放大标准差，缩小输入动态范围。

步骤3：Patch Embedding 与位置编码#

ViT 本来是给图像设计的，但 log-mel 频谱图本质上就是一张单通道“图像”：横轴时间、纵轴频率，因此可以直接用 ViT 处理。

自定义 Patch Embedding（TimbreMask/models_vit.py → PatchEmbed_new）：

• 用卷积实现“切块 + 线性投影”：nn.Conv2d(1, 768, kernel_size=16, stride=10)；
• 输入尺寸：(1, 1024, 128)（通道 × 时间帧 × 频率带）；
• 时间方向 patch 数：(1024 - 16) / 10 + 1 = 101；
• 频率方向 patch 数：(128 - 16) / 10 + 1 = 12；
• 总 patch 数：101 × 12 = 1212 个，对应位置编码长度 1212 + 1 = 1213（加 1 个 class token）。

为什么 stride 用 10 而不是 16？让 patch 在时间轴上重叠采样，等效于更细的时间分辨率，弥补 10 ms 帧移下的时序信息。

步骤4：ViT-B 编码器#

本项目使用 ViT-Base 架构，核心组件：

• 多头自注意力（MHA）：建模所有 patch 之间的全局依赖关系；
• MLP 层：提供非线性变换，维度 768 → 3072 → 768；
• 残差连接 + LayerNorm：保证深度网络可训练；
• 全局平均池化：不用 class token，对所有 patch 输出取平均，对输入长度变化更鲁棒。

参数量估算：约 8600 万参数，fp32 精度下约 345 MB。

步骤5：MAE 掩码自编码预训练#

音色分级标注成本极高，但无标注人声音频是海量的。MAE（掩码自编码器） 用自监督学习，利用海量无标注数据预训练通用语音表征。

核心设计：

1. 高掩码率：mask_ratio=0.8，随机遮住 80% 的 patch，迫使模型学习语义结构而非局部插值；
2. 非对称编解码器：编码器只看可见的 20% patch（省算力），解码器处理全部 patch（含 mask token），且解码器更浅更窄；
3. Swin 局部注意力解码器：解码器用 Swin Transformer 的窗口注意力，更适合频谱的局部结构；
4. 仅掩码区域算损失：只在被遮住的 patch 上计算重建 MSE 损失，聚焦学习难点。

步骤6：多标签微调#

预训练得到通用表征后，用专家分级标注数据做微调。

• 输出 11 维 logits：厚薄 3 类 + 虚实 3 类 + 明暗 3 类 + 性别 2 类；
• 多标签分类：一条音频同时有多个标签（厚薄 2 级 且 虚实 3 级 且 明暗 1 级），因此用 sigmoid + BCEWithLogitsLoss，每个维度独立做二分类。
• 为什么不用 softmax + 交叉熵？ softmax 强制所有类别竞争，只能选一个，和“多标签”语义冲突。

3.4.1 单路线的短板#

3.4.2 融合规则（等级修正状态机）#

融合逻辑：模型给初始等级 → 物理分计算偏差 → 偏差超过阈值则修正±1级，最多只修正一级，不允许多级跳跃。

完整状态机（对应 speechprocess.py → cal_features）：

设计逻辑：

1. 阈值 20 是“防抖”设计，接近边界时不随意改等级；
2. 只调一级是为了避免物理分异常导致离谱结果；
3. 修正标记用于前端展示（C+/B+/B-/A-），体现细粒度差异。