Chapter 35、Surpassing human-level performance
超越人类水平表现
你正在进行语音识别,并拥有一个音频剪辑数据集。假设你的数据集有很多噪声音频剪辑,以至于即使是人都有10%的错误。假设你的系统已经获得8%的错误。你能否使用33章中描述的三种方法中的任意一种继续取得快速的进展?
如果你能识别人类能显著超越系统的数据子集,那么你仍然可以使用这些方法去推动快速进展。例如,假设系统在嘈杂的音频中识别语音的能力比人强很多,但人在转录语速较快的口头语言方面仍然表现得更好。
对于快速说话的数据子集:
- 你仍可以从人类获取比算法输出质量高的转录数据。
- 你可以利用人的直觉去理解为什么人可以正确听到快速说出的话,而系统不能。
- 在快速语言能力方面你可以使用人类的表现作为期望的表现目标。
更为一般的说,只要存在这样的开发集样本,该样本人类识别正确且算法识别错误,那么很多之前描述的方法将适用。即使在整个开发/测试集的平均水平上,你的表现已经超越了人类,这也是对的。
有很多重要的机器学习应用超越了人类的表现。例如,机器再预测电影评级、货车驾驶到某地需要耗时多久、是否批准贷款方面的表现更好。一旦人类很难识别算法明显出错的样例,只有一部分技术适用。因此,在机器已经超越人类表现的问题上,进展通常缓慢,而在机器仍在试图追赶人类水平的问题上进展较快。