范围外意图分类数据集

您的文本分类器在范围外（又称为分布外）的性能

大多数受监督的机器学习任务都假设数据集具有一组定义明确的目标标签集。但是，当经过训练的模型与现实世界相遇时，会出现什么情况？在这种情况下，对训练后的模型的输入可能不是来自定义明确的目标标签集？该数据集提供了一种评估“范围外”输入上的意图分类模型的方法。

“范围外”输入是不属于“范围内”目标标签集的那些输入。您可能已经听说过其他超出范围的方式，包括“域外”或“分布范围外”。

内容

• is_*.json：这些文件包含范围内数据的训练/验证/测试集。有150个范围内的“意图”（aka类），其中包括诸如“我的平衡是什么”（属于balance该类）之类的示例。
• oos_*.json：这些文件包含范围外数据的训练/验证/测试集。有一个范围外的意图：oos。请注意，您不必使用oos_train.json数据。换句话说，对于范围外问题的ML解决方案无需针对范围外数据进行训练，但这可能会有所帮助！

评估指标

任务是意图分类，目的是归纳为文本分类（或分类）。这是一个监督的机器学习问题。我们使用两个指标进行评估：

• 范围内精度定义为＃（正确分类的范围内样本）/＃（范围内样本）。
• 范围外召回定义为＃（正确分类的范围外样本）/＃（范围外样本）。