分类算法与模型

这一章，我们将亲自动手 使用您可能使用的一些特定算法 用于分类建模。 最常用的方法之一 做分类建模的 是逻辑回归。 现在，回归是最常见的风格之一 在实践中使用的机器学习 它的历史非常悠久。 逻辑回归基于相同的理论 作为线性回归，而不是预测 一个特定的值，它预测概率 属于特定类别。 为此，它使用逻辑或 sigmoid 函数。 这个函数从零概率开始 到 100% 的概率。 使用逻辑回归的优势 是你确实有那个概率 这可以相当直接地解释。 这使您可以查看一个特定的输入变量 并查看该输入变量的值如何变化 影响数据点的整体概率 属于特定的类。 那么，让我们看看它是如何工作的。 所以这里我有一个示例程序 将运行特定模型 在三个不同的合成数据集上。 合成数据集已设置 使它们具有特定的属性 这样当我们比较不同模型的结果时， 我们可以确定一些模型在哪里做得很好 和其他型号的表现相对较差。 所以在逻辑回归的情况下， 首先我需要从 SK learn 导入模块。 然后我需要为我的图表命名， 最后，我需要输入实际的分类器本身 我想跑，在这种情况下， 这是逻辑回归。 所以当我们运行它时，它首先显示合成数据集 然后它向我们展示了性能 的逻辑回归。 第一个数据集就像两个互锁的卫星， 第二个就像两个圆圈，一个围绕另一个。 最后一个本质上是一个blob 是近似线性可分的。 好的，那它是怎么做的？ 所以结果图中的阴影告诉我们 其中模型预测一个值与另一个值。 所以预测数据点是否 属于红色类或蓝色类 网格向我们展示了模型认为是一个区域的位置 这与红色类更相关 或蓝色班。 所以你可以在第一个看到这里 记住我们有那种线性关系 模型中的两个变量之间。 所以这意味着它会有点覆盖 网格上基于概率的 sigmoid 函数 以线性方式。 因此，对于我们的示例，这并不能很好地工作 它没有捕捉到卫星内的结构 尤其是不在圈子内。 现在是最后一个，线性可分数据集 你可以看到它实际上做得更好， 但有趣的是 100% 的概率 模型相当确定的区域 数据点属于该类 其实离得很远。 所以你可以看到大部分数据点 它实际上对它们进行了非常接近的分类 到那个 50% 的标记，或者略高于或略低于。 所以这让我们对数据集的种类有了一些直觉 逻辑回归可能无法很好地建模。 所以这应该给你一点直觉 关于逻辑回归如何工作 在现实生活中的数据。 尽管这种模式存在挑战 这是一种非常常见的建模方法 你可以肯定地说它不太好用 对于某些类型的关系 在您的输入变量之间。 事实上，它并没有推断出任何复杂的关系 在您的输入变量中。 您需要创建这些输入变量 作为新功能，以便使用它们。 好消息是它很容易解释 模型中发生了什么。 所以如果你有一种风格的数据集 有相当好的准确性，然后解释它 很容易，因为你只有几个系数 您需要对其进行解释以了解其重要性 这些元素中的每一个都是。 你可以直接把它们以概率的形式 你可以用概率来考虑它们 这是一种非常直观的思考方式 分类建模。 逻辑回归的最后一个问题是 它对异常值非常敏感。 这意味着你的训练集真的可以 影响建模结果。 所以要注意数据中的异常值， 无论如何，这是您应该始终检查的东西 但是当你使用逻辑回归时，它真的很重要。 逻辑回归的另一个挑战是 它建立在一组可能无法满足的假设之上 与您使用的许多不同的数据源。 因此，例如，具有不等的方差 在您的不同输入变量中 是可以极大地影响模型的东西 你建造的。 所以请记住我们来自卡片装饰的数据 我们在输入变量中看到了很多不相等的方差。 所以在这种情况下，我们想确定 我们有一个可以在我们的模型中工作的输入变量。 所以现在你应该有一个好主意 如何实现逻辑回归 使用 SK 学习库和您可以使用的方法 一些可视化，以便解释 模型告诉你什么以及发生了什么 与预测。 你可以在其中一些上建立你的直觉 合成数据集，以便您了解 不同模型的比较 当您要在真正的挑战中使用它时。