这种算法用于模拟 RNN 的序列,可以与 RNN 算法结合使用。它们还可以用于各种结构化预测任务,例如图像分割。该算法对序列中的每个元素进行建模,以便邻居会影响序列中的组件标签,而所有标签并非相互独立。你可以将 CRF 用于文本、图像、时间序列和 DNA 中的序列序列。
有用的网站:
详细指南:
实际上,机器学习领域的绝大多数现代成就都是通过卷积神经网络实现的,它用于图像分类、图像分割和对象检测。它由 Jan Lekun 在 90 年代初发明,网络包含作为分层对象提取器的卷积层。你可以用它来处理文本,甚至处理图形。
有用的网站:
详细指南:
这是最重要的机器学习算法之一,它允许你在丢失信息量的情况下降低数据的维度。该算法在许多领域都有应用,如对象识别、计算机视觉、数据压缩等等。主成分的计算归结为计算原始数据的协方差矩阵的特征值和特征向量,以及数据矩阵的奇异分解。你可以用一个来表达多个信号,合并、沟通并处理一个更简单的模型。当然,信息损失是不可避免的,但 PCA 方法可以帮助你将其最小化。SVD 是计算有序分量的方法。
有用的网站:
详细指南:
这是最常见的机器学习算法之一,在统计和数据分析中用于预测模型。该结构代表叶子和分支。目标函数的属性很大程度上取决于决策树的分支,其中目标函数的值存储在叶子中,其余节点包含案例不同的属性。为了对新案例进行分类,你需要沿着树向下走到叶子,并给出相应的值。最终目标是创建一个模型,根据几个输入变量来预测目标变量的值。
有用的网站:
详细指南:
总的来说,存在单元级别的逻辑回归分类器。多个尺度的层通过非线性函数(如 sigmoid、tanh、新的 cool selu 和 relu + softmax)分隔。它们也被称为多层感知器,因为 FFNN 可以用于分类和无监督学习(如自动编码器)。该算法可用于训练分类器或提取函数(如自动编码器)。
有用的网站:
详细指南:
这是每个人最喜欢的无监督聚类算法。K-Means 算法是其经典实现中最简单但又不准确的聚类方法。该方法将中心空间中的元素集分成预先知道的 k 个簇。该算法最小化每个簇中点的标准偏差。这里基本思想是,在每次迭代中,都会重新计算前一步得到的每个簇的质心。然后,向量会根据新质心在选定度量下的接近程度再次划分到簇中。
有用的网站:
详细指南:
它仅限于线性回归,在应用权重后具有非线性,因此输出限制接近 1 和 0(在 sigmoid 的情况下)。此外,交叉熵损失函数使用梯度下降法进行优化。逻辑回归用于分类而不是回归。它与单层神经网络相同,当使用梯度下降或 L-BFGS 等优化技术进行学习时,它被称为“最大熵分类方法”。
有用的网站:
详细指南:
它是一种线性模型,类似于线性回归和逻辑回归。它们之间的区别在于它具有基于裕度(margin)的损失函数,你可以使用优化方法(即 SGD 或 L-BFGS)来优化损失函数。SVM 最独特之处在于它可以学习分类器,因为它可用于训练分类器甚至回归器。
有用的网站:
详细指南:
该模型通过在时间 t 递归地应用相同的权重集和聚合器在时间 t 的输入来处理序列。纯粹的循环神经网络现在很少使用,但其类似物却很常见。例如,LSTM 和 GRU 是大多数序列建模问题中最先进的模型。LSTM 用于替代纯 RNN 中的简单密集层。将此网络用于任何文本分类、机器翻译和语言建模任务。
有用的网站:
详细指南:
听起来可能令人不快,但你必须尝试许多不同的算法,并通过将它们应用于每个测试数据集来检查它们的有效性,从而选择最佳选项。这是一个显而易见的任务,你需要从与你的任务相匹配的算法中进行选择。所以,请耐心等待,不要急于求成。继续学习!
作者简介:
Ava Barker 担任 Tatvasoft UK 的技术顾问。她拥有技术背景,喜欢分享她在开发、设计等方面的见解。她还在许多不同的在线出版物上发表过她的作者署名。
目前市场上优质数据科学家的数量严重不足(来源)。IBM预测到 2020 年,数据科学家市场的需求将增长 28%。这意味着数据科学家的空间还很大。
我们每天生产 25 亿 GB 的数据,随着物联网的进步,这个数字还会增加。当今世界需要更多能够玩转数据的人才。由于缺乏能够从海量信息中提取有价值见解的熟练数据科学劳动力,企业未能充分利用其收集到的数据。
在美国,错误数据每年造成的成本高达 3 万亿美元。另一方面,智能利用收集到的数据可以显著提高组织的收入和生产力(来源)。
图片来源:Statista
数据科学家的平均年薪超过 11.5 万美元(来源)。你想填补供需缺口吗?在本文中,我们将揭示有助于您成为一名熟练的数据科学家的步骤。
数据科学家负责使用各种统计和机器学习工具和技术,以有意义的方式提取、筛选和解释数据。以下是您需要遵循的成为数据科学家的步骤:
您是否满足申请工作的基本要求?
寻找数据科学家职位的公司需要一定的学位。这是一个数据科学家职位空缺的例子。
图片来源:Indeed
市场上大多数工作都要求您至少拥有相关领域(如计算机科学、统计学、应用数学等)的学士学位。如果您拥有相关学位,您将有资格申请大多数职位。如果您关注薪资范围,您会发现即使是入门级职位,年薪也超过 9.5 万美元。
了解数据科学的各个方面
提前了解自己在成为数据科学家的道路上会遇到什么至关重要。对数据科学家的职责和责任进行一些研究。之后,您需要选择工具和编程语言。目前,R 和 Python 是数据科学领域中最受青睐的两种编程语言。我推荐Python 培训,因为它的学习和灵活性都很容易。
图片来源:Stack Overflow
掌握基础数学和统计学知识
要成为一名优秀的数据科学家,您必须掌握基础数学和统计学的核心知识。您可以使用工具执行计算。但是,如果没有扎实的数学和统计学基础,您将无法有效地履行您的职责。
数据科学家在工作中需要频繁使用统计方法(描述性和推理性分析)和数值解(线性代数)。您还应该热衷于解决问题,运用逻辑,因为这正是您将在职业生涯中所做的事情。
是时候学习一些基础的机器学习了
机器学习在数据科学中起着重要作用。机器学习知识可以帮助您在职业生涯中取得巨大成就。起初,您应该只获得必要的机器学习知识,以便在工作中能够执行更深入的应用。
Python 编程语言在执行机器学习应用方面也很流行。许多专业人士倾向于使用 Python 实现机器学习。由于其全面的应用,学习 Python 是更好的选择。您可以通过 Python 涉足 Web 应用程序、游戏开发等领域。
深入研究机器学习应用
在对机器学习有了扎实的基础后,您可以深入研究可以在工作中应用的机器学习应用。您可以学习一些高级应用,例如提升算法、时间序列方法、随机森林、集成学习等。在算法之后,您应该知道如何改进模型并通过诸如验证策略和特征工程之类的技巧来引入新的预测模型。
您可以使用机器学习来产生准确的结果,并使用数据驱动的模型来实时处理数据。
掌握一些深度学习概念
在对机器学习有了扎实的掌握后,是时候开始学习深度学习了。深度学习是机器学习的组成部分。扎实的深度学习知识可以显著增加您作为数据科学家的价值。起初,您应该只对深度学习有一个基本的了解,例如神经网络。此外,可以开始尝试 Keras。
深入研究高级深度学习应用
在对机器学习和深度学习有了扎实的基础后,您现在可以开始学习高级神经网络框架了。需要关注的神经网络框架是卷积神经网络和循环神经网络。您需要一些时间来理解这些概念。我建议您在学习这些高级深度学习概念时保持耐心。您可能需要投入几周的时间来掌握它们。
学习计算机视觉应用
计算机视觉应用是一项热门技术。它已渗透到制造业、零售业、建筑业等不同行业。这些技术的一些例子是像 MobileNet 这样的面部检测技术,像 ResNet 这样的对象识别技术,等等。
数据科学家可以使用这些技术从图像、对象等中提取有用的见解。您将获得更多需要计算机视觉应用的任务。
自然语言处理
最后,您需要学习自然语言处理来磨练您作为数据科学家的技能。您至少应该对文本预处理和文本分类等概念有一个基本的了解。
我们已经分解了成为数据科学家的步骤。但是,有些人可能对如何开始学习我上面提到的所有内容感到困惑。在当今时代,学习任务并不难。信息触手可及。有大量优质资源可供免费或以合理的价格访问。
电子学习行业的市场规模预计到 2025 年将增长到 3250 亿美元。您需要做的就是找到合适的文章、视频和课程来注册并开始学习。
如果您已阅读到文章的这个部分,那么您应该清楚接下来该做什么。您需要遵循我提到的步骤来成为一名数据科学专业人士。每一个步骤都需要大量的时间和精力。
在投身数据科学领域之前,您必须决定您是否想成为一名数据科学家。不要仅仅因为丰厚的薪酬而进入数据科学领域。如果您有任何要补充的,请随时在评论部分留下您的意见。我很想知道您的想法。
Shutter 是一款屏幕截图软件。它可以让你截取特定区域、窗口甚至整个屏幕的截图。
Shutter 还带有一些编辑工具,但这些工具默认情况下是禁用的。要启用这些工具,我们需要安装一些额外的软件包。
本文中提到的所有说明都在 Linux Mint 19 和 Ubuntu 18.04 上进行了测试。
让我们开始吧!

如上图所示,“编辑”按钮是禁用的。要启用“编辑”按钮,您需要以下三个软件包:
libgoo-canvas-perllibgoocanvas-commonlibgoocanvas3我们可以从以下链接下载这些软件包:
如果您倾向于使用命令行,可以使用wget命令如下下载所有这些软件包:
1 2 3 | wget -q http://mirrors.kernel.org/ubuntu/pool/universe/g/goocanvas/libgoocanvas-common_1.0.0-1_all.deb wget -q http://mirrors.kernel.org/ubuntu/pool/universe/g/goocanvas/libgoocanvas3_1.0.0-1_amd64.deb wget -q http://mirrors.kernel.org/ubuntu/pool/universe/libg/libgoo-canvas-perl/libgoo-canvas-perl_0.06-2ubuntu3_amd64.deb |
下载所有必需的软件包后,使用以下命令安装它们:
sudo dpkg -i libgoocanvas-common_1.0.0-1_all.deb ; sudo apt-get -f install ; sudo dpkg -i libgoocanvas3_1.0.0-1_amd64.deb ; sudo apt-get -f install; sudo dpkg -i libgoo-canvas-perl_0.06-2ubuntu3_amd64.deb ; sudo apt-get -f install 现在终止 Shutter 的任何正在运行的实例,然后重新启动它。
sudo killall shutter 您现在应该已经启用了“编辑”按钮。

要在 Linux Mint 17、18 或 Ubuntu 16.04 上启用“编辑”按钮,修复相对简单。您所要做的就是使用以下命令安装libgoo-canvas-perl:
sudo apt-get install libgoo-canvas-perl 与“编辑”按钮一样,“Web”按钮默认也是禁用的。“Web”按钮允许我们通过提供 URL 来截取网站的屏幕截图。

要启用“Web”按钮,我们需要一个名为gnome-web-photo的软件包。从以下链接下载 gnome-web-photo:[
https://launchpad.net/ubuntu/+source/gnome-web-photo/0.10.6-1/+build/5854031
或者,只需执行以下命令下载gnome-web-photo软件包。
wget -q https://launchpad.net/ubuntu/+source/gnome-web-photo/0.10.6-1/+build/5854031/+files/gnome-web-photo_0.10.6-1_amd64.deb 下载完软件包后,输入以下命令进行安装:
1 2 | sudo dpkg -i gnome-web-photo_0.10.6-1_amd64.deb sudo apt-get -f install |
终止 Shutter 的任何正在运行的实例并重新启动该应用程序。“Web”按钮现在应该已启用。

重新启动 Shutter,现在您应该可以截取网站的屏幕截图了。


接下来,我们将介绍如何在 Shutter 上启用“Web”按钮。
要在 Linux Mint 17、18 或 Ubuntu 17.06 上安装gnome-web-photo,只需执行以下命令:
sudo apt-get install gnome-web-photo 就这样。
在评论中告诉我们这个技巧对您是否有帮助。
Virtualenv 是一个用于创建 Python 虚拟环境的便捷工具。
那么,我们为什么需要虚拟环境呢?
你可以将虚拟环境想象成一个独立的 Python 安装,它允许我们在不发生冲突的情况下,针对使用相同包的不同版本进行项目开发。请看以下示例:
假设我们正在开发一个电子商务网站和一个 CRM。我们的电子商务网站依赖于 `foo` 包的第 1 版,而我们的 CRM 需要第 2 版。在同一时间,我们只能使用 `foo` 包的一个版本。我们不能同时在系统上安装两个版本。虚拟环境可以轻松解决这类问题。
Virtualenv 的另一个绝佳用例是,当你在一个没有权限全局安装包的系统上工作时。你可以做的就是,在你的主目录中创建一个虚拟环境,然后将项目的所有依赖项安装在虚拟环境中。
即使你不处理冲突的包并且拥有系统的完全访问权限,也建议始终在一个虚拟环境中开始新项目,这样如果项目出现任何问题,你的系统级 Python 安装将保持不变。
现在你了解了 virtualenv 的原因,让我们来看看如何操作?
要安装 Virtualenv,请键入以下命令:
pip3 install virtualenv 我们现在可以创建虚拟环境了。创建一个名为 `my-project` 的新目录,并使用 `cd` 命令将当前工作目录更改为该目录:
1 2 | $ mkdir my-project $ cd my-project |
要创建虚拟环境,请键入以下命令:
$ virtualenv env 或者,你也可以使用以下命令:
$ python -m virtualenv env 这将在当前工作目录中创建一个名为 `env` 的新目录。`env` 目录的结构应如下所示:
1 2 3 4 5 | env/ ├── bin/ ├── include/ ├── lib/ └── pip-selfcheck.json |
那么这些文件和文件夹是什么呢?
这些文件和文件夹构成了一个独立的 Python 安装。
`bin/` 文件夹包含你在普通 Python 安装中会找到的所有可执行文件:
1 2 3 4 | $ ls env/bin/ activate activate_this.py pip python python-config activate.csh easy_install pip3 python3 wheel activate.fish easy_install-3.5 pip3.5 python3.5 |
默认情况下,Virtualenv 使用安装它的 Python 版本创建虚拟环境。换句话说,如果 Virtualenv 是作为 Python 3.5 的包安装的,那么它将使用 Python 3.5 创建虚拟环境。我们可以使用 `-p` 选项指定另一个 Python 版本。
virtualenv env -p /usr/bin/python2 这将使用 Python 2.7 创建虚拟环境,而不是 Python 3.5。
要使用虚拟环境,我们首先需要激活它。键入以下命令激活虚拟环境:
1 2 | $ source env/bin/activate (env) $: |
如果你在 Windows 上,请使用以下命令:
1 2 | C:\Users\user>env\bin\activate (env) C:\Users\user> |
我们的虚拟环境现在已激活。你是否注意到 shell 提示符前面有 `(env)`?这表示名为 `env` 的虚拟环境正在运行。
激活虚拟环境会临时更改 `$PATH` 环境变量,使虚拟环境的 `bin/` 目录成为列表中的第一个。如果现在执行 `python` 命令,则会执行位于 `env/bin/` 目录中的 Python 可执行文件,而不是全局安装的 Python。
一旦激活虚拟环境,你使用 `pip` 添加或删除的任何包将只会影响你正在使用的虚拟环境。系统级安装的包完全不受影响。
完成 Virtualenv 的使用后,可以使用 `deactivate` 命令停用它:
$ deactivate 这将从 `$PATH` 环境变量中删除 `bin/` 目录,使全局安装的 Python 再次可用。
在某些情况下,你可能希望创建一个包含全局 Python 安装包的虚拟环境。这可以通过使用 `--system-site-packages` 选项来实现。
$ virtualenv env --system-site-packages MySQL 是 Web 上最常用的关系数据库之一,在本课中,我们将学习如何安装它。
本文专门介绍如何在 Windows、Linux 和 Mac OS 上安装 MySQL。
要下载 Windows 版 MySQL,请导航至 https://dev.mysqlserver.cn/downloads/windows/installer/。向下滚动一点,你就会看到如下所示的下载链接:
第一个是 Web 安装程序,第二个是离线安装程序。选择你喜欢的任何一个,然后点击下载按钮。
下载完成后,双击启动安装程序。
步骤 1:接受许可证协议。
步骤 2:选择设置类型。
默认设置会安装许多额外的软件包,例如 MySQL workbench、Connectors、plugins、documentation、示例数据库等。安装所有这些软件包将需要一些时间和额外的空间。最糟糕的是,你甚至不会使用其中一半的软件包。因此,最好选择自定义安装,只安装你需要的软件包。别担心,你以后可以通过再次运行安装程序来安装这些软件包。
步骤 3:选择产品和功能。
在这种情况下,我们只对安装 MySQL 服务器感兴趣。根据你的操作系统选择体系结构(x86 或 x64),然后点击下一步。
步骤 4:检查要求。
在此屏幕上,安装程序将下载缺失的依赖项。只有当你的系统缺少依赖项时,你才会看到此屏幕。点击“执行”按钮开始该过程。如你所见,在此系统上,安装程序需要在继续之前安装 Microsoft Visual C++ Redistributable Package。点击下一步按钮,安装程序将提示你安装必要的软件包。
安装完所有依赖项后,你将在产品名称前看到一个绿色的勾号。
步骤 5:安装。
此屏幕显示将要安装的产品列表。由于我们这里只安装 MySQL 服务器,因此列表中仅包含 MySQL 服务器。要开始安装过程,请点击“执行”按钮。成功安装后,你将看到以下屏幕。
点击下一步继续。
步骤 6:产品配置。
在这一步,安装程序将配置 MySQL 服务器。默认选项即可,所以只需在接下来的几个屏幕上点击下一步。之后,系统将提示你输入用户名和密码。设置你选择的用户名和密码。你将使用它们登录 MySQL 服务器。
你已完成安装阶段的难点。在接下来的几个屏幕上,通过点击下一步来接受默认设置。最后,点击“完成”按钮关闭安装程序。
MySQL 安装程序默认不会将 `mysql.exe` 添加到 PATH 环境变量。因此,每次我们想执行 `mysql.exe` 时,都必须指定其完整路径。`mysql.exe` 位于 `MySQL\MySQL Server 5.7\bin` 目录中。但是,`MySQL` 目录的路径取决于应用程序的体系结构。如果安装了 x64 版本,则应位于 `C:\Program Files\` 中。否则,应位于 `C:\Program Files (x86)` 中。在此系统上,MySQL 安装在 C:\Program Files\ 中,`mysql.exe` 的完整路径是 `C:\Program Files\MySQL\MySQL Server 5.7\bin\mysql.exe`。
要将 `mysql.exe` 添加到 PATH 环境变量,请按照以下步骤操作:
按 Win+Pause/Break。这将打开系统属性窗口。
点击“高级系统设置”。
在新打开窗口的底部,点击“环境变量”。
在新窗口中,选择 Path 环境变量,然后点击“编辑”。
在当前变量值末尾添加 `;`,然后附加 `C:\Program Files\MySQL\MySQL Server 5.7\bin\mysql.exe`(具体路径可能因应用程序版本和体系结构而异)。点击“确定”保存。
现在启动命令提示符,然后输入以下命令:
1 2 | C:\Users\user>mysql --version mysql Ver 14.14 Distrib 5.7.20, for Win64 (x86_64) |
如果显示了 MySQL 版本,则表示一切正常,并且已成功安装 MySQL 服务器。要登录 MySQL 服务器,请使用以下命令:
C:\Users\user>mysql -u root -p 然后系统会要求输入密码。成功登录后,您将看到以下输出:
1 2 3 4 5 6 7 8 9 10 11 12 13 | 欢迎使用 MySQL 监视器。命令以 ; 或 \g 结尾。您的 MySQL 连接 ID 是 51 服务器版本:5.7.20-log MySQL Community Server (GPL) 版权所有 (C) 2000, 2017, Oracle 和/或其附属公司。保留所有权利。Oracle 是 Oracle Corporation 和/或其附属公司的注册商标。其他名称可能是其各自所有者的商标。键入 'help;' 或 '\h' 以获取帮助。键入 '\c' 以清除当前输入语句。 mysql> |
要退出 MySQL shell,请键入 `\q`。
要在基于 Debian 的系统(如 Ubuntu 或 Mint)上安装 MySQL,请键入以下命令:
$ sudo apt-get install mysql-server 如果你使用的是基于 Redhat 的系统(如 Fedora 或 CentOS),请使用以下命令:
$ sudo yum install mysql-community-server 安装程序会自动将 MySQL 可执行文件的路径添加到 PATH 环境变量,因此你无需执行任何操作。
要测试安装,请运行以下命令:
1 2 | $ mysql --version mysql Ver 14.14 Distrib 5.7.19, for Linux (x86_64) using EditLine wrapper |
如果你看到了 MySQL 的版本信息,则表示你已成功安装 MySQL 服务器。
安装后,MySQL 服务器将自动启动。你可以随时使用以下命令检查 MySQL 服务器的状态:
对于 Debian/Ubuntu/Mint:
$ sudo service mysql status 对于 Redhat/Fedora/CentOS:
$ sudo service mysqld status 你可以使用以下命令停止服务器:
对于 Debian/Ubuntu/Mint:
$ sudo service mysql stop 对于 Redhat/Fedora/Cent OS:
$ sudo service mysqld stop 要重新启动服务器,请使用以下命令:
对于 Debian/Ubuntu/Mint:
$ sudo service mysql start 对于 Redhat/Fedora/Cent OS:
$ sudo service mysqld start 要下载 Mac OS 版 MySQL,请访问 https://dev.mysqlserver.cn/downloads/mysql/ 并下载 DMG 归档文件。
双击安装程序启动,然后按照正常的安装过程进行。成功安装后,您将获得一个临时密码用于登录 MySQL 服务器。临时密码不可恢复,因此请确保将其复制并保存在安全的地方。
MySQL 安装程序通常会将文件安装在 `/usr/local/` 目录下的 `mysql` 文件夹中。与 Windows 类似,Mac 的 MySQL 安装程序也不会将 MySQL 可执行文件添加到 PATH 环境变量。因此,我们必须在终端中通过指定完整路径来执行 MySQL。
我们现在可以启动服务器了。打开“系统偏好设置”,然后点击 MySQL 图标。
这将打开 MySQL 偏好设置面板。
如屏幕所示,目前 MySQL 服务器未运行。点击“启动 MySQL 服务器”按钮来启动服务器。
要登录 MySQL 服务器,请在终端中输入以下命令:
$ /usr/local/mysql/bin/mysql -u root -p 然后系统会要求输入密码。输入安装时复制的临时密码,然后按 Enter。
进入终端后,使用以下命令更改密码。
ALTER USER 'root'@'localhost' IDENTIFIED BY 'your_new_password' 要退出 MySQL shell,请输入 `\q`。
要将 MySQL 可执行文件添加到 PATH 环境变量,请打开 `.bash_profile`,并在文件末尾添加以下代码。
.bash_profile
1 2 3 | #... PATH="/usr/local/mysql/bin:${PATH}" export PATH |
注销并重新登录以使更改生效。要验证更改,请尝试不指定完整路径来运行 MySQL,如下所示:
$ mysql --version 如果显示 MySQL 版本,则表示已成功将 MySQL 添加到 PATH 环境变量。现在你的 Mac OS 上应该已安装并运行 MySQL 服务器。
此指南对你是否有效?如果你遇到任何错误,请在评论中告知。