DeepPavlov: 强大的聊天机器人和对话系统开源AI库（附安装指南）

技术分享
, ,
1

2056×690 21.4 KB

DeepPavlov 是一个基于 TensorFlow、Keras 和 PyTorch 构建的开源对话式 AI 库。

DeepPavlov 旨在：

  • 开发可用于生产环境的聊天机器人和复杂的对话系统；

  • 研究 NLP（尤其是对话系统）领域。

安装

  1. 我们支持 Linux 与 Windows 平台，以及 Python 3.6 和 Python 3.7
  • 不支持 Python 3.5！
  • Windows上的安装需要 Git（例如 git）和安装了适用于 Visual Studio 2015、2017 的 Microsoft Visual C++ 可再发行软件包！
  1. 创建并激活虚拟环境：
  • Linux
python -m venv envsource ./env/bin/activate
  • Windows
python -m venv env.\env\Scripts\activate.bat
  1. 在环境中安装软件包：
pip install deeppavlov

快速入门

DeepPavlov 中有很多很棒的经过预训练的 NLP 模型。每个模型均由其配置文件确定。

可以在 deeppavlov.configs (Python) 的 文档页面 上找到 模型列表：

from deeppavlov import configs

确定了模型（+ 配置文件）后，可以通过两种方式来训练、评估模型并进行推断：

GPU 要求

要在 GPU 上运行受支持的 DeepPavlov 模型，您应该在主机上安装 CUDA 10.0，并在 Python 环境中安装支持 GPU 的 TensorFlow (tensorflow-gpu)。当前支持的 TensorFlow 版本是 1.15.2。

在安装模型的软件包之前先运行：

pip install tensorflow-gpu==1.15.2

来安装所需的 tensorflow-gpu 版本。

在选择接口之前，先安装模型的软件包要求 (CLI)：

python -m deeppavlov install <config_path>
  • 其中 <config_path> 是所选模型的配置文件的路径（例如 deeppavlov/configs/ner/slotfill_dstc2.json）或者不带 .json 扩展名的名称（例如 slotfill_dstc2）

命令行界面 (CLI)

请运行以下命令通过 CLI 以交互方式从模型获取预测：

python -m deeppavlov interact <config_path> [-d]
  • -d 下载所需数据 - 预训练的模型文件和嵌入向量（可选）。

您可以使用相同的简单方式进行训练：

python -m deeppavlov train <config_path> [-d]

无论是否存在 -d 标记，都将下载数据集。

您也可以使用您自己的数据进行训练，需要在 训练配置文档 中修改数据集读取器路径。数据格式已在相应的模型文档页面中指定。

您还可以通过配置执行更多操作：

python -m deeppavlov <action> <config_path> [-d]

  • <action> 可以为

    • download，用于下载模型数据（与 -d 相同），

    • train，使用配置文件中指定的数据训练模型，

    • evaluate，在同一数据集上计算指标，

    • interact，通过 CLI 进行交互，

    • riseapi，运行 REST API 服务器（请参阅 文档[1]），

    • telegram，作为 Telegram 机器人运行（请参阅 文档[2]），

    • msbot，作为 Miscrosoft Bot Framework 服务器运行（请参阅 文档[3]），

    • predict，从 stdin 或 <file_path>（如果指定了 -f <file_path>）获取样本预测。

  • <config_path>，指定模型配置文件的路径（或名称）

  • -d，下载所需数据

Python

要通过 Python 以交互方式从模型获取预测，请运行：

from deeppavlov import build_model

model = build_model(<config_path>, download=True)

# get predictions for 'input_text1', 'input_text2'
model(['input_text1', 'input_text2'])

  • 其中 download=True 表示从网络下载所需的数据 - 预训练的模型文件和嵌入向量（可选），

  • <config_path> 是所选模型的配置文件的路径（例如 "deeppavlov/configs/ner/ner_ontonotes_bert_mult.json"）或 deeppavlov.configs 属性（例如不带引号的 deeppavlov.configs.ner.ner_ontonotes_bert_mult）。

您可以使用相同的简单方式进行训练：

from deeppavlov import train_model 
model = train_model(<config_path>, download=True)
  • download=True 表示下载预训练的模型，因此将首先加载预训练的模型，然后进行训练（可选）。

无论是否存在 -d 标记，都将下载数据集。

您也可以使用您自己的数据进行训练，需要在 训练配置文档 中修改数据集读取器路径。数据格式已在相应的模型文档页面中指定。

您还可以根据配置文件中指定的数据集计算指标：

from deeppavlov import evaluate_model 
model = evaluate_model(<config_path>, download=True)

此外，还提供了与各种信使的集成，请参阅 Telegram 机器人文档页面 以及“集成”部分中的其他内容，以获取更多信息。

团队

DeepPavlov 由 MIPT 的神经网络和深度学习实验室构建和维护。

欢迎您留下关于如何改善 DeepPavlov 框架的 反馈意见。

如果您想详细了解 本文提及 的相关内容，请参阅以下文档。这些文档深入探讨了这篇文章中提及的许多主题：

原文：DeepPavlov: An open-source library for end-to-end dialogue systems and chatbots
中文：TensorFlow 公众号