导读目前采用编码器-解码器 (Encode-Decode) 结构的模型非常热门,是因为它在许多领域较其他的传统模型方法都取得了更好的结果。这种结构的模型通常将输入序列编码成一个固定长度的向量表示,对于长度较短的输入序列而言,该模型能够学习出对应合理的向量表示。然而,这种模型存在的问题在于:当输入序列非常长时,模型难以学到合理的向量表示。 在这篇博文中,我们将探索加入LSTM/RNN模型中的atte ...
Read more »

上篇博文:聊天机器人中的深度学习技术之一:导读主要从宏观上对目前聊天机器人所用到的主要技术进行了介绍。这篇博文会介绍并实现一个基于检索的模型,使用了双层Decoder的LSTM模型,通过这个模型可以实现聊天机器人。 本文涉及到的数据和代码见Github仓库地址。 基于检索模型的聊天机器人本文我们将介绍和实现一个基于检索模型的聊天机器人。检索模型所使用的回复数据通常是预先存储且知道(或定义)的数据 ...
Read more »

循环神经网络(RNN)

人们的每次思考并不都是从零开始的。比如说你在阅读这篇文章时,你基于对前面的文字的理解来理解你目前阅读到的文字,而不是每读到一个文字时,都抛弃掉前面的思考,从头开始。你的记忆是有持久性的。

传统的神经网络并不能如此,这似乎是一个主要的缺点。例如,假设你在看一场电影,你想对电影里的每一个场景进行分类。传统的神经网络不能够基于前面的已分类场景来推断接下来的场景分类。

循环神经网络(Recurrent Neural Networks)解决了这个问题。这种神经网络带有环,可以将信息持久化。

Recurrent Neural Networks have loops. -c100

Read more »

理解进程与线程进程 (Process) 是Windows系统中的一个基本概念,它包含着一个运行程序所需要的资源。进程之间是相对独立的,一个进程无法访问另一个进程的数据(除非利用分布式计算方式),一个进程运行的失败也不会影响其他进程的运行,Windows系统就是利用进程把工作划分为多个独立的区域的。进程可以理解为一个程序的基本边界。 应用程序域 (AppDomain) 是一个程序运行的逻辑区域,它可 ...
Read more »

以下内容为原文 《Deep Learning For Chatbots, Part 1 - Introduction》 的翻译,供自己学习及他人参考。 这篇博文主要概述了目前聊天机器人主要用到的技术,从宏观上进行介绍,不涉及具体的技术细节。下一篇博文:聊天机器人中的深度学习技术之二:基于检索模型的实现会介绍并实现一个基于检索的LSTM模型,通过这个模型可以实现聊天机器人。 聊天机器人 (Chat ...
Read more »