深度学习是一项巨大又杂乱的工程，在树立深度学习模型时，走进死胡同被逼从头再来似乎是常事。
近来，Semantics3网站的联合创始人Govind Chandrasekhar在官方博客上宣布了一篇文章，叙述了程序员在处理深度学习问题时的应该自问的五个问题。
Semantics3是一家2012年树立的数据科学草创公司，它创立了一个数据库，盯梢产品在网上的出售进程，为零售商供给数据。关于Govind Chandrasekhar写的这篇文章如下：
研讨数据科学是一件悲喜交加的工作。喜在当你偶尔的发现提高了算法的功用，或许让你具有耐久的振奋感;悲在你会常常发现自己站在一条单行道的止境，苦苦探究究竟哪里出了问题。
在这篇文章里，我将胪陈走过许多条深度学习绝路后，得到的五个经验。在处理新问题或新办法前，我都会用想想下面这五个问题。
问题一：
先不论神经网络，一个没有先验知识、只受过你的数据集练习的人能处理这个问题吗?
这个问题对处理监督学习的窘境尤为受用——这些问题的典型条件是，一个小的高质量数据集(比方N个实体)能够协助你的模型近似得到一个潜在的功用，之后泛化到包括1000N个实体的整个数据集。
这些办法的优点在于，人类只需求研讨很小部分数据就能够了，机器会学会把它运用到大规模的示例中。
可是在实践国际中，问题不总是含有能够被优先辨认的形式。人们使用外部知识来处理的认知应战比咱们意识到的还要多，这常常导致咱们过错地希望咱们的算法在没有知识的状况下能够处理相同的应战。
举个比方吧，看下面这三种描绘：
Pets First Arkansas Dog Jersey, X-Small, Pink
Pets First Arizona Dog Jersey, X-Small, Pink
Pets First AR Dog Jersey, X-Small, Pink
这三组描绘中，有两个表明的意义相同，你能找出那个意义不同的吗?
大多数美国人都不难处理这个问题，由于AR=Arkansas，AR!=Arizona是个知识。可是，一个对美国并不了解的人，或许就不知道答案是什么了。
你会发现，你创立的神经网络也没有才能处理这个问题，由于在言语使用这方面，没有特定的缩写规矩能够供神经网络去仿照。当然指定了Arkansas等同于AR的状况在外。
相似这样的问题还有许多(或许在一开端你并不了解这些问题)，而且它们在实践工作中还常常出现。回头审视之前制作的神经网络，而且清晰需求弥补的新知识是十分困难的。所以，在构建神经网络时，要及时跳出自己的思想定式。
问题二：
你构建的神经网络能通过正确的视角了解你的数据吗?
假定区域的缩写始终是姓名的前两个字母，一起这个缩写不会重复。那么，咱们再来用不同的示例回看刚刚的匹配问题：
“Pets First Arkansas Dog Jersey, X-Small”
“Pets First Arkansas Dog Jersey, Extra-Small”
“Pets First AR Dog Jersey, X-Small”
“Pets First Arkansas Dog Jersey, Large”
“Pets First MA Dog Jersey, Large”
你的方针是树立一个神经网络用于辨认1、2、3等价而4、5不同。这个使命是在检测神经网络对“巨细”这个概念了解——它们是否知道X-Small=Extra-Small ?也是在检测它对缩写的了解才能，比方Arkansas=ARkansas=AR由于前两个字母相同，而Arkansas不等于MA，等等。
你或许会通过Word2Vec来构建一个嵌入空间，将 X-Small映射为Extra-Small来处理这个问题。
尽管这种办法是一个规范解法，但或许你会阻碍神经网络找到你想让它学习的内容。假设把AR换成小写的ar，对人类来说就比较难辨认了，咱们会纠结ar究竟指的的Arizona仍是are。
相同，假设你挑选树立词汇的嵌入空间，有效地将每一个单词映射到仅有的符号，那么你就掐断了神经网络了解组成字符“ARkansans”的时机。
这种含糊网络问题在你构建网络时常常出现，尤其是在树立考虑不同类型的输入信号的模型时。
问题三：
你的网络是在钻你练习集里的牛角尖，仍是帮你处理手头的问题?
假定你正在构建一个二分的图画分类器，来检查文档中的文本是计算机打印的仍是手写的。为了构建计算机打印文本的练习数据集，你用电脑上的软件直接生成了带文字的jpeg图片;为了获取手写文本的样本，你把这些jpeg图片发送到做数据标示的公司，让他们把这些图片转录成文字，并将扫描成jpeg文件。
之后，就能够运转你的分类器了。不要快乐得太早，尽管现在它的练习准确率现已超过了99%，但当咱们用实践场景来测验时，分类器体现并不好。这是为什么呢?
你构建的神经网络或许带有简略的指示性误差，扫描手写的图片或许带有灰白的布景色，而软件生成的JPEG是纯白色的布景。你的神经网络为了处理你交给它的问题，或许并没有去剖析内容、上下文、形状和色彩等要素，而是只抓住了布景色的这一点细小不同。
需求记住的是，你的神经网络永久都不会了解你的大方向，它所做的便是根据手头的方针和数据，以最简略的方法赶快给出一个答案。
完全检查你的数据集，消除可供神经网络钻牛角尖的特征，能够节省本钱和时刻。
问题四：
你的网络有兄弟问题能够为它供给支撑吗?
在特定范畴的问题上，比如GloVe和Inception之类的预先练习模型或许并不好用。这将迫使你开端随机初始化神经网络，也就意味着或许通过好几天的练习，你还不知道自己的模型作用怎么。
你的模型或许还面临着一个问题：数据集太小了或许质量太差了，即便通过旋转、变形等手法扩大之后，也仍是达不到练习的要求。
在这种状况下，寻觅它的兄弟问题或许是个处理办法。但要留意，这些问题需求契合两个规范：
它们不能和你手头的数据集有同质量和数量的问题。
它们的神经网络需求有一组层，能捕捉到你的模型所需的概念。
问题五：
你的网络是做不到仍是懒?假设它懒，怎么强逼它学习?
假设你是一个绘画外行，让你猜想三幅贵重的绘画著作价格。有三个可用信息可供你检查——著作的年限、著作十年前的价格和这幅画的高分辨率图画。
在没有通过前期练习的状况下，让你完结这个使命，给出尽或许正确的答案，你会怎么办?
你是会报名参与一个为期两月的绘画课程，来学习杂乱的绘画技艺，仍是会考虑用著作的年限和十年前的价格做一个方程来猜想价格?
即便你能意识到抱负的价格方程式包括这三种信息的组合，但你仍是很乐意承受一个懒散的选项：、用两种信息来进行猜测。尽管这个选项不是最优解，但也是在能承受规模的。你会更倾向只依靠简单了解和表达的信息。
在用机器学习处理实在问题时，假设你的模型有多个输入信息，它们的杂乱度差异很大时，也会遇到这个问题。对这样的模型进行练习，几个周期之后，你或许会发现你的模型如同现已挨近完结，而且回绝进一步学习。
在这种状况下，最好的处理办法是去掉一个输入项，看全体目标的改变。假设一个输入项和成果相关，去掉了之后却对成果毫无影响，你就应该考虑单独用这个输入项来练习模型，当模型学会了根据这个输入项做判别之后，再逐步将其他的信息也参加进来。
