如果问统计学模型和机器学习模型有什么交集，那么高斯过程作为一个兼具理论与实际应用的算法自然首当其冲。直接百度下高斯过程自然能看到许多通俗的解释，比如：

高斯过程指的是一组随机变量的集合，这个集合里面的任意有限个随机变量都服从联合正态分布 （百度百科）

受试者工作特性（ROC）曲线是最常见的评价模型预测能力的方式之一，曲面下面积（AUC）越高则模型表现越好。除了 ROC 以外，还有一个相对少见但有时非常重要的评价方式，就是精度-召回率曲线（PRC），虽然同样是曲面下面积越高越好，其和 ROC 所考虑的评价指标不同，除了样子不同外，AUC 往往也不同。尽管在任意时刻使用 ROC 曲线评价模型无可厚非，但当数据不平衡时（常指阴性样本远大于阳性样本），ROC 往往会高估模型的质量，此时用 PRC 更为妥当。这种数据不平衡十分常见，比如临床中大多数受试者（以下称病人）是健康的，无论用哪种方法检测基本都呈阴性；又比如在药物设计领域，大多数小分子不会与蛋白相结合产生药效。

子结构搜索在化学信息学中非常常见，利用这个算法，可以从数据库中检索到感兴趣的化合物、可以用来构建基于片段的 QSAR 模型、用来检查化合物中是否存在特定（警示）子结构、甚至用来匹配化学反应规则等等。由于我们可以将化合物分子看成是一个由点和边构成的图（Graph），子结构搜索就成了子图识别的过程。因此我们需要使用一些子图识别的算法来解决子结构搜索的问题，我们一般把子结构认为问问询对象（query），把所搜索的化合物看做目标对象（target）。而其本质又则是图同构（graph isomorphism）问题，即你怎么判断两个图的拓扑结构完全一模一样。

上一章中介绍了 scikit-learn 实现决策树时涉及的几个类以及着重介绍 split 的算法细节。本篇着重介绍 criterion 的算法细节，即如何（快速）计算特征规则的信息增益值。一般的教程在实现决策树时主要考虑到代码的易读性，但在真实应用环境或者说像 scikit-learn 这样的库之所以广为使用，其算法的高效性也是令我们值得学习的地方。另外主流上决策树模型一般用在分类模型，那么回归模型我们该如何“改变”信息增益的计算？公式给出的定义是一回事，但实际操作起来则是另一回事。比如：样本的权重如何体现在信息熵的计算之中、如何避免数组的创建、如何减少冗余的计算等等。

决策树是非常经典的机器学习算法，单独使用时决策树仍然是至今少数可以解释的模型之一，许多决策树一同构建的整体模型，如经典的随机森林模型仍然是目前广泛使用的“传统机器学习算法”，其在化学信息学的出场频率绝不逊色于支持向量机以及神经网络这种较为复杂的模型。决策树的理论基础以及大致的算法其实不难理解，但若我们仔细关注 scikit-learn 的原码时，就会发现那些开发者在一些细节上进行了很多优化，使得模型训练更加快，也支持许多超参供选择。本篇先介绍 scikit-learn 中实现决策树所需要用到的重要的类，然后着重介绍 Splitter 的作用以及算法细节。

最近的一个项目是研究钙离子信号强度的变化波形。研究方法是得到这些波的一些重要参数，比如波峰的数量、周期等。如何让计算机算法识别我们人眼一看便知的波峰则是第一个需要解决的问题。而且我们还让要让计算机知道哪些是“真正”的波峰，哪些是噪音导致的“小波”。简单的说涉及两个问题：1.波峰的本质是什么？2.真正的波和噪音的波的区别到底是什么？

SMILES 是化学信息学中最常见的分子形式，其因为可读性强、体积小且“表格友好”而广受应用。但由于同一个分子可以有多种不同的 SMILES 形式导致我们不能将它用作化合物的匹配与去重操作。于是将 SMILES 标准化（Canonicalise）的需求就产生，如果可以通过某个算法保证一个化合物只会有一种 SMILES 自然可以增加 SMILES 在化学信息学中的作用。其实不难想象，SMILES 之所以可以出现不同是因为我们可以随意修改原子的“出场顺序”以得到不同的 SMILES，比如苯甲酸，我们可以先写苯环再写羧基，也可以先写羧基再写苯环，即使先写苯环也可以考虑以不同的原子为起点，可以顺时针或者逆时针。所以如果我们能通过某个算法给这些原子排序，谁序号大则优先出场，SMILES 自然就可以保证唯一。

由于大多数化学信息学的应用模型（如 QSAR）都不考虑化合物的手性信息，因此大家在构建模型时也常常有意或无意地忽视它，甚至在建模之前直接将化合物的手性信息去掉。该过程无可厚非，毕竟既然对应异构体的分子指纹如果是一样的，若其活性也一样就没有必要作为重复数据出现在训练或测试集中，若其活性有很大
区别，则不仅无法利用，反而增加模型训练的难度，试想同一个 X 怎么能得到两个 Y 呢？

使用统计学或机器学习方法构建的 QSAR（定量构效关系）模型需要定义应用域才能使模型更有意义。一来这符合 OECD 对 QSAR 的指导原则，二来从机器学习角度应用域的设定可以防止因为待测试样本的特征范围与训练集样本区别太大而导致的预测偏差过大的情况，就像用亚洲人种做的调查所构建的模型可能并不适合其他人种。从另一个角度，若通过合适的应用域可以在评估前将不适合的化合物样本踢出在外，便同样是在提高模型的准确性。当然此时也得引入另一个评价指标，即该应用域的范围有多大，我们并不希望一个模型虽然很好但仅适用于很小的化合物空间。

相比于传统的 RNN 方法构建的翻译模型，使用 Google 提出的 multi-head self attention 方法可以更好的捕捉长距离的词与语词之间的关系。北大裴剑锋课题组最近在 arXiv 发布了其利用该方法应用于逆合成的研究，本问尝试利用该论文提供的先做进行重复试验。虽然谷歌已经提供了“非官方”的 TensorFlow 扩展 tensor2tensor 以实现这种 Transformer 模型的构建，本文则基于一个 NLP 社区贡献者提供的 Pytorch 版本。

写科技论文往往是大家比较头痛的一件事情，做实验已经很辛苦，可把这些实验整理成一篇完整的稿子也一样特别痛苦，期间充满着纠结、心累与无奈。下面根据我写论文的经验，给大家分享下我写论文的一些心得。也许不适合所有情况，也许也不是最佳的方式，但不妨先根据下面的经验进行尝试，避免自己走一些弯路。

写论文的顺序

最初写论文时都是从头开始写，即背景、方法、结果、讨论、结论的顺序，最后再写摘要。虽然这种方法并非不行，但根据自己这些年来写文章的体验，这种从头写的方法其实并不值得推荐，下面给出我个人的一些建议。

扩展连通性指纹（Extended Connectivity Fingerprints，ECFP）是当下最广受使用用于构建化合物
定量构效关系（QSAR）模型的分子指纹。在 RDKit 中，ECFP 指纹又叫 Morgan 指纹，正因为 ECFP
的核心想法来自于 Morgan 算法，该算法可以为每个原子分配一个唯一的识别符，该标识符会经过几轮迭代。

在药物筛选过程中，我们时常面临一个问题：我有太多有意思的分子，但资源或预算有限，我该如何挑选最合适的分子去进一步测活等？如果全选择理论最优（如对接打分最高、QSAR 预测结果最好等），那么很有可能由于缺乏多样性，测试结果差不多，意义不大。此时我们可以通过聚类的方法减少待测样本的同时尽可能大的保留化合物的多样性。K-means 是一个古老却又最常用的一种聚类方法，速度非常快。Patrick Walter 博士写了一篇博客介绍了使用 K-means 聚类方法的环境、目的与具体实现方法。由于谷歌的 Blogspot 在国内无法正常访问，我就在下面附上原文。Patrick 将它的工具放在了 Github，我们可以直接使用命令行对化合物进行聚类。

在药物设计、化学信息学领域，深度学习并不一定能比传统机器学习领域有更好的表现，尤其是在学术界，由于有标签的数据很少，数据噪音较大，往往用深度学习只会导致过拟合降低模型的预测能力。但是，生成学习用于药物设计却完全发挥了当前深度神经网络的优势。虽然有标签的数据很少，但是药物设计数据库诸如CHEMBL不乏质量较高的“化合物信息”。这里说的质量较高指的是他们的类药性较强，往往此类数据库中的化合物都是早期药物设计中已经合成出且具有一定生物活性的分子。这些化合物可以统统拿来构建一个模型用于生成新的小分子。

之前本博客的图床都采用七牛云，可惜现在可能由于国家的管控，必须使用备案的域名才可以绑定，
否则只给一个为期30天的测试域名，显然是不能用这个域名作为图床的，无奈之下只能另辟蹊径。

网上看到一些介绍 Hexo 上传图片的方法，比如可以使用本身的插件post_asset_folder，
可我仍然偏好使用图床，可能觉得源码就应该是纯粹的源码吧。

当统计大文件的行数时，除了要考虑便捷性，自然也会想到要考虑其计算性能（主要是时间尺度）。网上搜了下有很多种方法可以实现，那么到底应该选择哪种？首先明确方向，需要统计结果的环境是python，那么除了使用python本身的方法外，利用bash也是个很不错的选择，毕竟bash里有很多快速处理文本的工具。

无意中看到一个面试题，号称是Facebook出的（出处）

You randomly draw a coin from 100 coins — 1 unfair coin (head-head), 99 fair coins (head-tail) and roll it 10 times. If the result is 10 heads, what is the probability that the coin is unfair?

说到Nodejs下的图片处理可能第一想到就是gm，gm底层可以是GraphicsMagic（其实也是gm的由来），也可以是ImageMagick（其实GraphicsMagic本身也是从ImageMagic分割而来，现在独立了）。虽然这两个工具本身都不是js实现，所以需要额外安装，不过此工具非常常见，可能已经预装在linux系统下，而且安装也很方便，所以不用因为看到是“第三方”就放弃。虽然说这两个软件都只是底层，无需关心，可笔者在实践中发现必须得用GraphicsMagic，所以这里就只介绍GraphicsMagics的安装与使用。

flask是个轻量级的网站框架，如果网站仅仅是几个简单的页面与功能接口的话，使用它比其他诸如django等框架要方便很多。然而当网站构建好后，需要部署到服务器，此时需要另外两个工具:用于让python与网站服务器相连的uwsgi，以及用于自动启动并守护的supervisor。

flask和uwsgi都支持python2和python3，但supervisor只支持python2，所以如果网站app一定要用python3的话则一定会出现他们装在不同的虚拟环境下。不过不怕，这是可以解决的。

摘要：信息增益一般用在数据挖掘中的决策树方法领域，它是指当前熵与两个新群组经加权平均后的熵之间的差值。
在化学信息学中，我们可以利用信息增益判断分子指纹的每个子结构对分子活性的影响程度。
主成分分析是数理统计中的一种技术，意在降低变量的维度，防止过拟合现象以提高模型的准确度。
在化学信息学中，我们可以利用主成分分析技术解决分子描述符太多且可能存在相关性的问题。
本文简单介绍上述两种方法的原理，并描述他们在化学信息学中的具体应用。