NLP 18年规划

内容在17年经过头条的爆发后，内容在18年将是个风口；各大互联生态拉新用户的手段已经接近黔驴技穷了，在传统上无法指数增长用户，留下两条路径：一是收购其他平台，补充用户；而是做好已有的用户留存率。而内容平台就是其中之一。 各个公司在AI的应用都瞄准精简人力，客服、问答、审核等密集型

nlp--generate text document

分词隐马尔可夫，从字的状态中训练得到概率，可用于其他识别，如地名、人名等；条件随机场是搭配与提取用的有效方法；序列模型，RNN,LSTM是神经网络模型，从N-gram的不同序列中训练得到预测的概率，这里的预测可以是字、词、句子等；词性tags的分析，可引申出组块的抽取；句法和依存

慢慢长大

平躺着睡觉会出现身体想翻身或手或脚动一下，很清晰地知道脑子里发出了正确了指令，传到脚或手却突然失去动力，指令瞬间弥散，脑子里不断重复手动下，脚动下，然而却一点动静也没有。感觉脚和手被千斤压住。反复，反复，反复，终于动了下，才发现并没有被压住，脑子发出的指令也是正确的， 原来我是个

text generate by sequence model

text generate by statistic

攻击与异常检测

机器学习在web攻击检测中的应用实践 卷积

spark-ml classify

spark-2.1版本后，提供了很多的机器学习模块，使得更方便去构建自己的模型。也新出了DataFrame数据存储结构—与结构化sql表的形式类似，让样本数据更容易操作，代码也更简洁。另外，不管是旧版本还是新版本，都提供了两种方式训练，pipeline类同于流方式训练，可以在离线

nlp备份集合

自然语言处理（nlp）在内容中起着关键作用，以下是在学习和实践应用中涉及到的一些点，记录下方便查询和修缮，其中的缺陷或者不足欢迎邮件一起探讨研究，其中涉及的开源技术如需使用到，请遵照它们各自的开源技术协议。 nlp开端语言是文字的组织，从字、词、短语、句子、段落、摘要、篇章等粒度

tensorflow-学习笔记集合

checpoint，每一步图参数的保存； 在训练过程中，将会创建很多checkpoints，每一步的训练后得到一个参数，就是global_step， global_step初始化为0，不需要训练和优化该参数，会随着训练而自增。self . global_step = tf . V

spark笔记

1234val s = JSON.parseFull("[{\"a\":1,\"b\":2}]").getOrElse(List()).asInstanceOf[List[Map[String,Object]]]println(s.apply(0))输出：Ma