机器学习

浅入浅出:PageRank算法 使用 TextRank 算法为文本生成关键字和摘要 基于物品的协同过滤 如何使用MapReduce实现基于物品的协同过滤(1) 如何使用MapReduce实现基于物品的协同过滤(2) 浅入浅出:K近邻算法 使用mahout下的朴素贝叶斯分类器对新闻分类 使用Affinity Propagation进行聚类 K-medoids聚类 矩阵分解在推荐系统中的应用:NMF和经典SVD实战 使用特征递归消除筛选特征 如何分配权重 比较NMF、PCA和VQ 方差和协方差 基于SVD的协同过滤 逻辑斯谛回归代码实现 隐语义模型和NMF(非负矩阵分解) 使用PCA处理MNIST数据集 使用GBDT选取特征 基于贝叶斯的文本分类系统的数据库设计 在hadoop1.2.1上安装mahout 0.9 Hadoop 2.4 实现Kmeans聚类算法 在Iris数据集上对比PCA、LDA、NMF 基于贝叶斯的文本分类实战 单层决策树 Logistic regression(逻辑斯蒂回归) 基于用户的协同过滤 词袋模型与文档-词矩阵 如何实现拼音与汉字的互相转换 梯度下降法 如何判定相似度 MovieLens数据集介绍 基于KNN的文本分类实战 Jasper文本分类系列博客阅读摘录 使用 Mean Shift进行聚类 朴素贝叶斯的三个常用模型:高斯、多项式、伯努利 使用决策树处理iris数据集 浅入浅出:从Kmeans到Kmeans++ 如何持久化scikit-learn中训练好的模型 浅入浅出:DBSCAN聚类算法(1) 浅入浅出:DBSCAN聚类算法(2) 2015阿里移动推荐算法比赛第一赛季总结 爬山算法 使用朴素贝叶斯分类器划分邮件 层次聚类 基于MapReduce的频繁项集挖掘 搜狗实体关系提取比赛

基于贝叶斯的文本分类实战


#机器学习


2015-03-31

本文介绍如何使用scikit-learn工具包下的贝叶斯工具进行文本分类。

生成数据集

数据集是有8个分类的文本数据集,使用了结巴分词对每个文本分词,每个单词当作特征,再利用二元词串构造更多特征,然后去掉停用词,去掉出现次数太多和太少的特征,得到了19630个特征。取1998个样本用于训练,509个用于测试。基于 词袋模型(词袋模型与文档-词矩阵) 的思路将每个文本转换为向量,训练集和测试集分别转换为矩阵,并用python numpy模块将其保存为npy格式。这个预处理后的数据集保存在了https://github.com/letiantian/dataset-for-classifying

关于贝叶斯

使用朴素贝叶斯分类器划分邮件 朴素贝叶斯的三个常用模型:高斯、多项式、伯努利

导入数据集

https://github.com/letiantian/dataset 下载text-classification.7z,解压后导入数据:

$ ls
test_data.npy  test_labels.npy  training_data.npy  training_labels.npy
$ ipython
>>> import numpy as np
>>> training_data = np.load("training_data.npy")
>>> training_data.shape
(1998, 19630)
>>> training_labels = np.load("training_labels.npy")
>>> training_labels
array([6, 6, 6, ..., 2, 2, 2])
>>> training_labels.shape
(1998,)
>>> test_data = np.load("test_data.npy")
>>> test_data.shape
(509, 19630)
>>> test_labels = np.load("test_labels.npy")
>>> test_labels.shape
(509,)

使用多项式贝叶斯

>>> from sklearn.naive_bayes import MultinomialNB
>>> clf =MultinomialNB()
>>> clf.fit(training_data, training_labels)  # 训练模型
MultinomialNB(alpha=1.0, class_prior=None, fit_prior=True)
>>> predict_labels = clf.predict(test_data)  # 预测训练集
>>> sum(predict_labels == test_labels)       # 预测对了几个?
454
>>> len(predict_labels)                      # 训练样本个数
509
>>> 454./509                                 # 正确率
0.8919449901768173                           # 效果不错
>>> from sklearn.metrics import confusion_matrix 
>>> confusion_matrix(test_labels, predict_labels)  # 混淆矩阵
array([[ 39,   0,   0,   1,   0,   1,   0,   0], 
       [  0,  32,   1,   0,   0,   4,   0,   1],
       [  0,   0,  50,   0,   0,   8,   0,   4],
       [  0,   0,   1,  44,   0,  10,   0,   0],
       [  1,   0,   0,   0,  66,   0,   0,   1],
       [  2,   2,   1,   6,   1, 144,   1,   1],
       [  0,   0,   0,   0,   0,   2,  25,   0],
       [  0,   0,   1,   2,   2,   1,   0,  54]])

使用伯努利贝叶斯

>>> from sklearn.naive_bayes import BernoulliNB
>>> clf2 = BernoulliNB()
>>> clf2.fit(training_data, training_labels)  # 训练模型
BernoulliNB(alpha=1.0, binarize=0.0, class_prior=None, fit_prior=True)
>>> predict_labels = clf2.predict(test_data)  # 预测训练集
>>> sum(predict_labels == test_labels)        # 预测对了几个?
387
>>> 387./509                                  # 正确率
0.7603143418467584

这个和下面的效果是一样的:

>>> clf2 = BernoulliNB()
>>> clf2.fit(training_data>0, training_labels)
BernoulliNB(alpha=1.0, binarize=0.0, class_prior=None, fit_prior=True)
>>> predict_labels = clf2.predict(test_data>0)
>>> sum(predict_labels == test_labels)
387

使用高斯贝叶斯

>>> from sklearn.naive_bayes import GaussianNB
>>> clf3 = GaussianNB()
>>> clf3.fit(training_data, training_labels)   # 训练模型
GaussianNB()
>>> predict_labels = clf3.predict(test_data)   # 预测训练集
>>> sum(predict_labels == test_labels)         # 预测对了几个?
375
>>> 375./509                                   # 正确率
0.7367387033398821

( 本文完 )