【阿里云天池算法挑战赛】零基础入门NLP - 新闻文本分类-Day2-数据读取与数据分析

 一、赛题解析

【阿里云天池算法挑战赛】零基础入门NLP - 新闻文本分类-Day1-赛题理解_202xxx的博客-CSDN博客

二、数据读取

下载完成数据后推荐使用anaconda，python3.8进行数据读取与模型训练

首先安装需要用到的模块包：

pip版本：

pip添加国内源，增加下载速度_202xxx的博客-CSDN博客

pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple

conda版本：

新建conda虚拟环境：

conda create --name py38 python=3.8
conda activate py38

conda添加国内源_202xxx的博客-CSDN博客

conda install pandas

用读取数据，train_dir为训练集的存储路径，nrows为读取数据的行数

import pandas as pd
train_dir = '../data/train_set.csv'
nrows=None
train_df = pd.read_csv(train_dir, sep='\t', nrows=nrows)

查看前5条新闻数据

train_df.head()

三、数据分析

句子长度分布

统计每篇新闻的长度（词的数量）

import matplotlib.pyplot as plt
train_df['text_len'] = train_df['text'].apply(lambda x: len(x.split(' ')))
print(train_df['text_len'].describe())

用describe()函数得到新闻长度的统计特征值 

count    200000.000000
mean        907.207110
std         996.029036
min           2.000000
25%         374.000000
50%         676.000000
75%        1131.000000
max       57921.000000
Name: text_len, dtype: float64

得到训练数据新闻总数为200000篇，其中最短的新闻字数为2，最长的新闻字数为57921，平均紫薯为907.2

绘制句子长度的直方图：

_ = plt.hist(train_df['text_len'], bins=200)
plt.xlabel('Text char count')
plt.title("Histogram of char count")

 可见大部分句子长度都在6000以内

新闻类别分布

绘制新闻类别标签的统计直方图

train_df['label'].value_counts().astype("object").plot(kind='bar')
plt.title('News class count')
plt.xlabel("category")

在数据集中标签的对应的关系如下：{'科技': 0, '股票': 1, '体育': 2, '娱乐': 3, '时政': 4, '社会': 5, '教育': 6, '财经': 7, '家居': 8, '游戏': 9, '房产': 10, '时尚': 11, '彩票': 12, '星座': 13} 

可以看出数量最多的新闻为科技类，最少的为星座类。

字符分布统计

将训练数据所有字符进行合并，统计出每个字符出现的频数

from collections import Counter
all_lines = ' '.join(list(train_df['text']))
word_count = Counter(all_lines.split(" "))
word_count = sorted(word_count.items(), key=lambda d:d[1], reverse = True)

print(len(word_count))

print(word_count[0])

print(word_count[-1])

可以得到，训练数据用到的字符数为6869个，其中用的最多的字符编号为“3750”，用了748万次，最少字符编号为“3133”，用了2次：

6869
('3750', 7482224)
('3133', 1)

现对每篇文章字符进行去重再统计

from collections import Counter
train_df['text_unique'] = train_df['text'].apply(lambda x: ' '.join(list(set(x.split(' ')))))
all_lines = ' '.join(list(train_df['text_unique']))
word_count = Counter(all_lines.split(" "))
word_count = sorted(word_count.items(), key=lambda d:int(d[1]), reverse = True)

print(word_count[0])

print(word_count[1])

print(word_count[2])

可以得到用到编号“3750”的文章数量有197997篇，总文章数量为200000篇，因此可以猜测其为标点符号。

('3750', 197997)
('900', 197653)
('648', 191975)

四、作业思路

1. 假设字符3750，字符900和字符648是句子的标点符号，请分析赛题每篇新闻平均由多少个句子构成？

答：分别统计每篇新闻中包含有字符3750，字符900和字符648的数量，每篇新闻的句子数量=标点符号出现的数量，因此求平均可以得到每篇新闻平均由多少个句子构成。等价于已知道200000篇新闻中出现字符3750的数量为7482224次，字符900的数量为3262544，字符648的数量为4924890。求平均得到每篇新闻的句子数量为78.

#作业1
from collections import Counter
all_lines = ' '.join(list(train_df['text']))
word_count = Counter(all_lines.split(" "))

print(word_count["3750"])
print(word_count["900"])
print(word_count["648"])
print((word_count["3750"] + word_count["900"] + word_count["648"])/train_df.shape[0])

2.统计每类新闻中出现次数最多的字符？

答：根据label对df中的text新闻进行分组拼接，分别计算每个label中的新闻最大字符和数量

train_df_label = train_df[["label", "text"]].groupby("label").apply(lambda x:" ".join(x["text"])).reset_index()
train_df_label.columns = [["label", "text"]]
from collections import Counter
train_df_label['text_max'] = train_df_label["text"].apply(lambda x:sorted(Counter(x["text"].split(" ")).items(), key=lambda d:int(d[1]), reverse = True)[0], axis = 1)
train_df_label

五、总结

根据不同的维度，分别提取新闻的特征，为模型训练作准备。

六、Reference

tianchi_competition/零基础入门NLP - 新闻文本分类 at main · RxxxxR/tianchi_competition · GitHub

Datawhale零基础入门NLP赛事 - Task2 数据读取与数据分析-天池实验室-实时在线的数据分析协作工具，享受免费计算资源