0数据准备分析

分类任务正负样本共计6W;

数据下载

https://github.com/SophonPlus/ChineseNlpCorpus/raw/master/datasets/online_shopping_10_cats/online_shopping_10_cats.zip

样本的分布

    正负样本中评论字段的长度 ,超过500的都很少,可以直接截断;

  1. 处理的时候长文本截断;
  2. 可以前面取一点,中间取,尾巴取;

 下载停用词:备用

import nltk
from nltk.corpus import stopwords

# 下载停用词资源
nltk.download(‘stopwords‘)
# 获取中文停用词列表
stopwords_cn_list = stopwords.words(‘chinese’)

原文地址:https://blog.csdn.net/qq_28611929/article/details/134667713

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。

如若转载,请注明出处:http://www.7code.cn/show_4983.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱:suwngjj01@126.com进行投诉反馈,一经查实,立即删除

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注