大象金服

欢迎来到我的金融界博客

博文 字体:

NLPIR语义技术助力解决文本数据挖掘难题

  [2019-02-12 11:47:40] 

  近年来,随着Internet?的迅猛发展以及人们利用信息技术生产和搜集数据能力的大幅度提高,大规模的网络文本库不断涌现。为了便于在海量文本库中搜寻、过滤、管理这些文本,基于人工智能技术的文本大数据挖掘成为人们研究的焦点。

  数据挖掘(KD)是从数据中自动抽取模型。数据挖掘包括许多步骤:从大规模数据库中(或从其他来源)取得数据;选择合适的特征属性;挑选合适的样本策略;剔除数据中不正常的数据并补足不够的部分;用恰当的降维、变换使数据挖掘过程与数据模型相适合或相匹配;辨别所得到的是否是知识则需将得到的结果信息化或可视化,然后与现有的知识相结合比较。这些步骤是从数据到知识的必由之路。每一步骤都可能是成功的关键或失败的开始。在一般的定义中数据挖掘是知识获取的一部分。

  数据挖掘技术本身就是当前数据技术发展的新领域,文本挖掘则发展历史更短。传统的信息检索技术对于海量数据的处理并不尽如人意,文本挖掘便日益重要起来,可见文本挖掘技术是从信息抽取以及相关技术领域中慢慢演化而成的。

  我国学术界正式引入文本挖掘的概念并开展针对中文的文本挖掘是从最近几年才开始的。目前我国文本挖掘研究还处于消化吸收国外相关的理论和技术与小规模实验阶段,还存在如下不足和问题:

  (1)?没有形成完整的适合中文信息处理的文本挖掘理论与技术框架。目前的中文文本挖掘研究只是在某些方面和某些狭窄的应用领域展开。在技术手段方面主要是借用国外针对英文语料的挖掘技术,没有针对汉语本身的特点,没有充分利用当前的中文信息处理与分析技术来构建针对中文文本的文本挖掘模型,限制了中文文本挖掘的进一步发展。

  (2)?中文文本的特征提取与表示大多数采用“词袋”法,“词袋”法即提取文本高词频构成特征向量来表达文本特征。这样忽略了词在文本(句子)中担当的语法和语义角色,同样也忽略了词与词之间的顺序,致使大量有用信息丢失。而且用“词袋”法处理真实中文文本数据时,特征向量的维数往往是高维的,这将使挖掘算法效率大大降低。

  (3)?知识挖掘的种类和深度有限,一般只是进行文本的分类、聚类或者信息抽取,而且针对开放语料的实验结果也不是很理想。

  在现今社会,数据挖掘技术已经可以被应用与所有的领域和行业中。在人们生活里的各个方面几乎都可以用到数据挖掘技术数据挖掘技术不但给我们的日常生活带来了巨大的改变和影响,并且这种影响还深深的改变着我们的生活方式。在各个领域的应用也会越来越广泛和深入,相关的研究也会越来越全面和深入,综合应用数据挖掘技术和人工智能技术,为各个行业提供更多帮助。

微信朋友圈 生成长微博
阅读(76)收藏(0)
网友评论 已有0条评论
500/500

个人资料

博客等级:3

博客积分:2680

总访问量:10173

文章总数:67

实盘直播

网站导航| 关于金融界| 广告服务| 产品与服务| 合作伙伴| 法律声明| 人员招聘| 征稿启事| 意见征集| 联系我们| About Us

Copyright © JRJ.COM Inc. All Rights Reserved. 版权声明