您好、欢迎来到现金彩票网!
当前位置:秒速快3 > 数据挖掘 >

数据挖掘工程师一般都做什么?

发布时间:2019-07-17 07:32 来源:未知 编辑:admin

  可选中1个或多个下面的关键词,搜索相关资料。也可直接点“搜索资料”搜索整个问题。

  数据挖掘,从字面上理解,就是在数据中找到有用的东西,哪些东西有用就要看具体的业务目标了。最简单的就是统计应用了,比如电商数据,如淘宝统计过哪个省购买泳衣最多、哪个省的女生胸罩最大等,进一步,可以基于用户的浏览、点击、收藏、购买等行为推断用户的年龄、性别、购买能力、爱好等能表示一个人的画像,就相当于用这些挖掘出来的属性来刻画一个人,这些还是最简单的东西,更深层次的比如预测(股票预测),但是比较难。

  数据挖掘往往与机器学习离不开。比如分类、聚类、关联规则挖掘、个性化推荐、预测、神经网络、深度学习等。

  数据挖掘 = 业务知识 + 自然语言处理技术( NLP ) + 计算机视觉技术( CV ) + 机器学习 / 深度学习( ML/DL )

  ( 1 )其中业务知识具体指的是个性化推荐,计算广告,搜索,互联网金融等; NLP , CV 分别是处理文本,图像视频数据的领域技术,可以理解为是将非结构化数据提取转换成结构化数据;最后的ml/dl 技术则是属于模型学习理论;

  ( 2 )在选择岗位时,各个公司都没有一套标准的称呼,但是所做的事情无非 2 个大方向,一种是主要钻研某个领域的技术,比如自然语言处理工程师,计算机视觉工程师,机器学习工程师等;一种是将各种领域技术应用到业务场景中去解决业务需求,比如数据挖掘工程师,推荐系统工程师等;具体的称呼不重要,重要的是平时的工作内容;

  PS :在互联网行业,数据挖掘相关技术应用比较成功的主要是推荐以及计算广告领域,而其中涉及到的数据主要也是文本,所以 NLP 技术相对来讲比较重要,至于 CV 技术主要还是在人工智能领域(无人车,人脸识别等)应用较多,本人了解有限,相关的描述会较少;

  ( 1 )编程基础:需要掌握一大一小两门语言,大的指 C++ 或者 Java ,小的指 Python 或者 shell 脚本;需要掌握基本的数据库语言;

  ( 3 )数据结构与算法分析基础:掌握常见的数据结构以及操作(线性表,队,列,字符串,树,图等),掌握常见的计算机算法(排序算法,查找算法,动态规划,递归等);

  建议:这些是必须要了解的,即使没法做到基础扎实,起码也要掌握每门学科的理论体系,涉及到相应知识点时通过查阅资料可以做到无障碍理解;

  ( 2 )机器学习 / 深度学习:掌握 常见的机器学习模型(线性回归,逻辑回归, SVM ,感知机;决策树,随机森林, GBDT , XGBoost ;贝叶斯, KNN , K-means , EM 等);掌握常见的机器学习理论(过拟合问题,交叉验证问题,模型选择问题,模型融合问题等);掌握常见的深度学习模型( CNN ,RNN 等);

  推荐书籍:《统计学习方法》《机器学习》《机器学习实战》《 UFLDL 》

  ( 2 )通过参加数据挖掘竞赛熟悉相关业务场景,常见的比赛有 Kaggle ,阿里天池, datacastle 等。

  想要学习数据挖掘的话可以看一下这篇文章《AI时代就业指南:数据挖掘入门与求职》

  1、根据自己对行业,以及公司业务的了解,独自承担复杂分析任务,并形成分析报告;

  2、相关分析方向包括:用户行为分析、广告点击分析,业务逻辑相关以及竞争环境相关;

  4、精通SPSS Clementine/SAS EM等各类型数据分析工具,能制作专业分析报告;

  5、有金融、通信或互联网某一行业实际数据挖掘项目经验,并对此行业业务有深刻认识;

  6、对互联网领域有热情,较强的学习及人际技巧、影响说服能力,喜欢有挑战的工作。

  知道合伙人软件行家采纳数:529获赞数:3042毕业于南京大学,硕士学位。10年软件研发经验。现任信息系统架构师。向TA提问展开全部数据挖掘指的是在长期积累的数据中分析和挖掘有价值的信息以供决策。

  这个概念主要还是因为ERP(企业资源计划)和OA(办公自动化)软件系统的广泛使用和发展的基础上出现的一个概念。因为企业在使用这些软件系统的过程中,虽然运营的状态和管理以及成本有很大的节约,大大提高了企业的运营效率,可是这些系统却只能对企业的状态和管理进行一个状态性的记录,对长期记录下来的这些数据的分析和在挖掘能力是非常有限的,虽然众多软件供应商想出各种办法来利用其这些数据,比如出各种报表甚至自定义的报表,可是仍然受制于ERP和OA本身设计的缺陷,因为它们原本就不是设计来做数据分析的。

  成都加米谷大数据科技有限公司是一家专注于大数据人才培养的机构。公司由来自华为、京东、星环、勤智等国内知名企业的多位技术大牛联合创办。面向社会提供大数据、人工智能等前沿技术的培训业务。1、运用数据挖掘、统计学习的理论和方法,深入挖掘和分析数据,并设计实现相应的算法;

  3、对用户与客户的行为进行分析,负责用户与客户行为分析的目标确定、数据采集、分析模型设计;

http://talkingwithjon.com/shujuwajue/658.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有