IDMER：给数据相关研究生的建议

关于数据挖掘方面的研究，我原来也走过一些弯路。其实从数据挖掘的起源可以发现，它并不是一门崭新的科学，而是综合了统计分析、机器学习、人工智能、数据库等诸多方面的研究成果而成，同时与专家系统、知识管理等研究方向不同的是，数据挖掘更侧重于应用的层面。

因此来说，数据挖掘融合了相当多的内容，试图全面了解所有的细节会花费很长的时间。因此我建议你的第一步是用大概三个月的时间了解数据挖掘的几个常用技术：分类、聚类、预测、关联分析、孤立点分析等等。这种了解是比较粗的，目标是明白这些技术是用来干什么的，典型的算法大致是怎样的，以及在什么情况下应该选用什么样的技术和算法。

经过初步了解之后，就要进入选题的阶段，选择自己感兴趣的某个具体方向，然后通读该方向的经典论文（综述、主要发展方向、应用成果）。选题阶段可能会花费较长的时间，比如一年。此时，要逐渐明确突破点，也就是将来你论文的创新点。创新对于研究来说非常重要，一方面该创新的确比原来的方法要好，另一方面该创新的确具有实用的价值。

随后，就要来实现自己的想法。通常对于硕士论文来说，需要建立原型系统，进行试验，并用试验结果来支持自己的论文主题。原型系统就是对自己创新点的实现，需要很好地设计和开发。需要注意的是，原型系统的建立和开发商用系统不同，需要体现比较好的理论基础。也就是说，原型系统并不是简单地用于实现功能，而是将你的一整套理论付诸实现。这种理论基础也将会包含在你的论文中，以体现论文的理论高度。

原型系统的搭建以及产生令人信服试验结果，这个过程一般需要至少一年的时间。所以要集中精力于核心部分（体现论文创新点的部分），外围的界面等等不应投入太多的精力，以免进度失控。

最后是论文的整理和写作了。建议你在之前的阶段中逐步先写出一些篇幅较短的论文（用于发在期刊、会议上），比如综述、体系框架、算法内核、应用等等。这样在最后写毕业论文时就有了足够多的内容，会写得更好更快一些。

以上只是泛泛而谈。其实我觉得其中的关键点在于选题，而选题的好坏取决于你对数据挖掘研究现状的了解、你的兴趣和专长、以及该方向在应用上的意义。建议你和导师、同行多交流，能够让自己的方向更清晰。

至于数据挖掘领域的就业，应该来说还是前景不错的。如果你对研究有兴趣，象微软研究院、Google、高校研究所都是不错的地方；如果你对实际应用有兴趣，很多大的公司包括IBM、Accenture、亚信等等都有相应的人力需求，当然一些甲方的单位比如证券、保险、金融等等单位也都需要分析人才。

关于论文如何创新

“创新”是个很尖锐的问题。以前我帮导师审论文时，给论文评分包括几个要素，分别是理论基础是否坚实、研究问题的重要性、研究成果的创新性等。

所谓创新，就是你解决问题的方法是否和其他人的解决方法有所不同，而这种不同又是否更有利于解决问题。因此，要发现创新点，实际上需要充分的准备和深入的研究。

①充分的准备：既然创新是找出解决问题的更好方法，那么首先你就要发现问题，而且要发现有价值的问题。当找到这种问题时，再去查找有没有人提出了解决这个问题的方法，他们的方法是怎样的，还存在什么不足之处。

这个阶段需要做大量的调查搜集的工作，也是做研究的准备阶段，常常需要通读相关研究领域的经典文献以及最新进展，写读书笔记予以总结。

②深入的研究：当你发现了值得研究的问题，并且知道在这个问题上还没有很好的解决方法时，你就有了创新的机会。找出现有解决方法的不足之处，提出自己的解决思路，并予以验证，通过试验或者推理证明你的方法是有效的，创新点也就产生了。说起来容易做起来难，就象酝酿一个新发明一样，常常会需要大量的试验和周密的思考，而且也有可能忙了很久而一无所获。

希望说到这里没有让你心生惧怕，但我见过的一些认真做研究的人的确投入了很多的时间和精力才有所成就。当然对于国内的研究生来说，我倒是觉得在硕士阶段去追求显著的创新是不切实际的（个人的一管之见），其实把第一步做好已经不错了。如果没有做好第一步，打好基础，就急于找些创新点，那么这些所谓的创新点常常是毫无意义的，写出来的论文最终避免不了被扔到垃圾桶的命运（我以前写的一些论文也是如此）。大家常常说国内的研究论文质量很差，很大程度上也是源于我们现在的教育制度，要求研究生毕业前必须在SCI、EI或核心期刊上发表若干篇论文，重量而不重质，造就了现在的核心期刊完全变成了完成毕业任务的自留地。

话题扯远了，回到你关心的问题－如何找创新点。必要的文献阅读是不可缺的，了解研究现状和背景，才可能发现创新点。如果你想这个阶段快一些的话，也有些捷径，比如你可以到一些研究单位或学者的站点上，察看他们目前的研究动态，一般来说他们正在研究的内容常常是目前还未解决的，这样你可以尽快找到创新点的主攻方向。

1数据挖掘人员从事的工作内容

是不是开发数据挖掘平台、为别的企业单位量身制作DM、DW系统？除了这些还能有些什么？

2读博深造的必要性

现在只是无指导的自学状态，能否在硕士毕业后胜任数据挖掘方面的工作呢？考取名校的博士进一步深入学习的必要性大不大？

3自学时的大方向

文本、Web等，读博时肯定就某种具体方向深入研究，现在是否应该也自己重点专注于一种方向，而不是仅泛泛的熟悉各个方面？

数据挖掘从业人员工作分析  
1.数据挖掘从业人员的愿景：
数据挖掘就业的途径从我看来有以下几种，（注意：本文所说的数据挖掘不包括数据仓库或数据库管理员的角色）。
A：做科研(在高校、科研单位以及大型企业，主要研究算法、应用等)
B：做程序开发设计（在企业做数据挖掘及其相关程序算法的实现等）
C：数据分析师（在存在海量数据的企事业单位做咨询、分析等）

2.数据挖掘从业人员切入点：
根据上面的从业方向倒序并延伸来说说需要掌握的技能。
C，数据分析师：需要有深厚的数理统计基础，可以不知道人工智能和计算机编程等相关技术，但是需要熟练使用主流的数据挖掘（或统计分析）工具 。从这个方面切入数据挖掘领域的话你需要学习《数理统计》、《概率论》、《统计学习基础：数据挖掘、推理与预测 》、《金融数据挖掘》,《业务建模与数据挖掘》、《数据挖掘实践 》等，当然也少不了你使用的工具的对应说明书了，如SPSS、SAS等厂商的《SAS数据挖掘与分析》、《数据挖掘Clementine应用实务 》、《EXCEL 2007数据挖掘完全手册》等，如果多看一些如《中文版 数据挖掘原理》 等书籍那就更好了。

B，程序设计开发：主要是实现数据挖掘现有的算法和研发新的算法以及根据实际需要结合核心算法做一些程序开发实现工作。要想扮演好这个角色，你不但需要熟悉至少一门编程语言如（C,C++,Java,Delphi等）和数据库原理和操作，对数据挖掘基础课程有所了解，读过《数据挖掘概念与技术》（韩家炜著）、《人工智能及其应用》。有一点了解以后，如果对程序比较熟悉的话并且时间允许，可以寻找一些开源的数据挖掘软件研究分析，也可以参考如《数据挖掘：实用机器学习技术及Java实现》等一些教程。

A.做科研：这里的科研相对来说比较概括，属于技术型的相对高级级别，也是B，C的归宿，那么相应的也就需要对B、C的必备基础知识了。
可能之后不会续写一篇《数据挖掘进阶》了，这边大概说一下B和C的进一步要求：
B当前主要包括如下方向：企业数据挖掘、Web数据挖掘、空间数据挖掘、多媒体数据挖掘等等；
C当前主要应用于：电信CRM、金融、咨询业等等；
最后说一下大家有必要熟悉数据挖掘工具：Google ，或许你也可以搜索到这篇文章，当然也可以搜索到人才招聘的相关职位需求以及其他资料，一如你当初搜索到 DMResearch 一样。