1.統計知識
在做數據分析,統計的知識肯定是需要的,Excel、SPSS、R等是需要掌握的基本技能。如果我們做數據挖掘的話,就要重視數學知識,數據挖掘要從海量數據中發現規律,這就需要一定的數學知識,最基本的比如線性代數、高等代數、凸優化、概率論等。
2.概率知識
而樸素貝葉斯算法需要概率方面的知識,SKM算法需要高等代數或者區間論方面的知識。當然,我們可以直接套模型,R、Python這些工具有現成的算法包,可以直接套用。但如果我們想深入學習這些算法,最好去學習一些數學知識,也會讓我們以后的路走得更順暢。我們經常會用到的語言包括Python、JAVA、C或者C++,我自己用Python或者Java比較多。有時用MapReduce寫程序,再用Hadoop或者Hyp來處理數據,如果用Python的話會和Spark相結合。
3.數據挖掘的數據類型
那么可以挖掘的數據類型都有什么呢?關系數據庫、數據倉庫、事務數據庫、空間數據庫、時間序列數據庫、文本數據庫和多媒體數據庫。關系數據庫就是表的集合,每個表都賦予一個唯一的名字。每個表包含一組屬性列或字段,并通常存放大量元組,比如記錄或行。關系中的每個元組代表一個被唯一關鍵字標識的對象,并被一組屬性值描述。
4.數據倉庫
什么是數據倉庫呢?數據倉庫就是通過數據清理、數據變換、數據集成、數據裝入和定期數據刷新構造 。數據挖掘的工作內容是什么呢?數據分析更偏向統計分析,出圖,作報告比較多,做一些展示。數據挖掘更偏向于建模型。比如,我們做一個電商的數據分析。萬達電商的數據非常大,具體要做什么需要項目組自己來定。電商數據能給我們的業務什么樣的推進,我們從這一點入手去思考。我們從中挑出一部分進行用戶分群。