数据挖掘的应用领域有哪些？常用的机器学习&数据挖掘知识(点）

数据挖掘的应用非常广泛，只要该产业有分析价值与需求的数据库，皆可利用数据挖掘工具进行有目的的发掘分析。常见的应用案例多发生在零售业、制造业、财务金融保险、通讯及医疗服务：(1)商场从顾客购买商品中发现一定的关联规则，提供打折、购物券等促销手段，提高销售额；(2)保险公司通过数据挖掘建立预测模型，辨别出可能的欺诈行为，避免道德风险，减少成本，提高利润；(3)在制造业中，半导体的生产和测试中都产生大量的数据，就必须对这些数据进行分析，找出存在的问题，提高质量；(4)电子商务的作用越来越大，可以用数据挖掘对网站进行分析，识别用户的行为模式，保留客户，提供个性化服务，优化网站设计；一些公司运用数据挖掘的成功案例，显示了数据挖掘的强大生命力：美国AutoTrader是世界上最大的汽车销售站点，每天都会有大量的用户对网站上的信息点击，寻求信息，其运用了SAS软件进行数据挖掘，每天对数据进行分析，找出用户的访问模式，对产品的喜欢程度进行判断，并设特定服务，取得了成功。Reuteres是世界著名的金融信息服务公司，其利用的数据大都是外部的数据，这样数据的质量就是公司生存的关键所在，必须从数据中检测出错误的成分。Reuteres用SPSS的数据挖掘工具SPSS/Clementine，建立数据挖掘模型，极大地提高了错误的检测，保证了信息的正确和权威性。Bass Export是世界最大的啤酒进出口商之一，在海外80多个市场从事交易，每个星期传送23000份定单，这就需要了解每个客户的习惯，如品牌的喜好等，Bass Export用IBM的Intelligent Miner很好的解决了上述问题。

常用的机器学习&数据挖掘知识(点）Basis(基础)：MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimation最大似然估计)，QP(Quadratic Programming 二次规划)，CP(Conditional Probability条件概率)，JP(Joint Probability 联合概率)，MP(Marginal Probability边缘概率)，Bayesian Formula(贝叶斯公式)，L1 /L2Regularization(L1/L2正则，以及更多的，现在比较火的L2.5正则等)，GD(GradientDescent 梯度下降)，SGD(Stochastic Gradient Descent 随机梯度下降)，Eigenvalue(特征值)，Eigenvector(特征向量)，QR-decomposition(QR分解)，Quantile (分位数)，Covariance(协方差矩阵)。Common Distribution(常见分布)：Discrete Distribution(离散型分布)：BernoulliDistribution/Binomial(贝努利分布/二项分布)，Negative BinomialDistribution(负二项分布)，MultinomialDistribution(多项式分布)，Geometric Distribution(几何分布)，HypergeometricDistribution(超几何分布)，Poisson Distribution (泊松分布)。Continuous Distribution (连续型分布)：UniformDistribution(均匀分布)，Normal Distribution /Guassian Distribution(正态分布/高斯分布)，ExponentialDistribution(指数分布)，Lognormal Distribution(对数正态分布)，GammaDistribution(Gamma分布)，Beta Distribution(Beta分布)，Dirichlet Distribution(狄利克雷分布)，Rayleigh Distribution(瑞利分布)，Cauchy Distribution(柯西分布)，Weibull Distribution (韦伯分布)。Three Sampling Distribution(三大抽样分布)：Chi-squareDistribution(卡方分布)，t-distribution(t-distribution)，F-distribution(F-分布)。Data Pre-processing(数据预处理)：Missing Value Imputation(缺失值填充)，Discretization(离散化)，Mapping(映射)，Normalization(归一化/标准化)。Sampling(采样)：Simple Random Sampling(简单随机采样)，OfflineSampling(离线等可能K采样)，Online Sampling(在线等可能K采样)，Ratio-based Sampling(等比例随机采样)，Acceptance-RejectionSampling(接受-拒绝采样)，Importance Sampling(重要性采样)，MCMC(MarkovChain Monte Carlo 马尔科夫蒙特卡罗采样算法：Metropolis-Hasting& Gibbs)。Clustering(聚类)：K-Means，K-Mediods，二分K-Means，FK-Means，Canopy，Spectral-KMeans(谱聚类)，GMM-EM(混合高斯模型-期望最大化算法解决)，K-Pototypes，CLARANS(基于划分)，BIRCH(基于层次)，CURE(基于层次)，DBSCAN(基于密度)，CLIQUE(基于密度和基于网格)。Classification&Regression(分类&回归)：LR(Linear Regression 线性回归)，LR(LogisticRegression逻辑回归)，SR(Softmax Regression 多分类逻辑回归)，GLM(GeneralizedLinear Model 广义线性模型)，RR(Ridge Regression 岭回归/L2正则最小二乘回归)，LASSO(Least Absolute Shrinkage andSelectionator Operator L1正则最小二乘回归)，RF(随机森林)，DT(DecisionTree决策树)，GBDT(Gradient BoostingDecision Tree 梯度下降决策树)，CART(ClassificationAnd Regression Tree 分类回归树)，KNN(K-Nearest Neighbor K近邻)，SVM(Support VectorMachine)，KF(KernelFunction 核函数PolynomialKernel Function 多项式核函、Guassian KernelFunction 高斯核函数/Radial BasisFunction RBF径向基函数、String KernelFunction 字符串核函数)、NB(Naive Bayes 朴素贝叶斯)，BN(Bayesian Network/Bayesian Belief Network/ Belief Network 贝叶斯网络/贝叶斯信度网络/信念网络)，LDA(Linear Discriminant Analysis/FisherLinear Discriminant 线性判别分析/Fisher线性判别)，EL(Ensemble Learning集成学习Boosting，Bagging，Stacking)，AdaBoost(Adaptive Boosting 自适应增强)，MEM(MaximumEntropy Model最大熵模型)。Effectiveness Evaluation(分类效果评估)：Confusion Matrix(混淆矩阵)，Precision(精确度)，Recall(召回率)，Accuracy(准确率)，F-score(F得分)，ROC Curve(ROC曲线)，AUC(AUC面积)，LiftCurve(Lift曲线) ，KS Curve(KS曲线)。PGM(Probabilistic Graphical Models概率图模型)：BN(Bayesian Network/Bayesian Belief Network/ BeliefNetwork 贝叶斯网络/贝叶斯信度网络/信念网络)，MC(Markov Chain 马尔科夫链)，HMM(HiddenMarkov Model 马尔科夫模型)，MEMM(Maximum Entropy Markov Model 最大熵马尔科夫模型)，CRF(ConditionalRandom Field 条件随机场)，MRF(MarkovRandom Field 马尔科夫随机场)。NN(Neural Network神经网络)：ANN(Artificial Neural Network 人工神经网络)，BP(Error BackPropagation 误差反向传播)。Deep Learning(深度学习)：Auto-encoder(自动编码器)，SAE(Stacked Auto-encoders堆叠自动编码器，Sparse Auto-encoders稀疏自动编码器、Denoising Auto-encoders去噪自动编码器、Contractive Auto-encoders 收缩自动编码器)，RBM(RestrictedBoltzmann Machine 受限玻尔兹曼机)，DBN(Deep Belief Network 深度信念网络)，CNN(ConvolutionalNeural Network 卷积神经网络)，Word2Vec(词向量学习模型)。DimensionalityReduction(降维)：LDA LinearDiscriminant Analysis/Fisher Linear Discriminant 线性判别分析/Fisher线性判别，PCA(Principal Component Analysis 主成分分析)，ICA(IndependentComponent Analysis 独立成分分析)，SVD(Singular Value Decomposition 奇异值分解)，FA(FactorAnalysis 因子分析法)。Text Mining(文本挖掘)：VSM(Vector Space Model向量空间模型)，Word2Vec(词向量学习模型)，TF(Term Frequency词频)，TF-IDF(Term Frequency-Inverse DocumentFrequency 词频-逆向文档频率)，MI(MutualInformation 互信息)，ECE(Expected Cross Entropy 期望交叉熵)，QEMI(二次信息熵)，IG(InformationGain 信息增益)，IGR(Information Gain Ratio 信息增益率)，Gini(基尼系数)，x2 Statistic(x2统计量)，TEW(TextEvidence Weight文本证据权)，OR(Odds Ratio 优势率)，N-Gram Model，LSA(Latent Semantic Analysis 潜在语义分析)，PLSA(ProbabilisticLatent Semantic Analysis 基于概率的潜在语义分析)，LDA(Latent DirichletAllocation 潜在狄利克雷模型)。Association Mining(关联挖掘)：Apriori，FP-growth(Frequency Pattern Tree Growth 频繁模式树生长算法)，AprioriAll，Spade。Recommendation Engine(推荐引擎)：DBR(Demographic-based Recommendation 基于人口统计学的推荐)，CBR(Context-basedRecommendation 基于内容的推荐)，CF(Collaborative Filtering协同过滤)，UCF(User-basedCollaborative Filtering Recommendation 基于用户的协同过滤推荐)，ICF(Item-basedCollaborative Filtering Recommendation 基于项目的协同过滤推荐)。Similarity Measure&Distance Measure(相似性与距离度量)：Euclidean Distance(欧式距离)，ManhattanDistance(曼哈顿距离)，Chebyshev Distance(切比雪夫距离)，MinkowskiDistance(闵可夫斯基距离)，Standardized Euclidean Distance(标准化欧氏距离)，MahalanobisDistance(马氏距离)，Cos(Cosine 余弦)，HammingDistance/Edit Distance(汉明距离/编辑距离)，JaccardDistance(杰卡德距离)，Correlation Coefficient Distance(相关系数距离)，InformationEntropy(信息熵)，KL(Kullback-Leibler Divergence KL散度/Relative Entropy 相对熵)。Optimization(最优化)：Non-constrainedOptimization(无约束优化)：Cyclic VariableMethods(变量轮换法)，Pattern Search Methods(模式搜索法)，VariableSimplex Methods(可变单纯形法)，Gradient Descent Methods(梯度下降法)，Newton Methods(牛顿法)，Quasi-NewtonMethods(拟牛顿法)，Conjugate Gradient Methods(共轭梯度法)。ConstrainedOptimization(有约束优化)：Approximation Programming Methods(近似规划法)，FeasibleDirection Methods(可行方向法)，Penalty Function Methods(罚函数法)，Multiplier Methods(乘子法)。Heuristic Algorithm(启发式算法)，SA(SimulatedAnnealing，模拟退火算法)，GA(genetic algorithm遗传算法)。Feature Selection(特征选择算法)：Mutual Information(互信息)，DocumentFrequence(文档频率)，Information Gain(信息增益)，Chi-squared Test(卡方检验)，Gini(基尼系数)。Outlier Detection(异常点检测算法)：Statistic-based(基于统计)，Distance-based(基于距离)，Density-based(基于密度)，Clustering-based(基于聚类)。Learning to Rank(基于学习的排序)：Pointwise：McRank；Pairwise：RankingSVM，RankNet，Frank，RankBoost；Listwise：AdaRank，SoftRank，LamdaMART。Tool(工具)：MPI，Hadoop生态圈，Spark，BSP，Weka，Mahout，Scikit-learn，PyBrain…以及一些具体的业务场景与case等。

数据挖掘没有大家想象中难，一般来说要掌握统计学、聚类分析和模式识别、决策树分类技术、人工神经网络和遗传基因算法、规则归纳和可视化技术。1.统计学统计学是最基本的数据挖掘技术，特别是多元统计分析，如判别分析、主成分分析、因子分析、相关分析、多元回归分析等。2.聚类分析和模式识别聚类分析主要是根据事物的特征对其进行聚类或分类，即所谓物以类聚，以期从中发现规律和典型模式。这类技术是数据挖掘的最重要的技术之一。3.决策树分类技术决策树分类是根据不同的重要特征，以树型结构表示分类或决策集合，从而产生规则和发现规律。4.人工神经网络和遗传基因算法人工神经网络是一个迅速发展的前沿研究领域，对计算机科学人工智能、认知科学以及信息技术等产生了重要而深远的影响，而它在数据挖掘中也扮演着非常重要的角色。5.规则归纳规则归纳相对来讲是数据挖掘特有的技术。它指的是在大型数据库或数据仓库中搜索和挖掘以往不知道的规则和规律。6.可视化技术可视化技术是数据挖掘不可忽视的辅助技术。 学习数据挖掘的这些技术和理论，推荐上CDA数据分析师的课程。课程培养学员硬性的数据挖掘理论与Python数据挖掘算法技能的同时，还兼顾培养学员软性数据治理思维、商业策略优化思维、挖掘经营思维、算法思维、预测分析思维，全方位提升学员的数据洞察力。点击预约免费试听课。