韩创益^1,2, 王恩德¹, 夏建明¹, 崔顺哲²
1. 东北大学 资源与土木工程学院, 辽宁 沈阳 110819;
2. 金策工业综合大学 资源勘探工程学院, 平壤 999093
收稿日期：2016-06-12
基金项目：国家重大基础研究发展计划项目(2012CB416800);国家自然科学基金资助项目(41372098)。
作者简介：韩创益(1980-), 男, 朝鲜平壤人, 东北大学博士研究生;
王恩德(1957-), 男, 辽宁盖州人, 东北大学教授, 博士生导师。

摘要：针对矿产资源定量预测过程中最小二乘支持向量机(LS-SVM)的参数选择具有主观性和随意性, 提出了一种与贝叶斯推理相结合的LS-SVM资源定量预测方法, 并将其与证据权法(WofE)进行了对比.在训练过程中采用贝叶斯推理方法对LS-SVM的参数选择进行优化, 进而构建矿产资源定量预测优化模型.研究表明, 该方法不但克服了参数选择的局限性, 而且以后验概率形式输出预测结果, 从而可提高预测精度.
关键词：贝叶斯推理LS-SVM矿产资源定量预测证据权法
Mineral Resource Quantitative Prediction Based on LS-SVM Combining with Bayesian Inference
HAN Chang-ik^1,2, WANG En-de¹, XIA Jian-ming¹, CHOE Sun-chol²
1. School of Resources & Civil Engineering, Northeastern University, Shenyang 110819, China;
2. College of Geoexploration Engineering, Kimchaek University of Technology, Pyongyang 999093, DPRK
Corresponding author: HAN Chang-ik, E-mail: han_6130@sina.com
Abstract: In the mineral resources quantitative prediction using the least squares support vector machine (LS-SVM), precision of results are influenced by the selection of its parameters. The prediction method based on the LS-SVM combining with Bayesian inference is proposed and it is also compared with weights-of-evidence (WofE) method. During the training process, the optimized parameters of LS-SVM are chosen by Bayesian inference method, which can build the optimized model for the mineral resources quantitative prediction. The results show that the proposed method not only overcomes randomness and limitation of its optimal parameter selection, but also increases the accuracy of prediction by exporting the prediction result in the form of posterior probability.
Key Words: Bayesian inferenceLS-SVMmineral resourcequantitative predictionWofE(weights-of-evidence)
随着地质找矿难度不断增加, 资源勘查工作的成败更依赖于对其正确的成矿规律和矿产资源定量预测评价的新理论、新方法^[1-3].矿产资源定量预测模型究其实质为将各种地质环境因子(输入变量)关联到目标对象的含矿性(输出变量)的一种集成函数; 根据其数学基础, 矿产资源预测模型可分为基于概率、回归、人工智能和证据信度等4类^[2].
支持向量机(SVM)是矿产资源定量预测中最常见的人工智能方法之一^[4-6].随着找矿难度的增加, 将现代人工智能方法应用于成矿预测与评价, 有效地挖掘地质因子之间的非线性关系提高预测效果是促进找矿突破的重要途径.SVM模型以统计学习理论作为坚实的理论依据, 采用结构风险最小原则, 避免陷入局部最小的问题, 具有很强的泛化能力.许多研究证明, SVM模型比传统的统计方法具有较高的准确性, Zuo等^[3]详细介绍了在成矿预测中SVM的应用及其有效性.应用SVM方法进行矿产资源定量预测的难点在于合理地设置参数, 而且SVM矿产资源定量预测模型的典型输出形式为二值分类图, 与WofE(weights-of-evidense)方法相比, 缺乏客观性.
本文采用贝叶斯推理, 对于LS-SVM矿产资源定量预测方法的参数设置进行优化, 而且结合其后验概率输出, 并与证据权法进行对比.
1 预测方法1.1 SVM方法设由特征向量x_i∈R^m，y_i∈{1, -1}, i=1, …, m，组成的训练数据集(x_i, y_i).其中x_i是由m个二值证据因子组成的特征向量, y_i=+1表示输入向量x_i所属的一个类别(矿点存在), 而y_i= -1表示输入向量x_i所属的另一个类别(矿点不存在).
那么基于分类超平面的决策函数模型被定义为

(1)

式中: w为在特征空间中确定超平面方向的权值向量; b为从原点到超平面的偏移量; φ为高维映射函数; sgn表示为符号函数:

(2)

如果两种训练样本是线性可分的, 则存在一系列线性超平面可以将所有样本向量正确划分(图 1a).
图 1(Fig. 1)

图 1 SVM原理图Fig.1 Principle of SVM (a)－正确划分；(b)－线性分类；(c)－调整错分.

如果两种训练样本是线性不可分的, 则SVM引入核函数将低维空间中的初始输入变量映射到高维特征空间, 进而非线性分类问题转换为线性分类问题, 在高维特征空间进行线性分类(图 1b).
在某些情况下, 把低维空间中的特征映射到高维空间后仍然不能线性可分.此时, 引入松弛变量e_i来调整样本错分(图 1c).
那么求解下面的优化问题, 从而得到分类决策函数的参数w和b:

(3)

式中, C为惩罚系数;
该优化问题的解就是Lagrange函数的鞍点.

(4)

式中, α_i为Lagrange乘子, 其求解下面的对偶优化问题, 可以得到

(5)

式中，K(x_i, x_j)为核函数, 其定义为

(6)

最佳超平面是指使得分类距离(由两边支持向量组成的超平面之间的间隔)最大的超平面.通过上述求解, 基于最佳分类超平面, 最终得到决策函数:

(7)

1.2 LS-SVM方法LS-SVM是由Suykens等^[7]提出来的一种SVM模型的变体.LS-SVM的主要改进是将标准SVM算法中的不等式约束(公式(3))替换为等式约束, 从而式(3)的优化问题转化为

(8)

式中, C表示为ζ/μ, 是正则化参数, 控制对超出边沿的训练样本的惩罚程度.
上面的优化问题基于最小二乘原理求解线性方程组, 这比求解标准SVM的二次规划问题更简单容易.
1.3 贝叶斯推理LS-SVM的参数优化目前SVM常用的核函数有4种：线性、多项式、径向基函数(RBF)和Sigmoid核函数^[5-6].SVM模型正确分类的成败和预测精度强烈依赖于如何选择其核函数和有关参数, 所以应当注意其合适的选择.Zuo等^[5]的研究表明在成矿预测中RBF和PL核函数的预测误差较Linear和Sigmoid核函数更低.实际上, PL和RBF核函数在SVM应用研究中是最常见的两种核函数.此外, PL核函数具有3个参数而RBF核函数只有2个参数需要调节.Galiano等^[8]也是选择RBF核函数进行成矿预测.经过上述分析, 本研究采用RBF核函数进行了SVM建模.RBF核函数:

(9)

除了选择核函数以外, 还要调节其参数.有关学者认为最佳核函数参数的选择是在SVM应用中最困难的任务.RBF核函数有两个调节参数包括正则化参数C以及核宽度调节参数λ, Zuo等^[5]和Galiano等^[8]基于经验选取一定间隔的多个参数值, 经过反复试验最终得到了合理参数值, 这缺乏客观性.
基于贝叶斯推理的参数优化过程采用最大化参数分布的后验概率来得到最优参数值^[9].贝叶斯推理LS-SVM参数优化过程可分为三级:第一级可推理参数ω和b, 第二级可调节模型的正则化参数C, 第三级可调节核函数参数λ.
1) 第一级推理.假设样本点D={(x_i, y_i)}_i=1^N和初始分类器模型H及其超参数μ, ζ, 而且训练样本是独立同分布的, 那么基于贝叶斯规则可获得模型参数w和b的后验概率为

(10)

式中:P(D| lgμ, lgζ, H)为归一化常数; P(w, b|lgμ, lgζ, H)为w和b的联合先验概率; P(D|w, b, lgμ, lgζ, H)表示为似然度; 模型参数w和b的最优值通过最大化概率P(D|w, b, lgμ, lgζ, H)可得.
2) 第二级推理.在这个推理过程中, 采用贝叶斯规则可得最优超参数μ和ζ, 从而调节正则化参数C=μ/ζ.

(11)

式中, P(D|H)为归一化常数.
采用式(11)得出超参数μ和ζ的后验概率, 那么最优正则化参数C可通过后验概率最大对应的超参数值μ_MP和ζ_MP得到.
3) 第三级推理.在这个推理过程中, 通过最大化后验概率P(H|D)得出最优核参数λ.

(12)

对式(12)两边取对数得出最大化后验概率的对数lnP(H|D), 随后可得到最优核函数参数值σ.
本文选用的是RBF核函数, 对于RBF核函数, 最优核函数参数σ_MP通过求解lnP(H|D)/?σ=0即可得到.
1.4 贝叶斯推理LS-SVM的后验概率输出假设矿点存在的有无标签为y=±1, X∈Rⁿ为其属性变量, 取值为x, 则其后验概率可由贝叶斯定理表示为

(13)

式中:P(y)是先验概率; P(y|x)表示为与矿点存在有关的后验概率.
依据贝叶斯定理, 在LS-SVM中, 二值分类后验概率输出结果表示为

(14)

式中:P(y)=N⁺/(N⁺+N^-), N⁺和N^-分别为有矿点数和无矿点数, 其他变量均表示为通过贝叶斯三级推理来得到的参数值.
2 案例研究2.1 数据描述为了证明在矿产资源定量预测中贝叶斯推理LS-SVM方法的可行性, 本文选取了ArcSDM工具箱里面的卡林型金矿床案例数据集, 进行预测, 并将其结果与证据权法进行对比.卡林金矿床是一种微细浸染型金矿, 其围岩主要由下古生界的碳酸盐岩和碎屑岩组成.含矿岩体多分布于沉积建造上部400~500 m的范围内, 主要有志留系一泥盆系的Roberts Mountains组、泥盆系Popovich组和早泥盆世Rodeo Creek地层单元, 多数金矿床主要赋存于Roberts Mountains组泥质、硅质白云岩之中^[10].
本文选用的证据因子为地质岩性数据、Sb地球化学元素数据和K地球化学元素数据(图 2).
图 2(Fig. 2)

图 2 卡林金矿证据因子图Fig.2 Evidence maps for Carlin Au deposit (a)－地质岩性；(b)－Sb地球化学元素；(c)－K地球化学元素.

2.2 资源定量预测及结果分析首先, 选取32个“矿点”和32个“无矿点”, 作为LS-SVM模型的训练数据(图 2).随后, LS-SVM模型对区域进行单元格划分, 划分单元格时需保证每一个单元格内只有一个矿点(如不满足, 则细化单元格, 直到满足为止, 本例为1 km²), 随后采用ArcGIS的空间分析功能从3个证据因子图层选取LS-SVM模型所需要的数据.最后运用贝叶斯推理进行参数优化, 得到最优参数C=2.610 9和λ=2.356 4.用所得参数对研究区金矿化程度进行定量预测, 得到由后验概率表示的输出结果, 并且将输出结果与证据权模型结果进行对比(图 3).
图 3(Fig. 3)

图 3 两种模型的定量预测结果Fig.3 Results of quantitative prediction for two models (a)－WofE；(b)－LS－SVM.

由图 3a和图 3b可知, 两种模型的预测结果较吻合, 矿化有利区的空间展布规律基本上一致, 表明在矿产资源定量预测中贝叶斯推理的LS-SVM方法具有可行性.
本文将采取ROC曲线法对两种预测结果进行比较和评价(图 4).整体来看, 两种模型的AUC值均在0.9以上, 这说明两种模型的成矿预测结果与区内已知矿点的分布规律吻合度较高, 实际上除1~2个矿点之外所有矿点都落在成矿有利区(图 3), 表明本研究所得出的预测模型的可靠性; 分别来看, LS-SVM模型的AUC值(0.961 19)比WofE模型(0.939 2)高一些, 这说明贝叶斯推理的LS-SVM模型的非线性映射能力超越了WofE模型.
图 4(Fig. 4)

图 4 两种模型的ROC曲线Fig.4 ROC curves of two models (a)－WofE模型；(b)－LS－SVM模型.

3 结语当采用支持向量机方法进行成矿预测时, 为提高预测精度, 其参数优化是至关重要的.本文探讨基于贝叶斯推理的LS-SVM矿产资源定量预测方法.与WofE法的对比分析结果表明, 贝叶斯推理的LS-SVM方法不但克服了参数选择的局限性, 而且以后验概率形式输出预测结果, 提高了预测精度.
参考文献

[1]	张道军. 逻辑回归空间加权技术及其在矿产资源信息综合中的应用[D]. 武汉: 中国地质大学, 2015. ( Zhang Dao-jun.Spatially weighted technology for logistic regression and its application in mineral prospectivity mapping[D].Wuhan:China University of Geosciences, 2015.)
[2]	刘文博. 非线性矿产资源预测定量模型研究[D]. 长春: 吉林大学, 2015. ( Liu Wen-bo.Quantitative research of nonlinera mineral resources predictive model[D].Changchun:Jilin University, 2015.)
[3]	于萍萍. 基于知识驱动的矿产资源定量预测评价关键技术研究[D]. 北京: 中国地质大学(北京), 2015. ( Yu Ping-ping.Research on the key technologies of knowledge-driven quantitative prediction and evaluation of mineral resources[D].Beijing:China University of Geosciences, 2015.)
[4]	Porwal A, Carranza E J M. Introduction to the special issue:GIS-based mineral potential modeling and geological data analyses for mineral exploration[J].Ore Geology Reviews, 2015, 71: 477–483.DOI:10.1016/j.oregeorev.2015.04.017
[5]	Zuo R G, Carranza E J M. Support vector machine:a tool for mapping mineral prospectivity[J].Computers & Geosciences, 2011, 37: 1967–1975.
[6]	Abedi M, Norouzi G H, Bahroudi A. Support vector machine for multi-classification of mineral prospectivity areas[J].Computers & Geosciences, 2012, 46: 272–283.
[7]	Suykens J A K, Vandewalle J. Least squares support vector machine classifiers[J].Neural Processing Letter, 1999, 9(3): 293–300.DOI:10.1023/A:1018628609742
[8]	Galiano V R, Castillo M S, Olmo M C, et al. Machine learning predictive models for minral prospectivity:an evaluation of neural networks, random forest, regression trees and support vector machines[J].Ore Geology Reviews, 2015, 71: 804–848.DOI:10.1016/j.oregeorev.2015.01.001
[9]	Gestel T V, Suykens J A K, Lanckriet G, et al. Bayesian framework for least-squares support vector machine classifiers, Gaussian processes, and kernel fisher discriminant analysis[J].Neural Computation, 2002, 14: 1115–1147.DOI:10.1162/089976602753633411
[10]	Cline J S, Hofstra A H, Muntean J L, et al. Carlin-type gold deposits in Nevada:critical geologic characteristics and viable models[J].Economic Geology, 2005, 100: 451–484.