数据挖掘案例：利用数据挖掘发掘金融市场交易规则

许多投资者在金融市场交易中大量采用技术分析，用于技术分析的道氏理论早在1884年就已经出现，1997年Edwards写了本新的技术分析方面的专著。技术分析包括k线、技术图形识别等，利用数据挖掘技术可以给技术分析赋予全新的生命。
技术图形识别是技术分析中经常采用的一种技术。无论是国内还是国外股市，无论是何种股票（或者是其他的金融交易资产），只要交易时间一长，就会在由其市场价格和交易量的历史数据所构成的走势图上形成各种不同的图形，人们开始对这些图形并不在意，后来发现一旦形成这些图形，价格往后的走势往往如出一辙，比如股价形成某种图形后就一路下跌，10只股票有9只如此，所以投资者只要看到这种图形就纷纷卖出，这是技术图形识别的一个运用，有些机构用此建立股票的自动交易系统。
比如，利用技术图形识别技术可以建立这样的交易规则：
* 如果前N个交易日的数据构成了X图形，则买进，并在m日后卖出；
*如果前N个交易日的数据构成了z图形，则卖出。
我们考虑的是如何利用数据挖掘方法来建立这样的交易规则，使得投资者可以利用这些交易规则获利？显然问题的难点在于什么样的图形是有预测价值的、如何判断最近n日的交易数据正在形成这样的图形。
以往的学术文献对此的研究很少，如果根据有效市场假设，是不可能利用技术分析方法来资本市场中获取超额收益的。如在1966年，Paul Samuelson 在提到：在股票市场上是不可能通过对过去的交易数据的推断分析技术，如图形识别技术、或其他数学的、或魔术般的技术来对未来价格变化进行预测，获得超额收益的，因为市场价格中已经包含了所有的公开信息。但是从业者往往认为可以利用图形识别技术来取得交易的成功。实际上现在结合数据挖掘的技术分析文献在学术刊物上已经可以经常遇到，采用的数据方法有：从过去的数据中进行学习的人工神经网络、模糊专家系统、决策支持系统、粗糙集方法挖掘交易规则、采用信号过程技术的数据挖掘方法，等等。
这样实际上为我们检验资本市场是否为有效的提供了一种检验方法：原假设：股票市场是有效的，因此通过技术分析方法，特别是图形识别技术方法不可能获得超额收益，如果我们用数据挖掘的方法可以设计出一种交易规则，采用这种交易规则可以获得显著的超额收益，则原假设就应该被拒绝，从而说明股票市场并不是有效的（如对美国的股票市场进行实证分析）。
图形识别技术首先是图形的确定、即确定哪些技术图形是具有预测价值的，如第一册中介绍了23种图形，认为这些图形是否预测价值的，图形是依据过去的价格变化、或者还有成交量的变化而形成的。实际上，这些技术图形可以不断地去挖掘。确定这些有意义的技术图形后，就可以通过技术图形识别的来建立股票交易规则，而技术图形不识别是通过数据挖掘方法来实现。
以下为利用数据挖掘发掘金融市场交易规则的一个具体案例。这种技术图形称为bull flag，现在还没有专门的中文名称。
Flag：股票价格在一段时间内窄幅调整，形成一个类似于平行四边行的图形，两头或者急剧上升、或者急剧下降，表示一种较强的向上或者向下的趋势，如果两头都是急剧向上，这样的Flag就称为bull flag。
下面为两个图形,这两个均为bull flag图形的一种，图形由10*10的表格所形成，每个格子中给出的是“权重”数，每列的“权重”数之和为零。如果某段时期的交易数据可以和这个图形相拟合，则就显示了某种预测功能。
那么如何来判断这段时间的股票走势（实际上是股指走势）正在构成一个bull flag，怎样利用数据挖掘方法建立一个可以获得超额收益的自动交易规则？有机构采用了这样的方法。
用120个近期交易数据作为窗口（去除离开均值超过二倍标准差的噪音数据）判断走势是否正在形成某种bull flag，每次判断给出一个拟合值，计算方法如下：
依次将每12个数据分成一组共10组，对每一组进行交叉相关计算（cross-correlation computation），从而形成一个新的10*10的表格，第一列数据填写如下：
计算第一组数据中落在120个数据中的前10%的价格的交易日所占12个数据的比率，乘以对应列的格子中的“权重”数就可以相应格子中的数，再将第一列10个格子中的全部数相加，就得到第一列的拟合值，这样对分成10组的120个交易日的数据，我们也可以得到10个拟合值，再将这10个拟合值相加就得到某个交易日的拟合值，拟合值越大，则走势正在形成bull flag图形的可能性也就越大。
有学者利用从1980年8月6日-1999年2月8日（整个时期是一个大牛市）共4748个交易日的纽约股票交易所综合指数的收盘价数据来研究能否利用数据挖掘和技术图形分析方法来建立自动交易规则、并获得超额收益。（实际数据还包括时期前119天，和时期后99天）在这段时期对表1的最大拟合数出现在1982年10月5日。
数据挖掘方法：
以最初500个拟合数据作为数据挖掘训练样本，将所有的500个拟合数据从小到大排成一列，并取5%、10%、20%、30%等对应的一些拟合值，计算具有这些拟合值的交易日在接下来100个交易日的平均收益率，并将这些平均收益率与训练期的平均收益率相比较，并采用t检验法检验（单侧检验）两者之间是否存在显著差异。
检验结果显示，对图形1，如果采用95%的值作为确定值，则平均收益与训练组的平均收益有显著差异，平均收益提高了6.7%；对图形2, 如果采用95%的值作为确定值，则平均收益与训练组的平均收益有显著差异，平均收益提高了5.12%。
为此从训练组可以建立这样的交易规则：
规则一：如果对图形1的拟合值（用120个交易日数据构建）大于95%的值（利用先前的全部数据计算），则买进证券，并在100日后卖出；
规则二：如果对图形二的拟合值大于95%的值（同样利用先前的全部数据计算），则买进证券、并在100日后卖出。
检验结果：
对检验样本组，平均收益率为5.5%，利用规则一完成的交易数为124次，平均收益率为115%；利用规则二完成的交易数为220次,平均收益率为7.8%,规则1和不使用规则的平均收益率存在显著差异(t检验结果)。
进一步的检验是将成交量纳入规则中，结果得到的规则可以获得平均14%的收益率。