量化投资数据挖掘及其相关方法

量化投资涉及很多数学和计算机方面的知识和技术，总的来说，主要有人工智能、数据挖掘、小波分析、支持向量机、分形理论和随机过程这几种。
 

1．人工智能

人工智能（Artificial Intelligence，AI）是研究使用计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，主要包括计算机实现智能的原理、制造类似于人脑智能的计算机，使计算机能实现更高层次的应用。人工智能将涉及计算机科学、心理学、哲学和语言学等学科，可以说几乎是自然科学和社会科学的所有学科，其范围已远远超出了计算机科学的范畴，人工智能与思维科学的关系是实践和理论的关系，人工智能是处于思维科学的技术应用层次，是它的一个应用分支。
从思维观点看，人工智能不仅限于逻辑思维，还要考虑形象思维、灵感思维才能促进人工智能的突破性发展，数学常被认为是多种学科的基础科学，因此人工智能学科也必须借用数学工具。数学不仅在标准逻辑、模糊数学等范围发挥作用，进入人工智能学科后也能促进其得到更快的发展。

金融投资是一项复杂的、综合了各种知识与技术的学科，对智能的要求非常高。所以人工智能的很多技术可以用于量化投资分析中，包括专家系统、机器学习、神经网络、遗传算法等。

2．数据挖掘

数据挖掘（Data Mining）是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的，但又是潜在有用的信息和知识的过程。
与数据挖掘相近的同义词有数据融合、数据分析和决策支持等。在量化投资中，数据挖掘的主要技术包括关联分析、分类/预测、聚类分析等。

关联分析是研究两个或两个以上变量的取值之间存在某种规律性。例如，研究股票的某些因子发生变化后，对未来一段时间股价之间的关联关系。关联分为简单关联、时序关联和因果关联。关联分析的目的是找出数据库中隐藏的关联网。一般用支持度和可信度两个阈值来度量关联规则的相关性，还不断引入兴趣度、相关性等参数，使得所挖掘的规则更符合需求。

分类就是找出一个类别的概念描述，它代表了这类数据的整体信息，即该类的内涵描述，并用这种描述来构造模型，一般用规则或决策树模式表示。分类是利用训练数据集通过一定的算法而求得分类规则。分类可被用于规则描述和预测。

预测是利用历史数据找出变化规律，建立模型，并由此模型对未来数据的种类及特征进行预测。预测关心的是精度和不确定性，通常用预测方差来度量。

聚类就是利用数据的相似性判断出数据的聚合程度，使得同一个类别中的数据尽可能相似，不同类别的数据尽可能相异。

3．小波分析

小波（Wavelet）这一术语，顾名思义，小波就是小的波形。所谓“小”是指它具有衰减性；而称之为“波”则是指它的波动性，其振幅正负相间的震荡形式。与傅里叶变换相比，小波变换是时间（空间）频率的局部化分析，它通过伸缩平移运算对信号（函数）逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节，解决了傅里叶变换的困难问题，成为继傅里叶变换以来在科学方法上的重大突破，因此也有人把小波变换称为数学显微镜。

小波分析在量化投资中的主要作用是进行波形处理。任何投资品种的走势都可以看做是一种波形，其中包含了很多噪音信号。利用小波分析，可以进行波形的去噪、重构、诊断、识别等，从而实现对未来走势的判断。

4．支持向量机

 支持向量机（Support Vector Machine，SVM）方法是通过一个非线性映射，把样本空间映射到一个高维乃至无穷维的特征空间中（Hilbert空间），使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题，简单地说，就是升维和线性化。升维就是把样本向高维空间做映射，一般情况下这会增加计算的复杂性，甚至会引起维数灾难，因而人们很少问津。但是作为分类、回归等问题来说，很可能在低维样本空间无法线性处理的样本集，在高维特征空间中却可以通过一个线性超平面实现线性划分（或回归）。

一般的升维都会带来计算的复杂化，SVM方法巧妙地解决了这个难题：应用核函数的展开定理，就不需要知道非线性映射的显式表达式；由于是在高维特征空间中建立线性学习机，所以与线性模型相比，不但几乎不增加计算的复杂性，而且在某种程度上避免了维数灾难。这一切要归功于核函数的展开和计算理论。

正因为有这个优势，使得SVM特别适合于进行有关分类和预测问题的处理，这就使得它在量化投资中有了很大的用武之地。

5．分形理论

被誉为大自然的几何学的分形理论（Fractal），是现代数学的一个新分支，但其本质却是一种新的世界观和方法论。它与动力系统的混沌理论交叉结合，相辅相成。它承认世界的局部可能在一定条件下，在某一方面（形态、结构、信息、功能、时间、能量等）表现出与整体的相似性，它承认空间维数的变化既可以是离散的也可以是连续的，因而极大地拓展了研究视野。

自相似原则和迭代生成原则是分形理论的重要原则。它表示分形在通常的几何变换下具有不变性，即标度无关性。分形形体中的自相似性可以是完全相同的，也可以是统计意义上的相似。迭代生成原则是指可以从局部的分形通过某种递归方法生成更大的整体图形。

分形理论既是非线性科学的前沿和重要分支，又是一门新兴的横断学科。作为一种方法论和认识论，其启示是多方面的：一是分形整体与局部形态的相似，启发人们通过认识部分来认识整体，从有限中认识无限；二是分形揭示了介于整体与部分、有序与无序、复杂与简单之间的新形态、新秩序；三是分形从一特定层面揭示了世界普遍联系和统一的图景。

由于这种特征，使得分形理论在量化投资中得到了广泛的应用，主要可以用于金融时序数列的分解与重构，并在此基础上进行数列的预测。

6．随机过程

随机过程（Stochastic Process）是一连串随机事件动态关系的定量描述。随机过程论与其他数学分支如位势论、微分方程、力学及复变函数论等有密切的联系，是在自然科学、工程科学及社会科学各领域中研究随机现象的重要工具。随机过程论目前已得到广泛的应用，在诸如天气预报、统计物理、天体物理、运筹决策、经济数学、安全科学、人口理论、可靠性及计算机科学等很多领域都要经常用到随机过程的理论来建立数学模型。

研究随机过程的方法多种多样，主要可以分为两大类：一类是概率方法，其中用到轨道性质、随机微分方程等；另一类是分析的方法，其中用到测度论、微分方程、半群理论、函数堆和希尔伯特空间等，实际研究中常常两种方法并用。另外组合方法和代数方法在某些特殊随机过程的研究中也有一定作用。研究的主要内容有：多指标随机过程、无穷质点与马尔科夫过程、概率与位势及各种特殊过程的专题讨论等。
其中，马尔科夫过程很适于金融时序数列的预测，是在量化投资中的典型应用。