时序模式挖掘与分形市场分析决策支持系统及其应用
喻顺祥
张飞雪 万方数据竞争情报研究中心
随着互联网的出现,信息过量几乎成为人人需要面对的问题。为了不被信息的汪洋大海所淹没,为了从中及时发现有用的知识以帮助企业决策,数据挖掘技术应运而生。它在银行、电信、保险、交通、零售(如超级市场)等商业领域越来越广泛的应用日益显示出其强大的生命力。但基于经典计量经济学理论的决策分析技术,在实际应用中有时却表现不佳,尤其是在预测经济活动变化的关键时刻,往往分析失真、预测失灵。本文探讨了造成这一结果的原因,并介绍了采用创新的数据挖掘技术思想--时序模式挖掘与分形市场分析--开发的决策支持系统,对其在实际工作中的应用结果进行了检验。
1 经典计量经济学的困惑
计量经济学是一门社会科学,它把经济理论、数学和统计推断作为工具,用于经济现象的分析(建模、解释、制定政策、调控、预测)。计量经济分析的数据类型包括时间序列(定量或定性的时序)、横截面(同一时间点上的空间-地域)数据、混合型,所依据的方法论是,先提出经济理论或假说,再通过经济计量模型,获取数据、分析、检验和预测,一方面利用模型对所研究的对象进行解释、制定政策,另一方面对未来的市场走向进行预测或控制。
自20世纪30年代计量经济学诞生以来,经过40、50年代的大发展和60年代的大扩张,已经在经济学中占有了极其重要的地位,计量经济学和宏观经济学、微观经济学一起构成了当今经济学领域的三大支柱学科,并在经济发展中发挥了重要的作用。2003年之前的四年之内诺贝尔经济学奖两次颁发给计量经济学领域的专家,就是一个很好的证明。但经典的计量经济学正在面临新的挑战。
《福布斯》杂志曾发表过一篇W.L.Linden撰写的题为《乏味科学中的沉闷日子》的文章,引用了McNees(1983、1985、1987、1988)有关经济预测的研究。McNees发现,自20世纪70年代以来,所有重要的转折关头,经济学家做出的预测都是严重错误的,并且这种错误具有群体性,其中包括联邦储备委员会主席Alan
Greenspan负责的汤森-格林斯潘研究所。
近50年来,人们曾把预测未来经济状况的方法寄希望于计量经济学,以便对未来经济发展早有准备。但是,事实与希望相反,经济预测结果往往成为笑柄。为什么会这样?埃德加.E.彼得斯(Edgar
E.Peters)在《资本市场的混沌与秩序》和《分形市场分析》两部著作中,用大量有说服力的事实指出:问题首先出在均衡概念,计量经济学是以均衡为前提的,"如果没有外部的影响,系统处于休止状态",这是经济学家关于均衡的一个定义。供给等于需求,所有东西都是均衡的。其二,计量经济学忽视时间,或至少是把时间看成与其他变量是一样的,即市场和经济对过去没有记忆或只有短期记忆,价格的变化是随机的,并且遵从正态分布,市场是有效的。但所有的这些都不符合我们感知的现实。
正是因为现实经济活动所反映出来的非线性动力学变化特征,导致了采用经典的计量经济学方法预测的结果与实际情况之间产生了较大的偏差。日渐增多的事实表明,非线性不仅存在于经济数据中而且事实上是经济数据中的共性。这就是造成经典计量经济学预测失灵的根本原因。
2 混沌理论和分形市场假说
混沌与分形是联系密切的两个独立的理论体系,分形理论可对混沌的结构和形态进行刻划,两个理论都有深刻的理论内涵和广泛的应用领域。
混沌揭示的有序与无序的统一、确定性与随机性的统一,是继相对论和量子力学问世以来,本世纪物理学的第三次大革命,其覆盖面可达到包括自然科学与社会科学在内的几乎各个领域。混沌具有"有界"、"非周期"和"敏感初条件"三个本质特征。混沌是确定性非线性系统的有界的敏感初条件的非周期行为,任何一个确定性的非线性系统,只要它表现出"有界"、"非周期"和"敏感初条件"的特征,那么就可以认为该系统处于混沌状态。混沌并不是纯粹的杂乱无章、毫无规律可循,在所有可以产生混沌的非线性系统中都存在这种普适性的秩序。
用传统的几何观点来看,分形即是不规则的和复杂的。1986年曼德布罗特提出,"组成部分与整体以某种方式相似的形叫做分形"。分形反映了自然界中一大类事物的共同属性:局部与整体在形态、功能、信息、时间与空间结构等方面至少具有统计意义上的相似性。
彼得斯论证了经济时间序列是非线性动力学系统的产物。而非线性动力学过程是按时间迭代的反馈系统;在临界状态下,系统会出现混沌;系统的解,在相空间中的分布是分形吸引子;对初值敏感。市场为了自身的进化,不是追求均衡,而是远离均衡。这些特性,制约着人们预测未来的能力,经典的计量经济学方法论不能为这种复杂系统建模或无效。彼得斯提出?quot;分形市场假说",并应用于他所在的PANAGORA资产管理公司的资本运作实践,获得巨大的成功。不仅股市等资本市场的运行可以用分行市场理论进行解释和预测,而且越来越多的市场经济活动日益证明混沌和分形市场理论在分析预测中的正确性。
3 时序模式挖掘与分形市场分析决策支持系统
"时序模式挖掘与分形市场分析决策支持系统"是建立在长期研究(30年)、多学科实践的基础上开发出来的。它吸收了《资本市场的混沌与秩序》论述的最新市场动力学理论和方法,给出了一套可行的时序模式挖掘的方法,可以根据已知的市场经济数据,恢复(或找出替代的)未知的动力学系统方程,用于解释复杂系统的历史状态,并作出未来预报。该决策支持系统在许多领域的建模和预报实践中,经过实证检验,取得了经典计量经济学模型无法与之相比的成绩。
"时序模式挖掘与分形市场分析决策支持系统"是专门针对时序数据对象的非线性动力学统计分析、建模和预报的决策支持系统。它可以根据描述市场演变的多维历史数据,为复杂时序(非线性动力学过程)建立解释模型并预报出市场未来的演化与状态。可以评价解释模型的可靠性、稳定性和模型的推广能力。它可以解释经典计量经济学理论无法解释的市场现象,发现市场中有限的机会,为决策提供支持,提高企业参与全球市场竞争的能力。
该系统具有如下特点:
将混沌理论和分形市场方法应用于复杂系统建模。解决复杂时序过程(非线性动力学过程)的建模难、预报差难题;
定量时序数据库和相关的定性时序信息库进行连接,实现了实际分析预测过程中的定量数据与定性信息之间互动;
提供五种非线性动力学模型和附加的两种静态模型;
采用随机事件的激励因子量化处理随机定性因素的影响,增强模型适应突发事件的分析能力;
通过时域图直观展示时序数据对象的历史演变。用频域分析、重标级差分析图和时滞相图直观揭示时序数据对象内部的结构特征:Hurst指数值、时序对象的分形维数、有偏记忆(非周期循环)的时间长度。帮助确定解释模型的最大可能阶数;
提供与其他信息采集系统的数据接口,支持市场活动的在线分析和预测。
4 应用实例
实例一:北京市工业总产值分析和预报(2002年2月-2004年2月)
北京市月工业总产值近几年来呈现出波动式上升势头。这种变化趋势是否有其内在动力?我们是否可以根据历史数据分析预测未来?如果经济活动有其自身规律可寻,我们能否掌握这种变化规律?我们以北京市1993年1月-2002年2月的工业总产值数据进行为基础建模,以2002年3月-2002年6月的工业总产值进行模型检验,预测未来两年北京的工业总产值。起报时间为2002年2月。
图1为采用"时序模式挖掘与分形市场分析决策支持系统"进行分析后的模拟和预报结果。分析结果显示,北京市工业总产值增长呈现分形特点,有记忆时域长度为24,模型对历史数据模拟的平均相对误差
为 5.173% ( 82个数据记录),2002年3月-2002年6月间数据经过模型检验,预报的平均相对误差为2.702%。预报图显示从2002年2月起北京工业总产值进入一个新的快速增长期(比过去有更高的斜率)。尽管2003年四月,北京出现了"非典"疫情,但系统预测结果和事实证实"非典"并未影响北京工业增长。来自北京市统计信息网的消息确认,"非典疫情对部分企业有所影响,但对工业的总体影响并不明显,工业经济内部结构没有发生改变。"
图1 北京市工业总产值增长预测图(略)
实例二:英国伦敦石油交易所
- 布伦特原油周平均价分析和预报
用该系统预报2001年6月1日以后26周的布伦特原油周平均油价 (其间,经历了"9.11"事件)。图中红色垂线标出了起报时刻,它右侧红色曲线是预报油价;灰色曲线是实际油价。图2是采用"时序模式挖掘与分形市场分析决策支持系统"进行模拟和预报的结果图,它直观地展示了预报的结果。
2001年6月1日布伦特油价尚在每桶29.18美元的高位。预报图解显示:布伦特原油价格在半年内将有11美元的下跌幅度。从2001年9月下旬起,国际市场油价将跌破OPEC制定的每桶22美元的最低限价。到2001年11月下旬,布伦特油价将跌至每桶18美元附近。OPEC的以价定产的政策将受到严峻挑战。
这个在2001年6月初的预见,被后来国际市场油价的实际走势所证实。人民日报在2001年10月26日刊载的有关国际油价的新闻报导:"
欧佩克秘书长:为提高油价应迅速采取行动 "。同年10月25日,欧佩克秘书长罗德里格斯表示,欧佩克应当迅速采取行动,以重新稳定原油市场,因为原油价格已经下跌到每桶19美元以下。自从美国发生"9.11"恐怖袭击事件以来,石油市场油价已下跌27%。
图2 国际石油市场布伦特原油周平均价走势预测图(略)
5 结论
"时序模式挖掘与分形市场分析决策支持系统"可面向政府、金融和工商企业的各个决策层,为决策者提供了一个有力、高效、便捷的市场经济分析与建模工具。可以用于宏观经济分析,也可应用于石油、电力、化工、钢铁、金融、商业零售等行业的市场分析和预报,为决策提供支持,以提高企业参与全球市场竞争的能力。
版权所有,未经许可不得转载
|