上个世纪七十年代到现在,可以直接存储和访问数据的新技术问世了。人们称之为直接存取存储设备(Direct Access Storage Device)。它的使用根本不同于以往的存储方式。如果人们对某条信息感兴趣,不再需要把所有与这条信息有关的数据都提取出来,只需要拿出所需要的数据即可。随着直接存取存储设备的出现,出现了数据库管理系统(Data Base Management System)这种管理软件。它可以方便的管理在直接存取存储设备上的数据存储、访问。到后来,联机事务处理(On Line Transaction Process)的出现,使得电子票务系统,电子银行系统的一步步的实现了。这也就为实时查询和索取信用信息,进行风险审核、生成信用报告铺平了道路。在西方发达国家,审核一个信用卡的申请通常不超过10分钟,主要就是通过类似这种系统来完成的。

随着数据库技术的发展,为了便于商务决策的制定,出现了数据仓库技术(Data Warehouse).它将来自不同数据源的数据整合在统一的框架之下。数据仓库技术包括数据清理、数据整合、在线分析(OLAP)等等。

随着数据库技术的迅速发展以及数据库管理系统的广泛应用,人们积累的数据越来越多。因此,具有强大数据分析功能的工具就成了一种必不可少的技术手段来挖掘这些数据的价值。没有数据分析工具的帮助,不断增长的数据已经大大超越了人类可以驾驭的程度。这就是人们常说的“信息丰富下的知识匮乏。”假如管理人员没有足够的工具来分析和理解海量的业务数据,他们就只能根据自己的经验来进行判断和策略制定。然而不幸的是,脱离开数据的经验判断往往是靠不住的和不够精确的。

现代数据分析、数据挖掘技术可以从大量的数据当中,通过科学的数据分析,寻找到有价值的知识。

人们最早从数据只是读出总体综合性的信息,比如几年以来的销售业绩如何。因为当时的数据库并不支持对某一条数据的查询。后续的技术大大方便了对数据的读取,人们可以自由的查询符合某种条件的信息。到这个时候,就可以索取比如公司去年三月份到去年五月份北京地区的销售业绩这样的比较具体的信息了。随着技术的进步,人们越来越希望对数据背后所隐藏的规律进行探索,也就是所谓的商业信息。比如销售业绩与消费者年龄的关系,与消费者文化程度的关系,与地域的关系等等。这就是数据仓库中维度分析的概念。

数据的进一步积累和技术的进一步发展,给更高级的应用提供了可能。比如对商业前景的预测,对市场情况的预测等等。其中数据挖掘技术的使用日益广泛。对海量数据的收集、存储,更强大处理能力服务器的出现以及数据分析、数据挖掘算法的成熟使数据库技术进入了一个更高级的阶段,它不仅能对数据进行查询和遍历,并且能够找出数据之间的联系,从而提炼出规律性的信息为决策和预测服务。上述就是支持数据挖掘技术的基础。

经过10几年的发展,目前数据挖掘系统正在走向具体的行业和应用。比如生物化学与DNA分析,金融业、零售业、电信业等等。这些具有行业特点的数据挖掘技术形成了具有鲜明行业背景的数据挖掘解决方案。

一批成熟的统计方法被数据挖掘系统所采用,包括回归分析,广义线性模型,方差分析,因子分析,时间序列分析等等。

现代信用风险管理技术的发展越来越依靠上面提到的两种技术,即数据挖掘技术和统计分析技术。由于信息化水平的不断提高,数据的积累速度成绩和技术增长。怎样从数字的海洋当中寻找所需要的知识是人们所面临的重要挑战。而数据挖掘技术和统计分析技术为我们的探索提供了有力的工具。