智慧型计算在大数据分析之应用_数据分析师培训
在数据爆炸量、多样化以及数据更新快速的时代下,大数据分析之应用日益受到重视,在商业智慧领域也无法避免;过去所处理的数据大都是属于结构性,亦为传统数据库用于协助解决商业行为的数据结构;近年来,由于数据产生的多元性,数据的产生有「4V」特性,即数据量大(Volume)、数据多样性(Variety)、高误差性(Veracity)、输入和处理速度快(Velocity),尤其非结构数据(如Text, image, video等)的大量形成,强烈冲击传统数据库的技术与应用;同时,因为大数据数据类别多、形成速度快,因此云端技术的支援与数据传输速度的充足与否,便是其能否顺利运作的重要关键,如订票系统、观看影片等,当数据都上传至云端时,除了有大量的数据存取空间外,频宽也必需充足,才能让使用者可及时下载所需数据。
但就因为数据产生越来越多、瞬间产生越来越快、样式越来越大,而且有不正确性、杂讯等干扰因素存在,因此软、硬体设备都需要升级,才能因应庞大且迅速产生的数据量。幸而Hadoop分散式并行处理系统的开发,让数据在够快的网路速度下可进行多个CPU的平行运算;此外,固态硬碟亦为大量数据储存的重要硬体设备;换句话说,CPU的平行运算、固态硬碟、及网路速度,在大数据的数据处理上,叁者缺一不可。本校张百栈教授所带领的商业智慧团队,其核心技术就在于处理大数据下之非结构性数据,利用智慧运算(Computational Intelligence, CI)技术,对非结构性数据进行数据探勘(Data Mining),而主要应用的领域在于股价讯号判定以及心跳数据判定,尤其是在股价讯号判定部分,该团队可进一步利用机器学习(Machine Learning)的方式进行股价预测。
智慧型计算技术应用在病例数据之判读
张百栈教授所带领的团队一直以来致于推广智慧型计算,并结合各域知(Domain Knowledge)解决同类型之问题,包括工厂排程问题、股市预测与医疗资讯叁大域。过去多年之研究在于结合四项智慧型计算技术:即探勘策、(类)经计算、演化式计算与自然计算,提出创新的Hybrid Model in Computational Intelligence (CI),用SOM (Self-Organizing Maps) 或K-means 先将资做分群,再将分群后的资找出其模煳资规则,进新的预测,所得到的正确比没有分群高出许多。这是因为分群后的资同质性高,从而求得之模煳资规则也具有代表性。此一模型也被国际上许多学者接受与引用。
该团队亦将此一模式进行改良,并应用于医疗领域中生理讯号处理与病例辨等问题。首先,将资以案例式推理方法分群,之后以模煳决策树与基因演算法,分别建立子群体之模煳规则,藉此判断是否为肝脏疾病与乳腺癌的病例,此项研究成果已发表在着名的Applied Soft Computing期刊上。近年发展出多导程心电图之心脏疾病辨,主要着重在心电讯号的处理:先将解码后的心电讯号除去杂讯,并进行波型取样,再以隐藏式马可夫模型训练方式,找出患病与健康病例之机模型,最后结合高斯混合模型的训练,进病例判读。目前台湾已有知名医院将患者的心电图资讯上传至云端,让医师可以从智慧型装置直接做判读,但由于心电图的判读颇费心力,部份医院会将这部分的工作外包,由具专业知识的全球人才进行心电图的分析,然后再以机器学习演算法(Machine Learning )的方式进行病历数据判读与建立数据库,这也就是大数据的应用。
分群技术与 TSK 模煳技术之股价指预测
此一团队亦运用各种软性计算技术,建立股价指预测之模型。其预测步骤是先将资分群,而后运用TSK 模煳技术找出影响股价指数的重要因素,再以机器学习演算法或类神经网络分析,进台湾加权指预测,并从中判定低点、高点的讯号,预测准确达到9成以上。目前此一预测模式仅纳入两个影响因子,分别为基本面和技术面;但如政治、经济、心理等「大环境」因素是最难控制的,因此未来可将出现在各线上新闻网站或社群媒体等之政经新闻中的文字,经处理、过滤后转换成影响股价波动的情感讯号,准确率将可望再提高,有助于降低投资风险,并提高投资报酬。
个股股价转折点及润赚取预测
图一、方法流程图
此一团队另一项股市预测技术,在于个别股价投资时点之研究。先将所欲投资的个股,其近半年至一年来的股价波动讯号,从非线性转成线性后,在高、低点时之相关技术面指标如KD、RSI、成交量等作为输入变数(input),并将股价转化为交易讯号(Trading signal)以作为输出变数(output),进而从中找出具代表性的变数;之后再将筛选出的因子,输入类神经网路中训练,也就是Machine Learning,进而预测股价之高、低点转折处。此部份可是股价指数预测部份之延伸,由于已可成功预测股价指,因此进一步探讨如何在股票市场中赚取润便相当重要,预测出个股价格转折点(Turning Point),便可让投资者能逢低买进、逢高卖出,提升投资报酬率;此部份之技术基础在于结合线段割(Piecewise Linear Representation, PLR)系统与类经网预测(Back-propagation Neural Network, BPN)等技术,而以 PLR 作为判断塬始资转折点之预测工具。研究程主要分为叁个步骤:首先,为增加投资报酬,我们将提出选股塬则,并以这些塬则选出具有投资效的个股;第二步骤,用预测模型及事先交易决策分析个股买卖点,输入变为技术指标值,输出变为买卖时点;第叁步骤,预测每日交易讯号,以获得最佳买卖时机点,即股价转折点(如图一)。
综上所述,张百栈教授所率领的商业智慧运算团队,除了基础分析技术超卓外,所应用分析的领域涵盖面极广并切合实际应用,尤其是对于生理资讯的判定方面,对于人类社会将会有长足的贡献,研究成果相当值得期待。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14