股票财经直播行情分析网-阿牛直播

股票直播视频行情分析

学习炒股票、牛股预测、短线炒股技巧、股票学习视频教程、最新股市消息、股票行情分析

大数据的处理

中性
标签: 大数据的处理
阿牛智投 来源:阿牛智投 2022-01-20 14:19:21

       大数据的处理分为采集、导入或者预处理、统计或者分析、挖掘四个方面的处理。

  1. 大数据处理之一:采集

  大数据的采集是指利用多个数据库来接收发自客户端(Web、App或者传感器形式等)的数据,并且用户可以通过这些数据库来进行简单的查询和处理工作。比如,电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据,除此之外,Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。

  在大数据的采集过程中,其主要特点和挑战是并发数高,因为同时有可能会有成千上万的用户来进行访问和操作,比如火车票售票网站和淘宝,它们并发的访问量在峰值时达到上百万,所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

大数据的处理

  2. 大数据处理之二:导入/预处理

  虽然采集端本身会有很多数据库,但是如果要对这些海量数据进行有效的分析,还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库,或者分布式存储集群,并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算,来满足部分业务的实时计算需求。

  导入与预处理过程的特点和挑战主要是导入的数据量大,每秒钟的导入量经常会达到百兆,甚至千兆级别。

  3. 大数据处理之三:统计/分析

  统计与分析主要利用分布式数据库,或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等,以满足大多数常见的分析需求,在这方面,一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata,以及基于MySQL的列式存储Infobright等,而一些批处理,或者基于半结构化数据的需求可以使用Hadoop。

  统计与分析这部分的主要特点和挑战是分析涉及的数据量大,其对系统资源,特别是I/O会有极大的占用。

  4. 大数据处理之四:挖掘

  与前面统计和分析过程不同的是,数据挖掘一般没有什么预先设定好的主题,主要是在现有数据上面进行基于各种算法的计算,从而起到预测(Predict)的效果,从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes,主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂,并且计算涉及的数据量和计算量都很大,常用数据挖掘算法都以单线程为主。

  整个大数据处理的普遍流程至少应该满足这四个方面的步骤,才能算得上是一个比较完整的大数据处理。

       上文就是对大数据的处理的简单说明,对这类文章感兴趣的朋友可以关注小编。

警示:文中如涉及个股仅作案例之用,不构成任何推荐!据此操作,风险自负!

推荐

    点击输入您的评论(文明发言、理性评论,勿发恶意评论,禁止人身攻击)   请勿发任何形式的广告、勿私自建群、发布群号、QQ号或其他联系方式! 请勿向他人索要联系方式。请所有用户小心非官方QQ号,谨防上当受骗!
    

    精品说说更多

      推荐课程

        风险提示:观点仅供参考学习,不构成投资建议,操作风险自担。

        版权所有: 上海点掌文化科技股份有限公司 (2012-2022)
        互联网ICP备案 沪ICP备13044908号-1 广播电视节目制作经营许可证(沪)字第0428号 沪ICP证:沪B2-20150089 互联网直播服务企业备案号:201708210015
        沪公网安备 31010702001519号 违法和不良信息举报热线:021-31268885 网站安全值班QQ:800800981 举报邮箱:

        您还未绑定手机号

        请绑定手机号码,进行实名认证。

        立即绑定

        X

        您修改的价格将提交至后台审核审核时间为1个工作日,请耐心等待

        确定 取消
        X

        互联网跟帖评论服务管理规定

        第一条 为规范互联网跟帖评论服务,维护国家安全和公共利益,保护公民、法人和其他组织的合法权益,根据《中华人民共和国网络安全法》《国务院关于授权国家互联网信息办公室负责互联网信息内容管理工作的通知》,制定本规定。

        第二条 在中华人民共和国境内提供跟帖评论服务,应当遵守本规定。

        本规定所称跟帖评论服务,是指互联网站、应用程序、互动传播平台以及其他具有新闻舆论属性和社会动员功能的传播平台,以发帖、回复、留言、“弹幕”等方式,为用户提供发表文字、符号、表情、图片、音视频等信息的服务。

        第三条 国家互联网信息办公室负责全国跟帖评论服务的监督管理执法工作。地方互联网信息办公室依据职责负责本行政区域的跟帖评论服务的监督管理执法工作。

        各级互联网信息办公室应当建立健全日常检查和定期检查相结合的监督管理制度,依法规范各类传播平台的跟帖评论服务行为。

        第四条 跟帖评论服务提供者提供互联网新闻信息服务相关的跟帖评论新产品、新应用、新功能的,应当报国家或者省、自治区、直辖市互联网信息办公室进行安全评估。

        第五条 跟帖评论服务提供者应当严格落实主体责任,依法履行以下义务:

        (一)按照“后台实名、前台自愿”原则,对注册用户进行真实身份信息认证,不得向未认证真实身份信息的用户提供跟帖评论服务。

        (二)建立健全用户信息保护制度,收集、使用用户个人信息应当遵循合法、正当、必要的原则,公开收集、使用规则,明示收集、使用信息的目的、方式和范围,并经被收集者同意。

        (三)对新闻信息提供跟帖评论服务的,应当建立先审后发制度。

        (四)提供“弹幕”方式跟帖评论服务的,应当在同一平台和页面同时提供与之对应的静态版信息内容。

        (五)建立健全跟帖评论审核管理、实时巡查、应急处置等信息安全管理制度,及时发现和处置违法信息,并向有关主管部门报告。

        (六)开发跟帖评论信息安全保护和管理技术,创新跟帖评论管理方式,研发使用反垃圾信息管理系统,提升垃圾信息处置能力;及时发现跟帖评论服务存在的安全缺陷、漏洞等风险,采取补救措施,并向有关主管部门报告。

        (七)配备与服务规模相适应的审核编辑队伍,提高审核编辑人员专业素养。

        (八)配合有关主管部门依法开展监督检查工作,提供必要的技术、资料和数据支持。

        第六条 跟帖评论服务提供者应当与注册用户签订服务协议,明确跟帖评论的服务与管理细则,履行互联网相关法律法规告知义务,有针对性地开展文明上网教育。跟帖评论服务使用者应当严格自律,承诺遵守法律法规、尊重公序良俗,不得发布法律法规和国家有关规定禁止的信息内容。

        第七条 跟帖评论服务提供者及其从业人员不得为谋取不正当利益或基于错误价值取向,采取有选择地删除、推荐跟帖评论等方式干预舆论。跟帖评论服务提供者和用户不得利用软件、雇佣商业机构及人员等方式散布信息,干扰跟帖评论正常秩序,误导公众舆论

        第八条 跟帖评论服务提供者对发布违反法律法规和国家有关规定的信息内容的,应当及时采取警示、拒绝发布、删除信息、限制功能、暂停更新直至关闭账号等措施,并保存相关记录。

        第九条 跟帖评论服务提供者应当建立用户分级管理制度,对用户的跟帖评论行为开展信用评估,根据信用等级确定服务范围及功能,对严重失信的用户应列入黑名单,停止对列入黑名单的用户提供服务,并禁止其通过重新注册等方式使用跟帖评论服务。国家和省、自治区、直辖市互联网信息办公室应当建立跟帖评论服务提供者的信用档案和失信黑名单管理制度,并定期对跟帖评论服务提供者进行信用评估。

        第十条 跟帖评论服务提供者应当建立健全违法信息公众投诉举报制度,设置便捷投诉举报入口,及时受理和处置公众投诉举报。国家和地方互联网信息办公室依据职责,对举报受理落实情况进行监督检查。

        第十一条 跟帖评论服务提供者信息安全管理责任落实不到位,存在较大安全风险或者发生安全事件的,国家和省、自治区、直辖市互联网信息办公室应当及时约谈;跟帖管理服务提供者应当按照要求采取措施,进行整改,消除隐患。

        第十二条 互联网跟帖评论服务提供者违反本规定的,由有关部门依照相关法律法规处理。

        第十三条 本规定自2017年10月1日起施行。

        请前往个人中心进行实名认证

        立即前往
        请选择打赏数
        • 10牛
        • 30牛
        • 50牛
        • 其它
        砖家也不容易,有你打赏更精彩

        该文章您还未购买,确定要打赏吗?

        付100牛即可查看有谁在踩

        您还未绑定手机号

        请输入手机号码,获取验证码进行手机绑定。

        获取验证码

        您的个人信息将严格保密,请放心填写

        赠人玫瑰 手有余香
        感谢您的鼓励,点赞之余再留个言吧!
        换一组 换一组