重庆誉存大数据科技有限公司（SocialCredits，简称“誉存科技”）是国内领先的企业级大数据服务商，由来自PayPal、Visa、eBay、Google等世界顶级金融科技公司的大数据及人工智能科学家和技术高管创办，致力于用前沿的大数据+人工智能技术，深度挖掘数据价值，为金融机构和政府监管部门提供大数据智能风险管理解决方案。

公司自创立以来，始终坚持自主研发与创新，并立足重庆辐射全国，在北京、上海、广州、深圳、济南、贵阳等地设立市场分部，累计为超过1000家机构提供了基于大数据的智能风险管理解决方案，广泛覆盖了银行、担保、小贷、保理、融资租赁、互联网金融、政府监管部门等多个领域。

在“技术为本，服务市场”的核心理念支撑下，誉存科技实现了从数据采集、数据清洗、数据分析到数据应用的一系列创新与突破。自主研发了一套智能数据分析系统，独创对企业数据库进行数据分词的模型，并将公司独有的风险量化模型等核心技术，落地到了基于大数据的智能金融领域，形成了一套多维度产品体系，包括服务于金融机构的大数据智能风控平台，服务于政府部门的大数据智能风险监管平台，服务于中小企业的大数据助贷融资平台，服务“一带一路”沿线国家的企业大数据服务平台。

此外，誉存科技作为金融科技领域的先行者和领军企业，一直没有忘记自己的使命与责任，除了在硅谷建立人工智能技术研究流动站，不断将国际前沿的大数据及人工智能技术带回国内以外，还联合人民银行下属中国金融认证中心（CFCA）、重庆政府及中国科学技术大学、上海财经大学、厦门大学、上海交通大学、四川大学等高等院校在重庆落地成立了百行智能研究院，旨在打造国家级创新平台，建立通畅的人才引进、流动及培养机制，高效合理的转化科研成果，构建产学研用深度融合的良性生态。

誉存科技主要服务于金融类的企业级客户，这就意味着公司必须更加严格地把控产品质量。在数据采集方面，系统不仅需要最大程度地覆盖各类数据信息，而且在数据处理方面，也需要高效、精确的数据处理能力，最后配合公司自身强大算法模型，产出高价值的数据。此外，由于金融行业的特殊性，对数据安全的要求极高。不仅要求采用严格的数据加密技术，还对服务器本身的安全性有着严格的要求。

在项目研发初期，誉存科技使用了国内的某云平台作为其IT基础架构。除了用于计算和存储的基本需求外，誉存科技还利用云服务器自建了一套Hadoop的数据处理平台。随着公司业务的不断提升，技术团队发现当时的云平台不能满足自动扩展的需求，数据安全得不到保障，公司需要投入大量的人力管理和维护服务器。因此需要一家云服务提供商来帮助誉存科技在数个地区为不同客户提供大数据分析服务。

格雷西司针对上述问题，为客户提供相关优化方案、数据迁移方案：

1、为最大限度减少中断、成本和所用时间，利用AWS 托管云数据迁移工具，将现有的应用程序通过行业标准数据块和磁带存储协议连接到本地网关，以在 Amazon S3中存储数据；同时，结合AWS Direct Connect以确保实现最优性能，轻松地从当前位置移至新的云环境。

2、在分布式爬虫系统、数据存储介质、异步消息系统和 MR 工作群方面进行优化和改造方案：

1）针对分布式爬虫系统的服务器，采用 AWS EC2 的竞价实例，并结合 Spot Fleet API 编程，完成竞价实例动态配置，在无需人工干预的同时，将此模块的服务器成本降低了70%以上。同时，通过 AWS EIP 创建独立IP池，提升爬虫的存活率。在数据采集、清洗阶段，储存介质大量使用S3，既降低了成本，又增强了数据格式的多样性。

2）引入 AWS SQS 异步消息系统，能够更好地结合 AWS EMR 平台，大幅提升异步处理数据的能力。

3）为分布式爬虫系统和数据分析系统创建独立的EC2集群，将中间数据和一部分结果数据存入S3中。

3、使用AWS CloudWatch监控服务器的运行情况,提升运维预警能力；

4、通过IAM管理用户和权限，同时通过CloudTrail审计用户的操作日志，提升云服务资源的安全性和可追溯性。

5、将可展示的分析结果数据写入ElatiCache中，加速数据查询效率，同时减少后端数据库压力。

 

双方工程师经过近3个月的配合，于2018年3月26日完成数据迁移并完成相关应用服务在AWS云部署上线。现誉存科技可以轻松应对每天TB级数据处理和分析，从数据采集到最终结果的生成，时间周期由以前的 T+1 缩短到了 T+0。更加有趣的是，在提升云服务资源使用量的同时，总体成本反而降低了一个数量级。“合理的选择云服务产品与合作伙伴，使我们不再受限于成本控制或者服务器的性能瓶颈，从更广的数据维度去寻找蛛丝马迹，让风控更加精准。将专业的事情交给专业的团队来处理，这将使我们更加专注自身的技术领域和产品，为技术型公司带来更多的可能性。”誉存科技 CTO 严开说。