大数据技术有哪些工具箱,怎样成为优秀的大数据工程师

数据科学与大数据技术目前的就业方向主要在IT行业，如大数据技术、大数据研究、数据管理、数据挖掘算法、工程应用开发等。大数据应用开发工程师是大数据领域的热门职位。由于目前大数据处于落地应用阶段，大量传统应用需要大数据改造，因此大数据应用开发岗位人才需求较多。

大数据具体是做什么？有哪些应用？

大数据即海量的数据，一般至少要达到TB级别才能算得上大数据，相比于传统的企业内数据，大数据的内容和结构要更加多样化，数值文本视频语音图像文档XMLHTML等都可以作为大数据的内容。提到大数据，最常见的应用就是大数据分析，大数据分析的数据来源不仅是局限于企业内部的信息化系统，还包括各种外部系统机器设备传感器数据库的数据，如政府银行国计民生行业产业社交网站等数据，通过大数据分析技术及工具将海量数据进行统计汇总后，以图形图表的方式进行数据展现，实现数据的可视化，在此基础上结合机器学习算法，对数据进行深度挖掘，发掘数据的潜在价值。

应用部分，大数据不仅包括企业内部应用系统的数据分析，还包括与行业产业的深度融合，大数据分析的应用场景具有行业性，不同行业所呈现的内容与分析维度各不相同，具体场景包括互联网行业政府行业金融行业传统企业中的地产医疗能源制造电信行业等等。1.\t互联网行业大数据的应用代表为电商社交网络检索领域，可以根据销售数据客户行为活跃度商品偏好购买率等数据交易数据商品收藏数据售后数据等搜索数据刻画用户画像，根据客户的喜好为其推荐对应的产品。

2.\t政府行业在大数据分析部分包括质检部门公安部门气象部门医疗部门等，质检部门包括对商品生产加工物流贸易消费全过程的信息进行采集验证检查，保证食品物品安全气象部门通过构建大气运动规律评估模型气象变化关联性分析等路径，精准地预测气象变化，寻找最佳的解决方案，规划应急救灾工作。3.\t金融行业的大数据分析多应用于银行证券保险等细分领域，在大数据分析方面结合多种渠道数据进行分析，客户在社交媒体上的行为数据在网站上消费的交易数据客户办理业务的预留数据，结合客户年龄资产规模消费偏好等对客户群进行精准定位，分析其在金融业的需求等。

4.\t传统行业包括能源电信地产零售制造等。电信行业借助大数据应用分析传感器数据异常情况，预测设备故障，提高用户满意度能源行业利用大数据分析挖掘客户行为特征消费规律，提高能源需求准确性地产行业通过内外部数据的挖掘分析，使管理者掌握和了解房地产行业潜在的市场需求，掌握商情和动态，针对细分市场实施动态定价和差别定价等制造行业通过大数据分析实现设备预测维护优化生产流程能源消耗管控发现潜在问题并及时预警等。

数据科学与大数据技术与软件工程有什么区别？哪个好？

首先要知道的是科学解决理论问题，技术解决实际问题。然后再来看这三个专业的区别。数据科学，有科学二字，显然是研究数据的理论问题，如数据安全，数据分析，统计学，机器学习等方面，这里面显然是需要用到计算机来处理和分析数据的，但只要会写求解问题的程序，不要求会开发软件。 大数据技术，其实广义的大数据技术也包含理论方面，如数据挖掘，模式识别，人工智能等，这些与数据科学是交叉的地方的。

狭义的大数据技术，指的是在分布式环境下，对海量数据进行存储，计算的技术，需要有计算机专业基础，如编程能力，操作系统Linux等。软件工程，是一门研究如何系统性，科学性的开发软件项目的学科。开发出的软件可以用于各行各业，当然也包括数据科学方面和大数据方面。总结起来，数据科学可以归到数学学科，软件工程可以归到计算机学科。

怎样成为优秀的大数据工程师？需要具备哪些技术？