本文目录一览：
简述spark的基本流程
1、到相应目录下编写程序，spark程序必须要创建一个SparkContext实例。SparkContext(master， projectName， SPARK_HOME， yourProject.jar path)sbt compile命令编译程序无错后，sbt package命令将程序打包。
2、Spark 6 之后默认为统一管理（UnifiedMemoryManager）方式，6 之前采用的静态管理（StaticMemoryManager）方式仍被保留，可通过配置 spark.memory.useLegacyMode=true 参数启用静态内存管理方式。
3、Worker的receive方法中，当Worker遇到LaunchDriver指令时，创建并启动一个DriverRunner，DriverRunner启动一个线程，异步的处理Driver启动工作。-apachespark
4、网上提示查看jdk版本，发现ubuntu 104默认是openjdk-11-jdk包(java -version提示0.1)。
请问大数据开发工具有哪些?
你好，目前大数据常用的工具有Apache Hadoop、Apache Spark、Apache Storm、Apache Cassandra、Apache Kafka等等。下面分别介绍一下这几种工具：Hadoop用于存储过程和分析大数据。Hadoop 是用 Java 编写的。-apachespark
可视化用到的工具 在数据可视化这个领域中，最常用的软件就是TableAU了。TableAU的主要优势就是它支持多种的大数据源，还拥有较多的可视化图表类型，并且操作简单，容易上手，非常适合研究员使用。
Hadoop Hadoop是用于分布式处理的大量数据软件框架。但是Hadoop以可靠，高效和可扩展的方式进行处理。Hadoop是可靠的，因为它假定计算元素和存储将发生故障，因此它维护工作数据的多个副本以确保可以为故障节点重新分配处理。-apachespark
专业的大数据分析工具 FineReport FineReport是一款纯Java编写的、集数据展示(报表)和数据录入(表单)功能于一身的企业级web报表工具，只需要简单的拖拽操作便可以设计复杂的中国式报表，搭建数据决策分析系统。-apachespark
常用的数据库开发工具有MySQL Workbench、Oracle SQL Developer、DataGrip、NineData等。
Hadop Hadoop诞生于2005年，是雅虎(Yahoo)为解决网络搜索问题而设计的一个项目。由于它的技术效率，后来被Apache软件基金会作为开源应用程序引入。
用spark获取日志文件中记录内容?
运行中的flink/spark的日志查看非常容易，因为它们本身都提供了web ui服务。但是当任务异常退出之后，flink/spark进程的结束导致无法提供web ui服务。我们利用job history server来保留和展示当时的日志。-apachespark
park+shark ，可以直接用hive原来的表。phpHiveAdmin将HQL请求发送给HAproxy负载的Hive server集群。 phpHiveAdmin读取Metadata的数据，注意这里是只读，并不存在对Metadata的读写。-apachespark
将日志收集到aws的S3存储，通过aws ES实时分析日志、Spark离线日志分析，支持无线扩容。利用logstash output直接到S3存储， 在aws建立好bucket，配置好logstash config文件将日志打入到bucket即可。-apachespark
你可以把你自己的Sigma规则添加到./custom-signatures/sigma/文件夹在SPARK计划目录。要激活Sigma扫描，请使用新的“-sigma”参数。目前只有SPARK支持这个功能，没有计划在THOR中也实现。-apachespark
如果读取的key对应的value不在内存中，那么Redis就需要从swap文件中加载相应数据，然后再返回给请求方。
spark处理4亿数据要多久
在Spark使用如上Hadoop提供的标准接口读取HBase表数据（全表读），读取5亿左右数据，要20M+，而同样的数据保存在Hive中，读取却只需要1M以内，性能差别非常大。转载，仅供参考。
Spark是一个快速且通用的集群计算平台，可以处理大数据量时候，比如几T到几P量级时候只需要几秒钟到几分钟。
对Spark/Hadoop 这样的分布式大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。 对于分布式系统而言，理想情况下，随着系统规模(节点数量)的增加，应用整体耗时线性下降。
