ITeye博客

qgl

quguilai · 共 116 篇文章

单机版splunk创建索引和重写source,sourcetype,原日志保持不变

indexes.conf [custom] homePath = $SPLUNK_DB\custom\db coldPath = $SPLUNK_DB\custom\colddb thawedPath = $SPLUNK_DB\custom\thaweddb tstatsHomePath = volume:_splunk_summaries\custom\datamodel_summary maxMemMB = 20 maxConcurrentOptimizes = 6 maxHotIdleSecs = 86400 maxHotBuckets = 10 maxDataSize = auto_…

2017-09-06 23:16 · splunk · 评论(0)

创建索引字段

package splunktest; import java.io.BufferedWriter; import java.io.OutputStream; import java.io.OutputStreamWriter; import java.net.Socket; public class InputTest { public static void main(String[] args) throws Throwable { Socket socket = new Socket("localhost", 60001); // 向服务端程序发送数据 OutputStream op…

2017-09-02 22:24 · splunk · 评论(0)

proxy

sdf

2017-08-20 19:22 · proxy · 评论(0)

splunk proxy

test

2017-08-20 19:19 · splunk · 评论(0)

splunk test

<!DOCTYPE html> <html lang="en"> <head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"> <title>Basic Page</title> <link rel="stylesheet" type="text/css" href="static/splunkjs/css/bootstrap.css"/> </head> <body> <h4>A chart and an events viewer displaying result…

2017-08-14 22:48 · splunk · 评论(0)

splunk test1

curl -k -u admin:changeme https://localhost:8089/services/auth/login -d username=admin -d password=changeme http://dev.splunk.com/view/SP-CAAAEWS http://docs.splunk.com/Documentation/Splunk/6.6.2/RESTREF/RESTaccess#auth.2Flogin <!DOCTYPE html> <html lang="en"> <head> <meta charset="utf-8"> <meta ht…

2017-08-14 22:47 · splunk · 评论(0)

index route

https://answers.splunk.com/answers/50761/how-do-i-route-data-to-specific-index-based-on-a-field.html 2012/06/07 10:45:50 service=srvc1 server=node3 score=50 seq=55041 2012/06/07 10:45:50 service=srvc3 server=node1 score=17 seq=55042 2012/06/07 10:45:50 service=srvc2 server=node1 score=67 seq=55043 …

2017-08-02 23:42 · splunk · 评论(0)

云计算知识点

用户:租户, soc/hds应用管理员,splunk系统管理员(admin),服务管理员( 管理console) 应用:服务应用(soc/hds) 角色:租户角色,应用开发角色, splunk管理员角色,soc/hds服务管理员角色 能力: log.hds log.vulscan log.waf log.common log.manual log.soc/hds.mangement service.soc service.hds service.soc.internal service.soc.manual 场景: 服务权限 API权限: 模型权限: 内部模型: 自助模型: 应用权限

2017-07-31 22:33 · 角色 · 评论(0)

kafka点滴

~Kafka的目的就是要成为一个队列平台,仅仅使用它就能够既支持离线又支持在线使用这两种情况 ~consumer group是接收消息的最小单位,也就是consumer group消费的消息只由其中的一个consumer接收。 ~每个kafka队列都有分区数,每个分区在物理上对应一个文件夹, 以”topicName_partitionIndex”的命名方式命名,该文件夹下存储这个分区的所有消息(.log)和索引文件(.index),这 使得Kafka的吞吐率可以水平扩展。 ~同一Topic的一条消息只能被同一个Consumer Group内的一个Consumer消费,但所有监听此topic的…

2016-08-14 12:31 · 大数据 · spark · 评论(0)

Spark Stream点滴

~spark stream的工作原理是接收实时输入数据流生成表示RDD序列的Dstream,由spark引擎处理生成按批次的结果流。 ~Dstream也提供类似RDD的各种算子,实际上在Dsream上的算子也会传递给起内部的一系列RDD。 DStream 中 有一个HashMap[Time,RDD[T]]类型的对象 generatedRDDs,其中Key为作业开始时间,RDD为该DStream对应的RDD ~Dstream的类型保护InputDstream,TransformedDstream,OutputDstream,其中OutputStream的操作触发job的执行。 ~spark s…

2016-08-13 18:57 · spark · 评论(0)

spark源码

http://blog.csdn.net/anzhsoft/article/details/48594363 http://blog.sina.com.cn/s/blog_8813a3ae0102v4d9.html

2016-07-25 23:37 · spark · 评论(0)

spark 源码疑问

protected def getInputFormat(conf: JobConf): InputFormat[K, V] = { val newInputFormat = ReflectionUtils.newInstance(inputFormatClass.asInstanceOf[Class[_]], conf) .asInstanceOf[InputFormat[K, V]] newInputFormat match { case c: Configurable => c.setConf(conf) case _ => } newInputFormat }

2016-07-20 22:56 · spark · 评论(0)

intellij idea 快捷键

ctrl+F12 查看当前类方法 ctrl+H查看类的继承情况 ctrl+shift+H 查看方法的继承情况 ctrl+alt+H查看方法的调用情况 Ctrl+Alt+B 查看实现类

2016-07-19 23:01 · spark · 评论(0)

Spark架构与作业执行流程

转载于:http://www.it165.net/pro/html/201404/11952.html http://blog.csdn.net/hwssg/article/details/38537523 park应用程序的运行架构: (1)简单的说: 由driver向集群申请资源,集群分配资源,启动executor。driver将spark应用程序的代码和文件传送给executor。executor上运行task,运行完之后将结果返回给driver或者写入外界。 (2)复杂点说: 提交应用程序,构建sparkContext,构建DAG图,提交给scheduler进行解析,解析成一个个st…

2016-07-16 10:43 · spark · 评论(0)

spark点滴

~spark的核心是把数据源抽象为分布式对象RDD,分布在各个计算节点的内存中。本地计算+内存+集群计算使得spark效率比较高。 ~对于用户来说RDD自带各种算子,使得编写分布式程序和本地程序一样,而spark通过把RDD的算子转换成各个实际工作的task,并把task的序列化为class字节码,从而能在各个计算节点反序列化,加载并运行。 ~,每个新的action操作都会使整个RDD重新计算,可以使用缓存解决。 ~.sc.textFile()时,数据并没有读取进来,和转换操作一样,读取数据操作也有可能会被多次读取,这个是浪费内存的 ~,RDD由分布在不同节点上的partition组成,pa…

2016-07-14 22:36 · spark · 评论(0)