×

link

Link汉语意思?Apache Flink和Apache Spark有什么异同它们的发展前景分别怎样

admin admin 发表于2022-05-02 05:43:32 浏览123 评论0

抢沙发发表评论

Link汉语意思

link

英[lɪŋk]    美[lɪŋk]    

n.    环,节; [计算机] 链接; 关联,关系;    

vt.    连结; 挽住,勾住;    

vi.    用环连接; 联系在一起;    

[其他]    第三人称单数:links 复数:links 现在分词:linking 过去式:linked过去分词:linked    

Apache Flink和Apache Spark有什么异同它们的发展前景分别怎样

Apache Fink是一种大规模的数据处理工具,它以大数据量的低数据延迟和高容错性快速处理大数据。它的定义特征是它能够实时处理流数据。

Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎,是一种与 Hadoop 相似的开源集群计算环境。

相同点:

都是apache 软件基金会(ASF)旗下顶级项目,都是通用数据处理平台。它们可以应用在很多的大数据应用和处理环境。两者均可在不依赖于其他环境的情况下运行于standalone模式,或是运行在基于hadoop(YARN,HDFS)之上,由于它们均是运行于内存,所以他们表现的都比hadoop要好很多。-Link

二者的不同:

Flink在进行集合的迭代转换时可以是循环或是迭代计算处理。flink的流式处理的是真正的流处理。流式数据一旦进入就实时进行处理,这就允许流数据灵活地在操作窗口。

Spark 在另一方面是基于弹性分布式数据集(RDD),这(主要的)给于spark基于内存内数据结构的函数式编程。它可以通过固定的内存给于大批量的计算。

如何用netlink接口读取内核路由表

获取内核路由表以及操作内核路由表有几种方法:读proc 或者用ioctl(sock_fd, SIOCADDRT, &rt),这里的第二个参数是设置路由表,读也有相应的参数,还有第三种方法就是用netlink接口对内核路由表进行读取、增加、删除操作如linaxing(牛牛)所说,以前是用IOCTL,不过那个读出的和netlink的有点差别,是信息量有差别.具体我也说不清楚,可查看相关maillist,那个牛人也就说了一句话 下面给出偶自己读内核路由表的一个程序,仿照zebra的用法 不过,最后读出的内容有点问题,好像还得转换一下,实在写不动了,欢迎批评! #include 《stdio.h》 #include 《string.h》 #include 《asm/types.h》 #include 《sys/socket.h》 #include 《linux/netlink.h》 #include 《linux/rtnetlink.h》 //#include 《sys/types.h》 //#include 《linux/uio.h》 #include 《errno.h》 #ifdef SEQ struct rtnl_handle { unsigned int seq; } #endif static void parse_rtattr(struct rtattr **tb, int max, struct rtattr *rta, int len) { while(RTA_OK(rta, len)) { if(rta-》 rta_type 《= max) tb[rta-》 rta_type] = rta; rta = RTA_NEXT(rta, len); } } int routeprint( struct sockaddr_nl *snl, struct nlmsghdr *h2) { #if 1 struct rtmsg *rtm; struct rtattr *tb[RTA_MAX + 1]; int len; int index; int table; void* dest; void* gate; char dest2; rtm = NLMSG_DATA(h2);//get the data portion of “h2 “ index = 0; dest = NULL; gate = NULL; table = rtm-》 rtm_table; len = h2-》 nlmsg_len - NLMSG_LENGTH(sizeof(struct rtmsg)); memset(tb, 0, sizeof tb); parse_rtattr(tb, RTA_MAX, RTM_RTA(rtm), len); if(tb[RTA_OIF]) index = *(int *)RTA_DATA(tb[RTA_OIF]); if(tb[RTA_DST]){ dest = RTA_DATA(tb[RTA_DST]); // printf( “debug dest\n “); } else dest = 0; #if 1 if(tb[RTA_METRICS]){ gate = RTA_DATA(tb[RTA_METRICS]); } #else if(tb[RTA_GATEWAY]){ gate = RTA_DATA(tb[RTA_GATEWAY]); //iprintf( “debug gate\n “); } #endif printf( “family:%d\t “,rtm-》 rtm_family); printf( “index: %d\t “, index); // memcpy(dest2, dest, 4); printf( “dest: %d\t “, dest); // printf( “dest: %c\t “, dest2); // printf( “dest: %c\t “, dest2); // printf( “dest: %c\t “, dest2); printf( “gate: %d\n “, gate); #endif return 1; } #ifdef SEQ int getroute(int sockfd,struct rtnl_handle *rtnl) #else int getroute(int sockfd) #endif { int i; int status, sendsize; unsigned char buf; struct iovec iov = {(void*)buf, sizeof(buf)}; struct sockaddr_nl nladdr; struct nlmsghdr *h; struct { struct nlmsghdr nlh; struct rtgenmsg g; }req; struct msghdr msg = { (void*)&nladdr, sizeof(nladdr), &iov, 1, NULL, 0, 0}; nladdr.nl_family = AF_NETLINK; req.nlh.nlmsg_len = sizeof(req); req.nlh.nlmsg_type = RTM_GETROUTE; //增加或删除内核路由表相应改成RTM_ADDROUTE和RTM_DELROUTEreq.nlh.nlmsg_flags = NLM_F_ROOT|NLM_F_MATCH|NLM_F_REQUEST; req.nlh.nlmsg_pid = 0; #ifdef SEQ req.nlh.nlmsg_seq = ++rtnl-》 seq;//may be 0? #else //int i; //if (i 》 4096) i = 1; req.nlh.nlmsg_seq = 1; #endif req.g.rtgen_family = AF_INET; printf( “sockfd: %d\n “, sockfd); if((sendsize=sendto(sockfd, (void*)&req, sizeof(req), 0, (struct sockaddr*)&nladdr, sizeof(nladdr))) 《 0){ perror( “sendto “); return -1; } printf( “sendsize= %d\n “,sendsize); if((status=recvmsg(sockfd, &msg, 0)) 《 0){ perror( “recvmsg “); return -1; } printf( “status= %d\n “,status); #if 1 //segmentation fault for(h = (struct nlmsghdr*)buf; NLMSG_OK(h, status); h = NLMSG_NEXT(h, status)) { if(h-》 nlmsg_type == NLMSG_DONE) { printf( “finish reading\n “); return 1; } if(h-》 nlmsg_type == NLMSG_ERROR) { printf( “h:nlmsg ERROR “); return 1; } routeprint(&nladdr, h); } #endif // printf( “Can ’t convert ’h ’\n “); // routeprint(h); return 1; } int main() { int sockfd; #ifdef SEQ struct rtnl_handle rth; #endif struct sockaddr_nl nladdr; if((sockfd = socket(AF_NETLINK, SOCK_RAW, NETLINK_ROUTE)) 《0){ perror( “netlink socket “); return -1; } nladdr.nl_family = AF_NETLINK; nladdr.nl_pad = 0; nladdr.nl_pid = 0; nladdr.nl_groups = RTMGRP_LINK|RTMGRP_IPV4_ROUTE| RTMGRP_IPV4_IFADDR; if(bind(sockfd, (struct sockaddr*)&nladdr, sizeof(nladdr)) 《 0){ perror( “bind “); close(sockfd); return -1; } #ifdef SEQ if(getroute(sockfd, &rth) 《 0){ #else if(getroute(sockfd) 《 0){ #endif perror( “can ’t get route\n “); return -1; } return 1; }