分类目录归档:Apache

ETL与大数据是什么关系?

一、ETL发展的历史背景

随着企业的发展,各业务线、产品线、部门都会承建各种信息化系统方便开展自己的业务。随着信息化建设的不断深入,由于业务系统之间各自为政、相互独立造成的数据孤岛”现象尤为普遍,业务不集成、流程不互通、数据不共享。这给企业进行数据的分析利用、报表开发、分析挖掘等带来了巨大困难。

在此情况下,为了实现企业全局数据的系统化运作管理(信息孤岛、数据统计、数据分析、数据挖掘) ,为DSS(决策支持系统)、BI(商务智能)、经营分析系统等深度开发应用奠定基础,挖掘数据价值 ,企业会开始着手建立数据仓库,数据中台。将相互分离的业务系统的数据源整合在一起,建立一个统一的数据采集、处理、存储、分发、共享中心,从而使公司的成员能够从不同业务部门查看综合数据,而这个过程中使用的数据处理方法之一就是ETL。

继续阅读

Go的web应用需要注意的点

fmt.Fprintf(w, “hello world!”)

w.Write([]byte(“test”))

http.Redirect(w, r, “124.100.com/test/a/b/”,301)

io.WriteString(w, “hello, world!hello, world!\n”)

Keepalived的配置详解

在初次安装后,在安装目录有个磨人的配置文件 ./etc/keepalived/keepalived.conf,将其复制到./etc/keepalived.conf,如果需要更多的配置示例,在./etc/keepalived/sample下有很多,可以借鉴。

继续阅读

Vagrant 常见命令

  • vagrant box add <name> <url>
    #新建box,可使用参数-f强制覆盖重名的box,url可以是远程地址,也可以是本地路径。
  • vagrant box list
    #显示当前shell 新建的box

继续阅读

Linux防火墙设定(iptables的使用)

 一、四种tables

  • filter (过滤器):主要跟进入 Linux 本机的封包有关,这个是预设的 table 喔!
INPUT:主要与想要进入我们 Linux 本机的封包有关;
OUTPUT:主要与我们 Linux 本机所要送出的封包有关;
FORWARD:这个咚咚与 Linux 本机比较没有关系, 他可以『转递封包』到后端的计算机中,
与下列 nat table 相关性较高。

继续阅读

CentOS下查看SeLinux状态及关闭

setenforce是Linux的selinux防火墙配置命令 执行setenforce 0 表示关闭selinux防火墙。
setenforce命令是单词set(设置)和enforce(执行)连写,另一个命令getenforce可查看selinux的状态。

一、查看SELinux状态:

/usr/sbin/sestatus -v      ##如果SELinux status参数为enabled即为开启状态
SELinux status:            enabled
Current mode:              permissive

SELinux status:            enabled
Current mode:              enforcing

继续阅读

sendfile详解

在apache,nginx,lighttpd等web服务器当中,都有一项sendfile相关的配置,在一些网上的资料都有谈到sendfile会提升文件传输性能,那sendfile到底是什么呢?它的原理又是如何呢?

继续阅读

虚拟主机 Virtual Host 的设置

一、应用场景

 +--------------+----------------+---------------------+
 | 域名          | 主机ip         | 对应的主目录          |
 +--------------+----------------+---------------------+
 | www.100.com  |192.168.80.135  | /var/www/html       |
 | bbs.100.com  |192.168.80.135  | /var/www/html/bbs   |
 | sns.100.com  |192.168.80.135  | /var/www/html/sns   |
 | ftp.100.com  |192.168.80.135  | /var/www/ftp        |
 +--------------+----------------+---------------------+

继续阅读

如何创建目录保护

一、应用场景

1111在浏览器中,输入http://www.100.com/whoami_/,弹出对话框要求验证用户名、密码。
http://www.100.com 本地设置了Host,并非真正的www.100.com,-_-!
/whoami_/ 数据库管理PHPMyAdmin目录,所以目录的安全级别要求很高。
继续阅读

ab压力测试工具

ab是apache自带的一种压力测试工具。ab可以直接在Web服务器本地发起测试请求,这至关重要,因为有些时候我们需要测试的仅仅是服务器的 处理性能,并不想掺杂着网络传输时间的影响。ab进行一切测试的本质都是基于HTTP的,所以可以说ab对于Web服务器软件的黑盒性能测试,获得的一切 数据和计算结果,都是可以通过HTTP来解释的。 继续阅读