应用场景

需要为不同角色的用户分别提供管理系统用于管理资源。

整体架构

整体架构如图所示：

从14年5月至今，转眼一年多过去了，希望通过这篇文章对这段时间的主要工作做个简单的梳理、总结。

主要工作

搜狐公众平台（mp.sohu.com）是在搜狐门户改革背景下全新打造的分类内容的入驻、发布和分发全平台，通过搜狐网、手机搜狐网和搜狐新闻客户端三端来推广媒体和自媒体优质内容。搜狐公众平台主要流程如下图所示：

应用场景

应用场景是当用户在餐饮、娱乐场所消费时，可以用手机关注商户微信公众号，并从公众号中访问商户评论页面，发表评论，评论会实时推送至现场的各个显示屏终端上，因此就需要开发一个评论消息推送系统，该系统具体需要满足：

1. 能够向所有显示屏终端发送评论消息；
2. 能够指定向某台显示屏终端发送评论消息。

数据存储需求是：每天会生成大量文章数据，每条文章数据包含标题、内容、URL、发表时间等多个字段，数据后续不会更新，因此考虑使用Hive作为数据仓库存储这些数据。以下介绍使用Hive存储数据的实践步骤以及注意事项。

安装jdk1.7

1. 下载jdk-7u79-linux-x64.tar.gz至/usr/local目录，解压并创建软连接：

   tar -zxvf jdk-7u79-linux-x64.tar.gz
   ln -s jdk1.7.0_79 jdk

2. 在/etc/profile中增加环境变量：

   export JAVA_HOME=/usr/local/jdk
   export CLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
   export PATH=$JAVA_HOME/bin:$PATH

3. 重新打开shell，输入“java -version”，如下图所示，说明jdk1.7安装成功。
   

使用Python开发时，经常需要用到“pip install”安装依赖，但是“pip install”需要访问外网，并且默认源pypi在国内访问并不是很稳定。为了便于在公司内网服务器上安装依赖，我们使用pypiserver搭建pypi服务器。

类似于在Java中使用Maven管理依赖，在前端可以使用Bower管理包。类似于Maven中的pom.xml文件，Bower使用bower.json文件记录所需管理的包。

安装

Bower是一个命令行工具，可以使用node的npm命令进行安装：

npm install -g bower

Bower依赖node、npm和git，所以需要先安装node和git。

Storm Spout

通过实现Storm中的ISpout接口，重写其中的nextTuple、ack和fail方法，可以实现tuple流的发送、成功确认、失败重发。ISpout接口代码如下所示。

Storm集群如图所示：

其中包含一个nimbus节点和多个supervisor节点：

1. nimbus，负责在集群中分发代码，分配计算任务，监控失败等；
2. supervisor，负责在集群中按照nimbus的分配，启动和停止计算任务；
3. worker，实际执行spout和bolt任务的进程。

PostgreSQL与MySQL类似，也是一款开源、免费数据库。PostGIS是一款PostgreSQL插件，为PostgreSQL提供GIS支持。在开发页面点击热力图时，需要以(x,y)坐标方式存储点击位置，所以使用PostgreSQL+PostGIS存储点击数据。