不积跬步,无以至千里


  • 首页

  • 标签

  • 分类

  • 归档

  • 搜索

storm读书笔记

发表于 2015-08-15 | 分类于 大数据 | | 阅读次数:

什么是storm

  • 分布式实时计算系统;
  • 与hadoop为批处理提供map和reduce这两种操作原语类似,storm为实时处理也提供了spout和bolt这两种操作原语。

storm的特点:

  1. 可扩展性,通过增加集群机器、调整计算并行度,即可以扩展计算性能;
  2. 保证数据不丢失,每条消息至少能被执行一次;
  3. 健壮性,集群状态保存在zookeeper中,节点不保存状态,节点故障不影响系统运行;
  4. 容错性,计算任务错误时,能够及时重新分配、运行计算任务,保证计算任务永远运行;
  5. 支持多种开发语言,java、python等。
阅读全文 »

基于Selenium+PhantomJS模拟浏览器访问

发表于 2015-08-07 | 分类于 后端 | | 阅读次数:

介绍

Selenium

Selenium 是一个Web应用自动化测试工具集,可以在多个浏览器平台上执行测试用例。

阅读全文 »

SimpleDateFormat线程安全问题

发表于 2015-08-05 | 分类于 后端 | | 阅读次数:

在需要进行日期与字符串相互转换的类中,经常会声明一个静态的SimpleDateFormat变量,如下所示:

1
private static SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss")

阅读全文 »

OpenResty简介与实践

发表于 2015-04-20 | 分类于 后端 | | 阅读次数:

简介

OpenResty(亦称ngx_openresty)是一个基于Nginx的 Web 应用服务器。它集成了Nginx内核、LuaJIT、Lua语言实现的库以及许多第三方的Nginx模块。开发者可以使用Lua语言对Nginx中的C模块和Lua模块进行脚本编程,从而构建高性能的Web应用。

阅读全文 »

使用Resin部署Web Service

发表于 2015-04-15 | 分类于 后端 | | 阅读次数:

Resin是一款非常流行的Web Application服务器,可以部署servlet和JSP,同时,Resin也可以作为Web Service服务器。使用Resin部署Web Service的步骤如下。

阅读全文 »

使用MyBatis Generator逆向生成数据库读写代码

发表于 2015-04-12 | 分类于 后端 | | 阅读次数:

简介

MyBatis(前身是iBATIS)是一个基于Java的持久层框架,而MyBatis Generator (MBG)是一个根据数据库表结构为MyBatis和iBATIS逆向生成相关Java代码和配置文件的工具。
MBG可以生成:

  1. Java POJO,与数据库表结构对应;
  2. MyBatis和iBATIS规范的SQL映射配置文件,每个配置文件包含对一个表实现简单CRUD操作的SQL语句;
  3. MyBatis和iBATIS规范的Java客户端接口,提供对数据的增、删、查、改方法。
阅读全文 »

Move Zeroes

发表于 2015-03-13 | 分类于 数据结构与算法 | | 阅读次数:

Given an array nums, write a function to move all 0’s to the end of it while maintaining the relative order of the non-zero elements.
For example, given nums = [0, 1, 0, 3, 12], after calling your function, nums should be [1, 3, 12, 0, 0].
Note:
1.You must do this in-place without making a copy of the array.
2.Minimize the total number of operations

给定一个数组,把所有0移到数组末尾,同时保证非0数的相对顺序不变。不能使用额外的空间,且保证操作次数最小。 比如,数组[0,1,0,3,12],处理后得到的结果应该为[1,3,12,0,0]。

阅读全文 »

Kafka简介

发表于 2015-02-16 | 分类于 大数据 | | 阅读次数:

节选自Kafka官方文档(http://kafka.apache.org/documentation.html)

介绍

Kafka是一个分布式、分区消息服务,基本概念包括:

  1. topic,消息流;
  2. producer,向topic发布消息;
  3. consumer,订阅topic,接收、处理消息;
  4. broker,Kafka集群由多个broker组成。

producer_consumer

阅读全文 »

Infobright简介与实践

发表于 2014-11-21 | 分类于 关系数据库 | | 阅读次数:

infobright是一款基于MySQL的数据仓库,它采用列式存储,压缩比高,查询速度快。
infobright提供社区(ICE)和商业(IEE)两个版本,ICE版本不支持DML,无法执行insert、update、delete和alter操作。
在工作中,我们每天会通过hadoop统计出前一天全站每个页面的PV和UV,约有数几千万条记录。我们使用infobright来存储这些数据并提供快速查询。

阅读全文 »

使用GraphicsMagick+im4java处理图片

发表于 2014-11-10 | 分类于 后端 | | 阅读次数:

GraphicsMagick被称为图片处理的瑞士军刀,它的功能包括:

  • Convert an image from one format to another (e.g. TIFF to JPEG)
  • Resize, rotate, sharpen, color reduce, or add special effects to an image
  • Create a montage of image thumbnails
  • Create a transparent image suitable for use on the Web
  • Compare two images
  • Turn a group of images into a GIF animation sequence
  • Create a composite image by combining several separate images
  • Draw shapes or text on an image
  • Decorate an image with a border or frame
  • Describe the format and characteristics of an image
阅读全文 »
1234…9
magicwt

magicwt

89 日志
9 分类
49 标签
GitHub E-Mail
© 2018 magicwt
由 Hexo 强力驱动
|
主题 — NexT.Mist v5.1.4