在大规模的网络爬虫编程中,网页编码识别是必不可少的,本文将介绍如何通过C#来自动识别网页的编码。文中会分析几种可行的方法并提供源码,部分源码来源于开源代码改写而来。
使用Icinga2监控服务器带宽以及内存占用
监控是系统运维的基础,Icinga是一个开源的监控系统框架,通过其广泛的插件支持,你可以监控几乎任何你能想到的网络资源;也可以在超过临界值时给予通知,根据监控数据生产报表。本文将介绍如何通过SNMP协议来监控服务器的带宽以及内存占用。
ImitateLogin新增插件机制以及又一个社交网站的支持
我的文章里已经多次介绍 imitate-login ,这是我最近一直在维护的一个使用c#模拟社交网站登录的开源项目,现在新增了对插件的支持以及一个新的网站(由于某种原因,会在文章结束部分介绍;而且仅会出现在博客中)。希望喜欢的读者可以通过 Star & fork 来支持我,我也会据此来决定时间的分配。
使用Icinga2监控Linux和Windows服务器
Icinga2可以通过Agent来监控其它设备,这些设备包含各种操作系统的服务器以及网络设备。一些简单的网络指标监控是不需要创建Agent的,例如ping和ssh;但是某些无法通过网络获取的指标则需要在被监测服务器创建一个监控代理来将指标返回给监控服务器。本文将介绍如何在Linux和Windows服务器上安装和配置Agent来实现多机器的监控。
Storm适配器(.Net)升级说明以及一些性能数据
storm-net-adapter 是一个使用C#编写的 Apache Storm 适配器;用于在 .Net 环境下开发 Storm 原生支持的拓扑,以及通过DRPC来远程跨语言使用集群计算资源。距离首次介绍已经更新了3个版本,带来了数项功能与性能的改进!下面将对改进部分进行说明。
使用ImitateLogin模拟登录百度
在之前的文章中,我已经介绍过一个社交网站模拟登录的类库:imitate-login ,这是一个通过c#的HttpWebRequest来模拟网站登录的库,之前实现了微博网页版和微博Wap版;现在,模拟百度登录的部分也已经完成。由于个人时间的限制,加上目前有多个项目在同时进行,因此更新频率会根据项目关注度来决定(Star & fork)。
使用Docker快速部署Storm环境
Storm的部署虽然不是特别麻烦,但是在生产环境中,为了提高部署效率,方便管理维护,使用Docker来统一管理部署是一个不错的选择。下面是我开源的一个新的项目,一个配置好了storm与mono环境的Docker镜像编排:storm-mono-docker。
安装与配置Icinga Web2
Icinga Web2是Icinga2的Web前端展示界面之一,它也是支持Icinga2的Web界面中我个人最喜欢的。通过Icinga Web2,你可以方便的展示与管理你的监控,也可以自定义一些显示模块。本文将介绍Icinga Web2的安装与配置,其中部分经验可能在Icinga2的其它Web界面也适用。
安装Icinga Web2所需服务
Icinga Web2是Icinga2的Web前端展示界面之一,它也是支持Icinga2的Web界面中我个人最喜欢的。通过Icinga Web2,你可以方便的展示与管理你的监控,也可以自定义一些显示模块。本文将介绍Icinga Web2的安装与配置,其中部分经验可能在Icinga2的其它Web界面也适用。
使用Icinga2和Icinga Web2搭建监控服务
监控是系统运维的基础,Icinga是一个开源的监控系统框架,通过其广泛的插件支持,你可以监控几乎任何你能想到的网络资源;也可以在超过临界值时给予通知,根据监控数据生产报表。本文主要介绍其搭建过程,大部分内容翻译自官方文档。