ITeye博客

davidxiaozhi的博客

davidxiaozhi · 共 118 篇文章

重设SVN 的GNOME keyring [(null)] 的密码

在ubuntu里如果改了登录密码,那么在使用svn是会要求GNOME keyring [(null)] 的密码: 去掉这个只需:rm -f ~/.gnome2/keyrings/login.keyring

2013-11-07 15:51 · 工作中问题总结 · 评论(0)

hive reduce资源数过多导致集群内资源堵塞方案解决

我们先看一看map中对reduce个数产生影响的两个参数 hive.exec.reducers.bytes.per.reducer(每个reduce任务处理的数据量,默认为1000^3=1G) hive.exec.reducers.max(每个任务最大的reduce数,默认为999) hive计算reducer数的公式很简单N=min(参数2,总输入数据量/参数1) ,即如果reduce的输入(map的输出)总大小不超过1G,那么只会有一个reduce任务.。 针对有些hql,由于我们的产生的计算中间数据量很庞大,那么必然到导致我们的reduce数目过大,甚至超过我们现有集群的全部reduc…

2013-09-05 10:01 · hadoop · 评论(0)

将博客搬至CSDN

(为了确认是您本人在申请搬家,请在原博客发表一 篇标题为《将博客搬至CSDN》的文章, 并将文章地址填写在上方的"搬家通知博文地址"中。)

2013-07-22 13:46 · 技术综合 · 评论(0)

python编码设置

当我们的python源文件中出现中文的问题是,我们便需要指定源文件中的编码,这样解释器就会使用指定编码去解释源文件,python默认编码如果我们木有制定的话默认是ASCII 通过python官方文档,如果我们对python源文件指定编码的话我们必须如下图一样声明注释在第一行或者第二行 例如 # coding=<encoding name> 例如 # -*- coding: UTF-8 -*- 或者通过流行的编辑器 使用 公认的格式 #!/usr/bin/python # -*- coding: <encoding name> -*- 或者 #!/usr/bin/python # vim: s…

2013-07-21 21:56 · python · 评论(0)

mahout0.7成功编译总结

欢迎喜欢深入了解推荐系统和mahout的兄弟加入群 推荐系统之Mahout 135918911 一直在学习mahout,工作中使用的是0.7跑算法,进行测试,但是在使用maven导入eclipse中构建的时候出现了问题, 首先由于m2e的lifeStyle覆盖问题,两个插件不能使用,如下图 m2e插件现在已经被eclipse托管,在看eclipse官方网站看过文档后终于找到解决方案, http://wiki.eclipse.org/M2E_plugin_execution_not_covered 解决方案如下:打开我们出现问题的pom文件 例如 mahout-core下的pom文件,出错的地…

2013-07-05 22:14 · hadoop · mahout · 评论(0)

MahoutDriver运作机制-mahout源码学习及总结

欢迎喜欢深入了解推荐系统和mahout的兄弟加入群 推荐系统之Mahout 135918911 mahout入口类MahoutDriver 如果我们想要研究MahoutDriver的源码,没有什么比测试类更好的了,下面我们看一下测试类 public final class MahoutDriverTest { //测试MahoutDriver.main方法 @Test public void testMain() throws Throwable { //我们注释掉原有的简单help参数,增加自定定义参数 //MahoutDriver.main(new String[] {"itemsimi…

2013-05-28 22:19 · 技术综合 · 工作中问题总结 · 开源框架 · hadoop · mahout · 评论(0)

mahout推荐引擎相似度计算之皮尔逊相关性

欢迎喜欢深入了解推荐系统和mahout的兄弟加入群 推荐系统之Mahout 135918911 在讲解皮尔逊相关性之前我们先讲解一下z分数 z分数(z-score),也叫标准分数(standard score)是一个分数与平均数的差再除以标准差的过程。z分数可以回答这样一个问题:"一个给定分数距离平均数多少个标准差?"在平均数之上的分数会得到一个正的标准分数,在平均数之下的分数会得到一个负的标准分数。 z分数是一种可以看出某分数在分布中相对位置的方法。z分数能够真实的反应一个分数距离平均数的相对标准距离。如果我们把每一个分数都抓换成z分数,那么每一个z分数会以标准差为单位表示一个具体分数到平…

2013-05-28 22:15 · 技术综合 · 开源框架 · hadoop · mahout · 评论(0)

mahout脚本调用流程分析

欢迎喜欢深入了解推荐系统和mahout的兄弟加入群 推荐系统之Mahout 135918911 剖析mahout脚本 mahout 位于$MAHOUT_HOME/bin目录下,是所有mahout调用的入口。 主要会做各类环境变量的设置。 MAHOUT_JAVA_HOME:指定java的执行路劲,会覆盖$JAVA_HOME MAHOUT_HEAPSIZE :JAVA运行堆栈的内存大小 HADOOP_CONF_DIR : hadoop 配置文件路径主要是*-site.xml这些文件的位置 MAHOUT_OPTS : mahout运行时的java参数 MAHOUT_CONF_DIR :类文件属性文…

2013-05-28 22:11 · 工作中问题总结 · 开源框架 · hadoop · mahout · 评论(0)

Win7+Ubuntu11.10(EasyBCD硬盘安装)

1)首先还是分区,在计算机上右键--管理--磁盘管理 装Ubuntu分配的硬盘大小最好是(20G以上)不要太小,这里请注意,ubuntu和windows文件系统完全不同,所以我们划好要给ubuntu的分区后,删除卷。到时候,安装好的ubuntu的分区,在windows下是看不到的,但是进入ubuntu是可以访问windows的磁盘的。这才叫双系统的吧,和wubi那种不一样哦。 2)准备两个东西EasyBCD软件和iso镜像(我用的easybcd是2.1版,就下载1.7之后版就行,要那种安装版的,不要绿色版) 3) 下面打开EasyBCD软件,可以看到现在我们的计算机只有一个启动“入口”, 我…

2013-03-12 11:15 · linux · 评论(0)

linux-memcache下的安装

Memcache是什么 Memcache是danga.com的一个项目,最早是为 LiveJournal 服务的,目前全世界不少人使用这个缓存项目来构建自己大负载的网站,来分担数据库的压力。 它可以应对任意多个连接,使用非阻塞的网络IO。由于它的工作机制是在内存中开辟一块空间,然后建立一个 HashTable,Memcached自管理这些HashTable。 Memcache官方网站: http://www.danga.com/memcached ,更多详细的信息可以来这里了解 为什么会有Memcache和memcached两种名称? 其实Memcache是这个项目的名称,而memcache…

2013-03-07 18:28 · linux · 评论(0)

linux shell实现随机数多种方法

shell脚本程序我们有那些获得随机数方法呢? 一、通过时间获得随机数(date) 这个也是我们经常用到的,可以说时间是唯一的,也不会重复的,从这个里面获得同一时间的唯一值。适应所有程序里面了。 date +%s 1287764773 获得时间戳,当前到:1970-01-01 00:00:00 相隔的秒数 如果用它做随机数,相同一秒的数据是一样的。在做循环处理,多线程里面基本不能满足要求了。 date +%N 738710457 获得当前时间的纳秒数据,精确到亿分之一秒。 这个相当精确了,就算在多cpu,大量循环里面,同一秒里面,也很难出现相同结果,不过不同时间里面还会有大量重复碰撞 dat…

2013-03-06 17:32 · linux · 评论(0)

linux-模拟dos2unix命令

虽然我不是运维工程师,但是由于学习linux和shell脚本也遇到过了一些有趣的问题,例如我们常常把window环境下的文本文件上传到linux上,由于2者结束符的不同,有时候会出现配置问题 因为linux并不认识原有window环境结束符,从而在原有结束符下重新添加结束符,我们使用 cat -v -E test.txt 查看数据 -v 是隐藏字符 -E是 结束符显示,数据如下 395439881**^M$** ^M 是window文件的结束字符在linux一种显示,$是linux文件的结束字符 395423434^M$ 395468635^M$ 395436444^M$ 395463623…

2013-03-06 15:30 · linux · 评论(0)

自然语言处理--信息模型

今天拜读了数学之美的第一章,例举的例子感觉真是浅显易懂,这里不禁要对吴军老师的写作功底拜服,下面谈谈对信息模型的理解,数字、文字和语言作为信息的载体,他们的目的都是记录和传播信息,就像我们的老祖先一样乌拉乌拉几句,对方就明白了,你丫的骂我,拿起石头就扔过去了,其实他们的这种交流可以概括为 信息1--编码(也就是怪叫)---信息2(听到的声音)-----解码----信息1(得到原始信息),其实这就是一个简单的信息模型 信息1刚开始也就是我们的信息源 -- 信息2也就是声音可以看做信道,看到没我们的老祖先也懂得合理利用信息模型。 当我们祖先的叫声种类和形式越来越多时,事情也越来越多时大家都记不住…

2013-02-01 09:45 · 数学之美系列笔记 · 评论(0)

自然语言处理--从规则到统计

目前各大互联网公司都如火如荼的在研发者自己的推荐业务,因此机械学习、人工智能,数据统计分析建模变成了一个当下很热门的研究方向,那么计算机如何智能的处理自然语言呢,比如最近流行的小黄鸡应用,你的一问一答,他都会憨态可掬的作出很黄很暴力的回答。那么他是怎么处理和分析语言的呢,其实任何一种语言都是一种编码方式,人说话其实就是把想表达的意思进行编码, 编码形式 可以使声音 也可以是电流也可以是手语,接受者在对应相应的解码便得到 信息 ,这其实就是语言的数学本质。 其实在早期针对计算机如何对语言处理,我们的先人也是这么认为,就是计算机如果想处理自然语言就必须想人脑一样去处理事情,看过西游记吧,孙悟空经…

2013-01-29 18:13 · 数学之美系列笔记 · 评论(3)

GT-P7300刷机打电话

网上得知GT-P7300可以刷打电话功能,于是网上寻找各种教程,中文的,英文的,各种亲身尝试,经历过成为板砖的痛苦,不过最终还是rom成功升级为4.0.4,成功刷出拨打电话和收发短信功能,并且可以利用移动数据流量上网,看着美美的主题,流畅的操作,心里那叫一个美啊,为了帮助菜鸟们成功刷机现在把我刷机的过程和所用工具全部奉上(好多论坛恶心的要下载积分),成功刷机请多多留言,赞一个哈 下载一下几个工具包 Odin3 v1.85.zip 必备工具,成搬砖后可以用这个工具刷高版本CWM的解决 Overcome_CWM_Recovery_v5.1.2.6_P73xx.tar Clockwork_Reco…

2012-12-09 15:44 · 三星GT-P7300 · 评论(3)