hadoop 任务失败重复次数的处理方法

		
hadoop任务分为map task和reduce task，当map task执行失败后会重试，超过重试次数（mapred.map.max.attempts指定，默认为4），整个job会失败，这是我们不想看到的。
 
 
解决办法：
hadoop提供配置参数“mapred.max.map.failures.percent”解决这个问题。如果一个Job有200个map task，该参数设置为5的话，则单个job最多允许10个map task(200 x 5% =10)失败，这是我想要的。
把下面配置放到mapred-site.xml文件中，重启jobtracker（hadoop-daemon.sh stop/start jobtracker ），这下大家满足了吧^_^ www.zzzyk.com
 
Xml代码  
<property>  
  <name>mapred.max.map.failures.percent</name>  
  <value>5</value>  
</property>  
 
 
PS：reduce task有类似配置mapred.max.reduce.failures.percent
						
		
	

补充：其他综合 ,

上一个：MongoDB连接测试操作
下一个：executeUpdate更新数据库失败解决