검색 로봇 차단 하기

로봇이 너무 많이 파일을 일일이 검사 하다 보니 부하가 걸리어서
검색이 필요 없는 파일은 차단을 해야 할것 같습니다.
===========================================================
$h_r=$_SERVER['HTTP_REFERER'];
$h_u_a=$_SERVER['HTTP_USER_AGENT'];
$bot_com=array("bot.html","slurp","msnbot.htm","bingbot.htm","customer_webtxt_02.jsp","aboutWebSearch.html","bot.php","ROBOT");
foreach($bot_com as $key=>$value)
{
   if(stristr($h_r,$value))
 {
    exit;
  
 }
 if(stristr($h_u_a,$value))
 {
    exit;
  
 }
 
}=======================================================