Ну для начала ты неправельно вообще написал скрипт =)

var a=1;
function rec(){
if (a==1){
setTimeout("rec()",1000);
return true;
}
else{
return false;
}
}

if (rec()){
alert("TEST")
}

Во вторых о какой рекурсии речь? =) Хочешь рекурсию, тогда напиши:

var a=1;
function rec(){
if (a==1){
setTimeout("rec()",1000);
alert("Рекурсия =)")
return true;
}
else{
return false;
}
}

if (rec()){
alert("TEST")
}

А почему в твоем примере ты не видишь рекурсию, ибо функция проверки rec() выполняеться один раз и при её выполнени ты эту функцию просто ставишь на бесконечный цикл. При условии твоя проверка выполняеться один раз =)

если уже хотул сделать провеку, то:

var a=1;
function rec(){
if (a==1){
setTimeout("rec()",1000);
return true;
}
else{
return false;
}
}

if (rec()){
alert("TEST")
}

var a=1;
function rec(){
if (a==1){
setTimeout("A()",1000);
return true;
}
else{
return false;
}
}

function A() {

if (rec()){
alert("TEST")
}

}

A();

----------------------------------
Я безработный...
Возьмите меня на работу. =)