Hola guapa,
Como tu dices los niños no son tontos y se dan cuenta de todo.
A mi sobri le pasaba lo mismo, es una forma de castigarte, porque de alguna forma, ellos se dan cuenta que en el fondo nos sentimos culpables, quizá porque cuando llegamos estamos más cariñosos, les hacemos más caso, etc.... entonces asocian a estar serios con que tu los mimes más, jeje, si son más listos que el hambre.
No se cuanto tiempo la dejas, por lo que pones un par de horas, que, personalmente, me parece poquísimo viendo las jornadas que tienen hoy los niños en guarderías o abuelos, de más de 8 horas... con lo que...
Mi sobri ha pasado por esas etapas, luego no queria ni ver a la abuela, la empujaba, jeje, porque sabia que si la abuela venia su madre se iba, imagina.
Ahora está en fase de solo con mi abuela, jejeje, madre, parece que le cuesta hasta irse con sus padres, es de risa.
Mi sobrino se pasa muchiiisimas horas con mi madre, con lo que eso también cuenta.
Si te quedas más tranquila, preguntaselo al pediatra, que se supone que ellos saben de estas cosas, y mira que te contesta.
Besos y en mi opinión no te preocupes son etapas.