Nacido en Valencia, José Andrés Villalba ingresó siendo muy joven en las categorías inferiores del Valencia CF, donde se formó como centrocampista, completando a gran nivel todas las etapas hasta llegar al Mestalla a los 21 años de edad. Bajo las órdenes de Lelé Santiago, debutó en el equipo filial el 29 de enero de 1967, en partido de la eliminatoria previa de la Copa de España contra el Indautxu, que se saldó con victoria por 1-3 en el estadio de Iparralde. Esa temporada, José Andrés completó un total de 9 partidos de Liga en Segunda División y 3 de Copa.

La temporada siguiente fue la de su consagración en el filial, consolidándose como titular indiscutible durante varias temporadas hasta el descenso del equipo a Segunda B en 1973. Durante las cinco campañas que estuvo el Mestalla en la categoría de plata, el futbolista llegó a completar un total de 141 partidos oficiales, y llegó a debutar con el primer equipo en un partido amistoso disputado en Mestalla contra el Nottingham Forest el 24 de mayo de 1967. En agosto de ese mismo año, formó parte de la expedición que viajó a África para participar en varios partidos jugados en Marruecos.