Corría la temporada 2003/2004 y en Vallecas todavía se estaba asimilando el descenso ocurrido la temporada anterior y que les privaba de jugar en la categoría absoluta.

De esta manera el Rayo se disponía a luchar por recuperar su plaza en  la categoría reina del fútbol español, pero la temporada que tenía por delante no iba a terminar con el desenlace esperado.

Y es que, esa temporada fue muy movida en el banquillo rayista, puesto que los resultados no eran los deseados. Hasta cuatro entrenadores dirigieron al equipo esa temporada: Julen Lopetegui, José Luis Martín, Jorge D´Alessandro y Txetxu Rojo fueron los elegidos para intentar salvar al Rayo del fracaso.

Según la afición franjirroja, el cambio de entrenadores por falta de confianza desde la directiva, y la falta de unión de la plantilla fueron las causas principales de la hecatombe esa temporada.

El 13 de Junio del año 2004 - a falta de disputarse dos jornadas de liga - el equipo madrileño llegaba al Helmántico jugándose la vida ante la histórica Unión Deportiva Salamanca - tristemente ya desaparecida-. Los charros no se jugaban nada por aquel entonces y el Rayo llegaba antepenúltimo- con unas estadísticas de 20 derrotas, 9 empates y 11 victorias (con 42 puntos) -aún tenía esperanza de no descender a la categoría de bronce y eso pasaba por sumar 3 puntos en la capital salmantina y ganar en Vallecas a la U.D. Las Palmas y esperar los pinchazos de equipos como el Leganés, Ciudad de Murcia, Córdoba y Polideportivo Ejido, no lo tenían fácil pero cosas más difíciles se han visto en el mundo del fútbol.

Hasta Salamanca se desplazaron al menos 15 autocares - más los vehículos particulares- con la ilusión de alentar a los franjirrojos camino del triunfo. Los cánticos retumbaban por los rincones salmantinos desde primeras horas de la mañana, aunque la afición no era muy optimista, no se iban a rendir.

Con este panorama, rayistas y unionistas saltaban al terreno de juego. El entrenador de aquella UDS no era otro que Felipe Miñambres - que años más tarde tendría protagonismo en el club de la franja-, en el banquillo rayista Txetxu Rojo fue quien afrontó el mando del vestuario las últimas jornadas que llevaron al equipo a la Segunda División B.

El Rayo, se adelantó en el marcador por medio de Rubén Pulido, el defensa sorprendía desde fuera del área con un tiro y desataba la locura en la grada visitante - en la cual se encontraba Míchel, actual entrenador rayista, viendo el encuentro. 

Pero poco duraría la alegría, cuando quedaba apenas un cuarto de hora para el pitido final, Ze Tó ponía el empate para los unionistas. Fue un jarro de agua fría para los aficionados rayistas - unos 1.000- quienes sentían una mezcla de rabia, pena, esperanza y tensión. El equipo seguía intentándolo en el terreno de juego, pero era en vano, pues ni siquiera los máximos artilleros vallecanos de esa temporada - Bolo, Peragón y Geni- conseguían anotar en la portería contraria. Los jugadores quedaban desolados en el césped del Helmántico tras el pitido final. Ellos lo intentaron y como reconoció el entrenador unionista al término del encuentro: "Ellos han sido superiores, pero la falta de puntería les ha condenado".

Los aficionados volvían a la capital sabiendo que el año que viene su equipo jugaría en el infierno - aunque el descenso no era matemático pero era muy difícil mantenerse en la categoría puesto que no dependían de ellos mismos-. Este descenso se terminó de certificar sólo una semana después de la visita a la ciudad del Tormes, ya que el equipo perdió en Vallecas (2-1) haciendo que el Rayo volviese a la segunda b veinte años después.