Según cuenta la tradición, en 1366, el labrador castellonense Perot de Granyana, mientras araba con sus bueyes, encontró a los pies de un almez (lledoner) una pequeña imagen de unos 6 cm que tomó el nombre de Virgen del Lledó. Desde ese momento, fue objeto de gran veneración y se convirtió en destino de numerosas peregrinaciones, y en 1922 fue proclamada patrona principal de la ciudad de Castelló.
En el lugar donde fue encontrada la imagen se erigió una pequeña ermita, cuya existencia conocemos desde finales del siglo XIV, a la que acudían peregrinos y romeros de toda la comarca. Ampliada y transformada a lo largo de los siglos XV y XVI, en 1559 se fundó la primera Cofradía del Lledó, y en 1572 se levantó la actual portada de la iglesia. Nuevas obras llevadas a cabo durante el siglo XVII dieron lugar a una iglesia de tres naves, con cúpula y linterna. Pero fue en el siglo XVIII, entre 1724 y 1768, cuando el Lledó realizó un gran cambio para adquirir su actual configuración, que lo convirtió en el mayor santuario rural valenciano.
Conserva un interesante conjunto de piezas, algunas instaladas en un pequeño museo en dependencia bajo el coro y otras en altares, sacristía y accesos al camarín. Destaca una imagen de la Virgen en alabastro, del siglo XVI, tal vez de talleres italianos, y una interesante colección de mantos, entre los que destaca el de la coronación.
La fiesta del Lledó, celebrada desde tiempos inmemoriales el domingo siguiente al 15 de agosto, pasó a conmemorarse desde 1703 el primer domingo de septiembre y, ahora, desde 1912, se celebra el primer domingo de mayo.