El antiguo Palacio de la Vila estaba situado en otra ubicación, cercana a la actual. Se decidió trasladar y construir esta nueva sede debido a las malas condiciones del edificio anterior. En agosto de 1687 se encargan las trazas al maestro Gil Torralba, paralizándose hasta que en 1689 se pone la primera piedra recayendo las obras en el maestro Melchor Serrano, Alcazar, Claret y José Serrano. Ante amenazas de derrumbe, finalmente el traslado se realizó en febrero de 1716, a pesar de no habiéndose terminado el nuevo edificio. Inaugurado el edificio, su interior fue finalizándose poco a poco.
Con los años se realizaron ampliaciones y reformas. Entre ellas cabe destacar la capilla de las prisiones y las propias prisiones, terminadas en 1806; así como la importante reforma del salón de Sesiones, que incluía la decoración de su techo con una pintura alegórica a la ciudad de Castellón. En 1916, el arquitecto Municipal D. Francesc Tomàs Traver lleva adelante un proyecto que cambió todo el aspecto de la fachada principal. Es ahora cuando desaparecen las rejas de hierro de las barandillas de los balcones, que fueron sustituidas por balaustradas de piedra artificial y también rompe el sentido originario de un balcón corrido en el piso principal que fue subdividido en tres. Por otro lado, en la parte alta de la fachada desaparecía el arranque de las torres de los ángulos, las cuales quedaron reducidas a un solo cuerpo rematado con molduras, pináculos y pirámides.
Tras la guerra civil, se reforman las fachadas laterales y la principal, desapareciendo definitivamente las dos torres que había, así como el antepecho que fue sustituido por una balaustrada; se quitaron los canalones y balcones de piedra, sustituyéndose estos últimos por otros de fundición. Las últimas reformas fueron en 1951-1953 y 1969, con Manuel Romaní Miquel.
Es un edificio exento de volumetría paralelipédica, organizado en alzado por tres cuerpos claramente diferenciados por las cornisas que los separan.
La planta baja se constituye por un pórtico de arcos de medio punto, moldurados y alternados con pilastras con capiteles de orden toscano con un total de cinco arcos, continuándose con uno más en cada alzado lateral. La primera planta, en la cual continúa la división vertical mediante pilastras corintias con entablamento liso, viene caracterizada por la disposición de tres balcones –el central corrido- con cinco vanos coronados por frontones triangulares partidos por un remate piramidal, y alternos con frontones semicirculares con decoración de veneras, separados entre sí por pilastras y capitales compuestos.
El tercer nivel, de dimensiones más reducidas, se separa del anterior por una cornisa volada, continúa la división vertical con el uso de pilastras corintias con entablamento. Un total de cinco balcones sencillos, más pequeños que los del piso principal, se abren a la Plaza Mayor, encontrándose éstos flanqueados por dobles pilastras en los extremos y simples en los extremos. Un antiguo antepecho balaustrado remata el edificio.