En 1926, durante unhas obras de reforma da desaparecida igrexa de San Xoán de Panxón, descubriuse un arco de ferradura de aparente factura visigoda que formara parte dunha antiga capela dedicada ao Santo Pantaleón, de cuxo nome deriva o topónimo da vila. Aínda que estudos recentes atrasaron a datación desta estructurra ao período prerrománico (Ss.IX-XI); durante moito tempo pensouse que fora levantado no S.VII, e que era, por tanto, dos máis antigos de Galicia.
Cando en 1932 decidiuse trasladar a igrexa de San Xoán uns metros máis arriba, Antonio Palacios asumiu a realización do proxecto polo que renunciou a cobrar coa condición de que o arco visigodo fose conservado. O novo templo, custeado por achegas populares, foi un agasallo do arquitecto porriñés ás xentes do mar e é hoxe quizais a obra cume do Rexionalismo arquitectónico galego, estilo nado da nostalxia pola vella arquitectura rural e a fantasía ecléctica do modernismo, que mestura elementos de varias épocas. No caso do Templo Votivo, destaca a crueza das súas sillares sen puír, que imitan o estilo tradicional e evocan os muros ancestrais dos castros. Para a súa construción empregáronse refugallos industriais e materiais reciclados achegados polos propios veciños. A súa torre principal, en forma de faro e coroada por catro anxos orientados ao catro puntos cardinais, segue sendo unha guía para os pescadores.