L’abbé Le Bayon quitte Caudan en août 1944, il n’y reviendra plus après 23 années comme recteur. Ces quatre années de guerre l’auront profondément marqué, il aura connu et vécu les deux guerres mondiales et l’armistice de 1918 est encore bien présent dans sa mémoire quand il lui faut de nouveau affronter le même ennemi revanchard cette fois ci ; il consacrera quelques lignes à cette époque ; elles sont toutes empreintes d’inquiétude et de tristesse, nous en avons relevé quelques unes : « Après Dunkerque, les Français sont seuls, les Anglais nous ont abandonnés, et c’est une ruée d’Allemands sur la France, chose à laquelle personne ne voulait croire, et on a vu, les larmes aux yeux, les ennemis de la France entrer en Bretagne, et Caudan, comme les autres paroisses, a subi le même sort ; on les a vu, baïonnette au canon, fouiller toutes les maisons du bourg, l’église , le presbytère, pour voir s’il y avait des soldats français cachés quelque part, triste souvenir… »

Soldat allemand montant la garde près d’une batterie camouflée dominant le pont de bois encore intact.Les vicaires sont mobilisés, l’abbé Le Dé est appelé dans l’infanterie et l’abbé Lallemant, instituteur, dans le génie. « Il fallait, note le recteur, garder nos écoles et grâce au dévouement des religieuses sécularisées, notre école Ste Anne est maintenue jusqu’au retour de l’abbé Lallemant qui avait échappé à l’emprisonnement ». Ce dernier sera nommé en 1944 professeur d’histoire au collège St Ivy de Pontivy, à l’âge de 40 ans ; ce fut un homme « complaisant et très actif », en tout cas passionné et grand amateur de musique et de chorale. Il sera remplacé par l’abbé Clovis Le Priol actuellement en retraite à St Joachim.

Le Führer et son armée voulaient envahir l’Angleterre, mais, de leur côté, les Anglais poursuivaient l’ennemi partout où il se tenait et, note le recteur, « Ce fut pour notre pays un grand malheur ; que de calamités, de destructions, de victimes provoquées par le feu infernal des bombardements Anglais et Américains ! quand on y pense, on frémit d’horreur ! Lorient est détruit de fond en comble ; notre église de Caudan a eu ses vitraux brisés du côté de l’Évangile, mais le bourg n’a rien eu (il en parle avant août 1944). La campagne par contre a eu beaucoup à souffrir des bombes et fusées incendiaires (il note une soixantaine d’incendies) ».

La campagne caudanaise a elle aussi beaucoup souffert de l’occupation ne serait-ce que des sols : prairies entières, champs de culture rendus inutilisables.

Des bruits de débarquement allié circulaient bien- sûr dans la population, mais non sans appréhension bien naturelle ; en particulier la question principale était de se demander où il aurait lieu : « ce débarquement provoquerait encore d’autres malheurs, note le recteur, que le bon Dieu nous en préserve… »

Et pendant ce temps là ajoute-t-il, « des réfugiés, fuyant la ville, arrivent de partout ; les pauvres gens ! Quelques-uns ont tout perdu : ruinés, maison démolie ou incendiée ; de ce fait nos églises sont remplies aux messes... »

L’abbé Le Bayon décédera à Auray le 5 avril 1951 ; selon sa volonté (au dire de sa famille) sa mort ne fut annoncée à personne et ce n’est que le lendemain de son enterrement que la nouvelle fut connue à Caudan. Un service solennel fut chanté à son intention, « l’assistance aurait pu être plus nombreuse, note son successeur, l’abbé Le Lausque, les prêtres sont vite oubliés !… »