Św. Walter miał przyjść na świat ok. roku 1030 w Andainville (Francja). Jako młodzieniec pragnął służyć Panu Bogu w stanie zakonnym. Dlatego wstąpił do klasztoru w Rebais, w diecezji Meaux, budując wszystkich przykładnym życiem. Chciał pozostać w tym klasztorze w charakterze mnicha benedyktyńskiego, ale sława jego świętości była tak wielka, że zaproszono go na opata nowo powstałego klasztoru w Pontoise. Kiedy młody król Filip I wręczał mu pastorał opacki, Walter powiedział z odwagą: „Nie z twojej ręki, królu, otrzymuję władzę nad tą wspólnotą, ale od Boga”. Niedługo wszakże zabawił w tym klasztorze. Obawiając się odpowiedzialności wobec sądów Bożych, uciekł z klasztoru i schronił się w opactwie, słynnym wówczas na całą Europę, w Cluny. Chciał tu pozostać na całe życie jako zwykły mnich pod rządami św. Hugona. Mnisi z Pontoise odnaleźli go jednak, zaczęli gwałtownie interweniować u arcybiskupa Rouen, który zmusił opata do powrotu (1072).