Un brillant passé militaire dans les armées de la République avait conduit Victor Fanneau de Lahorie dans le sillage de Moreau, à l'armée du Rhin, en 1799. Nommé général de brigade et chef d'état major, il y avait remarqué les talents combatifs de Léopold Hugo et assuré sa promotion. Sophie Trébuchet, épouse de Léopold, lui demanda d'être le parrain de leur troisième fils auquel on attribua son prénom : Victor. La disgrâce de Moreau, entraîna celle de Lahorie qui commença une longue existence de proscrit. Il en vécu une partie, caché par Sophie dans une dépendance de l'ex-couvent des Feuillantines près de Saint-Jacques du Haut Pas, qu'elle occupait avec ses enfants. Son filleul avait alors 7 ans. Il finit par être arrêté et emprisonné. Enrôlé dans le complot du général Malet qui vint le libérer, il fut condamné à mort avec celui-ci et ses complices et fusillé dans la plaine de Grenelle puis inhumé au cimetière Saint-Sulpice (site actuel du lycée Buffon). Lahorie a été le grand amour de Sophie. C'est sans doute elle qui l'a incité à participer à un complot auquel il ne croyait guère. Elle devait mourir en 1821, 9 ans après son amant et être enterrée dans le même cimetière, un lieu bien décrit dans Les Misérables.