Joseph est né le 17 mai 1788 à Lyon à bord du bateau usine de son père. Il est le fils d’Anthelme Sevoz et d’Antoinette Julliet sa femme. Il est le deuxième enfant du couple.

En 1793, enfant de 5 ans, il part avec ses parents en exil à Lhuis (Ain), le village de son père. Il y trouve une autre vie. Il passe du monde urbain au monde rural. Il se forge un tempérament de travailleur, de valeurs, entraîné par Marie, une très jeune préceptrice dévouée et merveilleuse pour combler les malheurs de la révolution.

C’est un enfant généreux, créatif et plein de bonheur. Dans ces lieux apaisés il se révèle très doué, si bien qu’à dix ans il réussit au concours pour entrer aux Ecoles de la Marine, le 2 vendémiaire an VII (23 septembre 1798). Il embarque alors sur la frégate "La Muiron", au port de Toulon dans le Var.

Un an après, il se retrouvera comme valet et accompagnateur du Général Bonaparte de retour d'Egypte, ce, pendant 47 jours, suivi de 4 jours en voiture pour retrouver sa famille, à Lyon.

En 1801 il participe à la bataille navale d'Algégiras. En 1802, il est de l'expédition de Saint Domingue.

Il entre, le 25 septembre 1803, à l’Ecole de l’Artillerie de Marine pour devenir officier. Ayant failli perdre la vie à Trafalgar en 1805, il réussit à retourner à terre et à continuer son ascension vers la gloire. Sa gloire ! 

Promu dans une formation d'élite, le 2 mai 1807, il est incorporé au 6e Régiment de Hussards à Udine en Italie.

En 1807, au 6e Hussards, section spéciale, il apprendra l’Art du renseignement et de la diplomatie. Le 20 avril 1808, il est opérationnel dans toute l'Europe de l'est, aidé par Napoléon et la Franc Maçonnerie, très active en ces temps-là. Ce n'est plus un enfant, il est devenu un très grand serviteur de l'Empire et de la France.

Son père, François Sevoz, laboureur, et Catherine Baudet sa mère, se sont mariés à Lhuis dans le Bugey. Il est le 2e enfant.

Ses grands parents paternels sont Louis Sevoz et Josephete Liandrat, et maternels, Benoît Baudet et Marie Guigard.

Chef de famille de 18 ans, il vient à Lyon comme chapelier, puis devient tondeur de draps, et en 1784 il afferme un bateau usine sur le Rhône.

L'année suivant il achète l’usine, qui hélas brûlera en 1786.

S'ensuit une faillite avec dépôt de bilan. Pourtant, amoureux, il se marie, avec Antoinette Juillet [née Jullier], fille de meunier.

Anthelme est un marchand plein d'audace que la révolution ruinera par l'absence de finances. En 1793 avec quatre enfants et une épouse, il doit quitter Lyon et s'exiler à Lhuis son pays natal. En famille, il y restera quatre ans et rentrera à Lyon, une ville dévastée et à reconstruire. Anthelme n'a plus d'usine sur le Rhône et végète plusieurs années. Dans les années 1800, petit à petit, ses affaires repartent. A chaque permission de son fils Joseph, il sera à son écoute et le soutiendra toute sa vie.