离开圣灵收容所后，卢梭到一个叫维尔塞里斯的贵妇人家做仆人。夫人死了以后，他和其他家奴一样只被支付了30利弗尔，有一天他漫不经心地在屋子里走来走去，突然看见一条银白色和玫瑰色相间的丝带，一看就知道是管家侄女的。也许是由于未多加考虑，或者是由于他想从屋子里拿走一点东西以弥补他的不平，他顺手牵羊，把那条丝带拿走了。丝带是一件不值钱的小玩意，但人们却到处寻找，最后在他的身上找到了。他吓的手足无措，结结巴巴说不出话。结果他便诬陷是女仆玛丽恩送给他的，这个女仆坚决否认，并恳请卢梭良心发现主动坦白，可是一点作用都没有，他坚决指控是她干的。困惑的主人最后把他们两人都辞退了。这件事一直像一块烧红的烙铁一样烫着卢梭的心，他一直把这件事藏在心里，没有对任何人说过，直到后来在《忏悔录》中才承认自己的罪行，他声称“没有什么比我在艰难的时候指控一个可怜的女孩子更可恶的了”。但是他也给了自己一个理由，他说他诬陷那个可怜的女孩，是因为他喜欢她：“我把我干的事情说成是她干的，本来是想把丝带偷来送给她，却反过来说是她偷来送给我。”
卢梭离开日内瓦后，被一位天主教神甫介绍给华伦夫人，这个29岁的贵妇人给了他庇护和关爱，安排他去修道院接受教育，还为他谋职。卢梭自称，在华伦夫人那里度过了一生中最快乐的时光。卢梭称华伦夫人妈妈，21岁时上了她的床，此后十分满足地与这个丰满的妈妈生活在一起，在不为夫人服务的时候，他就劲头十足地读书，进一步开发自己的音乐才华。卢梭甚至愿意和华伦夫人的老情人阿勒分享爱情，他们三人的关系维持了很长时间，最终以阿勒的死亡而结束，卢梭失去了他最可靠的朋友，心里也感到极其的悲伤，不过他还是心安理得地穿上了阿勒生前穿的那件黑色上衣，一个人享受华伦夫人的宠爱。她确实把他宠坏了，给他买新衣服，买好玩的东西，买表，买银柄佩剑，让他去学跳舞和击剑。但是他还是沉浸在一种忧郁的情绪中，他说：“人们常说，宝剑终归要把剑鞘磨坏的。我的情况正是如此，我的情欲使我活，然而我的情欲也终将致我于死。”他渴望爱情，但现在他还没有可心的对象，对他来说，妈妈毕竟是妈妈，满足不了他的情欲。“我虽然有了一个温柔的妈妈，一个亲爱的女友，但我需要的乃是一个情人。我想象有一个女人来代替她，我用千百种方法创造这么一个情人来自己欺骗自己。当我抱着她的时候，一想到怀中抱的是我的妈妈，便不能不立刻产生拘谨之心，欢愉之情马上锐减。尽管我为我得到了温柔而激动的哭泣，但我并没有享受到温柔乡的快乐。”然而，他和华伦夫人的关系并没有天长地久。1741年，华伦夫人另结新欢，寻找理由将卢梭支到外地，他在她身边的位置也在他外出期间被人侵占。30岁的卢梭最终决定到巴黎去闯天下，这个长长的浪漫插曲结束了。
1745年，卢梭在巴黎遇见塞斯·勒瓦瑟尔，此后两人关系尽管时好时坏，但总算长久。塞斯当时只有18岁，在旅店、洗衣店干活，长相很一般，从幸存的画像上看绝对可以说是丑陋无比，而且不识字，看不懂钟表上的时间，举止粗俗，愚蠢透顶。不过她在敲诈卢梭的时候绝对不傻，只要他身上有钱就能哄到手。那是因为她母亲在一旁教唆，虽然和她一样讨厌，但显然比女儿聪明些。她究竟有什么魅力把卢梭迷住呢？或许是她高超的做菜手艺吧，人们不是常说，要管住男人的心先要管住他的胃吗？也许正是因为她没有任何魅力的事实激发了卢梭受虐狂的特性。虽然没有证据显示她虐待卢梭，但是她的卑微却减缓了卢梭根深蒂固的自卑感。不管在外面发生什么，他总能在她面前显示出优越感。他的客人们也都觉得他总是把她当作女仆，一个被当众取笑的女仆。1767年，他们终于结婚了，不过婚礼由卢梭自己主持，简直就是一场闹剧，因为在法国新教徒和天主教徒是不允许结婚的。他在宴会上高谈阔论，说客人们能结识他是多么幸运，然后就痛苦失声。可怜的塞斯，只准备了几分钟的婚礼就让她相信他们真的结婚了。他们一连生了5个孩子，卢梭坚持都抛弃不养。在后来的一封信中他承认“生下5个孩子，都被送到弃婴堂，后来也根本没想到要认领，我甚至没有保存他们的出生日期证明。”卢梭的行为遭到了人们的非议，伏尔泰指责他抛弃自己的5个孩子是在犯罪，因为把他们送到弃婴堂等于把他们丢进死亡的坑道。卢梭为自己的行为辩解说他不能给予他们应该享受的父爱，送到别的地方去可能更好。但他拒绝有钱的崇拜者帮助他抚养孩子，他以真正偏执狂的语调说：“我敢肯定他们长大后会成为憎恨父母的，甚至背叛父母的人。”
