出身帝王之家又深得祖母厚爱的玄烨，其优越的生活环境自然不是我们常人所能拥有的。然而，令人意想不到的是，童年时期的玄烨，在享受锦衣玉食的同时，不仅屡遭磨难，而且也深深体味了一番帝王之家的人情冷漠。
清朝定都北京之后，绝大部分的满族人相继进入关内与汉族杂居，受到汉文化的影响，汉化很快。那时，年轻的顺治帝思想开放，作为第一位入关的皇帝，对内地的新事物接受得也很快。出于对汉文化的喜爱，也开始喜欢起了汉族的姑娘。但是，孝庄皇太后和满洲贵族们都认为汉俗的盛行将不利于清朝的统治，于是极力反对顺治的意愿，坚持满蒙联姻的政策。由皇太后做主，先后强迫他娶了五位博尔济吉特氏蒙古族后妃。但事与愿违，顺治帝由此产生强烈的逆反心理，先废掉了第一位皇后（孝庄的亲侄女），接着又疏远第二位皇后（孝庄的亲侄孙女），同时也故意冷落另外的三位蒙古妃子。
与此同时，顺治帝陆续收纳起了满族和汉族女子入宫，玄烨的母亲佟氏就是顺治九年(1652年)被顺治选入宫中的。顺治帝对佟氏虽然没有什么特别深厚的感情，但其母亲孝庄皇太后却特别喜欢佟氏。
起初，佟氏还能得到顺治的宠幸。然而，就在玄烨将要降生的前后，顺治帝移情别恋，爱上了满洲正白旗内大臣鄂硕的女儿董鄂氏，并在顺治十三年（1656年）八月将她立为贤妃，九月又晋升为皇贵妃。翌年，皇贵妃生下一个儿子，也就是皇四子。予以母贵，这位刚出生的皇四子，被顺治帝视为“朕第一子”，并为之告祭天地、太庙，隆重庆贺，预示这位小皇子将来就是皇位的继承人。但好景不长，三个月后，皇四子突然夭折。顺治帝为此悲痛欲绝，神魂颠倒，此后再也无意考虑皇嗣问题。
按照清朝的制度，皇子、皇女在出生之后，即与生身额娘（母亲）分居，由乳母、保姆抚育。玄烨幽生之后也不例外，玄烨是独居一处，由乳母、保姆等哺育、照顾，由宫女、太监等服侍、陪伴。
在玄烨两三岁时，大约是顺治十二年(1655年)的冬天，顺治帝以玄烨尚未出痘为由，令其与保姆出宫避痘。于是，玄烨就从皇宫搬到了皇宫西墙外的一座宅院里。这座宅院就是今北长街北口路东的一座府邸（后来改为福佑寺）。这段时间，玄烨只有乳母、保姆、宫女和太监照料，长期不能与父母相见。直到两年后出过天花，才得以搬回皇宫。
玄烨出宫避痘，虽名日“避痘”，但实际上却并没有任何可靠的预防措施，当时也没有有效的治疗办法。无论是谁，如果一旦得了天花，一半是靠自身的抵抗力，一半则靠命运的安排。玄烨出天花时，经受了发烧、疼痛、烦躁和恐惧，全靠他自身的抵抗能力和保姆、太监的精心照料，最后虽九死一生，躲过了一劫，但是在玄烨的脸上却留下了永远的“麻子”。这在生理上是一种终身的遗憾，在心灵里也是一种终身的阴影。
在玄烨成长的这段岁月里，虽然皇父根本无心、也无暇顾及他，没有给予他关爱与教育，但是毕竟还有皇父的庇护。在他未满八岁的时候，年仅二十四岁的皇父又突然与世长辞。顺治的死，不仅使祖母和生母痛苦不堪，也又一次给幼小的玄烨带来了巨大的心理打击和精神创伤。
两年之后，也就是在玄烨即位的第二年，年仅二十四岁的生母佟氏又不幸病死，这时的康熙帝还不满十岁。母亲的去世，悲痛之情可想而知。玄烨昼夜守灵，“擗踊哀号，水浆不御，哭无停声”，宫廷近侍，皇室近亲，耳闻目睹者，“无不感泣”。两年之间，父母相继离世，对玄烨来说实在是人生幼年的极大不幸。
玄烨的童年很少享受到家庭的亲情和温暖，也是他终生的遗憾。
直到晚年时他还对此耿耿于怀。他说：“世祖章皇帝（顺治帝福临）”
因朕幼年时，未经出痘，令保姆护视于紫禁城外，父母膝下，未得一日承欢，此朕六十年抱歉之处。”《徭子》说：“生于忧患而死于安乐也。”人的确就是这样，忧患虽会使人痛苦，但也能激发人的斗志豪情。康熙帝玄烨的成长经历，就是一个最好的明证。充满宫廷悲剧的童年，给他带来了一个接一个的沉重打击。但是，玄烨在人生磨难的面前，却没有消沉、颓废，而是勤奋学习，磨炼意志，培养了自信、自立、自强、自励的精神，为成就后来的帝王大业奠定了坚实的基础。
