洛克菲勒退休之后，几乎将全部的精力都用在发展慈善事业上。他曾参与创办大学，成立医学院、医学研究中心，并创办普及教育委员会。在20世纪初期，因为美国的富足与进步，不但在世界上居于领导地位，还因此带来很好的国际关系。美国的富强更显出小国的贫弱，因此美国的慈善事业有逐渐发展向外接济的趋势。洛克菲勒因为在各地经商，于各地赚得大量的财富，在问心有愧的情况下，亦想开始援助海外贫困人士。在1905—1910年不断与朋友计划，此一构想就促成了日后“洛克菲勒基金会”的成立。
有办芝加哥大学及普及教育委员会的经验，洛克菲勒认为他可以将大学资金交给独立的董事会，让董事会中有才干有魄力的人去发展慈善事业，而无需他本人过问任何小节。在创立上述机构时，洛克菲勒认识了几位杰出的人才，颇值得信赖并能协助他策划及实行各项目标，这几位日后在“洛克菲勒基金会”效劳的是凯特、布杰克、费尔诺及罗斯。
人才虽多，但草拟创议的仍是聪明而有魄力的凯特。他曾在1905年6月写了一封信给洛克菲勒，信上很详细地提到他对于造福世人、援助海外贫困人士的一些想法：我已为您庞大的财富工作了15年，为了它，我曾花费不少心血，想尽办法好好地去善用它。我不可能不想到最后我们要如何花这笔财富。我常想到，您要趁您及您的子孙在世的时候，好好地将这笔财富用在有永久性质的慈善事业上，以造福世人。这是一件说起来容易，办起来困难的事。我们必须要先确定三点：第一，我们要申明人类的需要及人类的定义。
第二，我们要如何安排合适又能干的人来担任这项工作，不但目前我们需要他们，世世代代以后，我们仍需要这些人。
第三，我们要清楚了解人类哪一方面的进步才是真正重要，且能因此而引来更多施善的好心人，捐赠合法的基金。
凯特继续建议：在国外，他主张推广世界性的医学研究及全球性的基督教义以推进人类身体及心灵的健康。在国内，他认为同时提高高等教育的水准、改善都市居民生活及训练人民的公德水准和提高人民素质。
创办基金会的念头，经常萦绕在洛克菲勒父子心头，一有空闲，他们两人就谈论各种的计划。 1906年，在小洛克菲勒写给父亲的信中，有一段提及：想把托拉斯中的一部分资金投到慈善事业上，专门用来接济贫困的大众，改进教育，发展科学及传播宗教。
小洛克菲勒虽知父亲有心捐赠，但此次计划太庞大，包括的东西不尽相同。小洛克菲勒觉得最困难的一点是如何网罗各方面有才能的人，使他们共聚一堂，同心合力地工作。他每想到此，就有些望而却步，于是一个会议接着一个会议，父子两人都想找出一个完美的办法。尤其是洛克菲勒，几十年来他的作风未曾改变，凡事在未决定之前都小心谨慎地慎重考虑，等到一旦决定后从不拖泥带水，迅速地将事情解决，这次也不例外。
等到1909年6月19日想好成立的办法之后，马上从“标准石油公司”的证券中提出五千万美元作为资金，存在三位受托人——凯特、小洛克菲勒及麦康密克的名下，作为促进人类幸福及文明的资金。然而洛克菲勒坚持要等到联邦政府的特许之后，基金会才可以开始工作。于是1910年，亲家阿尔因奇参议员将此案送进国会。
议案送进国会之后，不但没有很快地如期通过，反而招来一身议论。各州的政治家都提出反对，有些人认为只要洛克菲勒出面必有其他企图，像芝加哥的《海洋杂志》很幽默地写道：“哪怕是洛克菲勒要把全部财产捐赠给政府的议案，也没人肯通过的。”
但是，事实上一般人觉得这个基金会的目标太广阔、太松散，理想又高又抽象，而且是个永久性的计划，不免叫人怀疑其居心。更何况当时街头巷尾议论纷纷，传说洛克菲勒马上就要再投资五亿美元进入该基金会，政府怕促成一个恣意放纵的社团，所以国会议员及总统在考虑之后，全体反对，以致特许的事就此一搁三年。
洛克菲勒只好先废弃他原先的赠款，但这并没有摇动他成立该会的诚心。于是他转到纽约州的议会，在没引起大众注意之下，轻易地于1922年成立了基金会。洛克菲勒即刻投入三千四百多万美元，第二年又增加六千五百多万美元。“洛克菲勒基金会”的主旨简明而崇高——促进全世界人类的幸福。
基金会的负责人也被选定了，虽然表面上由小洛克菲勒负责领导，但工作得最辛苦、花费心血最多的却是格伦先生。他曾在日后回忆说：“当时，我就是基金会，基金会就是我。我一个人，在百老汇二十六号的小房间内，独自守着四个抽屉的档案桌，那就是基金会全体的人工和设备了！”
此人是传教士的儿子，哈佛的毕业生，毕业后任职母校。他博览群书，是一个聪明、机智又富有创造力的年轻人。基金会成立之后，除了洛克菲勒父子及格伦之外，又选出其他六位委员作为资金的受托人，他们是凯特、杰德逊、费莱斯诺、墨菲、海特及罗斯。后来，调查赫本案件的赫本也加入基金会服务。这些人不只是挂名而已，他们全都为该会尽过力。尤其是格伦、凯特和小洛克菲勒可说是三大功臣。
在人手和资金都齐备之后，下一步就是研究商讨促进全世界人类幸福的办法。洛克菲勒经常强调慈善事业最重要的是如何结局：“最好的慈善事业是先找出贫困或失败的原因，再试着用就地取材的方法改善其缺点，以求得完满。”格伦先生依循这个大前提为基金会写下六大章程：一、基金会不做个人的接济。
二、协助的范围要广泛，不可只促进一项，除非是实验性质的协助。
三、基金会愿意协助任何能自助并助人的社区或集团。
四、基金会不捐助给任何无权过问的机构或团体。
五、基金会不接济任何时期阻碍其资金有效运用的团体。
六、基金会愿意捐赠给任何能彻底消除个人或社会痛苦的团体。
他们的志向虽然宏伟，资金虽然庞大，但在救助全世界人类苦痛上仍嫌不足。简而言之，他们只能起带头作用，引发其他团体的善心，而不能完全依赖其协助。因为在1917年，基金会的第二任会长文生先生指出：他们一亿两千万本金一年所得的利息只能支持政府七小时的作业，而全部的本金也只能维持政府五天的开支。由此可见，这个基金会只能从旁做些协助，而无法真正地改善世界。
基金会虽然无法消减全世界的苦痛，但本着能减少一分痛苦就多得一分幸福的原则，他们第一步就是消减疾病。基金会令曾在南方各州消灭钩虫病的罗斯博士拟一份计划，为国外的落后地区消灭此种疾病。不久，“国际卫生委员会”成立，不但计划消灭钩虫疾病，尚在各地段成立分站，以促进该地的卫生医疗及科学知识。
