1916年8月中旬，福建省福清县海口镇牛宅村，林绍良降生，是男孩中的老三，老大林绍喜，老二林绍康，人称林氏三兄弟，另有姐妹5人。林家忠厚老实，以务农为生，养有一头牛，耕种自家30亩水田，家道尚可。但林绍良从小生活简朴，衣着素洁。
清乾隆年间，林氏家族出了一个知府，功成名就后告老还乡，为了光宗耀祖，用私蓄在村里建起了林氏祠堂，大门前两侧有幅对联“九竹仪双凰，三江起五龙。”
牛宅村早年是一个荒岛，人们在潮落时，涉水到该岛放牛，由临时搭棚转向人居而成村，由此得名。该村三面临海，林氏家族祠堂前的对联以“三江”来说明该村的风水。林氏家族的林绍良在一家中排名第三，兄弟三人一起在南洋发迹，富可敌国，此事在家族中传为美谈。有人说：林家祠堂的对联应该改为：“三江起三龙”，以应“人杰地灵”之说。
林绍良从小在祠堂念私塾，启蒙老师林安载博学多才，为人严谨，非常喜欢这个学生。由于林绍良聪明好学，记忆力强，尊师爱友，老师对他特别关照，为让他学到更多的知识，后来又将他推荐给另一个学问深厚的教师。
张老师德高望重，国学造诣深，不仅给林绍良授课，还经常讲述一些劫富济贫，行侠仗义的故事，此事对林绍良日后的经商不无益处。林绍良对中国古今仁人志士的爱国事迹特别感兴趣，如文天祥的“人生自古谁无死，留取丹心照汗青”等诗句一直让他记忆深刻。他总是坐在竹椅上，凝神地听着老师的讲述，其状如痴如醉。国学的深厚底蕴将林绍良熏陶成一名“儒商”，在未来的东西文化交融的商场上，他始终能保持东方文化的传统美德与龙马精神，有着强烈的忧民忧国的情怀。
林绍良眉清目秀，性格温和，智慧聪颖，从父亲那里继承了敦厚、宽宏的家风。当同学有难处时，他总会热情帮助。
一次，同桌的同学交不起学费，不能继续上学，林绍良将情况告诉母亲，并恳求母亲帮助。善良的母亲被儿子的真诚友好所感动而替那个同学交了学费。
当时的农村人识字不多，总有一些人要求林绍良代写书信。他总是有求必应，也不泄露私人秘密。有时忙到天黑，母亲常打着灯笼找儿子回家，当她看到儿子在舞文弄墨时，大加赞扬和鼓励。
林绍良学完了私塾必读的书籍，能将《四书》、《诗经》、《幼学琼林》、《左传》等书背得滚瓜烂熟，还学会了官话。从私塾出来后，他不愿回家务农，而是要走另一条路。
15岁时，他在家乡的大道旁开了一家面食店，显示了对理财的特殊偏爱。这是一家简陋的小店，南来北往的各色人等络绎不绝，地理位置特别好。他对每位新客人，都要攀谈套近乎。只要这位客人下次再来，就是熟人，老顾客多了，小店自然能赚得生存，抓住时机，广结人缘，也就广开了财源。为了不使说话影响生意，他利用晚上将面、菜、水等一应物件都准备妥当，即使白天客人多，也忙而不乱，说话不误买卖。凭着聪明好学的头脑，当一个小的老板与职员，还真游刃有余。半年后，他将一沓厚厚的钞票交给父母时，一家人真高兴，直夸他是个做生意的料。
“九·一八”事变发生后，日本帝国主义大肆侵略东北，时局顿时紧张起来。福建兵荒马乱，牛宅村无一例外，林绍良的面食店也只能在无可奈何的哀叹中关门大吉。
福建沿海一带有下南洋的传统，手续很简单，只要有旧客（从南洋回乡探亲的华侨）带着，交足船费就可以了。农村有家当的，通常变卖家产，凑足路费就可以起程。如果非常贫穷，也有办法凑到路费，当时的农村形成一种风气：凡是贫困家庭中有人闯南洋，村民会自发地为他筹足不够的费用，因此，一般的村民都能漂洋过海。林绍良的哥哥林绍喜与姐夫郑书生在1925年就下了南洋。
去南洋的行程也比较方便，牛宅村在出海口设立了专门的客栈，方便村民从这里乘班船到厦门，航线每月两班往返，经厦门后再转船去印度尼西亚或马来西亚等地，费用200多元大洋（银币）。
1935年春天，林绍良的父亲由于长年积劳成疾而病死，家庭生活江河日下。这时，局势更乱，抓壮丁的风声更紧，林绍良的母亲十分担心儿子的命运，希望儿子去南洋闯天下。当时的林绍良19岁，中等身材，仪表堂堂，因国内无法发展，也担心自己被抓壮丁，萌生了下南洋的念头。
一天，村里回来一位探亲的华侨，林绍良听说后，一口气跑去，要求带他到南洋谋生。经不住软磨硬缠，华侨最后点头同意了。为了遮人耳目，他们在途中以父子相称，同时这样节省了一半的路费。
