1895年生于福建龙溪(今漳州平和坂仔)，一个基督教家庭，父亲是一名教会牧师。他于1912年加入上海圣约翰大学，毕业后在清华大学任教。
1919年秋天，林语堂去哈佛大学文学系学习了一年，但他的经济资助被中止了。林语堂不得不去法国工作，后来去了德国。他先在耶拿大学学习，1922年通过转学分从哈佛大学获得硕士学位，然后去莱比锡大学学习比较语言学。他于1923年获得博士学位。在此期间，他遇到了李林思，他在德国学习，后来成为一代教育家。他于1923年回到中国，成为北京大学教授、北京女子师范大学院长和英语系主任。
1924年后，他是《语丝》的主要贡献者之一，发表了第一篇关于《语丝》中士气与思想界关系的文章。1925年，他担任教育部汉语和罗马字符音标研究委员会委员，并出版了《最后一个字符考试法》。1926年，他成为厦门大学的文学主任，写论文和学习语言。1927年，他担任外交部秘书。1928年，他是中央研究院的英文总编辑。他出版了悲喜剧《子建南子》和《开明的英国读者》。1929年，他被任命为中央研究院历史专业研究员，上海苏州大学法学院英语教授。1930年，中国笔会在上海成立，创始人之一是林语堂。1931年，他是中央研究院西方语言的编辑，也是历史语言研究所的研究员。1932年，半月刊《论语》创刊，其写作范围和态度是“东西方文化两脚并立，百篇同心”(次年提出)，倡导幽默文学。1933年3月1日，林语堂抓住萧伯纳留在上海的机会，推出《论语》特刊，发表介绍萧伯纳的文章，助长了社会上的“幽默热”。1934年，他创立了“人类世界”，出版了“大饥荒文集”。1935年，他创立了宇宙风(Cosmic Wind)，倡导“以自我为中心，休闲为准绳”的散文，成为论辩派的主要人物。1935年后，他在美国用英语写了《我的国家和我的人民》、《战战兢兢》、《孔子的智慧》和《生活的艺术》，并在法国写了《北京时刻》等文化作品和小说。1944年，他曾回重庆讲学。1947年，《苏东坡传》历时三年完成，是王先生最喜欢的作品。1948年，他去巴黎担任教科文组织艺术和文化科的主任。
1952年，《天风》杂志在美国创办。1954年，他去新加坡为南洋大学的成立做准备，并成为其校长。由于林语堂和南洋大学的管理人员之间的分歧，他上任才半年。他于1966年定居台湾，出版了《高鹗红楼梦》，在出版后讨论了40章的真实性，引发了红学争论。1967年，他受聘于香港中文大学担任研究教授，主持编纂林语堂的《当代汉英词典》。1972年10月，林语堂编纂出版了《当代汉英词典》，这是林语堂写作生涯的巅峰。1975年，他被选为国际笔会副主席。他在北京出版了《瞬间》，并被提名为诺贝尔文学奖候选人。他于1976年3月26日在香港去世，并于4月搬到台北。他在故居的后花园去世，享年80岁。