张伯苓出生于1876年（清光绪二年），幼年时体弱多病，是体育锻炼让他变得强壮起来，并以优异的成绩考入北洋水师学堂，较早地接触了西方近代体育，跳远、跳高、爬桅无所不能。后来，甲午海战中国海军几乎全军覆没的噩耗让血气方刚的张伯苓义愤填膺。为了告别“东亚病夫”，1898年，他毅然脱离海军，回到天津从事教育。他认为，中国虽大，历史虽久，但人落伍了。而教育是立国之本，所以他坚持教育救国。

“强国必先强种，强种必先强身”，在张伯苓看来，体育“第一是锻炼学生要有强健的体魄，第二是培养学生要有浓厚的国家观念。二者兼备，然后方能担负起救国救民、复兴御侮的重任”。因此，“体育为先”就成为张伯苓教育思想与教育实践的重要组成部分。 他在教授英语、数理的同时，还增设了“操身”课程。练习跳高没有竿、架，他就用椅子架一毛帚，竿子升高，就垫书本。没有木马，他就让学生曲身，两手撑膝，排成一列，然后腾跃，代为木马练习。这是西方体育活动第一次敲开中国塾馆的大门，比清政府规定学堂开设体操提早了5年。 

张伯苓之所以如此重视体育运动，与他跟基督教青年会的密切来往有着很大关系。如1898年被派到天津任青年会总干事尤格林（Robert Gailey）是普林斯顿毕业生，全美橄榄球队的中锋；1902年来华在天津每周主领查经班的饶伯森（Clarence Hovey Robertson）教授，是普林斯顿大学跳高能手。基督教青年会是我国体育事业的开创者，1902年在天津和上海举办了中国有史以来的第一次运动会，1909年在南京举办的第一次全国运动会，以及1914年在北京天坛举办第二届全国体育运动会，均由基督教青年会主办。后在张伯苓为中国加入奥运而奔走之时，基督教青年会涌现出不少支持力量，包括另一位出身于基督徒世家的王正廷。

早在20世纪初，张伯苓就与基督教青年会有着密切的来往，并逐渐接受福音，后于1909年在天津西沽公理会教堂受洗归主。此外，他还多年担任天津基督教青年会的董事、会长等职务，也因此重视体育运动，并在南开大学大力推进体育教育。

1904年，张伯苓创办私立中学“敬业学堂”，1907年在天津城区南部的开洼地（俗称“南开”）建成校舍，遂将“敬业学堂”改名为“南开中学堂”。1919年，张伯苓与严修一起，创建南开大学，并先后担任南开校长40余年。随着南开系列学校的创立，张伯苓开始将自己的体育教育理念付诸实践，规定，凡百码、铅球、跳高和440码的成绩均要达到学校规定标准方为及格，并要求本校运动会要尽量使人人都能上场。在张伯苓的推动下，每天下午4点后，学生都自觉地奔赴操场，三五结伴，锻炼身体，从不间断。在广泛开展校内体育的基础上，张伯苓还选拔成立了各种学校体育代表队，参加校际、地区间，乃至全国性和国际性体育比赛，使体育成为南开与社会交流的重要方式。 

当现代国际奥林匹克运动兴起时，他敏锐地认识到古代奥林匹克运动在今天依然有很多有生命力的东西，而现代奥林匹克之父、法国著名教育家顾拜旦，把教育和体育有机的结合起来，重新挖掘和打造现代奥林匹克文化和运动，对塑造新国民，改革旧社会的重要作用。对此张伯苓倾注了极大的精力和心血。

1907年10月20日，张伯苓向严修建议“学堂师生宜有高尚适当之运动”。1907年10月24日在天津基督教青年会礼堂举行的天津学界第五届联合运动会闭幕典礼和颁奖仪式上，张伯苓发表了题为《雅典的奥运会》的著名演说。他首先介绍古代奥运会历史，继而介绍现代奥运会的复兴。他满怀豪情地说：“此次运动会的成功，使我对吾国选手充满了希望”。他建议：“中国人应该加紧准备，在不久的将来也出现在奥运赛场上”。他还认为“当前最需要的是聘请有技能的教练员”。1908年英文版《天津青年》记载了这个历史性时刻，奠定了张伯苓是中国近代史上明确提出中国要参加奥运会，并提出一些措施来实现这一主张的第一个中国人的历史地位。

1908年8月张伯苓作为直隶省代表，赴美国参加世界第四次渔业大会并顺访欧洲考察教育。此时正值英国伦敦举办第四届奥运会，他亲临赛场，目睹盛况，成为现场观摩世界奥运会的第一个中国人。1908年10月13日，天津基督教青年会与南开中学堂、天津府中学堂、普通中学堂在天津西南角体育场联合举办第五届年度运动会。在发奖仪式上，张伯苓发表《中国与国际奥委会》的讲演，向学生介绍伦敦奥运会的盛况，激起学生浓厚兴趣和无限向往，进一步推动了奥林匹克运动在中国的传播和发展。

一年后，几个南开学生在《天津青年》上撰文提出：

“中国何时派一位胜利选手参加奥运，中国何时派一支胜利队伍参加奥运，中国何时才能举办奥运，邀请世界选手到北京参加比赛。”这是中国著名的奥林匹克运动三问。

“奥运三问”振聋发聩，此后张伯苓以自己的实际行动，回答着“奥运三问”：

1928年，张伯苓任名誉会长的“中华全国体育协进会”派代表出席观摩了第9届国际奥林匹克运动会。

1932年，张伯苓与张学良及体育协进会领导一起，积极支持短跑运动员刘长春赴洛杉矶参加第十届奥运会，并亲自为刘长春向国际奥委会报名，最终促成中国运动员刘长春和教练宋君复如愿与会，代表中国出征，写下中国奥运史的重要一页。

4年后，在中华全国体育协进会的积极支持下，中国派出由141人组成的体育代表团，前往德国柏林参加第11届奥运会。

1945年抗战胜利，他组织召开体育协进会会议，申办第15届奥运会，这是中国历史上第一次申奥活动。

新中国成立后，体育事业有了蓬勃的强劲发展，冲破某些国际势力的重重阻力，取得在国际奥委会合法地位。1979年11月，国际奥委会通过了国际奥委会执委会做出的关于恢复中国奥委会在国际奥委会合法地位的《名古屋决议》，确认代表中国奥林匹克运动的是中国奥委会，设在台北的奥委会作为中国的一个地区体育组织留在国际奥委会，其名称为中华台北奥委会，并要求其修改会歌、会旗、会徽及章程。

1984年，中国体育代表团在洛杉矶举行的第23届奥运会上一举夺得15枚金牌，吹响了中国体育健儿全面进军现代国际奥林匹克运动的号角。从那以后，中国连续派出大型体育代表团参加历届奥运会。

张伯苓曾坦诚，在过程中曾遇到种种困难，也曾抱着悲观的想法，觉得人生没有意义、终究要死；后来，他经常阅读有关耶稣的事迹，并因着耶稣的为人深受感动，“靠着基督的力量没有半途中止”，并希望“用耶稣的能力改造社会”。