徐悲鸿的父亲是位半耕半读的村塾老师，同时也是位乡间画师。徐悲鸿六岁开始跟父亲读书，七岁时因为常常看见父亲画画，对画画发生兴趣，那时就想学画。他父亲认为七岁的孩子年纪太小，不肯教他；但是他念书念到卞庄子刺虎的故事，就偷偷地求人画一只老虎，自己依着样子描绘。父亲知道儿子实在喜欢画，在他九岁的时候，就让他每天摹一幅当时流行的《吴友如画本》，这就是徐悲鸿学画的开始。
徐悲鸿在十岁的时候就能帮他的父亲在画上不重要的部分添染颜色。但生活的艰难，仅仅十七岁，他便辍学到一家中学里教图画来帮助家用。十九岁那年，他的父亲逝去，家里负债很多，弟妹也要供养，他那时只得在县里三家学校担任教课来解决全家的生活。
沉重的家庭担子压不住他上进的决心，为了学美术，他来到上海。他曾企图把画寄给当时的《小说月报》，以求换得买米之钱，但却被无情退回。他那时寄居在一家赌场里，白天用功，晚上等客人散了，才摊开铺盖在赌桌上睡觉。那时，他常常吃不到饭，也找不到工作。——徐悲鸿甚至为此有过自杀的念头，据他后来回忆，他曾经狂奔到黄浦江边，想要结束自己的生命。混浊而奔腾的汗水汹涌地冲击着江岸，轮船的汽笛尖锐地吼叫着，他解开衣襟，让无情的风刚打入他年轻的胸脯上。当一阵寒冷的颤栗从脚跟慢慢传递到全身时，他才清醒地认识到：“一个人到了山穷水尽的地步而能自拔，才不算懦弱呵！”
1915年，当人们都在用锣鼓爆竹迎接新年的时候，青年徐悲鸿却饿着肚子给一家叫做“审美书馆”的出版社，用颜色填染单色印刷的杂志封面（那时印刷术落后，没有彩色印刷，杂志封面是雇人用手工填色的。审美书馆的主办人，就是著名的岭南画派导师高剑父、高奇峰兄弟）。等拿到报酬，他的肚子已经空了好几天了。
1916年，徐悲鸿考进震旦学院，攻读法文。他是穿着死了父亲的丧服，噙着眼泪踏进了这个学校的。
徐悲鸿的作品逐渐受到社会的注意。除了高剑父兄弟外，当时的文化名人康有为、蔡元培等也给予他鼓励和帮助。1917年，二十二岁的青年徐悲鸿已经被聘为北京大学画法研究会的导师，又得到北洋政府的教育总长、大学者傅增湘（沅叔）先生的帮助，派他到法国去留学。可是出国不久，因为内战，他的经济来源就断绝了。他经常干面包就白开水度日，并且不间断地从事每天十小时以上的劳作。他用功锻炼素描，临摹古代的名画，并努力于国画和油画的创作，还给书店画书籍插图及写一些散稿来维持生活。
由于徐悲鸿曾经经历过艰苦的遭际，所以在他后来的一生中，凡是遇到年轻有为、肯用功吃苦的人，或穷苦无告的人，他总是给予莫大的同情，并且尽一切可能去帮助和鼓励他。1928年，他给当时的福建当局画了一幅壁画，画好后他辞谢了给他个人的金钱报酬，却提出要福建省派送两个青年出国学习艺术。这两个青年一位是油画家吕斯百，一位是雕刻家王临乙，二人后来学成归国，对我国艺术都卓有贡献。
30年代初，徐悲鸿游江西南昌，发现一位默默无闻的年轻人，在报刊上发表有关中国美术史的文章，很有见解，就约见了他，并替他写信向那时的江西省长熊式晖推荐，后于1933年将其派遣到日本留学。这位年轻人就是其后名满天下的画家傅抱石。
