张九龄20岁登进士第，做了九品的校书郎;不久，唐玄宗召天下文藻之士撰文广献国策，并亲自披阅过问，他因写了篇建议朝廷恢复郊庙祭祀礼仪的奏疏，深得玄宗赏识，就升为八品的右拾遗，专门在吏部负责选拔官吏与人才。在此任上，他表现出众，所选人才，每次都看得很准，且极公允。张九龄曾说“安禄山狼子野心，面有逆相”，建议唐玄宗“因罪戮之，冀绝后患”，找个借口杀了他。可是玄宗不太相信，怕“误害忠良”，张九龄死后没几年，安禄山果真就反了，玄宗想起张九龄当年的提醒真可谓火眼金睛，遂对张九龄的后人及家庭给予许多特别的关怀，以示补偿。

张九龄任宰相时，非常正直、刚毅，尽职尽责。唐玄宗在位年久，对于朝政有些松懈。张九龄每次见到皇帝，他都能把朝廷的得失说出来，当时，李林甫刚到相位，他想暗地里中伤张九龄，迎合帝意。当时皇帝要对朔方节度使牛仙客进行实封。张九龄极力反对，很不合皇帝的旨意。

初秋的时候，皇帝命高力士赐给张九龄白羽扇，这里面寄寓了皇帝不用张九龄的意思。张九龄接到后明白了皇帝的意思，也很恐慌，因此他作了一篇赋献给了皇帝。又给李林甫写了一首《归燕诗》：

海燕何微眇，乘春亦暂来。

岂知泥滓溅，只见玉堂开。

绣户时双入，华轩日几回。

无心与物竞，鹰隼莫相猜。

李林甫一看，知道张九龄必退，愤怒才有所缓解。张九龄和裴耀卿被罢免那天，从中书省到月华门，站在班列之中，二人鞠躬时非常谦卑，李林甫也在其中，态度非常傲慢。旁观者窃语说：“这是一雕挟两兔。”一会儿，皇帝下诏，命张九龄、裴耀卿为左右仆射，罢掉了宰相之职。李林甫大怒说：“这还不是左右丞相吗？”李林甫目送张、裴二人急步回到班列。公卿以下的诸官看到李林甫这副凶相，不觉两腿发颤，而张九龄依然神态自若。后来张九龄又被贬为荆州长史。唐玄宗虽罢了张九龄的官，但每每启用新人，也还要念念不忘地问一句：“风度能若九龄乎？”张九龄最后是请求挂职回乡的。此后没两年，就病死在家中，卒年68岁。