诗的首句“迟日园林悲昔游”，是因眼前的春光回忆起往昔的春游。当年，春日迟迟，园林如绣，游目骋怀，该是心旷神怡的。而这里追叙“昔游”时却用了一个“悲”字。这个悲，是今天的悲，是从今天的悲追溯昔日的乐；而反过来，也可以说，正因为想起当时的游乐，就更觉得当前处境之可悲。吴乔在《围炉诗话》中说：“情能移境，境亦能移情。”这一句诗是用现在的情移过去的境，为昔日的欢乐景物注入了此时的悲伤心情。
诗的第二句“今春花鸟作边愁”，是从昔游的回忆写到今春的边愁。一般说来，鸟语花香是令人欢乐的景物；可是，这些景物却使诗人更想起自己正在流放去边疆的途中。鸟语也好，花香也好，在诗人心目中只构成了远去边疆的哀愁。这一句诗是以心中的情移眼前的境。诗人缘情写景，因而景随情迁。如果就艺术手法来说，以“花鸟”与“边愁”形成对比，是从反面来衬托边愁。与杜审言的这句诗有些近似的有杜甫《春望》诗中的“感时花溅泪，恨别鸟惊心”一联，司马光的《续诗话》评这一联诗说：“花鸟平时可娱之物，见之而泣，闻之而悲，则时可知矣。”这里，以花鸟可娱之物来写“感时”、“恨别”之情，采用的也是反衬法。杜审言是杜甫的祖父，对杜甫有直接影响。“花溅泪”、“鸟惊心”一联，可能就是从“花鸟作边愁”这一句化出的。
诗的第三句“独怜京国人南窜”，是整首诗的中心，起承上启下作用。上两句，忆昔游而悲，见花鸟成愁，以及下一句为江水北流而感叹，都因为诗人远离京国，正在南窜途中。上下三句都是围绕着这一句，从这一句生发的。但这一句还没有点到《渡湘江》这个题目。最后一句“不似湘江水北流”，才提到湘江，点破诗题，而以“水北流”来烘托“人南窜”，也是用反衬手法来加强诗的中心内容。
杜审言渡湘江时，正值春光明媚，绿水映青山，秀丽的异乡风光撩人意绪，使被贬迁异地的诗人缅怀过去，遐想未来，心中怅惘、失落。因此诗的起句感情深沉地直诉：“迟日园林悲昔游”。他触景生情，回忆起从前在这春光晴丽的大好时光里，尽情游赏园林景色的乐趣，间或还有朋友与他一同饮酒赋诗，赏春惜春，好不痛快。如今只身南迁，心中之悲不难想象。“迟日园林”与“昔游”之间加一“悲”字，使句意曲折而丰富，语势跌宕而劲健。对句：“今春花鸟作边愁”。“今春”指出渡江的时间。“花鸟”概括春景，虽没有直接描绘声色，而鸟语花香的境界已在眼前。“作边愁”，是说今春的花和鸟不同往年，它们也含愁带恨。这里用了移情入景的手法，以比兴表达诗人的愁思。一个“作”字，语意双关。既象说花鸟，又是说人，亦可理解为人与花鸟同说，婉曲而有机趣。
这句诗色彩清淡，情意浓挚，七个字，淋漓尽致地抒发了诗人远游伤春的情怀。“独怜京国人南窜”，是这首诗的中心所在，从前两句的忆春、伤春转入叙事抒情，感慨自己从京都流贬到荒僻的南地。“独”字下得有力，使全句生神，激活全篇。“不似湘江水北流”，紧承第三句点题作结，出语自然。管世铭《读雪山房唐诗序例》说：“初唐七绝，味在酸咸之外，‘人情已厌南中苦，鸿雁那从北地来’，‘独怜京国人南窜，不似湘江水北流’，‘即今河畔冰开日，正是长安花落时’，读之初似常语，久而自知其妙。”所谓“味在酸咸之外”，即指诗中蕴含的情感复杂丰富余味无穷。这些诗句的妙处，不仅在于融情于景，而且还通过时间、空间、景物的不同对比，形成一种杳邈迷茫的意境，仿佛有万般的游丝争惹人的离愁，读者细细体味就能感受其巨大的感染力。“独怜京国人南窜，不似湘江水北流”，初读似常语，并无警策之处，仔细品味，就可看到诗人怅惘的形象。他独立舟头，思悠悠，无限离愁，正如一江春水向北流。杜审言性格爽朗轩豁，喜直抒胸臆，这自是其诗的特色之一。《载酒园诗话》说他“即作磊砢语，亦犹苏子瞻坐桄榔树下食芋饮水，略无攒眉蹙额之态。”这段形象的评语，可帮助我们从多方面去感受欣赏杜审言诗的风格。
胡应麟对这首诗的评价很高，他说：“唐初五言绝，子安诸作已入妙境。七言初变梁陈，音律未谐，韵度尚乏。惟杜审言《渡湘江》、《赠苏绾》二首，结皆作对，而工致天然，风味可掬。”这首诗以押韵对起，又以对作结，俱有整齐美、和谐美以及反复咏叹的韵味。初唐时期是七绝初创的阶段，杜审言这首《渡湘江》是有相当影响的，说它“具有开启诗坛新风的作用”，也不为过誉。