太元二十一年（３９６年）至隆安四年（３９９年）间，陶渊明的次子俟、三子份、四子佚先后出生。这一段政局依然动荡不已，３９６年孝武帝死，其子司马德宗继位，是为晋安帝。安帝年幼无知，司马道子以太傅摄政，引王国宝为心腹，使之参予朝政，从而激化了统治集团内部的矛盾。３９７年，南兖州刺史、北府兵首领王恭，以讨伐王国宝为名在京口起兵；荆州刺史殷仲堪起兵响应。司马道子被迫杀王国宝，请求王恭退兵。３９８年，王恭再次举兵，荆州刺史殷仲堪、雍州刺史杨延期、广州刺史桓玄起兵响应，沿江东下，会攻建康。北府兵前锋刘牢之倒戈反击王恭，王恭兵败身死，刘牢之伐王恭统率北府兵。桓玄、殷仲堪退至洵阳，共推桓玄为反晋联盟的盟主，桓玄自任为江州刺史。３９９年，桓玄火并殷仲堪、杨延期，占据长江上游，东晋政府被迫任命桓玄为都督荆、江、襄、雍、秦、梁、益、宁八州军事，荆、江二州刺史。司马道子昏醉多病，其子司马元显掌握中央实权。元显鉴于桓玄的威胁和北府兵的难以控制，想建立一支自己指挥的新军，于是强征兵役，导致孙恩起义。十月，义军攻下上虞，人数很快发展到数万。
就在桓玄兼任荆州刺史的这一年，三十六岁的陶渊明再度出仕，在江陵桓玄幕府任职。
千余年来，论陶家对陶渊明的仕玄评价争议甚多。从诗人崇尚儒家名节的角度说，桓玄这么一个利用王室与士族间矛盾，不断扩张自己势力的野心家，陶渊明对他应该是不以为然的。所以，历代论陶家多以为仕玄是陶渊明一生之斑点。颜延之《陶征士诔》中对此事以“初辞州府之命”一言带过，绕过要害，宋吴仁杰《陶靖节先生年谱》则“力辩先生未尝参仕桓玄。”
南宋的叶梦指出：“盖浔阳上流用武之地，玄与裕所由交战出入往来者也，渊明知自足以全节而伤生，故迫之仕则仕，不以轻犯其锋；弃之归则归，不以终屈其已。”这种解释，应当说比较合理。历代易朝之际，但凡稍有名望的人，往往被新朝征用，以稳定人心，巩固新政权。而亦常有志节坚贞或迂腐不堪者坚决不肯合作，惹来杀身之祸。桓玄取东晋而代之的野心已久，陶渊明这样颇有才华的人他必然要想方设法收罗门下，而陶渊明没必要“犯其锋”，触怒这些说变脸就变脸的军阀。况军阀混战，民不聊生，人人自危，仕于桓玄幕府，不失为一条苟且偷生之道，无可厚非。强求每一个人都为名节去死，实在是不通情理。人人有求生本能，只要不伤天害理，不祸及他人，危害国家民族利益，没有什么不光彩的。
至于陶渊明此番出仕，是否还有假群雄纷争之机有所图谋的念头，已不可考。假如有，也可以理解。当时时局混乱，陶渊明这么一个读书人，也辨不清形势，不可能是经过深思熟虑之后才踏上这条道路。不论他后来文名多么显赫，在当时他不过是芸芸众生中微小的一个，常常是身不由己。看到这一点，就不会把他出仕的原因探究得那么复杂。人首先是为生存而生存，不是为功名利禄，更不是名节道义，如果先认定了他是一个伟人，强加今天的理想和立场于他，就不能正确理解他的一生。他自己经常承认他是因为家贫而出仕的，这种目的似乎太不高尚，太无可夸可羡之处，但这比大济苍生更来得真实。人的社会理想起源于个人理想，首先是为了自身，才推己及人，因为个人需要清明世道，所以才想为清明世道的实现而努力，因为自己需要救济，才想到要大济天下。这是个人心愿的一种变相表达与满足。杜甫“安得广厦千万间，大庇天下寒士俱欢颜，” 是因为自己亦乃一介寒士，才发出呼吁，他也是承大庇者之一。龚自珍“我愿天公重抖擞，不拘一格降人才”，也是由自己心愿出发，渴望有晋身之路，才希望天公不拘一格。如果认定人只有先天下之忧而忧之心才伟大，认定了兼济天下的无条件的高尚，一味高歌“人民性”而忽视个人的心愿，就会曲解一个人的所作所为所思。陶渊明就是为了一饭一食而出仕又有什么可非议的呢？他后来的不肯为五斗米折腰向小人，只是心气高傲，而且厌官已久，不必上升到气节坚贞的高度。况且，此番仕玄，他也许还是受尊重的，所以虽然多有不快、不适，还不到忍无可忍的地步。
不论陶渊明仕玄的动因如何，他心情的不快是显而易见的，他的志向不是做一个小吏，文人的闲散性格也不适合于为杂务奔波，在各种复杂的人际关系中周旋。他这个时期的心境，从《庚子岁五月中从都还阻风于规林二首》和《辛丑岁七月赴假还江陵夜行涂口》这三首诗中得窥。
《规林二首》是陶渊明奉命出使京都，返途中经过江西，准备顺道省亲而被风所阻时写的。其一，以“行行循归路，计日望旧居”起句，既写出他归心似箭，想要早点见到慈母、亲友，“ 一欣侍温颜，再喜见友于”的心情，也流露出他对仕宦生活的疲累和厌倦。“鼓棹路崎曲，指景限西隅”， 归路弯弯曲曲，太阳又早早西坠，“江山岂不险，归子念前途”， 一语双关， 写出作者对世道艰难、前途莫测的忧虑。“凯风负我心，戢戢守穷湖”，南风违背我的心愿，使我只好停船困守在这荒僻的湖上，言外之意，既是嗟叹生不逢时，在仕途无所作为，看不到前程，又是愁苦生计艰难， 寻不到一方清静乐土，进退两难。“高莽渺无界，夏木独森疏。谁言客舟远？近瞻百里馀。延目识南岭，空叹将焉如！”越过繁生草木，家园已经在望，却不能够投入她的怀抱，人在江湖身不由己，即是到家也不能久留，还得怀持一线希望，去宦海浮沉挣扎。
《规林二首》之二，着重写行役之苦和对故乡的怀念。“自古叹行役，我今始知之。” 因公务而在外跋涉，这份辛苦作者其实是早就感受到了，只是今日归舟为风所阻，才尤为强烈地体会出来。“ 山川一何旷，巽坎难与期。崩浪聒天响，长风无息时。”万水千山举步维艰，还有难以逆料的风波，经历了这么多的险阻，于是“久游恋所生”，想回到生我养我的母亲身边，却不知“如何淹在兹，” 耽留在这个陌生的地方。“静念园林好，人间良可辞。当年讵有几，纵心复何疑！”田园美好，官场不值留恋，大好年华能有几多，不必这么忙忙碌碌，身心交疲，还是归还田园，过那种随心所欲的生活吧！
《辛丑岁七月赴假还江陵夜行涂口》作于次年即陶渊明三十七岁那年，他赴假途中经过涂口，友人临流送别，因作诗抒怀，表明做官是违背自己心愿的，准备弃官归田，以洁身自好。“ 闲居三十载，遂与尘事冥。诗书敦宿好，园林无世情，如何舍此去，遥遥至西荆？”诗人回顾自己出仕前的生活，远离尘事，没有世俗的人情缠绕，诵读诗书，养性怡情，悠闲自得，可不知自己怎么抛弃了这一切，跑到西荆来做官。“叩点新秋月，临流别友生。凉风起将夕，夜景湛虚明。昭昭天宇阔，青青川上平。怀役不遑寐，中霄尚孤征。”月亮升起时开船出发，对着前来送行的朋友，诗人慨叹自己公务缠身，顾不上睡觉，半夜里还要孤身远行。凉风萧萧，月光冷冷，辽阔的天空和平坦的大地使诗人更觉凄清。“商歌非吾事，依依在耦耕。”诗人认识到像宁戚那样以悲凉低沉的歌声向桓公自荐而被举为上卿，不是他所能和所愿做的，归田隐居，与家人并肩耕种才是他的心愿。“ 投冠旋旧墟，不为好爵荣。养真衡茅下，庶以善自名。”弃官还乡，决不为高官厚禄所诱惑，在简陋的茅屋里修身养性，自己会觉得这就很不错了。
从以上三首诗看，当官已成了陶渊明的一种心理负担，一种精神折磨。
显然，俯仰由人的小吏生活，扭曲了心高气傲的诗人的灵魂，他决然要摒弃爵禄荣利的梦幻，回到安宁静谧的精神家园了。
这时节，农民起义军与官军连续作战，五月，义军攻下涞口，与官军激战于刑浦、山阴，官军大败，朝廷震惊。十一月，孙恩又大败官军于余姚，时局更加动荡。陶渊明情知仕途更加艰险，隐心日重。４０１年冬，生母孟氏去世，陶渊明回乡居丧，再度从仕途解脱出来。