王安石在与神宗讨论“三不足”的流言时曾谓：
陛下询纳人言，无小大，唯言之从，岂是不恤人言？然人言固有不足恤者，苟当于义理，则人言何足恤？故《传》称‘礼义不愆，何恤于人言！’郑庄公以‘人之多言，亦足畏矣’，故小不忍致大乱，乃诗人所刺；则以人言不足恤，未过也。引自邓广铭《北宋政治改革家王安石》91页，人民出版社1997年版。
王安石一方面肯定神宗是善纳人言的，并无不恤人言之事，这是顺着皇帝的意思说话，因为神宗并不主张不恤人言。然而，王安石要说的是人言固有不足恤者，关键是要看是否当于义理，而不是人言本身。王安石主张以义理为标准，认为不合义理的人言没有必要理睬，凡事皆听乎流俗之言，则无事可为，非但无益，反而会害事。如郑庄公畏人之多言，不敢依义理行事，不能忍受他人的讥议，结果导致国家大乱。因此人言不足恤，此说并不为过。
王安石认为，义理是最为重要的，只要合乎义理，则一切皆不足畏。他多次强调这一思想，并以汤、武革命为例加以阐述。汤、武革命虽说是应天顺人，但也不是人人赞同，比如汤的部下就都不愿出兵，而汤不顾众人的反对，坚决命令出战，甚至以刑戮相威胁，结果取得了胜利，挽救了天下人。假如商汤畏人言，附和众议，则根本不能成功。因此只要当于义理，没有必要要求人人情愿，凡事必待人人情愿而后行，则永远没有成功之日。
王安石认为真理总是掌握在少数人手里，因而他多次鼓动神宗不要过于听信人言，要“以道揆事”，如若不然，“但问人言”，则“浅近之人何足以知天下大计，其言适足沮乱人意而已”。一般庸人的见解不值得重视，因为他们的话不合义理，非但无助于襄赞天下大计，反而会起到扰乱人心的反面作用。
王安石甚至认为，人心也必须合乎义理，合乎义理才称得上得人心，而不能看一时人数的多寡。据《长编拾补》记载：
上因论及台谏官言不可失人心，安石曰：“所谓得人心者以为理义。理义者，乃人心之所悦，非独人心，至于天地鬼神亦然。先王能使天地鬼神亦莫不宁者，以行事有理义故也。苟有理义，即周公致四国皆叛不为失人心；苟无理义，即王莽有数十万人诣阙颂功德不为得人心也。”
神宗善于听纳人言，故亦每为流俗所动，他告诫王安石要听取台谏官的意见，免得丧失人心。王安石对此针锋相对，提出得理义者才能得人心，理义不仅是人心之所悦，还可施之于天地鬼神。假如理义在手，即使是举国反对也不可怕，不能说失人心；如果无理义，即使全国百姓高呼万岁也不可喜，不能说得人心。
这种但以理义之是非为是非的思想是值得肯定的，然而这也容易导致一种盲目独断，因为如何才算是理义，各家各派的标准不一，谁是谁非无法轻易下结论。如果真是合乎理义，坚决奉行自然是正确的；假如以非理义为理义，盲目坚持错误而不动摇，就会在错误的道路上越走越远。即使手中掌握着真理，在绝大多数人不能理解和接受的情况下，一味靠强权来推行，效果也未必好。
按照理义的标准，王安石得出人言不足恤的结论就不奇怪了。据《长编》卷二二三记载，王安石一次对神宗说道：
流俗之人，罕能学问，故多不识利害之情，而于君子立法之意有所不思，而好为异论。若人主无道以揆之，则必为异论众多所夺，虽有善法，何由可立哉？
流俗之人，少有学问，故不识利害，不明理义，这种人的议论当然没有必要听取，听了反而会坏事。
拒谏是司马光代表保守派给王安石加上的一项重要罪名，那么王安石是否真的拒谏呢？据《宋史·陆佃传》，当陆佃向王安石进言，说外间颇有人传说他拒谏时，王安石回答道：“吾岂拒谏者，但邪说营营，顾无足听！”可见，王安石所拒绝的只是流俗之辈的无益之言而已！
王安石在制订和推行新法时非常慎重，尽量考虑老百姓的意见。如免役法从议论到制订就用了两年的时间，广泛听取了各方面的意见。据《长编》卷二二四，神宗与王安石在讨论重视民事时，神宗强调民事不可缓，又谓“修水土诚不可缓”，王安石言道：“去徭役害农亦民事也，岂特修水土乃不民事？如修水土，非陛下能胜异论，则谁肯为陛下尽力？且议助役事已一年，须令转运使、提点刑狱、州县体问百姓，然后立法。法成，又当晓谕百姓，无一人有异论，然后著为令。则其于民事可谓不轻矣。”王安石一方面劝告皇帝勿为异论所挠，一方面又强调“体问百姓”，甚至要求“无一人有异论”，然后施行。后来推行其他法令时，他也要求先要做到“民无异词”再行实施。不论所有新法是否真正做到了“民无异词”，但提出这一标准就体现了对百姓意见的重视和对人心民意的充分尊重。
从保守派对他的攻击中也可以看出王安石其实并不“违众自用”，而是广泛听取了各方意见。如刘挚就在奏章中弹劾王安石不顾大体，竟然将“市井屠贩之人皆召之政事堂”参议政务，这在他们看来是一项罪名，但也恰恰表明王安石既非“拒谏”，又不“执拗”，而是非常虚心和宽容的。
王安石所不恤的到底是流俗之言还是所谓的“公论”，双方的结论完全相反。保守派攻击王安石“诋公论为流俗”，以己说为公论；王安石则将保守派的言论称为“异论”、“邪说”、“流俗之言”，看来主要是由于双方的立场相去甚远，故结论也势如水火。那么到底王安石所蔑视的是“流俗之言”还是“公论”呢？
对这一问题的回答还是无法抛开双方的立场。由于变法暂时触动了士大夫阶层的一些利益，因而在整个包括士大夫与豪商地主在内的社会上层，反对变法的声音一时占了主流，就整个社会上层而言，反对派的声音就成了“公论”，因而保守派对王安石无视这一“公论”表示愤慨并不奇怪。对于保守派来说，他们无法想象像王安石这样的“阶级异己分子”为什么会背叛本阶级，置本阶级的利益和呼声于不顾，因而只能以“不近人情”、“执拗”等言辞来形容他。其实王安石比他们想得更远，他考虑的是国家的整体的、长远的利益，为此暂时牺牲一点上层阶级的利益、让贫困至极的下层百姓稍得一点好处在他看来是完全应当的。从全局的角度来考虑，从人数更多的下层百姓的利益来考虑，保守派的所谓“公论”就名不副实了，既不公正，也不代表主流和多数。保守派之所以根本不这么认为，是由他们狭隘的阶级立场决定的，因为在保守派的心目中，下层百姓根本就不值得尊重，他们的意见完全没有必要听取，是真正的“流俗之言”。由于社会下层没有发言权，缺乏代言人，他们的声音就无法反映到上面，因而代表少数的“异论”却成了“公论”，只有王安石这样目光远大、个性刚强、体恤下情的大政治家才会不为所动，以力战流俗为己任，虽然未获最终的成功，但其精神和勇气还是不可抹杀的。
从王安石不畏艰险、不惧困难、不怕压力，“必欲力战天下之人（流俗之辈），与之一决胜负”所表现出来的大无畏的英雄气概中，可以看到他坚强的个性、坚定的信念和无比的人格魅力，这也是永远值得后人效法和敬仰的。
王安石变法，其指导思想是正确的，目标是明确的，法令措施是可行的，推行步骤也比较适当，效果也很明显，但由于种种原因，还是避免不了最终失败的命运，令人扼腕叹息。
总结其最终失败的原因，探讨其变法的得失，在今天仍有非常重要的现实意义。
首先，变法派的政治基础比较薄弱，无法形成一股强大而持久的政治力量，这恐怕是变法失败的根本原因。
比较普遍的观点是，王安石是中小地主和自耕农的代表，这未免带有过去阶级分析的痕迹。其实如果按阶级成分来说，王安石“无田园以托一日之命”，算是标准的贫下中农，用现在的话说就是彻底的工薪阶层，以薄俸养家糊口。尽管王安石经常为社会中下层说话，但也不能说他就是中下层的代表，他其实代表的是国家利益和每个阶层的合法、合理、长久的利益。
当时的情况是整个社会贫富悬殊，或者说是两头小、中间大，即朝廷与下层百姓掌握的财富份额不大，都是收不抵支，而上层官僚与地主豪商则相对过富，他们收入较高，承担的责任却很少，因而盈余较多。而且他们的收入大多带有不合法的成分。上层官僚俸禄并不高，其收入大半来自贪污受贿或兼营他业，总之大都是凭借特权得来的；大地主与豪商要么与官僚一身二任，要么与官府相互勾结，其收入中靠正当经营获得的部分不多，靠剥削、侵吞、逃税等不正当手段得来的收入占去大半。这部分人收入高，又有特权，该承受的负担又大都转移到下层身上，因而支出相对较少，是整个社会最富裕的阶层，也是最为保守、最缺乏进取心、最害怕改革的一个阶层。
面对国家积贫积弱、社会负担严重不均的现状，王安石采取的是双管齐下的策略。一是注重效率，依靠发展生产来增加社会财富，使整个社会都受益；二是注重公平，抑制兼并，限制垄断，减少上层特权阶级的不合理利益。这两个方面是相辅相成的。不注重公平，不限制特权阶层的非法利益，就无法调动下层百姓劳动生产的积极性，也无法筹备发展生产需要的资金，同时也不能给中下层官吏增发俸禄，不能澄清吏治、减少贪污；不努力发展生产，使财富总量大幅度增加，就只能纠缠在分配上，加剧上下之间的矛盾，而下层只能是受害者，得到较小的一块蛋糕，无法得到真正的公平，一旦矛盾彻底激化，就可能爆发社会动乱，贫富上下都会遭殃，谁也得不到公平，而最倒霉的其实还是穷人。因此从长久来看，变法对国家有利，就是对所有的社会阶层都有利，富豪阶层也不例外，而他们事实上还是最根本的获利者。
改革肯定会暂时触动一部分人的利益，对于可能会遭遇到特权阶层的反对，王安石和神宗都是有心理准备的，但特权阶层的反抗如此激烈，如此不顾大局，则是变法派始料未及的。
神宗在变法方面有时甚至比王安石还要激进，他很清楚变法的目的就是改变负担不均的现状，增加朝廷收入，而下层负担已经很重，且贫寒已极，没什么油水可刮了，因此目标只能是对准上层富户。在神宗与文彦博的对话中，明确表现出了双方立场的差异。文彦博言道：“祖宗法制具在，不须更张以失人心。”神宗针锋相对：“更张法制，于士大夫诚多不便，然与百姓何所不便？”文彦博曰：“为与士大夫治天下，非与百姓治天下也。”
这段对话十分有趣。神宗明白指出变法的目的就是针对士大夫阶层而不是针对下层百姓，文彦博则也直言不讳地告诫神宗，皇帝只能与士大夫合作，而不能代表百姓。
在抑制兼并方面神宗与王安石一致，但在方式、方法及步骤上则有所差别。神宗似乎急于求治，或者说急于改变朝廷穷困的局面，因而主张对兼并户坚决打击、赶快征敛。王安石则老成持重，他知道这个阶层势力很大，如果过于侵犯其利益，改革的阻力就会非常大，因而主张采取比较和缓的方式，只能渐加限制，不可急躁。
如免役法，神宗对官户减半优待的做法不满，“疑官户取助役钱少”，王安石则耐心劝告，以为“度时之宜，只可如此”，这样阻力较小，能使变法顺利进行，这帮人不是有权，就是有钱，一旦纷纷上告，恐怕皇帝本人也不能不动摇。若皇上果能熟见利害，明示赏罚，使豪滑吏民不敢不服，到那时再加大制裁、兼并的力度，多救济贫弱，就不会有太大困难了。
这场变法事实上是变法派与神宗的结盟，尽管变法派在一定程度上代表了中下层的利益，然而正如文彦博所言，由于百姓在专制制度下并无发言权，因而变法派的权力基础事实上就只有皇帝，变法的成败得失也就只能系于神宗一人。
王安石对此非常清楚，因此他在最初就一再试探神宗，看他变法的决心究竟有多大，当他认为神宗的态度比较坚决时，就毅然接受了领导变法的重任。
专制社会皇权当然至上，然而文彦博的话也是一针见血，皇帝无法真的脱离自己的阶级基础，他不可能与百姓合作，因为他不是民选的“总统”，真正决定皇族命运的还是士大夫阶层，专制制度注定他只能与这一阶层合作。
由于王安石过于相信皇权至上，以为只要有皇帝的支持，就可以无事不办，圣君贤相就足以决定国家的命运，因此对于变法可能遇到的困难估计不足，往往将变法遇到的挫折归因于神宗态度不够坚定，对神宗的困难也缺乏理解。
由于变法触及了占社会统治地位的士大夫阶层，包括变法派本身也是这个阶层的组成部分，因而这场内部革命动力不足，其失败是早晚的事。这也是时代注定的悲剧，王安石和神宗再开明，也不可能让百姓参政议政、走上政治舞台。
由于依赖皇权，王安石只好鼓吹王权至上，只能为君主专制大造舆论，强调君主至高无上的权威。这又无异于饮鸩止渴，虽解一时之急，却留下了极大的副作用，既不符合他济贫弱、抑兼并（皇帝才是最大的兼并者）的初衷，也不合乎他向往原始民主、主张君臣互为宾主的思想。
由于一方面依赖皇权，一方面又担心士大夫阶层的反抗与抵触，就注定了变法只能是借鸡生蛋，是想在专制制度内部孕育出一个公平、自由、富有生机与效率的新制度。在不触动旧体制的前提下创造出新体制，其难度之大是可想而知的。
既然变法既不能触动皇权，又不能改变士大夫的特权地位，这就注定了改革只能在经济领域进行，而无法真正深入到政治领域。诚然，王安石也不是不想在政治上改革，但他只能做一些小打小敲的改良。如改革科举，兴办学校，使得下层士人有了更多的机会，为国家，也为变法派培养了不少人才和后备力量。如改革晋升制度，稍微改变了过去那种按部就班、无灾无难到公卿的旧制，对于中下层官吏确有才能者不次擢用、破格提拔，以才德政绩之优劣予以升降，不再单看年资。如主张高薪养廉，给过去从不发俸禄的胥吏发薪，使之不再专靠贪污为生，设想逐步打破士人与胥吏之间的界限，使干练有才的胥吏同样有升为大臣的机会，提高胥吏的社会地位。同时给中下层官员增发薪俸，使之得以养廉。这些措施无疑都对澄清吏治有利，也提高了官府的行政效率。
然而，这些改革并没有触动专制制度本身，也没能改变等级体制。上层官僚富豪只是在经济利益上受到了一点损失，其政治权力和特权地位并未受到动摇。而且，王安石是打着加强王权的旗号来限制士大夫阶层的某些特权的，这也是他们不敢公然反对的重要原因，同样也是神宗支持变法的条件和前提，因而改革的结果只是将上层享有的某些特权和经济利益收归中央，而不是转移给下层。从某种程度上说，改革使专制制度更加强化了、权力更加集中了，使整个国家对皇帝一人的依赖更加严重了。
神宗并不是一个昏庸可欺的皇帝，他支持变法是有条件、有目的的。对于能够加强皇权的措施他坚决支持，反之则不予理睬。他口口声声代表百姓，仿佛真要与百姓结盟，完全为百姓利益说话，其实不过是以此为借口来限制上层士大夫的特权，将这一部分利益和权力收回并由他来支配。他在前期对王安石几乎言听计从，一是因为王安石的想法与他的想法一致——王安石的举措都是维护皇权的；二是因为他深知王安石的人品和能力，知道他不慕富贵，没有私心；三是因为他本人政治经验不足，自觉在能力上不如王安石，而且当时财权、事权多由大官僚、大富豪把持，没有王安石等人的鼎力相助，他也很难有所作为。
神宗一方面宣称“朕与安石如一人”，非常尊重王安石，也给了他较大的权力；一方面又牢记祖宗告诫，实行“异论相搅”，在朝中一直任用文彦博、冯京等旧党掌管枢密，以对王安石进行限制，又对司马光等人采取不即不离的态度，使之仍然保持影响和地位。王安石权力虽大，却须事事与神宗商量，并无单独任事之权。神宗与王安石的关系就像太阳和月亮，月亮虽然非常明亮，其光辉却完全出自太阳。
旧党多攻击王安石专政，其实真正的专政者一直是神宗，只是王安石更多地站在前台而已。王安石二次罢相，固然与他痛失爱子、变法派又遭到分裂有关，但更重要的是他已经意识到神宗有独揽大政的意图，对他的信赖有所减弱，而且他与神宗的分歧渐渐显露，变法已经很难再按他预想的方式进行下去了。
神宗在王安石去职之后，尽管仍然在推行新法，但规模已大为缩小，更重要的是指导思想与方式方法发生了很大的变化。富国强兵是二人共同的目标，但如何达到这一目标，二人是有分歧的。王安石主张以发展生产、增加收入为主；神宗则强调自下征敛和减少开支。王安石强调集权，但他事实上是以集权为手段，目的则是实现社会公平，并通过公平促进效率；神宗则是以集权为目的，以百姓利益为借口集中权力，将上层士大夫与富豪手中的权力收归中央。王安石主张自由经济，希望通过自由经济调动各个阶层、各个行业发展生产的积极性，使社会财富大幅度增加，使国家真正富裕起来，国富则可以强兵，而这样就需要时间和耐心；神宗则急于求治，他对通过生产和积累富裕起来既信心不足，更缺乏耐心，他主张通过聚敛将财富集中于中央，因而在变法后期他施行的完全是国家垄断经济，以期通过聚敛与垄断使朝廷收入迅速增加，作为强兵之资，以尽快征服西夏，然后图谋辽国，而对这样做带来的严重后果不愿考虑。由于神宗急于有为，急于雪耻，国未真富、兵未真强之时就仓促用兵，而且重用宦官，不信大将，其失败也是必然的。
因为王安石与神宗在变法上有根本分歧，所以变法的前期与后期实际上有很大的差别。在前期，尽管神宗不完全情愿，但由于王安石的坚持，变法基本上贯彻的是王安石的策略方针，效果是比较好的。通过变法国家财政状况有明显的改善，下层百姓也得到了较多的实惠，军事上也取得了收复河湟这样难得的胜利。在后期，由于王安石两度罢相，神宗独揽大政，对变法的信心有所动摇，因而杂用旧党，使得新法推行不力，而在变法措施上更是大别于前期，虽然靠垄断与征敛暂时达到了“国富”的目标，却是以牺牲百姓利益（上下层都包括）、以“民贫”为代价的，在军事上也遭到了惨败。
也是因为与神宗在诸多方面都有严重分歧，王安石既不可能搞民主，又无法真正抓住皇权，士大夫阶层的开明人士又实在太少，变法派内部也不尽是像王安石这样大公无私的人，这就使变法几乎难以避免最终失败的命运。而变法的失败，与其说神宗要承担更大的责任，倒不如说根子在专制制度，是专制制度决定了这一悲剧性的结局。
由于变法是自上而下进行的，只能依靠皇权，因而难以避免自相矛盾。王安石力主抑兼并、倡公平，却又只能以兼并摧兼并——以朝廷的兼并取代上层富豪的兼并，因此变法及发展生产所带来的巨额社会财富真正留给百姓的并不太多，只是从富豪手里集中转移到朝廷府库而已，这并不完全符合王安石的初衷，恐怕倒与神宗支持变法的动机有关。王安石一再强调君权，其本意是借此增强变法的力量，并不想真让帝王专制，没想到神宗却是真想独裁。在王安石二次罢相之后，神宗觉得自己羽毛已经丰满，干脆故意用庸人为相，一切但用己意，而神宗的能力又实在无法与王安石相比，因而使变法运动大打折扣，加之又一再败于西夏，使得富国强兵的目标无法实现，为后来守旧派废除新法留下口实。
王安石强调法治，却又将立法权完全归于皇帝，并且认为皇帝不应当受他自己制订的法律的约束，这种法治无法尊重法律的权威，事实上还是一种人治，甚至是更为有害的人治，因为它使君主处在一种绝对无可制约的位置。“天变不足畏，祖宗不足法，人言不足恤”，拿什么约束帝王呢？这样所谓的道义只能变成一种空谈。如果将一切都押在“人君必定是圣明的”这一虚假的前提上，这个赌注未免太大，而赌赢的可能性又未免太小。
历史证明，在中国施行“新权威主义”之类的“开明专制”是完全行不通的，依靠专制手段推行民主，只能是一厢情愿，非但不能实现民主，反而可能导致更为彻底的专制。
王安石同样要受时代的制约，他不可能在当时建立完善的立法、执法、行政三权分立的制度，更不可能建立现代的民主法治体系，即使他有这些观念的思想萌芽，也不可能明示天下，更无法将之制度化。王安石确实是有民主意识的，他的“道义为重，王公为轻”、“君臣迭为宾主”的观点就体现了道德高于势位的思想。依照这一解释，就不必过分拘泥于君臣关系，谁有理谁就为主，谁无知谁就为宾，道德义理最重要，君臣权位并不是最根本的。在变法前期，王安石就是这样实践这一思想的。他每每以义理辩论折服神宗，必要令神宗服软，体现了君臣平等、互为宾主的理念。然而他没想到的是神宗根本不是心悦诚服，只是暂时隐忍，神宗根本没打算接受他的理念。他只是凭借自己的学识道德实践这一理念，并未将之变成一种制度，因此这种君臣相对平等的关系只是一段时间的临时约定，而且仅限于神宗与王安石之间。等到后来，神宗就以种种借口不再执行这一约定，而王安石则除了请辞之外别无选择。这并不是由于王安石缺乏见识，未及时将其制度化，而是因为在当时的条件下，根本不可能实施这一制度。
历史出现了奇特的悖论，王安石有时不得不以加强皇权来推行民主，以国家兼并来抑制豪强兼并，以保甲制来保证下层百姓的自由和权利，以非学术的手段来推动新学的发展，这些其实是有违他的初衷的，但又不得不如此。
王安石的思想在当时颇有过于超前的意味，不但时人难以理解，即便现代的人也无法完全接受。他以先王之道相标榜，宣扬的却是超越时代的思想，尤其是在经济方面。从种种迹象来看，王安石的抑兼并不仅有主张公平、倡导平等的意味，更有主张自由经济、反对垄断的意图。垄断经济事实上是一种权力经济（或者说是政治经济），是以非经济因素干扰经济的运行，对经济发展从整体和长远来看必定是有害的。王安石深知垄断之害，他既反对富豪兼并，也反对国家垄断，因而力主自由贸易。
可惜在王安石的时代，自由经济的社会基础、技术支持和代表力量都远远不足，无法为他的改革提供足够的支持。中小商人和普通消费者缺乏发言权，他们的意见是无法反映上去的，更无法写在历史上。工业也处于一种萌芽状态，农产品的供应不足，商业化程度不高，文化教育更无法变成产业，因而整个社会都无法真正理解自由经济的价值。
青苗法是现代银行的雏形，免役法强化了职业分工，手实法类似于财产申报及实名制，王安石变法运动的指导思想和经济措施都相当超前，只是难以适应整个社会的主导经济还是自然经济型的农业这一现实。当然，也不是说超前就不好，工商经济同样需要政策的引导，假如新法能够贯彻下去，也许工商业就会被扶持起来，从而带动整个社会经济的商品化，最终完成社会形态的转换。
然而，建立在自然经济基础之上的以儒家思想为代表的旧观念根深蒂固，扭转起来实在太困难了。神宗与王安石希望通过政治手段强制推行新学（这本身就是不可取的），最终达到“化革了人心”的效果，但没有必要的经济基础的支持，这种“化革”也不过是雨过地皮湿，既不能深入，更不可能持久。他们没想到，守旧派同样可以依样画葫芦，以子之矛，攻子之盾。司马光等旧党一上台，就赶紧对新学开刀，以政治手段压制新学。
变法的政治基础不稳，经济基础缺乏，指导思想不一，某些措施失当或操之过急，再加上反对派的力量过于强大，尽管王安石尽了最大的努力，还是无法扭转局势，因此他只好急流勇退，回到江宁过上了退隐的生活。
中国的士大夫一向有两条道路，一是入仕为官，一是退隐田园，因而也就有了两种心态。孔子便强调“用之则行，舍之则藏”，当仕则仕，当隐则隐。王安石虽然是大有作为之人，但他同样也有山林之思，并非一味追求进取。
王安石早年入仕，主要是为了养家孝亲，并非乐意官场，汲汲富贵。由于家中无田园以托一日之命，一家上下几十口人赖其官禄生存，因而他根本就没有条件依照自己的意志生活。在他早年的诗歌中，就表达了“收功无路去无田”的无奈，既然“人间未有归耕处”，他只得“窃食穷城”、任职地方，但这并非他的本愿，在《壬辰寒食》一诗中就表达了他的感慨：
客思似杨柳，春风千万条。更倾寒食泪，欲涨冶城潮。
巾发雪争出，镜颜朱早凋。未知轩冕乐，但欲老渔樵。
这一年即皇祐四年（公元1052年），王安石只有三十二岁，他回江宁为父亲和长兄王安仁扫墓，不觉悲思万缕，泪若江潮，因而发出了轩冕不足乐、终欲老渔樵的感慨。大概是从父兄虽然学问卓越、志节高尚，却穷老仕途、英年早逝的惨淡经历中受到了触动，引发了他潜藏于心中的归老田园、渔樵为生的意愿。然老子骑牛图（明）张路绘隐士而，他也只能借诗抒怀，不能付诸于实际。
王安石又有《池雁》一诗，其中写道：“羽毛催落向人愁，当食哀鸣似有求。万里衡阳冬欲暖，失身元为稻粱谋。”这首诗更是明白地表达了“失身元为稻粱谋”的苦闷，直以仕宦为“失身”，表明他对官场黑暗的厌恶和对乡间生活的向往。
王安石对于是仕是隐皆不得自由，为此徘徊矛盾的心境在他的《两马齿俱壮》一诗中有所体现：
两马齿俱壮，自骄千里材。生姿何轩轩，或是龙之媒。
一马立长衢，顾影方徘徊；一马裂衔辔，奔嘶逸风雷。
立岂饱刍豆，恋栈常思回？奔岂欲野龁，久羁羡驽骀？
两马不同调，各为世所猜。问之不能言，使我心悠哉。
两马其实代表了贤士的两种生活方式，一是在朝为官，安分守己，谨受约束，一是自由自在，退居乡野，如天马行空，独往独来。在朝则为国尽忠，在野则任性自适，二者都是正当的选择，无可无不可。然而时人不能理解贤者用心，造作谤言，是以贤者在朝，忠于王事，则有恋栈贪禄之讥；高材在野，任性逍遥，却有不服约束、甘心自弃之讽。因而贤者无论进退仕隐，都要受到世人的讥议，因为这些人不能到达贤者的境界，自然无法理解贤者的内心，总是以己度人，视骐骥为驽骀，目圣贤为庸禄。
王安石还以二马自况，当他欲任职地方时便有人看他不顺眼，以为他是想摆脱束缚的野马；当他立身朝堂时又有人讽刺他固位贪权。在这种情况下，他依然故我，坚持按照自己的原则行事，不管流俗的怀疑与猜忌。
在王安石的心目中，无论是仕是隐，都应当合乎道义，仕与隐本身并无高下之分。英宗之世，他在江宁守制，数年被召不出，许多人认为他是因为轻富贵、重隐逸而不愿出仕，因而在他应召入朝为翰林学士时，他的老友王介便做诗予以嘲讽，王安石对此一笑置之，以《松间》一诗还击：
偶向松间觅旧题，野人休诵北山移。
丈夫出处非无意，猿鹤从来不自知。
李壁在这首诗的注解中指出：“《石林诗话》云：王介，字中甫，衢州人，与荆公游，甚款，然未尝降意相下。熙宁初，荆公以翰林学士被召，前此屡召不起，至是始受命。介以诗寄公云：‘草庐三顾动春蛰，蕙帐一空生晓寒。’盖有所讽。公得之大笑，他日做诗，有‘丈夫出处非无意’之句，盖为介发也。”
南齐孔稚珪作《北山移文》，讽刺不守隐士之节、出来做官的隐士周颙，其中有“蕙帐空兮夜鹤怨，山人去兮晓猿惊”之语，王介以此典故及诸葛亮为刘备三顾茅庐感动而出山的故事，暗讥王安石为富贵所动，不能复守隐逸之士的志节。王安石则道自己就没有终老松间、一生隐逸之意，不想以隐士自居，故人何必以《北山移文》相讥？男子汉大丈夫，是要按照道义和自己的意愿行事，其志向不是猿鹤之辈所能知的。这里王安石也对王介进行了嘲讽，笑他见识不足，燕雀安知鸿鹄之志，不过二人是好友，虽然相互嘲弄，却都是善意的，不会为此伤了和气。
王安石主张有所作为，有兼济天下之志，他并不想只是独善其身，因而对于传统的重隐逸而轻仕进的做法表示反对。他有《禄隐》一文具体表达了这一思想。旧说孔子“高饿显而下禄隐”，故而将伯夷、叔齐排在柳下惠的前面，道是伯夷、叔齐不降其志、不辱其身，柳下惠则降志辱身，这也是孟子和扬雄的看法。王安石则不以为然，他认为“圣人之所言高者，是所取于人而所行于己者也；所言下者，是所非于人而所弃于己者也”，按照这一标准，则孔子、孟子应当依照他们所赞赏的“饿显”的方式行事，而其实不然。“孔孟生于可避之世而未尝避也”，扬雄则屈身为王莽之臣，这难道是由于圣人能言而不能行吗？显然不是。而是由于“圣贤之言行，有所同，而有所不必同，不可以一端求也。同者道也，不同者迹也”。圣贤道同而迹不同，“饿显”与“禄隐”都属于迹，无所谓高下。圣贤都是通乎权变、无系累于迹的大过于人者，“圣者，知权之大者；贤者，知权之小者也”，因而殷代的三位仁者，其迹不同，微子去之，箕子为之奴，比干谏而死，而其道则一。《易》曰：“或出或处，或默或语。”是说圣人无可无不可，出处语默，皆不离道，都是合理的。
王安石大胆推翻了孔子、孟子、扬雄等先代圣贤的观点，指出隐与显都不过是外在的迹，并无上下高低之分，迹的不同不会影响内在的道的统一性。他对同与不同、统一性与个性、本质与现象的辩证关系有清楚的认识，不以一害多，亦不以多害一。他在维护统一与稳定的同时也大胆容许个性与变化的存在，这是一个了不起的突破。他认为越是圣人，就越能通权达变，依时势而动，可见他心目中的圣人绝非固执保守的腐儒，而是充满活力、善于应变、走在时代前列的改革家。
王安石入仕是为了有所作为，而不是为了谋取富贵，因此即使是他身居相位时亦有山林之思。据魏泰《东轩笔录》卷十二：
熙宁庚戌冬，荆公自参知政事拜同中书门下平章事、史馆大学士。是日，百官造门奔贺者无虑数百人，荆公以未谢恩，皆不见之，独与余坐西门之小阁。荆公语次，忽颦蹙久之，取笔书窗曰：“霜筠雪竹钟山寺，投老归与寄此生。”放笔揖余而入。后三年，公罢相知金陵。明年，复拜昭文馆大学士。又明年，再出判金陵，遂纳节辞平章事，又乞宫观。久之，得会灵观使，遂筑第南门外。元丰癸丑春，余谒公于第，公遽邀余同游钟山，憩法云寺，偶坐于僧房，余因为公道平昔之事及诵书窗之诗，公怃然曰：“有是乎？”微笑而已。
王安石于拜相之日却写下“霜筠雪竹钟山寺，投老归与寄此生”的诗句，可见他在庙堂不忘山林，心中并无富贵腾达的喜悦，而是期待有朝一日能够卸下肩上的担子，过上完全自由自在的生活。他这种想法完全是发自内心的，是自然而然的，因而后来魏泰提起此事时连他自己都感到吃惊，继而微笑，因为这正是他平生的志愿，也不以为怪。
王安石在《次韵酬朱昌叔五首》中表达了对官场生涯的厌恶和对隐居生活的向往，他认为名誉事功皆不足为累，世事官身都充满危险，故而发出“已知轩冕真吾累”的感慨，放言“乐世闲身岂易求，岩居川观更何忧？”表明他乐得岩居野处，登山观水，要做一个潇洒自在的闲人。他还说“拙于人合且天合，静与道谋非食谋”，强调自己是谋道的君子，做官不是为了专门谋取俸禄，只是由于拙于人合，无法与流俗同流合污，只能与天地合德、与大化同流了。
王安石深知富贵与祸患相伴，贪恋者必受其害。他有《食黍行》一诗：
周公兄弟相杀戮，李斯父子夷三族。
富贵常多患祸婴，贫贱亦复难为情。
身随衣食南与北，至亲安能常在侧。
谓言黍熟同一炊，欻见陇上黄离离。
游人中道忽不返，从此食黍还心悲。
他以周公、李斯这两个富贵至极的人为例，说明富贵不足依恋。然而贫贱同样使人难以为情，无法使兄弟父子常相守。为了衣食南北奔走的人哪能经常守在亲人的身边呢？本待黍熟同食，亲人却在黍黄之时离去，从此每次食黍都令人心悲。
对于自由生活的向往使王安石始终不乐富贵，他屡屡力辞相位虽然有多方面的原因，但期望完全按照自己的意愿生活恐怕也是其中最重要的原因之一。如果没有最后十年的退休生涯，王安石的一生就会有更多的缺憾。在他人看来，离开相位、回归乡野会带来巨大的失落感，但对王安石来说却是得其所哉，这是那些依恋荣华富贵的人所无法想象的。
王安石出入自在，行藏自如，表现了一种人所难及的境界和风骨，这种精神在他两次力辞相位中得以充分体现。
王安石于熙宁七年（公元1074年）四月中旬首次罢相。对于他此次去职的原因，前人论之已多，但未必尽是。据《长编》卷二五一，从熙宁六年（公元1073年）冬至七年（公元1074年）春，天气久旱，雨雪不至，神宗为此忧心忡忡，减食损膳，避居正殿，以表自责。而守旧派的翰林学士韩维以为这不过是例行公事，不足以应天变，要求神宗痛切自责，广求直言，并借机指责新法。韩维的用心极为明白，就是认为天变为新法而显，要求神宗顺天应人，废除新法。在韩维这样的守旧派眼中，推行新法有害无利，即使是熙河大捷这样难得的功绩，也被描述成“动甲兵，危士民，匮财用于荒夷之地”，简直一无是处。对于韩维的恶意攻击，神宗应当是心知肚明的，然而他非但不予痛责，反而接纳了韩维的建议，并令其草诏，罪己纳言。
这份诏书是对王安石和变法派的沉重打击，神宗表面上是下诏自责，实则是对变法派的严厉批评。所谓“朕涉道日浅，晻于政治，政失厥中，以干阴阳之和”，这不都是身为宰相的王安石的责任吗？又言“听纳不得于理欤？狱讼非其情欤？赋敛失其节欤？忠谋谠言郁于上闻，而阿谀壅蔽以成其私者众欤？”这几乎是对新政的全面否定，听纳失理，狱讼非情，赋敛无度，奸私壅蔽，忠直不闻，还有什么地方是值得肯定的呢？
究竟是什么原因让神宗下这么大的决心，对自己及新法几乎要全面否定呢？难道仅仅是因为天灾吗？邓广铭先生的解释是神宗一则是惑于天人感应，二则是有意“异论相搅”，这种解释当然是有所依据的，不过未必切中要害。这场旱灾表面上很厉害，但并未造成严重后果，因为此前“累年丰稔”，粮食储备足够用了，不会导致大的饥荒。一场不大的天灾不足以成为理由，但却足以成为借口。这表明让王安石去职确是神宗之意，无论有没有韩维的挑拨都是一样。
那么神宗为什么有意让王安石离职呢？其真实原因并非是因为天示灾异、人情未顺，政治经济也并不像韩维所拟的诏书中说的那样一团糟，恰恰相反，当时正是变法革新的黄金时代，是在各个方面都取得了突出成就之时。
首先，由于王安石的一再坚持，王韶在招抚西蕃的过程中取得了重大成就，使朝廷拓地数千里，达到了“断西夏右臂”的战略目标，这是宋王朝在军事上的重大成功，也是在对外战事中所获得的唯一值得骄傲的大捷。
其次，由于实施了一整套行之有效的理财方案，国家财政状况得到了明显的改善，收入大幅度提高。据《宋史》卷三二八安焘传，安焘指出“熙宁、元丰之间，中外府库，无不充衍”，毕仲游、李常等元祐官员也都指出当时州县钱财充足，不仅足够时需，还可供以后数十年之用。参见《北宋政治改革家王安石》278页等。
再次，经过数年的努力，改革派逐步占据上风，保守派的势头被压了下去，政治上已经出现了邪不压正的局面。
为什么在变法取得了一定成就、局势一片大好之时，神宗会做出这种匪夷所思的决定呢？其实道理并不复杂，神宗当时并不是真的以为自己“涉道日浅，晻于政治”，而是认为自己已经成熟了，称得上是“涉道已深，熟知政治”了，因而不希望再当言听计从的附庸之君，想直接走向前台，名正言顺地做变法的第一号领袖了。
刘安世《元城语录》在论及王安石与神宗的关系时称：