अगले दस साल का समय पेरेज़ के लिए खुशगवार नहीं रहा। वे एहुद बराक से मुकाबले में लेबर पार्टी का नेतृत्व खो बैठे, एरियल शेरोन की नई कदीमा पार्टी और उनकी सरकार में शामिल हो गए, और उन्हें इज़रायल के दक्षिणपंथ की आलोचना और हमलों का शिकार होना पड़ा जिन्होंने उन्हें ओस्लो समझौतों के लिए दोषी ठहराया। पेरेज़ ने उस नोबेल शांति पुरस्कार को कम महत्व देना शुरू कर दिया जिसे उन्होंने ओस्लो के बाद यासर अराफात और राबिन के साथ साझा किया था। इन वर्षों के दौरान अंतर्राष्ट्रीय मंच पर उनके कद और इज़रायल की राजनीति में उनकी स्थिति के बीच विसंगति तब साफ तौर से स्पष्ट होने लग गई थी, हालांकि 2007 में उनके राष्ट्रपति बनने पर यह दूर होने लग गई थी।
Er verlor den Vorsitz der Arbeiterpartei an Ehud Barak, trat Ariel Sharons neuer Kadima-Partei und seiner Regierung bei und war Gegenstand der Kritik und Angriffe der israelischen Rechten, die ihm die Schuld für das Osloer Übereinkommen gab. Peres begann, den Friedensnobelpreis, den er gemeinsam mit Yasser Arafat und Rabin nach Oslo erhalten hatte, herunterzuspielen.