Nommé Premier ministre le 4 novembre 2002, Idrissa Seck a été limogé de son poste le 21 avril 2004 et remplacé par Macky Sall, ancien ministre de l'Intérieur et actuel Président de la République.

“Le président la République vient, en toute responsabilité et en parfait accord avec moi, de prendre une décision, conformément à ses prérogatives constitutionnelles, de mettre fin à mes fonctions de Premier ministre. Le pays souffre du désordre et du manque de tranquillité occasionnés par la perception entretenue d'une dualité au sommet de l'Etat, dualité qui ne saurait en aucune façon exister, car (...) le président est le lieu unique de la décision, parce qu'il est le siège où se concentrent les suffrages des citoyens”, avait-il déclaré devant la presse, après son limogeage.

Le départ de Idrissa Seck a, en effet, eu lieu après plusieurs mois de rumeurs sur des frictions croissantes entre le camp de l’ancien président, Me Abdoulaye Wade, et celui du Premier ministre qu'il était.

Parmi les faits qui avaient précipité le limogeage de Idrissa Seck, il y a ce discours qu’il avait prononcé le mercredi 21 avril 2004 lors de la rencontre de la Direction politique nationale (Dpn) du Pds. Rappelant de mauvais souvenirs, Idrissa Seck disait «Aouzou Billahi mina chaytaani rajiimi, bismillahi rahmaani rahiimi. Je remercie le chef de l’Etat, Me Abdoulaye Wade. Mais je voulais seulement lui rappeler que lorsque Ousmane Ngom qui sera dans son prochain gouvernement le trahissait, nous étions lui et moi assis à la piscine en train de réfléchir sur le fonctionnement du parti. Lorsque Cheikh Tidiane Sy l’abandonnait le 16 février, nous étions aussi ensemble”. Des propos rapportés par «L’Observateur» dans son édition n°180 du jeudi 22 avril 2004. Selon toujours le journal, il a suffi que l’ancien premier ministre prononce ses mots pour que Me Wade lâche : « Je ne veux plus travailler avec cet homme». La rencontre de la Dpn, qui n’a duré que 15 minutes, a ainsi pris fin. Idy est limogé le même jour et remplacé par Macky Sall à la tête de la Primature.

Cela avait occasionné la formation d’un nouveau gouvernement le 22 avril 2004 qui comptait 39 membres, soit cinq de plus que celui formé en août 2003.

En disgrâce, Idrissa Seck ne sera plus membre de la Direction Politique Nationale du PDS. Il sera ensuite arrêté, le 14 juillet 2005, par la Division des investigations criminelles (Dic) et déféré au parquet. Inculpé pour atteinte à la sûreté de l’Etat, il sera placé sous mandat de dépôt par le Doyen des juges de l'époque, Seynabou Ndiaye Diakhaté. Il occupait alors la chambre qu'occupe aujourd'hui Karim Wade.

Le 03 août 2004, l'Assemblée nationale vote une mise en accusation par 69 voix contre 35 sur 120 députés et renvoie Idrissa Seck et feu le ministre de l'Habitat, Salif Bâ, devant la Haute Cour de justice, pour malversations financières sur les chantiers de Thiès. Plus tard, Idrissa Seck et Salif Bâ bénéficieront d’un non-lieu pris par la Commission d'instruction de la Haute Cour de justice dirigé à l'époque par feu Cheikh Tidiane Diakhaté, alors Premier président de la Cour d'appel de Dakar. Le 7 février 2006, Idrissa Seck sort de prison et créé quelque temps après son parti, Rewmi.