W trakcie jego rządów media ujawniły tzw. „aferę Rywina” i „aferę Starachowicką”, które pośrednio doprowadziły do rezygnacji Millera ze stanowiska premiera. Swoją rezygnację Leszek Miller ogłosił 2 maja 2004 roku, dzień po uroczystym wstąpieniu Polski do UE.