Ludwigstraße, Abriß