Alles Lob gebührt Allah..
Das Richten zur Gebetsrichtung ist eine der Bedingungen für die Gültigkeit des Gebets, nur wird eine kleine Abweichung, keiner großen, verzeihen. Genauso wird demjenigen verziehen, der sich bemüht hat die Gebetsrichtung zu finden, dabei jedoch einen Fehler gemacht hat. Aus deiner Frage aber kommt hervor, dass du dich weder bemüht noch gefragt hast, vielmehr hast du gar nicht aufgepasst, dass sich deine Stellung zur Gebetsrichtung verändert hat. Demnach musst du diese Gebete nachholen.
Und wenn es dir schwer fällt zu erfahren wie viele Gebete es waren, so sollst du Acht geben und so viel beten, dass du stark davon ausgehst, dass dadurch deine Schuld rein geworden ist.
Und Allah weiß es am besten.