Wenn du für die Karte selbst einen Treiber installiert hast, dann ist der normalerweise auch unter Software zu deinstallieren.
"Das OS checkt beim Booten die eingebaute Hardware und läd dann die dazu notwendigen Treiber, richtig?"
Nein!
Die Registry wird natürlich geladen und alle darin befindlichen Treiber (Aufrufe) ausgeführt!
http://mikemstech.blogspot.de/2011/11/how-to-disable-and-enable-windows.html
https://de.wikipedia.org/wiki/Registrierungsdatenbank
Erst danach überprüft Windows, ob für alle aktiven Geräte Treiber vorhanden sind.
Einer der Gründe warum man Windows relativ leicht verhuntzen kann!