Grundsätzlich kann der IE immer noch mit dem Internet kommunizieren, er muß nur dazu veranlasst werden. Dank OLE kann ein beliebiges Programm unter Windows exportierte Funktionalitäten eines anderen Programmes, welches auf dem System installiert ist, nutzen.
Dies geht grundsätzliche aber auch mit jedem beliebigen anderen Browser. Es geht selbst ohne Browser, daß irgendeine Anwendung im System die Netzwerkfunktionalitäten des Systems für das Versenden von Daten nutzt. Insofern wäre die Deinstallation des IE nur Kosmetik. Abgesehen vom mangelhaften Nutzen ist es auch nur schwer möglich, den IE aus dem System zu verbannen, seine Funktionalität bekommt man ohnehin nicht ganz heraus, da genügend Bibliotheken des IE ebenso dem Explorer dienen um im Zweifelsfall er die Funktionalität zur Verfügung stellt.
Als weiterer Faktor wurden ja schon die Updates angesprochen, von denen Du dann über die Microsoft-Seite ausgeschlossen wärst.
Langer Rede, kurzer Sinn: Es bringt im Endeffekt nicht wirklich viel, den IE aus dem System verbannen zu wollen, Du solltest Dir eher die Frage stellen, warum Du ein Betriebssystem einsetzt, dessen Komponenten Du so sehr mißtraust.