Aquí está explicado:
http://support.mozilla.org/es/kb/como-limpiar-la-cacheEso está en el menú Herramientas - Limpiar historial reciente - y en la ventana que te aparece marca la casilla "Cache", y dale al botón "Limpiar".
En el menú Preferencias - Avanzado - Red - Limpiar cache.
Borra el marcador que tiene el favicon viejo, limpia la cache, vuelve a visitar la página que tiene el nuevo favicon y la guardas, a ver si así se guarda el icono nuevo.