De manos inescrupulosas, lo mejor es, sin duda, encriptarlo. Sin embargo, si recurre a los datos con frecuencia, es mejor buscar los sistemas de seguridad de la Flash (desde lo más básico, que, como las Memorex, tienen protección contra escritura, hasta la contraseña que piden algunas SanDisk.
Ahora, si el problema no es de privacidad sino de protegerlo de accidentes y eso, saque un backup.