Para acceder a una base de datos en Java debes tener un controlador JDBC correspondiente al motor que vayas a utilizar. Actualmente la gran mayoría (Hasta MS SQL Server) poseen un controlador JDBC. De no ser así, siempre podrás realizar un puente entre el driver ODBC y un driver JDBC.
Dinos en qué motor de bases de datos estás trabajando y te podremos ayudar más.