Java Swing, comparando el código de una ventana modal y una no modal.

Para la ventana modal.

import javax.swing.JDialog;
import javax.swing.JFrame;
public class VentanaModal {
    public static void main(String[] args){
        JFrame ventanaModal = new JFrame("¡ Intenta Cerrar esta ventana !.");
        ventanaModal.setAlwaysOnTop(true);
        ventanaModal.setSize(300,300);
        ventanaModal.setVisible(true);
        JDialog dialogoModal= new JDialog(ventanaModal,"DIALOGO MODAL", true);
        dialogoModal.setSize(300,300);
        dialogoModal.setLocationRelativeTo(null);
        dialogoModal.setVisible(true);
             
    }  
}

Para la ventana no modal.

import javax.swing.JDialog;
import javax.swing.JFrame;


public class VentanaNoModal {
    public static void main(String[] args){
        JFrame ventanaNoModal = new JFrame("¡ Intenta Cerrar esta ventana !");
        ventanaNoModal.setAlwaysOnTop(true);
        ventanaNoModal.setSize(400,400);
        ventanaNoModal.setVisible(true);
        JDialog dialogoNoModal = new JDialog(ventanaNoModal, "DIALOGO NO MODAL", false);
        dialogoNoModal.setSize(300,300);
        dialogoNoModal.setLocationRelativeTo(null);
        dialogoNoModal.setVisible(true);
    }  

}