Westerholt und Gysenberg, Familie