Se você sabe que as extensões de arquivo estão trabalhando, a melhor solução é usar apenas o auto-mode-alist para iniciar o modo hexl.
Se não, e você entende literalmente o que disse:
It's probably sufficient to define "binary" as "contains a null byte"
Você pode fazer isso adicionando uma função que ative o modo hexl se um arquivo contiver um byte nulo no arquivo find-file-hooks
.
Aqui está uma implementação:
(defun buffer-binary-p (&optional buffer)
"Return whether BUFFER or the current buffer is binary.
A binary buffer is defined as containing at least on null byte.
Returns either nil, or the position of the first null byte."
(with-current-buffer (or buffer (current-buffer))
(save-excursion
(goto-char (point-min))
(search-forward (string ?\x00) nil t 1))))
(defun hexl-if-binary ()
"If `hexl-mode' is not already active, and the current buffer
is binary, activate `hexl-mode'."
(interactive)
(unless (eq major-mode 'hexl-mode)
(when (buffer-binary-p)
(hexl-mode))))
(add-hook 'find-file-hooks 'hexl-if-binary)