En fait, il suffit d'éditer /etc/bind/named.conf (avec nano -w /etc/bind/named.conf par exemple) et de supprimer la partie listen-on dans options. Exemple :
options {
directory "/var/bind";

// uncomment the following lines to turn on DNS forwarding,
// and change the forwarding ip address(es) :
//forward first;
//forwarders {
// 123.123.123.123;
// 123.123.123.123;
//};

listen-on-v6 { none; };
listen-on { 127.0.0.1; };

// to allow only specific hosts to use the DNS server:
//allow-query {
// 127.0.0.1;
//};
allow-recursion { localhost; };
// if you have problems and are behind a firewall:
//query-source address * port 53;
pid-file "/var/run/named/named.pid";
};

J'ai donc enlevé les deux
listen-on-v6 { none; };
listen-on { 127.0.0.1; };
puis redémarré BIND avec /etc/init.d/named restart et voilà :)