Долго бился над созданием образа более 4 гигабайта. Оказалось, что всего лишь нужно добавить iso-level:

mkisofs -vJRl -o -iso-level 3 dvd.iso /path/to/files

Эта опция определяет уровень соответствия iso9660. В данном случае, на уровне 3 нет никаких ограничений.