Поведение клавиши ↵ Enter настраивается в диалоговом окне Параметры - LibreOffice Calc - Общие (Сервис ▸ Параметры... ▸ LibreOffice Calc ▸ Общие в разделе Настройки ввода).