Χτυπάμε το βούτυρο με το μέλι, προσθέτουμε τους κρόκους έναν έναν, το μπέικιν πάουντερ διαλυμένο στο κονιάκ, την αμυγδαλόψιχα και το αλεύρι. Χτυπάμε τα ασπράδια σε μαρέγκα και τα προσθέτουμε ανακατεύοντας απαλά.
Σε βουτυρωμένο ταψί ρίχνουμε το μισό μείγμα. Στρώνουμε τα μήλα σε φέτες και πασπαλισμένα με κανέλα ή τα αχλάδια σε φέτες. Από πάνω σκεπάζουμε με το υπόλοιπο μείγμα και ψήνουμε σε μέτριο φούρνο για 50 περίπου λεπτά.