А Мусоргский - всё-таки композитор, в вопросах же грамматики при написании гидронимов правильнее будет обратиться к нашим литературным классикам, например:
1. «Уж как завтра будет кулачный бой На Москве-реке при самом царе...»
(М. Ю. Лермонтов. «Песня про купца Калашникова»)
2. «Зачем, кажется, было будочнику находиться на берегу Москвы-реки!»
(П. С. Тургенев. «Первая любовь», глава XXI)
3. «Ваше письмо получено мною уже на новой квартире. Квартира моя за Москвой -рекой».
(А. П. Чехов. Письмо П. А. Лейкину.Собр. соч., т. 11)
4. «Дом Григорьевых с постоянно запертыми воротами и калиткою на задвижке находился за Москвой-рекой на Малой Полянке».
(А. А. Фет. «Ранние годы моей жизни»)
5. «Мы расстались с молодым человеком у Дорогомиловского моста на Москве-реке, а встречаемся на берегу Оки-реки».
(А. И. Герцен. «Записки одного молодого человека»)
6. «В Лужниках мы переехали на лодке Москву - реку...»
(А. И. Герцен. «Былое и думы», глава III)
7. «В великий пост мы на Москве-реке Еще с тобою встретимся на славу...»
(А. К. Толстой. «Царь Федор Иоаннович». Действие 2-е)
8. «Нескучный сад. В глубине дорожка, за дорожкой деревья и вид на Москву - реку».
(А. И. Островский. «Пучина», начало 1-го действия)
9. «Во Москве-реке карась смотрит в дырочку сквозь грязь...»
(В. В. Маяковский. «Немножко утопии про то, как пойдет метрошка»)