выбираем инсрумент Rounded Rectangle Tool



переключаем его в режим Path



задаем радиус закругления



и растягиваем прямоугольник на изображении по своему вкусу. если у нас вышло неровно или меньше/больше, чем нам нужно, не расстраиваемся, потом все можно подвинуть и перетащить.
оставляем наш прямоугольник в покое и топаем в палитру Path (по умолчанию это вкладка группы палитp Layer).



если вдруг по каким-то неведомым причинам вы в упор не видите эту палитру, не стоит расстраиваться, все (ну почти, это вопрос философский)) в этой жизни поправимо - идем window-path и вуа ля!))) вот она наша палитра.
в ней жмем на кнопку Load Path as Selection



теперь наш прямоугольник принимает вид привычного и знакомого нам выделения, и мы можем двигать его и изменять (делать больше/меньше) при помощи команды Select-Transform Selection.
отредактировав и поставив, как нам нравится, наше выделение, инвертируем его (Select-Inverse или Ctrl+Shift+I). создаем новый слой и заливаем чем душе угодно и насколько хватит фантазии, наше выделение. рамка готова!