Поковырялся немного в BlueStacks. Да, похоже, что ограничение есть. Нашел тут:
- библиотека camera.x86.so - функции android::CameraHardware::setParameters, android::CameraHardware::initDefaultParameters, android::CameraHardware::CameraHardware, android::V4L2Camera::EnumFrameSizes, android::V4L2Camera::EnumFrameFormats.
- модуль ядра bstcamera.ko - функция vivi_init.
Может, еще где-то что-то есть. Чтобы изменить разрешение, надо разобраться во всей этой кухне...