RewriteEngine On

# Si NO viene con el header de que ya es HTTPS desde el proxy...
RewriteCond %{HTTP:X-Forwarded-Proto} !https
# Y si HTTPS está apagado localmente...
RewriteCond %{HTTPS} off
# ENTONCES redirige.
RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]