Вобщем, решил вопрос:

services.AddAuthentication()
  .AddJwtBearer(JwtBearerDefaults.AuthenticationScheme, o => { ... })
  .AddCookie("Cookie", o => { ... });

services.ConfigureApplicationCookie(o =>
{
  o.ForwardDefaultSelector = ctx =>
    {
      if (ctx.Request.Query.ContainsKey("access_token") || ctx.Request.Headers.ContainsKey("Authorization"))
        return JwtBearerDefaults.AuthenticationScheme;

      return "Cookie";
    };
});

services.AddAuthorization(o =>
{
    o.AddPolicy("BearerPolicy", p => p.AddAuthenticationSchemes(JwtBearerDefaults.AuthenticationScheme)
                .RequireAuthenticatedUser()
    );
    o.AddPolicy("CookiePolicy", p => p.AddAuthenticationSchemes("Cookie")
                .RequireAuthenticatedUser()
    );
});

При логине по кукам не забыть указать схему HttpContext.SignInAsync("Cookie", ...). После этого все работает и через [Authorize(Policy = "CookiePolicy")] и через [Authorize(AuthenticationSchemes = "Cookie")] и через любую схему через [Authorize].

Спасибо вам, но не докам от МС, в которых ничего этого не рассказывается.