Usar mágica de célula
Mágicas que são gravadas em diversas linhas são precedidas por um sinal de porcentagem duplo (%%) e são chamadas de funções mágicas de células ou mágicas de células.
%%sql
O magic de células permite executar instruções SQL diretamente sem precisar decorá-las com a instrução SQL do Spark. O comando também exibe a saída chamando implicitamente .show() no quadro de dados retornado.
O comando %%sql trunca automaticamente as saídas da coluna para uma largura de 20 caracteres. Essa definição não é configurável no momento. Para contornar essa limitação, use a sintaxe completa a seguir e modifique os parâmetros do método show adequadamente.
spark.sql("""YOUR_SQL""").show(n=number, truncate=number, vertical=bool)
-
n
int, opcional. O número de linhas a serem exibidas. -
truncar:
boolouint, opcional. Setrue, trunca strings com mais de 20 caracteres. Quando definido como um número maior que 1, trunca strings de caracteres longas até o comprimento especificado e alinha as células à direita. -
vertical:
bool, opcional. Setrue, imprime as linhas de saída verticalmente (uma linha por valor de coluna).