기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Spark 네이티브 세분화된 액세스 제어 허용 목록 PySpark API
보안 및 데이터 액세스 제어를 유지하기 위해 Spark 세분화된 액세스 제어(FGAC)는 특정 PySpark 함수를 제한합니다. 이러한 제한은 다음을 통해 적용됩니다.
-
함수 실행을 방지하는 명시적 차단
-
함수를 작동하지 않게 만드는 아키텍처 비호환성
-
오류를 발생시키거나, 액세스 거부 메시지를 반환하거나, 호출 시 아무 작업도 수행하지 않을 수 있는 함수
Spark FGAC에서는 다음 PySpark 기능이 지원되지 않습니다.
-
RDD 작업(SparkRDDUnsupportedException으로 차단됨)
-
Spark Connect(지원되지 않음)
-
Spark 스트리밍(지원되지 않음)
나열된 함수를 네이티브 Spark FGAC 환경에서 테스트하고 예상대로 작동하는지 확인했지만 테스트에서는 일반적으로 각 API의 기본 사용만 다룹니다. 여러 입력 유형 또는 복잡한 로직 경로가 있는 함수에는 테스트되지 않은 시나리오가 있을 수 있습니다.
여기에 나열되지 않고 위의 지원되지 않는 범주에 명확하게 포함되지 않은 함수의 경우 다음을 권장합니다.
-
감마 환경 또는 소규모 배포에서 먼저 테스트
-
프로덕션에서 사용하기 전에 동작 확인
참고
클래스 메서드가 나열되었지만 기본 클래스는 표시되지 않는 경우 메서드는 여전히 작동해야 합니다. 즉, 기본 클래스 생성자를 명시적으로 확인하지 않은 것입니다.
PySpark API는 모듈로 구성됩니다. 각 모듈 내의 메서드에 대한 일반적인 지원은 아래 표에 자세히 설명되어 있습니다.
| 모듈 이름 | Status | 참고 |
|---|---|---|
|
pyspark_core |
지원됨 |
이 모듈에는 기본 RDD 클래스가 포함되어 있으며 이러한 함수는 대부분 지원되지 않습니다. |
|
pyspark_sql |
지원됨 |
|
|
pyspark_testing |
지원됨 |
|
|
pyspark_resource |
지원됨 |
|
|
pyspark_streaming |
차단됨 |
Spark FGAC에서는 스트리밍 사용이 차단됩니다. |
|
pyspark_mllib |
실험적 |
이 모듈에는 RDD 기반 ML 작업이 포함되어 있으며 이러한 함수는 대부분 지원되지 않습니다. 이 모듈은 철저하게 테스트되지 않았습니다. |
|
pyspark_ml |
실험적 |
이 모듈에는 DataFrame 기반 ML 작업이 포함되어 있으며 이러한 함수는 대부분 지원됩니다. 이 모듈은 철저하게 테스트되지 않았습니다. |
|
pyspark_pandas |
지원됨 |
|
|
pyspark_pandas_slow |
지원됨 |
|
| pyspark_connect |
차단됨 |
Spark FGAC에서는 Spark Connect 사용이 차단됩니다. |
| pyspark_pandas_connect |
차단됨 |
Spark FGAC에서는 Spark Connect 사용이 차단됩니다. |
| pyspark_pandas_slow_connect |
차단됨 |
Spark FGAC에서는 Spark Connect 사용이 차단됩니다. |
| pyspark_errors |
실험적 |
이 모듈은 철저하게 테스트되지 않았습니다. 사용자 지정 오류 클래스는 사용할 수 없습니다. |
API 허용 목록
다운로드 가능하고 검색하기 쉬운 목록을 위해 네이티브 FGAC에서 허용되는 Python 함수에서 모듈 및 클래스가 있는 파일을 사용할 수 있습니다.
