기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Spark 네이티브 세분화된 액세스 제어 허용 목록 PySpark API
보안 및 데이터 액세스 제어를 유지하기 위해 Spark 세분화된 액세스 제어(FGAC)는 특정 PySpark 함수를 제한합니다. 이러한 제한은 다음을 통해 적용됩니다.
-
함수 실행을 방지하는 명시적 차단
-
함수를 작동하지 않게 만드는 아키텍처 비호환성
-
오류가 발생하거나, 액세스 거부 메시지를 반환하거나, 호출 시 아무 작업도 수행하지 않을 수 있는 함수
Spark FGAC에서는 다음 PySpark 기능이 지원되지 않습니다.
-
RDD 작업(SparkRDDUnsupportedException으로 차단됨)
-
Spark Connect(지원되지 않음)
-
Spark 스트리밍(지원되지 않음)
네이티브 Spark FGAC 환경에서 나열된 함수를 테스트하고 예상대로 작동하는지 확인했지만 테스트에서는 일반적으로 각 API의 기본 사용만 다룹니다. 여러 입력 유형 또는 복잡한 로직 경로가 있는 함수에는 테스트되지 않은 시나리오가 있을 수 있습니다.
여기에 나열되지 않고 위의 지원되지 않는 범주에 명확하게 포함되지 않은 함수의 경우 다음을 권장합니다.
-
감마 환경 또는 소규모 배포에서 먼저 테스트
-
프로덕션 환경에서 사용하기 전에 동작 확인
참고
클래스 메서드가 나열되었지만 기본 클래스는 표시되지 않은 경우 메서드는 여전히 작동해야 합니다. 즉, 기본 클래스 생성자를 명시적으로 확인하지 않은 것입니다.
PySpark API는 모듈로 구성됩니다. 각 모듈 내의 메서드에 대한 일반적인 지원은 아래 표에 자세히 설명되어 있습니다.
| 모듈 이름 | Status | 참고 |
|---|---|---|
|
pyspark_core |
지원됨 |
이 모듈에는 기본 RDD 클래스가 포함되어 있으며 이러한 함수는 대부분 지원되지 않습니다. |
|
pyspark_sql |
지원됨 |
|
|
pyspark_testing |
지원됨 |
|
|
pyspark_resource |
지원됨 |
|
|
pyspark_streaming |
차단됨 |
Spark FGAC에서는 스트리밍 사용이 차단됩니다. |
|
pyspark_mllib |
실험적 |
이 모듈에는 RDD 기반 ML 작업이 포함되어 있으며 이러한 함수는 대부분 지원되지 않습니다. 이 모듈은 철저하게 테스트되지 않았습니다. |
|
pyspark_ml |
실험적 |
이 모듈에는 DataFrame 기반 ML 작업이 포함되어 있으며 이러한 함수는 대부분 지원됩니다. 이 모듈은 철저하게 테스트되지 않았습니다. |
|
pyspark_pandas |
지원됨 |
|
|
pyspark_pandas_slow |
지원됨 |
|
| pyspark_connect |
차단됨 |
Spark FGAC에서는 Spark Connect 사용이 차단됩니다. |
| pyspark_pandas_connect |
차단됨 |
Spark FGAC에서는 Spark Connect 사용이 차단됩니다. |
| pyspark_pandas_slow_connect |
차단됨 |
Spark FGAC에서는 Spark Connect 사용이 차단됩니다. |
| pyspark_errors |
실험적 |
이 모듈은 철저하게 테스트되지 않았습니다. 사용자 지정 오류 클래스는 사용할 수 없습니다. |
API 허용 목록
다운로드 가능하고 검색하기 쉬운 목록을 위해 네이티브 FGAC에서 허용되는 Python 함수에서 모듈 및 클래스가 있는 파일을 사용할 수 있습니다.
