AWS Data Pipeline 现已不再向新客户提供。AWS Data Pipeline 的现有客户可以继续正常使用该服务。了解更多
RegEx 数据格式
由正则表达式定义的自定义数据格式。
示例
以下是该对象类型的示例。
{ "id" : "MyInputDataType", "type" : "RegEx", "inputRegEx" : "([^ ]*) ([^ ]*) ([^ ]*) (-|\\[[^\\]]*\\]) ([^ \"]*|\"[^\"]*\") (-|[0-9]*) (-|[0-9]*)(?: ([^ \"]*|\"[^\"]*\") ([^ \"]*|\"[^\"]*\"))?", "outputFormat" : "%1$s %2$s %3$s %4$s %5$s %6$s %7$s %8$s %9$s", "column" : [ "host STRING", "identity STRING", "user STRING", "time STRING", "request STRING", "status STRING", "size STRING", "referer STRING", "agent STRING" ] }
语法
| 可选字段 | 描述 | 槽类型 |
|---|---|---|
| column | 具有该数据节点描述的数据的各个字段指定的数据类型的列名。例如:hostname STRING。对于多个值,使用空格分隔的列名和数据类型。 | 字符串 |
| inputRegEx | 用于解析 S3 输入文件的正则表达式。inputRegEx 提供了一种方式来从文件中的相对非结构化数据检索列。 | 字符串 |
| outputFormat | 由 inputRegEx 检索但通过 Java 格式化程序语法引用为 %1$s %2$s 的列字段。 | 字符串 |
| parent | 槽将继承自的当前对象的父级。 | 引用对象,例如,"parent":{"ref":"myBaseObjectId"} |
| 运行时字段 | 描述 | 槽类型 |
|---|---|---|
| @version | 用来创建对象的管道版本。 | 字符串 |
| 系统字段 | 描述 | 槽类型 |
|---|---|---|
| @error | 用于描述格式不正确的对象的错误消息 | 字符串 |
| @pipelineId | 该对象所属的管道的 ID | 字符串 |
| @sphere | 对象的范围指明对象在生命周期中的位置:组件对象产生实例对象,后者执行尝试对象 | 字符串 |