• General
  • Overview
  • Getting Started
  • User Guide
  • Expression Language Guide
  • RecordPath Guide
  • Admin Guide
  • Toolkit Guide
  • Walkthroughs

• Developer
  • Developer Guide
  • Python Developer Guide
  • Apache NiFi In Depth
  • REST API

• Processors

  • AttributeRollingWindow   2.3.0.4.10.0.0-147

  • AttributesToCSV   2.3.0.4.10.0.0-147

  • AttributesToJSON   2.3.0.4.10.0.0-147

  • CalculateParquetOffsets   2.3.0.4.10.0.0-147

  • CalculateParquetRowGroupOffsets   2.3.0.4.10.0.0-147

  • CalculateRecordStats   2.3.0.4.10.0.0-147

  • CaptureChangeDebeziumDB2   2.3.0.4.10.0.0-147

  • CaptureChangeDebeziumMongoDB   2.3.0.4.10.0.0-147

  • CaptureChangeDebeziumMySQL   2.3.0.4.10.0.0-147

  • CaptureChangeDebeziumOracle   2.3.0.4.10.0.0-147

  • CaptureChangeDebeziumPostgreSQL   2.3.0.4.10.0.0-147

  • CaptureChangeDebeziumSQLServer   2.3.0.4.10.0.0-147

  • CaptureChangeMySQL   2.3.0.4.10.0.0-147

  • CompressContent   2.3.0.4.10.0.0-147

  • ConnectWebSocket   2.3.0.4.10.0.0-147

  • ConsumeAMQP   2.3.0.4.10.0.0-147

  • ConsumeAzureEventHub   2.3.0.4.10.0.0-147

  • ConsumeBoxEnterpriseEvents   2.3.0.4.10.0.0-147

  • ConsumeBoxEvents   2.3.0.4.10.0.0-147

  • ConsumeElasticsearch   2.3.0.4.10.0.0-147

  • ConsumeGCPubSub   2.3.0.4.10.0.0-147

  • ConsumeIMAP   2.3.0.4.10.0.0-147

  • ConsumeJMS   2.3.0.4.10.0.0-147

  • ConsumeKafka   2.3.0.4.10.0.0-147

  • ConsumeKafka_2_6   2.3.0.4.10.0.0-147

  • ConsumeKafka2CDP   2.3.0.4.10.0.0-147

  • ConsumeKafka2RecordCDP   2.3.0.4.10.0.0-147

  • ConsumeKafkaRecord_2_6   2.3.0.4.10.0.0-147

  • ConsumeKinesisStream   2.3.0.4.10.0.0-147

  • ConsumeMQTT   2.3.0.4.10.0.0-147

  • ConsumePLC   2.3.0.4.10.0.0-147

  • ConsumePOP3   2.3.0.4.10.0.0-147

  • ConsumeSlack   2.3.0.4.10.0.0-147

  • ConsumeTwitter   2.3.0.4.10.0.0-147

  • ConsumeWindowsEventLog   2.3.0.4.10.0.0-147

  • ControlRate   2.3.0.4.10.0.0-147

  • ConvertAvroToParquet   2.3.0.4.10.0.0-147

  • ConvertCharacterSet   2.3.0.4.10.0.0-147

  • ConvertProtobuf   2.3.0.4.10.0.0-147

  • ConvertRecord   2.3.0.4.10.0.0-147

  • CopyAzureBlobStorage_v12   2.3.0.4.10.0.0-147

  • CopyS3Object   2.3.0.4.10.0.0-147

  • CountText   2.3.0.4.10.0.0-147

  • CreateHadoopSequenceFile   2.3.0.4.10.0.0-147

  • CryptographicHashContent   2.3.0.4.10.0.0-147

  • DebugFlow   2.3.0.4.10.0.0-147

  • DecryptContentAge   2.3.0.4.10.0.0-147

  • DecryptContentPGP   2.3.0.4.10.0.0-147

  • DeduplicateRecord   2.3.0.4.10.0.0-147

  • DeleteAzureBlobStorage_v12   2.3.0.4.10.0.0-147

  • DeleteAzureDataLakeStorage   2.3.0.4.10.0.0-147

  • DeleteByQueryElasticsearch   2.3.0.4.10.0.0-147

  • DeleteCDPObjectStore   2.3.0.4.10.0.0-147

  • DeleteDynamoDB   2.3.0.4.10.0.0-147

  • DeleteFile   2.3.0.4.10.0.0-147

  • DeleteGCSObject   2.3.0.4.10.0.0-147

  • DeleteGridFS   2.3.0.4.10.0.0-147

  • DeleteHBaseCells   2.3.0.4.10.0.0-147

  • DeleteHBaseRow   2.3.0.4.10.0.0-147

  • DeleteHDFS   2.3.0.4.10.0.0-147

  • DeleteMongo   2.3.0.4.10.0.0-147

  • DeleteS3Object   2.3.0.4.10.0.0-147

  • DeleteSFTP   2.3.0.4.10.0.0-147

  • DeleteSQS   2.3.0.4.10.0.0-147

  • DetectDuplicate   2.3.0.4.10.0.0-147

  • DistributeLoad   2.3.0.4.10.0.0-147

  • DuplicateFlowFile   2.3.0.4.10.0.0-147

  • EncodeContent   2.3.0.4.10.0.0-147

  • EncryptContentAge   2.3.0.4.10.0.0-147

  • EncryptContentPGP   2.3.0.4.10.0.0-147

  • EnforceOrder   2.3.0.4.10.0.0-147

  • EvaluateJsonPath   2.3.0.4.10.0.0-147

  • EvaluateXPath   2.3.0.4.10.0.0-147

  • EvaluateXQuery   2.3.0.4.10.0.0-147

  • ExecuteGraphQuery   2.3.0.4.10.0.0-147

  • ExecuteGraphQueryRecord   2.3.0.4.10.0.0-147

  • ExecuteGroovyScript   2.3.0.4.10.0.0-147

  • ExecuteProcess   2.3.0.4.10.0.0-147

  • ExecuteScript   2.3.0.4.10.0.0-147

  • ExecuteSparkInteractive   2.3.0.4.10.0.0-147

  • ExecuteSQL   2.3.0.4.10.0.0-147

  • ExecuteSQLRecord   2.3.0.4.10.0.0-147

  • ExecuteStreamCommand   2.3.0.4.10.0.0-147

  • ExtractAvroMetadata   2.3.0.4.10.0.0-147

  • ExtractDocumentText   2.3.0.4.10.0.0-147

  • ExtractEmailAttachments   2.3.0.4.10.0.0-147

  • ExtractEmailHeaders   2.3.0.4.10.0.0-147

  • ExtractGrok   2.3.0.4.10.0.0-147

  • ExtractHL7Attributes   2.3.0.4.10.0.0-147

  • ExtractImageMetadata   2.3.0.4.10.0.0-147

  • ExtractMediaMetadata   2.3.0.4.10.0.0-147

  • ExtractRecordSchema   2.3.0.4.10.0.0-147

  • ExtractText   2.3.0.4.10.0.0-147

  • FetchAzureBlobStorage_v12   2.3.0.4.10.0.0-147

  • FetchAzureDataLakeStorage   2.3.0.4.10.0.0-147

  • FetchBoxFile   2.3.0.4.10.0.0-147

  • FetchBoxFileInfo   2.3.0.4.10.0.0-147

  • FetchBoxFileRepresentation   2.3.0.4.10.0.0-147

  • FetchCDPObjectStore   2.3.0.4.10.0.0-147

  • FetchDistributedMapCache   2.3.0.4.10.0.0-147

  • FetchDropbox   2.3.0.4.10.0.0-147

  • FetchFile   2.3.0.4.10.0.0-147

  • FetchFTP   2.3.0.4.10.0.0-147

  • FetchGCSObject   2.3.0.4.10.0.0-147

  • FetchGoogleDrive   2.3.0.4.10.0.0-147

  • FetchGridFS   2.3.0.4.10.0.0-147

  • FetchHBaseRow   2.3.0.4.10.0.0-147

  • FetchHDFS   2.3.0.4.10.0.0-147

  • FetchParquet   2.3.0.4.10.0.0-147

  • FetchPLC   2.3.0.4.10.0.0-147

  • FetchS3Object   2.3.0.4.10.0.0-147

  • FetchSFTP   2.3.0.4.10.0.0-147

  • FetchSmb   2.3.0.4.10.0.0-147

  • FilterAttribute   2.3.0.4.10.0.0-147

  • FlattenJson   2.3.0.4.10.0.0-147

  • ForkEnrichment   2.3.0.4.10.0.0-147

  • ForkRecord   2.3.0.4.10.0.0-147

  • GenerateFlowFile   2.3.0.4.10.0.0-147

  • GenerateRecord   2.3.0.4.10.0.0-147

  • GenerateTableFetch   2.3.0.4.10.0.0-147

  • GeoEnrichIP   2.3.0.4.10.0.0-147

  • GeoEnrichIPRecord   2.3.0.4.10.0.0-147

  • GeohashRecord   2.3.0.4.10.0.0-147

  • GetAsanaObject   2.3.0.4.10.0.0-147

  • GetAwsPollyJobStatus   2.3.0.4.10.0.0-147

  • GetAwsTextractJobStatus   2.3.0.4.10.0.0-147

  • GetAwsTranscribeJobStatus   2.3.0.4.10.0.0-147

  • GetAwsTranslateJobStatus   2.3.0.4.10.0.0-147

  • GetAzureEventHub   2.3.0.4.10.0.0-147

  • GetAzureQueueStorage_v12   2.3.0.4.10.0.0-147

  • GetBoxFileCollaborators   2.3.0.4.10.0.0-147

  • GetBoxGroupMembers   2.3.0.4.10.0.0-147

  • GetCouchbaseKey   2.3.0.4.10.0.0-147

  • GetDynamoDB   2.3.0.4.10.0.0-147

  • GetElasticsearch   2.3.0.4.10.0.0-147

  • GetFile   2.3.0.4.10.0.0-147

  • GetFileResource   2.3.0.4.10.0.0-147

  • GetFTP   2.3.0.4.10.0.0-147

  • GetGcpVisionAnnotateFilesOperationStatus   2.3.0.4.10.0.0-147

  • GetGcpVisionAnnotateImagesOperationStatus   2.3.0.4.10.0.0-147

  • GetHBase   2.3.0.4.10.0.0-147

  • GetHDFS   2.3.0.4.10.0.0-147

  • GetHDFSEvents   2.3.0.4.10.0.0-147

  • GetHDFSFileInfo   2.3.0.4.10.0.0-147

  • GetHDFSSequenceFile   2.3.0.4.10.0.0-147

  • GetHubSpot   2.3.0.4.10.0.0-147

  • GetJiraIssue   2.3.0.4.10.0.0-147

  • GetMongo   2.3.0.4.10.0.0-147

  • GetMongoRecord   2.3.0.4.10.0.0-147

  • GetS3ObjectMetadata   2.3.0.4.10.0.0-147

  • GetS3ObjectTags   2.3.0.4.10.0.0-147

  • GetSFTP   2.3.0.4.10.0.0-147

  • GetShopify   2.3.0.4.10.0.0-147

  • GetSlackReaction   2.3.0.4.10.0.0-147

  • GetSmbFile   2.3.0.4.10.0.0-147

  • GetSNMP   2.3.0.4.10.0.0-147

  • GetSnowflakeIngestStatus   2.3.0.4.10.0.0-147

  • GetSolr   2.3.0.4.10.0.0-147

  • GetSplunk   2.3.0.4.10.0.0-147

  • GetSQS   2.3.0.4.10.0.0-147

  • GetTCP   2.3.0.4.10.0.0-147

  • GetWorkdayReport   2.3.0.4.10.0.0-147

  • GetZendesk   2.3.0.4.10.0.0-147

  • HandleHttpRequest   2.3.0.4.10.0.0-147

  • HandleHttpResponse   2.3.0.4.10.0.0-147

  • IdentifyMimeType   2.3.0.4.10.0.0-147

  • InvokeGRPC   2.3.0.4.10.0.0-147

  • InvokeHTTP   2.3.0.4.10.0.0-147

  • InvokeScriptedProcessor   2.3.0.4.10.0.0-147

  • ISPEnrichIP   2.3.0.4.10.0.0-147

  • JoinEnrichment   2.3.0.4.10.0.0-147

  • JoltTransformJSON   2.3.0.4.10.0.0-147

  • JoltTransformRecord   2.3.0.4.10.0.0-147

  • JSLTTransformJSON   2.3.0.4.10.0.0-147

  • JsonQueryElasticsearch   2.3.0.4.10.0.0-147

  • ListAzureBlobStorage_v12   2.3.0.4.10.0.0-147

  • ListAzureDataLakeStorage   2.3.0.4.10.0.0-147

  • ListBoxFile   2.3.0.4.10.0.0-147

  • ListBoxFileInfo   2.3.0.4.10.0.0-147

  • ListCDPObjectStore   2.3.0.4.10.0.0-147

  • ListDatabaseTables   2.3.0.4.10.0.0-147

  • ListDropbox   2.3.0.4.10.0.0-147

  • ListenBeats   2.3.0.4.10.0.0-147

  • ListenFTP   2.3.0.4.10.0.0-147

  • ListenGRPC   2.3.0.4.10.0.0-147

  • ListenHTTP   2.3.0.4.10.0.0-147

  • ListenNetFlow   2.3.0.4.10.0.0-147

  • ListenOTLP   2.3.0.4.10.0.0-147

  • ListenSlack   2.3.0.4.10.0.0-147

  • ListenSyslog   2.3.0.4.10.0.0-147

  • ListenTCP   2.3.0.4.10.0.0-147

  • ListenTrapSNMP   2.3.0.4.10.0.0-147

  • ListenUDP   2.3.0.4.10.0.0-147

  • ListenUDPRecord   2.3.0.4.10.0.0-147

  • ListenWebSocket   2.3.0.4.10.0.0-147

  • ListFile   2.3.0.4.10.0.0-147

  • ListFTP   2.3.0.4.10.0.0-147

  • ListGCSBucket   2.3.0.4.10.0.0-147

  • ListGoogleDrive   2.3.0.4.10.0.0-147

  • ListHBaseRegions   2.3.0.4.10.0.0-147

  • ListHDFS   2.3.0.4.10.0.0-147

  • ListS3   2.3.0.4.10.0.0-147

  • ListSFTP   2.3.0.4.10.0.0-147

  • ListSmb   2.3.0.4.10.0.0-147

  • LogAttribute   2.3.0.4.10.0.0-147

  • LogMessage   2.3.0.4.10.0.0-147

  • LookupAttribute   2.3.0.4.10.0.0-147

  • LookupRecord   2.3.0.4.10.0.0-147

  • MergeContent   2.3.0.4.10.0.0-147

  • MergeRecord   2.3.0.4.10.0.0-147

  • ModifyBytes   2.3.0.4.10.0.0-147

  • ModifyCompression   2.3.0.4.10.0.0-147

  • MonitorActivity   2.3.0.4.10.0.0-147

  • MoveAzureDataLakeStorage   2.3.0.4.10.0.0-147

  • MoveHDFS   2.3.0.4.10.0.0-147

  • Notify   2.3.0.4.10.0.0-147

  • PackageFlowFile   2.3.0.4.10.0.0-147

  • PaginatedJsonQueryElasticsearch   2.3.0.4.10.0.0-147

  • ParseEvtx   2.3.0.4.10.0.0-147

  • ParseNetflowv5   2.3.0.4.10.0.0-147

  • ParseSyslog   2.3.0.4.10.0.0-147

  • ParseSyslog5424   2.3.0.4.10.0.0-147

  • PartitionRecord   2.3.0.4.10.0.0-147

  • PublishAMQP   2.3.0.4.10.0.0-147

  • PublishGCPubSub   2.3.0.4.10.0.0-147

  • PublishJMS   2.3.0.4.10.0.0-147

  • PublishKafka   2.3.0.4.10.0.0-147

  • PublishKafka_2_6   2.3.0.4.10.0.0-147

  • PublishKafka2CDP   2.3.0.4.10.0.0-147

  • PublishKafka2RecordCDP   2.3.0.4.10.0.0-147

  • PublishKafkaRecord_2_6   2.3.0.4.10.0.0-147

  • PublishMQTT   2.3.0.4.10.0.0-147

  • PublishSlack   2.3.0.4.10.0.0-147

  • PutAccumuloRecord   2.3.0.4.10.0.0-147

  • PutAzureBlobStorage_v12   2.3.0.4.10.0.0-147

  • PutAzureCosmosDBRecord   2.3.0.4.10.0.0-147

  • PutAzureDataExplorer   2.3.0.4.10.0.0-147

  • PutAzureDataLakeStorage   2.3.0.4.10.0.0-147

  • PutAzureEventHub   2.3.0.4.10.0.0-147

  • PutAzureQueueStorage_v12   2.3.0.4.10.0.0-147

  • PutBigQuery   2.3.0.4.10.0.0-147

  • PutBoxFile   2.3.0.4.10.0.0-147

  • PutCassandraQL   2.3.0.4.10.0.0-147

  • PutCassandraRecord   2.3.0.4.10.0.0-147

  • PutCDPObjectStore   2.3.0.4.10.0.0-147

  • PutClouderaHiveQL   2.3.0.4.10.0.0-147

  • PutClouderaHiveStreaming   2.3.0.4.10.0.0-147

  • PutClouderaORC   2.3.0.4.10.0.0-147

  • PutCloudWatchMetric   2.3.0.4.10.0.0-147

  • PutCouchbaseKey   2.3.0.4.10.0.0-147

  • PutDatabaseRecord   2.3.0.4.10.0.0-147

  • PutDistributedMapCache   2.3.0.4.10.0.0-147

  • PutDropbox   2.3.0.4.10.0.0-147

  • PutDynamoDB   2.3.0.4.10.0.0-147

  • PutDynamoDBRecord   2.3.0.4.10.0.0-147

  • PutElasticsearchJson   2.3.0.4.10.0.0-147

  • PutElasticsearchRecord   2.3.0.4.10.0.0-147

  • PutEmail   2.3.0.4.10.0.0-147

  • PutFile   2.3.0.4.10.0.0-147

  • PutFTP   2.3.0.4.10.0.0-147

  • PutGCSObject   2.3.0.4.10.0.0-147

  • PutGoogleDrive   2.3.0.4.10.0.0-147

  • PutGridFS   2.3.0.4.10.0.0-147

  • PutHBaseCell   2.3.0.4.10.0.0-147

  • PutHBaseJSON   2.3.0.4.10.0.0-147

  • PutHBaseRecord   2.3.0.4.10.0.0-147

  • PutHDFS   2.3.0.4.10.0.0-147

  • PutIceberg   2.3.0.4.10.0.0-147

  • PutIcebergCDC   2.3.0.4.10.0.0-147

  • PutIoTDBRecord   2.3.0.4.10.0.0-147

  • PutJiraIssue   2.3.0.4.10.0.0-147

  • PutKinesisFirehose   2.3.0.4.10.0.0-147

  • PutKinesisStream   2.3.0.4.10.0.0-147

  • PutKudu   2.3.0.4.10.0.0-147

  • PutLambda   2.3.0.4.10.0.0-147

  • PutMongo   2.3.0.4.10.0.0-147

  • PutMongoBulkOperations   2.3.0.4.10.0.0-147

  • PutMongoRecord   2.3.0.4.10.0.0-147

  • PutParquet   2.3.0.4.10.0.0-147

  • PutPLC   2.3.0.4.10.0.0-147

  • PutRecord   2.3.0.4.10.0.0-147

  • PutRedisHashRecord   2.3.0.4.10.0.0-147

  • PutS3Object   2.3.0.4.10.0.0-147

  • PutSalesforceObject   2.3.0.4.10.0.0-147

  • PutSFTP   2.3.0.4.10.0.0-147

  • PutSmbFile   2.3.0.4.10.0.0-147

  • PutSnowflakeInternalStage   2.3.0.4.10.0.0-147

  • PutSNS   2.3.0.4.10.0.0-147

  • PutSolrContentStream   2.3.0.4.10.0.0-147

  • PutSolrRecord   2.3.0.4.10.0.0-147

  • PutSplunk   2.3.0.4.10.0.0-147

  • PutSplunkHTTP   2.3.0.4.10.0.0-147

  • PutSQL   2.3.0.4.10.0.0-147

  • PutSQS   2.3.0.4.10.0.0-147

  • PutSyslog   2.3.0.4.10.0.0-147

  • PutTCP   2.3.0.4.10.0.0-147

  • PutUDP   2.3.0.4.10.0.0-147

  • PutWebSocket   2.3.0.4.10.0.0-147

  • PutZendeskTicket   2.3.0.4.10.0.0-147

  • QueryAirtableTable   2.3.0.4.10.0.0-147

  • QueryAzureDataExplorer   2.3.0.4.10.0.0-147

  • QueryCassandra   2.3.0.4.10.0.0-147

  • QueryDatabaseTable   2.3.0.4.10.0.0-147

  • QueryDatabaseTableRecord   2.3.0.4.10.0.0-147

  • QueryIoTDBRecord   2.3.0.4.10.0.0-147

  • QueryRecord   2.3.0.4.10.0.0-147

  • QuerySalesforceObject   2.3.0.4.10.0.0-147

  • QuerySolr   2.3.0.4.10.0.0-147

  • QuerySplunkIndexingStatus   2.3.0.4.10.0.0-147

  • RemoveRecordField   2.3.0.4.10.0.0-147

  • RenameRecordField   2.3.0.4.10.0.0-147

  • ReplaceText   2.3.0.4.10.0.0-147

  • ReplaceTextWithMapping   2.3.0.4.10.0.0-147

  • ResizeImage   2.3.0.4.10.0.0-147

  • RetryFlowFile   2.3.0.4.10.0.0-147

  • RouteHL7   2.3.0.4.10.0.0-147

  • RouteOnAttribute   2.3.0.4.10.0.0-147

  • RouteOnContent   2.3.0.4.10.0.0-147

  • RouteText   2.3.0.4.10.0.0-147

  • RunMongoAggregation   2.3.0.4.10.0.0-147

  • SampleRecord   2.3.0.4.10.0.0-147

  • SawmillTransformJSON   2.3.0.4.10.0.0-147

  • SawmillTransformRecord   2.3.0.4.10.0.0-147

  • ScanAccumulo   2.3.0.4.10.0.0-147

  • ScanAttribute   2.3.0.4.10.0.0-147

  • ScanContent   2.3.0.4.10.0.0-147

  • ScanHBase   2.3.0.4.10.0.0-147

  • ScriptedFilterRecord   2.3.0.4.10.0.0-147

  • ScriptedPartitionRecord   2.3.0.4.10.0.0-147

  • ScriptedTransformRecord   2.3.0.4.10.0.0-147

  • ScriptedValidateRecord   2.3.0.4.10.0.0-147

  • SearchElasticsearch   2.3.0.4.10.0.0-147

  • SegmentContent   2.3.0.4.10.0.0-147

  • SelectClouderaHiveQL   2.3.0.4.10.0.0-147

  • SendTrapSNMP   2.3.0.4.10.0.0-147

  • SetSNMP   2.3.0.4.10.0.0-147

  • SignContentPGP   2.3.0.4.10.0.0-147

  • SplitAvro   2.3.0.4.10.0.0-147

  • SplitContent   2.3.0.4.10.0.0-147

  • SplitExcel   2.3.0.4.10.0.0-147

  • SplitJson   2.3.0.4.10.0.0-147

  • SplitPCAP   2.3.0.4.10.0.0-147

  • SplitRecord   2.3.0.4.10.0.0-147

  • SplitText   2.3.0.4.10.0.0-147

  • SplitXml   2.3.0.4.10.0.0-147

  • StartAwsPollyJob   2.3.0.4.10.0.0-147

  • StartAwsTextractJob   2.3.0.4.10.0.0-147

  • StartAwsTranscribeJob   2.3.0.4.10.0.0-147

  • StartAwsTranslateJob   2.3.0.4.10.0.0-147

  • StartGcpVisionAnnotateFilesOperation   2.3.0.4.10.0.0-147

  • StartGcpVisionAnnotateImagesOperation   2.3.0.4.10.0.0-147

  • StartSnowflakeIngest   2.3.0.4.10.0.0-147

  • TagS3Object   2.3.0.4.10.0.0-147

  • TailFile   2.3.0.4.10.0.0-147

  • TransformXml   2.3.0.4.10.0.0-147

  • TriggerClouderaHiveMetaStoreEvent   2.3.0.4.10.0.0-147

  • UnpackContent   2.3.0.4.10.0.0-147

  • UpdateAttribute   2.3.0.4.10.0.0-147

  • UpdateByQueryElasticsearch   2.3.0.4.10.0.0-147

  • UpdateClouderaHiveTable   2.3.0.4.10.0.0-147

  • UpdateCounter   2.3.0.4.10.0.0-147

  • UpdateDatabaseTable   2.3.0.4.10.0.0-147

  • UpdateDeltaLakeTable   2.3.0.4.10.0.0-147

  • UpdateJiraIssue   2.3.0.4.10.0.0-147

  • UpdateRecord   2.3.0.4.10.0.0-147

  • ValidateCsv   2.3.0.4.10.0.0-147

  • ValidateJson   2.3.0.4.10.0.0-147

  • ValidateRecord   2.3.0.4.10.0.0-147

  • ValidateXml   2.3.0.4.10.0.0-147

  • VerifyContentMAC   2.3.0.4.10.0.0-147

  • VerifyContentPGP   2.3.0.4.10.0.0-147

  • Wait   2.3.0.4.10.0.0-147

• Controller Services

  • AccumuloService   2.3.0.4.10.0.0-147

  • ActiveMQJMSConnectionFactoryProvider   2.3.0.4.10.0.0-147

  • ADLSCredentialsControllerService   2.3.0.4.10.0.0-147

  • ADLSCredentialsControllerServiceLookup   2.3.0.4.10.0.0-147

  • ADLSIDBrokerCloudCredentialsProviderControllerService   2.3.0.4.10.0.0-147

  • AmazonGlueSchemaRegistry   2.3.0.4.10.0.0-147

  • ApicurioSchemaRegistry   2.3.0.4.10.0.0-147

  • AvroReader   2.3.0.4.10.0.0-147

  • AvroRecordSetWriter   2.3.0.4.10.0.0-147

  • AvroSchemaRegistry   2.3.0.4.10.0.0-147

  • AWSCredentialsProviderControllerService   2.3.0.4.10.0.0-147

  • AWSIDBrokerCloudCredentialsProviderControllerService   2.3.0.4.10.0.0-147

  • AzureBlobIDBrokerCloudCredentialsProviderControllerService   2.3.0.4.10.0.0-147

  • AzureBlobStorageFileResourceService   2.3.0.4.10.0.0-147

  • AzureCosmosDBClientService   2.3.0.4.10.0.0-147

  • AzureDataLakeStorageFileResourceService   2.3.0.4.10.0.0-147

  • AzureEventHubRecordSink   2.3.0.4.10.0.0-147

  • AzureServiceBusJMSConnectionFactoryProvider   2.3.0.4.10.0.0-147

  • AzureStorageCredentialsControllerService_v12   2.3.0.4.10.0.0-147

  • AzureStorageCredentialsControllerServiceLookup_v12   2.3.0.4.10.0.0-147

  • CassandraDistributedMapCache   2.3.0.4.10.0.0-147

  • CassandraSessionProvider   2.3.0.4.10.0.0-147

  • CdpCredentialsProviderControllerService   2.3.0.4.10.0.0-147

  • CdpOauth2AccessTokenProviderControllerService   2.3.0.4.10.0.0-147

  • CEFReader   2.3.0.4.10.0.0-147

  • CiscoEmblemSyslogMessageReader   2.3.0.4.10.0.0-147

  • ClouderaAttributeSchemaReferenceReader   2.3.0.4.10.0.0-147

  • ClouderaAttributeSchemaReferenceWriter   2.3.0.4.10.0.0-147

  • ClouderaEncodedSchemaReferenceReader   2.3.0.4.10.0.0-147

  • ClouderaEncodedSchemaReferenceWriter   2.3.0.4.10.0.0-147

  • ClouderaHiveConnectionPool   2.3.0.4.10.0.0-147

  • ClouderaSchemaRegistry   2.3.0.4.10.0.0-147

  • CMLLookupService   2.3.0.4.10.0.0-147

  • ConfluentEncodedSchemaReferenceReader   2.3.0.4.10.0.0-147

  • ConfluentEncodedSchemaReferenceWriter   2.3.0.4.10.0.0-147

  • ConfluentSchemaRegistry   2.3.0.4.10.0.0-147

  • CouchbaseClusterService   2.3.0.4.10.0.0-147

  • CouchbaseKeyValueLookupService   2.3.0.4.10.0.0-147

  • CouchbaseMapCacheClient   2.3.0.4.10.0.0-147

  • CouchbaseRecordLookupService   2.3.0.4.10.0.0-147

  • CSVReader   2.3.0.4.10.0.0-147

  • CSVRecordLookupService   2.3.0.4.10.0.0-147

  • CSVRecordSetWriter   2.3.0.4.10.0.0-147

  • DatabaseRecordLookupService   2.3.0.4.10.0.0-147

  • DatabaseRecordSink   2.3.0.4.10.0.0-147

  • DatabaseTableSchemaRegistry   2.3.0.4.10.0.0-147

  • DBCPConnectionPool   2.3.0.4.10.0.0-147

  • DBCPConnectionPoolLookup   2.3.0.4.10.0.0-147

  • DeveloperBoxClientService   2.3.0.4.10.0.0-147

  • DistributedMapCacheLookupService   2.3.0.4.10.0.0-147

  • EBCDICRecordReader   2.3.0.4.10.0.0-147

  • ElasticSearchClientServiceImpl   2.3.0.4.10.0.0-147

  • ElasticSearchLookupService   2.3.0.4.10.0.0-147

  • ElasticSearchStringLookupService   2.3.0.4.10.0.0-147

  • EmailRecordSink   2.3.0.4.10.0.0-147

  • EmbeddedHazelcastCacheManager   2.3.0.4.10.0.0-147

  • ExcelReader   2.3.0.4.10.0.0-147

  • ExternalHazelcastCacheManager   2.3.0.4.10.0.0-147

  • FreeFormTextRecordSetWriter   2.3.0.4.10.0.0-147

  • GCPCredentialsControllerService   2.3.0.4.10.0.0-147

  • GCSFileResourceService   2.3.0.4.10.0.0-147

  • GenericPLC4XConnectionPool   2.3.0.4.10.0.0-147

  • GrokReader   2.3.0.4.10.0.0-147

  • HadoopCatalogService   2.3.0.4.10.0.0-147

  • HadoopDBCPConnectionPool   2.3.0.4.10.0.0-147

  • HazelcastMapCacheClient   2.3.0.4.10.0.0-147

  • HBase_2_ClientMapCacheService   2.3.0.4.10.0.0-147

  • HBase_2_ClientService   2.3.0.4.10.0.0-147

  • HBase_2_RecordLookupService   2.3.0.4.10.0.0-147

  • HikariCPConnectionPool   2.3.0.4.10.0.0-147

  • HiveCatalogService   2.3.0.4.10.0.0-147

  • HttpRecordSink   2.3.0.4.10.0.0-147

  • ImpalaConnectionPool   2.3.0.4.10.0.0-147

  • IPFIXReader   2.3.0.4.10.0.0-147

  • IPLookupService   2.3.0.4.10.0.0-147

  • JASN1Reader   2.3.0.4.10.0.0-147

  • JdbcCatalogService   2.3.0.4.10.0.0-147

  • JettyWebSocketClient   2.3.0.4.10.0.0-147

  • JettyWebSocketServer   2.3.0.4.10.0.0-147

  • JiraRecordSink   2.3.0.4.10.0.0-147

  • JMSConnectionFactoryProvider   2.3.0.4.10.0.0-147

  • JndiJmsConnectionFactoryProvider   2.3.0.4.10.0.0-147

  • JsonConfigBasedBoxClientService   2.3.0.4.10.0.0-147

  • JsonPathReader   2.3.0.4.10.0.0-147

  • JsonRecordSetWriter   2.3.0.4.10.0.0-147

  • JsonTreeReader   2.3.0.4.10.0.0-147

  • Kafka3ConnectionService   2.3.0.4.10.0.0-147

  • KafkaRecordSink_2_6   2.3.0.4.10.0.0-147

  • KerberosKeytabUserService   2.3.0.4.10.0.0-147

  • KerberosPasswordUserService   2.3.0.4.10.0.0-147

  • KerberosTicketCacheUserService   2.3.0.4.10.0.0-147

  • KuduLookupService   2.3.0.4.10.0.0-147

  • LivySessionController   2.3.0.4.10.0.0-147

  • LoggingRecordSink   2.3.0.4.10.0.0-147

  • MapCacheClientService   2.3.0.4.10.0.0-147

  • MapCacheServer   2.3.0.4.10.0.0-147

  • MongoDBControllerService   2.3.0.4.10.0.0-147

  • MongoDBLookupService   2.3.0.4.10.0.0-147

  • Neo4JCypherClientService   2.3.0.4.10.0.0-147

  • ParquetReader   2.3.0.4.10.0.0-147

  • ParquetRecordSetWriter   2.3.0.4.10.0.0-147

  • PEMEncodedSSLContextProvider   2.3.0.4.10.0.0-147

  • PhoenixThickConnectionPool   2.3.0.4.10.0.0-147

  • PhoenixThinConnectionPool   2.3.0.4.10.0.0-147

  • PostgreSQLConnectionPool   2.3.0.4.10.0.0-147

  • PropertiesFileLookupService   2.3.0.4.10.0.0-147

  • ProtobufReader   2.3.0.4.10.0.0-147

  • ProxyPLC4XConnectionPool   2.3.0.4.10.0.0-147

  • RabbitMQJMSConnectionFactoryProvider   2.3.0.4.10.0.0-147

  • ReaderLookup   2.3.0.4.10.0.0-147

  • RecordSetWriterLookup   2.3.0.4.10.0.0-147

  • RecordSinkServiceLookup   2.3.0.4.10.0.0-147

  • RedisConnectionPoolService   2.3.0.4.10.0.0-147

  • RedisDistributedMapCacheClientService   2.3.0.4.10.0.0-147

  • RedshiftConnectionPool   2.3.0.4.10.0.0-147

  • RESTCatalogService   2.3.0.4.10.0.0-147

  • RestLookupService   2.3.0.4.10.0.0-147

  • S3FileResourceService   2.3.0.4.10.0.0-147

  • ScriptedLookupService   2.3.0.4.10.0.0-147

  • ScriptedReader   2.3.0.4.10.0.0-147

  • ScriptedRecordSetWriter   2.3.0.4.10.0.0-147

  • ScriptedRecordSink   2.3.0.4.10.0.0-147

  • SetCacheClientService   2.3.0.4.10.0.0-147

  • SetCacheServer   2.3.0.4.10.0.0-147

  • SimpleCsvFileLookupService   2.3.0.4.10.0.0-147

  • SimpleDatabaseLookupService   2.3.0.4.10.0.0-147

  • SimpleKeyValueLookupService   2.3.0.4.10.0.0-147

  • SimpleRedisDistributedMapCacheClientService   2.3.0.4.10.0.0-147

  • SimpleScriptedLookupService   2.3.0.4.10.0.0-147

  • SiteToSiteReportingRecordSink   2.3.0.4.10.0.0-147

  • SlackRecordSink   2.3.0.4.10.0.0-147

  • SmbjClientProviderService   2.3.0.4.10.0.0-147

  • SnowflakeComputingConnectionPool   2.3.0.4.10.0.0-147

  • StandardAsanaClientProviderService   2.3.0.4.10.0.0-147

  • StandardAzureCredentialsControllerService   2.3.0.4.10.0.0-147

  • StandardDatabaseDialectService   2.3.0.4.10.0.0-147

  • StandardDropboxCredentialService   2.3.0.4.10.0.0-147

  • StandardFileResourceService   2.3.0.4.10.0.0-147

  • StandardHashiCorpVaultClientService   2.3.0.4.10.0.0-147

  • StandardHttpContextMap   2.3.0.4.10.0.0-147

  • StandardJiraCredentialService   2.3.0.4.10.0.0-147

  • StandardJsonSchemaRegistry   2.3.0.4.10.0.0-147

  • StandardKustoIngestService   2.3.0.4.10.0.0-147

  • StandardKustoQueryService   2.3.0.4.10.0.0-147

  • StandardOauth2AccessTokenProvider   2.3.0.4.10.0.0-147

  • StandardPGPPrivateKeyService   2.3.0.4.10.0.0-147

  • StandardPGPPublicKeyService   2.3.0.4.10.0.0-147

  • StandardPLC4XConnectionPool   2.3.0.4.10.0.0-147

  • StandardPrivateKeyService   2.3.0.4.10.0.0-147

  • StandardProxyConfigurationService   2.3.0.4.10.0.0-147

  • StandardRestrictedSSLContextService   2.3.0.4.10.0.0-147

  • StandardS3EncryptionService   2.3.0.4.10.0.0-147

  • StandardSnowflakeIngestManagerProviderService   2.3.0.4.10.0.0-147

  • StandardSSLContextService   2.3.0.4.10.0.0-147

  • StandardWebClientServiceProvider   2.3.0.4.10.0.0-147

  • Syslog5424Reader   2.3.0.4.10.0.0-147

  • SyslogReader   2.3.0.4.10.0.0-147

  • TinkerpopClientService   2.3.0.4.10.0.0-147

  • UDPEventRecordSink   2.3.0.4.10.0.0-147

  • VolatileSchemaCache   2.3.0.4.10.0.0-147

  • WindowsEventLogReader   2.3.0.4.10.0.0-147

  • XMLFileLookupService   2.3.0.4.10.0.0-147

  • XMLReader   2.3.0.4.10.0.0-147

  • XMLRecordSetWriter   2.3.0.4.10.0.0-147

  • YamlTreeReader   2.3.0.4.10.0.0-147

  • ZendeskRecordSink   2.3.0.4.10.0.0-147

• Reporting Tasks

  • AzureLogAnalyticsProvenanceReportingTask   2.3.0.4.10.0.0-147

  • AzureLogAnalyticsReportingTask   2.3.0.4.10.0.0-147

  • ControllerStatusReportingTask   2.3.0.4.10.0.0-147

  • MonitorDiskUsage   2.3.0.4.10.0.0-147

  • MonitorMemory   2.3.0.4.10.0.0-147

  • QueryNiFiReportingTask   2.3.0.4.10.0.0-147

  • ReportLineageToAtlas   2.3.0.4.10.0.0-147

  • ScriptedReportingTask   2.3.0.4.10.0.0-147

  • SiteToSiteBulletinReportingTask   2.3.0.4.10.0.0-147

  • SiteToSiteMetricsReportingTask   2.3.0.4.10.0.0-147

  • SiteToSiteProvenanceReportingTask   2.3.0.4.10.0.0-147

  • SiteToSiteStatusReportingTask   2.3.0.4.10.0.0-147

• Parameter Providers

  • AwsSecretsManagerParameterProvider   2.3.0.4.10.0.0-147

  • AzureKeyVaultSecretsParameterProvider   2.3.0.4.10.0.0-147

  • CyberArkConjurParameterProvider   2.3.0.4.10.0.0-147

  • DatabaseParameterProvider   2.3.0.4.10.0.0-147

  • EnvironmentVariableParameterProvider   2.3.0.4.10.0.0-147

  • GcpSecretManagerParameterProvider   2.3.0.4.10.0.0-147

  • HashiCorpVaultParameterProvider   2.3.0.4.10.0.0-147

  • KubernetesSecretParameterProvider   2.3.0.4.10.0.0-147

  • OnePasswordParameterProvider   2.3.0.4.10.0.0-147

  • PropertiesFileParameterProvider   2.3.0.4.10.0.0-147

• Flow Analysis Rules

  • DisallowComponentType   2.3.0.4.10.0.0-147

  • DisallowConsecutiveConnectionsWithRoundRobinLB   2.3.0.4.10.0.0-147

  • DisallowDeadEnd   2.3.0.4.10.0.0-147

  • DisallowDeprecatedProcessor   2.3.0.4.10.0.0-147

  • DisallowExtractTextForFullContent   2.3.0.4.10.0.0-147

  • RecommendRecordProcessor   2.3.0.4.10.0.0-147

  • RequireHandleHttpResponseAfterHandleHttpRequest   2.3.0.4.10.0.0-147

  • RequireMergeBeforePutIceberg   2.3.0.4.10.0.0-147

  • RestrictBackpressureSettings   2.3.0.4.10.0.0-147

  • RestrictComponentNaming   2.3.0.4.10.0.0-147

  • RestrictConcurrentTasksVsThreadPoolSizeInProcessors   2.3.0.4.10.0.0-147

  • RestrictFlowFileExpiration   2.3.0.4.10.0.0-147

  • RestrictProcessorConcurrency   2.3.0.4.10.0.0-147

  • RestrictSchedulingForListProcessors   2.3.0.4.10.0.0-147

  • RestrictThreadPoolSize   2.3.0.4.10.0.0-147

  • RestrictYieldDurationForConsumeKafkaProcessors   2.3.0.4.10.0.0-147

CreateHadoopSequenceFile 2.3.0.4.10.0.0-147

Bundle

org.apache.nifi | nifi-hadoop-nar

Description

Creates Hadoop Sequence Files from incoming flow files

Tags

create, hadoop, sequence file, sequencefile

Input Requirement

REQUIRED

Supports Sensitive Dynamic Properties

false

• Additional Details for CreateHadoopSequenceFile 2.3.0.4.10.0.0-147

  CreateHadoopSequenceFile

  Description

  This processor is used to create a Hadoop Sequence File, which essentially is a file of key/value pairs. The key will be a file name and the value will be the flow file content. The processor will take either a merged (a.k.a. packaged) flow file or a singular flow file. Historically, this processor handled the merging by type and size or time prior to creating a SequenceFile output; it no longer does this. If creating a SequenceFile that contains multiple files of the same type is desired, precede this processor with a RouteOnAttribute processor to segregate files of the same type and follow that with a MergeContent processor to bundle up files. If the type of files is not important, just use the MergeContent processor. When using the MergeContent processor, the following Merge Formats are supported by this processor:

  • TAR
  • ZIP
  • FlowFileStream v3

  The created SequenceFile is named the same as the incoming FlowFile with the suffix ‘.sf’. For incoming FlowFiles that are bundled, the keys in the SequenceFile are the individual file names, the values are the contents of each file.

  NOTE: The value portion of a key/value pair is loaded into memory. While there is a max size limit of 2GB, this could cause memory issues if there are too many concurrent tasks and the flow file sizes are large.

  Using Compression

  The value of the Compression codec property determines the compression library the processor uses to compress content. Third party libraries are used for compression. These third party libraries can be Java libraries or native libraries. In case of native libraries, the path of the parent folder needs to be in an environment variable called LD_LIBRARY_PATH so that NiFi can find the libraries.

  Example: using Snappy compression with native library on CentOS

  1. Snappy compression needs to be installed on the server running NiFi:
     sudo yum install snappy

  2. Suppose that the server running NiFi has the native compression libraries in /opt/lib/hadoop/lib/native . (Native libraries have file extensions like .so, .dll, .lib, etc. depending on the platform.)
     We need to make sure that the files can be executed by the NiFi process’ user. For this purpose we can make a copy of these files to e.g. /opt/nativelibs and change their owner. If NiFi is executed by nifi user in the nifi group, then:
     chown nifi:nifi /opt/nativelibs
chown nifi:nifi /opt/nativelibs/*

  3. The LD_LIBRARY_PATH needs to be set to contain the path to the folder /opt/nativelibs.

  4. NiFi needs to be restarted.

  5. Compression codec property can be set to SNAPPY and a Compression type can be selected.

  6. The processor can be started.

• org.apache.nifi.processors.hadoop.PutHDFS