Preguntas con Tag: apache
(junto con una etiqueta de programación apropiada) para preguntas de programación relacionadas con el Servidor HTTP Apache. No utilice esta etiqueta para preguntas sobre otros productos de la Fundación Apache...
Apache POI 3.17 Custom Propiedades a nivel de hoja
OPCPackage opcpackage = sheet.getWorkbook().getPackage();
int i = opcpackage.getUnusedPartIndex("/customProperty#.bin");
Estoy usando Apache poi -3.17 y ooxml-schemas-1
java
excel
apache-poi
apache-poi-4
3 años, 4 meses, 29 días
¿Cómo aislar particiones basadas en una columna?
Estoy buscando realizar un trabajo aislado dentro de una sola partición de un marco de datos Spark. Quiero iterar sobre filas dentro de una sola partición sin ningún otro contenido de partición int
scala
apache-spark
partition
3 años, 4 meses, 28 días
Camel Kafka S3 Fuente Connector con múltiples conectores para el mismo cubo
Estoy tratando de definir los conectores de la Fuente Camel S3. He buscado un poco sin éxito para encontrar respuestas a las siguientes preguntas.
Cómo puedo configurar mi conector de ta
amazon-s3
apache-kafka
apache-kafka-connect
apache-camel-aws
s3-kafka-connector
3 años, 4 meses, 28 días
¿Hay una solución para encontrar nodos centrales en el gráfico grande más allá de chispa o mapreduce?
Actualmente estoy trabajando gran teoría gráfica más allá de mapreduce/spark.
El gráfico es demasiado grande para analizar, así que quiero eliminar algunos nodos centrales, haciendo que el gráfico
apache-spark
mapreduce
networkx
3 años, 4 meses, 29 días
Cómo crear texto en Html usando Java
Cómo puedo convertir la frase en html usando el programa java. Supongamos que si tengo palabras de carácter o subrayado o superscripto audaces al crear aquellos cómo puedo añadir la etiqueta html c
java
apache-poi
3 años, 4 meses, 29 días
Cómo redirigir un enlace PDF a un dominio diferente con el mismo archivo PDF utilizando htaccess
Tengo este enlace en mi sitio web html http://html-website.com/F2F_Strategic_Plan.pdf y quiero que haga redireccion a mi sitio de wordpress https://wordpress-website.com/wp-conte
apache
.htaccess
redirect
mod-rewrite
url-rewriting
3 años, 4 meses, 27 días
transforma.route.topic.expresión y expresión groovy
Estoy tratando de utilizar debezium transformas.route.topic.expression
Aquí las entradas en configuración del conector
"transforms": "dropPrefix,unwrapi,route",
"transforms.dropPrefix
groovy
apache-kafka
debezium
3 años, 4 meses, 28 días
Apache POI @ en la fórmula
Quiero usar y fórmula en Excel y la fórmula va así:
=XLOOKUP(I118&E118, $A$8:$A$111&$F$8:$F$111,$P$8:$P$111)
=XLOOKUP(Value1&Value2, Range1 & Range2, RangeWhereisTheResult)
</
java
excel
netbeans
excel-formula
apache-poi
3 años, 4 meses, 28 días
Azure Load balancer( L4) apoyará SNI?
Actualmente he establecido el pulsar en azure vm utilizando este enlace
https://pulsa
azure
sni
azure-load-balancer
apache-pulsar
3 años, 4 meses, 28 días
Cómo investigar el error StackOverflow en Spark
Estoy dirigiendo un grupo de 15 trabajadores estándar de Dataproc. Mis datos I/O están en formato Avro.
La última etapa en el trabajo de chispa es guardar datos, que termina con StackOverflow
java
apache-spark
pyspark
apache-spark-sql
3 años, 4 meses, 28 días
¿Es posible utilizar la integración de flechas apache con base de datos de relación?
Apache Arrow es una estructura de datos columnar en memoria y una base de datos relacional es una estructura de datos de línea. Si todavía utilizamos MySQL para almacenar estos datos en memoria, la
mysql
relational-database
apache-arrow
3 años, 4 meses, 29 días
Cómo conectar kafka al servidor externo. ip
Tengo Kafka puesta en mi máquina local, y estoy usando github.com/segmentio/kafka-go implementar el modelo de productor de consumo y trabajar bien con localhost.
Pero quería conectarse
go
apache-kafka
3 años, 4 meses, 29 días
¿Cómo leer contenidos de un archivo pptx usando los frascos Apache poi 3.6 y Apache Poi-ooxml-3.15?
He probado el siguiente código para leer .pptx utilizando Apache POI 3.6 y Apache poi-ooxml-3.15 frascos de versión.
try{
InputStream fis = Files
java
apache-poi
3 años, 4 meses, 28 días
Replacing "\n" con nuevas líneas reales como parte de [ encontrar ... -exec ... sed ] construcción
Para hacer la larga historia corto uso Apache Tika Bash script (en mi caso esto es /opt/
bash
sed
solr
apache-tika
3 años, 4 meses, 27 días
¿Exponer directamente a mis corredores Kafka a consumidores externos o utilizar una puerta de entrada basada en http?
¿Cuál es la mejor manera de exponer mi ecosistema Kafka a aplicaciones de terceros que necesitan consumir o publicar mensajes?
Use una puerta de entrada (con base en http) para ocultar l
apache-kafka
3 años, 4 meses, 27 días
Bota de primavera - Handle CSV y archivo Excel Multipart
Tengo una API REST en Spring Boot Application que toma en un param del tipo de archivo Multipart.
Existe la posibilidad de que el usuario pueda importar archivo CSV o archivo Excel(.xlsx / .x
spring-boot
csv
apache-poi
opencsv
3 años, 4 meses, 25 días
Construir una imagen y obtener ERROR [4/6] COPY .docker/vhost.conf /etc/apache2/sites-available/000-default.conf
Estoy tratando de correr y construir una imagen en el docker, pero una vez que intento construirla, obtengo un error diciendo
ERROR [4/6] COPY .docker/vhost.conf /etc/apache2/site
php
docker
apache
xampp
3 años, 4 meses, 27 días
¿La mejor manera de ejecutar múltiples consumidores de consola Kafka?
Escribo Kafka consumía mensajes en un archivo (backup.log). Para hacer esto, he creado un servicio en mi CentOS que funciona kafka-console-consumer.sh --bootstrap-server kafka1:9092 --topic t
apache-kafka
3 años, 4 meses, 27 días
¿Cómo funciona el número de particiones y iteraciones en Spark Word2Vec?
Actualmente estoy entrenando en un gran conjunto de datos usando Spark Word2Vec, implementado en Python.
En las entradas para el modelo hay numPartitions y numItertions</co
apache-spark
pyspark
apache-spark-mllib
word2vec
3 años, 4 meses, 27 días
KafkaIO Group Id after dock
Estoy usando KafkaIO de Apache Beam para leer de un tema de Kafka. Todo está funcionando como se espera, pero si mi trabajo es terminado y reiniciado, hay un nuevo grupoID que se genera por el nuev
apache-beam-io
apache-beam-kafkaio
3 años, 4 meses, 28 días
Cómo conectar los siguientes js como frontend y codeignitor como backend, si residen en el mismo servidor
Soy bastante nuevo para reactr.
Estoy tratando de integrar Next.js con mi ya existente backend CodeIgniter.
Next.js y CodeIgniter requieren que sus propios servidores (puertos) fun
php
reactjs
apache
next.js
codeigniter-3
3 años, 4 meses, 28 días
Reactor - Kafka - El consumidor detiene el error mientras procesa el mensaje
Estoy usando Reactor-Kafka 1.2.4 y actualmente se enfrenta a la cuestión de que al encontrar un error al procesar el mensaje,
el consumidor de Kafka se detiene y no continúa procesando otros mensaj
apache-kafka
reactor-kafka
3 años, 4 meses, 28 días
Reproducción de postgres ranura mostrando inactivo
Estoy usando el conector debezium postgres para la captura de datos de cambio. Uno de los conectores está transmitiendo eventos de cambio a Kafka pero todavía la ranura está mostrando como inactivo
postgresql
apache-kafka-connect
debezium
3 años, 4 meses, 28 días
Retire las citas dobles al inicio del archivo csv cuando use apache commons
Estoy leyendo un archivo csv que tiene líneas en blanco entre y escribir a un archivo csv con las filas vacías usando la biblioteca de apache commons.
Tengo el archivo csv como sigue con nombres de
java
csv
apache-commons
3 años, 4 meses, 27 días
Fijar IP remota y REMOTE_ADDR con mod_rpaf / mod_remoteip no funciona
Así que estoy migrando un proyecto PHP legado de un servidor viejo a otro.
Nuevo servidor está utilizando Debian 10 / Nginx / Apache 2.4 / PHP 5.6.40
He establecido todo lo que estoy acostumb
php
apache
nginx
php-5.6
apache2.4
3 años, 4 meses, 27 días
debezium 1.2 para conector postgres 10
Tengo una versión Postgres 10 e intento configurar un conector de debezium con Kafka.
A continuación se encuentra el ajuste que hice
Set Wal_level = 'logical'
cr
postgresql
apache-kafka
debezium
3 años, 4 meses, 28 días
Spark: los datos inusualmente lentos escriben a Cloud Storage
Como etapa final del trabajo de pyspark, necesito guardar 33Gb de datos a Cloud Storage.
Mi grupo está en Dataproc y consta de 15 trabajadores estándar-v4. Estoy trabajando con avro y el códi
apache-spark
pyspark
apache-spark-sql
google-cloud-storage
avro
3 años, 4 meses, 28 días
IllegalThreadStateException al iniciar una ruta de Apache Camel con resequencer
Tengo una aplicación Spring Boot que utiliza Apache Camel para enrutar junto con ActiveMQ como corredor de mensajes. También utilizo Hawtio para monitorización de enrutamiento y parar/iniciar las r
spring-boot
apache-camel
hawtio
3 años, 4 meses, 29 días
¿Es posible limitar los recursos asignados a una sesión de Spark?
Estoy lanzando sesiones de pySpark con el siguiente código:
import findspark
findspark.init()
from pyspark.sql import SparkSession
from pyspark.sql import functions as F
from pyspark.
apache-spark
pyspark
3 años, 4 meses, 29 días
Lea múltiples patrones de archivos salvajes durante varios días - pyspark
Tengo 60 días de archivos que necesito cargar y hacer algunos huevos. Puedo cargar 1 patrón para un día dado como este
df = spark.read.csv("/data/id/date=20201217/20201217_*_a_id_*.gz
regex
apache-spark
pyspark
wildcard
3 años, 4 meses, 28 días
¿Es la chispa de apache 3.0.1 causa vulnerable de CVE-2020-27216?
Estamos siguiendo la vulnerabilidad en nuestro escáner de seguridad, para la chispa de apache.
https://nvd.
apache-spark
3 años, 4 meses, 29 días
No es capaz de ver los paneles después de integrar LDAP en superset
Con Authentication Type como DB, pude iniciar sesión con admin/admin. Tenía todos los permisos.
Ahora he cambiado la configuración de mi superset para usar el servidor ldap,
AUTH_TYPE = AUTH_
ldap
apache-superset
3 años, 4 meses, 29 días
Apache inversa proxy con autenticación GSUITE y comprobar OPENLDAP usuario miembro del grupo específico
He creado una página de inicio de sesión de PHP con autenticación GSUITE.
Después de la autenticación de GSuite (porque no puedo autenticar usuarios para grupo), compruebo si el usuario es miembro
php
apache
reverse-proxy
google-workspace
3 años, 5 meses, 0 días
Incapaz de establecer variables de entorno en Spark usando liviano y chisma
Escenario :
He establecido un grupo de chispa en mi ambiente de kubernetes :
Livy Pod para la presentación de empleos
Spark Master Pod
Spark Worker Pod for executio
apache-spark
kubernetes
pyspark
livy
3 años, 4 meses, 29 días
Cómo dividir el marco de datos de chispa a la lista de datos por colis o condiciones
Tengo miles de millones de marcos de datos de filas, quiero dividir este marco de datos en cientos por valor de algunos cols de etiquetas.
mis datos como este
value|col1|col2|co
scala
dataframe
apache-spark
apache-spark-sql
3 años, 5 meses, 0 días
Utilizar API transaccional y exactamente una vez con productores y consumidores regulares
Documentos confluentes que pude encontrar todo el enfoque en la aplicación Kafka Streams cuando se trata de
apache-kafka
3 años, 4 meses, 28 días
Pyspark para aplanar una matriz y explotar una estructura para obtener la salida deseada
Tengo un dato con abajo Schema: el atributo índice es Struct -- ratio con array -- ratio cada elemento array dentro de struct
root
|-- id_num: string (nullable = true)
|-- indexes:
arrays
struct
pyspark
apache-spark-sql
3 años, 4 meses, 29 días
htacces reescribir regla sin cambiar url del navegador [cerrado]
<
apache
.htaccess
mod-rewrite
url-rewriting
3 años, 5 meses, 0 días
Cómo resolver el error java.io. NoSerializable ¿Excepción trabajando en el marco de datos?
def URLEnc(input: String): String = {
URLEncoder.encode(input, "UTF-8")
}
val URLEncUDF: UserDefinedFunction = udf(URLEnc(_: String))
val file = spark.read.format("xml")
.optio
java
scala
apache-spark
3 años, 5 meses, 0 días
¿Cómo validar JSON con esquema que contiene una referencia a otro esquema?
Quiero validar un archivo JSON con un archivo de esquema JSON, que contiene una referencia a otro archivo de esquema JSON.
He añadido un
apache-camel
jsonschema
light-4j
3 años, 4 meses, 28 días
Exportar datos de Hadoop utilizando el conector sql-spark (Apache)
Estoy tratando de exportar datos de Hadoop a MS SQL usando Apache Spark SQL Connector como se indica aquí sql-s
sql-server
apache-spark
hadoop
3 años, 4 meses, 28 días
Cómo establecer el nombre de esquema dinámico en el conector fuente JDBC Kafka
Estoy usando el conector fuente SAP HANA "connector.class":"com.sap.kafka.connect.source.hana.HANASourceConnector" para importar datos en temas kafka.
Quiero tener el nombre/nomb
jdbc
apache-kafka
apache-kafka-connect
hana
3 años, 5 meses, 0 días
pyspark dividir cadena en par de valor clave y extraer ciertos valores
Tengo columna con múltiples pares de valor clave como cadena.
Ex:
rb=99;cs_y1=0;y2_co=CA;y2_r=ON;y2_ct=Kitchener;y2_z=N2N;y2_isp=Bell DSL Internet;y2_org=Bell DSL Internet
</cod
apache-spark
pyspark
apache-spark-sql
3 años, 4 meses, 26 días
Error Pyspark mientras se ejecuta subquery sql "AnalysisExcepción: u"La columna relacionada no se permite en un predicado de calidad:\nAggregate"
Había escrito una consulta SQL que tiene una subquería en ella. Es una consulta mySQL correcta pero no se implementa en Pyspark
from pyspark import SparkContext, SparkConf
from pyspar
pyspark
apache-spark-sql
3 años, 4 meses, 27 días
cómo resumir dos acumuladores de salida en scala
Soy capaz de aumentar el acumulador(totalMatchedCitationsCount totalNumUnMatchedCitationsCount) pero incapaz de añadir dos productos acumuladores.
val conf = new SparkConf().setAppNam
scala
apache-spark
3 años, 4 meses, 28 días
obtener nombre de archivo y tiempo de modificación/creación de archivos como (key, valor) par en RDD utilizando pyspark
Tengo carpetas con muchos archivos (por ejemplo, más de 100k), algunos archivos pequeños (menos de 1kb) y algunos archivos grandes (por ejemplo, varios MB).
Me gustaría utilizar pyspark y esc
python
file
apache-spark
pyspark
rdd
3 años, 5 meses, 0 días
Cómo pasar sql. Dataframe como argumento a una función en Scala
Estoy tratando de pasar un Dataframe a una función en la que estoy agregando más columnas en él
Actualmente el df tiene pocas columnas en las que necesito filtrar dentro de la función
Cuando
dataframe
apache-spark-sql
3 años, 4 meses, 28 días
PySpark - SQL a Pysaprk
Estoy tratando de unir 2 tablas basadas en esta consulta SQL usando pyspark.
%sql
SELECT c.cust_id, avg(b.gender_score) AS pub_masc
FROM df c
LEFT JOIN pub_df b
ON c.pp = b.pp
sql
apache-spark
pyspark
group-by
aggregate
3 años, 5 meses, 0 días
Spark excepción al insertar datosframe resulta en una tabla de colmenas
Este es mi fragmento de código. Estoy recibiendo la siguiente excepción cuando spar.sql(query) está siendo ejecutado.
Mi table_v2 tiene 262 columns. Mi
apache-spark
pyspark
apache-spark-sql
3 años, 4 meses, 28 días
Error con archivo CSV decodificado: InvalidArgument Error: Los campos no citados no pueden tener citas/CRLFs dentro
Estoy usando Python 3.7.7, versión tensorflow-io: 0.17.0 y versión de tensorflow: 2.4.0. Quiero leer el archivo CSV de Kafka y utilizar esos datos para entrenar el modelo. Todo el código se puede e
python
csv
tensorflow
apache-kafka
3 años, 4 meses, 27 días