Avaliação do Business Intelligence em empresas de telecomunicações

Breno Brand Fernandes

brenobfernandes@gmail.com

TemboSocial Inc, Toronto, Canadá

Priscilla Cristina Cabral Ribeiro

priscillaribeiro@id.uff.br

Universidade Federal Fluminense – UFF, Niterói, Rio de Janeiro, Brasil

Helder Gomes Costa

heldergc@id.uff.br

Universidade Federal Fluminense – UFF, Niterói, Rio de Janeiro, Brasil

RESUMO

Destaques: A maior parte das empresas tem problemas com o alto volume de dados, falta de informação, conhecimento e relatórios insuficientes. A Business Intelligence (BI) possibilita às companhias encontrarem padrões e relações entre dados aparentemente independentes e desconectados; A avaliação do sucesso ou efetividade de sistemas de informação é fundamental para investimentos nestas tecnologias; Apesar dos avanços já alcançados por estudos avaliativos, ainda existe uma lacuna quanto a modelos de avaliação dedicados à BI.

Objetivo: Propor e aplicar um modelo para avaliar a BI em empresas do setor de telecomunicações, por meio de atributos de avaliação de TI.

Desenho/Metodologia/Abordagem: Para a construção da pesquisa, foi realizado um alinhamento entre revisão de literatura e pesquisa de campo. O método utilizado foi o de estudo de caso múltiplo, de abordagem qualitativa, utilizando as entrevistas semiestruturadas como técnica de coleta de dados, as quais foram direcionadas a gestores de TI e a usuários do sistema.

Resultados: Algumas das principais vantagens, desvantagens e aspectos para a obtenção do sucesso da BI foram identificadas na literatura e estão alinhadas com a pesquisa de campo. Descobriu-se que as motivações e pressões para implantar a BI relacionam-se, principalmente, ao alinhamento do planejamento estratégico da organização com os benefícios da BI.

Limitações da investigação: Nem todos os atributos de hardware podem ser aplicados em processos de avaliação de um software, assim como alguns não são apropriados ao setor de serviços; assim, a proposta deste trabalho foca nos atributos de avaliação de software.

Implicações práticas: Na perspectiva gerencial, este artigo contribui propondo um novo conjunto de atributos-chave para a avaliação da BI após implantada em empresas, que não necessariamente estejam no setor de telecomunicações.

Originalidade/valor: Apesar do crescimento da adoção da BI, há uma lacuna a ser preenchida quanto a modelos para a avaliação desta tecnologia. Este tipo de modelo é crucial para se entender porque uma ferramenta com tantas vantagens ainda é alvo de dificuldades de implantação e uso no setor de telecomunicações. Assim, este trabalho fornece um conjunto de atributos de avaliação, sustentados pela literatura, que podem subsidiar o desenvolvimento de novos estudos avaliativos, não restritos à área de TI.

Palavras-chave: Avaliação; Modelo; Business Intelligence; Telecomunicação.

1 INTRODUÇÃO

A maior parte das empresas tem problemas com o alto volume de dados, falta de informação, conhecimento e relatórios insuficientes (Farrokhi, 2012; Gandomi et Haider, 2014; Alpar et al., 2015). Enquanto isso, os executivos preferem trabalhar com informações integradas e singulares, em lugar de um número maior de relatórios oriundos de diferentes sistemas de informação (Ferreira et Kuniyoshi, 2015). No caso de pequenas e médias empresas (PME), o empresário ou executivo precisa conhecer o impacto que uma gestão adequada da informação pode ter no desempenho da organização (Sanchez Limón et De la Garza Cárdenas, 2018). Isso permite que se tenha uma competição em melhores condições ao propiciar redução de custos, aumento da qualidade, menores prazos de entrega, diversificação de produtos e melhor serviço pós-venda (Leal Morantes et al., 2018).

Neste contexto, surge a inteligência de negócio (Business Intelligence – BI) como ferramenta de integração, transformação, interpretação e visualização destes dados (Duan et Xu, 2012; Chen et al., 2012). A BI possibilita às companhias encontrarem padrões e relação em dados aparentemente independentes e desconectados. Isto permite que haja novas respostas às necessidades da organização e criação de informações fundamentais para a tomada de decisão (Kowalczyk et al., 2013; Chaudhuri et al., 2011).

Para reduzir os riscos dos investimentos em tecnologia da informação (TI) relacionados à falta de alinhamento entre a tecnologia e as estratégias do negócio, é necessária uma política efetiva de avaliação ou um conjunto de diretrizes que acompanhem estes investimentos (Lönnqvist et Pirttimäki, 2006; Ribeiro, 2010). Para Delone et McLean (2003), a avaliação do sucesso ou efetividade de sistemas de informação é fundamental para investimentos nestas tecnologias.

Diante disso, a questão principal da pesquisa é: como avaliar a BI em empresas do setor de telecomunicações? Essa questão central se desdobra nas seguintes questões secundárias: quais são as vantagens e desvantagens da BI?; quais são as pressões e motivações para a implantação da BI?

Apesar dos avanços já alcançados com os estudos desenvolvidos, ainda existe uma lacuna relacionada a modelos dedicados, especificamente, quanto à avaliação da BI (Popovič et al., 2014; Bole et al., 2015). Pelo exposto, o objetivo geral deste trabalho é propor e aplicar um modelo para avaliar a BI em empresas do setor de telecomunicação por meio de atributos de avaliação de TI. A sua contribuição está no preenchimento desta lacuna, propondo uma modelagem para a avaliação da BI.

2 METODOLOGIA

As etapas metodológicas da pesquisa foram estruturadas e organizadas objetivando alcançar a resposta à questão principal da pesquisa que, por sua vez, foi alcançada ao se obter as respostas às questões secundárias. Estas foram obtidas mediante o desenvolvimento das ações descritas na Figura 1.

Figura 1. Questões secundárias de pesquisa e as ações efetuadas para respondê-las

Figure1

Fonte: Elaboração dos autores

Para responder à questão principal de pesquisa foram utilizados os artigos encontrados na revisão biliográfica e na pesquisa exploratória, que foram organizados em dois grupos: avaliação de TI e avaliação de BI. O primeiro grupo foi dividido em duas perspectivas, a financeira e os modelos de avaliação mais complexos. Na primeira, foram encontradas as contribuições para a construção do modelo, como se verá adiante. Na segunda perspectiva, as contribuições advieram de dois estudos de DeLone et McLean (1992; 2003) - que apresentam alto número de citações nos principais journals de TI (11.654 e 9.654 citações até agosto de 2018, no Google Acadêmico, respectivamente) -, dos quais foram extraídas a maioria dos subatributos (dos 39 citados aqui, 23 foram levantados por eles).

No segundo grupo, avaliação de BI, foi utilizado outro conjunto de autores. Dentre os consultados, foram selecionados os principais, após a leitura das suas publicações, a análise de suas contribuições e a verificação da sua pertinência à pesquisa (Figura 4). Para a organização das variáveis, o método proposto por Ribeiro (2010) foi utilizado com o objetivo de organizar as contribuições em atributos e subatributos e a área de atuação (TI ou BI). As respostas da questão principal estão apresentadas nas Figuras 9 e 10.

Quanto à pesquisa de campo, o roteiro de perguntas semiestruturado foi utilizado para responder as questões da Figura 1. A escala para resposta destas perguntas foi a Likert, de 1 a 5 associada a ele para a classificação (1 = muito baixa; 2 = baixa; 3 = regular; 4 = alta; 5 = muito alta). Na Figura 9 estão apresentadas as pontuações dos entrevistados e o somatório detas, na última coluna. Assim, tem-se a avaliação da BI pelos respondentes, por meio das perguntas fechadas. Na Figura 10 optou-se por analisar a BI pela frequência das pontuações, a fim de se concluir se ela obteve uma avaliação positiva (maior número de respostas 4 e 5), mediana (maior número de respostas 3) ou se precisa melhorar (maior número de respostas 1 e 2).

Após a coleta de dados do questionário, no atributo Qualidade do Sistema, os subatributos Complexidade e Integração tiveram suas escalas invertidas, pois, diferente de todos os outros subatributos, quanto maior o peso dado na resposta, mais negativamente a resposta impacta na avaliação da BI. A fim de triangular informações registradas, foi adotado o seguinte critério para as respostas dos entrevistados de uma mesma organização: as respostas dos entrevistados (as pontuações de 1 a 5) dadas a um mesmo subatributo foram subtraídas uma das outras; os resultados superiores a |1| foram consideradas como respostas divergentes.

3 DESENVOLVIMENTO E RESULTADOS

Neste item serão apresentados a revisão de literatura e os resultados da pesquisa.

3.1 Revisão de literatura

A revisão da literatura foi efetuada para se obter respostas para as questões que constam na Figura 1. O processo adotado para a revisão de literatura tomou por base o artigo de de Carvalho Pereira et al. (2017) (com alguns passos independentes do modelo utilizado pelos autores). As bases utilizadas para a pesquisa foram artigos indexados nas bases de dados Web of Science (ISI) e Scopus, resultando em um conjunto de 85 artigos. O próximo passo consistiu na verificação manual de títulos e resumos para a verificação da aderência dos artigos selecionados ao tema. O ponto de partida para a revisão da literatura é uma amostra com 57 artigos que serviram de base para a construção do modelo, pois após os filtros, foram recolocados na amostra, devido à aderência por tema, alguns artigos que foram excluídos no processo de filtragem. A partir desse levantamento, alguns pontos foram levantados para esta revisão, como as vantagens apresentadas na Figura 2.

Figura 2. Vantagens da BI

Figure2

Fonte: Elaboração dos autores

Apesar de a adoção da BI e seu conjunto de técnicas trazer uma série de vantagens, conforme citado anteriormente, existe o risco tanto para a adoção quanto para a não adoção de BI. Em qualquer investimento relevante, alguns pontos devem ser observados, como: possibilidade de retorno antecipado e impactos na competitividade; impacto da adoção nos processos internos da organização; custo de oportunidade em outros investimentos; e a possibilidade de a nova ferramenta inutilizar parcialmente ou totalmente outro investimento (Isaca, 2014). A partir dos textos analisados nesta pesquisa construiu-se a Figura 3, que resume as desvantagens da BI.

Figura 3. Desvantagens da BI

Figure3

Fonte: Elaboração dos autores

A revisão da literatura também buscou identificar as caracterísiticas que um modelo de avaliação de BI deve ter. A Figura 4 sintetiza os resultados desta busca.

Figura 4. Atributos e subatributos para avaliação da BI e da TI

Figure4 Figure4

Fonte: Elaboração dos autores

3.2 Pesquisa de campo

A pesquisa de campo teve como meta avaliar a adoção da BI em empresas brasileiras atuantes no setor de telecomunicações do Brasil.

3.2.1 Amostra

Para a coleta e análise de dados, foram realizadas entrevistas semiestruturadas em empresas atuantes no setor de telecomunicações no Brasil. Os dados foram coletados por meio de um instrumento de pesquisa que se constitui em um roteiro de perguntas abertas e fechadas. A escala para resposta destas perguntas foi a Likert, que é simétrica e balanceada, permitindo por meio de cinco "áreas de atitude" medir o grau de concordância com a questão apresentada ao respondente (Likert, 1932). A escala foi de 1 a 5, sendo 1 = muito baixo; 2 = baixo; 3 = médio; 4 = alto; 5 = muito alto. As unidades de análises foram três empresas, cujas características estão resumidas na Figura 5.

Figura 5. Características das empresas investigadas

Figure5

Fonte: Elaboração dos autores. Legenda: NR = não respondido

Em cada organização a ser pesquisada foram escolhidos dois colaboradores, visando contemplar as duas perspectivas visualizadas pela BI: a técnica, composta pelo conjunto de ferramentas de TI que a compõe, representada pelo gestor de TI, o fornecedor; e a da gestão, que visualiza todos os benefícios que a BI traz à organização, representada pelo gestor da organização, que é o usuário das informações extraídas do sistema (Pirttimäki et al., 2006). As características dos entrevistados estão resumidas na Figura 6.

Figura 6. Perfil dos entrevistados

Figure6

Fonte: Elaboração dos autores.

3.2.2 Análise dos resultados – perguntas abertas

Em uma primeira etapa da pesquisa de campo, três perguntas abertas foram feitas aos entrevistados: (a) Na sua percepção quais foram as vantagens de adoção da BI?; (b) Na sua percepção quais foram as desvantagens da aplicação da BI?; (c) Na sua percepção, quais foram as principais pressões e motivações para a implantação da BI na sua organização?

A Figura 7 apresenta uma compilação das respostas dadas pelos entrevistados, comparando-as às vantagens (presentes na Figura 2) e desvantagens reportadas na literatura (presentes na Figura 3), considerando as perguntas a e b.

Figura 7. Vantagens e desvantagens percebidas pelas empresas x reportadas na literatura

Figure7

Fonte: Elaboração dos autores. Obs. Vantagens e desvantagens listadas nas Figuras 2 e 3

Ao analisar a Figura 7 observa-se que:

O último aspecto levantado como uma desvantagem na Figura 3 (Dificuldade por parte dos usuários dos sistemas de BI em lidar com uma grande quantidade de informação, e o arquivamento destes relatórios por limitação física) foi visto como uma motivação para as empresas adotarem a BI. Como solução, a empresa “B”, desenhou um procedimento próprio para gerar relatórios que atendessem às demandas da organização. Um dos problemas identificados pela literatura é a limitação física para arquivamento de relatórios (Schulz et al., 2015). Nessa perspectiva, Alpar et al. (2015) sugerem como solução deste problema a reutilização e o compartilhamento de relatórios entre as áreas da organização, práticas adotadas pelas três empresas estudadas aqui.

A Figura 8 apresenta a compilação das respostas da pergunta (c) - “Na sua percepção, quais foram as principais pressões e motivações para a implantação da BI na sua organização?”- e a comparação com os resultados encontrados na revisão da literatura. Pelo porte da empresa A, a pressão por sobreviver não a influenciou na escolha por implantar a BI.

Figura 8. Motivações para implantar a BI

Figure8

Fonte: Elaboração dos autores

3.2.3 Análise dos resultados – perguntas fechadas

A seguir são analisadas as respostas obtidas por meio do questionário de perguntas fechadas, com base no confronto de respostas do gestor de TI e do usuário do sistema. Ressalta-se que a letra “G” foi utilizada para indicar as respostas do gestor, enquanto a letra “U” indicam as do usuário.

Na Figura 9, observa-se que as respostas (pontuações/avaliações) dos usuários e gestores de TI foram pouco divergentes, embora haja muitas pontuações diferentes na maioria dos atributos. Isso ocorre devido à pluralidade de perfis de uso, pois, dentre o grupo de usuários tem-se economistas, publicitários, suporte técnico e gestores de TI. As experiências prévias podem ocasionar essas pontuações diferentes, pois observou-se que a maior parte das divergências ocorreu por falta de conhecimento técnico por parte dos usuários, o que afetou outras questões, como a facilidade de aprendizado, intenção de uso, uso voluntário.

Figura 9. Dados coletados em campo: pontuações dadas pelos entrevistados na avaliação da BI

Figure9

Fonte: Elaboração dos autores. Legenda: G = Gestor de TI; U = Usuário

Segundo Moore et Benbasat (1991), o atributo de uso voluntário está ligado à qualidade percebida pelo usuário. Desta forma, como o usuário identificou certa dificuldade na criação de relatórios, conforme relatado nas perguntas abertas, ele se afastou do sistema, impactando, portanto, o seu uso voluntário.

O subatributo complexidade teve a menor pontuação acumulada, 16 pontos. Geralmente este subatributo está ligado a maior ou menor facilidade de uso. O nível de acesso, a princípio, se demonstra como uma característica específica da empresa “B”, que a pontuou negativamente, e é um atributo importante para o sucesso da BI, segundo Işik et al. (2013). Com a extensão do uso da BI - da esfera estratégica para também a operacional, a quantidade de relatórios teve crescimento expressivo. Alpar et al. (2015) sugerem como solução para este problema a reutilização e compartilhamento de relatórios entre áreas da organização. Todas as empresas dos estudos de caso arquivam e reutilizam ou compartilham seus relatórios entre as áreas da organização, assim como sugere a literatura.

O subatributo melhores resultados recebeu a maior pontuação acumulada, 29 pontos, seguido pelo grau de atualização e pela precisão, com 28 pontos cada. Pode-se afirmar que, via de regra, os benefícios da BI extraídos da pesquisa de campo estão alinhados com a literatura.

Ao mesmo tempo que a Figura 9 demonstra os dados coletados em campo sob uma perspectiva horizontal, ao transformar os dados em perspectiva de frequência, observados na Figura 10, de maneira vertical, se torna crível afirmar que 80% das respostas tiveram pontuação positiva, de 4 e 5. Observa-se que 50% das respostas obtidas foram concentradas na pontuação 4 (alta) e 30% de pontuação 5 (muito alta). Ao analisar a BI, pela escala apresentada, assume-se que a BI teve uma avaliação acima da média nas três empresas estudadas, apesar das desvantagens identificadas.

Figura 10. Dados dos estudos de caso em perspectiva de frequência

Figure10

Fonte: Elaboração dos autores

4 CONCLUSÃO

Verificou-se que as vantagens e benefícios da BI, relatadas na literatura como chave para a sua avaliação, foram confirmadas pelos participantes dos estudos de caso. A BI é reconhecidamente uma ferramenta estratégica que centraliza informações em tempo real (informações atualizadas), sob diversas perspectivas, garantindo um melhor entendimento da organização, o que resulta em decisões de maior qualidade e rapidez. Estas informações são normalmente apresentadas por meio de relatórios com indicadores e dashboards que facilitam sua interpretação.

Em relação às desvantagens, o conceito de BI 2.0, uma tendência segundo a literatura científica, foi pouco identificado na prática. Apenas uma das organizações demonstrou, em algum aspecto, a existência de interação entre empresa, fornecedores e clientes em um mesmo sistema de BI. E mesmo quando identificado, houve divergência entre os entrevistados sobre a sua funcionalidade. A outra desvantagem encontrada foi a dificuldade de selecionar qual relatório utilizar para a tomada de decisão, dada a alta quantidade de informação disponível pela BI. Como saída para este problema, uma das organizações criou um procedimento próprio para a criação e seleção de relatórios. A complexidade de uso da BI, que também se destacou nesta pesquisa, faz com que outros aspectos, como a facilidade de uso e o seu uso voluntário, sejam prejudicados, resultando em outra perspectiva negativa da BI. Esse cenário sugere maior atenção quanto ao processo de treinamento de usuários e de gestores de modo que essa perspectiva negativa seja diminuída e não afete a experiência de uso.

Com a descentralização de dados dentro das organizações, a geração de relatórios com informações em tempo real surge como a principal motivação para a implantação da BI. A integração de dados em um sistema é muito importante, pois além de conceder qualidade na tomada de decisão, reduz custos e tempo antes direcionados ao esforço de criar manualmente relatórios que integrassem diversos dados. Este alto volume de dados, a falta de informação em tempo hábil e relatórios insuficientes são elementos que agem como forças que pressionam para a adoção da BI. Outra força que pressiona para a implantação da BI é o alinhamento estratégico da organização, com investimentos em tecnologia em prol da evolução e sobrevivência da organização.

Diversos requisitos foram verificados como determinantes para o sucesso da BI, tais como: a experiência prévia com o processo decisório analítico que a organização deve ter; identificar se existe alinhamento entre os benefícios que a BI vai oferecer à organização no seu planejamento estratégico; apoio da diretoria; e a figura de um líder na organização que faça a comunicação entre a parte técnica da BI e os demais departamentos da organização.

De acordo com os estudos de caso, mesmo sem métricas financeiras, ou seja, sem fazer um estudo financeiro de retorno sobre o investimento na BI, a sua viabilidade através de conceitos intangíveis é suficiente para a tomada de decisão de implantá-la. O aumento de valor da organização em razão da BI é suficiente para se optar por sua implantação. Desta forma, torna-se crítico visualizar que os benefícios da BI estejam alinhados com o planejamento estratégico da organização. A implantação realizada em cada uma das três empresas investigadas teve sucesso, apesar de ter sido realizada a partir de um projeto pouco estruturado. Esse dado sugere que a sua implantação não necessariamente demande um projeto complexo, o que se justifica pelo baixo nível de complexidade da implantação de um sistema desse tipo, que imprime maior trabalho na fase de unificação dos dados de diversas fontes.

Para estudos futuros, sugere-se que seja realizado um survey estruturado envolvendo especialistas de TI, preferencialmente gestores, que fizeram parte do processo de implantação da BI em empresas de tecnologia.

A pesquisa propõe avaliar a TI, na medida em que os investimentos nesta área em empresas privadas e públicas podem ser superestimados ou subestimados, caso não se avalie o produto a que se destina os recursos das instituições e sociedade.

Por meio da revisão de literatura, outros pesquisadores podem se fundamentar para o desenvolvimento de seus estudos. O conjunto de atributos identificado nas pesquisas dos principais autores de modelos de avaliação de tecnologias e sistemas de informação possibilita que os leitores entendam e possam replicar esta proposta ou desenvolver uma com base nas informações disponibilizadas aqui. Ademais, a modelagem apresentada aqui pode contribuir para a construção de outros modelos de avaliação não destinados somente a TI.

REFERÊNCIAS

Abelló, A., Romero, O., Pedersen, T. B., Berlanga, R., Nebot, v., Aramburu, M. Simitsis, A. (2015), “Using semantic web technologies for exploratory OLAP: A survey”, IEEE Transactions on Knowledge and Data Engineering, Vol. 27, No. 2, pp. 571–588. http://dx.doi.org/10.1109/TKDE.2014.2330822.

Affeldt, F. S.; Silva, S. D. da. (2013), “Information Architecture Analysis Using Business Intelligence Tools Based on the Information Needs of Executives”, Journal of Information Systems and Technology Management: JISTEM, Vol. 10, No. 2, pp. 251–270.

Agarwal, R.; Prasad, J. (1997), “The role of innovation characteristics and perceived voluntariness in the acceptance of information technologies”, Decision Sciences, Vol. 28, No. 3, pp. 557–582.

Alpar, P.; Engler, T. H.; Schulz, M. (2015), “Influence of social software features on the reuse of Business Intelligence reports. Information”, Processing and Management, Vol. 51, No. 3, pp. 235–251.

Azvine, B.; Cui, Z.; Nauck, D. D. (2005), “Towards real-time business intelligence”, BT Technology Journal, Vol. 23, No. 3, pp. 214–225.

Bailey, J. E.; Pearson, S. W. (1983), “Development of a Tool for Measuring and Analyzing Computer User Satisfaction”, Management Science, Vol. 29, No. 5, pp. 530–545.

Belardo, S.; Karwan, K. R.; Wallace, W. A. (1982), “DSS component design through field experimentation: an application to emergency management”, artigo apresentado no International Conference on Information Systems, Ann Arbor, Michigan, 1982.

Boland, G. W., Thrall, J. H., e Duszak, R. (2015), “Business intelligence, data mining, and future trends”, Journal of the American College of Radiology, Vol. 12, No. 1, pp. 9-11.

Bole, U., Popovič, A., Žabkar, J., Papa, G., e Jaklič, J. (2015), “A case analysis of embryonic data mining success”, International journal of information management, Vol. 35, No. 2, pp. 253-259.

Bravo Orellana, E. Santana Ormeño, M., Rodón Mòdol, J. (2014), “Impacto de la automatización sobre el desempeño: Evaluación en sistemas de información”, Revista Venezolana de Gerencia (RVG), Vol. 19, No. 66, pp. 267-286.

Brooks, P.; El-Gayar, O.; Sarnikar, S. (2015), “A framework for developing a domain specific business intelligence maturity model: Application to healthcare”, International Journal of Information Management, Vol. 35, No. 3, pp. 337–345.

Burton-Jones, A.; McLean, E. R.; Monod, E. (2014), “Theoretical Perspectives in IS Research: From Variance and Process to Conceptual Latitude and Conceptual Fit”, European Journal of Information Systems, Vol. 24, No. 6, pp. 664-679.

Carvalho, T. V. de; Sassi, R. J. (2013), “Business Intelligence as a competitive advantage on a Brazilian chemical industry in the global crisis of 2008, 2009 and 2010”, Advances in Chemical, Material and Metallurgical Engineering, Vol. 634-638, pp. 3883–3886. https://doi.org/10.4028/www.scientific.net/AMR.634-638.3883

Chaudhuri, S.; Dayal, U.; Narasayya, V. (2011), “An overview of business intelligence technology”, Communications of the ACM, Vol. 54, No. 8, pp. 88-98.

Chen, H.; Chiang, R. H. L.; Storey, V. C. (2012), “Business Intelligence and Analytics: From Big Data to Big Impact”, MIS Quarterly, Vol. 36, No. 4, pp. 1165–1188.

Chen, J. V., Jubilado, R. J. M., Capistrano, E. P. S., e Yen, D. C. (2015), “Factors affecting online tax filing–An application of the IS Success Model and trust theory”, Computers in Human Behavior, Vol. 43, pp. 251-262.

Chen, J. V., Rungruengsamrit, D., Rajkumar, T. M., e Yen, D. C. (2013a), “Success of electronic commerce Web sites: A comparative study in two countries”, Information e management, Vol. 50, No. 6, pp. 344-355.

Chen, J. V.; Chen, Y.; Capistrano, E. P. S. (2013b), “Process quality and collaboration quality on B2B e-commerce”, Industrial Management and Data Systems, Vol. 113, No. 6, pp. 908–926.

Chvatalova, Z.; Koch, M. (2015), “Optimizing of Information Systems in Companies: Support of Sustainable Performance”, Procedia - Social and Behavioral Sciences, Vol. 213, pp. 842–847.

Cook, A.; Davis, C. (2003), “Shifting gears to accommodate diversity: how and why an information systems project manager should customize leadership style to suit multicultural teams”, artigo apresentado no SWDSI 2003: Southwest Decision Sciences Institute Conference, 2-5 de mar. 2003.

Davis, F. D. (1989), “Perceived Usefulness, Perceived Ease of Use, and User Acceptance of Information Technology”, MIS Quarterly, Vol. 13, No. 3, pp. 319–340.

Delone, W. H.; Mclean, E. R. (1992), “Information Systems Success: The Quest for the Dependent Variable”, Information Systems Research, Vol. 3, No. 1, pp. 60–95.

Delone, W. H.; Mclean, E. R. (2003), “The DeLone and McLean Model of Information Systems Success: A Ten-Year Update”, Journal of Management Information Systems, Vol. 19, No., 4, pp. 9–30.

Dickson, G. W.; Desanctis, G.; Mcbride, D. J. (1986), “Understanding the effectiveness of computer graphics for decision support: A cumulative experimental approach”, Communications of the ACM, Vol. 29, No. 1, pp. 40–47.

Dickson, G. W.; Senn, J. A.; Chervany, N. L. (1977), “Research in Management Information Systems: The Minnesota Experiments”, Management Science, Vol. 23, No. 9, pp. 913–934.

Duan, L.; Xu, L. Da. (2012), “Business intelligence for enterprise systems: A survey”, IEEE Transactions on Industrial Informatics, Vol. 8, No. 3, pp. 679-687.

Farrokhi, V. (2012), “The necessities for building a model to evaluate Business Intelligence projects- Literature Rev.”, International Journal of Computer Science e Engineering Survey, Vol. 3, No. 2, pp. 1–10.

Ferreira, A. A.; Kuniyoshi, M. S. (2015), “Critical factors in the implementation process of integrated management systems”, Journal of Information Systems and Technology Management, Vol. 12, No. 1, pp. 145–164.

Gandomi, A.; Haider, M. (2014), “Beyond the hype: Big data concepts, methods, and analytics”, International Journal of Information Management, Vol. 35, No. 2, pp. 137–144.

Ghazanfari, M.; Jafari, M.; Rouhani, S. (2011), “A tool to evaluate the business intelligence of enterprise systems”, Scientia Iranica, Transaction E, Industrial Engineering, Vol. 18, No. 6, pp. 1579–1590.

Golfarelli, M., Mandreoli, F., Penzo, W., Rizzi, S., e Turricchia, E. (2012), “OLAP query reformulation in peer-to-peer data warehousing”, Information Systems, Vol. 37, No. 5, pp. 393-411.

Hamilton, S.; Chervany, N. L. (1981), “Evaluating Information System Effectiveness - Part I: Comparing Evaluation Approaches”, MIS Quarterly, Vol. 5, No. 3, pp. 55–69.

Hannula, M.; Pirttimäki, V. (2003), “Business intelligence empirical study on the top 50 Finnish companies”, Journal of American Academy of Business, Vol. 2, pp. 593–599.

IBM (2013). What will we make of this moment? 2013 IBM Annual Report. Disponível em: https://www.ibm.com/annualreport/2013/bin/assets/2013_ibm_annual.pdf (Acesso em: 26 ago. 2015.

Isaca. (2013), “Big Data: Impacts and Benefits”, ISACA, pp. 1–14.

Isaca. (2014), “Generating Value from Big Data Analytics”, ISACA, pp. 1–12.

Işik, Ö.; Jones, M. C.; Sidorova, A. (2013), “Business intelligence success: The roles of BI capabilities and decision environments”, Information and Management, Vol. 50, No. 1, pp. 13–23.

Jarvenpaa, S.; Dickson, G.; Desanctis, G. (1985), “Methodological Issues in Experimental IS Research: Experiences and Recommendations”, MIS Quarterly, Vol. 9, No. 2, pp. 141–157.

Kettinger, W. J.; Lee, C. C. (1994), “Perceived Service Quality and User Satisfaction with the Information Services Function”, Decision Sciences, Vol. 25, Nos. 5-6, pp. 737–766.

Kowalczyk, M.; Buxmann, P. (2015), “An ambidextrous perspective on business intelligence and analytics support in decision processes: Insights from a multiple case study”, Decision Support Systems, Vol. 80, pp. 1–13.

Kowalczyk, M.; Buxmann, P.; Besier, J. (2013), “Investigating Business Intelligence and Analytics from a Decision Process Perspective: A Structured Literature Review”, artigo apresentado no ECIS, European Conference on Information Systems, Utrecht, Holanda, 5-8 jun. 2013

Kubina, M.; Koman, G.; Kubinova, I. (2015), “Possibility of Improving Efficiency within Business Intelligence Systems in Companies”, Procedia Economics and Finance, Vol. 26, No. 15, pp. 300–305.

Kumar, A.; Shankar, R.; Debnath, R. M. (2015), “Analyzing customer preference and measuring relative efficiency in telecom sector: A hybrid fuzzy AHP/DEA study”, Telematics and Informatics, Vol. 32, No. 3, pp. 447–462.

Kumar, D. P. (2012), “Impact of Business Intelligence Systems in Indian Telecom Industry”, Business Intelligence Journal, Vol. 5, No. 2, pp. 358-366.

Leal Morantes, M. E., Labarca Ferrer, N. J., Bracho Parra, O. del S., Vargas de Hernández, V. E. (2018), “Gestión Tecnológica en pymes del sector textil del municipio Maracaibo- estado Zulia Venezuela”, Revista Venezolana de Gerencia, Vol. 23, No. 82, pp. 314-335.

Likert, R. (1932), “A technique for the measurement of attitudes”, Archives of psychology, R.S. Woodworth, New York.

Lin, C.; Pervan, G. (2003), “The practice of IS/IT benefits management in large Australian organizations”, Information and Management, Vol. 41, No. 1, pp. 13–24.

Lönnqvist, A.; Pirttimäki, V. (2006), “The Measurement of Business Intelligence”, Information Systems Management, Vol. 23, No. 1, pp. 32–40.

Lucas, H. C. (1975), “Why information systems fail”. Columbia University Press, New York.

Maish, A. M. (1979), “A User’s Behavior Toward His MIS”, MIS Quarterly, Vol. 3, No. 1, pp. 39–52.

Marinheiro, A.; Bernardino, J. (2015), “Experimental Evaluation of Open Source Business Intelligence Suites using OpenBRR.” IEEE Latin America Transactions, Vol., 13, No. 3, pp. 810–817.

Marius, G.; Aref, M.; Bilal, H. (2009), “Real time on-line analytical processing for business intelligence”, UPB Scientific Bulletin, Series C: Electrical Engineering, Vol. 71, No. 3, pp. 79–88.

Marthandan, G.; Tang, C. M. (2010), “Information technology evaluation: issues and challenges”, Journal of Systems and Information Technology, Vol. 12, No. 1, pp. 37–55.

Mohammadi, H. (2015), “Investigating users’ perspectives on e-learning: An integration of TAM and IS success model”, Computers in Human Behavior, Vol. 45, pp. 359–374.

Moore, G. C.; Benbasat, I. (1991), “Development of an instrument to measure the perceptions of adopting an information technology innovation”, Information Systems Research, Vol. 2, No. 3, pp. 192–222.

Munro, M. C.; Davis, G. B. (1977), “Determining Management Information Needs: A Comparison of Methods”, MIS Quarterly, Vol. 1, pp. 55–67.

Nanavati, A. A., Singh, R., Chakraborty, D., Dasgupta, K., Mukherjea, S., Das, G., ... e Joshi, A. (2008), “Analyzing the structure and evolution of massive telecom graphs”, IEEE Transactions on Knowledge and Data Engineering, Vol. 20, No. 5, pp. 703-718.

Olson, M. H.; Lucas, H. C.; Kling, R. (1982), “The Impact of Office Automation on the Organization: Some Implications for Research and Practice”, Communications of the ACM, Vol. 25, No. 11, pp. 838–847.

Pendharkar, P. C. (2010), “Valuing interdependent multi-stage IT investments: A real options approach”, European Journal of Operational Research, Vol. 201, No. 3, pp. 847–859.

Pereira, F. C.; Costa, H. G.; Pereira, V. (2017). “Patent filings versus articles published: A review of the literature in the context of Multicriteria Decision Aid”. World Patent Information, Vol. 50, pp. 17-26.

Petter, S.; Delone, W.; Mclean, E. (2008), “Measuring information systems success: models, dimensions, measures, and interrelationships”, European Journal of Information Systems, Vol. 17, No. 3, pp. 236–263.

Pirttimäki, V.; Lönnqvist, A.; Karjaluoto, A. (2006), “Measurement of Business Intelligence in a Finnish Telecom- munications Company” Electronic Journal Of Knowledge Management, Vol. 4, No. 1, pp. 83–90.

Pitt, L. F.; Watson, R. T.; Kavan, C. B. (1995), “Service Quality: A Measure of Information Systems Effectiveness”. MIS Quarterly, Vol. 19, No. 2, pp. 173–187.

Popovič, A., Hackney, R., Coelho, P. S., e Jaklič, J. (2014), “How information-sharing values influence the use of information systems: An investigation in the business intelligence systems context”, The Journal of Strategic Information Systems, Vol. 23, No. 4, pp. 270-283.

Ramakrishnan, T.; Jones, M. C.; Sidorova, A. (2012), “Factors influencing business intelligence (BI) data collection strategies: An empirical investigation”, Decision Support Systems, Vol. 52, No. 2, pp. 486–496.

Ribeiro, P. C. C. (2010), Proposição de um método de avaliação de tecnologia de identificação: O caso RFID nas cadeias de carne bovina no Brasil e nos EUA. Tese de Doutorado em Engenharia de Produção, Programa de Pós Gradução em Engenharia de Produção, Universidade Federal de São Carlos, São Carlos, SP.

Ribeiro, P. C. C., Scavarda, A. J., Batalha, M. O., e Bailey, D. (2009), “Application of an IT evaluation method”, International Journal of E-Business Management, Vol. 3, No. 2, pp. 24-42.

Rivard, S.; Huff, S. L. (1984), “User developed applications: evaluation of success from the DP Department Perspective”, MIS Quarterly, Vol. 8, No. 1, pp. 39-50.

Rogers, E. M. (1995), Diffusion of innovations, 4th ed., The Free Press, New York.

Rogers, E. M.; Shoemaker, F. F. (1971), Communication of Innovations: A Cross-Cultural Approach, The Free Press, New York.

Sanchez Limón, M. L., De la Garza Cárdenas, M. H. (2018), “Tecnologías de información y desempeño organizacional de las pymes del noreste de México”, Revista Venezolana de Gerencia (RVG), Vol. 23, No. 82, pp. 298-313.

Sanders, G. L.; Courtney, J. F. A (1985), “Field Study of Organizational Factors Influencing DSS Success”, MIS Quarterly, Vol. 9, No. 1, pp. 77–93.

Schulz, M.; Winter, P.; Choi, S. K. T. (2015), “On the relevance of reports-Integrating an automated archiving component into a business intelligence system”, International Journal of Information Management, Vol. 35, No. 6, pp. 662–671.

Sedera, D.; Gable, G.; Chan, T. (2004), “A factor and structural equation analysis of the enterprise systems success measurement model”, artigo apresentado na AMCIS, Americas Conference on Information Systems, New York, 2004

Srinivasan, A. (1985), “Alternative Measures of System Effectiveness: Associations and Implications” MIS Quarterly, Vol. 9, No. 3, pp. 243–253.

Standing, C., Guilfoyle, A., Lin, C., e Love, P. E. (2006), “The attribution of success and failure in IT projects”, Industrial Management e Data Systems, Vol. 106, No. 8, pp. 1148-1165.

Suh, H., Van Hillegersberg, J., Choi, J., e Chung, S. (2013), “Effects of strategic alignment on IS success: the mediation role of IS investment in Korea”, Information Technology and Management, Vol. 14, No. 1, pp. 7-27.

Swanson, E. B. (1974), “Management Information Systems: Appreciation and Involvement”, Management Science, Vol. 21, No. 2, pp. 178–188.

Venkatesh, V., Morris, M. G., Davis, G. B., e Davis, F. D. (2003), “User acceptance of information technology: Toward a unified view”, MIS Quarterly, Vol. 27, No. 3, pp. 425-478.

Wang, C. H. (2016), “A novel approach to conduct the importance-satisfaction analysis for acquiring typical user groups in business-intelligence systems”, Computers in Human Behavior, Vol. 54, pp. 673–681.

Wang, Y. S.; Liao, Y. W. (2008), “Assessing eGovernment systems success: A validation of the DeLone and McLean model of information systems success”, Government Information Quarterly, Vol. 25, No. 4, pp. 717–733.

Weigel, F. K.; Hazen, B. T. (2014), “Technical proficiency for IS Success”, Computers in Human Behavior, Vol. 31, No. 1, pp. 27–36.

Williams, S.; Williams, N. (2004), “Assessing BI Readiness: The Key to BI ROI”, Business Intelligence Journal, Vol. 9, No. 3, pp. 15–23.

Xu, X.; Wang, L.; Newman, S. T. (2011), “Computer-aided process planning – A critical review of recent developments and future trends”, International Journal of Computer Integrated Manufacturing, Vol. 24, No. 1, pp. 1–31.

Yeoh, W.; Koronios, A. (2010), “Critical Success Factors for Business Intelligence Systems”, Journal of Computer Information Systems, Vol. 50, No. 3, pp. 23–32.

Zha, X., Zhang, J., Yan, Y., e Xiao, Z. (2015), “Does affinity matter? Slow effects of e-quality on information seeking in virtual communities”, Library e Information Science Research, Vol. 37, No. 1, pp. 68-76.

Zmud, R. W.; Boynton, A. C.; Jacobs, G. C. (1987), “An Examination of Managerial Strategies for Increasing Information Technology Penetration in Organizations”, apresentado na ICIS, International Conference on Information Systems, Pensylvannia, Estados Unidos, 1987.

Recebido: 15 nov. 2018

Aprovado: 07 jan. 2019

DOI: 10.20985/1980-5160.2019.v14n1.1480

Como citar: Fernandes, B. B.; Ribeiro, P. C. C.; Costa, H. G. (2019), “Avaliação do Business Intelligence em empresas de telecomunicações”, Sistemas & Gestão, Vol. 14, N. 1, pp. 64-76, disponível em: http://www.revistasg.uff.br/index.php/sg/article/view/1480 (acesso dia mês abreviado. ano).