Uma análise do cargo e do nível de instrução dos usuários em sua avaliação sobre sistemas integrados de gestão
Warley Wanderson do Couto1, Antônio Artur de Souza2, Ewerton Alex Avelar2, Eloísa Helena Rodrigues Guimarães1, Luísa Raad Gervásio2
1 Fundação Pedro Leopoldo; 2 Universidade Federal de Minas Gerais
RESUMO
Este artigo apresenta os resultados de uma pesquisa que visou analisar a influência do cargo e do nível de instrução dos usuários em sua satisfação em relação a sistemas integrados de gestão (enterprise resource planning – ERP). Os dados foram coletados por meio de questionários semiestruturados aplicados a 115 usuários de ERPs em 13 diferentes empresas. A análise dos dados foi realizada por meio das seguintes técnicas: estatística descritiva, coeficente de correlação de Spearman e Chi-Square Automatic Interaction Detector (CHAID). Os resultados evidenciaram que o cargo e a função dos usuários têm influência direta na avaliação dos ERPs. Em geral, a avaliação dos usuários técnicos e assistentes apresentou resultados estatisticamente superiores aos da avaliação realizada por usuários em cargos de supervisão e coordenação. Constatou-se, ainda, uma influência significativa do nível de instrução dos usuários em sua avaliação dos sistemas, especialmente, porque empregados com menor nível de instrução tenderam a avaliar mais positivamente as características dos ERPs.
Palavras-chave: Sistemas Integrados de Gestão; Avaliação de Sistemas de Informações; Cargo e do Nível de Instrução dos Usuários.
INTRODUÇÃO
Para Moscove et al. (2002), nas últimas décadas, a Tecnologia da Informação (TI) exerceu tanto impacto sobre a sociedade quanto a Revolução Industrial o fez nos séculos predecessores. O avanço proporcionado às organizações pela área de TI tem contribuído de forma expressiva para a expansão da economia a mercados antigamente restritos. Fonseca et Rodello (2016) destacam que os investimentos em TI se tornaram imprescindíveis para as empresas terem maiores condições de sobreviver em cenários competitivos. Nesse sentido, Johansson et al. (2016) afirmam que, à medida que a TI passa a ter continuamente um papel central nas empresas, o orçamento para essa área tende a aumentar.
Nesse contexto, os sistemas de informações (SIs) emergem como um fator usualmente crítico para o alcance e a sustentação da competitividade das organizações no mercado (Couto et al., 2015). Para Góes (2007), esses sistemas têm permitido às organizações manter e administrar seus negócios em escala mundial, acompanhando os avanços mercadológicos. De modo especial, as áreas de contabilidade e finanças tornam-se fundamentais para o alcance das metas e objetivos organizacionais, fazendo uso intensivo do emprego de SIs computadorizados. Com base no desenvolvimento dos SIs, essas áreas têm-se beneficiado especialmente dos sistemas integrados de gestão (Enterprise Resources Planning – ERP), para obter informações de forma rápida e precisa para suporte aos gestores na tomada de decisões. Conforme Fernandes et al. (2017, p. 58), os ERPs se consubstanciam em
um recurso cada vez mais usado pelas organizações, principalmente quando os argumentos dos fornecedores de solução são a sobrevivência da empresa e os benefícios tangíveis e estratégicos que elas podem alcançar com sua utilização.
Davenport (1998) afirma que os sistemas ERPs podem ser considerados como um dos mais inovadores desenvolvimentos no uso da tecnologia da informação da década de 1990. Por sua vez, Souza et Iaronzinski (2007) destacam que esses sistemas oferecem possibilidades de agilizar o fluxo de informações na organização pela integração entre departamentos, permitindo ainda a redução dos custos com TI e a atualização das operações de forma on-line. Nesse sentido, Baykasoglu et Gölcük (2017) afirmam que tais sistemas aumentam a capacidade de processamento de conhecimento das empresas quando são utilizados eficazmente. Todavia, os referidos autores ressaltam que nem todas as empresas conseguem implementar os ERPs de forma satisfatória.
Diante do importante papel dos SIs no ambiente empresarial, a avaliação desses sistemas se mostra muito relevante (Passolongo, 2004). Diversos estudos têm sido realizados sobre avaliação de sistemas de informações, em especial dos ERPs. Dentre os mais recentes, destacam-se: Souza et Iaronzinski (2007), Souza et al. (2009), Kale et al. (2010), Souza et al. (2010), Américo et al. (2011), Couto (2011), Couto et Cunha (2012), Souza et al. (2012), Couto et al. (2015), Fernandes et al. (2017).
Todavia, a maior parte dos estudos supracitados limita-se a avaliar a satisfação e a percepção do usuário em relação ao ERP. Tais estudos assumem, implicitamente, que os usuários, independentemente de perfil, são competentes para procederem tal análise e avaliação do ERP, o que pode não ser verdadeiro. Por exemplo, não se sabe exatamente se o cargo e o grau de instrução do usuário podem exercer influência no resultado de sua avaliação em relação ao sistema. Tem-se, por conseguinte, que a avaliação positiva de qualquer sistema pode não ser o bastante para afirmar se o ERP está ou não atendendo aos objetivos da organização. Não é raro identificar usuários que, pela falta de conhecimento do potencial dos ERPs, avaliam o sistema de forma positiva visando a não comprometer a sua imagem e posição na hierarquia da organização. Ante o exposto, o estudo apresentado neste trabalho buscou responder à seguinte questão de pesquisa: “o cargo e o grau de instrução dos usuários de ERPs têm influência sobre a sua satisfação em relação a tais sistemas?”.
Diante do exposto, o objetivo geral da pesquisa descrita neste trabalho foi analisar se o cargo e o grau de instrução dos usuários influenciam o nível de satisfação dos mesmos em relação aos ERPs empregados em suas organizações. Para tal, foram delineados os seguintes objetivos específicos: (a) verificar se o cargo do usuário do ERP apresenta influência significativa sobre o seu grau de satisfação em relação ao sistema; e (b) verificar se o nível de instrução do usuário do ERP apresenta influência significativa sobre o seu grau de satisfação em relação ao sistema.
Este artigo está estruturado em cinco seções (contando com esta introdução). Na seção 2, destaca-se uma breve revisão da literatura sobre temas importantes para a adequada compreensão deste trabalho. Em seguida, na seção 3, ressalta-se a metodologia utilizada na pesquisa. Posteriormente, os resultados da pesquisa são apresentados e discutidos (seção 4). Por fim, na seção 5, as considerações finais do estudo são destacadas, seguidas das referências bibliográficas.
REVISÃO DA LITERATURA
A Evolução dos Sistemas de Informações (SIs)
Pode-se dizer que a utilização dos SIs computadorizados pelas organizações teve início na década de 1960 (Stair, 1998). Conforme Memória (2010), a grande maioria dos sistemas era desenvolvida por equipes internas, uma vez que o acesso a outros softwares ainda era muito restrito. Buscando aprimorar a gestão organizacional, iniciou-se o desenvolvimento de sistemas mais abrangentes, que controlassem os processos de compra e armazenagem de materiais. Surge, então, a técnica denominada Material Requirements Planning (MRP) que, de acordo com Franco (2005), foi o primeiro antecessor ao ERP.
Consoante Corrêa et al. (2009), o MRP é um módulo que se baseia na decisão de manufatura de produtos acabados e calcula as necessidades de fabricação (e.g., materiais, tempo, liberação e vencimento de ordens de produção). Utilizando-se de informações do cadastro de estruturas de produtos e estoques, o sistema ainda permite a emissão de relatórios que facilitam a gestão dos processos produtivos. Franco (2005) lembra que, inicialmente, o MRP era ligado ao planejamento e ao controle de produção, notadamente das organizações com características industriais. Esse sistema era capaz de trabalhar as ordens de produção de forma integrada ao departamento de vendas, uma vez que este, ao receber os pedidos de venda, repassava-os ao departamento de produção por meio do MRP, já estimando o tempo de produção, número de funcionários e matéria-prima necessária para atender cada pedido.
Nos anos 1980, surgiu o MRP-II, que superava a visão restrita a materiais e ampliava o controle para o chão de fábrica e outras áreas ligadas à produção (Breternitz et Galhardi, 2011). O MRP II surgiu a partir do módulo MRP, ao qual foram agregados outros módulos, como: programação-mestre de produção (MPS), cálculo aproximado de necessidade de capacidade (RCCP), cálculo detalhado de necessidade de capacidade (CRP), controle de fábrica (SFC), controle de compras (PUR) e vendas e planejamento de operações (S&OP), conforme destacam Corrêa et al. (2009).
Na acepção de Marques (2008), o MRP-II aumentou a eficiência no planejamento e no controle dos planos de produção, tornando o sistema integrado e interativo. O MRP II atendeu à evolução dos modelos de pesquisa operacional da época, minimizando custos, perdas e tempo de atendimento ou maximizando resultados da produção, econômicos e financeiros (Franco, 2005). O MRP-II passou, então, a ser uma nova ferramenta de gestão, que oferecia um vasto número de informações capazes de subsidiar, ainda que não plenamente, o processo de decisão gerencial sobre outros recursos que não só o da produção.
Com as informações de entrada de matéria-prima, produção realizada, produtos em estoque, pedidos do setor de vendas e outras informações já absorvidas pelos módulos do MRP, era fundamental oferecer um módulo que atendesse à área fiscal e contábil das organizações, também de forma integrada. Com o MRP-II, mais robusto e capaz de oferecer maior agilidade e redução de custos, a expressão ERP começou a ser utilizada para denominar o novo sistema. Assim, conforme Acar et al. (2017), o ERP pode ser compreendido como uma evolução dos conceitos de MRP e MRP-II.
O cenário atual demonstra que a tendência dos softwares é de possibilitar cada vez mais mobilidade e agilidade na geração das informações, permitindo maior facilidade para a tomada de decisão. Dentre as inovações tecnológicas mais recentes, a Internet e os ERPs foram as que apresentaram maior repercussão nas áreas de contabilidade e finanças, conforme destacam Wernke et Bornia (2001).
Sistemas de gestão integrada (Enterprise Resources Planning – ERP)
Conforme Couto et al. (2015), a tendência de aumento no número de empresas que visam maior agilidade do fluxo de informações por meio do uso da TI não é recente. Contudo, atualmente, com uma concorrência crescente, motivada, dentre outros fatores, pela globalização dos mercados, o acesso à informação para tomada de decisão se tornou fundamental para a sustentabilidade e a sobrevivência de muitas empresas. Dada a importância da TI para as organizações, o perfeito entendimento do conceito de SIs torna-se vital para a obtenção do melhor resultado a partir da implantação de um ERP em qualquer organização. Constata-se que o objetivo de uma organização ao implantar um ERP encontra-se na própria definição de sistema apresentada por Laudon et Laudon (2001) e O’Brien (2004): a integração dos vários componentes do SI. Percebe-se que não há evolução no conceito dos sistemas, mas apenas o surgimento de ferramentas que trabalham de forma integrada.
Stair (1998) afirma que o sistema trabalhando de forma integrada seria o princípio básico na visão de interação entre elementos e componentes para se atingir os objetivos da sua implantação. Na visão de Acar et al. (2017), essa integração é cada vez mais importante nas empresas atualmente. Tais autores afirmam que as organizações atuais são normalmente entendidas em uma visão mais abrangente, que inclui fornecedores, distribuidores e clientes, envolvidos em processos que lidam tanto com bens e serviços quanto com informações. Assim, um ERP passa a ser um sistema geralmente essencial às empresas para gerenciar não apenas as suas atividades internas, como também a sua cadeia de suprimentos, por meio da identificação, captura, integração e armazenamento de informações criadas por meio da execução das transações do negócio a partir de todas as transações internas e externas da empresa.
De forma geral, um sistema ERP pode ser definido como um software que é passível de ser instalado em todos os setores da organização, desde a produção até a área de recursos humanos, mesmo que geograficamente isolados. Geralmente, o sistema recebe os dados referentes às inúmeras transações efetuadas, armazenando-os em uma base de dados única. Assim, é possível realizar uma posterior consulta e iniciar diversas transações automaticamente, a partir da entrada de dados inicial. Acar et al. (2017) afirmam que existem muitos fornecedores de ERPs no mercado atual, sendo que alguns deles são muito caros e englobam uma série de módulos, enquanto outros são mais baratos e focam apenas em determinadas atividades das empresas.
Baykasoglu et Gölcük (2017) destacam que a implementação adequada de um ERP pode fornecer à empresa vantagens competitivas, a partir de aprimoramentos significativos em eficiência, produtividade e qualidade. Johansson et al. (2016) ressaltam que, quando surgiram os ERPs, estes eram vistos como uma fonte de vantagem competitiva para as empresas. Todavia, com o passar do tempo, esse tipo de SI se tornou uma espécie de pressuposto para manutenção no mercado das empresas manufatureiras.
Segundo Baykasoglu et Gölcük (2017), apesar de seus benefícios potenciais, as empresas podem ter sérias dificuldades em implantar um ERP. O’Brien (2004) aponta que outros autores tratam dos componentes relacionados a um sistema como esse, levando à reflexão da importância de acompanhar as pessoas como parte integrante do processo de implantação de sistemas de gestão integrada. Ressalta-se que, se os indivíduos não estiverem sensibilizados e convictos da importância do ERP para a organização, pode-se comprometer significativamente todo o esforço de implantação do sistema.
A implantação de um ERP pode influenciar de forma positiva ou negativa na operação de uma organização, tanto em função da complexidade que envolve todo o processo de implantação quanto em função da utilização do sistema no dia a dia. Segundo Acar et al. (2017), cerca de um terço das implantações de ERP falham devido a uma série de problemas. De acordo com Scott et Vessey (2000), os problemas associados à implantação de software não são novos, nem específicos de sistemas que operam de forma integrada; entretanto, os ERP têm sido responsabilizados pelo mal desempenho de várias organizações. Por esse motivo, a seleção e a implantação de um ERP devem ser criteriosas e incluir diversos fatores que podem contribuir para a geração de benefícios efetivos para as organizações. Nesse sentido, Fernandes et al. (2017, p. 59) afirmam que:
a implantação e a utilização de sistemas ERP exigem um alto grau de maturidade da organização referente à organização, aos processos e à gestão, o que poderia ser um dificultador para as médias e, principalmente, pequenas empresas, especialmente quando o uso e os benefícios do sistema vão de atividades operacionais para as estratégicas.
Outra fase crítica é a da parametrização do ERP, pois é o momento em que o sistema será desenvolvido, visando atender de forma precisa os processos operacionais da organização. Nessa fase, o usuário padroniza uma série de informações que, durante a operação do ERP, resultarão na eficácia dos relatórios e em todo o bom funcionamento do sistema. Corrêa et al. (2009) afirmam que a fase de parametrização do ERP é uma das atividades mais importantes e, ao mesmo tempo, é a mais negligenciada pelas organizações que adotam um ERP. Para os autores, embora a parametrização do sistema seja considerada de caráter essencial para o bom desempenho, o assunto não é bem tratado nem pela literatura acadêmica nem tampouco pela literatura prática representada pelos manuais dos fabricantes e fornecedores. Segundo esses autores,
(...) os manuais, por exemplo, explicam o que são os parâmetros e qual a influência deles no cálculo que o sistema fará. Entretanto, negligenciam o tratamento de como o tomador de decisão deve levar em conta sua realidade específica para então definir os valores dos parâmetros do sistema (p. 107-108)
Metodologias e modelos de avaliação de sistemas
Além da importância dos fatores até aqui mencionados para uma implantação de ERP com sucesso, ressalta-se a relevância dos métodos e modelos utilizados para a avaliação desse tipo de sistema. Diante dessa relevância, a avaliação da implementação adequada de sistemas se tornou um campo muito ativo de pesquisa (Baykasoglu et Gölcük, 2017). Conforme Johansson et al. (2016), o objetivo das várias ferramentas e abordagens para se avaliar um SI é aumentar o conhecimento sobre os investimentos de TI planejados e criar uma base para as melhores decisões. Fernandes et al. (2017) evidenciam a importância dessa avaliação considerar de aspectos operacionais a estratégicos nas empresas. Por outro lado, Fonseca et Rodello (2016) ressaltam que a relação de custos e benefícios gerados pelos ERPs nas empresas ainda não está claramente definida, sendo considerada de difícil avaliação, por envolver fatores financeiros e não financeiros, assim como englobar aspectos tangíveis e intangíveis. Apesar de tal limitação, para mensurar os resultados alcançados tanto na implantação quanto na pós-implantação de um ERP, podem-se utilizar modelos já aplicados em pesquisas anteriores.
Para Zwass (1992), a implantação de um SI deve ser precedida de certa expectativa em relação à qualidade das informações geradas pelo sistema. Sendo assim, torna-se fundamental a determinação de quais informações serão necessárias com a implantação de um ERP, bem como a qualidade que se espera dessas informações.
Na acepção de Laudon et Laudon (1999), os critérios mais importantes a serem observados na avaliação de sistemas são os seguintes: (a) alto nível de utilização do SI pelos usuários; (b) satisfação do usuário no que diz respeito à conformidade de suas expectativas em relação às informações fornecidas pelo SI; (c) atitudes favoráveis dos usuários do SI e da equipe da área de TI; (d) alcance das metas estabelecidas para funcionamento/implantação do sistema (objetivos atingidos); e (e) retorno financeiro da organização a partir da implantação (i.e., redução de custos e/ou aumento das vendas e lucros).
Para avaliação das informações geradas pelo SI, Zwass (1992) aponta que a busca por informações de qualidade parte da premissa de que é possível evidenciar alguns atributos fundamentais que definem uma informação como de qualidade. O autor sugere os seguintes atributos: conveniência, exatidão, precisão, completude, concisão, relevância e forma apropriada, conforme mostra a Tabela 1.
Tabela 1. Atributos da informação gerada
Fonte: Elaborado a partir de Zwass (1992)
Alter (1996) desenvolveu uma metodologia para análise de sistemas, chamada Work-Centered Analysis (WCA), com o objetivo de levar à compreensão de um sistema de trabalho desenvolvido por um SI, de modo a possibilitar que uma organização possa decidir se precisa criar um sistema ou promover melhorias nos já utilizados. A principal utilização do modelo WCA, proposto por Alter (1996), é para análise de SIs tendo em vista os seguintes aspectos: (i) clientes (internos e externos) – são as pessoas que recebem e utilizam as informações e dados fornecidos pelo sistema, usuários finais das informações fornecidas pelo ERP; (ii) produtos – são as saídas do sistema, no caso dos ERPs, são as informações fornecidas aos usuários finais; (iii) processo de negócio – são as fases/participantes de um processo ou atividades que contemplam pessoas, informações e outros recursos que criam valor para os clientes internos ou externos; (iv) participantes – são as pessoas que desenvolvem as rotinas operacionais no sistema, no caso dos ERP, são os usuários responsáveis pela entrada de dados no SI, manipulação de informações e geração dos relatórios de saída; (v) informação – são as informações recebidas, criadas ou alteradas pelo sistema; e (vi) tecnologia – o recurso tecnológico que o SI utiliza.
A metodologia WCA ainda inclui cinco perspectivas de análise para os sistemas, a saber: (a) arquitetura – apresenta como o sistema utilizado pela organização ou proposto para implantação desenvolve suas rotinas operacionais, destacando seus componentes, a maneira como estes se encontram dispostos e o funcionamento sistêmico; (b) desempenho ou performance – propõe a verificação do modo como o sistema opera e se a sua operação está se dando de forma correta; (c) infraestrutura – contempla os recursos dos quais o sistema depende e os quais compartilha com outros sistemas utilizados pela organização.; (d) contexto – é o ambiente técnico e organizacional em que o sistema desenvolve suas atividades operacionais, incluindo acionistas, assuntos competitivos e reguladores externos à empresa, políticas, práticas e cultura organizacional; e (e) riscos – consistem em eventos previsíveis cuja ocorrência poderia resultar em degradação ou falha do sistema. Os riscos podem estar relacionados a três aspectos principais: acidentes e mau funcionamento (e.g., bugs e falhas humanas); crime de computador (e.g., hackers, vírus, falsificações e transferências bancárias não autorizadas); e falhas de projeto.
Existe uma série de estudos na literatura sobre a avaliação de SIs. Cardoso (2001), por exemplo, pesquisou sobre o uso do ERP SAP R/3 na área financeira de uma siderúrgica utilizando-se das perspectivas de desempenho e de riscos evidenciadas pela metodologia WCA. A aplicação dessa metodologia também permite uma análise das características e atributos das informações do ERP mencionados na Tabela 1, levando em consideração os seis elementos compreendidos pela metodologia: clientes, produtos, processo de negócios, participantes, informação e tecnologia.
Por sua vez, Passolongo (2004) avaliou se as informações financeiras geradas pelos sistemas de informações financeiras de três empresas distintas atendiam às necessidades informacionais dos administradores. O estudo também se baseou nos modelos e conceitos apresentados por Zwass (1992) e Alter (1996), levando em consideração as características e atributos das informações. Concluiu-se que os SIs analisados não atendem às necessidades de informações para a tomada de decisão e, ainda, que os SIs são pouco flexíveis, dificultando as mudanças de acordo com as expectativas da alta direção das organizações pesquisadas.
Já A. Souza et al. (2012) avaliaram a satisfação de usuários de sistemas de informações hospitalares de oito organizações com a aplicação dos modelos de Zwass (1992) e Alter (1996). A metodologia aplicada possibilitou a análise não apenas dos SIs como sistemas, mas também do motivo de sua existência na organização. Com a utilização do modelo WCA, observaram-se o SI, as informações geradas, as atividades e recursos para criação de valor para os usuários internos e externos às organizações pesquisadas. Os resultados do estudo apontam que, embora os SI analisados atendam à maioria dos atributos avaliados, tais sistemas ainda podem ser aprimorados. A pesquisa ainda concluiu que a satisfação dos usuários em relação às informações geradas é maior do que em relação ao SI propriamente dito, em função da necessidade de aprimoramento.
Couto et Cunha (2012), também utilizando parte da metodologia desenvolvida por Zwass (1992) e Alter (1996), analisaram se o ERP SAP R/3 é capaz de atender às necessidades de informações dos usuários, oferecendo suporte ao processo de tomada de decisão. O estudo contemplou informações dos usuários de duas empresas de médio porte e, por meio da metodologia aplicada, foi possível observar que, embora o sistema possa apresentar limitações e dificuldade de acesso às informações pelos usuários, o SAP R/3 atende às necessidades de informações para suporte à tomada de decisão nas empresas pesquisadas.
Outros modelos e metodologias também podem ser aplicados dependendo dos objetivos que se pretende atingir, tais como: fatores críticos de sucesso (critical success factors – CSFs) (Baykasoglu et Gölcük, 2017; Parhizkar et Comuzzi, 2017); ferramentas de análise econômica, como o retorno sobre o investimento (return on the investment – ROI), análise custo benefício (cost benefit analysis – CBA) ou custo total de propriedade (total cost of ownership – TCO) (Johansson et al., 2016); e opções reais (Fonseca et Rodello, 2016).
Contudo, a dificuldade em se avaliar os ERPs pode ser entendida por meio das características do próprio sistema, conforme Fonseca et Rodello (2016). Apesar disso, esses mesmos autores destacam a importância de se avaliar de alguma forma “o valor proporcionado pelos sistemas ERP, os quais são cada vez mais frequentes nos cenários de negócios, demandando crescentes investimentos” (Fonseca et Rodello, 2016, p. 159). Assim, para desenvolvimento do estudo descrito neste trabalho, buscou-se a utilização dos modelos mencionados e detalhados anteriormente em função da praticidade e dos resultados positivos testados em estudos anteriores.
METODOLOGIA
Para o desenvolvimento da pesquisa, cujos resultados são destacados neste artigo, adotou-se uma abordagem quantitativa. De acordo com Collis et Hussey (2005, p. 26), a pesquisa de natureza quantitativa tem como enfoque a mensuração de fenômenos, envolvendo a coleta e a análise de dados numéricos com aplicação de testes estatísticos. Optou-se, no contexto quantitativo, pela realização de um survey. Para Collis et Hussey (2005:70), o survey é uma metodologia positivista, na qual uma amostra de sujeitos é retirada de uma população e estudada para se fazerem inferências sobre essa população.
Quanto aos fins, a pesquisa apresentada neste artigo se caracteriza como exploratória e descritiva. Ainda de acordo com Collis et Hussey (2005), a pesquisa exploratória é realizada sobre um problema ou questão de pesquisa para a qual há poucos estudos anteriores. Consoante Tripodi (1975) e Beall (2002) apud Souza et al. (2010), a pesquisa exploratória tem como finalidade a formulação de um problema ou de questões que poderão proporcionar maiores informações sobre um tema ainda pouco abordado. A pesquisa é descritiva porque visa descrever percepções, expectativas e observações de pessoas que operam o ERP implantado nas organizações objeto desta pesquisa. Por fim, Collis et Hussey (2005) apontam que esse tipo de pesquisa também é usado para identificar e obter informações sobre as características de um determinado problema ou questão.
Primeiramente, realizou-se uma pesquisa bibliográfica com base no acesso a sítios eletrônicos de revistas, anais de congressos, plataforma eletrônica ProQuest (www.search.proquest.com), portal de periódicos eletrônicos da CAPES (www.periodicos.capes.gov.br) e bancos de teses e artigos on-line de universidades. Esse estudo teve como enfoque artigos, dissertações e teses recentes que versam sobre o tema abordado nesta pesquisa.
Posteriormente, foram aplicados questionários junto a um total de 115 usuários de ERPs, lotados nos setores de contabilidade e finanças. Os respondentes, necessariamente, tinham que ser usuários do sistema utilizado pela organização pesquisada. Optou-se pelo estudo em 13 organizações que utilizam sistemas distintos para a gestão da organização, sendo eles: RM e Datasul da TOTVS e SAP R/3 da SAP. A escolha das organizações e dos usuários pautou-se na facilidade de acesso às informações por meio de funcionários com os quais os pesquisadores tinham contato. Dessa forma, a amostra da pesquisa pode ser classificada como não probabilística por conveniência, conforme Alencar (2007).
A aplicação dos questionários semiestruturados (adaptado de Souza et al., 2010) e composto de questões fechadas com escala Likert de 6 pontos, foi realizada com supervisores, gerentes, diretores e demais usuários dos ERP, tendo sido garantido o sigilo quanto ao nome dos respondentes e das organizações pesquisadas quando da divulgação da pesquisa. A Tabela 2 apresenta a escala adotada para a análise dos dados de cada uma das seções do questionário que nesta pesquisa serão mencionadas como “categoria de análise”. Para cada uma das respostas do questionário foi adotado um valor numérico, pelo qual os usuários entrevistados indicaram o seu grau de concordância ou discordância em relação às assertivas apresentadas.
Tabela 2. Escala Likert adotada e valores utilizados para a categoria de análise I
Fonte: Os próprios autores.
A categoria de análise I do questionário contemplou sete partes, conforme apresentado na Tabela 3. O objetivo foi coletar dados e evidências de mais de uma fonte, de forma que, ao final, as repostas pudessem convergir e possibilitar um rico conjunto de dados sobre a questão da pesquisa e capturar a complexidade do contexto que a envolve, tal como recomendam Pozzebon et Freitas (1997).
Tabela 3. Aspectos ligados à avaliação do sistema de informações
Fonte: Elaborado a partir de Souza et al. (2012, p. 11)
A Tabela 4 apresenta a escala utilizada para as categorias de análise II e III da pesquisa e apresenta o valor numérico atribuído pelos usuários, representando o grau de satisfação com as informações obtidas por meio do ERP e com os resultados oferecidos pelo sistema. A parte II do questionário teve como foco a satisfação do usuário quanto às informações fornecidas pelo ERP, contemplando dez atributos para avaliação. Essa categoria de análise é descrita no Tabela 5. Na parte III (Tabela 6), buscou-se avaliar se a expectativa do usuário quanto às informações fornecidas pelo sistema estava sendo atendida. Para isso, os usuários responderam a cinco categorias de avaliação, de acordo com a escala apresentada na Tabela 2.
Tabela 4. Escala Likert adotada e valores utilizados para as categorias de análise II e III
Fonte: Os próprios autores.
Tabela 5. Aspectos ligados à satisfação do usuário quanto às informações
Fonte: Elaborado a partir de Souza et al. (2012, p. 12).
Tabela 6. Expectativa do usuário quanto às informações fornecidas
Fonte: Os próprios autores.
A coleta de dados foi realizada entre o primeiro semestre de 2011 e o primeiro semestre de 2012. Foi utilizado contato telefônico com o responsável em cada uma das organizações, além do contato por correio eletrônico, com o objetivo de ampliar a representatividade da amostra com a inclusão do maior número possível de questionários respondidos. O total de respostas obtidas foi elevado, considerando-se um total de 13 organizações dentre as 15 convidadas e o recebimento de 115 questionários.
A análise dos dados coletados na pesquisa ocorreu após seu processamento com o aporte do software Statistical Package for the Social Sciences (SPSS) versão 20. A partir do agrupamento das respostas obtidas pelo questionário, buscou-se identificar a tendência das respostas em cada item analisado por meio de parâmetros estatísticos descritivos e histogramas de distribuição.
Com o objetivo de identificar a possibilidade de utilização de técnicas paramétricas para análise dos dados, aplicou-se o teste Kolmogorov-Smirnov (KS). O teste KS é a forma usual de comparar uma amostra comum à distribuição teórica e é um conjunto de realizações de uma distribuição uniforme entre 0 e 1. Os resultados indicaram que, de todas as variáveis analisadas, nenhum dos dados apresentou uma distribuição normal.
Uma vez confirmado que os dados coletados durante a pesquisa não caracterizavam uma distribuição normal, partiu-se para uma análise não paramétrica de dados. De acordo com Triola (2008), os métodos não paramétricos têm como principais características: (i) podem ser empregados em casos de dados categóricos; (ii) aplicam-se a uma variedade de situações; e (iii) não exigem populações normalmente distribuídas.
Utilizou-se a correlação dos atributos e aspectos das categorias de análise aplicando o coeficiente de correlação de Spearman. Entende-se por coeficiente de correlação uma medida numérica que corresponde à força da relação existente entre duas ou mais variáveis que representam dados quantitativos (Triola, 2008). A correlação pode ser definida quanto ao sentido positivo ou negativo, o qual pode variar entre +1 e -1 (Landis et Koch, 1997).
Para comparação dos índices dos construtos característicos do ERP (categoria de análise I), informações fornecidas (categoria de análise II) e satisfação dos usuários (categoria de análise III) com as variáveis de perfil, utilizou-se a técnica Chi-Square Automatic Interaction Detector (CHAID). Essa técnica, proposta por Kass (1980), permite avaliar o relacionamento entre uma variável dependente e outras em nível categórico ou contínuo. O resultado é apresentado em forma de “árvore” nas quais constam as variáveis preditoras que estão mais bem associadas à variável dependente. Os subconjuntos resultantes apresentam uma maior homogeneidade internamente em relação à variável dependente, havendo a maior heterogeneidade possível entre os subconjuntos formados. Os critérios de divisão ou agrupamento utilizados nessa técnica foram fixados em 5%, ou seja, os subconjuntos possuem diferença relevante com 95% de certeza.
RESULTADOS
Análise descritiva dos dados
Conforme explicitado na seção anterior, a pesquisa de campo foi realizada entre o primeiro semestre de 2011 e o primeiro semestre de 2012, consistindo na consulta a 115 usuários que participaram do processo de implantação de ERPs nas 13 empresas objeto do estudo. Fazendo uma distribuição por cargo dos 115 usuários, 30,43% dos que responderam ao instrumento de coleta de dados da pesquisa ocupam posição de Supervisão-Chefia e 69,57% a posição de Auxiliar Técnico. A Tabela 7 mostra a distribuição dos respondentes por empresa. Salienta-se que as empresas receberam nomes fictícios por questões de confidencialidade dos dados.
Tabela 7. Usuários por grau de instrução/organização
Fonte: Os próprios autores.
Por sua vez, realizou-se a distribuição dos usuários apresentando a quantidade e o percentual de usuários por grau de instrução em relação ao total da amostra e em relação ao total por empresa.
Destaca-se que todos os entrevistados participaram da implantação do sistema ERP operado pela organização pesquisada (RM ou Datasul da TOTVS, ou SAP R/3 da SAP). A distribuição do percentual de empresas por ERP pode ser verificada na Figura 1.
Figura 1. Percentual de organizações por ERP
Fonte: Os próprios autores.
O processo de implantação de um ERP pode tornar-se incapaz de oferecer os resultados previstos caso não seja operado de forma adequada por seus usuários. Nesse sentido, a fase de planejamento deve prever o investimento em capacitação dos usuários envolvidos em cada processo a ser integrado. Marques et Lazzarini Neto (2002) admitem que o sucesso da implantação de um ERP pode ser considerado inovador quando existe a conciliação entre treinamento de recursos humanos e investimento em TI.
Influência do cargo e grau de instrução na avaliação do ERP
Tal como destacado anteriormente, diversos estudos como Cardoso (2001), Souza et Iaronzinski (2007), Jesus et Oliveira (2007), Souza et al. (2009), Kale et al. (2010), Couto (2011), Américo et al. (2011), Couto et Cunha (2012), Souza et al. (2012) destacam a complexidade da implementação de ERP e, ao mesmo tempo, a importância do usuário, tanto no processo de implementação quanto de manutenção das informações para o funcionamento dos ERPs. Entretanto, a maioria das pesquisas suscita dúvidas em relação à competência dos usuários para avaliar o ERP utilizado pela organização, uma vez que o mesmo pode não possuir conhecimento técnico e/ou profissional suficiente para criticar os resultados do sistema e oferecer uma avaliação adequada sobre o sistema integrado.
Para elucidar essa questão e atender ao objetivo geral deste estudo, buscou-se avaliar a influência do cargo e do nível de instrução do usuário no resultado de sua avaliação em relação ao ERP implantado na organização. Inicialmente, aplicou-se o método de correlação entre os atributos e aspectos avaliados nas cinco categorias de análise com o cargo/função ocupado e com o grau de instrução dos usuários.
Em geral, os resultados apontam que, quanto mais alto o cargo ocupado pelo usuário, maior a tendência do usuário em avaliar os atributos mais negativamente. Em outras palavras, os ocupantes de cargos operacionais de auxiliar/técnico apresentaram tendência de avaliação superior aos ocupantes dos níveis de supervisão/coordenação, tal como o atributo Interface. Quando o mesmo atributo foi analisado a partir do grau de instrução, também se notou que, quanto maior o grau de instrução do usuário, menor é a avaliação do atributo.
É possível que o resultado divergente obtido pela análise entre os cargos, bem como entre os diferentes níveis de instrução dos usuários, esteja ligado às tarefas desenvolvidas por cada um deles. O acesso às rotinas operacionais é muito mais utilizado pelos usuários que registram as informações no dia a dia, ou seja, os ocupantes dos cargos auxiliar/técnico. Tais informações, com raras exceções, são registradas pelos cargos de supervisão/coordenação. Esses últimos usuários geralmente estão ligados a níveis mais estratégicos dentro das organizações e utilizam rotinas que consolidam os dados, gerando informações para tomada de decisão e, em algumas organizações, podem não dominar as rotinas operacionais, fato que pode justificar os resultados apresentados.
A avaliação geral do sistema também apresentou resultado adverso entre os cargos, sendo a segunda com resultado mais relevante e também considerada fortemente significativa. Para este atributo, a Tabela 8 detalha os resultados apresentados anteriormente, especificando a avaliação entre os diferentes cargos e constatando que a avaliação geral do ERP é diferente entre os usuários dos níveis operacionais e de supervisão/coordenação nas organizações pesquisadas. Os atributos flexibilidade e facilidade de acesso também apresentaram resultados significativos e relevantes para a constatação dos objetivos deste estudo.
Tabela 8. Avaliação do usuário por cargo/função para o atributo avaliação geral
Fonte: Os próprios autores.
A flexibilidade está relacionada com a avaliação do usuário quanto às necessidades de geração de novas informações a partir do sistema. Certamente, a confecção de relatórios é uma dessas necessidades e, conforme relatado anteriormente, nas organizações pesquisadas, esta é uma atribuição da supervisão/coordenação. Como já destacado, os relatórios apresentados pelos ERP são limitados e, embora os sistemas ofereçam possibilidades de confecção de outros, é necessário conhecimento de programação ou contratação de serviços adicionais junto ao fornecedor do sistema.
Quanto à facilidade de acesso, a avaliação dos usuários prevê o domínio do acesso ao ERP, bem como a obtenção das informações de forma fácil para execução das tarefas. A avaliação para esse atributo apresentou resultado divergente entre os cargos, o que está ligado às atribuições que cada um deles desenvolve, tal como destacado anteriormente. Esse fato pode dificultar uma adequada avaliação desse atributo pelos níveis mais altos na hierarquia da organização, pois no momento da confecção de relatórios e, consequentemente, ao encontrar inconsistência nas informações, o supervisor/coordenador fica dependente de soluções que se encontram no nível auxiliar/técnico, o que impede maior agilidade na obtenção das informações. Quando analisados os resultados do atributo facilidade de acesso em correlação com o grau de instrução dos usuários, também houve variação significativa. Confirmou-se que, quanto maior o grau de instrução do usuário, mais crítica foram as avaliações para o atributo.
Visando avaliar a relação do cargo/função com os atributos da categoria de análise I, utilizou-se a técnica CHAID. Os resultados se mostraram significativos estatisticamente no que tange à diferença de médias, apresentando a árvore que destaca diferença significativa entre o cargo/função e os atributos que foram avaliados para os ERP (Figura 2).
Figura 2. Diferença de médias para cargo/função características do ERP
Fonte: Os próprios autores.
Identificou-se que os usuários que ocupam um nível hierárquico mais baixo (correspondente a 69,57%) tendem a atribuir uma avaliação mais positiva às características do ERP (média igual a 3,566) e à avaliação geral do ERP (média igual a 3,883) do que os usuários que ocupam os níveis hierárquicos mais altos (correspondente a 30,43%). Estes apresentaram uma avaliação mais negativa para as características (média igual a 3,090) e para a avaliação geral do ERP (média igual a 3,358).
Para a categoria de análise II, os resultados da correlação seguiram a mesma tendência de disparidade entre as avaliações, ao se considerar o cargo/função e nível de instrução dos usuários. O coeficiente que apresentou distorção mais fortemente significativa entre a avaliação dos atributos foi o referente à completude das informações.
Percebeu-se que há uma carência dos usuários do nível auxiliar/técnico em conhecer as reais necessidades informacionais para tomada de decisão, pois um percentual acima de 63% apresentou avaliação entre “Concorda” e “Concorda Totalmente” que o ERP atende às necessidades de informações das organizações. O segundo atributo com maior contraste entre as avaliações foi associado à clareza dos relatórios. A avaliação dos auxiliares/técnicos apresentou uma média superior à dos profissionais de supervisão/coordenação.
A qualidade das informações geradas pelo ERP deve ser alvo de acompanhamento constante pela alta direção, pois as informações subsidiam a tomada de decisão e dependem da eficiência dos processos e da eficácia com que são registrados no sistema. Nesse caso, a avaliação dos cargos também apresentou divergência em razão do perfil do usuário. Um percentual acima de 76% dos usuários auxiliar/técnico “Concordam” ou “Concordam Totalmente” que o ERP apresenta qualidade nas informações, contra 51,4% dos usuários dos cargos ligados à supervisão e/ou coordenação.
No que tange à diferença de médias, observou-se que os usuários que ocupam um nível hierárquico mais baixo (69,57% da amostra) também atribuíram uma avaliação mais positiva para as informações fornecidas pelo ERP utilizado (média igual a 3,980) do que os usuários que ocupam os níveis hierárquicos mais altos (30,43% da amostra). Estes últimos apresentaram uma avaliação mais negativa (média igual a 3,313).
Os resultados por grau de instrução apresentaram tendência análoga àquela identificada entre os cargos, indicando que, quanto maior o nível de instrução, maior é a divergência nos resultados das avaliações. Quando analisado os resultados por grau de instrução para os três atributos que apresentaram maior coeficiente de correlação inversa entre os níveis de instrução, a relevância e a completude das informações, seguidas da redigitação de dados, foram os aspectos mais significativos em se tratando do grau de instrução (significativos a menos de 1%).
O atributo relevância das informações geradas é avaliado distintamente dependendo das atividades desenvolvidas: para os cargos de supervisão/coordenação, o fornecimento de informações pelo sistema é muito importante para os resultados ligados à tomada de decisão com base nas informações geradas pelo sistema. O mesmo se observa para a completude das informações e redigitação de dados, sendo as causas das divergências as mesmas já evidenciadas na análise desses dois atributos para o cargo/função.
Tabela 9. Correlação do cargo/função e grau de instrução com os atributos da categoria de análise III
Fonte: Os próprios autores
Notas: *significativo a menos de 5,0%; **significativo a menos de 1,0%.
Relacionada à expectativa do usuário quanto às informações fornecidas pelo sistema, a categoria de análise III também apresentou diferença entre as avaliações em função do perfil dos usuários, conforme apresenta a Tabela 9. Para esta última categoria de análise, os aspectos correlacionados com o cargo/função se demonstraram mais adversos do que para os diferentes níveis de instrução.
O aspecto referente às informações atenderem à necessidade é mais bem avaliado entre os usuários auxiliares/técnicos do que entre aqueles dos níveis de supervisão/coordenação. Sabe-se que os usuários dos cargos operacionais necessitam do sistema para fechar os lançamentos diários (i.e., entrada de notas fiscais, pagamentos, conciliações bancárias e contábeis), para os quais se dizem satisfeitos. Em contrapartida, o objetivo dos ocupantes dos níveis de supervisão/coordenação é utilizar as informações registradas pelos profissionais dos níveis inferiores e, diferentemente destes, aqueles não se mostram satisfeitos. Conclui-se, portanto, que, para a última categoria, a diferença de opiniões está ligada diretamente à função que os usuários desempenham nas organizações, pois está ligada diretamente aos objetivos desses usuários com a utilização do ERP.
A Figura 3 apresenta os resultados que se mostraram significativos no que tange à diferença de médias. Mais especificamente, tem-se a “árvore” com a diferença que se mostrou relevante entre o cargo/função e os atributos referentes à satisfação dos usuários. Identifica-se que os usuários que ocupam um nível hierárquico mais baixo (69,57% da amostra) se dizem mais satisfeitos com o ERP utilizado (média igual a 4,011) enquanto os usuários que ocupam os níveis hierárquicos mais altos (30,43%) apresentaram uma avaliação mais negativa (média igual a 3,535).
Com relação à análise para o grau de instrução, confirma-se a hipótese de que os níveis de instrução mais altos se apresentam mais críticos em relação à objetividade, clareza e entendimento das informações geradas, conforme se observa na Tabela 10. Entende-se que os níveis de supervisão/coordenação apresentam maior facilidade de entendimento das informações geradas pelo sistema, levando a uma melhor análise, interpretação dos dados e crítica das informações geradas pelo ERP.
Figura 3. Diferença de médias para cargo/função satisfação dos usuários
Fonte: Os próprios autores.
Tabela 10. Avaliação do usuário por grau de instrução para clareza, objetividade e fácil entendimento das informações
Fonte: Os próprios autores.
Em suma, para as organizações objeto deste estudo, confirma-se que há influência fortemente significativa do cargo e do grau de instrução em relação à avaliação do usuário dos ERPs. Os resultados ora apresentados confirmam que os cargos mais elevados possuem uma avaliação divergente da apresentada pelos cargos do nível operacional. A mesma tendência é também observada na maioria dos casos quando a análise é feita para os diferentes níveis de instrução entre os usuários.
CONSIDERAÇÕES FINAIS
Atendendo especificamente à questão de pesquisa, o estudo permitiu concluir que há interferência significativa do cargo/função e grau de instrução na avaliação dos usuários em relação ao sistema, às informações geradas e às expectativas de resultados obtidos por meio do ERP. É notório que os cargos dos níveis mais estratégicos exigem um nível maior de entendimento e interpretação das informações geradas pelo sistema.
A maioria dos cargos auxiliar/técnico desempenha funções operacionais de registro, conferência e ajuste de informações e documentos no sistema. Geralmente, os relatórios utilizados pelos níveis operacionais são de baixa complexidade e não requerem conhecimentos aprofundados sobre contabilidade e finanças. Assim, a avaliação dos atributos deste estudo pelos usuários dos níveis auxiliar/técnico foi em geral superior à avaliação dos ocupantes de cargos de níveis de supervisão/coordenação.
Confirmou-se, com base nos dados obtidos, que o cargo/função do usuário interfere diretamente em sua avaliação do ERP. Por meio dos métodos estatísticos aplicados na análise dos dados, foi possível identificar que, quase em todos os atributos e aspectos avaliados, houve distorção entre as avaliações, o que torna relevante a separação dos resultados levando em consideração os diferentes cargos/funções existentes nas organizações.
Constatou-se que o grau de instrução do usuário também exerce influência na avaliação do sistema, sobretudo porque os empregados com nível mais baixo de instrução tendem a dar melhores avaliações para cada quesito. As explicações de tal resultado encontram-se na resistência e no medo de perder o emprego ou ser mal avaliado em processos de aumento da remuneração ou promoção. É importante lembrar que os níveis de instrução mais altos possivelmente oferecem ao usuário uma visão mais ampla de várias questões que envolvem a operação de um ERP. Dentre essas questões, destaca-se o conhecimento do tipo de negócio, sua estrutura, processos operacionais, fluxos de aprovação, questões legais, fiscais, financeiras e contábeis. Em outras palavras, o grau de instrução do usuário pode levar o usuário a oferecer melhores resultados para a organização na operação do ERP.
Conclui-se como relevante para os estudos futuros sobre avaliação da satisfação dos usuários de ERP, a consideração dos resultados destacados neste estudo, pois se constatou que, ao analisar os resultados das avaliações de forma consolidada, estes tendem a ser superdimensionados e levar a uma interpretação errônea dos benefícios proporcionados pelo ERP utilizado. Enquanto que, ao se estratificar os resultados das avaliações por cargo/função e/ou grau de instrução, os resultados podem levar a interpretações mais próximas da realidade dos resultados proporcionados por este tipo de sistema.
Finalmente, a pesquisa contribui para o estudo dos problemas que envolvem o processo de implantação e manutenção de ERPs, acrescentando novas visões às teorias e práticas existentes. Entretanto, as conclusões deste estudo naturalmente são condicionadas às restrições de uma amostra não probabilística e não permitem generalizações estatísticas a todos os tipos de situações que envolvem as organizações que utilizam ERP. Sendo assim, sugere-se que novas pesquisas sejam conduzidas para ampliar este estudo, seja contemplando novas questões, ampliando a amostra estudada, enfocando determinados ERPs ou, ainda, analisando outros fatores que interferem na satisfação dos usuários de ERP. Há que se considerar a viabilidade de segmentar as categorias de análise apresentadas (e de outras que possam eclodir futuramente) ou de fornecer maior especificação do grupo de entrevistados (cargo, função, tempo na empresa), dentre outras possibilidades.
REFERÊNCIAS
Acar, M. F. et al. (2017). Knowledge management and ERP: Complementary or contradictory? International Journal of Information Management, 37, 703–712. Recuperado em 08 julho, 2017, de https://www.researchgate.net/publication/227987750_Integrating_Knowledge_ Management_and_ERP_in_Enterprise_Information_Systems.
Alencar, E. (2007). Pesquisa em turismo. Lavras: FAEPE/UFLA.
Alter, S. (1996). Information systems: a management perspective. (3a ed.). San Indiana: Addison-Wesley Education Publisher Inc.
Américo, E. O. et al. (2011). Implantação do sistema de informação contábil ERP em indústrias nordestinas: uma análise da percepção dos usuários após a implantação de um ERP em duas indústrias nordestinas. Revista de Administração, Contabilidade e Sustentabilidade, Campina Grande, v. 1, n. 2, p. 1-17, set./dez.
Baykasoglu, A., Gölcük, I. (2017). Development of a two-phase structural model for evaluating ERP critical success factors along with a case study. Computers & Industrial Engineering, 106, 256-274. Recuperado em 08 julho, 2017, de http://www.sciencedirect.com/science/article/pii/S0360835217300761.
Breternitz, V. J., Galhardi, A. C. (2011). Contribuições ao processo de seleção de sistemas ERP (Enterprise Resource Planning) para pequenas e médias organizações. Revista Eletrônica de Tecnologia e Cultura, Jundiaí, v. 3, n. 2, p. 8-19, jun./ago.
Cardoso, D. (2001). Avaliação do SAP R/3 como instrumento para a gestão financeira: um estudo de caso no setor siderúrgico brasileiro. Dissertação (Mestrado em Administração) – Centro de Pós-graduação, Universidade Federal de Minas Gerais, Belo Horizonte, MG, Brasil.
Collis, J., Hussey, R. Pesquisa em Administração: um guia prático para alunos de graduação e pós-graduação (L. Simonini, Trad.). (2a ed.). Porto Alegre: Bookman, 2005.
Corrêa, H. L., Gianesi, I. G. N., Caon, M. (2009). Planejamento, programação e controle da produção: MRP II/ERP: conceitos, uso e implantação: base para SAP, Oracle Applications e outros softwares integrados de gestão. (5a ed.). São Paulo: Atlas, 2009.
Couto, W. W. (2011). Contabilidade como fonte de informações para acompanhamento da gestão orçamentária. Revista Contabilidade e Informação, 14(35), 39-48. Recuperado em 25 março, 2012, de http://www1.unijui.edu.br/revistas.
Couto, W. W. et al. (2015). Um estudo sobre a avaliação de sistemas integrados de gestão na região metropolitana de Belo Horizonte-MG. GEPROS. Gestão da Produção, Operações e Sistemas, 10(1) 69-86. Recuperado em 08 julho, 2017, de http://revista.feb.unesp.br/index.php/gepros/article/viewFile/1166/632.
Couto, W. W., Cunha, G. A. (2012, novembro). Avaliação da satisfação dos usuários do SAP R3: estudo de caso em empresas de médio porte. Anais do Congresso Virtual Brasileiro de Administração. São Paulo, SP, Brasil, 23-25. Recuperado em 23 novembro, 2012, de http://www.convibra.com.br
Davenport, T. H. (1998). Putting the Enterprise into the Enterprise system. Harvard Business Review, Nova York, v. 33, n. 6, p. 121-131. Fernandes, R. B. et al. (2017). Impacto da utilização de sistemas de ERP em dimensões estratégicas de pequenas e médias empresas. Exacta, 15(1), 57-74. Recuperado em 08 julho, 2017, de http://www.redalyc.org/articulo.oa?id=81050129005.
Fonseca, G. L., Rodello, I. A. (2016) Proposta de uma estrutura conceitual para avaliação de sistemas. Revista Eletrônica Sistemas & Gestão, 11(2), 150-160. Recuperado em 08 julho, 2017, de http://www.revistasg.uff.br/index.php/sg/article/view/747.
Franco, C. F. Jr. (2005). E-business: internet, tecnologia e sistemas de informação na administração de organizações. (3a ed.). São Paulo: Atlas.
Góes, W. M. (2007). Análise dos sistemas de informação do Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto: rumo ao sistema de informação gerencial. Dissertação (Mestrado em Saúde na Comunidade) – Faculdade de Medicina de Ribeirão Preto, Universidade de São Paulo, Ribeirão Preto, SP, Brasil. Recuperado em 08 outubro, 2011, de http://www.teses.usp.br
Jesus, R. G., Oliveira, M. O. F. (2007). Implementation of ERP Systems: technology and people in SAP R/3 implementation. Revista de Gestão da Tecnologia e Sistemas de Informação, São Paulo, 3(3), 315-330. Recuperado em 08 junho, 2012, de http://www.periodicos.capes.gov.br
Johansson, B., et al. (2016) After a Successful Business Case of ERP – What happens then? Procedia Computer Science, p. 100, 383-392. Recuperado em 08 julho, 2017, de http://www.sciencedirect.com/science/article/pii/S1877050916323419.
Kale, P. T., Banwait, S. S., Laroiya, S. C. (2010). Performance evaluation of ERP implementation in Indian SMEs. Journal of Manufacturing Technology Management, Chandigarh, 21(6), 758-780. Recuperado em 16 junho, 2012, de http://search.proquest.com
Kass, G. V. (1980). An exploratory technique for investigating large quantities of categorical data. Applied Statistics, Witwatersrand, 29(2), 119-127.
Landis, J. R., Koch, G. G. (1997). The measurement of observer agreement for categorical data. Biometrics, Washington, 33(1), 159-74.
Laudon, K. C., Laudon, J. P. (1999). Sistemas de Informação: com internet (D. C. Alencar, Trad.). (4a ed.). Rio de Janeiro: LTC.
Laudon, K. C., Laudon, J. P. (2001). Gerenciamento de sistemas de informação (A. Oliveira, Trad.). (3a ed.). Rio de Janeiro: LTC.
Marques, D. M. N. (2008). Implantação de um sistema MRP em ambiente de produção enxuta com alta diversidade de componentes e sazonalidade. Dissertação (Mestrado em Engenharia de Produção) – Escola de Engenharia de São Carlos, Universidade de São Paulo, São Carlos, SP, Brasil. Recuperado em 24 março, 2012, de http://www.teses.usp.br
Marques, M., Lazzarini, S. Neto. (2002). Capital humano e TI gerando vantagem competitiva. Revista de Administração de Organizações, São Paulo, 1(1), 1-16. Recuperado em 10 junho, 2012, de http://www.scielo.br Memória, C. A. S. (2010). A influência do ERP nos ativos intangíveis de organizações de TI de pequeno e médio porte: um estudo de caso no Distrito Federal. Dissertação (Mestrado em Administração de Organizações) – Escola Brasileira de Administração Pública e de Organizações (EBAPE), Fundação Getúlio Vargas, Rio de Janeiro, RJ, Brasil.
Moscove, S. A., Simkin, M. G., Bagranoff, N. A. (2002). Sistemas de informações contábeis (G. G. Goldschimidt, Trad.). São Paulo: Atlas.
O’Brien, J. A. (2004). Sistemas de Informação e as decisões gerenciais na era da Internet (C. K. Moreira, & D. K. Moreira, Trad.). 2a ed. São Paulo: Saraiva.
Parhizkar, M., Comuzzi, M. (2017). Impact analysis of ERP post-implementation modifications: Design, tool support and evaluation. Computers in Industry, 84, p. 25-38. Recuperado em 08 julho, 2017, de http://www.sciencedirect.com/science/article/pii/S0166361516302548
Passolongo, C. (2004). Avaliação de sistemas de informações financeiras: estudo de casos múltiplos. Dissertação (Mestrado em Administração) – Programa de Pós-Graduação em Administração, Universidade Estadual de Maringá e Universidade Estadual de Londrina, Maringá, PR, Brasil.
Pozzebon, M., Freitas, H. M. R. (1997, setembro). Pela aplicabilidade – com um maior rigor científico – dos estudos de caso em sistemas de informação. Anais do Encontro Nacional da Associação Nacional de Pós-graduação e Pesquisa em Administração, Angra dos Reis, RJ, Brasil, 21.
Scott, J. E., Vessey, I. (2000). Implementing enterprise resource planning systems: The role of learning from failure. Information Systems Frontiers, Holanda, 2(2), 213-232. Recuperado em 27 outubro, 2012, de http://search.proquest.com
Souza, A. A., et al. (2009, abril). Hospital integrated information system. Anais do Scientific Committee for the 6. CONTECSI, São Paulo. SP, Brasil.
Souza, A. A., et al. (2012, maio). Evaluation of Hospital Information Systems: A Study of Philanthropic and Public Hospitals Located in Belo Horizonte/MG. Anais do Scientific Committeefor the 9. CONTECSI, São Paulo, SP, Brasil.
Souza, A. A., et al. (2010, maio). An Evaluation of commercial-off-the-shelf hospital information systems available in the Brazilian market. Anais do Scientific Committee for the 7. CONTECSI, São Paulo, SP, Brasil.
Souza, V. P., Iaronzinski, A. Neto. (2007, outubro). Sistemas de Informação e Metodologias de Implantação. Anais do Encontro Nacional de Engenharia de Produção, Foz do Iguaçu, PR, Brasil, 27.
Stair, R. M. (1998). Princípios de sistemas de informação: uma abordagem gerencial (M. L. L. Vieira, & D. C. Alencar, Trad.). 2. ed. Rio de Janeiro: LTC.
Triola, M. F. (2008). Introdução à estatística (V. R. L. F. Flores, Trad.). (10a ed.). Rio de Janeiro: LTC. Wernke, R., Bornia, A. C. (2001). Considerações sobre o uso de sistemas informatizados na contabilidade. Fae Business School, Curitiba, 4(2), 53-66. Recuperado em 26 fevereiro, 2012, de http://www.fae.edu
Zwass, V. (1992). Management information systems. Michigan: WCB.