Auditoria de resultados na governança pública III: metodologia
Auditoria de resultados na governança pública III: metodologia
Marcos Rehder Batista
Dando continuidade às reflexões sobre meios de propor e executar boas práticas de gestão que estimulem a participação da sociedade, e assim tragam apoio político para os mandatos, neste terceiro texto defino um framework de trabalho sobre o mais abrangente instrumento de avaliação da governança dos municípios brasileiros, o IEG-M. Como método de “auditoria de resultado” dos Tribunais de Contas estaduais, ele traz os principais critérios de efetividade na implementação de políticas públicas, e por isso tentaremos situá-lo dentro de versões adequadas à participação popular do quadro dos “Ciclos de Políticas Públicas”, como o de Sônia Draibe (do NEPP/Unicamp) e de John Kingdon. Ele faz parte do que chamamos de “avaliação das políticas”, para a qual serão usados conceitos de análise de governança. Acreditando que o aprimoramento da sinergia com a sociedade no exercício de mandatos seja o instrumento mais poderoso contra a atual crise de legitimidade política quevivemos (Limongi e Figueiredo, 2017; Freitas, 2019), aqui definimos a metodologia a ser usada para avaliação e uso do IEG-M como instrumento de ação estratégica na gestão pública.
Enquanto instrumento para a avaliação de políticas públicas o Índice
de Efetividade da Gestão Municipal (IEG-M) precisa dar conta de uma gama
enorme de questões, que vão desde os mecanismos de composição da agenda até a
análise de seus impactos. Este universo da governança é realmente uma panaceia
composta por muitos arcabouços teóricos que não são necessariamente
compatíveis, tal que trazer este índice para o debate da ciência política ou
das pesquisas acadêmicas em políticas públicas exige uma sustentação que
legitime o uso deste ou daquele corpo conceitual. Para discorrer aqui sobre as
características básicas da metodologia usada no IEG-M a primeira coisa a se
fazer é definir o que se entende por “efetividade”. Num momento subsequente
situaremos a “efetividade” dentro de algumas alternativas de análise dos
“Ciclos de Políticas Públicas” que abordem a capacidade de mobilizar e
organizar setores da sociedade civil no processo de elaboração, implementação e
renovação dos programas, o que permitirá a comparação com a Institutional
Analisys and Development (IAD) de Elinor Ostrom e demais metodologias de
análise de governança; isto facilitará escolher um framework, situando-o em
relação a outros e definindo o que perguntar sobre o IEG-M. A partir deste
momento serão trazidos diretamente os critérios de análise do índice.
A importância em se renovar o
modo de avaliar os “ciclos” foi posta no último texto desta série, sobretudo
diante de um novo contexto de facilitação das condições de accountability
vertical, - controle a participação social (Fernandes et. Al, 2018) - , que
caracterizam o que por hora arriscou-se a chamar nesta investigação de “Estado
4.0”, envolvimento social também fundamental para a conquista de apoio
político. Apenas contextualizando este terceiro esboço sobre o tema, depois de
uma primeira reflexão sobre a relação (infelizmente problemática) entre adoção
de boas práticas de gestão nos mandatos e a conquista de apoio político (e,
consequentemente, o voto) publicado
no final de outubro, o passo subsequente foi definir as orientações dos Tribunais de Contas como
padrão do que chamamos de “boas práticas de gestão”, quando a discussão
tornou-se objetivamente uma agenda de pesquisa com a publicação do primeiro artigo desta série, no final de janeiro deste ano. A partir daí estabeleceu-se
um programa de trabalho, no qual apresenta-se aqui a terceira etapa, sobre os
“critérios metodológicos” a serem usados na avaliação dos 7 indicadores. Antes
disso, na segunda etapa, aprofundou-se sobre dentro de quais debates acadêmicos
brasileiros pretende-se inserir este projeto e em que contexto institucional implementou-se o IEG-M.
Mesmo tendo bem clara a intenção de também servir para incentivar
agentes públicos a internalizarem os princípios de gestão embutidos no IEG-M, é
fundamental, antes de partir para os setores sobre os quais fala o índice, esta
compatibilização com o debate científico. É através deste que serão feitas
comparações com outras experiências e aprimoramentos no método, no uso e no
aproveitamento do índice como meio de aprendizagem. Segue então uma i)
discussão sobre a definição de “efetividade”, ii) uma contextualização da
“efetividade” nos diagnósticos de avaliação pautados na abordagem dos “Ciclos
de Políticas Públicas” mencionados no artigo anterior a partir do texto de
Valeriano Costa (o que exige um esclarecimento sobre os pontos principais desta
abordagem) e, por fim iii) contextualizar o IEG-M entre outros índices e como
os tribunais o avaliam e interagem com ele, usando por base a proposta de
avaliação nacional da Rede Nacional de Indicadores Públicos (Indicon), do
Instituto Rui Barbosa.
i) O que se
espera de um “índice de efetividade”?
Trazer à luz a questão da
efetividade, se não sinaliza para uma guinada didática por parte dos Tribunais
de Contas na difusão de boas práticas de gestão, pelo menos demonstra a
intenção destas instituições em abrir uma segunda frente de atividade, dado que
não poderão abandonar as cruciais auditorias de conformidade com a lei. A
efetividade é o critério que avalia os impactos diretos e indiretos das
políticas públicas no bem estar das pessoas e mesmo na dinâmica de organização
da sociedade, e junto com outras 7 dimensões (relevância, economicidade,
eficiência, esforço, eficácia, equidade e utilidade) compõe a orientação a
partir da qual a ação dos órgãos de auditoria externa brasileiros pretendem
contribuir para a adequação do Brasil aos princípios dos ODS’s da Agenda 2030
(ENTC, 2020).
Como já foi posto no primeiro texto desta série, o
IEG-M foi criado pelo TCE-SP em 2013 e já foi publicado o primeiro levantamento
em 2015. No manual metodológico deste primeiro ano define-se efetividade como
análise da “qualidade dos gastos municipais”, avaliando a “correspondência das
ações dos governos às exigências das comunidades” (TCE SP, 2015). Ou seja, foca
tanto na capacidade de atingir objetivos de modo sustentável como em
corresponder às demandas exigidas pela população; não se trata apenas de suprir
com eficiência as necessidades, mas de responder à uma população que exige,
logo, participa, está envolvida no processo, é protagonista. Esta concepção é
reafirmada na primeira versão nacional do índice, lançado pelo Instituto Rui
Barbosa em 2016, onde igualmente fala da “medição
da qualidade dos gastos e dos investimentos realizados”, mas também da
“aferição de resultados, correção de rumos, reavaliação de prioridades e
consolidação do planejamento, favorecendo o controle social ao evidenciar a
correspondência entre as ações dos governos municipais e as exigências da
sociedade” (IBR, 2016). Ou seja, pensa no levantamento de informações
que estimule tanto a avaliação quanto a melhoria dos gastos tendo em vista a
participação da sociedade e aprimoramento destes mecanismos, sendo mais que
meramente um medidor de produtividade ou mesmo uma mera relação de
custo/benefício.
Apesar de bastante sintética, a visão de
“efetividade” apresentada desde estas primeiras publicações do "índice" é consonante com o
que era trabalhado em profundidade no debate acadêmico. Em artigo que
sistematiza o método de trabalho de um dos grupos mais influentes na avaliação
de políticas públicas no país, o NEPP/Unicamp, Sônia Draibe divide em três
dimensões a medida de bons resultados na ação dos governos (Draibe, 2001): a i)
eficácia, que mede a relação entre os procedimentos e os resultados (avaliação
de processo), a ii) eficiência, que é a otimização entre custo e benefício
(processo e resultado) e, finalmente, iii) a efetividade, que trata dos
impactos e efeitos da política sobre as mais variadas dimensões da realidade,
como a medida com que solucionou o problema para o qual foi implementada
(e outros impactos indiretos sobre serviços públicos), impactos sociais, como
indução à novas reivindicações ou mesmo reorganização social e impactos
institucionais, como mudanças na lei (por exemplo, adoção de aplicativos de
transparência devido à muito acesso, incentivado pelo bom funcionamento de um
conselho). Em suma, segundo Draibe, efetividade se relacionaria com impactos nos
serviços públicos, na sociedade e nas instituições, correspondendo ao que foi
brevemente apresentado no relatório do Instituto Rui Barbosa: qualidade dos
serviços, satisfação das exigências e aprimoramento dos canais.
A
efetividade pode então ser vista como a amplitude dos impactos de uma ação,
sendo um critério basicamente avaliativo dos resultados, e não do processo durante
seu turno. Por isso, o objetivo do IEG-M ser medir a “efetividade” pressupõe
que ele mede os resultados, por excelência, um instrumento de accountability.
Como já foi adiantado, a próxima sessão tratará de situar o IEG-M dentro do que
seria um padrão de análise do “Ciclo de Políticas Públicas” enquanto
mecanismo de avaliação. Isto envolve uma comparação entre algumas propostas de
“ciclo” e localizar onde está o papel de avaliar, e como fica a análise da
“efetividade” na avaliação, além de como se propõe que ela seja feita. Logo
após virão algumas palavras sobre como os tribunais consideram a capacidade de avalição do IEG-M (impactos
nos serviços públicos, na sociedade e nas instituições) nas revisões
aprofundadas em 2018.
ii) Efetividade
na avaliação dos “Ciclos de Políticas Públicas” em um “Estado 4.0”
Para definir uma orientação da
análise de como o IEG-M pode proporcionar um processo de aprendizagem de boas
práticas de gestão precisamos encontrar aonde situa-se a análise da efetividade
dentro da avaliação das políticas e como a avaliação cumpre um papel na
aprendizagem e aprimoramento dentro um quadro geral de implementação. Uma
orientação para esta tarefa pode ser retomar a proposta de agenda para estudos
de políticas públicas esboçada por Valeriano Costa (IFCH/Unicamp) de 2015, que
apontou para algumas inovações no paradigma do “Ciclo de Políticas Públicas” (Costa, 2015) que aprimoram a relação entre administração pública e sociedade e adequam a
gestão no atual estágio que o próprio texto nos leva a chamar de “Estado 4.0”
(ele pensa a evolução do Estado moderno como “Estado versão 1.0”, “2.0” e assim
por diante). Considerando que as propostas trazidas nesse texto são postas como
contingências de um processo histórico já apresentadas no texto anterior deste
projeto, traremos aqui apenas o que ele diz especificamente sobre os “Ciclos de
Políticas Públicas”.
Costa toma como base um volume especial da Revista Brasileira de Ciências Sociais organizado por Marta
Arretche em 2003, onde há um trabalho de Celina Souza (2003) que traz dentre as
possibilidades de abordar programas públicos os “Ciclos de Políticas Públicas”,
mas aponta a necessidade de complementação deste método com instrumentos que
analisem a interação entre ação do Estado e forças sociais, sugerindo o uso que
John Kingdon (1995) traz com a versão “multiple streams” da análise dos
“Ciclos”. Esta versão usada por Kingdon abandona a ideia de que definimos os
problemas e depois buscamos soluções, admitindo que as pesquisas aprimoram o
tempo todo alternativas de ação que vem à tona quando problemas saltam aos
olhos em “janelas de oportunidade”, abraçadas por pesquisadores e setores da
sociedade que pressionam agentes públicos: são como soluções em busca de
problemas. Podemos dizer que as duas sugestões de Valeriano Costa para o
aprimoramento da abordagem dos “Ciclos”, primeiro a consciência de que as
políticas públicas são estruturadas pela sociedade mas também estruturam novas
dinâmicas nesta (processo que ele chama de permeabilidade) e segundo que
identidades que guiarão novas demandas são construídas neste processo (que ele
chama de reivindicação da identidade), são contempladas pela concepção
de Kingdon sobre a definição das agendas de políticas.
É bem verdade que existe uma
grande multiplicidade de definições de “Ciclos de Políticas Públicas” e de suas
fazes, tal que o possível num escrito do presente escopo precisa optar por
tomar apenas algumas por base para se chegar ao papel da avaliação e da
efetividade neste processo. Optou-se por trazer o framework brevemente
apresentado por Celina Souza em outro texto sobre o assunto (2006), o de
Kingdon (1995), uma versão mais atual do livro de Howlett, Ramesh e Perl (2013)
e a já citada proposta de Sônia Draibe (2001). Eles foram organizados em um
quadro comparativo sintético, cujo conteúdo em si poderia facilmente ser tema
de uma tese de doutorado, mas que será exposto brevemente aqui.
|
Diferentes concepções
das etapas do “Ciclo de Políticas Públicas” |
|||
|
Souza (2006) |
Kingdom (1995) |
Howlett-Ramesh-Perl (2013) |
Draibe (2001) |
|
Definição da Agenda |
Estabelecimento da Agenda |
Montagem da Agenda |
Formação da Agenda |
|
Identificação das alternativas |
Especificação das alternativas |
Formulação das Políticas: propostas de solução
|
Produção e Confronto das alternativas pelos
diferentes atores |
|
Avaliação das opções |
Escolha das alternativas |
||
|
Seleção das opções |
Filtragem da policy segundo valores culturais e
organizacionais |
||
|
- |
|
Tomada de decisão |
Formulação e decisão |
|
- |
|
Formulação da estratégia de implementação |
|
|
Implementação |
Implementação |
Implementação |
Implementação |
|
Avaliação |
- |
Avaliação |
Avaliação: eficiência, eficácia e efetividade* |
Como se pode observar, há uma correspondência na sequência das ações. Souza (2006) traz uma versão sintética, com o propósito apenas de resumir esta abordagem junto a outras apresentadas no texto, mas pode-se observar que pouco diz sobre a estruturação de estratégias de tomada de decisão e de implementação. O mesmo pode-se dizer de Kingdon que, inclusive, também resume avaliação e escolha das opções em uma mesma etapa, pois declaradamente está mais focado na relação de influência mútua entre especificação das alternativas e estabelecimento da agenda – é um evolucionário, preocupado com processos de inovação e seleção. Howlett, Ramesh e Perl trazem uma tentativa de abordagem de “Ciclos” que desse conta da influencia das mais variadas instituições da sociedade no processo e como elas são influenciadas por ele, colocando identificação, avaliação e seleção das opções dentro de um mesmo processo. Pode-se dizer que o framework que abrange de forma mais detalhada o “ciclo” é o de Sônia Draibe, inclusive dado conta da interrelação entre ação de Estado e sociedade: ele e o de Howlett, Ramesh e Perl são os únicos que trazem subsídios sobre avaliação (o de Souza é muito breve), além de trazerem a concepção de formação da agenda de Kingdon, e por isso servirão de base para detalhar-se a parte da “avaliação”, como segue no próximo quadro.
|
Diferentes concepções
da avaliação dos “Ciclos de Políticas Públicas” |
|||
|
Howlett et al. (2009) |
Draibe (2001) |
NEPP (2005) |
Ostrom (2011) |
|
|
|
|
Participantes Papéis Estratégias Informação |
|
Avaliação de esforço |
Eficiências: Metas e Recursos |
Econômico |
Resultados potenciais |
|
Avaliação de desempenho |
|||
|
Avaliação de eficiência insum/prod |
Custos e benefícios |
||
|
Avaliação de processo |
Eficácia: Subsistemas de Implementação |
Estrutura, resultados e impactos |
Nível de controle social sobre
escolhas |
|
Avaliação de eficácia |
Efetividade: impactos e efeitos (uso e
participação) |
Governança |
Governança |
No trabalho do NEPP citado acima entende-se governança por
“capacidade dos governos de implementar políticas públicas, de forma
coordenada, através de mecanismos que permitem a participação
institucionalizada da sociedade no processo decisório estatal e a responsabilização
(accountability) dos representantes públicos envolvidos na sua execução”
(NEPP, 2005; p. 20). Ou seja, trata-se tanto da capacidade de implantar quanto
de monitorar os impactos no sentido de ter os melhores resultados e se
responsabilizar por eles, inclusive pela capacidade de trazer a sociedade para
os processos de elaboração, implementação e controle dos resultados das
políticas. Ostrom vai definir governança como a instância coletiva onde são
criadas e interpretadas as regras que irão orientar a interação em um
determinado sistema, e onde são definidas as regras de manejo dos recursos de
uso comum e as condições de resiliência de um sistema social, político ou
econômico (Ostrom, 2005). Para a autora, estes sistemas , através de suas
capacidades diagnósticas,
analíticas e prescritivas, permitem o acúmulo de conhecimento a partir de estudos empíricos e na avaliação dos esforços passados em mudanças (Ostrom, 2011). Complementando a definição do
núcleo de pesquisa da Unicamp, pode-se dizer que governança é um mecanismo
coletivo de tomada de decisão permeado pro regras criadas e/ou legitimadas por
esta coletividade, processo que leva à internalização de padrões, aprendizagem
e transformação consciente das realidades social, política e econômica; para
desenvolvimento, implementação e aprimoramento de políticas públicas.
Um trabalho importante sobre
governança, que traz a questão da efetividade tão valorizada por Sônia Draibe e
que põe-se como tema central do IEG-M é o de Nuno Ferreira Cruz e Rui Cunha
Marques (2013), ambos do CEG-IST da Universidade Técnica de Lisboa
e da Lodon School of Economics and Political Scineces. Eles mantém o foco na
análise de governança pública nos municípios, partindo do escopo proporcionado
pelo Banco Mundial publicado no trabalho de Kaufmann, Kraay e Mastruzzi (2010),
cujos critérios mantém uma correspondência interessante com os citados
anteriormente. Eles publicaram vários trabalhos sobre governança na gestão
local (Cruz e Marques, 2016; Cruz, 2017), citando posteriormente um trabalho
brasileiro (Oliveira e Pisa, 2015), pegando dados de índices como o IEG-M e
submetendo à ferramentas de tomada de decisão como matriz SWOT e abordagem
MACBETH, metodologia desenvolvida por Carlos Bana e Costa (Bana e Costa;
Oliveira, 2012), da mesma instituição portuguesa e bastante conhecido no
Brasil. Por apresentarem não apenas um framework importante para análise de
governança como uma proposta para o uso estratégico deste diagnóstico, os
portugueses serão a base para esta análise. Além disso, são dados como
referência pelo grupo da Fundação Getúlio Vargas usado como base para
contextualizar o IEG-M como instrumento transformador do papel dos TCE’s no
Brasil (Buta e Teixeira, 2020) e também importantes colaboradores no assunto na
União Europeia, além de focarem o trabalho em projetoS parceiros entre poder
público e iniciativa privada, pauta considerada importante desde o começo desta
reflexão sobre boas práticas de gestão (Mendonça e Falcão, 2016; Fischer e Comini, 2012). Elaborou-se o seguinte quadro comparativo sobre o
que entende-se por avaliação de resultado das políticas no sentido da
governança em Draibe, NEPP, Ostrom e Cruz e Marques:
|
Diferentes concepções
de análise de Governança |
|
|||
|
Draibe (2001) |
NEPP (2005) |
Ostrom (2011) |
Kaufmann et al. (2010) Cruz e Marques (2013) |
|
|
Efetividade |
Governança |
Avalia. De Resultado |
Governança |
|
|
Efetividade social |
Regras legais |
Conformidade com valores |
Força da lei |
|
|
Capital social e satisfação |
Voz e participação |
Participação* |
Voz e prestação de contas |
|
|
Equidade fiscal |
|
|||
|
Efetividade institucional |
Condição regulatória |
Prestação de contas |
||
|
Controle da corrupção |
|
|||
|
Sustententabilidade e reprod. institucional |
|
Resiliência |
Estabilidade política |
|
|
Mudança e impactos |
Condi de Implem |
Equidade distribucional |
Efetividade governamental |
|
|
Eficiência Econômica |
||||
|
Regulação econômica |
|
|||
*Não
vem explícita no quadro de Ostrom, mas é um pressuposto de sua análise
Como se pode
observar, existem critérios que vem discriminados em um framework mas em outros
vem junto com outro, mas apesar disso há uma correspondência entre eles para a
análise de governança. Sendo assim, tomando-se a proposta de Cruz e Marques
(2013) pode-se facilmente trazer questões dos outros. Um detalhe importante é
que a questão econômica vem mais relacionada à regulação do que aos resultados
propriamente ditos no frame aqui escolhido, o que permite uma avaliação dentro
dos critérios. Isto porque os autores estão preocupados em observar a interação
entre agentes públicos e privados em PPP’s, o que pode ser avaliado também
dentro dos critérios de cada área do IEG-M, pois, como já foi dito no texto
anterior, o índice brasileiro não aborda diretamente questões econômicas, pois
perderia o foco da gestão pública municipal dada a dependência de políticas
macroeconômicas neste quesito. Sendo assim, 6 aspectos serão analisados em cada
um dos 7 indicadores do IEG-M:
1.
força da lei: conformidade com regras e
controle da sociedade sobre este processo
2.
voz e prestação de contas: sociedade
avalia resultados, tributação e investimentos
3.
controle da corrupção: capacidade
institucional de julgar compromisso dos agentes
4.
estabilidade política: mecanismos de
resiliência e adaptação
5.
efetividade governamental: capacidade de
implementar políticas de realizar resultados
6.
regulação econômica: modo com que se
relaciona com parceiros privados
Segue agora um panorama geral do processo de consolidação e revisão
metodológica promovida pelo Indicon IRB em meados de 2018, que teve seus
detalhes registrados no blog da rede, acessíveis até hoje.
iii) A
consolidação do IEG-M em 2018 e seu aprofundamento em nível nacional
Antes de partir para os próximos
artigos, diretamente sobre os 7 indicadores do IEG-M, considera-se pertinente
expor brevemente a revisão do IEG-M feita ao longo de 2018. Mais
especificamente, tratar-se-á de algumas proposições colocadas no blog da Rede Indicon entre
as reuniões técnicas de Brasília (7 e 8/5/2018) e Curitiba (2 a 4/7/2018).
Nestes dois encontros foram feitos balanços sobre como agrupar e usar os
indicadores em separado e questionamentos sobre cada pergunta dos
questionários, sendo um momento de preparativos para um novo momento do índice,
em que mesmo reconhecendo as diferenças regionais repensou-se seus critérios
para uma maior padronização e futuras propostas de mudanças, que não ocorreram
de forma contundente por parte do IRB (como inclusão de indicadores de assistência
social e desenvolvimento econômico, este último adotado em separado por alguns
Tribunais de Contas). Ou seja, muito além de uma revisão, foi feito um
detalhamento sobre os critérios e uma internalização do significado da
avaliação entre os participantes, potencializando a versatilidade do uso deste
instrumento.
Houve um cuidado em esmiuçar cada
detalhe sobre o preenchimento de informações nas planilhas dos questionários,
além de demonstrar como cada pergunta estava fundamentada em aspectos exigidos
em lei sobre as competências municipais. Desde perguntas específicas até
instrumentos como “matriz de planejamento”, “papéis de trabalho” e “matriz de
achados” foram explicados e apontados seus fundamentos em orientações do TCU.
Também foram disponibilizadas para a rede toda contribuições de diferentes
Tribunais de contas estaduais em questões tidas como importantes como avaliação
de conselhos municipais de educação e saúde, algo fundamental para avaliar a
participação e a accountability vertical, e exemplos de cálculos dos
subíndices. Apesar de o presente texto focar na construção de um framework
analítico para este estudo, uma metodologia de análise, a compreensão desta
metodologia de levantamento e organização de dados será fundamental para os
seguintes. Em todo caso, daremos atenção ao que foi tratado na reunião de maio,
cujo conteúdo foi descrito em três textos fundamentais: um sobre a validação
dos municípios ao IEG-M, outro sobre o grau de satisfação dos TCE’s em relação
às questões do índice e, finalmente, com um agrupamento temático dos 7
indicadores, que será comparada com os seis critérios de análise de governança
definidos ao final da última sessão.
Segundo o Texto para Discussão
3/2018 da Indicon, a validação dos questionários apresentaram, tanto o problema
de falta de padronização quanto alto percentual de respostas alteradas após a
validação. O primeiro problema foi um dos focos da atividade de revisão
promovida em 2018 por parte do IRB, o que explica o esforço detalhista sobre
cada questão e seu preenchimento nas planilhas e o uso de “matriz de
planejamento”, “papéis de trabalho” e “matriz de achados”. Já em relação às
alterações em respostas, foram criados grupos de trabalho para corrigir
ambiguidades na redação das questões, apontadas como principais causas de
alteração. Em todo caso, vale a pena observar quais estados fizeram validação e
o quanto, como mostra a seguinte tabela:
Pode-se
observar que em torno de 80% das inspeções foram feitas em SP e MG, o que
provavelmente proporcionou uma melhor dinâmica de aprendizagem nos TCE’s destes
Estados. Este processo de interação com os municípios se dá tanto na resposta
deles quanto na averiguação dos tribunais, sendo possível assim certificarem-se
sobre se estão no caminho certo. Um outro mecanismo de aprendizagem é a
manifestação e opinião dos tribunais quanto à detalhes do índice e dos
questionários. De todos os Tribunais de Contas estaduais, 17 compuseram a Rede
Indicon em 2017/18 para amadurecer e aprimorar indicadores públicos, e destes,
segundo o Texto para Discussão 2/2018, a maioria estava satisfeita em alguma
medida com o apresentado pelos questionários, como mostra a tabela abaixo:
Apesar do
retorno razoável, que estimula o aprimoramento, um outro dado mostra a
necessidade de maior aprofundamento a respeito das questões feitas para a
formulação dos indicadores: o número de respondentes que simplesmente não
tinham opinião. Veja o quadro:
A maioria se
abstém de posicionar-se, o que possivelmente denota pouco aprofundamento. Esta internalização
e compreensão da utilidade do IEG-M, se acontece em meio às equipes dos TCE’s,
é de se supor ser muito maior nos municípios, sinalizando a necessidade de
aprimoramento da sinergia entre tribunais e prefeituras, principalmente na
didática sobre usos e significados de cada ponto avaliado do índice: esta série
é uma tentativa de encontrar caminhos para compreender detalhes a serem
esclarecidos para as prefeituras, de modo a concretizar a função pedagógica do
índice na difusão de boas práticas de gestão. Um primeiro exercício seria o de
entender diferentes funções que um índice pode cumprir e onde se situa o IEG-M
dentre os demais, e essa foi a pauta principal do Texto para Discussão 1/2018.
Diferente de indicadores apenas sobre eficácia (que medem só o
desempenho direto de um programa, seu desempenho) ou eficiência (que
compara o desempenho com a despesa), o IEG-M mede o conjunto, com despesas e
seus impactos diretos e indiretos, a efetividade. Sendo assim, é um
ótimo instrumento para analisar governança e os resultados de todo o ciclo de
implementação de uma política pública.
Conclusões
Este foi o último texto
preparatório antes de irmos diretamente a cada um dos 7 indicadores (i-Planejamento,
i-Fiscal, i-Educ, i-Saúde, i-Amb, i-Cidade e i-Gov TI). Como foi dito, irá se
buscar como cada indicador responde á questões de cada um dos 6 critérios de
governança selecionados aqui (força da lei, voz e prestação de contas, controle
da corrupção, estabilidade política, efetividade governamental e regulação
econômica), encontrados dentro do tradicional framework dos “Ciclos de
Políticas Públicas” em suas versões que buscam solucionar a falta de diálogo
com a sociedade, especialmente do NEPP, e modelos de governança, como os
trazidos pelo trabalho do grupo da FGV. Nunca é demais lembrar que nesta
série estão sendo feitos apenas esboços exploratórios sobre paradigmas teóricos
e características do IEG-M, uma preparação para trabalhos mais elaborados a partir
do amadurecimento das opções trazidas à publico através desta iniciativa.
Acredita-se que a partir daqui temos um objeto claro, com uma questão clara que
gira em torno de como promover a aprendizagem de boas práticas de gestão e
conseguir apoio político através disso, única forma de garantir vitória
eleitoral de candidatos preocupados com a qualidade da democracia e superação
de heranças como clientelismo, corrupção e pouco zelo com a qualidade do
serviço público.
Na medida do
impossível, um ótimo março para todos!
Marcos
Rehder Batista, sociólogo, doutorando em Desenvolvimento Econômico no Instituto
de Economia/Unicamp, pesquisador do NEA/IE-Unicamp e do SP in Natura
Lab/FCA-Unicamp, líder do projeto RB Sustentabilidade 4.0. E-mail: marcosrehder@gmail.com
Referências
Bana
e Costa, C., & Oliveira, M. (2012). A multicriteria decision analysis model
for faculty evaluation. Omega, 40, 424–436.
BUTA,
B. O; TEIXEIRA, M.A.C. (2020). Governança pública em três dimensões: conceitual,
mensural e democrática. Revista Organizações & Sociedade 2020, 27(94),
370-395
COSTA, V. (2015). Políticas
Públicas no Brasil: uma agenda de pesquisas. Idéias – Rev. Inst. Filos. Ciênc.
Hum. UNICAMP, v.6, n.2, p.135-166, jul/dez. 2015
Cruz, Nuno F. (2017) An application of a
multicriteria model to assess the quality of local governance. Urban Affairs
Review.
Cruz,
N. F., & MARQUES, R. C. (2013). New development: The challenges of
designing municipal governance indicators. Public Money & Management,
33(3).
Cruz,
Nuno F. and Marques, Rui Cunha (2016) Structuring composite local governance
indicators. Policy Studies.
DRAIBE,
S. M. (2001). Avaliação de implementação: esboço de uma metodologia de trabalho
em políticas públicas. In: BARREIRA & CARVALHO (ORGS). Tendências e
perspectivas na avaliação de políticas e programas sociais. SP: IEE/PUC-SP
ENTC
(2020). Carta do VII Encontro Nacional dos Tribunais de Contas. Disponível
em < https://irbcontas.org.br/lancamento-da-carta-do-vii-encontro-nacional-dos-tribunais-de-contas/>,
acessado em 03/03/2021
FERNANDES, G.A.A.L.;
FERNANDES, I.F.L.A.; TEIXEIRA, M.A.C. (2018). Estrutura de funcionamento e
mecanismos de interação social nos tribunais de contas estaduais. Rev. Serv. Público Brasília 69, edição especial Repensando o
Estado Brasileiro 123-150 dez 2018
FISCHER, R. M.; COMINI, G.M.
(2012). Sustainable development: from responsibility to entrepreneurship.
Revista de Administração (São Paulo. Online), v. 47, p. 363-369
FREITAS, A.M. de
(2019). Das manifestações de 2013 à eleição de 2018 no Brasil: buscando uma
abordagem institucional. Novos Estudos.
CEBRAP, v. 38, p. 137-155
HOWLETT, M.; RAMESH, M.; PERL, A. (2013)
Política pública: seus ciclos e subsistemas. Rio de Janeiro: Campus.
IBR (2016). Índice de
Efetividade da Gestão Municipal – IEGM Brasil. Curitiba: Instituto Rui Barbosa.
Kaufmann,
D., Kraay, A., & Mastruzzi, M. (2010). The worldwide governance
indicators: Methodology and analytical issues.
KINGDON, J. W. (1995) Agendas, Alternatives,
and Public Policies. 2nd Edition. Harper Collins College Publishers
LIMONGI, F.;
FIGUEIREDO, A. (2017). A crise atual e o debate institucional. Novos Estudos. Cebrap, v. 36, p. 79-98
MENDONÇA, P; FALCÃO, D.
(2016). Novo Marco Regulatório para a realização de parcerias entre Estado e
Organização da Sociedade Civil (OSC). Inovação ou peso do passado? Cadernos
Gestão Pública e Cidadania, v. 21, p. 44-62, 2016.
NEPP (2005). Efetividade do
desenvolvimento no setor de saúde. Campinas: Cadernos NEPP.
Oliveira,
A. G., & Pisa, B. J. (2015). IGovP: índice de avaliação da governança
pública: instrumento de planejamento do Estado e de controle social pelo
cidadão. Revista de Administração Pública, 49(5), 1263-1290.
OSTROM, E (2005). Doing
Institutional Analysis Digging Deeper Than Markets and Hierarchies. C. M´enard and M. M. Shirley (eds.), Handbook of New Institutional
Economics, Springer: Amsterdã. Pp.819–848.
OSTROM, E. (2011). Background
on the Institutional Analysis and Development Framework. The Policy
Studies Journal, Vol. 39, No. 1, 2011
SOUZA, C. (2003). “Estado do campo” da pesquisa em políticas
públicas no Brasil. In: REVISTA
BRASILEIRA DE CIÊNCIAS SOCIAIS - VOL. 18 Nº. 51
SOUZA, C. (2006). Políticas
Públicas: uma revisão da literatura. Sociologias, Porto Alegre, ano 8, nº 16,
jul/dez 2006, p. 20-45
TCE SP (2015) Manual do Índice de efetividade da gestão municipal. SÃO PAULO: Tribunal de Contas do Estado de São Paulo
Comentários
Postar um comentário