Riesgos del Software
Tutorial
Fritz Knabe
Pontificia Universidad Católica de Chile
November 1996

Estos apuntes están basados en Safeware: System Safety and Computers, por Nancy G. Leveson, © 1995 Addison-Wesley.

El riesgo en la sociedad moderna

• Los accidentes más graves del siglo han ocurrido en los 15 años pasados.
  • El escape de metil-isocianuro de una planta química de Union Carbide en Bhopal, India, mató a entre 2.000 y 3.000 personas y hirió a más de 200.000.
  • El serie peor de accidentes en la historia de aceleradores médicos ocurrió entre 1985 y 1987, cuando seis personas murieron de sobredosises de radiación.
  • En 1979 y 1986 ocurrieron los accidentes de Three Mile Island y Chernobyl.
  • Tres meses antes de Chernobyl el Challenger explotó.
  ¿Está convirtiendo la tecnología nuestro mundo en uno más arriesgado?
• El riesgo no es un problema nuevo. Siempre ha existido en el medio ambiente. Pero hoy en día la industrialización está reemplazando los peligros basados en la naturaleza con nuevos basados en la tecnología.
• Sin embargo es difícil separar los dos. La modificación del medio ambiente por los humanos ha agravado los desastres naturales. Por ejemplo, los daños debido a las inundaciones en los Estados Unidos han crecido con los gastos del control de inundaciones. Se han desarrollado áreas sujetas a la inundación, y cuando las medidas preventivas fallan, hay daños peores.

Cambios en la actitud hacía el riesgo

• Todas las actividades de los humanos involucran el riesgo. El progreso demanda arriesgarse. Pero ahora la sociedad demanda que se saben y controlan los riesgos hasta la extensión máxima posible.
• El cambio de la responsabilidad desde algo personal a algo público o de la organización es un fenómeno reciente. Hasta la primera parte de este siglo se esperaba que los trabajadores proveen sus herramientas propias, entienden su oficio, y asumen la responsabilidad para su seguridad.
• Ahora los trabajadores no tienen mucho control sobre la manera en que trabajan, y por lo tanto dependen más de sus empleadores para proveer un ambiente seguro. Ha habido también cambios en la responsabilidad legal para la seguridad de trabajadores y consumidores.
• La complejidad de la sociedad tecnológica corriente requiere que el público confía en el conocimiento experto. La responsabilidad se ha transferido del público al estado, la gerencia corporativa, los ingenieros, los expertos de seguridad, y otros profesionales.
• A la vez, los accidentes como Bhopal han creados nuevas demandas en el público. La gente quiere saber los riesgos de las tecnologías peligrosas, los escenarios del caso peor, los peligros de contaminación, etc.
• La reducción del riesgo puede ser caro y frecuentemente requiere intercambios entre otros fines deseables. Entonces uno debiera examinar los factores que contribuyen al riesgo para determinar los problemas que confrontamos.

Factores únicos de riesgo en la sociedad industrializada

• El riesgo el la combinación de la probabilidad de un accidente y la gravedad de los consecuencias potenciales.
• El riesgo aumenta si o la posibilidad o la magnitud de una pérdida aumenta. Los factores distintos afectan los dos componentes en maneras distintas.

Peligros nuevos

• Antes la Revolución Industrial los accidentes eran los resultados de causas naturales o involucraban pocos dispositivos tecnológicos sencillos.
• Las avanzas de la tecnología han creados muchos beneficios pero también peligros nuevos. Ahora tenemos microbios resistentes, productos químicos en la comida, los peligros del átomo, etc. Son más omnipresentes y difíciles de encontrar.
• Falta códigos de práctica y estándares para los profesiones nuevos. A veces se pierden la experiencia de lecciones aprendidas sobres los siglos cuando se reemplace tecnologías antiguas con nuevas--por ejemplo, cuando se substituyen dispositivos mecánicos por computadores.
• Muchos de los técnicos para controlar el riesgo en tecnologías más sencillas no ayudan el control de los riesgos complejos de hoy. Por ejemplo, la redundancia, que protege contra los accidentes causados por la falla de un componente individual, es inefectiva contra los peligros que surgen de las interacciones de los componentes en los sistemas complejos de hoy. De hecho la redundancia puede aumentar la complejidad al punto que contribuye ella misma a los accidentes.

Más complejidad

• Muchos peligros nuevos son relacionados a la complejidad mayor en los sistemas nuevos. La complejidad también dificulta la identificación de las causas de los accidentes.
• Los sistemas hoy consisten en redes de subsistemas con acoplamiento estrecho. Las condiciones que producen peligros surgen en las interfaces, y los problemas se propagan de un componente a otro. Las plantas químicas modernas, por ejemplo, combinan varios procesos distintos en una producción continua sin el almacenamiento intermedio que podría desacoplar los subsistemas.
• Ahora los accidentes industriales mayores son siempre debido a secuencias complejas de eventos y resultan de las interacciones entre componentes. En algunos sistemas la operación puede ser entendido solamente por pocos expertos.
• Una paradoja es que la gente quiere gastar plata en la complejidad pero no en la sencillez. Por ejemplo, un vertido ocurrió en una planta química británica porque el diseño usaba una sola tubería para usos múltiples. El computador cambió las válvulas para una transferencia entre tanques pero no podía apagar una bomba que fue usado manualmente durante la previa transferencia de una camión. Un diseño más sencillo--tuberías independientes para cada función, que fueron instalados después del vertido--disminuye la probabilidad de errores y puede ser menos barato a plazo largo.
• Los computadores frecuentemente permiten construir dispositivos más interactivos, más acoplados, y más susceptibles a los errores, y pueden introducir complejidad innecesaria y peligrosa.

Más exposición

• No sólo es la tecnología más compleja pero también la sociedad. Las consecuencias de un accidente depended de no sólo el peligro si mismo pero también de la exposición al peligro.
• Ejemplos: La capacidad de los aviones está creciendo, y los sitios de facilidades peligrosas están a menudo cerca poblaciones largas.

Más energía

• El uso de fuentes de energía alta, tal como sistemas de presión alta o la fisión atómica, ha aumentado la magnitud de las pérdidas potenciales.
• Otros sistemas usan energía convencional pero en cantidades mayores.

Más automatización de operaciones manuales

• Aunque puede parecer que la automatización disminuiría el riesgo de errores de operador, la verdad es que no elimina la gente de los sistemas--la mueve a la mantención y al control de supervisor de niveles más altos. Los efectos de las decisiones de humanos pueden ser muy graves, y a la vez, la complejidad mayor dificulta el proceso de hacer decisiones.
• La automatización elimina el operador del control inmediato de las energías del sistema. Puede ser difícil anticipar los flujos de energía--por ejemplo, en el comportamiento de un robot.
• Los operadores en los sistemas automatizados están a menudo en salas de control central, donde tienen que usar información indirecta sobre el estado del sistema. Esta información puede ser errónea, como en el apagón de Nueva York en 1977 (la falla de un relé oscureció la falla de una segunda, y la línea parecía normal).
• Un loop de control enmascara la ocurrencia y el desarrollo de un funcionamiento defectuoso porque maneja los efectos inmediatos del problema, por lo menos por algún tiempo. Ejemplo: El piloto automático de un 747 de China Airlines en 1985 compensó una pérdida gradual en una turbina hasta que alcanzó su límite. El avión perdió 31.500 pies de altitud antes de que la tripulación pudo recuperarlo.
• Los sistemas para ahorrar la energía en plantas de proceso es otro ejemplo. La complejidad extra del sistema dificulta el análisis de problemas y enmascara síntomas. El lugar en una planta donde problemas surgen no es necesariamente donde ocurrieron.

Más centralización y mayor escala

• La automatización ha sido acampanado por la centralización de procesos industriales en plantas muy largas. Se han extrapolado dispositivos y procesos a áreas no probadas.
• La fuerza nuclear ha sufrido de este problema. Por ejemplo, Browns Ferry Nuclear Power Plant, que fue el sitio de un accidente grave en 1975, era diez veces mayor que cualquiera planta en operación cuando su construcción empezó en 1966.

El paso más rápido del cambio tecnológica

• El tiempo promedio para desarrollar un descubrimiento básico en un producto ha disminuido de 30 años al inicio del siglo a cinco años hoy. El número de productos y procesos nuevos está creciendo en una manera exponencial.
• Hay menos posibilidades de aprender de la experiencia porque el paso de cambio es demasiado rápido y las consecuencias de fallas son demasiado graves. Los diseños y procedimientos de operación tienen que ser correctos la primera vez.
• Como resultado se reemplazan las reglas de diseño empíricas por dependencia de la identificación de peligros y del control. No es conocido cuánta protección ofrece estos métodos por contraste con los métodos antiguos de experiencia y estándares.

¿Cuán seguro es suficientemente seguro?

• Parece que el riesgo está creciendo. El enfoque de seguridad del sistema trata de reducir el riesgo anticipando los accidentes y sus causas en análisises de peligro. Pero no es posible eliminar el riesgo completamente.
• Hay un problema básico de fines que están en pugna. Hay concesiones mutuas entre la seguridad, el rendimiento, y otros fines. Dado la existencia del riesgo hay que decidir qué sistemas se deben construir y qué tecnología se les debe introducir.
• Una posibilidad es el análisis de riesgos y beneficios. La idea es medir el riesgo y elegir un nivel apropiado para hacer decisiones. El problema es que es imposible medir el riesgo con precisión, especialmente antes de construir un sistema.
• En la valoración del riesgo se tratan de cuantificar antes de que datos históricos están disponibles. Se calculan la probabilidad de accidentes graves construyendo modelos de la interacción de eventos que pueden producir un accidente. En la práctica se incluyen solamente los eventos que se pueden medir. A la vez, los factores causales involucrados en la mayoría de los accidentes mayores no son mensurables.
• Un segundo problema es determinar el nivel de riesgo aceptable. ¿Quién determina qué nivel de riesgo es aceptable en comparición con los beneficios. En el caso de los tanques de bencina de los Ford Pinto, Ford sabía el peligro de una explosión después un impacto pero un análisis de riesgo mostró que sería más barato arreglar las disputas en vez de reparar el diseño. Los beneficios fueran a Ford mientras que los conductores asumieron el riesgo.
• En general existen una clase de problemas trans-científicos. Son preguntas de hecho que se puede enmarcar en el lenguaje de la ciencia, pero la ciencia no las pueden contestar. Transciendan la ciencia. No manejan lo que es verdadero sino lo que es valioso.

Los computadores y el riesgo

• El poder del computador es que es una máquina completamente general. Uno puede crear otras máquinas solamente especificando los pasos necesarios para alcanzar los fines.
• Esta ventaja ha producido un aumento explosivo en el uso de los computadores, que incluye su introducción en sistemas peligrosos.

El papel de los computadores en accidentes

• Hay pocos sistemas hoy que no usan computadores para proveer control o apoyar el diseño. Los computadores ahora controlan muchos dispositivos críticos a la seguridad, y frecuentemente reemplazan los trabazones de seguridad de hardware (o si no los reemplazan, los controlan).
• En los loops críticos a la seguridad se pueden usar computadores en maneras distintas:
  • Proveer información a un controlador humano a petición.
  • Interpretar los datos y mostrarlos al controlador, que hace las decisiones de control.
  • Emitir los comandos directamente con un monitor humano.
  • Eliminar el humano completamente.
• Es obvio que hay riesgos cuando los computadores tienen control directo sobre procesos peligrosos. Otros peligros no tan obvios son
  • Se usan datos generados por software para hacer decisiones críticas a la seguridad (por ejemplo, en el control del tráfico aéreo).
  • Se usan software en el análisis de diseño (por ejemplo, en CAD/CAM).
  • Se guardan datos críticos a la seguridad (por ejemplo, datos de banco de sangre) en un base de datos.
• En 1979 el descubrimiento de un error en el software usado en el diseño de reactores nucleares y sus sistemas refrescantes resultó en que la Comisión de Regulación Nuclear cerró cinco plantas que no satisfacían los estándares para los terremotos.
• Frecuentemente se usa el argumento que el software que genera datos pero no hace decisiones no es crítico a la seguridad. Puede ser, pero a menudo se creen los datos de un computador sobre los datos conflictivos de la observación directa. Más frecuentemente el operador tiene que confiar en datos para los cuales no tiene ninguna manera chequearlos independientemente.
• Los computadores complican la investigación de accidentes. No hay evidencia directa que un error estabe en el software.
• Los métodos probados de la ingeniería de la seguridad de sistemas no incluyen el software, que es difícil incorporar.

Mitos de software

• El costo de computadores es menos que él de dispositivos analógicos o electromecánicos.

  La verdad es que el hardware es barato. Pero el costo de escribir y certificar software muy confiable y seguro, más el costo de la mantención sin poner en peligro la confiabilidad y la seguridad, puede ser enorme. Por ejemplo, el software del transbordador espacial (400.000 palabras) cuesta más de US$100.00.000 por año a mantener. Un sistema electromecánico es frecuentemente más barato, particularmente si se pueden usar diseños estándares.

• Es fácil cambiar el software.

  Los cambios son fáciles, pero hacer cambios sin introducir errores es muy difícil. Hay que verificar el software de nuevo con cada cambio. También, con cambios el software se pone frágil.

• Los computadores proveen más confiabilidad que los dispositivos que reemplazan.

  Es verdad que el software no falla como dispositivos normales, pero hay poca evidencia que indica que el comportamiento erróneo de software no es un problema significativo.

  Estudios de sistemas muy críticos a la seguridad han mostrado que hasta 10% de los módulos se desviaron de la especificación en un modo o más de operación. Muchos errores eran pequeños, pero aproximadamente 1 en 20 producía efectos directos y observables en el sistema controlado.

  Parece que la solución es sencillamente implementar el software correctamente. Pero esto es mucho más difícil que esperado. Por ejemplo, el software del transbordador espacial ha sido usado desde 1980 y NASA ha invertido recursos enormes en la verificación y mantención de este software. Sin embargo, desde la operación del transbordador se han encontrado 16 errores de grado de severidad 1 (pueden producir una pérdida del transbordador y su tripulación) en software liberado, de que ocho estaban en código usado en vuelos. Otros errores de menor severidad han ocurrido durante misiones (tres amenazaron el cumplimiento de la misión) a pesar que NASA tiene uno de los procesos de desarrollo y verificación de software más completos existentes.

  No existen técnicas coma la redundancia para aumentar sencillamente la confiabilidad del software. Y aun cuando sea posible escribir software sin errores, las condiciones ideales para desarrollar software (dinero y tiempo sin límites) nunca existen.

• Mayor confiabilidad de software aumenta la seguridad.

  Se puede mejorar la confiabilidad de software eliminando errores sin relación a la seguridad del sistema, así aumentando la confiabilidad sin aumentar la seguridad.

  También, la confiabilidad de software se define como conformidad con los requerimientos, mientras que la mayoría de los errores de software crítico a la seguridad son debidos a errores en los requerimientos. El software puede ser correcto y todavía causar accidentes graves.

• La prueba o verificación formal del software puede eliminar todos los errores.

  Las limitaciones de la prueba de software son bien conocidas. Básicamente hay demasiado estados en software real para probarlo completamente.

  En el futuro la verificación puede chequear la consistencia entre las especificaciones y la implementación, pero esto requiere que las especificaciones (escritas en notación formal) son libres de errores.

  También, muchos errores importantes son debidos a cosas que no están en el código. Por ejemplo, muchos accidentes relacionados a software han involucrado sobrecarga. Un sistema para los servicios de emergencia dejó de funcionar cuando recibió demasiadas llamadas.

• El reuso de software aumenta la seguridad.

  Aunque el reuso puede aumentar la confiabilidad, puede disminuir la seguridad. La razón es porque engendra el falso sentido de seguridad y porque no se consideraron los peligros específicos del sistema nuevo cuando el software fue diseñado originalmente. Ejemplos:

  • El Therac-20, partes de lo cual se usaban en el Therac-25, contenía el mismo error que causó dos muertes en el Therac-25. El error no causó problemas en el Therac-20 porque resultó solamente en un plomo fundido en vez de un sobredosis masivo de radiación.
  • Software de control del tráfico aéreo usado muchos años en los Estados Unidos no se pudo reutilizar en Gran Bretaña. Los desarrolladores norteamericanos han ignorado el problema de cero grados de longitud.
  • Software de aviación escrito para uso en el hemisferio boreal frecuentemente crea problemas cuando usado en el hemisferio austral. También software para cazas F-16 ha causado accidentes cuando usado en Israel en aviones volados sobre el Mar Muerto, donde la altitud es menor que el nivel del mar.
  La seguridad no es una propiedad del software, sino es una combinación del diseño del software y del ambiente en que es usado.
• Los computadores disminuyen el riesgo por contraste con los sistemas mecánicos.

  Los computadores tienen esta potencial y pueden automatizar tareas peligrosas como el pintar de espray. Pero otros argumentos son discutibles:

  • Los computadores permiten un control más fino ya que pueden revisar parámetros más frecuentemente, hacer calculaciones en tiempo real, y tomar acción rápidamente.

    Es verdad. Pero control más fino permite que el proceso se pueda operar más cerca a su óptimo, y se pueden reducir los margines de seguridad. Los sistemas que resultan tienen beneficios económicos, porque en teoría se cerrarán menos y la productividad se puede aumentar con control más óptimo. Pero la disminución en los margines pueden negar los beneficios posibles, quizás sin la capacidad de alcanzar la confiabilidad usado como el argumento para reducir los margines.

  • Los sistemas automatizados permiten los operadores trabajar más lejos de áreas peligrosas.

    Debido a una carencia de conocimiento con los peligros, más accidentes ocurren cuando los operadores tienen que entrar en las áreas peligrosas. Por ejemplo, un robot mató a un trabajador en una planta que los diseñadores asumían requería poca intervención--no incluyeron pasarelas ni avisos audibles de movimiento. La suposición original era que se cerraría la planta para la mantención, pero la realidad era que los trabajadores tenían que rescatar los robots 15 a 20 veces por día.

  • Con la eliminación de operadores se eliminan los errores humanos.

    Los errores de operadores se reemplazan con errores de diseño y mantención; los diseñadores hacen los mismos tipos de errores como los operadores. También, cuando se elimina el contacto directo con el sistema, los humanos pierden la información necesaria para hacer decisiones.

  • Los computadores pueden proveer mejor información a los operadores.

    En teoría es verdad, pero esto es muy difícil lograr. Básicamente los computadores permiten que se provee demasiada información y en una forma menos útil para algunos propósitos que la instrumentación tradicional.

  • El software no falla.

    Es verdad solamente para una definición estrecha de "falla." Un resultado del reemplazo de dispositivos mecánicos por computadores es la incapacidad de predecir modos de falla. La mayoría de los sistema mecánicos tienen un número limitado de modos de falla, y se los pueden diseñar para fallar en una manera segura. Esto normalmente no es posible con el software.

Por qué la ingeniería de software es difícil

• Hay varios razones por qué hay tantos problemas en la ingeniería de software.
• Sistemas analógicos versus discretos. El computador normalmente simula un comportamiento analógico. Las funciones discretos no son tan bien conocidas como las funciones continuas, y la continuidad en los sistemas analógicos los hace más fáciles probar que el software.
• La flexibilidad. El costo bajo aparente de cambiar software es engañoso. También, la flexibilidad refuerza la redefinición de tareas tarde en el proceso de desarrollo para compensar de deficiencias de otras partes del sistema (en el C-17 se cambió el software para corregir un defecto en el diseño de las alas). Los cambios son mucho más difíciles para las máquinas físicas porque las propiedades de los materiales restringen las modificaciones. Tales frenos no existen para el software, pero es tan frágil como hardware.

  La flexibilidad también refuerza la construcción prematura. El software permite los éxitos parciales.

• La complejidad y las interfaces invisibles. Frecuentemente se trata de manejar la complejidad partiendo el objeto en trozos o módulos. En al ámbito de software el resultado de este proceso son más interfaces, y estas introducen una nueva fuente de la complejidad.

  En software no hay ninguna restricción física para limitar las interfaces, como en hardware de aviones a circuitos. Cualquiera cosa puede depender de cualquiera cosa.

• Hay una falta de información sobre el uso histórico. Normalmente el software es construido especialmente y de nuevo. Es una gran diferencia con el hardware.

Bibliografía

• Safeware: System Safety and Computers, Nancy G. Leveson, Addison-Wesley, 1995.
• Computer-Related Risks, Peter G. Neumann, Addison-Wesley, 1995.
• Digital Woes, Lauren Ruth Wiener, Addison-Wesley, 1993.
• The Mythical Man-Month, Frederick P. Brooks, Jr., Addison-Wesley, 1995.
• El newsgroup de Usenet comp.risks.