Tendencias 21. Ciencia, tecnología, sociedad y cultura




La Ética para las máquinas, nuevo campo de investigación

Considera a las máquinas, computadoras y robots, como un tipo de agentes éticos


Hasta hoy, sólo el Hombre se comprometió a un razonamiento ético, pero ya es hora de incorporarle una dimensión ética a algunas máquinas complejas. Se trata de un nuevo campo de estudio que considera a las máquinas, computadoras y robots, como un tipo de agentes éticos e intenta implementar en ellos facultades morales de toma de decisiones. Dado que las investigaciones científicas y los objetos tecnológicos tienen el poder de afectar a toda la humanidad, las decisiones sobre su curso actual y futuro no deben involucrar únicamente a los científicos, los empresarios y los gobernantes. Es necesario que la mayoría de la gente tenga una participación mucho más activa a fin de fijar los límites adecuados. Por Sergio Moriello.



Robot en el Parlamento Europeo.
Robot en el Parlamento Europeo.
La ética es la ciencia que estudia el comportamiento moral del hombre y su accionar. Se relaciona con los propios actos que cada uno realiza, las cuales –a su vez– dependen de los propios valores. No es su función prohibir o aceptar indiscriminadamente, sino permitir el discernimiento –dentro de un determinado contexto– entre lo “correcto” y lo “equivocado”, lo “bueno” y lo “malo”.

Pero quien juzga es siempre, en última instancia, la propia persona. Dentro de una comunidad o una sociedad, la ética consiste en aquellas conductas que tienden a ser preferidas a lo largo de períodos suficientemente largos de tiempo, como para convertirse en una especie de codificación. Por ese motivo, y para cualquier actividad humana, la ética es tan igualmente esencial como la creatividad, el conocimiento profesional o las habilidades [Mulej et al, 2002].

Con respecto a la relación entre la tecnología y la ética, se pueden considerar tres aspectos:
• el uso responsable e irresponsable que algunas personas hacen de los objetos tecnológicos;
• cómo los seres humanos deben de tratar a los objetos tecnológicos complejos; y
• los problemas relacionados con los objetos tecnológicos complejos y su interacción con el ecosistema.

Relaciones tirantes

En cuanto al primer punto, y en general, lo que preocupa no es tanto la tecnología en sí misma, sino la utilización que se puede hacer de ella [Ricard y Xuan Thuan, 2001, p. 27]. Lo que provoca miedo es la velocidad e imprevisibilidad de su avance y, en especial, la posibilidad de que se vuelva incontrolable [Capanna, 2000].

Los objetos tecnológicos son neutros: multiplican las posibilidades humanas tanto para hacer el bien como para hacer el mal. Pero definitivamente no son neutros los impactos que tienen dichos objetos sobre la vida de los individuos y las sociedades.

Es el caso de la energía atómica: ofrece tanto la posibilidad de construir centrales eléctricas (que otorgan luz y calor a grandes ciudades) como la posibilidad de construir bombas (que destruyen esas mismas grandes ciudades). Y es también el caso del robot inteligente y autónomo: si su objetivo principal fuese el de satisfacer al Hombre, sería de valiosa ayuda; pero si su objetivo principal fuese el de satisfacer su propia supervivencia, sería extremadamente peligroso [Fritz, 2007].

Por eso, todo avance es percibido de forma ambivalente: como sublime y, a la vez, nefasto; como maravilloso y, al mismo tiempo, monstruoso. Esto no hace más que revelar las contradicciones intrínsecas de una sociedad escindida entre los tecnófilos y los tecnófobos, entre los que se ufanan por los beneficios que puede brindar el poder tecnológico y los que temen al daño irreparable que puede acarrear su utilización descontrolada.

De todas formas, ya no es posible revertir el inevitable proceso de aceleración tecnológica acaecido en las últimas décadas. Sólo queda como única posibilidad la de tomar adecuadas decisiones a fin de suavizar los peligros que pudiese originar, pero sin renunciar a la multiplicidad de sus ventajas. En otras palabras, no se discute si se utiliza o no la tecnología, sino solamente la forma en que se la va a emplear.

Es responsabilidad del homo sapiens ser mucho más crítico con respecto a lo que hace y por qué lo hace; sólo así podrá –en parte– prever algunas de las consecuencias indeseadas. Cuanto más amplio es su poder, mayor debe ser su sentido de la responsabilidad.

Dado que las investigaciones científicas y los objetos tecnológicos tienen el poder de afectar a toda la humanidad, las decisiones sobre su curso actual y futuro no deben involucrar únicamente a los científicos, los empresarios y los gobernantes. Es necesario que la mayoría de la gente tenga una participación mucho más activa a fin de fijar los límites adecuados. Y, en ese punto, el periodismo de divulgación tiene una responsabilidad fundamental [Dalai Lama, 2006, p. 221, 231/2 y 242].

¿Cómo tratarlas?

Las actuales máquinas inteligentes son simples en extremo; en parte porque son muy “jóvenes”: apenas tienen poco más de medio siglo de existencia. No obstante, su avance arrollador las hará inmensamente más complejas en poco tiempo más. Aunque es posible que retengan el nombre “máquina”, con seguridad serán otra cosa.

Si una máquina puede desarrollar tanto actividades cognitivas como afectivas (emociones), habría que empezar a pensar seriamente sobre qué posición ocupa la máquina. ¿Tendrá el propietario derecho a desenchufarla, o a destruir su programación inteligente? ¿Constituiría esto un asesinato? [Ritchie, 1985, pág. 145] ¿Aunque, una vez “asesinada”, se pudiese reconstruir tan bien como si fuera nueva? ¿Sería este caso un “intento de asesinato”? [Freitas Jr., 1985].

De acuerdo con las leyes vigentes, los robots son simplemente una propiedad inanimada sin derechos ni deberes. No son personas legales (al igual que las máquinas y las computadoras) y no los toma en cuenta el sistema judicial. Sin embargo, se debe recordar que, en algún momento de la historia del Hombre, tampoco fueron considerados como personas legales los negros, los niños, las mujeres, los extranjeros y las empresas [Freitas Jr., 1985].

Si la máquina fuese un robot antropomorfo, si fuese capaz de pensar, de sostener debates interesantes o de hacer nuevos descubrimientos científicos (en suma, si desarrollase habilidades cognitivas), tal vez no habría dudas de que “apagarlo permanentemente” constituiría una especie de asesinato.

Pero, si en vez de ser intelectualmente brillante, ¿qué sucedería si mostrase una gama de emociones equivalentes a las que componen al ser humano promedio? Incluso más, si tuviese la forma de un perro, con un nivel mental equivalente a ese animal y su limitada gama de emociones, ¿sería cruel pegarle, o sería nada más que golpear a piezas metálicas o de plástico? [Storrs Hall, 2000].

¿Chatarra o asesinato?

Por otra parte, el cambiar un robot –ya obsoleto y/o pasado de moda– por un modelo más nuevo y tirarlo como “chatarra”, como se hace con un automóvil o cualquier electrodoméstico, ¿no sería también una especie de asesinato?

Antes de construir humanoides inteligentes, se deberían resolver algunos problemas. De hecho, al momento de diseñarlos se debería tener definido si no es una crueldad producir en masa androides sintientes y luego eliminarlos en “campos de exterminio”.

Actualmente, cualquier robot se considera un bien instrumental; en consecuencia, su propietario puede hacer el uso que quiera… incluso hasta destruirlo. Es probable que, con el tiempo, surja un movimiento tendiente a atenuar los derechos derivados de la propiedad de los androides [Monopoli, 2005].

Incluso puede ser que, algún día, éstos argumenten que son seres conscientes y demanden la igualdad de derechos. Es por eso que, por uno u otro camino, hay quienes afirman que el homo sapiens compartirá el planeta con formas de vida sintética que hasta podrían tener “derechos legales”.

¿Qué tipos de derechos se les debería otorgar y/o negar? ¿Se les pueden aplicar los “derechos humanos”? Si un robot emula perfectamente las características humanas, ¿podría reclamar ser miembro de la especie? No se podría exigirle que tenga un cuerpo físico como el humano, ya que –con ese criterio– se deberían rechazar también a las personas que cuentan con partes artificiales [Lucas, 2006]. ¿Cuál será el lugar que los robots ocupen dentro de la sociedad? ¿Formarán su propia sociedad?

Por otra parte, ¿deberían los robots llevar armas? Si se envía un robot para asesinar a un ser humano, ¿de quién es la culpa: de la máquina, de las personas que la diseñaron, de la empresa que la diseñó, de las personas que la construyeron o de la empresa que la construyó? Asimismo, ¿deberían concedérseles patentes a las máquinas? Si un robot (una computadora o una máquina) inventa una patente, ¿pertenece a su dueño o a él mismo?

Nuevo campo

Con respecto a la ética para las máquinas, se pueden distinguir dos niveles: la “humana” y la “artificial” propiamente dicha [Palmerini, 2004]. La función de la primera es la de restringir quién debe construir y quién debe usar robots. Pero su desarrollo no va parejo con el de la ciencia y la tecnología; en otras palabras, no está en condiciones de seguir el vertiginoso ritmo de las proezas científicas y tecnológicas del ser humano.

En lo referente a los nuevos desarrollos tecnológicos, mucho de lo que –en poco tiempo- será factible, está más relacionado con los cálculos financieros empresariales y con las previsiones políticas y económicas gubernamentales, que con los nuevos descubrimientos o paradigmas científicos [Dalai Lama, 2006, p. 221].

La ética artificial de los robots, o “roboética”, es aquella parte de la ética que se ocupa de los problemas relacionados con los robots y con su interacción con el hombre, los animales, la sociedad, la naturaleza y el mundo [Monopoli, 2005].

Se trata de un nuevo campo de estudio que considera a las máquinas, computadoras y robots como un tipo de agentes éticos e intenta implementar en ellos facultades morales de toma de decisiones [Allen, Wallach y Smit, 2006] [Moor, 2006].

La idea es otorgarles un determinado conjunto de reglas o guías de comportamiento universal, un “código de ética”, a medida que se vayan haciendo cada vez más complejas, a fin de que sus acciones no se aparten mucho de la normas humanas (ya que se tornaría imposible controlarlos) [Proença, 2001].

Hasta hoy, sólo el Hombre se comprometió a un razonamiento ético; ya es hora de incorporarle una dimensión ética a algunas máquinas complejas [Anderson y Leigh Anderson, 2006].

Otros agentes éticos

Es enfoque se sustenta en el hecho de que existen casos de otras clases de agentes éticos. Por ejemplo, los perros tienen un sentido de lo que es correcto y lo que es incorrecto. Incluso, los niños son una forma distinta de agente ético: tienen limitados derechos y responsabilidades, y los adultos tienen deberes para con ellos.

Es más, hay una variación continua de agente ético que va desde el bebé hasta el adolescente [Storrs Hall, 2000]. Sin embargo, la mayoría de las personas establece una frontera divisoria para la ética entre lo que considera consciente y lo que considera no-consciente.

Por ejemplo, si se piensa que una serpiente no es consciente, no se harán muchos cuestionamientos en caso de tener que matarla. De igual manera, si se piensa que una máquina no es consciente, se tendrá mucho menos escrúpulo en lastimarla.

Recientemente un equipo internacional de científicos y académicos –pertenecientes a EURON (EUropean RObotics research Network)– elaboró un prototipo de “código de ética”. A grandes rasgos, sus recomendaciones son las siguientes:

• Asegurarse el control de los humanos sobre los robots.
• Prevenir su utilización nociva o ilegal.
• Proteger los datos obtenidos por los robots.
• Rastrear y grabar la actividad de los robots.
• Brindar una identificación única a cada robot.



Bibliografía

1. Allen, Colin; Wallach, Wendell y Smit, Iva (2006): Why Machine Ethics? IEEE Intelligent Systems, julio/agosto, Vol. 21, N° 4, p. 12-17.

2. Anderson, Michael y Leigh Anderson, Susan (2006): Machine Ethics. IEEE Intelligent Systems, julio/agosto 2006, Vol. 21, N° 4, p. 10-11.

3. Capanna, Pablo (2000): ¿Se puede orientar la tecnología? Página 12, Suplemento Futuro, 4 de marzo.

4. Dalai Lama (2006): El universo en un solo átomo. Buenos Aires, Editorial Grijalbo.

5. EURON

6. Freitas, Robert (Jr.) (1985): The Legal Rights of Robots. Student Lawyer, Nº 13, enero, p. 54-56.

7.Fritz, Walter (2007): Sistemas Inteligentes y sus Sociedades. Enero (última actualización).

8. Lucas, Chris (2006): Alien Consciousness - Philosophical Problems Version 4.83, mayo.

9. Monopoli, Antonio (2005): Roboetica. Sitio italiano.

10. Moor, James (2006): The Nature, Importance, and Difficulty of Machine Ethics. IEEE Intelligent Systems, julio/agosto, Vol. 21, N° 4, p. 18-21.

11. Mulej, Matjaž; Kajzer, Stefan; Ženko, Zdenka y Potocan, Vojko (2002): Ethics of interdependence and systems thinking. Proceedings on IDIMT-2002, p. 97/117.

12. Palmerini, Chiara (2004): Diamo una morale ai robot. Il manifesto, 18 de febrero.

13. Proença, Ana (2001): Conversando sobre Inteligência Artificial. Lisboa, Revista Intelectu, Nº 5, febrero.

14. Ricard, Matthieu y Xuan Thuan, Trinh (2001): El infinito en la palma de la mano. Barcelona, Editorial Urano.

15. Ritchie, David (1985): El Cerebro Binario. Barcelona, Editorial Sudamericana-Planeta.

16. Storrs Hall, John (2000): Ethics for Machines.




Sergio A. Moriello es Ingeniero en Electrónica, Postgraduado en Periodismo Científico y en Administración Empresarial y Magister en Ingeniería en Sistemas de Información. Lidera GDAIA (Grupo de Desarrollo de Agentes Inteligentes Autónomos, UTN-FRBA) y es miembro activo de ALAS (Asociación Latinoamericana de Sistemas) y de GESI (Grupo de Estudio de Sistemas Integrados). Es autor de los libros Inteligencias Sintéticas e Inteligencia Natural y Sintética.



Domingo, 13 de Mayo 2007
Sergio Moriello
Artículo leído 34803 veces



Nota


1.Publicado por Ernesto Grün el 14/05/2007 21:38
Creo que puedo agregar algunas cosas interesantes al excelente trabajo de mi amigo Moriello:

Con relación a lo tratado en este artículo escribí en mi libro “Una Visión sistémica y Cibernética del Derecho en el Mundo Globalizado del Siglo XXI” (Ed Lexis Nexis 2006 pag 122/24) :

Según algunos autores como Kurzweil y Moravec, (Ray Kurzweil'The Age of Spiritual Machines'Penguin Books 1999,Hans Moravec 'Robot' University Press,1999)y en parte yo he sostenido la misma tesis en el trabajo “Homo ciberneticus”, estamos entrando en una fusión creciente con las máquinas (computadoras, robots)( Véase'Hacia el cerebro electrónico planetario' http://www.concytec.gob.pe/ias/argru01.htm“ Homo ciberneticus” http://www.concytec.gob.pe/ias/argrun02.htm)Y, consecuentemente, dentro de no muchos años nos enfrentaremos con la necesidad de poseer una legislación referida y aplicable directa o indirectamente a estos engendros tecnológicos y bio-tecnológicos.Ya hace varios decenios, Isaac Asimov formuló las que denominó 'leyes de la robótica ' que originariamente eran tres: La Primera Ley: Un robot no puede hacerle daño a un ser humano, ni puede por medio de inacción permitir que un ser humano se haga daño. La Segunda Ley: Un robot debe obedecer las ordenes dadas por los seres humanos siempre y cuando tales ordenes no contradigan la Primera Ley. La Tercera Ley: Un robot debe proteger su propia existencia siempre y cuando dicha protección no interfiera con la Primera o Segunda Ley. Años después, Asimov agregó una cuarta: la 'ley zeroth' : Un robot no debe dañar a la humanidad , o , por inacción, permitir que la humanidad sea dañada. Lógicamente con un enfoque literario, pero que suscitan interesantes reflexiones sobre el tema para los juristas.Por su parte Hans Moravec ,en su reciente libro ' Robot' sugiere que debiera instalarse algo análogo a estas leyes en el carácter social (corporate character) de cada poderosa máquina inteligente. Un verdadero cuerpo legal y que leyes así internalizadas, adecuadamente ajustadas podrían producir entes extraordinariamente confiables, aunque deberían establecerse mecanismos para proteger de desvíos y de ataques externos.En su visión futurista, pero de ninguna manera en la línea de la ciencia-ficción, sino basada en sus investigaciones en materia de inteligencia artificial y computación Ray Kurzweil, por su parte describe algunos aspectos de lo que sucederá en menos de tres décadas, ( esto es cuando muchos de los actuales estudiantes de derecho y abogados aun ejercerán su profesión): que, como ya no existirá una división tajante entre el mundo humano y el de las máquinas, definir qué es lo que implica ser un ser humano estará emergiendo como un tema legal y político significativo. Por otra parte estará creciendo la discusión acerca de los derechos legales de las máquinas. Particularmente de aquellas que son independientes de los humanos y que si bien aun no plenamente reconocidas por la ley, la penetrante influencia de las máquinas en todos los niveles de decisión estará proveyendo de una significativa protección a éstas. Alejandro Piscitelli amplía el tema en “Ciberculturas 2.0” Un interesante y amplio desarrollo se encuentra en un artículo de Phil Mc Nally e Inayatullah “The Right of Robots”(Véase MC NALLY Y INAYATULLAH “THE RIGHT OF ROBOTS” www.metafuture.org/Articles/TheRightofRobots”.htm) quienes creen que el desarrollo de los robots y sus nacientes derechos es una cuestión que impactará significativamente y dramáticamente, no solamente en el poder judicial y el sistema de la justicia penal, sino también en las ideas políticas y filosóficas que gobiernan nuestras instituciones sociales. En su extenso trabajo, efectuado para el Poder Judicial de Hawai, hace ya algunos años, analizan detalladamente distintos aspectos filosóficos, conceptuales y prácticos de la cuestión. La elaboración de normas para estas novísimas situaciones requerirá un conocimiento particularmente profundo de cibernética y teoría de sistemas. Un extenso trabajo al respecto ha sido elaborado por Roger Clarke, aunque con enfoque técnico-informático y no jurídico (Véase Clarke Roger ' Asimov' s Laws of Robotic .Implications for Information technology' http://www.anu.edu.au/people/Roger.Clarke/SOS/Asimov.html) Los nuevos sistemas que han aparecido en el mundo globalizado y el que está en ciernes ante la rápida fusión entre hombres y máquinas plantea retos de envergadura a los juristas como puede observarse fácilmente en los reiterados (e ineficientes) intentos de seguir aplicando normas estatales y de derecho internacional a situaciones que escapan a sus límites y jurisdicciones.Entender las estructuras, funciones y mecanismos operantes en los mismos, poder crear modelos útiles de los mismos, será necesario para que puedan constituirse en adecuados instrumentos de regulación de sectores de la sociedad mundial que cada vez cobran mayor importancia y trascendencia. La íntima vinculación de los mismos con aspectos sustanciales de la cibernética y la robótica, como asimismo la complejidad ínsita en su funcionamiento en el ámbito mundial hacen que, indudablemente, un enfoque sistémico y cibernético de los mismos sea útil para su tratamiento por la teoría y la práctica jurídicas.



---------------------------------------------------------------------------------------------------------------------

Por otra parte es interesante la noticia aparecida en el diario La Nacion del 9/3/2007Código ético para robots.

Un código ético para prevenir el abuso de los humanos a los robots, y viceversa, se prepara en Corea del Sur. El Código de Ética de los Robots, que será lanzado este año, definirá las reglas para usuarios y productores. El texto está siendo redactado por un equipo de cinco expertos, entre los que se incluye a futuristas y escritores de ciencia ficción. El gobierno de Corea del Sur ha considerado a la robótica como un sector líder en el mundo económico y está invirtiendo millones de dólares en investigación. 'El gobierno planea establecer las líneas éticas relacionadas a los roles y funciones de los robots, pues se espera que éstos desarrollen mayor inteligencia en un futuro cercano', dijo el ministerio de Comercio, Industria y Energía.

--------------------------------------------------------------------------------------------------------------------

Y también la publicada con fecha 21 de diciembre de 2006 por BBC Mundo.com bajo el título

'Los robots podrían reclamar derechos'

Un estudio del gobierno británico reveló que los robots podrán reclamar en un futuro los mismos derechos de los que gozan los seres humanos.

Si se les concedieran estos derechos, los estados estarían obligados a proveerles de seguridad social, incluido alojamiento y seguro médico, señala el informe.

Estas predicciones se incluyen en 250 páginas de estudios que pretenden adelantarse al desarrollo técnico de los próximos 50 años.

En otras partes del trabajo se examina el futuro de la investigación espacial y distintos métodos que alargan dramáticamente el ciclo de vida.

'Nuestro negocio no es la adivinación del futuro, pero necesitamos explorar el espectro más amplio de posibilidades para asegurar que el gobierno está preparado para el largo plazo, y que considera las cuestiones de ese espectro cuando hace planes', dijo Sir David King, el asistente en jefe del gobierno en materia científica.

'Estos estudios tienen como objetivo estimular el debate y la discusión crítica para alimentar las políticas y estrategias gubernamentales de corto y largo plazo', agregó.

Derechos de robot

La investigación fue encargada por el programa Horizon Scanning del Departamento de Ciencia e Innovación del Reino Unido.

La elaboración de las 246 páginas del informe, llamado Escaneos Sigma y Delta, fueron tarea conjunta de la sociedad Outsights-Ipsos Mori y el Instituto para el Futuro (IFTF), ubicado en Estados Unidos.

Los estudios se adelantan a las tendencias en la ciencia, la salud y la tecnología. Abarcan un amplio abanico de temas, desde el resurgimiento económico de India hasta la nanotecnología, pasando por la amenaza del VIH Sida.

Al mismo tiempo que plasma el estado actual de las teorías, examina sus posibles implicaciones para la sociedad.

Máquinas que crean

El estudio sobre los derechos de los robots, titulado 'Sueño utópico o el surgimiento de las máquinas', examina el desarrollo en el campo de la inteligencia artificial y cómo este pude afectar al derecho y la política.

En la investigación se señala que podría darse un 'cambio monumental' si los robots se desarrollan hasta alcanzar la capacidad de reproducirse, superarse y desarrollar su propia inteligencia artificial. Dentro de 20 ó 50 años se les podría reconocer los derechos.

Si esto ocurriera, los robots adquirirían ciertas responsabilidades tales como el deber de votar, de pagar impuestos, y quizá incluso cumplir el servicio militar obligatorio.

Por el otro lado, la sociedad asumiría la responsabilidad de cuidar a sus nuevos ciudadanos digitales, indica el informe.

Ernesto Grün
*******************************************************************************************************************

2.Publicado por Rodd el 22/05/2007 20:17
Todo esto es absurdo, maquinas son maquinas y nada mas. sentimientos? eso da risa! nunca podrna tener sentimientos como los humanos o los perros. lo maximo que podran es actuar como si los tubieran, si el programador, por ejemplo, lo programa para decirle a su dueño 'te amo' o lo programa para 'llorar' o 'reir' en x o y circunstancia. Es posible que nos paresca que tenga sentimientos, pero nunca lo seran, nunca seran nada mas que frios comandos, ordenes que debe cumplir. es facil hacer decir a un robot cosas 'te quiero!' despues de que el dueño, por ejemplo le de 'de comer' una x cantidad de veces, o cualquier otra condicion, pero nunca sera amor como lo entiende un hombre. o que diga 'tengo frio', etc, por ejemplo si la temperatura es menor a 10 grados... hay que ver la realidad y no caer en ese romanticismo infantil de creer que maquinas programadas por hombres (o por otras maquinas programadas, al fin y al cabo, por hombres) puedan tener sentimientos, o sea cruel desconectarlas.

3.Publicado por Chris. el 23/07/2009 00:02
Una cita que viene al contexto como ejemplo del "pensamiento" que resulta de aplicar seriamente la ética y no sólo ingeniería en el diseño de los nuevos robots con capacidad cognitiva compleja:

"Para convivir en armonía con humanos, debemos familiarizarnos con ellos." [Pensabot, 2009]




.

Nuevo comentario:
Twitter

Los comentarios tienen la finalidad de difundir las opiniones que le merecen a nuestros lectores los contenidos que publicamos. Sin embargo, no está permitido verter comentarios contrarios a las leyes españolas o internacionales, así como tampoco insultos y descalificaciones de otras opiniones. Tendencias21 se reserva el derecho a eliminar los comentarios que considere no se ajustan al tema de cada artículo o que no respeten las normas de uso. Los comentarios a los artículos publicados son responsabilidad exclusiva de sus autores. Tendencias21 no asume ninguna responsabilidad sobre ellos. Los comentarios no se publican inmediatamente, sino que son editados por nuestra Redacción. Tendencias21 podrá hacer uso de los comentarios vertidos por sus lectores para ampliar debates en otros foros de discusión y otras publicaciones.

Otros artículos de esta misma sección
< >