作者：中国传媒大学政法学院讲师，美国圣母大学访问学者 韩新华
摘 要：暴力内容一直是各国政府网络治理的重点。网络暴力内容的规制，首先要区分情况、分类处理，一方面许可和保护必要的对于暴力内容的新闻报道、事实描述、刻画分析等，另一方面严格限制或禁止那些低俗不良、违法有害的暴力内容。其次，在规制机制方面，充分发挥政府、企业、行业、用户的各自优势，建立多元共治模式。最后，在规制手段上，要更多依靠分级系统、智能识别以及过滤系统等技术手段进行治理。
随着互联网技术和应用的广泛普及，暴力、色情等不良内容充斥互联网络。网络暴力内容主要是指互联网上以文字、图片或视听方式呈现的对生命和身体健康进行严重侵犯或损害的内容。这类内容既包括对于客观现实世界的暴力行为、暴力现象的直接呈现，也包括对于虚构暴力场景的表现。除此之外，互联网上还存在着美化、宣扬、煽动暴力，以及煽动仇恨、恐怖主义等一些与暴力具有密切关联的表述或信息，这些都可以称为广义上的网络暴力内容。
网络暴力内容的影响具有两面性。一方面，作为真实世界的反映，对暴力现象、暴力事件的报道、描述、刻画和分析具有一定的积极意义。这类内容可以揭示现实世界的本相，提示人们可能存在的危险，同时，还可以激励人们去批判暴力及思考如何更好地战胜暴力。另一方面，网络暴力内容也具有很大的危害性。首先，对暴力内容和情节的过度描绘，会给某些成年人带来心理上的不适，更会对青少年的身心健康产生不良影响。其次，互联网上那些美化暴力、宣扬暴力的信息和表述会对青少年正确价值观的形成造成负面影响。再次，非法煽动暴力、仇恨、恐怖主义等网络暴力内容会给特定人群的权益以及公共秩序甚至是国家安全带来危害。
因此，科学、合理地规制互联网上的暴力内容成为网络治理的一项重要任务。网络暴力内容的规制，首先要做的是制定合理的规制标准，区分情况、分类处理。一方面要许可和保护那些必要的对于暴力内容的新闻报道、事实描述、刻画分析等，另一方面也要对那些低俗不良和违法有害的暴力内容予以严格规制。其次，在治理机制上，由于互联网环境下信息的生产和传播方式发生了很大的改变，对于暴力内容的规制，仅仅依靠法律强制和国家监管是远远不够的，必须形成一套政府、企业、行业以及社会等各个主体多方参与、多元共治的治理模式。再次，在治理的手段上，必须更多地依靠分级系统、智能识别与过滤等技术手段，方能对互联网暴力内容进行有效治理。本文将尝试从这三个方面对网络暴力内容的规制做一些探讨。
一、规制标准：区分情况、分类治理
（一）法律许可传播的暴力内容
暴力是现实世界中不可回避的问题。媒体，无论传统媒体还是新媒体，真实、及时、准确地报道正在发生的各种暴力，包括战争、骚乱、犯罪，是媒体的社会责任，是媒体职业伦理的正当要求。而呈现、描述、分析和反思社会现实的作品，无论是纪实作品还是各种创作作品如文学、电影、电视节目以及游戏等，也一定无法回避暴力内容。其实许多伟大的作品恰恰是聚焦在对人类的战争、动乱、苦难的批判与反思之上。要求传媒报道和各类作品完全摒弃暴力内容无疑是试图构建一个自我欺骗的童话世界，这种做法是不现实的，也是有害的。
因此，在一定程度上讲，那些必要的呈现暴力的内容符合社会的公共利益，是需要法律予以许可和加以保护的。但这并不意味着暴力内容的呈现方式可以无所顾忌。无论是文字、图片等平面形式，还是电影、电视等视听形式，过度描述，包括对犯罪细节的描述，都可能对社会大众、对未成年人造成不同程度的伤害。例如，2018年初上演的大片《红海行动》《唐人街探案2》都有诸多的暴力镜头和场面，引起了很多青少年的心理不适。
对于这些过度描述暴力的内容，一方面可以要求媒体或作者自律，把握尺度，另一方面也可在法律上尝试设置分级制度。对电影、视频以及其他载体的内容进行分级是世界许多国家的通行做法，已经有比较成熟的经验可供借鉴。这种分级制度是按照暴力、色情等内容呈现的方式、频次和程度设置不同的年龄级别，以防止未成年人接触到与其年龄不相称的信息，同时也为具有理性判断能力的成年人留出充分表达自己和全面接受信息的空间与机会。
（二）法律限制传播的暴力内容
一般来说，违背公序良俗的暴力内容属于法律限制传播的范围，这类内容通常被称为低俗不良暴力内容。这些内容具体又可细分为两类，一类是为吸引眼球无意义的呈现暴力内容的信息；第二类是美化暴力、宣扬暴力的信息。这两类信息都会在一定程度上对青少年的身心健康和社会风气造成不良影响。
1．无意义的呈现暴力
无论是国内还是国外，网页、论坛、游戏及各种社交应用上都充斥着许多为吸引眼球、赢得点击率而有意呈现甚至是渲染无意义暴力的内容。比如一味表现打打杀杀、斗殴、粗口，及残忍宰杀动物、生吞活物等暴力情节，故意表现血腥、残酷、恐怖、吸毒、赌博等刺激性较强的画面，还有的是描述离奇荒诞、有悖人性的残酷或暴力行为等。惩治低俗之风，净化网络环境，这是各国对网络空间治理的共同需求，但各国的具体规制方式则存在着较大差异。
多数国家对此类信息采取的态度是限制，而非禁止，具体操作上仍主要采用分级制度。限制就是限制其传播的范围，向成年人开放，但禁止向未成年人进行传播。理由是青少年心智尚未成熟，属于不良信息易感者，而成年人则被假定为具有较强的理性分辨能力和控制能力，因此主要由其自我判断、自行决定。采取此类作法的国家既包括英国、美国、德国等欧美国家，也包括新加坡、日本和韩国等亚洲国家。
2．美化暴力、宣扬暴力
美化暴力、宣扬暴力，无论是以文字、图片的形式，还是电影、电视，或者是游戏、直播等形式，都对青少年正确价值观的形成具有很大的危害性，甚至可能直接诱导青少年实施犯罪行为。此类暴力信息仍属于不良内容，但已接近有害内容。对于这类内容，有些国家仍采取分级制度，禁止向青少年传播，但向成年人开放，依靠言论市场去解决。采取这种作法的国家主要是美国、英国、德国等西方发达国家。其他国家则禁止向任何人群传播此类信息，如韩国和新加坡等。
我国法律法规对上述两类信息都采取禁止态度。2000年国务院颁布的行政法规《互联网信息服务管理办法》第十五条规定的“九不准”中，就包括，“互联网信息服务提供者不得制作、复制、发布、传播含有赌博、暴力、凶杀、恐怖或者教唆犯罪的信息”。后续颁布的诸多规制互联网的部门规章及规范性文件也有类似规定。同时，我国保护未成年人的两部最重要的法律《未成年人保护法》和《预防未成年人犯罪法》都禁止向未成年人传播渲染暴力、凶杀、恐怖的内容。传播此类信息要承担罚款和吊销执照等处罚。因此，与国外相比，在保护青少年免于接触此类信息方面，我国的规定和作法与世界各国的通行作法是一致的，但在对成年人也禁止此类信息这一方面，我国的规定显然要更加严格和严厉。
但是，我国相关法律条文对这类内容的规定也存在着一定程度的模糊性和不确定性。如《互联网信息服务管理办法》“九不准”中禁止刊登暴力、凶杀内容，但是对于何为暴力、暴力的程度如何、何种凶杀内容等缺乏具体清晰的界定。是不是所有的暴力内容，不论种类如何、程度如何都一律禁止？这种模糊性和不确定性一方面给网络内容的生产者及服务商带来很多困扰，一定程度损害了企业的创新性；另一方面，相应的执法部门也不能确切把握执法标准，往往只能凭个人主观判断，有时打击力度不足，更多的时候是打击面过大。这在一定程度上损害了法律和政府部门的公信力。
（三）法律禁止传播的暴力内容
这类暴力内容不只是违背公序良俗，还会对他人权益、社会秩序，甚至是国家安全构成威胁，发布和传播此类信息属于违法，甚至是犯罪行为。我国《互联网信息服务管理办法》“九不准”中第七条规定，禁止散布淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪的内容，就包含对这类暴力内容的禁止。总的来看，这类暴力内容可再细分为煽动仇恨、煽动暴力、煽动恐怖主义等类型。
1．煽动仇恨
煽动仇恨的言论在国际上通常被称为“仇恨言论”，是指在仇恨意图的指引下，基于民族、种族、性别和宗教等身份特征所为的表达性行为的一种言论类型。各国对于仇恨言论的规制态度有很大的差异。总体来看，可分为三种情况：（1）允许仇恨言论，以美国为典型，美国高度保护言论自由，只要该言论没有达到可导致“清楚而现实的危险”的程度，就不会被禁止；（2）严格禁止仇恨言论，以德国为代表，由于其特殊的历史背景和特定的文化传统，德国严格禁止各种类型的仇恨言论，尤其是涉及种族歧视和宣扬纳粹的仇恨言论；（3）禁止某些类型的仇恨言论，很多国家属于上述两种情况之间，即仅设置对某些类型的仇恨言论的禁止，比如英国仅禁止煽动基于种族、宗教和性取向三种形式的仇恨言论。
我国的刑法以及对媒体的各种禁载条款都禁止煽动民族歧视、民族仇恨，破坏民族团结的信息和表达。例如，我国刑法第249条规定，煽动民族仇恨、民族歧视，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利；情节特别严重的，处三年以上十年以下有期徒刑。再例如，《互联网信息服务管理办法》第十五条第四项规定，互联网信息服务提供者不得制作、复制、发布、传播“煽动民族仇恨、民族歧视，破坏民族团结的”的内容。
2．煽动暴力
一般来说，煽动暴力要比煽动仇恨的社会危害性更大。因为煽动仇恨是意在使被煽动者对某个或某些群体产生歧视、仇恨等内心态度，但煽动暴力则意在使被煽动者对某个人、某些人、某个群体直接实施暴力行为。上述法律限制传播的暴力内容中的“美化和宣扬暴力”在广义上也可以属于间接煽动暴力，但是由于此类内容无特定指向对象，因此，暴力立即转化为现实的可能性较小，其危害主要在于可能对社会风气造成污染，以及对青少年正确价值观的形成产生不良影响。
这里的煽动暴力主要是指针对特定对象的煽动，如对某个人或某几个特定的人，或者针对某一个民族、宗教及其他特定群体的暴力煽动。这种行为均为各国法律所禁止并严厉打击。我国《刑法》规定了几种煽动暴力的犯罪，如第103条的煽动分裂国家和破坏国家统一罪，及第278条的煽动暴力抗拒法律实施罪等。
3．煽动恐怖主义
进入21世纪后，恐怖主义成为国际社会所面临的最大的非传统安全威胁，而互联网特别是社交媒体则常常被利用作为传播和煽动恐怖主义的工具。因此，对恐怖主义信息进行监督成为许多国际组织和国家互联网监管的一个重要组成部分。煽动恐怖主义又可以划分为间接煽动和直接煽动。间接煽动是指美化恐怖主义，如美化圣战，对恐怖活动予以纪念、颂扬等形式。直接煽动则是指煽动实施恐怖行动，其危害性更大，也更直接。
从国际社会来看，各国对于直接煽动恐怖主义的态度是一致的，都将之列为严厉打击的对象。但是对于间接煽动恐怖主义，各国则持不同态度。美国以保护言论自由为由，对美化圣战、纪念恐怖活动等行为不作立法和司法上的禁止，但是联邦政府也通过与互联网公司、社交媒体私下交流沟通等方式，督促其对相关内容予以限制。也有些国家如英国则在其反恐法中直接将间接煽动列为犯罪行为。
在我国，直接煽动和间接煽动恐怖主义都属于犯罪行为。我国2014年《刑法修正案（9）》在第123条增加了该项犯罪：“以制作、散发宣扬恐怖主义、极端主义的图书、音频视频资料或者其他物品，或者通过讲授、发布信息等方式宣扬恐怖主义、极端主义的，或者煽动实施恐怖活动的，处五年以下有期徒刑、拘役、管制或者剥夺政治权利，并处罚金；情节严重的，处五年以上有期徒刑，并处罚金或者没收财产。”
二、规制机制：多方参与、协同共治
当今世界各国对互联网的治理模式大体有三种：政府主导型，行业自律为主型，政府与行业共治型。政府主导型表现比较突出的是韩国，行业自律为主型以美国和英国最为典型，政府与行业共治型以德国、法国和新加坡为代表。
我国目前的治理模式基本可归属于政府主导型。其主要表现是，我国政府在互联网的各项规制中均发挥主要作用，处于主导地位。但是，构建多方参与、协同共治的治理思路已经非常清晰地体现在我们党和国家各项文件的指导思想和具体政策之中。2017年1月《国务院关于印发“十三五”市场监管规划的通知》指出：“顺应现代治理趋势，努力构建‘企业自治、行业自律、社会监督、政府监管’的社会共治新机制。”这一机制也同样适用于互联网行业。
网络空间的监管难度远大于任何一种传统媒介。网络改变了信息的生产方式和传播模式，用户自我生成内容成为网络空间尤其是社交媒体的主力。面对这一情势，网络空间中不良有害信息的治理仅仅靠政府唱独角戏是远远不够的。在互联网暴力内容的规制上，需要政府、企业、行业和用户各负其责，并且通力合作，构建一种综合性的治理体系。
（一）政府监管
政府是公共利益的首要捍卫者，不良低俗、违法有害的暴力内容侵害了青少年的身心健康，侵蚀了良好的社会风气，破坏了公共秩序乃至国家安全，政府理应担当最重要的治理与监督责任。
具体来讲，政府监管暴力内容，可以在以下两个方面发挥作用。一方面，政府要在确立规制标准方面发挥主导作用。政府应针对不同的情形，按照公共利益的要求，仔细权衡公民的表达权利、信息自由与青少年保护、公共秩序和国家安全等各种相互冲突的公共利益，确立一套公正、合理、科学的规制标准。另一方面，政府应该严格按照已经确立的标准和机制，采取有力的措施，对不良低俗和有害违法暴力内容进行治理。
同时，在网络治理中，如陈欣新教授所指出的：“鉴于政府资源和行政能力的有限性以及政府在现代社会的有限角色，政府不可能也不应当对所有涉及信息内容安全的领域都采取行政监管的措施，必须采取‘有所为、有所不为’的原则。”面对网络技术日新月异的变化、海量的互联网信息，特别是大量的用户自发生成的内容，政府行动的滞后性、政府资源的有限性表现得格外突出。因此，在网络暴力内容的治理上，政府需要适当收缩监管范围，抓大放小，把精力和资源主要用在对违法犯罪的暴力内容的治理上，对于低俗不良的暴力内容则可以适当借鉴内容分级制度，区分成年人和未成年人，重点防控向青少年传播此类信息。
（二）互联网产业与行业的自律
互联网的巨大体量、复杂程度以及技术特点使得政府的直接监管变得非常困难。互联网产业与行业的自律与自治成为网络治理的重要组成部分。网络治理从一开始就具有非官方、去中心的特点。虽然，随着互联网技术和应用的广泛普及，各国均将网络纳入法律的规制范围，但不可否认的是，网络治理中私主体一直占有非常独特、重要甚至是主导性的地位。对网络暴力内容的治理也是如此。
互联网服务商是网络信息内容发布和传播的必经渠道。许多互联网服务商已经自发形成了用户协议、社区规范等自律守则，并通过接受投诉、主动搜寻等方式维护这些守则的有效性。这其中就包含对暴力内容的规制。一些全球性的网络企业包括Google、Facebook、YouTube，以及中国的腾讯微信、抖音平台等的社区规则还相当复杂和细致。其实，自律本身也是互联网企业的一个内生性要求。从长远来看，建立良好的平台秩序、打造良好的平台社区是有利于企业长远发展的。
互联网不良有害暴力内容的治理还需要提升整个互联网行业的自组织能力，使得行业自律组织在应对网络暴力内容中发挥主体功能。许多国家对互联网的治理主要依靠行业自律。美国和英国就是其中的典型。美国对网络内容、网络游戏的分级系统就是产生自互联网行业组织，而不是政府。英国也是如此，负责对网络视频、游戏进行分级的英国电影分级委员会BBFC也是一个民间组织，而包括互联网观察基金会IWF在内的诸多行业自律组织负责对网络非法内容包括暴力内容进行自我规制。
我国的互联网行业组织在行业自律方面也取得了重大进步。成立于2001年的中国互联网协会是我国目前最重要的互联网行业组织。该协会成立后在行业自律方面做了大量工作，并产生了积极的影响。例如中国互联网协会倡导制定了《中国互联网行业自律公约》《互联网站禁止传播淫秽色情等不良信息自律规范》等自律公约，为互联网行业的自律机制奠定了基础。中国互联网协会还设立了“违法和不良信息举报中心”，可以全天候接受网民举报。但总体来看，我国行业自律功能的发挥还有较大的提升空间。网络自律条约虽然签订不少，但还并未真正实施到位，最重要的不足是缺乏有效的纠纷解决机制。
实际上，产业、行业的自我管制比政府直接介入更有针对性，也能更好地节约费用，并且这种管制也能因产业组织本身所具备的专业知识而获益。高秦伟教授指出：“相较于政府规制，私人的优势在于能够及时、更有弹性、更合于事物本质地采取行动或反应。”因此，国家应进一步采取措施鼓励和增进社会自组织力量的培育，当然自律组织自身也要不断探索如何更有效地将规则落实到底。
（三）用户参与及社会监督
互联网已经成为每个普通人工作、生活中必不可少的组成部分。互联网的有害内容几乎侵害着每个人、每个家庭的利益，因此用户自身也需要增强责任意识，提高自律能力，积极参与暴力内容的治理。对于用户来说，一方面要严格自律，不要参与暴力信息的制作与传播；另一方面也要积极主动地通过举报投诉等方式对暴力信息进行监督。互联网协会的12321网络不良与垃圾信息举报受理中心、违法和不良信息举报中心，公安部的网络违法犯罪举报网站，以及各地的网络举报中心等都是用户可以利用的举报渠道。
此外，用户也可以自发组成社会监督组织来集体推进对互联网暴力内容的治理。比如，为了保护未成年人的健康，家长可以组成家长协会来抵制不良内容，维护良好的网络环境。
三、规制手段：依托技术、多管齐下
在规制手段上，与传统媒体主要依靠法律手段和行政手段进行治理不同，互联网暴力内容的规制需要综合运用各种手段，尤其要特别注重发挥技术手段的作用。互联网本身是技术推动的产物，互联网内容的治理也具有高度的技术依赖性。
西方许多国家对于网络暴力内容主要采用分级系统和智能识别、过滤等技术手段进行控制。比如美国，与对色情内容的管制理念和方法相同，主要通过分级和技术控制来规制暴力内容，以区别对待成年人用户和青少年用户。在分级方面，美国从1996年开始启用“因特网内容选择平台”（PICS）。这一平台参考了美国电影分级的标准，根据性、暴力程度、身体裸露程度、粗口等将网络信息分为5级，级别越高越限制未成年人接触。不但如此，1994年在美国成立的娱乐软件分级委员会还开发了游戏分级系统。这一系统将游戏分为7个级别，暴力、色情的数目和程度是分级的重点依据。与分级系统相配合的，还有要求安装过滤软件、年龄识别系统、给不良信息加注警示标识等技术控制手段。
英国也有类似的分级系统和技术系统，在区分成年人和未成年人用户的理念指导下，按照图片、音视频中暴力内容呈现的方式、频次和程度分成不同等级，并设置相应的过滤系统、年龄识别系统及警告标识等技术手段，以防止未成年人接触到与其年龄不适宜的暴力内容。
很多亚洲国家也在不断开发技术系统以控制不良内容的传播。比如新加坡研究开发的“家庭上网系统”，用以过滤色情、暴力等不良信息，同时还要求学校、图书馆等公共机构安装必要的过滤软件。韩国实施了“绿色网络计划”，免费提供过滤软件，还通过立法许可使用“隔离”与“过滤”等方式加强技术在互联网规制中的作用。日本则推出了官方过滤软件“FILTERing”，用以过滤不良信息，日本电子娱乐分级组织还将分级制度运用到网络游戏领域。
技术控制手段在我国的网络暴力内容治理中也得到广泛的应用。随着大数据及人工智能技术的发展与应用，一些精准甄别和过滤暴力等低俗信息的技术和控制手段被不断开发出来。例如，微信团队在大数据技术基础上开发了不良信息识别和风险用户提示机制。再比如，“抖音”利用大数据和机器学习开发了低俗模型以及“未成年风控模型”等多种过滤模型，可以通过机器识别和前置拦截的方式来处理许多不良有害暴力内容。
网络实名制也是我国近年来采取的一项重要的网络治理措施。我国2017年开始实施的《网络安全法》明确规定某些领域必须实施网络实名制。同时，我国《网络安全法》还规定网络服务提供者负有保障网络信息安全的义务。这两项制度的结合对暴力内容的发布和传播具有相当程度的震慑力和抑制力。但实名制下如何保护个人信息、数据安全也是一个需要高度注意的问题。韩国于2008年正式全面推行网络实名制，是世界上首个实行网络实名制的国家，但2011年发生了大规模的个人数据泄露之后，这一制度很快即被废除。
构建网络信用体系也是一种治理路径。如上海的“网络社会征信网”就是一个具有借鉴意义的网络治理案例。该网站由上海市公安局网安部门和上海市网络信息安全管理协会合作建成，由政府、网民和专家共同对网站诚信程度、网站健康进行评比打分和分级，对于不良网站通过“黑名单”制度实施处罚，同时还设立网上“曝光台”将这样的网站进行公布。该网站自2010年运行至今已经取得了较好的治理效果。目前，我国还未发展出网络分级制度。我国所有的网络内容都是适用全年龄段的，这种一刀切的作法并未充分考虑到部分成年人和不同年龄段的未成年人的身心特点差异以及多元化需求。毕竟暴力内容是现实世界无法回避的部分，喜欢观看暴力内容甚至也是人性的组成部分，对用户年龄和身份不加区别，使得我国暴力内容治理的合法性和有效性在一定程度上打了折扣。
总之，网络信息技术是20世纪最大的技术革命。面对网络技术日新月异的发展，网络暴力内容的治理形势非常严峻。但是，如果能够使规制标准更加精细、科学和合理，在机制上，政府、企业、行业、社会和用户协同共治，在手段上，综合运用包括先进技术在内的各种手段，并不断与时俱进、进行动态调整，虽然不能彻底根除网络不良有害暴力内容，但至少可以将其危害性控制在一定范围之内。