摘要 在研讨与剖析虚拟社会中人与人之间交互联络特色的基础上，规划和完结了互联网中潜在非法安排的成员推理和追寻体系。为再现虚拟社会中人与人之间的交互进程并对其进行推理剖析，研讨和规划了3大功模块：数据收集模块、数据库模块、网络剖析模块。经验证，体系达到了规划要求。
要害词 在线社会网络；数据收集；数据库；网络剖析
跟着电子信息技术的开展，互联网已走进千家万户，并已广泛应用于各行各业。与此同时，一种新的社会形态逐步构成，即“在线社会网络”。文中在研讨与剖析虚拟社会中人与人之间交互联络特色基础上，规划和完结了互联网中潜在非法安排的成员推理和追寻体系。体系包括：数据收集模块(网络爬虫模块)、数据库模块、网络剖析模块。
1 数据收集模块规划
数据收集模块首要用来完结BBS论坛数据的收集、剖析。
1．1 网络爬虫
网络爬虫是一种依照必定的规矩，主动的抓取万维网信息的程序或许脚本。它依据既定的抓取方针，有挑选地拜访万维网上的网页与相关链接，获取需求的信息。与传统的查找引擎不同，网络爬虫并不寻求大的网络覆盖率，而将方针定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询预备数据资源。
1．2 数据收集模块完结
网络爬虫模块完结了收集数据的功用，包括获取链接、归类链接、主题链接、获取数据和剖析数据5个子模块。获取链接功用描绘：当输入论坛网址，体系就开端收集该论坛的网页链接，这是一迭代的进程，爬虫程序下载完一个网页链接后，翻开该网页的源代码，从中得到下一个链接信息，将一切收集得到的网页链接保存到本地txt文本中。归类链接功用描绘：将一切的网页链接依照年份归类到以年份为称号的不同文件夹，便利今后导入数据。主题链接功用描绘：依据输入的年份取得一切主题链接，写入txt文本并保存在本地相应的年份文件夹。获取数据功用描绘：依据之前抓取的主题链接，逐行翻开链接，抓取网页源文件，以txt文本方法保存。剖析数据功用描绘：运用正则表达式，从收集到的txt源文件中匹配出有用数据保存到本地。
2 数据库模块规划
数据库模块首要是对数据库的操作，包括数据导入，数据更新，数据导出和数据收拾4个子模块。数据导入模块功用描绘：从本地正则剖析过的txt文档提取相应的回复联络保存到数据库中。数据更新模块功用描绘：对数据源(Forum)相应表中的回复时刻和宣布时刻记载进行增加和更新。数据导出模块功用描绘：依据用户输入的年份，将数据库的旧数据源(Forum)中契合年份要求的记载导入到新数据源(Export Data)中，为网络剖析做好预备。数据收拾模块功用描绘：为今后的网络剖析进行的预备工作，其首要功用是完结一些数据库的操作，例如运用原始的Reply联络构建Basic network、Together-reply network、Each-reply network、Semantic netwrok。对语义网络(Semantic netwr ok)中的每条回复进行语义打分等。
3 网络剖析模块
网络剖析模块是整个体系的中心模块，其首要依据用户交互模块，对网络进行各种违法推理，首要包括以下3个子模块：用户可信度更新模块、挑选下一个查询方针和违法网络的社区发现。
3．1 依据贝叶斯网络用户可信度更新模块
交际和信息通讯网络，例如Internet，常常以图表明，其间网络成员用节点表明，成员之间的联络用衔接边表明。刑事查询人员能够把每个成员视为一个署理，从互联网收集关于成员的数据来树立违法概率网络。
图1(a)是一个违法网络的实例图，黑色节点表明该成员被查询过，即刑事查询人员经过剖析一个特别成员的材料信息等来查询成员的状况，可查询人员并不知道这个成员的实在身份，白色节点表明该成员未被查询过。考虑一个图有节点i=1，2，…，n，节点(白色节点)的状况用xi表明，每个xi有M种或许状况，设定M=2，即每个节点有两种状况，违法分子和合法用户。每个未被查询过的节点被衔接到一个被查询过的节点(黑色节点)yi上。一般来说，查询有关yi的一些信息，然后想推断出一些关于xi的身份。进一步假定xi和)yi之间存在一些核算依靠，用一个联合相容函数表明为φ(xi，yi)。这个函数一般被称作xi的依据，即能够经过查询yi推理得到关于xi的任何事情。因而，能够核算一切不知道节点xi的信仰b(xi)，以至于能够推理得到潜在的不知道信息。
更新过程如下：
输入。本地概率散布φi(xi，yi)，假如躲藏节点i被证明是违法分子，则φi(xi，yi)={1，0}；躲藏节点之间的邻接联络用n×n矩阵来描绘，假如两个节点附近并直接相连，则邻接值为1，否则为0。躲藏节点之间的相容矩阵ψij(xi，yi)用2×2的矩阵来表述，矩阵中各元素的值由躲藏节点之间的依靠或信赖联络核算而得。算法。信仰传达算法。输出。b(xi)，每个躲藏节点xi的违法概率。
3．2 运用MPFS算法挑选下一步查询方针
当若干违法分子已被从违法网络中辨认出来，就可运用MPFS算法核算这几个违法分子之间的最优联络。关于查询人员来说，他们期望以最小的价值赶快查询和确认违法分子。刑事查询人员常常会挑选一些要害成员作为新的查询方针。但直接运用MPFS算法并不能满意查询人员的需求。所以扩展MPFS算法来协助刑事查询人员来挑选下一步的查询方针。根本思维便是：假如违法概率网络中的一些成员被证明了是违法分子，刑事查询人员想要知道这些违法分子之间的联络怎么。一般来说，这些违法分子或许归于一个或几个违法安排。链接剖析常常被用来剖析违法分子之间的联络，假定违法概率网络中现已辨认出M个违法分子，从这M个违法分子中某个节点s有M-1条到其他几节点的最短途径。虽然这M-1条途径是从s到其他节点的最强联络，但仍不知道s与其他违法分子之间的实在联络，所以还需求进一步查询研讨。在这些最短途径上存在许多可疑成员，然而对刑事查询人员来说，查询这些途径上的一切可疑人员是不或许的，因为这需求许多的人力、物力和时刻，因而只能挑选要害的可疑方针进行查询。挑选规范便是：最短途径经过次数最多的节点作为新的查询方针。
3．3 违法网络的社区发现
许多网络中都存在集体安排(Community)，即集体内部成员之间联络比较严密，而与外部成员联络比较松懈，一个集体一般由具有类似特征或许相同喜好的成员组成。为寻觅违法网络中的集体结构，提出了许多社区查找的聚类剖析算法，文中侧重介绍割裂算法和凝集算法。
3．3．1 割裂办法中的GN算法
GN算法便是一种典型的割裂办法。它的要害思维是经过不断地从网络中移除边介数(Betweenness)最大的边将整个网络分化为各个社区。
GN算法的根本流程如下：(1)核算网络中一切边的Betweenness。(2)找到：Betweenness最高的边并将它从网络中移除。(3)重复过程(2)，直到每个节点便是一个退化社区停止。
设一个网络节点数为m，边数为n。GN算法首要随机挑选网络中的某个节点作为初始节点核算一切到这个节点的边介数。因为选取的初始节点遍历网络中的每个节点，则网络中的每条边都会有m个介数，然后将m个介数累加得到某条边的终究的边介数。摆放一切边的介数，找到边介数最大的边。将边介数最大的边删去，重复以上过程，终究能够得到网络的社区结构。因为边介数聚类算法是大局查找算法，使得GN算法有很强的实用性。GN算法精确度比较高，剖析集体结构的作用比原有算法要好，成为现在进行网络社团剖析的规范算法，并得到广泛应用。
3．3．2 凝集办法中的Newman快速算法
因为传统的GN算法不能满意大规模的杂乱网络，Newman在GN算法的基础上提出了一种快速算法，它能够用于剖析节点数达100万的杂乱网络。
Newman快速算法实际上是依据贪婪算法思维的一种凝集算法。算法过程如下：
(1)初始化网络为n个社区，即每个节点便是一个独立社区。初始的eij和αi满意
其间，ki为节点i的度；m为网络中总的边数。
(2)顺次兼并有边相连的社团对，并核算兼并后的Q值增量
△Q=eij+eij-2aiaj=2(eij-aiaj) (3)
依据贪婪算法的原理，每次兼并应该沿着使Q增大最多或许削减最小的方向进行。该步的算法杂乱度为O(m)。每次兼并今后，对相应的元素eij更新，并将与i，j社团相关的行和列相加。该步的时刻杂乱度为O(n)。因而，过程(2)的总时刻杂乱度为O(m+n)。
(3)重复履行过程(2)，不断兼并集体，直到整个网络都兼并成为一个集体。最多要履行n-1次兼并。
该算法总的算法杂乱度为O((m+n)n)，关于稀少网络则为O(n3)。整个算法完结后能够得到一个社团结构分化的树状图。再经过挑选在不同方位断开能够得到不同的网状社团结构。在这些社团结构中，挑选一个对应着部分最大Q值的，就得到最好的网络社团结构。
4 结束语
以天边论坛的实在数据，对体系各功用模块进行验证，试验成果表明推理和追寻体系能够取得较为抱负的成果。需求改善和下一步研讨的内容有如下几方面：
(1)数据收集进程中运用正则匹配将半结构化的网页数据转化为结构化的数据，可是这仅是针对天边论坛的；关于其他的站点，因为其编码方法的不同，选用相同的正则表达式，不能精确地提取结构化信息。所以需求提出一种泛化的提取策略，确保对决大多数站点的交互信息的正确提取。
(2)数据库模块中，赋予每个用户ID固定的坐标，以满意可视化。这种赋值是绝对化的赋值。应该依据窗口的巨细进行相对赋值。经过实测，假如主机实际像素改动，其对应的可视化节点方位或许会产生歪曲。因而体系的可视化模块需求进一步改善。
(3)用户可信度更新选用贝叶斯网络模型，但模型中的本地依据和相容函数都是随机给定的。而实际上，用户的可信度能够经过其交互的方法和发帖的内容进行猜测。因而需求针对用户的行为形式，对其可信度进行开始的猜测。
